CN112526749B - 显示装置、记录介质、显示装置的控制方法和显示系统 - Google Patents
显示装置、记录介质、显示装置的控制方法和显示系统 Download PDFInfo
- Publication number
- CN112526749B CN112526749B CN202010973351.6A CN202010973351A CN112526749B CN 112526749 B CN112526749 B CN 112526749B CN 202010973351 A CN202010973351 A CN 202010973351A CN 112526749 B CN112526749 B CN 112526749B
- Authority
- CN
- China
- Prior art keywords
- image
- unit
- display
- user
- display area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000001514 detection method Methods 0.000 claims abstract description 90
- 238000003384 imaging method Methods 0.000 claims description 17
- 230000010365 information processing Effects 0.000 claims description 12
- 102100038776 ADP-ribosylation factor-related protein 1 Human genes 0.000 description 94
- 210000003128 head Anatomy 0.000 description 91
- 210000001508 eye Anatomy 0.000 description 63
- 238000010586 diagram Methods 0.000 description 54
- 238000012545 processing Methods 0.000 description 30
- 230000003287 optical effect Effects 0.000 description 20
- 102100034320 Alpha-centractin Human genes 0.000 description 18
- 101710101449 Alpha-centractin Proteins 0.000 description 18
- 239000000758 substrate Substances 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 230000033001 locomotion Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 239000004065 semiconductor Substances 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 6
- 102000003741 Actin-related protein 3 Human genes 0.000 description 5
- 108090000104 Actin-related protein 3 Proteins 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 102100029631 Actin-related protein 3B Human genes 0.000 description 4
- 101000798882 Homo sapiens Actin-like protein 6A Proteins 0.000 description 4
- 101000693076 Homo sapiens Angiopoietin-related protein 4 Proteins 0.000 description 4
- 230000004907 flux Effects 0.000 description 4
- 230000001936 parietal effect Effects 0.000 description 4
- 102000004373 Actin-related protein 2 Human genes 0.000 description 3
- 108090000963 Actin-related protein 2 Proteins 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
显示装置、记录介质、显示装置的控制方法和显示系统。抑制显示在显示区域上的第1图像与在外景中用户想看到的对象物的位置重叠。HMD(100)是佩戴于用户(U)的头部的HMD(100),具有:显示部(20),其位于用户(U)的左眼侧和右眼侧,以与外景重叠的方式显示第1图像(P1);第1检测部(123),其检测头部的倾斜;第1调整部(124),其根据第1检测部(123)的检测结果来调整第1图像(P1)的显示区域(ARP);以及第2显示控制部(130),其根据第1调整部(124)的调整结果来使第1图像(P1)显示于显示区域(ARP)。
Description
技术领域
本发明涉及显示装置、记录介质、显示装置的控制方法和显示系统。
背景技术
已知有如下技术:在头部佩戴型显示装置中,在不受头部的倾斜影响的情况下,沿着水平方向显示显示图像(例如,参照专利文献1)。
专利文献1所记载的头部佩戴型显示装置在头部佩戴型显示器中将圆形的液晶面板作为圆形显示区域设置在佩戴于头部的显示器装置上,以与该液晶面板中内接的方式设置3:4的矩形的显示区域。而且,通过传感器检测头部的倾斜,使矩形的显示区域旋转并显示,以校正该倾斜。由此,即使头部倾斜,也能够使用户意识到显示在显示区域上的图像的朝向被水平地固定,并且,能够在不欠缺的情况下显示图像整体。
专利文献1:日本特开2002-14300号公报
在专利文献1所记载的头部佩戴型显示装置中,存在显示在显示区域上的图像与在外景中用户想看到的对象物的位置重叠的情况。
例如,在观察舞台等并将表演者的台词以字幕的方式显示在头部佩戴型显示装置的显示区域上的情况下,需要使字幕图像与表演者不重叠。但是,在专利文献1所记载的头部佩戴型显示装置中,显示区域与头部的倾斜相对应地倾斜,因此,字幕图像与表演者有可能会被重叠地看到。
发明内容
解决上述课题的一个方式是一种显示装置,其被佩戴于用户的头部,其中,该显示装置具有:显示部,其位于所述用户的左眼侧和右眼侧中的至少一方,以与外景重叠的方式显示第1图像;第1检测部,其检测所述头部的倾斜;第1调整部,其根据所述第1检测部的检测结果来调整所述第1图像的显示区域;以及显示控制部,其根据所述第1调整部的调整结果使所述第1图像显示于所述显示区域。
在上述显示装置中,也可以构成为,具有拍摄部,该拍摄部拍摄所述外景而生成拍摄图像,所述第1调整部根据所述拍摄图像中包含的特定物体的位置,调整所述第1图像的显示区域。
在上述显示装置中,也可以构成为,具有第1确定部,该第1确定部根据所述拍摄图像确定所述特定物体。
在上述显示装置中,也可以构成为,所述第1调整部将表示能够显示所述第1图像的区域的可显示区域相对于所述特定物体固定,将所述显示区域调整为表示所述显示部显示图像的区域的图像显示区域与所述可显示区域重叠的区域。
在上述显示装置中,也可以构成为,具有第2确定部,该第2确定部根据所述拍摄图像确定所述可显示区域。
在上述显示装置中,也可以构成为,所述第1图像是表示字符串的图像,该显示装置具有第2调整部,该第2调整部根据所述第1调整部的调整结果调整显示在所述显示区域上的所述字符串的行数,所述显示控制部使所述字符串按照所述行数显示于所述显示区域。
在上述显示装置中,也可以构成为,具有判定部,该判定部判定是否能够使所述第1图像的整体显示于所述显示区域,在所述判定部判定为无法使所述第1图像的整体显示于所述显示区域的情况下,所述显示控制部以时分的方式使所述第1图像显示于所述显示区域。
在上述显示装置中,也可以构成为,具有第2检测部,该第2检测部检测所述头部的左右方向上的朝向,所述显示控制部根据所述第2检测部的检测结果,使与所述第1图像不同的第2图像显示于所述显示部。
在上述显示装置中,也可以构成为,在所述用户的正面方向与所述头部的左右方向上的朝向所形成的角度为阈值角度以上的情况下,所述显示控制部使所述第2图像显示于所述显示部。
在上述显示装置中,也可以构成为,第3检测部,其检测与所述特定物体之间的距离;以及第3调整部,其根据所述第3检测部的检测结果来调整所述第1图像的前后方向上的显示位置,所述显示控制部根据所述第3调整部的调整结果使所述第1图像显示于所述显示部。
解决上述课题的另一方式是一种显示装置的控制程序,该显示装置被佩戴于用户的头部,并具有:显示部,其位于所述用户的左眼侧和右眼侧中的至少一方,以与外景重叠的方式显示第1图像;以及计算机,其中,该显示装置的控制程序使所述计算机作为以下部分发挥功能:第1检测部,其检测所述头部的倾斜;第1调整部,其根据所述第1检测部的检测结果调整所述第1图像的显示区域;以及显示控制部,其根据所述第1调整部的调整结果使所述第1图像显示于所述显示区域。
解决上述课题的再又一个方式是一种显示装置的控制方法,该显示装置被佩戴于用户的头部,并具有:显示部,其位于所述用户的左眼侧和右眼侧中的至少一方,以与外景重叠的方式显示第1图像;以及计算机,其中,该显示装置的控制方法包含以下步骤:检测步骤,所述计算机检测所述头部的倾斜;调整步骤,根据所述检测步骤的检测结果调整所述第1图像的显示区域;以及显示控制步骤,根据所述调整步骤的调整结果使所述第1图像显示于所述显示区域。
解决上述课题的再又一个方式是一种显示系统,其具有:显示装置,其被佩戴于用户的头部;以及信息处理装置,其与所述显示装置连接,其中,所述显示装置具有显示部,该显示部位于所述用户的左眼侧和右眼侧中的至少一方,以与外景重叠的方式显示第1图像,所述信息处理装置具有:第1检测部,其检测所述头部的倾斜;第1调整部,其根据所述第1检测部的检测结果调整所述第1图像的显示区域;以及显示控制部,其根据所述第1调整部的调整结果使所述第1图像显示于所述显示区域。
附图说明
图1是示出本实施方式的显示系统的结构的一例的图。
图2是示出图像显示部的光学系统的结构的一例的图。
图3是示出图像显示部的主要部分结构的一例的立体图。
图4是示出构成HMD的各部的结构的一例的图。
图5是示出第1控制部的结构的一例的图。
图6是示出用户的头部的移动的一例的图。
图7是示出用户的头部的前后方向上的倾斜角发生变化的情况下的一例的图。
图8是示出用户的头部的左右方向上的倾斜角发生变化的情况下的一例的图。
图9是示出用户的头部的左右方向上的倾斜角发生变化的情况下的另一例的图。
图10是示出用户的头部的左右方向上的朝向发生变化的情况下的一例的图。
图11是示出第1控制部的主要处理的一例的流程图。
图12是示出第1控制部的主要处理的一例的流程图。
标号说明
1:显示系统;10:连接装置;11、11A、11D:连接器;13、14:亮度调整键;15、16:音量调整键;20:图像显示部(显示部);21:右保持部;22:右显示部;23:左保持部;24:左显示部;26:右导光板;261:半反射镜;28:左导光板;281:半反射镜;40:连接电缆;46:USB电缆;61:第1摄像头(拍摄部);64:距离传感器;66:红外线传感器;68:内侧摄像头;100:HMD(显示装置);120:第1控制部;121:第1确定部;122:第2确定部;123:第1检测部;124:第1调整部;125:第2调整部;126:判定部;127:第2检测部;128:第3检测部;129:第3调整部;130:第2显示控制部(显示控制部);132:传感器控制部;134:第1显示控制部;136:电源控制部;138:非易失性存储部;140:操作部;145:连接部;147:声音处理部;210:右显示部基板;221:OLED单元;230:左显示部基板;235:6轴传感器;237:磁传感器;241:OLED单元;300:智能手机(信息处理装置);310:第2控制部;310A:第2处理器;310B:第2存储器;AR1:拍摄区域;AR2:图像显示区域;ARA:可显示区域;ARP:显示区域;NA:最大字符数;NT:字符数;P1:第1图像;P2:第2图像;PY:表演者;ST:特定物体;TX:字符串;U:用户;角度;θ、η:倾斜角;阈值角度。
具体实施方式
以下,参照附图对实施方式进行说明。
[1.显示系统的结构]
[1-1.显示系统的整体结构]
图1是示出本实施方式的显示系统1的概略结构的图。
如图1所示,显示系统1具有HMD(Head Mounted Display)100。HMD 100是如下装置:具有连接装置10和佩戴于用户U的头部的图像显示部20,在图像显示部20佩戴于用户U的头部的状态下,通过图像显示部20使用户U看到虚像。
HMD 100对应于“显示装置”的一例。
在以下的说明中,用户U是佩戴HMD 100来使用的用户。
连接装置10在箱形的外壳上具有连接器11A和连接器11D。连接器11A经由连接电缆40与图像显示部20连接。以下,在不区分连接器11A、11D的情况下,有时记作连接器11。连接装置10的外壳还可以称作壳体或主体。
显示系统1是将智能手机300与HMD 100连接而构成的系统。连接器11D是HMD100的与智能手机300连接的接口。即,在本实施方式中,智能手机300与连接器11D连接。智能手机300对应于“信息处理装置”的一例。
智能手机300还具有第2控制部310。第2控制部310具有CPU、微型计算机等第2处理器310A,通过由该第2处理器310A执行第2控制程序,对智能手机300的各部进行控制。第2控制部310具有非易失性地存储第2处理器310A所执行的第2控制程序的ROM(Read OnlyMemory)和构成第2处理器310A的工作区的RAM(Random Access Memory)的第2存储器310B。
在本实施方式中,第2控制部310向连接装置10输出表示第1图像P1的信息。
另外,智能手机300只不过是信息处理装置的一例。信息处理装置能够供用户U携带并具有计算机即可。例如,作为信息处理装置,能够将PDA(Personal DigitalAssistant)终端、平板型个人计算机等与连接装置10连接。
连接器11是连接通信电缆的有线接口,连接装置10利用该通信电缆与外部装置连接。连接器11A具有连接连接电缆40的端子和经由连接器11A而收发信号的接口电路。
连接器11A是为了将图像显示部20与连接装置10连接起来而设置的。连接电缆40具有如下功能:从连接装置10对图像显示部20进行电源供给,并且,供图像显示部20和连接装置10相互收发数据。
连接器11D具有能够从智能手机300输入图像数据并向智能手机300输出传感器数据的接口电路。连接器11D例如是依据公知的通信接口标准的连接器。
在本实施方式中,作为一例,连接器11D具有与图像数据以及各种数据的输入输出对应的接口电路,经由USB电缆46与智能手机300连接。
作为连接器11D,例如可采用USB(Universal Serial Bus)-TypeC标准的连接器。与USB-TypeC对应的接口电路能够进行依照USB3.1标准的数据传输和20伏特、5安培以内的直流电力的供给。
此外,作为USB-TypeC的替代模式的功能,能够传输HDMI(注册商标:HighDefinition Multimedia Interface)标准的图像数据、MHL(MobileHigh-definitionLink)标准的图像数据等。智能手机300能够经由USB电缆46进行电源供给、数据的收发和图像、声音的流数据的供给等。USB-TypeC的替代模式已知为Alternative模式。
图像显示部20与外景重叠地显示第1图像P1。在本实施方式中,图像显示部20具有眼镜形状。图像显示部20在具有右保持部21、左保持部23和前部框架27的主体上具有右显示部22、左显示部24、右导光板26和左导光板28。
图像显示部20对应于“显示部”的一例。
右保持部21和左保持部23从前部框架27的两端部起向后方延伸,将图像显示部20保持于用户U的头部。设前部框架27的两端部中的、在佩戴图像显示部20时位于头部右侧的端部为端部ER、位于左侧的端部为端部EL。右保持部21设置成从前部框架27的端部ER延伸至在图像显示部20的佩戴状态下与用户U的右侧头部对应的位置。左保持部23设置成从端部EL起延伸至在图像显示部20的佩戴状态下与用户U的左侧头部对应的位置。
右导光板26和左导光板28设置于前部框架27。右导光板26在图像显示部20的佩戴状态下位于用户U的右眼的眼前,使右眼看到图像。左导光板28在图像显示部20的佩戴状态下位于用户U的左眼的眼前,使左眼看到图像。
前部框架27具有将右导光板26的一端和左导光板28的一端相互连结起来的形状,在用户U佩戴图像显示部20的佩戴状态下,该连结位置与用户U的眉间对应。
前部框架27也可以在右导光板26与左导光板28的连结位置处设置鼻托部,该鼻托部在图像显示部20的佩戴状态下与用户U的鼻子抵接。在该情况下,能够由鼻托部、右保持部21和左保持部23将图像显示部20保持于用户U的头部。此外,也可以将在图像显示部20的佩戴状态下与用户U的后头部接触的带连结于右保持部21以及左保持部23。在该情况下,能够利用带将图像显示部20保持于用户U的头部。
右显示部22和左显示部24分别是对光学单元和周边电路进行单元化后的模块。
右显示部22是与基于右导光板26的图像的显示相关的单元,设置于右保持部21,在佩戴状态下位于用户U的右侧头部的附近。左显示部24是与基于左导光板28的图像的显示相关的单元,设置于左保持部23,在佩戴状态下位于用户U的左侧头部的附近。另外,还可以将右显示部22和左显示部24统一简称为“显示驱动部”。
右导光板26和左导光板28是由透光性的树脂等形成的光学部,将右显示部22和左显示部24输出的图像光引导至用户U的眼睛。右导光板26和左导光板28例如是棱镜。
由右导光板26引导的图像光和透过右导光板26的外部光入射到用户U的右眼。同样,由左导光板28引导的图像光和透过左导光板28的外部光入射到左眼。
由左导光板28引导的图像光对应于第1图像P1。即,左显示部24和左导光板28以与外景重叠的方式显示第1图像P1。由右导光板26引导的图像光对应于第1图像P1。即,右显示部22和右导光板26以与外景重叠的方式显示第1图像P1。
之后参照图8详细地说明第1图像P1。
在图像显示部20的前部框架27上配置有照度传感器65。照度传感器65接收来自佩戴图像显示部20的用户U的前方的外部光。
摄像头61配设于图像显示部20的前部框架27。摄像头61设置于不遮挡透过右导光板26和左导光板28的外部光的位置。在图1的例子中,摄像头61配置于右导光板26与左导光板28的连结部,但也可以配置于前部框架27的端部ER侧,还可以配置于端部EL侧。
摄像头61对应于“拍摄部”的一例。
摄像头61是具有CCD(Charge Coupled Device)、CMOS(Complementary Metal-Oxide-Semiconductor)等摄像元件和摄像镜头等的数字摄像头。摄像头61拍摄外景的第1拍摄范围,生成第1拍摄图像。
后面参照图7说明第1拍摄范围。本实施方式的摄像头61是单目摄像头,但也可以由立体摄像头构成。
在前部框架27上配置有LED(Light Emitting Diode)指示器67。LED指示器67配置于端部ER,在摄像头61的动作中点亮,通知处于拍摄中。
在前部框架27上设置有距离传感器64和红外线传感器66。距离传感器64检测与位于预先设定的测量方向的测量对象物相距的距离。距离传感器64例如也可以是具有LED、激光二极管等光源、以及接收光源发出的光被测量对象物反射的反射光的受光部的光反射式距离传感器。此外,距离传感器64也可以是具有发出超声波的声源、和接收被测量对象物反射的超声波的检测部的超声波式距离传感器。此外,距离传感器64也可以使用激光扫描测距仪(laser range scanner),在该情况下,能够对包含图像显示部20的前方在内的较大范围的区域进行测量。
红外线传感器66检测红外线。具体而言,红外线传感器66检测从智能手机300的红外线通信部射出的红外线。此外,红外线传感器66也可以构成为红外线通信部的一部分。在该情况下,能够与智能手机300的红外线通信部进行通信。红外线通信部例如依照IrDA标准进行通信。
图像显示部20的右显示部22以及左显示部24分别与连接装置10连接。在HMD 100中,左保持部23与连接电缆40连接,与该连接电缆40相连的布线铺设于图像显示部20内部,右显示部22以及左显示部24分别与连接装置10连接。
连接电缆40具有音频连接器36,耳机30与音频连接器36连接,该耳机30具有构成立体声耳机的右耳机32和左耳机34、以及麦克风63。右耳机32被佩戴于用户的右耳,左耳机34被佩戴于用户的左耳。右耳机32和左耳机34也可以称作声音输出部。
右耳机32和左耳机34根据连接装置10输出的声音信号,输出声音。
麦克风63对声音进行收集,将声音信号输出到连接装置10。麦克风63例如可以是单声道麦克风,也可以是立体声麦克风,可以是具有定向性的麦克风,还可以是无定向性的麦克风。
连接装置10具有亮度调整键13、亮度调整键14、音量调整键15和音量调整键16,作为被用户U操作的被操作部。亮度调整键13、亮度调整键14、音量调整键15和音量调整键16分别由硬件按键构成。这些被操作部配置于连接装置10的主体的表面上,例如被用户U的手指操作。
亮度调整键13、14是用于调整由图像显示部20显示的图像的显示亮度的硬件按键。亮度调整键13指示亮度的增大,亮度调整键14指示亮度的减小。音量调整键15、16是用于调整从右耳机32和左耳机34输出的声音的音量的硬件按键。音量调整键15指示音量的增大,音量调整键16指示音量的减小。
在本实施方式中,HMD 100具有右导光板26和左导光板28,但是,本发明的实施方式不限于此。HMD 100位于用户U的左眼侧和右眼侧中的至少一方,以与外景重叠的方式显示第1图像P1即可。即,HMD 100具有右导光板26和左导光板28中的至少一方即可。例如,也可以是,HMD 100具有右导光板26,不具有左导光板28。此外,例如,也可以是,HMD 100具有左导光板28,不具有右导光板26。
[1-2.HMD的图像显示部的光学系统的结构]
图2是示出图像显示部20具备的光学系统的结构的主要部分俯视图。在图2中,为了进行说明,示出用户U的左眼LE和右眼RE。
如图2所示,右显示部22和左显示部24构成为左右对称。作为使用户U的右眼RE看到图像的结构,右显示部22具有发出图像光的OLED(Organic Light Emitting Diode)单元221。此外,具有右光学系统251,该右光学系统251具有引导OLED单元221发出的图像光L的透镜组等。图像光L被右光学系统251引导至右导光板26。
OLED单元221具有OLED面板223、以及驱动OLED面板223的OLED驱动电路225。OLED面板223是矩阵状地配置通过有机电致发光而进行发光并分别发出R(红)、G(绿)、B(蓝)的色光的发光元件而构成的自发光型显示面板。OLED面板223将各包含1个R、G、B的元件的单位作为1个像素而具有多个像素,利用矩阵状地配置的像素形成图像。OLED驱动电路225依照第1控制部120的控制,执行OLED面板223具备的发光元件的选择和对发光元件的通电,使OLED面板223的发光元件发光。关于第1控制部120,在后面参照图4和图5进行说明。
OLED驱动电路225通过接合(bonding)等被固定于OLED面板223的反面即发光面的反面侧。OLED驱动电路225例如也可以由驱动OLED面板223的半导体器件构成,安装在被固定于OLED面板223的背面的基板上(省略图示)。在该基板上安装有图4所示的温度传感器217。
另外,OLED面板223也可以是矩阵状地配置发出白色光的发光元件、并重叠地配置与R、G、B的各色对应的滤色器的结构。此外,也可以使用除了分别发射R、G、B的色光的发光元件以外还具有发出W(白色)光的发光元件的WRGB结构的OLED面板223。
右光学系统251具有使从OLED面板223射出的图像光L成为平行状态的光束的准直透镜。利用准直透镜而成为平行状态的光束的图像光L入射到右导光板26。在右导光板26的内部的引导光的光路中形成有反射图像光L的多个反射面。图像光L在右导光板26的内部经过多次反射而被引导至右眼RE侧。在右导光板26上形成有位于右眼RE的眼前的半反射镜261(反射面)。图像光L被半反射镜261反射而从右导光板26朝向右眼RE射出,该图像光L在右眼RE的视网膜上成像,使用户U看到第1图像P1。
此外,作为使用户U的左眼LE看到图像的结构,左显示部24具有:OLED单元241,其发出图像光;以及左光学系统252,其具有引导OLED单元241发出的图像光L的透镜组等。图像光L被左光学系统252引导至左导光板28。
OLED单元241具有OLED面板243、以及驱动OLED面板243的OLED驱动电路245。OLED面板243是与OLED面板223同样构成的自发光型显示面板。OLED驱动电路245依照第1控制部120的指示,执行OLED面板243具备的发光元件的选择和对发光元件的通电,使OLED面板243的发光元件发光。
OLED驱动电路245通过接合(bonding)等被固定于OLED面板243的反面即发光面的反面侧。OLED驱动电路245例如也可以由驱动OLED面板243的半导体器件构成,安装在被固定于OLED面板243的背面的基板上(省略图示)。在该基板上安装有图4所示的温度传感器239。
左光学系统252具有使从OLED面板243射出的图像光L成为平行状态的光束的准直透镜。利用准直透镜而成为平行状态的光束的图像光L入射到左导光板28。左导光板28是形成有反射图像光L的多个反射面的光学元件,例如是棱镜。图像光L在左导光板28的内部经过多次反射而被引导至左眼LE侧。在左导光板28上形成有位于左眼LE的眼前的半反射镜281(反射面)。图像光L被半反射镜281反射,从左导光板28朝向左眼LE射出,该图像光L在左眼LE的视网膜上成像,使用户U看到第1图像P1。
根据该结构,HMD 100作为透射型显示装置发挥功能。即,被半反射镜261反射的图像光L和透过右导光板26的外部光OL入射到用户U的右眼RE。此外,被半反射镜281反射的图像光L和透过半反射镜281的外部光OL入射到左眼LE。这样,HMD 100使在内部进行处理后的图像的图像光L与外部光OL重叠地入射到用户U的眼睛,对用户U而言,能够透过右导光板26和左导光板28看到外景,可与该外景重叠地看到由图像光L形成的图像。
半反射镜261、281是反射右显示部22和左显示部24分别输出的图像光而提取图像的图像提取部,能够称作显示部。
另外,也将左光学系统252和左导光板28统称作“左导光部”,将右光学系统251和右导光板26统称作“右导光部”。右导光部和左导光部的结构不限于上述的例子,只要使用图像光在用户U的眼前形成虚像,则能够使用任意的方式,例如可以使用衍射光栅,也可以使用半透射反射膜。
图3是示出图像显示部20的主要部分的结构的图。图3是从用户U的头部侧观看图像显示部20的主要部分立体图。另外,在图3中省略连接电缆40的图示。
图3是图像显示部20的与用户U的头部接触的一侧、换言之用户U的右眼RE和左眼LE可看到的一侧。换另一说法,在图3中,能够看到右导光板26和左导光板28的里侧。
在图3中,对用户U的右眼RE照射图像光的半反射镜261和对左眼LE照射图像光的半反射镜281可看作大致四边形的区域。此外,如上所述,包含半反射镜261的右导光板26的整体和包含半反射镜281的左导光板28的整体使外部光透过。因此,用户U可透过右导光板26和左导光板28的整体而看到外景,在半反射镜261、281的位置处看到矩形的显示图像。
此外,在图像显示部20的用户U侧配置有内侧摄像头68。内侧摄像头68以分别与用户U的右眼RE以及左眼LE对应的方式,在右导光板26与左导光板28的中央位置设置有一对。内侧摄像头68是分别拍摄用户U的右眼RE和左眼LE的一对摄像头。内侧摄像头68依照第1控制部120的指示进行拍摄。第1控制部120分析内侧摄像头68的拍摄图像数据。例如,第1控制部120根据内侧摄像头68的拍摄图像数据,检测右眼RE和左眼LE的眼球表面上的反射光、瞳孔的图像,确定用户U的视线方向。此外,第1控制部120能够求出用户U的视线方向的变化,检测右眼RE和左眼LE各自的眼球运动。
这里,用户U的视线的移动还能够视作用户U的假想视点的移动。
此外,在根据内侧摄像头68的拍摄图像检测出右眼RE和左眼LE的视线方向的情况下,第1控制部120能够求出右眼RE和左眼LE的会聚角。会聚角对应于到用户U注视的对象物的距离。即,在用户U立体地观看图像、物体的情况下,右眼RE和左眼LE的会聚角与到观看的对象的距离对应地确定。因此,通过检测会聚角,能够求出用户U注视的距离。此外,通过以引导用户U的会聚角的方式显示图像,能够引导立体观察。
此外,第1控制部120按照第2控制部310的指示,根据调整部315的调整结果使图像显示部20显示第1图像P1。
[1-3.HMD的各部的结构]
图4是示出构成HMD 100的各部的结构的一例的图。
图像显示部20的右显示部22具有右显示部基板210。在右显示部基板210上安装有与连接电缆40连接的右I/F部211、接收经由右I/F部211从连接装置10输入的数据的接收部213、以及EEPROM(Electrically Erasable Programmable Read Only Memory)215。右I/F部211将接收部213、EEPROM215、温度传感器217、摄像头61、距离传感器64、照度传感器65、红外线传感器66、LED指示器67以及内侧摄像头68与连接装置10连接。接收部213将OLED单元221与连接装置10连接。
左显示部24具有左显示部基板230。在左显示部基板230上安装有与连接电缆40连接的左I/F部231、以及接收经由左I/F部231从连接装置10输入的数据的接收部233。此外,在左显示部基板230上安装有6轴传感器235和磁传感器237。
左I/F部231将接收部233、6轴传感器235、磁传感器237以及温度传感器239与连接装置10连接。接收部233将OLED单元241与连接装置10连接。
I/F是接口的缩写。另外,在本实施方式中,有时分别将接收部213和接收部233记作Rx 213、Rx 233。
EEPROM 215非易失性地存储各种数据。EEPROM 215例如存储与图像显示部20具备的OLED单元221、241的发光特性、显示特性相关的数据、与右显示部22或左显示部24具备的传感器的特性相关的数据等。
具体而言,存储与OLED单元221、241的伽马校正相关的参数、对温度传感器217、239的检测值进行补偿的数据等。这些数据通过HMD 100的工厂出货时的检查而生成,被写入EEPROM 215中。可由第1控制部120读取EEPROM 215所存储的数据。
摄像头61根据经由右I/F部211输入的信号执行拍摄,将拍摄图像数据输出到右I/F部211。
照度传感器65接收外部光,输出与受光量或受光强度对应的检测值。LED指示器67根据经由右I/F部211输入的控制信号或驱动电流来点亮。
内侧摄像头68根据经由右I/F部211输入的信号执行拍摄,将拍摄图像数据输出到右I/F部211。
温度传感器217检测OLED单元221的温度,将与检测温度对应的电压值或电阻值作为检测值输出。
距离传感器64执行距离检测,将表示检测结果的信号经由右I/F部211而输出到连接装置10。距离传感器64例如可以使用红外线式深度传感器、超声波式距离传感器、TimeOf Flight式距离传感器、将图像检测与声音检测组合而成的距离检测单元等。此外,距离传感器64也可以采用对能够通过立体摄像头、单目摄像头的立体拍摄而得到的图像进行处理从而检测距离的结构。
红外线传感器66执行红外线检测,将表示检测结果的信号经由右I/F部211输出到连接装置10。
接收部213接收经由右I/F部211从连接装置10传输的显示用图像数据,输出到OLED单元221。OLED单元221显示基于连接装置10所传输的图像数据的图像。
此外,接收部233接收经由左I/F部231从连接装置10传输的显示用图像数据,输出到OLED单元241。OLED单元221、241显示基于连接装置10所传输的图像数据的图像。
6轴传感器235是具有3轴加速度传感器和3轴陀螺仪传感器的运动传感器。6轴传感器235可以采用对上述的传感器进行了模块化的IMU(Inertial Measurement Unit)。磁传感器237例如是3轴的地磁传感器。陀螺仪传感器也称作角速度传感器。
温度传感器239检测OLED单元241的温度,将与检测温度对应的电压值或电阻值作为检测值输出。
图像显示部20的各部利用由连接电缆40从连接装置10供给的电力进行动作。
图像显示部20在右显示部22具有电源部229,在左显示部24具有电源部249。电源部229将连接装置10借助连接电缆40而供给的电力分配并供给至包含右显示部基板210的右显示部22的各部。同样,电源部249将连接装置10经由连接电缆40而供给的电力分配并供给至包含左显示部基板230的左显示部24的各部。右显示部22和左显示部24也可以具有转换电压的转换电路等。
连接装置10具有I/F部110、第1控制部120、传感器控制部132、第1显示控制部134、电源控制部136、非易失性存储部138、操作部140、连接部145和声音处理部147。
I/F部110具有连接器11D。此外,I/F部110具有接口电路,该接口电路与连接器11D连接,执行依照各种通信标准的通信协议。
I/F部110例如也可以是安装有连接器11D和接口电路的接口基板。此外,连接装置10的第1控制部120、传感器控制部132、第1显示控制部134、电源控制部136也可以构成为安装在未图示的连接装置主基板上。在该情况下,也可以在连接装置主基板上安装I/F部110的连接器11D和接口电路。
此外,I/F部110例如可以具有能够与外部的存储装置、存储介质连接的存储卡用接口电路等,也可以由无线通信接口电路构成I/F部110。
第1控制部120控制连接装置10的各部。第1控制部120具有CPU(CentralProcessing Unit)这样的第1处理器120A。在第1控制部120中,第1处理器120A执行第1控制程序,由此,通过软件与硬件的协作,控制HMD 100的各部。非易失性存储部138、操作部140、连接部145和声音处理部147与第1控制部120连接。
传感器控制部132对摄像头61、距离传感器64、照度传感器65、红外线传感器66、温度传感器217、6轴传感器235、磁传感器237和温度传感器239进行控制。具体而言,传感器控制部132依照第1控制部120的控制,进行各传感器的采样周期的设定和初始化,并对应于各传感器的采样周期,执行向各传感器的通电、控制数据的发送、检测值的取得等。
传感器控制部132与I/F部110的连接器11D连接,在预先设定的定时,将与从各传感器取得的检测值有关的数据输出到连接器11D。与连接器11D连接的智能手机300能够取得HMD 100的各传感器的检测值、摄像头61的拍摄图像数据和表示由内侧摄像头68检测出的视线方向的数据。
第1显示控制部124执行用于由图像显示部20显示基于输入到I/F部110的图像数据的图像的各种处理。在本实施方式中,向连接器11D输入智能手机300所输出的图像信号。图像信号是数字图像数据,但是也可以是模拟图像信号。
第1显示控制部134例如执行帧的剪切、分辨率转换、中间帧生成、帧率转换等各种处理。分辨率转换包含所谓的缩放。第1显示控制部134将分别与OLED单元221以及OLED单元241对应的图像数据输出到连接部145。输入到连接部145的图像数据从连接器11A作为图像信号201传输到右I/F部211和左I/F部231。图像信号201是分别与OLED单元221以及OLED单元241对应地进行处理后的数字图像数据。
在本实施方式中,连接器11D由USB-TypeC连接器构成。第1显示控制部134经由连接器11D接收在USB-TypeC的替代模式下传输的图像数据。
传感器控制部132和/或第1显示控制部134也可以通过由第1处理器120A执行程序,利用软件与硬件的协作来实现。即,传感器控制部132和第1显示控制部134由第1处理器120A构成,通过执行程序来执行上述的动作。在该例中,传感器控制部132和第1显示控制部134也可以通过使构成第1控制部120的第1处理器120A执行程序来实现。换言之,也可以通过由第1处理器执行程序来作为第1控制部120、第1显示控制部134和传感器控制部132发挥功能。
此外,第1显示控制部134和传感器控制部132也可以由DSP(Digital SignalProcessor)、FPGA(Field Programmable Gate Array)等被编程的硬件构成。此外,也可以将传感器控制部132和第1显示控制部134合并构成为SoC(System-on-a-Chip)-FPGA。
电源控制部136与连接器11D连接。电源控制部136根据从连接器11D供给的电力,进行对连接装置10的各部和图像显示部20的电源供给。此外,电源控制部136也可以具有未图示的电压转换电路,对电压进行转换并供给到连接装置10和图像显示部20的各部。电源控制部136也可以由逻辑电路、FPGA等被编程的半导体器件构成。此外,也可以通过与传感器控制部132和/或第1显示控制部134共用的硬件构成电源控制部136。
传感器控制部132、第1显示控制部134和电源控制部136可以具备用于进行数据处理的工作存储器,也可以利用第1控制部120的存储器进行处理。
操作部140检测对连接装置10具备的被操作部的操作,将表示操作内容的数据或表示所操作的被操作部的操作信号输出到第1控制部120。
声音处理部147依照从第1控制部120输入的声音数据生成声音信号,并输出到连接部145。该声音信号从连接部145经由音频连接器36被输出到右耳机32和左耳机34。此外,声音处理部147依照第1控制部120的控制,调整声音信号的音量。此外,声音处理部147生成麦克风63收集到的声音的声音数据,并输出到第1控制部120。也可以由第1控制部120以与图像显示部20具备的传感器的检测值同样的方式,对该声音数据进行处理。
此外,连接装置10也可以具有未图示的电池,并从该电池向连接装置10和图像显示部20的各部供给电力。连接装置10具备的电池也可以是可充电的二次电池。
[1-4.第1控制部的结构]
图5是示出第1控制部120的结构的一例的图。
第1控制部120与图像显示部20、摄像头61、6轴传感器235以及磁传感器237连接成能够通信。
第1控制部120具有第1处理器120A,通过由该第1处理器120A执行第1控制程序,对连接装置10的各部进行控制。第1控制部120具有第1存储器120B,该第1存储器120B非易失性地存储第1处理器120A执行的第1控制程序。
第1处理器120A对应于“计算机”的一例。第1控制部120的第1存储器120B所存储的第1控制程序对应于“控制程序”的一例。
第1存储器120B例如具有使用了HDD(Hard Disk Drive)等磁记录装置或闪存等半导体存储元件的存储装置。
第1控制部120具有第1确定部121、第2确定部122、第1检测部123、第1调整部124、第2调整部125、判定部126、第2检测部127、第3检测部128、第3调整部129和第2显示控制部130。具体而言,第1控制部120通过使第1控制部120具备的第1处理器120A执行第1控制程序来作为第1确定部121、第2确定部122、第1检测部123、第1调整部124、第2调整部125、判定部126、第2检测部127、第3检测部128、第3调整部129和第2显示控制部130发挥功能。
第1确定部121根据摄像头61拍摄的拍摄图像,确定特定物体ST。例如,第1确定部121根据用户U的操作,确定摄像头61拍摄的拍摄区域AR1所包含的特定物体ST。特定物体ST配置于实际空间。用户U例如通过对配置于连接装置10的省略图示的十字键进行操作,确定特定物体ST。
参照图7详细地说明拍摄区域AR1和特定物体ST。
第2确定部122根据摄像头61拍摄的拍摄图像,确定可显示区域ARA。可显示区域ARA表示能够显示第1图像P1的区域。在本实施方式中,第1图像P1是表示字符串TX的图像。
例如,第2确定部122根据用户U的操作,确定可显示区域ARA。可显示区域ARA包含在摄像头61拍摄的拍摄区域AR1中。用户U例如通过对配置于连接装置10的省略图示的十字键进行操作,确定可显示区域ARA。
参照图7详细地说明可显示区域ARA。
第1检测部123检测用户U的头部的倾斜。具体而言,第1检测部123检测用户U的头部的左右方向上的倾斜角θ和用户U的头部的前后方向上的倾斜角η。并且,具体而言,第1检测部123根据6轴传感器235的检测结果,检测倾斜角θ和倾斜角η。
参照图6详细地说明倾斜角θ和倾斜角η。
在本实施方式中,第1检测部123根据6轴传感器235的检测结果检测倾斜角θ和倾斜角η,但是,本发明的实施方式不限定于此。第1检测部123也可以根据磁传感器237的检测结果检测倾斜角θ和倾斜角η。
此外,在本实施方式中,第1检测部123检测倾斜角θ和倾斜角η,但是本发明的实施方式不限定于此。第1检测部123只要检测倾斜角θ和倾斜角η中的至少一方即可。
第1调整部124根据第1检测部123的检测结果来调整第1图像P1的显示区域ARP。换言之,第1调整部124根据拍摄图像所包含的特定物体ST的位置,调整第1图像P1的显示区域ARP。显示区域ARP表示显示第1图像P1的区域。
具体而言,第1调整部124将表示能够显示第1图像P1的区域的可显示区域ARA假想地相对于特定物体ST固定,将显示区域ARP调整为图像显示区域AR2与可显示区域ARA重叠的区域。图像显示区域AR2表示图像显示部20显示图像的区域。即,第1调整部124将显示区域ARP调整为可显示区域ARA与图像显示区域AR2重叠的区域。
例如,对特定物体ST为舞台的侧面的情况进行说明。在舞台上,如图7所示,例如,表演者PY正在表演歌剧。第1调整部124将特定物体ST设定成特定物体ST不与舞台上的表演者PY重叠。此外,第1调整部124根据观众席的配置、即、与舞台的距离、角度等来配置可显示区域ARA。此外,第1调整部124根据观众席的配置将可显示区域ARA配置成用户U能够通过HMD 100看到舞台上的表演者PY的程度、即、能够看到表演者PY的表演并且可看到表示图9所示的字幕的字符串TX。
参照图7详细地说明显示区域ARP、图像显示区域AR2和第1调整部124。
第2调整部125根据第1调整部124的调整结果,调整显示在显示区域ARP上的字符串TX的行数。
参照图9详细地说明第2调整部125的处理的具体例。
判定部126判定能否将第1图像P1的整体显示在显示区域ARP上。
例如,判定部126计算能够显示在显示区域ARP上的最大字符数NA,在与第1图像P1对应的字符串TX的字符数NT为最大字符数NA以下的情况下,判定部126判定为能够将第1图像P1的整体显示在显示区域ARP上。此外,在字符数NT不是最大字符数NA以下的情况下,判定部126判定为无法将第1图像P1的整体显示在显示区域ARP上。
第1调整部124将显示区域ARP调整为可显示区域ARA与图像显示区域AR2重叠的区域,因此,图像显示区域AR2的大小伴随倾斜角θ和倾斜角η中的至少一方变化而发生变化。在显示区域ARP的大小变窄的情况下,有时无法显示第1图像P1的整体。
第3检测部128检测HMD 100与特定物体ST之间的距离。具体而言,第3检测部128根据距离传感器64的检测结果,检测HMD 100与特定物体ST之间的距离。
第3调整部129根据第3检测部128的检测结果,调整第1图像P1的前后方向上的假想显示位置。具体而言,第3调整部129通过调整显示在右导光板26上的第1图像P1和显示在左导光板28上的第1图像P1的会聚角,调整第1图像P1的前后方向上的假想显示位置。
第3调整部129例如将第1图像P1的前后方向上的假想显示位置调整为对应于HMD100与特定物体ST之间的距离的位置。换言之,HMD 100与特定物体ST之间的距离越长,则第3调整部129越将第1图像P1的假想显示位置调整为远离HMD 100的位置。
此外,第3调整部129可以使第1图像P1的前后方向上的假想显示位置与特定物体ST的位置一致。在该情况下,用户U能够容易地看到第1图像P1和位于特定物体ST的附近的物体例如表演者PY。
参照图7说明表演者PY。
第2显示控制部130根据第1调整部124的调整结果使显示区域ARP显示第1图像P1。此外,第2显示控制部130根据第2调整部125调整后的字符串TX的行数,使显示区域ARP显示第1图像P1。
并且,在判定部126判定为无法将第1图像P1的整体显示在显示区域ARP上的情况下,第2显示控制部130以时分的方式使显示区域ARP显示第1图像P1。
例如,在将第1图像P1分割为第1小图像P11和第2小图像P12这2个图像来显示的情况下,第2显示控制部130在将第1小图像P11显示在显示区域ARP后,在规定时间之后,替代第1小图像P11而显示第2小图像P12。规定时间例如为1秒。规定时间例如根据更新第1图像P1的时间的间隔来确定。
此外,第2显示控制部130根据第3调整部129的调整结果,使显示区域ARP显示第1图像P1。
此外,第2显示控制部130根据第2检测部127的检测结果,将与第1图像P1不同的第2图像P2显示在图像显示区域AR2上。
参照图10详细地说明第2图像P2。
在本实施方式中,第1控制部120具有第1确定部121、第2确定部122、第1检测部123、第1调整部124、第2调整部125、判定部126、第2检测部127、第3检测部128、第3调整部129和第2显示控制部130,但是本发明不限于此。
智能手机300的第2控制部310也可以具有第1确定部121、第2确定部122、第1检测部123、第1调整部124、第2调整部125、判定部126、第2检测部127、第3检测部128、第3调整部129和第2显示控制部130。有时将该方式记作“本发明的另一实施方式”。
此外,也可以是,第1控制部120具有第1确定部121、第2确定部122、第1检测部123、第1调整部124、第2调整部125、判定部126、第2检测部127、第3检测部128、第3调整部129和第2显示控制部130的一部分,智能手机300的第2控制部310具有第1确定部121、第2确定部122、第1检测部123、第1调整部124、第2调整部125、判定部126、第2检测部127、第3检测部128、第3调整部129和第2显示控制部130的剩余部分。
[2.使用具体例的第1控制部的处理的说明]
图6~图10分别是示出第1控制部120的处理的具体例的图。
[2-1.第1检测部和第2检测部的处理的说明]
图6是示出用户U的头部的移动的一例的图。
图6的上图示出用户U的头部的前后方向上的倾斜角η。图6的上图是用户U的头部的侧视图。图6的上图示出用户U的头部的头顶部相对于颈部向前下方向倾斜的情况下的倾斜角η。换言之,示出用户U俯视的情况下的倾斜角η。但是,在图6的上图中,未考虑用户U的头部在前后方向和上下方向的移动。即,在图6的上图中,为了方便起见,记载为用户U的头部假想地以头部的中心位置为中心绕顺时针旋转。
倾斜角η例如表示相对于水平方向的倾斜度。换言之,倾斜角η例如表示相对于用户U的头部的正面方向的倾斜度。
另外,在用户U的头部的头顶部相对于颈部向后下方向倾斜的情况、即、用户U仰视的情况下,倾斜角η表示与图6的上图所示的倾斜角η相反的方向、即、逆时针的角度。在该情况下,倾斜角η成为负的值。
倾斜角η通过第1检测部123来检测。此外,在倾斜角η为正的值的情况下,显示区域ARP相对于特定物体ST相对地向下方移动。参照图7详细地说明该情况。
图6的中图表示用户U的头部的头部的左右方向上的倾斜角θ。图6的中图是用户U的头部的主视图。图6的中图表示用户U的头部的头顶部相对于颈部向右方倾斜的情况下的倾斜角θ。但是,在图6的中图中,未考虑用户U的头部在左右方向和上下方向上的移动。即,在图6的中图中,为了方便起见,记载为用户U的头部假想地以头部的中心位置为中心绕顺时针旋转。
倾斜角θ例如表示相对于水平方向的倾斜度。
另外,在用户U的头部的头顶部相对于颈部向左方倾斜的情况下,倾斜角θ表示与图6的中图所示的倾斜角θ相反的方向即逆时针的角度。在该情况下,倾斜角θ成为负的值。
倾斜角θ通过第1检测部123来检测。此外,在倾斜角θ为正的值的情况下,显示区域ARP相对于特定物体ST相对地倾斜。参照图8和图9详细地说明该情况。
图6的下图示出用户U的正面方向与头部的左右方向的朝向所形成的角度图6的下图是用户U的头部的俯视图。图6的下图表示用户U的头部相对于用户U的正面方向朝向右方的情况下的角度但是,在图6的下图中,未考虑用户U的头部在前后方向和上下方向上的移动。即,在图6的下图中,为了方便起见,记载为用户U的头部假想地以头部的中心位置为中心绕顺时针旋转。
角度通过第2检测部127来检测。此外,第2显示控制部130根据第2检测部127的检测结果,将与第1图像P1不同的第2图像P2显示在显示区域ARP上。具体而言,在角度的绝对值为阈值角以上的情况下,第2显示控制部130将第2图像P2显示在显示区域ARP上。参照图10详细地说明该情况。
[2-2.第1调整部的处理的说明]
图7是示出用户U的头部的前后方向的倾斜角η发生变化的情况下的一例的图。图7的上图是示出倾斜角η为零的情况下的显示区域ARP的一例的图。即,图7的上图是示出用户U朝向正面的情况下的显示区域ARP的图。
第1调整部124将可显示区域ARA假想地相对于特定物体ST固定,将显示区域ARP调整为可显示区域ARA与图像显示区域AR2重叠的区域。可显示区域ARA表示能够显示第1图像P1的区域。图像显示区域AR2表示图像显示部20显示图像的区域。换言之,图像显示区域AR2表示与右导光板26以及左导光板28各自对应的区域。
在本实施方式中,图像显示区域AR2包含在拍摄区域AR1中。拍摄区域AR1表示摄像头61拍摄的区域。
在本实施方式中,对特定物体ST为舞台的侧面的情况进行说明。在舞台上,例如,表演者PY正在表演歌剧。
在本实施方式中,可显示区域ARA配置于特定物体ST即舞台的侧面的上部。可显示区域ARA为矩形的区域。
用户U例如通过对配置于连接装置10的省略图示的十字键进行操作,第2确定部122确定可显示区域ARA。具体而言,用户U通过指定可显示区域ARA的四角中的、左上的顶点的位置和右下的顶点的位置,确定可显示区域ARA。
在本实施方式中,第2确定部122根据用户U的操作确定可显示区域ARA,但是,本发明的实施方式不限于此。第2确定部122确定可显示区域ARA即可。例如,在用户U朝向正面的情况下,第2确定部122也可以将可显示区域ARA确定为拍摄区域AR1与特定物体ST重叠的区域。
此外,在本实施方式中,用户U对配置于连接装置10的省略图示的十字键进行操作,由此,第2确定部122确定可显示区域ARA,但是本发明的实施方式不限于此。第2确定部122根据用户U的操作,确定可显示区域ARA即可。例如,第2确定部122也可以根据如动作UI那样,由用户U用手指描绘可显示区域ARA的四角的操作,确定可显示区域ARA。此外,例如,也可以是,用户U指定可显示区域ARA的中心位置,用户U以多点触摸的方式对对角线进行放大操作,由此,第2确定部122确定可显示区域ARA。并且,例如,也可以是,通过图像识别检测舞台周边的区域,显示多个可显示区域ARA的候选,用户U从多个可显示区域ARA的候选中选择1个可显示区域ARA,由此,第2确定部122确定可显示区域ARA。
表演者PY位于拍摄区域AR1的中央。在本实施方式中,说明可显示区域ARA在用户U的头部朝向正面的情况、即初始状态下通过第2确定部122确定为拍摄区域AR1与特定物体ST重叠的区域的情况。
第1图像显示区域AR21表示用户U的头部朝向正面的情况、即初始状态下的图像显示区域AR2。
第1显示区域ARP1表示用户U的头部朝向正面的情况、即初始状态下的显示区域ARP。
第1调整部124将第1显示区域ARP1调整为第1图像显示区域AR21与可显示区域ARA重叠的区域。
图7的下图是示出倾斜角η为正的情况下的显示区域ARP的一例的图。即,图7的下图是示出用户U倾斜地朝向下方向的情况下的显示区域ARP的图。
图像显示区域AR2伴随倾斜角η从零变化为正的值而向下方向DR移动。其结果,显示区域ARP从第1图像显示区域AR21变化为第2图像显示区域AR22。第2图像显示区域AR22表示用户U倾斜地朝向下方向的情况下的图像显示区域AR2。
第1调整部124将显示区域ARP调整为第2图像显示区域AR22与可显示区域ARA重叠的区域。即,显示区域ARP从第1显示区域ARP1变化为第2显示区域ARP2。
第2显示区域ARP2与第1显示区域ARP1相比,左右方向的尺寸相同,上下方向的尺寸较大。
在本实施方式中,将与表演者PY发出的声音对应的字符串TX的图像作为第1图像P1显示在显示区域ARP上。与表演者PY发出的声音对应的字符串信息例如从智能手机300发送。
具体而言,表演者PY发出的声音例如输入到配置于智能手机300的麦克风,智能手机300的第2控制部310生成与声音对应的字符串信息。而且,智能手机300的控制部生成与所生成的字符串信息对应的字符串TX的图像作为第1图像P1。智能手机300的第2控制部310将表示所生成的第1图像P1的信息传输到HMD 100的连接装置10的第1控制部120。
参照图9详细地说明字符串TX。
在图7的下图中,示出倾斜角η为正的情况下的显示区域ARP、即第2显示区域ARP2,但是,在倾斜角η为负的情况下,显示区域ARP与第1显示区域ARP1相比,左右方向的尺寸相同,上下方向的尺寸较小。倾斜角η为负的情况对应于用户U倾斜地朝向上方向的情况。
图8是示出用户U的头部的左右方向的倾斜角θ发生变化的情况下的一例的图。
图8的上图是示出倾斜角θ为零的情况下的显示区域ARP的图。换言之,图8的上图是示出用户U朝向正面的情况下的显示区域ARP、即第1显示区域ARP1的图。图8的上图与图7的上图相同,因此,省略其说明。
图8的下图是示出倾斜角θ为正的情况下的显示区域ARP的图。即,图8的下图是示出用户U的头部向右倾斜的情况下的显示区域ARP的图。
图像显示区域AR2伴随倾斜角θ从零变化为正的值而绕顺时针倾斜倾斜角θ。其结果,图像显示区域AR2从第1图像显示区域AR21变化为第3图像显示区域AR23。第3图像显示区域AR23表示用户U的头部向右倾斜的情况下的图像显示区域AR2。
第1调整部124将显示区域ARP调整为第3图像显示区域AR23与可显示区域ARA重叠的区域。即,显示区域ARP从第1显示区域ARP1变化为第3显示区域ARP3。
第3显示区域ARP3是以第3图像显示区域AR23的左边的下端部为上底、第3图像显示区域AR23的右边的下端部为下底的梯形的区域。第3显示区域ARP3的左端处的上下方向的长度LL比第1显示区域ARP1的上下方向的长度L1短,第3显示区域ARP3的右端处的上下方向的长度LR比第1显示区域ARP1的上下方向的长度L1长。
在图8的下图中,示出倾斜角θ为正的情况下的显示区域ARP,但是,在倾斜角θ为负的情况下,显示区域ARP是使第3图像显示区域AR23的左右反转后的梯形的区域。即,显示区域ARP的左端处的上下方向的长度LR比第1显示区域ARP1的上下方向的长度L1长,第3显示区域ARP3的右端处的上下方向的长度LL比第1显示区域ARP1的上下方向的长度L1短。
[2-3.第2调整部的处理的说明]
图9是示出用户U的头部的左右方向的倾斜角θ发生变化的情况下的另一例的图。
图9的上图是示出倾斜角θ为零的情况下的显示区域ARP的一例的图。在倾斜角θ为零的情况下,如参照图8所说明那样,显示区域ARP为矩形的第1显示区域ARP1。
第2显示控制部130将表示字符串TX的图像作为第1图像P1显示在第1显示区域ARP1上。
在本实施方式中,第2调整部125将显示在第1显示区域ARP1的字符串TX的行数调整为1行。即,1行的字符串TX的图像P11显示在第1显示区域ARP1。
具体而言,将表示“I remember my nostalgic home scenery every summer.”的1行的字符串TX的图像P11显示在第1显示区域ARP1。
图9的下图是示出倾斜角θ为正的情况下的显示区域ARP的一例的图。在图9的下图中,倾斜角θ的值比图8的下图的情况大,因此,显示区域ARP不是梯形的区域,成为三角形的区域。第4显示区域ARP4表示图9的下图中的显示区域ARP。如参照图8所说明那样,由第1调整部124根据第1检测部123检测出的倾斜角θ调整第4显示区域ARP4。
第2调整部125根据第1调整部124的调整结果,调整显示在显示区域ARP的字符串TX的行数NL。
在图9的下图中,第2调整部125将显示在显示区域ARP的字符串TX的行数NL调整为2行。
具体而言,第4显示区域ARP4的左右方向的长度比第1显示区域ARP1的左右方向的长度短,因此,将在第4显示区域ARP4上记载有2行的字符串TX的图像P12显示在第1显示区域ARP1。更具体而言,在第1行显示表示“I remember my nostalgic home”的第1字符串TX1的图像,在第2行显示表示“scenery every summer.”的第2字符串TX2的图像。
[2-4.第2显示控制部的处理的说明]
图10的下图是示出第2图像P2的一例的图。第2图像P2例如表示表演者PY的简档。
第2图像P2包含表演者图像PP、姓名图像PN、文献目录图像PB、获奖图像PA和经历图像PC。表演者图像PP表示表演者PY的照片。姓名图像PN是表示表演者PY的姓名的字符图像。书目图像PB是表示表演者PY的文献目录信息的字符图像。获奖图像PA是表示表演者PY的获奖历史的字符图像。经历图像PC是表示表演者PY的经历的字符图像。
另外,在本实施方式中,第2图像P2表示表演者PY的简档,但是,本发明的实施方式不限于此。第2图像P2只要为与第1图像P1不同的图像即可。第2图像P2例如也可以是表示正在上演的歌剧的时间表的图像。此外,也可以是用户U能够设定第2图像P2的方式。
[3.第1控制部的处理的说明]
图10和图11是示出第1控制部120的主要处理的一例的流程图。
首先,如图10所示,在步骤S101中,第1控制部120取得摄像头61拍摄的拍摄图像。
接着,在步骤S103中,第1确定部121根据摄像头61拍摄的拍摄图像,确定特定物体ST。
接着,在步骤S105中,第2确定部122根据摄像头61拍摄的拍摄图像确定可显示区域ARA。
接着,在步骤S107中,第1调整部124确定初始状态下的显示区域ARP。具体而言,在用户U的头部朝向正面的情况下,第1调整部124将显示区域ARP确定为图像显示区域AR2与可显示区域ARA重叠的区域。
接着,在步骤S109中,第1控制部120从智能手机300取得第1图像P1。第1图像P1表示字符串TX。
在第2显示控制部130判定为角度的绝对值为阈值角度以下的情况下(步骤S113;是),处理进入图12所示的步骤S119。在第2显示控制部130判定为角度的绝对值不是阈值角度以下的情况下(步骤S113;否),处理进入步骤S115。
然后,在步骤S115中,第1控制部120从智能手机300取得第2图像P2。
接着,在步骤S117中,第2显示控制部130将第2图像P2显示在图像显示区域AR2。之后,处理返回到步骤S109。
接着,在步骤S121中,第1调整部124判定倾斜角θ的绝对值是否为阈值角θS以上。阈值角θS例如为5度。
在第1调整部124判定为倾斜角θ的绝对值为阈值角θS以上的情况下(步骤S121;是),处理进入步骤S125。在第1调整部124判定为倾斜角θ的绝对值不为阈值角θS以上的情况下(步骤S121;否),处理进入步骤S123。
然后,在步骤S123中,第2显示控制部130将第1图像P1显示在显示区域ARP。然后,处理进入到步骤S135。
在第2显示控制部130判定为角度的绝对值为阈值角度以下的情况下(步骤S113;是),在步骤S125中,第1调整部124根据第1检测部123的检测结果调整第1图像P1的显示区域ARP。具体而言,第1调整部124将显示区域ARP调整为可显示区域ARA与图像显示区域AR2重叠的区域。
接着,在步骤S127中,判定部126计算能够显示在显示区域ARP上的最大字符数NA。
接着,在步骤S129中,判定部126判定最大字符数NA是否小于字符数NT。字符数NT表示与第1图像P1对应的字符串TX的字符数。
在判定部126判定为最大字符数NA不小于字符数NT的情况下(步骤S129;否),处理进入步骤S131。
然后,在步骤S131中,第2显示控制部130将第1图像P1显示在显示区域ARP。然后,处理进入到步骤S135。
在判定部126判定为最大字符数NA小于字符数NT的情况下(步骤S129;是),处理进入步骤S133。
然后,在步骤S133中,第2显示控制部130以时分的方式将第1图像P1显示在显示区域ARP。
接着,在步骤S135中,第1控制部120判定是否结束处理。
在第1控制部120判定为不结束处理的情况下(步骤S135;否),处理返回图11的步骤S109。在第1控制部120判定为结束处理的情况下(步骤S135;是),结束处理。
另外,图11的步骤S119对应于“检测步骤”的一例。图12的步骤S125对应于“调整步骤”的一例。图12的步骤S131还对应于“显示控制步骤”的一例。
此外,在图12所示的流程图中,在倾斜角θ的绝对值为阈值角θS以下的情况下,第1调整部124不调整第1图像P1的显示区域ARP。由此,能够减轻第1控制部120的处理量。
[4.本实施方式的效果]
如以上所说明那样,本实施方式的HMD 100是佩戴于用户U的头部的HMD 100,具有:图像显示部20,其位于用户U的左眼侧和右眼侧,以与外景重叠的方式显示第1图像P1;第1检测部123,其检测头部的倾斜;第1调整部124,其根据第1检测部123的检测结果调整第1图像P1的显示区域ARP;以及第2显示控制部130,其根据第1调整部124的调整结果使第1图像P1显示于显示区域ARP。
因此,根据用户U的头部的倾斜来调整第1图像P1的显示区域ARP,所以,能够抑制显示在显示区域ARP上的第1图像P1与在外景中用户想看到的对象物的位置重叠的情况。对象物例如为表演者PY。
此外,具有摄像头61,该摄像头61拍摄外景而生成拍摄图像,第1调整部124根据拍摄图像所包含的特定物体ST的位置,调整第1图像P1的显示区域ARP。
因此,根据拍摄图像所包含的特定物体ST的位置,调整第1图像P1的显示区域ARP,所以,通过适当地选择特定物体ST,能够适当地调整显示区域ARP。因此,能够抑制第1图像P1与用户想看到的对象物的位置重叠的情况。
此外,具有第1确定部121,该第1确定部121根据拍摄图像确定特定物体ST。
因此,根据拍摄图像确定特定物体ST,所以能够适当地确定特定物体ST。
此外,第1调整部124将表示能够显示第1图像P1的区域的可显示区域ARA相对于特定物体ST固定,将表示供图像显示部20显示图像的区域的显示区域ARP调整为图像显示区域AR2与可显示区域ARA重叠的区域。
因此,将显示区域ARP调整为图像显示区域AR2与可显示区域ARA重叠的区域,所以能够适当地调整显示区域ARP。
此外,具有第2确定部122,该第2确定部122根据拍摄图像确定可显示区域ARA。
因此,能够适当地确定可显示区域ARA。
此外,第1图像P1是表示字符串TX的图像,显示装置具有第2调整部125,该第2调整部125根据第1调整部124的调整结果来调整显示在显示区域ARP上的字符串TX的行数NL,第2显示控制部130以行数NL将字符串TX显示在显示区域ARP上。
因此,根据显示区域ARP调整显示在显示区域ARP上的字符串TX的行数NL,所以能够适当地将字符串TX显示在显示区域ARP上。
此外,具有判定部126,该判定部126判定能否将第1图像P1的整体显示在显示区域ARP上,在判定部126判定为无法将第1图像P1的整体显示在显示区域ARP上的情况下,第2显示控制部130以时分的方式使第1图像P1显示于显示区域ARP。
因此,在无法将第1图像P1的整体显示在显示区域ARP上的情况下,第2显示控制部130以时分的方式使第1图像P1显示于显示区域ARP,所以,用户U能够看到第1图像P1的整体。
此外,具有第2检测部127,该第检测部127检测用户U的头部的左右方向上的朝向,第2显示控制部130根据第2检测部127的检测结果,将与第1图像P1不同的第2图像P2显示在图像显示部20上。
因此,用户U通过调整用户U的头部的左右方向上的朝向,能够看到与第1图像P1不同的第2图像P2。因此,能够提高用户U的便利性。
此外,具有:第3检测部128,其检测与特定物体ST之间的距离;以及第3调整部129,其根据第3检测部128的检测结果,调整第1图像P1的前后方向上的显示位置,第2显示控制部130根据第3调整部129的调整结果,使第1图像P1显示于图像显示部20。
因此,根据与特定物体ST之间的距离,调整第1图像P1的前后方向上的显示位置,所以,能够适当地调整实际空间内的用户U的前后方向上的第1图像P1的假想显示位置。
本实施方式的HMD 100的控制程序是一种HMD 100的控制程序,该HMD 100被佩戴于用户U的头部,具有:图像显示部20,其位于用户U的左眼侧和右眼侧,以与外景重叠的方式显示第1图像P1;以及第1处理器120A,其中,该HMD 100的控制程序使第1处理器120A作为以下部件发挥功能:第1检测部123,其检测用户U的头部的倾斜;第1调整部124,其根据第1检测部123的检测结果调整第1图像P1的显示区域ARP;以及第2显示控制部130,其根据第1调整部124的调整结果来使第1图像P1显示于显示区域ARP。
因此,根据用户U的头部的倾斜来调整第1图像P1的显示区域ARP,所以能够抑制显示在显示区域ARP上的第1图像P1与在外景中用户想看到的对象物的位置重叠的情况。对象物例如为表演者PY。
本实施方式的HMD 100的控制方法是如下的HMD 100的控制方法,该HMD 100被佩戴于用户U的头部,具有:图像显示部20,其位于用户U的左眼侧和右眼侧,以与外景重叠的方式显示第1图像P1;以及第1处理器120A,其中,第1处理器120A包含以下步骤:检测步骤,检测用户U的头部的倾斜;调整步骤,根据检测步骤的检测结果来调整第1图像P1的显示区域ARP;以及显示控制步骤,根据调整步骤的调整结果来使显示区域ARP显示第1图像P1。
因此,根据用户U的头部的倾斜来调整第1图像P1的显示区域ARP,所以能够抑制显示在显示区域ARP上的第1图像P1与在外景中用户想看到的对象物的位置重叠的情况。对象物例如为表演者PY。
本发明的另一实施方式的显示系统1是如下的显示系统1,该显示系统1具有:HMD100,其被佩戴于用户U的头部;以及智能手机300,其与HMD 100连接,其中,HMD 100具有图像显示部20,该图像显示部20位于用户U的左眼侧和右眼侧,以与外景重叠的方式显示第1图像P1,智能手机300具有:第1检测部123,其检测用户U的头部的倾斜;第1调整部124,其根据第1检测部123的检测结果来调整第1图像P1的显示区域ARP;以及第2显示控制部130,其根据第1调整部124的调整结果来使第1图像P1显示于显示区域ARP。
因此,根据用户U的头部的倾斜来调整第1图像P1的显示区域ARP,所以能够抑制显示在显示区域ARP上的第1图像P1与在外景中用户想看到的对象物的位置重叠的情况。对象物例如为表演者PY。
[5.其它实施方式]
本发明不限于上述实施方式的结构,能够在不脱离其宗旨的范围内以各种方式来实施。
例如,在上述实施方式中,HMD 100将第1图像P1显示在用户U的左眼侧和右眼侧,但是本发明的实施方式不限于此。HMD 100位于用户U的左眼侧和右眼侧中的至少一方,以与外景重叠的方式显示第1图像P1即可。即,HMD 100具有右显示部22和右导光板26、以及左显示部24和左导光板28中的至少一方即可。例如,也可以是,HMD 100具有右显示部22和右导光板26,不具有左显示部24和左导光板28。此外,例如,也可以是,HMD 100具有左显示部24左导光板28,不具有右显示部22和右导光板26。
此外,在上述实施方式中,“信息处理装置”是智能手机300,但不限于此。“信息处理装置”构成为能够供用户U携带并具有控制部即可。例如,“信息处理装置”可以是PDA终端,也可以是平板型个人计算机。
例如,在上述实施方式中例示了连接装置10与图像显示部20有线连接的结构,但不限于此,也可以是图像显示部20与连接装置10无线连接的结构。
例如,在上述实施方式中例示了连接装置10与智能手机300有线连接的结构,但不限于此,也可以是智能手机300与连接装置10无线连接的结构。
此外,可以将连接装置10具备的一部分功能设置于图像显示部20,也可以通过多个装置实现连接装置10。例如,也可以替代连接装置10,使用能够安装于用户U的身体、服装或者用户U随身佩戴的饰品的可佩戴设备。该情况下的可佩戴设备例如可以是钟表型的装置、戒指型的装置、激光指示器、鼠标、空中鼠标、游戏控制器、笔型的设备等。
此外,在上述实施方式中,以图像显示部20和连接装置10分离并经由连接电缆40而连接的结构为例进行了说明。不限于此,还可以采用将连接装置10和图像显示部20构成为一体地佩戴于用户U的头部的结构。
此外,在上述实施方式中,用户U透过显示部看到外景的结构不限于右导光板26和左导光板28使外部光透过的结构。例如,还能够应用于在无法看到外景的状态下显示图像的显示装置。具体而言,还能够应用于显示摄像头61的拍摄图像、基于从外部输入的图像数据的图像等的显示装置。例如,如果采用由图像显示部20显示对由摄像头61拍摄的外景图像和第1图像P1进行合成后的合成图像的结构,则即使图像显示部20不使外部光透过,也能够以用户U可看到外景和第1图像P1的方式进行显示。当然还能够应用于这样的所谓视频透视型显示装置。
此外,例如,可以替代图像显示部20,采用例如帽子那样佩戴的图像显示部等其他方式的图像显示部,具有与用户的左眼LE对应地显示图像的显示部和与用户的右眼RE对应地显示图像的显示部即可。此外,显示装置例如也可以构成为搭载于汽车或飞机等车辆的HMD。此外,例如也可以构成为内置于头盔等身体防护器具的HMD。在该情况下,能够将对相对于用户U身体的位置进行定位的部分和针对该部分进行定位的部分作为佩戴部。
此外,作为将图像光引导至用户U的眼睛的光学系统,例示了在右导光板26和左导光板28的一部分中利用半反射镜261、281形成虚像的结构。不限于此,也可以构成为将图像显示在具有占据右导光板26和左导光板28的整个面或者大部分的面积的显示区域中。在该情况下,在使图像的显示位置发生变化的动作中,也可以包含将图像缩小的处理。
并且,光学元件不限于具有半反射镜261、281的右导光板26、左导光板28,只要是使图像光入射到用户U的眼睛的光学部件即可,具体而言,也可以使用衍射光栅、棱镜、全息显示部。
此外,图4、图5等所示的各功能块中的至少一部分功能块可通过硬件实现,也可以是通过硬件与软件的协作实现的结构,不限于如图所示地配置独立的硬件资源的结构。
此外,第1控制部120执行的第1控制程序可以存储在非易失性存储部138或第1控制部120内的其他存储部中。此外,也可以采用经由通信部等取得并执行存储在外部装置中的第2控制程序的结构。
此外,形成于连接装置10的结构也可以重复地形成于图像显示部20。例如,与连接装置10的第1处理器相同的处理器也可以配置于图像显示部20,连接装置10具备的第1处理器和图像显示部20的处理器也可以执行单独划分的功能。
此外,图11和图12所示的流程图的处理单位是为了使HMD 100的第1控制部120的处理容易理解而根据主要处理内容进行了分割。实施方式不被图11和图12的流程图所示的处理单位的分割方法、名称限制。此外,第1控制部120的处理也能够与处理内容对应地分割为更多的处理单位,还能够以1个处理单位包含更多的处理的方式进行分割。此外,上述流程图的处理顺序也不限于图示的例子。
此外,也可以由第2控制部310执行第1控制部120的处理的一部分或全部。
此外,HMD 100的控制方法能够通过使HMD 100具备的第1处理器120A执行与HMD100的控制方法对应的第1控制程序来实现。此外,该第1控制程序还能够预先记录在以计算机可读的方式进行了记录的记录介质中。作为记录介质,可以使用磁性记录介质、光学记录介质或半导体存储器器件。具体而言,可举出软盘、CD-ROM(Compact Disk Read OnlyMemory)、DVD(Digital Versatile Disc)、Blu-ray(注册商标)Disc、光磁盘、闪存、卡型记录介质等可移动型、或者固定式的记录介质。此外,记录介质也可以是作为图像显示装置具备的内部存储装置的RAM、ROM、HDD等非易失性存储装置。此外,通过预先使服务器装置等存储与HMD 100的控制方法对应的第1控制程序,从服务器装置例如经由智能手机300将第1控制程序下载到HMD 100,由此,实现HMD 100的控制方法。
Claims (11)
1.一种显示装置,其被佩戴于用户的头部,该显示装置具有:
显示部,其位于所述用户的左眼侧和右眼侧中的至少一方,以与外景重叠的方式显示第1图像,所述第1图像是表示字符串的图像;
第1检测部,其检测所述头部的倾斜;
拍摄部,其拍摄所述外景而生成拍摄图像;
第1调整部,其利用所述第1检测部的检测结果,根据所述拍摄图像中包含的特定物体的位置来调整所述第1图像的显示区域;
第2调整部,其根据所述第1调整部的调整结果来调整显示在所述显示区域上的所述字符串的行数;以及
显示控制部,其根据所述第1调整部和所述第2调整部的调整结果,使所述第1图像以所述字符串按照所述行数进行显示的方式显示于所述显示区域。
2.根据权利要求1所述的显示装置,其中,
该显示装置具有第1确定部,该第1确定部根据所述拍摄图像确定所述特定物体。
3.根据权利要求1或2所述的显示装置,其中,
所述第1调整部将表示能够显示所述第1图像的区域的可显示区域相对于所述特定物体固定,将所述显示区域调整为表示所述显示部显示图像的区域的图像显示区域与所述可显示区域重叠的区域。
4.根据权利要求3所述的显示装置,其中,
该显示装置具有第2确定部,该第2确定部根据所述拍摄图像确定所述可显示区域。
5.根据权利要求1所述的显示装置,其中,
该显示装置具有判定部,该判定部判定是否能够使所述第1图像的整体显示于所述显示区域,
在所述判定部判定为无法使所述第1图像的整体显示于所述显示区域的情况下,所述显示控制部以时分的方式使所述第1图像显示于所述显示区域。
6.根据权利要求1所述的显示装置,其中,
该显示装置具有第2检测部,该第2检测部检测所述头部的左右方向上的朝向,
所述显示控制部根据所述第2检测部的检测结果,使与所述第1图像不同的第2图像显示于所述显示部。
7.根据权利要求6所述的显示装置,其中,
在所述用户的正面方向与所述头部的左右方向上的朝向所形成的角度为阈值角度以上的情况下,所述显示控制部使所述第2图像显示于所述显示部。
8.根据权利要求1所述的显示装置,其中,
该显示装置具有:
第3检测部,其检测与所述特定物体之间的距离;以及
第3调整部,其根据所述第3检测部的检测结果来调整所述第1图像的前后方向上的显示位置,
所述显示控制部根据所述第3调整部的调整结果使所述第1图像显示于所述显示部。
9.一种记录介质,其记录了显示装置的控制程序,该显示装置被佩戴于用户的头部,并具有:显示部,其位于所述用户的左眼侧和右眼侧中的至少一方,以与外景重叠的方式显示第1图像,所述第1图像是表示字符串的图像;拍摄部,其拍摄所述外景而生成拍摄图像;以及计算机,其中,
该显示装置的控制程序使所述计算机作为以下部分发挥功能:
第1检测部,其检测所述头部的倾斜;
第1调整部,其利用所述第1检测部的检测结果,根据所述拍摄图像中包含的特定物体的位置来调整所述第1图像的显示区域;
第2调整部,其根据所述第1调整部的调整结果来调整显示在所述显示区域上的所述字符串的行数;以及
显示控制部,其根据所述第1调整部和所述第2调整部的调整结果,使所述第1图像以所述字符串按照所述行数进行显示的方式显示于所述显示区域。
10.一种显示装置的控制方法,该显示装置被佩戴于用户的头部,并具有:显示部,其位于所述用户的左眼侧和右眼侧中的至少一方,以与外景重叠的方式显示第1图像,所述第1图像是表示字符串的图像;拍摄部,其拍摄所述外景而生成拍摄图像;以及计算机,其中,
该显示装置的控制方法包含以下步骤:
检测步骤,所述计算机检测所述头部的倾斜;
拍摄步骤,所述拍摄部拍摄所述外景而生成拍摄图像;
第1调整步骤,利用所述检测步骤的检测结果,根据所述拍摄图像中包含的特定物体的位置来调整所述第1图像的显示区域;
第2调整步骤,根据所述第1调整步骤的调整结果来调整显示在所述显示区域上的所述字符串的行数;以及
显示控制步骤,根据所述第1调整步骤和所述第2调整步骤的调整结果,使所述第1图像以所述字符串按照所述行数进行显示的方式显示于所述显示区域。
11.一种显示系统,其具有:显示装置,其被佩戴于用户的头部;以及信息处理装置,其与所述显示装置连接,其中,
所述显示装置具有:
显示部,该显示部位于所述用户的左眼侧和右眼侧中的至少一方,以与外景重叠的方式显示第1图像,所述第1图像是表示字符串的图像;以及
拍摄部,其拍摄所述外景而生成拍摄图像,
所述信息处理装置具有:
第1检测部,其检测所述头部的倾斜;
第1调整部,其利用所述第1检测部的检测结果,根据所述拍摄图像中包含的特定物体的位置来调整所述第1图像的显示区域;
第2调整部,其根据所述第1调整部的调整结果来调整显示在所述显示区域上的所述字符串的行数;以及
显示控制部,其根据所述第1调整部和所述第2调整部的调整结果,使所述第1图像以所述字符串按照所述行数进行显示的方式显示于所述显示区域。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019168108A JP2021047227A (ja) | 2019-09-17 | 2019-09-17 | 表示装置、表示装置の制御プログラム、表示装置の制御方法、及び表示システム |
JP2019-168108 | 2019-09-17 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112526749A CN112526749A (zh) | 2021-03-19 |
CN112526749B true CN112526749B (zh) | 2022-11-29 |
Family
ID=74868009
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010973351.6A Active CN112526749B (zh) | 2019-09-17 | 2020-09-16 | 显示装置、记录介质、显示装置的控制方法和显示系统 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11156841B2 (zh) |
JP (1) | JP2021047227A (zh) |
CN (1) | CN112526749B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20240051157A (ko) * | 2021-08-26 | 2024-04-19 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | 표시 장치 및 전자 기기 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001296501A (ja) * | 2000-04-12 | 2001-10-26 | Nippon Hoso Kyokai <Nhk> | 立体画像表示制御方法および装置 |
JP2002014300A (ja) | 2000-06-28 | 2002-01-18 | Seiko Epson Corp | 頭部装着型表示装置 |
CN100359363C (zh) * | 2004-05-06 | 2008-01-02 | 奥林巴斯株式会社 | 头戴式显示装置 |
JP2012160898A (ja) * | 2011-01-31 | 2012-08-23 | Brother Ind Ltd | 画像処理装置 |
JP2013026796A (ja) * | 2011-07-20 | 2013-02-04 | Nissan Motor Co Ltd | 画像表示装置 |
JP2015015563A (ja) * | 2013-07-04 | 2015-01-22 | セイコーエプソン株式会社 | 画像表示装置 |
JP6459380B2 (ja) * | 2014-10-20 | 2019-01-30 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム |
JP6492531B2 (ja) * | 2014-10-27 | 2019-04-03 | セイコーエプソン株式会社 | 表示装置、及び、表示装置の制御方法 |
JP5952931B1 (ja) * | 2015-03-23 | 2016-07-13 | 株式会社コロプラ | コンピュータ・プログラム |
JP2017130190A (ja) * | 2015-12-04 | 2017-07-27 | 株式会社半導体エネルギー研究所 | 電子機器、表示システム |
IL248721A0 (en) * | 2016-11-03 | 2017-02-28 | Khoury Elias | An accessory for providing hands-free computer input |
US10474226B2 (en) * | 2016-11-30 | 2019-11-12 | Seiko Epson Corporation | Head-mounted display device, computer program, and control method for head-mounted display device |
JP2018101019A (ja) * | 2016-12-19 | 2018-06-28 | セイコーエプソン株式会社 | 表示装置及び表示装置の制御方法 |
KR102679047B1 (ko) * | 2017-01-25 | 2024-07-01 | 삼성전자주식회사 | 전자 장치 및 전자 장치 제어 방법 |
WO2019082527A1 (ja) * | 2017-10-23 | 2019-05-02 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
US10540015B2 (en) * | 2018-03-26 | 2020-01-21 | Chian Chiu Li | Presenting location related information and implementing a task based on gaze and voice detection |
JP2021096490A (ja) * | 2018-03-28 | 2021-06-24 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
-
2019
- 2019-09-17 JP JP2019168108A patent/JP2021047227A/ja active Pending
-
2020
- 2020-09-16 CN CN202010973351.6A patent/CN112526749B/zh active Active
- 2020-09-16 US US17/022,131 patent/US11156841B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2021047227A (ja) | 2021-03-25 |
CN112526749A (zh) | 2021-03-19 |
US11156841B2 (en) | 2021-10-26 |
US20210080728A1 (en) | 2021-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110275297B (zh) | 头部佩戴型显示装置、显示控制方法以及记录介质 | |
CN108535868B (zh) | 头部佩戴型显示装置及其控制方法 | |
JP7243193B2 (ja) | 表示システム、表示システムの制御方法、情報処理装置、及び情報処理装置の制御プログラム | |
CN109960481B (zh) | 显示系统及其控制方法 | |
CN109960039B (zh) | 显示系统、电子设备以及显示方法 | |
CN111600990B (zh) | 显示系统、记录介质以及信息处理装置的控制方法 | |
JP2017116562A (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
CN112526749B (zh) | 显示装置、记录介质、显示装置的控制方法和显示系统 | |
US11353704B2 (en) | Head mounted device (HMD) coupled to smartphone executing personal authentication of a user | |
CN112558300B (zh) | 显示系统、记录介质、信息处理装置的控制方法和显示装置 | |
CN112581920B (zh) | 显示系统、显示控制方法以及记录介质 | |
CN111488072B (zh) | 信息处理装置、信息处理装置的控制方法以及记录介质 | |
JP2017183854A (ja) | 表示システム、表示装置、頭部装着型表示装置、表示制御方法、表示装置の制御方法、及び、プログラム | |
CN111556310B (zh) | 显示系统、记录介质以及信息处理装置的控制方法 | |
CN112748573B (zh) | 头部佩戴型显示装置和显示方法 | |
JP2017183855A (ja) | 表示システム、頭部装着型表示装置、表示制御方法、及び、プログラム | |
JP2021047370A (ja) | 表示装置、表示装置の制御方法、表示装置の制御プログラム、及び表示システム | |
JP2021057747A (ja) | 表示システム、画像表示装置、画像表示方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |