CN112558300B - 显示系统、记录介质、信息处理装置的控制方法和显示装置 - Google Patents

显示系统、记录介质、信息处理装置的控制方法和显示装置 Download PDF

Info

Publication number
CN112558300B
CN112558300B CN202010939654.6A CN202010939654A CN112558300B CN 112558300 B CN112558300 B CN 112558300B CN 202010939654 A CN202010939654 A CN 202010939654A CN 112558300 B CN112558300 B CN 112558300B
Authority
CN
China
Prior art keywords
image
unit
display
overlap
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010939654.6A
Other languages
English (en)
Other versions
CN112558300A (zh
Inventor
小林伸一
毛利勇一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN112558300A publication Critical patent/CN112558300A/zh
Application granted granted Critical
Publication of CN112558300B publication Critical patent/CN112558300B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • G02B2027/0174Head mounted characterised by optical features holographic
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type

Abstract

显示系统、记录介质、信息处理装置的控制方法和显示装置。提高HMD所显示的图像的可视性。智能手机(300)与HMD(100)连接。HMD(100)以与外景重叠的方式将第1图像(P1)显示在左显示部(24)上,以与外景重叠的方式将与第1图像(P1)对应的第2图像(P2)显示在右显示部(22)上。智能手机(300)具有:显示面板(331),其显示第3图像(P3);第1检测部(313),其检测第1图像(P1)以及第2图像(P2)中的至少一方是否与第3图像(P3)重叠;以及调整部(315),其根据第1检测部(313)的检测结果来调整第1图像(P1)和第2图像(P2)中的至少一方,以使能够看到第3图像(P3)。

Description

显示系统、记录介质、信息处理装置的控制方法和显示装置
技术领域
本发明涉及显示系统、记录介质、信息处理装置的控制方法和显示装置。
背景技术
已知有如下技术:在对头部佩戴型显示装置的控制部的操作面进行操作的情况下,提高控制部的操作面的可视性(例如,参照专利文献1)。
专利文献1记载的头部佩戴型显示装置具有:图像显示部,其具有生成表示图像的图像光并使其射出的图像光生成部和将所射出的图像光引导至用户的眼睛的导光部,用于使用户看到虚像;控制部,其具有操作面并且与图像显示部连接,对图像显示部的图像显示进行控制;以及朝向判定部,其判定用户是否面向控制部的操作面。在判定为用户面向控制部的操作面的情况下,控制部调整图像光生成部的亮度,或者调整由图像光生成部生成的图像光,以使虚像的可视性下降。
专利文献1:日本特开2012-204998号公报
在专利文献1记载的头部佩戴型显示装置中,在判定为用户面向控制部的操作面的情况下,由于使显示在图像显示部上的图像的可视性下降,所以,有时难以看到显示在图像显示部上的图像。
此外,在头部佩戴型显示装置与智能手机这样的信息处理装置连接并且用户操作信息处理装置的情况下,由于使显示在图像显示部上的图像的可视性下降,所以,有时难以看到显示在图像显示部上的图像。
例如,在使用智能手机的触摸面板来调整显示在图像显示部上的图像的亮度的情况下,显示在图像显示部上的图像的可视性下降,因此,操作性可能下降。
发明内容
解决上述课题的一个方式是一种显示系统,其具有:显示装置,其被佩戴于用户的头部;以及信息处理装置,其与所述显示装置连接,其中,所述显示装置具有:第1显示部,其位于所述用户的左眼侧,以与外景重叠的方式显示第1图像;以及第2显示部,其位于所述用户的右眼侧,以与所述外景重叠的方式显示与所述第1图像对应的第2图像,所述信息处理装置具有:第3显示部,其显示第3图像;第1检测部,其检测所述第1图像以及所述第2图像中的至少一方是否与所述第3图像重叠;调整部,其根据所述第1检测部的检测结果来调整所述第1图像和所述第2图像中的至少一个图像,使得能够目视到所述第3图像;以及显示控制部,其根据所述调整部的调整结果来使所述第1显示部显示所述第1图像,使所述第2显示部显示所述第2图像。
在上述显示系统中,也可以构成为,所述调整部调整所述第1图像和所述第2图像中的至少一个图像,使得所述第2图像与所述第1图像不同。
在上述显示系统中,也可以构成为,在所述第1检测部检测出所述第1图像与所述第3图像重叠的情况下,所述调整部调整所述第1图像,在所述第1检测部检测出所述第2图像与所述第3图像重叠的情况下,所述调整部调整所述第2图像。
在上述显示系统中,也可以构成为,在所述第1检测部检测出所述第1图像与所述第3图像重叠的情况下,所述调整部禁止所述第1图像的显示,在所述第1检测部检测出所述第2图像与所述第3图像重叠的情况下,所述调整部禁止所述第2图像的显示。
在上述显示系统中,也可以构成为,在所述第1检测部检测出所述第1图像与所述第3图像重叠的情况下,所述调整部调整所述第1图像的透射率,在所述第1检测部检测出所述第2图像与所述第3图像重叠的情况下,所述调整部调整所述第2图像的透射率。
在上述显示系统中,也可以构成为,所述信息处理装置具有第2检测部,在所述第1检测部检测出所述第1图像与所述第3图像重叠的情况下,该第2检测部检测表示所述第1图像与所述第3图像重叠的区域的第1重叠区域,在所述第1检测部检测出所述第2图像与所述第3图像重叠的情况下,该第2检测部检测表示所述第2图像与所述第3图像重叠的区域的第2重叠区域,所述调整部根据所述第2检测部的检测结果来调整所述第1图像和所述第2图像中的至少一个图像。
在上述显示系统中,也可以构成为,在所述第1检测部检测出所述第1图像与所述第3图像重叠的情况下,所述调整部禁止所述第1图像中的所述第1重叠区域的显示,在所述第1检测部检测出所述第2图像与所述第3图像重叠的情况下,所述调整部禁止所述第2图像中的所述第2重叠区域的显示。
在上述显示系统中,也可以构成为,在所述第1检测部检测出所述第1图像与所述第3图像重叠的情况下,所述调整部调整所述第1图像中的所述第1重叠区域的透射率,在所述第1检测部检测出所述第2图像与所述第3图像重叠的情况下,所述调整部调整所述第2图像中的所述第2重叠区域的透射率。
在上述显示系统中,也可以构成为,所述显示装置具有第1拍摄部,该第1拍摄部拍摄所述外景的第1拍摄范围,所述第1检测部根据所述第1拍摄部的拍摄结果,检测所述第1图像以及所述第2图像中的至少一方是否与所述第3图像重叠,所述第2检测部根据所述第1拍摄部的拍摄结果来检测所述第1重叠区域和所述第2重叠区域。
在上述显示系统中,也可以构成为,所述显示装置具有第1拍摄部,该第1拍摄部拍摄所述外景的第1拍摄范围,所述信息处理装置具有第1判定部,该第1判定部根据所述第1拍摄部的拍摄结果来判定是用左手把持、还是用右手把持着所述信息处理装置,在所述第1判定部判定为用左手把持着所述信息处理装置的情况下,所述第1检测部检测出所述第1图像与所述第3图像重叠,在所述第1判定部判定为用右手把持着所述信息处理装置的情况下,所述第1检测部检测出所述第2图像与所述第3图像重叠。
在上述显示系统中,也可以构成为,所述信息处理装置具有第2判定部,该第2判定部判定所述第3显示部是否与所述显示装置相对,在所述第2判定部判定为所述第3显示部与所述显示装置相对的情况下,所述调整部调整所述第1图像和所述第2图像中的至少一个图像。
在上述显示系统中,也可以构成为,所述显示装置具有第1拍摄部,该第1拍摄部拍摄所述外景的第1拍摄范围,所述信息处理装置具有第2拍摄部,该第2拍摄部拍摄所述外景的第2拍摄范围,所述第2判定部根据所述第1拍摄部所拍摄的图像和所述第2拍摄部所拍摄的图像来判定所述信息处理装置的所述第3显示部是否与所述显示装置相对。
解决上述课题的另一方式是一种信息处理装置的控制程序,该信息处理装置与显示装置连接并具有第3显示部和计算机,该显示装置被佩戴于用户的头部,并具有:第1显示部,其位于所述用户的左眼侧,以与外景重叠的方式显示第1图像;以及第2显示部,其位于所述用户的右眼侧,以与所述外景重叠的方式显示与所述第1图像对应的第2图像,所述第3显示部显示第3图像,其中,该控制程序使所述计算机作为以下部分发挥功能:检测部,其检测所述第1图像以及所述第2图像中的至少一方是否与所述第3图像重叠;调整部,其根据所述检测部的检测结果来调整所述第1图像和所述第2图像中的至少一个图像,使得能够看到所述第3图像;以及显示控制部,其根据所述调整部的调整结果来使所述第1显示部显示所述第1图像,使所述第2显示部显示所述第2图像。
解决上述课题的又另一方式是一种信息处理装置的控制方法,该信息处理装置与显示装置连接并具有第3显示部和计算机,该显示装置被佩戴于用户的头部,并具有:第1显示部,其位于所述用户的左眼侧,以与外景重叠的方式显示第1图像;以及第2显示部,其位于所述用户的右眼侧,以与所述外景重叠的方式显示与所述第1图像对应的第2图像,所述第3显示部显示第3图像,其中,该信息处理装置的控制方法包含以下步骤:检测步骤,所述计算机检测所述第1图像以及所述第2图像中的至少一方是否与所述第3图像重叠;调整步骤,所述计算机根据所述检测步骤的检测结果来调整所述第1图像和所述第2图像中的至少一个图像,使得能够目视到所述第3图像;以及显示控制步骤,所述计算机根据所述调整步骤的调整结果来使所述第1显示部显示所述第1图像,使所述第2显示部显示所述第2图像。
解决上述课题的再又一个方式是一种显示装置,其具有:显示单元,其被佩戴于用户的头部;以及控制单元,其与信息处理装置以及所述显示单元连接,该信息处理装置具有显示第3图像的第3显示部,其中,所述显示单元具有:第1显示部,其位于所述用户的左眼侧,以与外景重叠的方式显示第1图像;以及第2显示部,其位于所述用户的右眼侧,以与所述外景重叠的方式显示与所述第1图像对应的第2图像,所述控制单元具有:第1检测部,其检测所述第1图像以及所述第2图像中的至少一方是否与所述第3图像重叠;调整部,其根据所述第1检测部的检测结果来调整所述第1图像和所述第2图像中的至少一个图像,使得能够目视到所述第3图像;以及显示控制部,其根据所述调整部的调整结果来使所述第1显示部显示所述第1图像,使所述第2显示部显示所述第2图像。
附图说明
图1是示出本实施方式的显示系统的结构的一例的图。
图2是示出图像显示部的光学系统的结构的一例的图。
图3是示出图像显示部的主要部分结构的一例的立体图。
图4是示出构成HMD的各部的结构的一例的图。
图5是示出智能手机的结构的一例的图。
图6是示出显示面板与HMD相对的状态的一例的图。
图7是示出显示面板与HMD相对的状态的另一例的图。
图8是示出第3图像与第2图像重叠的状态的一例的图。
图9是示出第3图像与第2图像重叠的状态的另一例的图。
图10是示出第3图像与第1图像以及第2图像重叠的状态的一例的图。
图11是示出第2控制部的处理的一例的流程图。
标号说明
1:显示系统;10:连接装置(控制单元);11、11A、11D:连接器;13、14:亮度调整键;15、16:音量调整键;20:图像显示部(显示单元);21:右保持部;22:右显示部(第2显示部的一部分);23:左保持部;24:左显示部(第1显示部的一部分);26:右导光板(第2显示部的一部分);261:半反射镜;28:左导光板(第1显示部的一部分);281:半反射镜;40:连接电缆;46:USB电缆;61:第1摄像头(第1拍摄部);64:距离传感器;66:红外线传感器;68:内侧摄像头;100:HMD(显示装置);120:第1控制部;122:传感器控制部;124:第1显示控制部;126:电源控制部;130:非易失性存储部;140:操作部;145:连接部;147:声音处理部;210:右显示部基板;221:OLED单元;230:左显示部基板;235:6轴传感器;237:磁传感器;241:OLED单元;300:智能手机(信息处理装置);310:第2控制部;310A:第2处理器;310B:第2存储器;311:第1判定部;312:第2判定部;313:第1检测部;314:第2检测部;315:调整部;316:第2显示控制部(显示控制部);330:显示部;331:显示面板(第3显示部);332:触摸传感器;351:6轴传感器;352:磁传感器;AD1:第1重叠区域;AD2:第2重叠区域;AL:左视野范围;AR:右视野范围;P1:第1图像;P2:第2图像;P3:第3图像;U:用户;θ、
Figure BDA0002673188060000051
ψ、ηA、ηB:倾斜角。
具体实施方式
以下,参照附图对实施方式进行说明。
[1.显示系统的结构]
[1-1.显示系统的整体结构]
图1是示出本实施方式的显示系统1的概略结构的图。
如图1所示,显示系统1具有HMD(Head Mounted Display)100。HMD 100是如下装置:具有连接装置10和佩戴于用户U的头部的图像显示部20,通过图像显示部20在佩戴于用户U的头部的状态下,使用户U看到虚像。
HMD 100对应于“显示装置”的一例。图像显示部20对应于“显示单元”的一例。连接装置10对应于“控制单元”的一例。在以下的说明中,用户U是佩戴HMD 100来使用的用户。
连接装置10在箱形的外壳上具有连接器11A和连接器11D。连接器11A经由连接电缆40与图像显示部20连接。以下,在不区分连接器11A、11D的情况下,有时记作连接器11。连接装置10的外壳还可以称作壳体或主体。
显示系统1是将智能手机300与HMD 100连接而构成的系统。连接器11D是HMD 100的与智能手机300连接的接口。即,在本实施方式中,智能手机300与连接器11D连接。智能手机300对应于“信息处理装置”的一例。
另外,智能手机300只不过是信息处理装置的一例。信息处理装置能够供用户U携带并具有显示图像的显示部和计算机即可。例如,作为信息处理装置,能够将PDA(PersonalDigital Assistant)终端、平板型个人计算机等与连接装置10连接。
连接器11是连接通信电缆的有线接口,连接装置10利用该通信电缆与外部装置连接。连接器11A具有连接连接电缆40的端子和经由连接器11A而收发信号的接口电路。
连接器11A是为了将图像显示部20与连接装置10连接起来而设置的。连接电缆40具有如下功能:从连接装置10对图像显示部20进行电源供给,并且,供图像显示部20和连接装置10相互收发数据。
连接器11D具有能够从智能手机300输入图像数据并向智能手机300输出传感器数据的接口电路。智能手机300对非易失性存储部所记录的内容数据进行再现。连接器11D例如是依据公知的通信接口标准的连接器。
在本实施方式中,作为一例,连接器11D具有与图像数据以及各种数据的输入输出对应的接口电路,经由USB电缆46与智能手机300连接。
作为连接器11D,例如可采用USB(Universal Serial Bus)-TypeC标准的连接器。与USB-TypeC对应的接口电路能够进行依照USB3.1标准的数据传输和20伏特、5安培以内的直流电力的供给。
此外,作为USB-TypeC的替代模式的功能,能够传输HDMI(注册商标:HighDefinition Multimedia Interface)标准的图像数据、MHL(MobileHigh-definitionLink)标准的图像数据等。智能手机300能够经由USB电缆46进行电源供给、数据的收发和图像、声音的流数据的供给等。USB-TypeC的替代模式已知为Alternative模式。
在本实施方式中,图像显示部20具有眼镜形状。图像显示部20在具有右保持部21、左保持部23和前部框架27的主体上具有右显示部22、左显示部24、右导光板26和左导光板28。
右保持部21和左保持部23从前部框架27的两端部起向后方延伸,将图像显示部20保持于用户U的头部。设前部框架27的两端部中的、在佩戴图像显示部20时位于头部右侧的端部为端部ER、位于左侧的端部为端部EL。右保持部21设置成从前部框架27的端部ER延伸至在图像显示部20的佩戴状态下与用户U的右侧头部对应的位置。左保持部23设置成从端部EL起延伸至在图像显示部20的佩戴状态下与用户U的左侧头部对应的位置。
右导光板26和左导光板28设置于前部框架27。右导光板26在图像显示部20的佩戴状态下位于用户U的右眼的眼前,使右眼看到图像。左导光板28在图像显示部20的佩戴状态下位于用户U的左眼的眼前,使左眼看到图像。
前部框架27具有将右导光板26的一端和左导光板28的一端相互连结起来的形状,在用户U佩戴图像显示部20的佩戴状态下,该连结位置与用户U的眉间对应。
前部框架27也可以在右导光板26与左导光板28的连结位置处设置鼻托部,该鼻托部在图像显示部20的佩戴状态下与用户U的鼻子抵接。在该情况下,能够由鼻托部、右保持部21和左保持部23将图像显示部20保持于用户U的头部。此外,也可以将在图像显示部20的佩戴状态下与用户U的后头部接触的带连结于右保持部21以及左保持部23。在该情况下,能够利用带将图像显示部20保持于用户U的头部。
右显示部22和左显示部24分别是对光学单元和周边电路进行单元化后的模块。
右显示部22是与基于右导光板26的图像的显示相关的单元,设置于右保持部21,在佩戴状态下位于用户U的右侧头部的附近。左显示部24是与基于左导光板28的图像的显示相关的单元,设置于左保持部23,在佩戴状态下位于用户U的左侧头部的附近。另外,还可以将右显示部22和左显示部24统一简称为“显示驱动部”。
右导光板26和左导光板28是由透光性的树脂等形成的光学部,将右显示部22和左显示部24输出的图像光引导至用户U的眼睛。右导光板26和左导光板28例如是棱镜。
左显示部24和左导光板28对应于“第1显示部”的一例。右显示部22和右导光板26对应于“第2显示部”的一例。
由右导光板26引导的图像光和透过右导光板26的外部光入射到用户U的右眼。同样,由左导光板28引导的图像光和透过左导光板28的外部光入射到左眼。
由左导光板28引导的图像光对应于第1图像P1。即,左显示部24和左导光板28以与外景重叠的方式显示第1图像P1。由右导光板26引导的图像光对应于第2图像P2。即,右显示部22和右导光板26以与外景重叠的方式显示第2图像P2。
第2图像P2是对应于第1图像P1的图像。在本实施方式中,第2图像P2例如为与第1图像P1相同的图像。
后面参照图8~图10详细地说明第1图像P1和第2图像P2。
在图像显示部20的前部框架27上配置有照度传感器65。照度传感器65接收来自佩戴图像显示部20的用户U的前方的外部光。
第1摄像头61配设于图像显示部20的前部框架27。第1摄像头61设置于不遮挡透过右导光板26和左导光板28的外部光的位置。在图1的例子中,第1摄像头61配置于右导光板26与左导光板28的连结部,但也可以配置于前部框架27的端部ER侧,还可以配置于端部EL侧。
第1摄像头61对应于“第1拍摄部”的一例。
第1摄像头61是具有CCD(Charge Coupled Device)、CMOS(Complementary Metal-Oxide-Semiconductor)等摄像元件和摄像镜头等的数字摄像头。第1摄像头61拍摄外景的第1拍摄范围,生成第1拍摄图像。
后面参照图6说明第1拍摄范围。本实施方式的第1摄像头61是单目摄像头,但也可以由立体摄像头构成。
在前部框架27上配置有LED(Light Emitting Diode)指示器67。LED指示器67配置于端部ER,在第1摄像头61的动作中点亮,通知处于拍摄中。
在前部框架27上设置有距离传感器64和红外线传感器66。距离传感器64检测与位于预先设定的测量方向的测量对象物相距的距离。距离传感器64例如也可以是具有LED、激光二极管等光源、以及接收光源发出的光被测量对象物反射的反射光的受光部的光反射式距离传感器。此外,距离传感器64也可以是具有发出超声波的声源、和接收被测量对象物反射的超声波的检测部的超声波式距离传感器。此外,距离传感器64也可以使用激光扫描测距仪(laser range scanner),在该情况下,能够对包含图像显示部20的前方在内的较大范围的区域进行测量。
红外线传感器66检测红外线。具体而言,红外线传感器66检测从智能手机300的红外线通信部射出的红外线。此外,红外线传感器66也可以构成为红外线通信部的一部分。在该情况下,能够与智能手机300的红外线通信部进行通信。红外线通信部例如依照IrDA标准进行通信。
图像显示部20的右显示部22以及左显示部24分别与连接装置10连接。在HMD100中,左保持部23与连接电缆40连接,与该连接电缆40相连的布线铺设于图像显示部20内部,右显示部22以及左显示部24分别与连接装置10连接。
连接电缆40具有音频连接器36,耳机30与音频连接器36连接,该耳机30具有构成立体声耳机的右耳机32和左耳机34、以及麦克风63。右耳机32被佩戴于用户的右耳,左耳机34被佩戴于用户的左耳。右耳机32和左耳机34也可以称作声音输出部。
右耳机32和左耳机34根据连接装置10输出的声音信号,输出声音。
麦克风63对声音进行收集,将声音信号输出到连接装置10。麦克风63例如可以是单声道麦克风,也可以是立体声麦克风,可以是具有定向性的麦克风,还可以是无定向性的麦克风。
连接装置10具有亮度调整键13、亮度调整键14、音量调整键15和音量调整键16,作为被用户U操作的被操作部。亮度调整键13、亮度调整键14、音量调整键15和音量调整键16分别由硬件按键构成。这些被操作部配置于连接装置10的主体的表面上,例如被用户U的手指操作。
亮度调整键13、14是用于调整由图像显示部20显示的图像的显示亮度的硬件按键。亮度调整键13指示亮度的增大,亮度调整键14指示亮度的减小。音量调整键15、16是用于调整从右耳机32和左耳机34输出的声音的音量的硬件按键。音量调整键15指示音量的增大,音量调整键16指示音量的减小。
[1-2.HMD的图像显示部的光学系统的结构]
图2是示出图像显示部20具备的光学系统的结构的主要部分俯视图。在图2中,为了进行说明,示出用户U的左眼LE和右眼RE。
如图2所示,右显示部22和左显示部24构成为左右对称。作为使用户U的右眼RE看到图像的结构,右显示部22具有发出图像光的OLED(Organic Light Emitting Diode)单元221。此外,具有右光学系统251,该右光学系统251具有引导OLED单元221发出的图像光L的透镜组等。图像光L被右光学系统251引导至右导光板26。
OLED单元221具有OLED面板223、以及驱动OLED面板223的OLED驱动电路225。OLED面板223是矩阵状地配置通过有机电致发光而进行发光并分别发出R(红)、G(绿)、B(蓝)的色光的发光元件而构成的自发光型显示面板。OLED面板223将各包含1个R、G、B的元件的单位作为1个像素而具有多个像素,利用矩阵状地配置的像素形成图像。OLED驱动电路225依照第1控制部120的控制,执行OLED面板223具备的发光元件的选择和对发光元件的通电,使OLED面板223的发光元件发光。关于第1控制部120,在后面参照图4进行说明。
OLED驱动电路225通过接合(bonding)等被固定于OLED面板223的反面即发光面的反面侧。OLED驱动电路225例如也可以由驱动OLED面板223的半导体器件构成,安装在被固定于OLED面板223的背面的基板上(省略图示)。在该基板上安装有图4所示的温度传感器217。
另外,OLED面板223也可以是矩阵状地配置发出白色光的发光元件、并重叠地配置与R、G、B的各色对应的滤色器的结构。此外,也可以使用除了分别发射R、G、B的色光的发光元件以外还具有发出W(白色)光的发光元件的WRGB结构的OLED面板223。
右光学系统251具有使从OLED面板223射出的图像光L成为平行状态的光束的准直透镜。利用准直透镜而成为平行状态的光束的图像光L入射到右导光板26。在右导光板26的内部的引导光的光路中形成有反射图像光L的多个反射面。图像光L在右导光板26的内部经过多次反射而被引导至右眼RE侧。在右导光板26上形成有位于右眼RE的眼前的半反射镜261(反射面)。图像光L被半反射镜261反射而从右导光板26朝向右眼RE射出,该图像光L在右眼RE的视网膜上成像,使用户U看到第2图像P2。
此外,作为使用户U的左眼LE看到图像的结构,左显示部24具有:OLED单元241,其发出图像光;以及左光学系统252,其具有引导OLED单元241发出的图像光L的透镜组等。图像光L被左光学系统252引导至左导光板28。
OLED单元241具有OLED面板243、以及驱动OLED面板243的OLED驱动电路245。OLED面板243是与OLED面板223同样构成的自发光型显示面板。OLED驱动电路245依照第1控制部120的指示,执行OLED面板243具备的发光元件的选择和对发光元件的通电,使OLED面板243的发光元件发光。
OLED驱动电路245通过接合(bonding)等被固定于OLED面板243的反面即发光面的反面侧。OLED驱动电路245例如也可以由驱动OLED面板243的半导体器件构成,安装在被固定于OLED面板243的背面的基板上(省略图示)。在该基板上安装有图4所示的温度传感器239。
左光学系统252具有使从OLED面板243射出的图像光L成为平行状态的光束的准直透镜。利用准直透镜而成为平行状态的光束的图像光L入射到左导光板28。左导光板28是形成有反射图像光L的多个反射面的光学元件,例如是棱镜。图像光L在左导光板28的内部经过多次反射而被引导至左眼LE侧。在左导光板28上形成有位于左眼LE的眼前的半反射镜281(反射面)。图像光L被半反射镜281反射,从左导光板28朝向左眼LE射出,该图像光L在左眼LE的视网膜上成像,使用户U看到第1图像P1。
根据该结构,HMD 100作为透射型显示装置发挥功能。即,被半反射镜261反射的图像光L和透过右导光板26的外部光OL入射到用户U的右眼RE。此外,被半反射镜281反射的图像光L和透过半反射镜281的外部光OL入射到左眼LE。这样,HMD 100使在内部进行处理后的图像的图像光L与外部光OL重叠地入射到用户U的眼睛,对用户U而言,能够透过右导光板26和左导光板28看到外景,可与该外景重叠地看到由图像光L形成的图像。
半反射镜261、281是反射右显示部22和左显示部24分别输出的图像光而提取图像的图像提取部,能够称作显示部。
另外,也将左光学系统252和左导光板28统称作“左导光部”,将右光学系统251和右导光板26统称作“右导光部”。右导光部和左导光部的结构不限于上述的例子,只要使用图像光在用户U的眼前形成虚像,则能够使用任意的方式,例如可以使用衍射光栅,也可以使用半透射反射膜。
图3是示出图像显示部20的主要部分的结构的图。图3是从用户U的头部侧观看图像显示部20的主要部分立体图。另外,在图3中省略连接电缆40的图示。
图3是图像显示部20的与用户U的头部接触的一侧、换言之用户U的右眼RE和左眼LE可看到的一侧。换另一说法,在图3中,能够看到右导光板26和左导光板28的里侧。
在图3中,对用户U的右眼RE照射图像光的半反射镜261和对左眼LE照射图像光的半反射镜281可看作大致四边形的区域。此外,如上所述,包含半反射镜261的右导光板26的整体和包含半反射镜281的左导光板28的整体使外部光透过。因此,用户U可透过右导光板26和左导光板28的整体而看到外景,在半反射镜261、281的位置处看到矩形的显示图像。
此外,在图像显示部20的用户U侧配置有内侧摄像头68。内侧摄像头68以分别与用户U的右眼RE以及左眼LE对应的方式,在右导光板26与左导光板28的中央位置设置有一对。内侧摄像头68是分别拍摄用户U的右眼RE和左眼LE的一对摄像头。内侧摄像头68依照第1控制部120的指示进行拍摄。第1控制部120分析内侧摄像头68的拍摄图像数据。例如,第1控制部120根据内侧摄像头68的拍摄图像数据,检测右眼RE和左眼LE的眼球表面上的反射光、瞳孔的图像,确定用户U的视线方向。此外,第1控制部120能够求出用户U的视线方向的变化,检测右眼RE和左眼LE各自的眼球运动。
这里,用户U的视线的移动还能够视作用户U的假想视点的移动。
此外,在根据内侧摄像头68的拍摄图像检测出右眼RE和左眼LE的视线方向的情况下,第1控制部120能够求出右眼RE和左眼LE的会聚角。会聚角对应于到用户U注视的对象物的距离。即,在用户U立体地观看图像、物体的情况下,右眼RE和左眼LE的会聚角与到观看的对象的距离对应地确定。因此,通过检测会聚角,能够求出用户U注视的距离。此外,通过以引导用户U的会聚角的方式显示图像,能够引导立体观察。
此外,第1控制部120按照第2控制部310的指示,根据调整部315的调整结果来使左显示部24和左导光板28显示第1图像P1,使右显示部22和右导光板26显示第2图像P2。具体而言,第1控制部120按照第2控制部310的指示,使左显示部24和左导光板28显示由调整部315调整后的第1图像P1,使右显示部22和右导光板26显示由调整部315调整后的第2图像P2。
[1-3.HMD的各部的结构]
图4是示出构成HMD 100的各部的结构的一例的图。
图像显示部20的右显示部22具有右显示部基板210。在右显示部基板210上安装有与连接电缆40连接的右I/F部211、接收经由右I/F部211从连接装置10输入的数据的接收部213、以及EEPROM(Electrically Erasable Programmable Read Only Memory)215。右I/F部211将接收部213、EEPROM215、温度传感器217、第1摄像头61、距离传感器64、照度传感器65、红外线传感器66、LED指示器67以及内侧摄像头68与连接装置10连接。接收部213将OLED单元221与连接装置10连接。
左显示部24具有左显示部基板230。在左显示部基板230上安装有与连接电缆40连接的左I/F部231、以及接收经由左I/F部231从连接装置10输入的数据的接收部233。此外,在左显示部基板230上安装有6轴传感器235和磁传感器237。
左I/F部231将接收部233、6轴传感器235、磁传感器237以及温度传感器239与连接装置10连接。接收部233将OLED单元241与连接装置10连接。
I/F是接口的缩写。另外,在本实施方式中,有时分别将接收部213和接收部233记作Rx 213、Rx 233。
EEPROM 215非易失性地存储各种数据。EEPROM 215例如存储与图像显示部20具备的OLED单元221、241的发光特性、显示特性相关的数据、与右显示部22或左显示部24具备的传感器的特性相关的数据等。
具体而言,存储与OLED单元221、241的伽马校正相关的参数、对温度传感器217、239的检测值进行补偿的数据等。这些数据通过HMD 100的工厂出货时的检查而生成,被写入EEPROM 215中。可由第1控制部120读取EEPROM 215所存储的数据。
第1摄像头61根据经由右I/F部211输入的信号执行拍摄,将拍摄图像数据输出到右I/F部211。
照度传感器65接收外部光,输出与受光量或受光强度对应的检测值。LED指示器67根据经由右I/F部211输入的控制信号或驱动电流来点亮。
内侧摄像头68根据经由右I/F部211输入的信号执行拍摄,将拍摄图像数据输出到右I/F部211。
温度传感器217检测OLED单元221的温度,将与检测温度对应的电压值或电阻值作为检测值输出。
距离传感器64执行距离检测,将表示检测结果的信号经由右I/F部211而输出到连接装置10。距离传感器64例如可以使用红外线式深度传感器、超声波式距离传感器、TimeOf Flight式距离传感器、将图像检测与声音检测组合而成的距离检测单元等。此外,距离传感器64也可以采用对能够通过立体摄像头、单目摄像头的立体拍摄而得到的图像进行处理从而检测距离的结构。
红外线传感器66执行红外线检测,将表示检测结果的信号经由右I/F部211输出到连接装置10。
接收部213接收经由右I/F部211从连接装置10传输的显示用图像数据,输出到OLED单元221。OLED单元221显示基于连接装置10所传输的图像数据的图像。
此外,接收部233接收经由左I/F部231从连接装置10传输的显示用图像数据,输出到OLED单元241。OLED单元221、241显示基于连接装置10所传输的图像数据的图像。
6轴传感器235是具有3轴加速度传感器和3轴陀螺仪传感器的运动传感器。6轴传感器235可以采用对上述的传感器进行了模块化的IMU(Inertial Measurement Unit)。磁传感器237例如是3轴的地磁传感器。陀螺仪传感器也称作角速度传感器。
温度传感器239检测OLED单元241的温度,将与检测温度对应的电压值或电阻值作为检测值输出。
图像显示部20的各部利用从连接装置10借助连接电缆40而供给的电力进行动作。
图像显示部20在右显示部22具有电源部229,在左显示部24具有电源部249。电源部229将连接装置10借助连接电缆40而供给的电力分配并供给至包含右显示部基板210的右显示部22的各部件。同样,电源部249将连接装置10经由连接电缆40而供给的电力分配并供给至包含左显示部基板230的左显示部24的各部。右显示部22和左显示部24也可以具有转换电压的转换电路等。
连接装置10具有I/F部110、第1控制部120、传感器控制部122、第1显示控制部124、电源控制部126、非易失性存储部130、操作部140、连接部145和声音处理部147。
I/F部110具有连接器11D。此外,I/F部110具有接口电路,该接口电路与连接器11D连接,执行依照各种通信标准的通信协议。
I/F部110例如也可以是安装有连接器11D和接口电路的接口基板。此外,连接装置10的第1控制部120、传感器控制部122、第1显示控制部124、电源控制部126也可以构成为安装在未图示的连接装置主基板上。在该情况下,也可以在连接装置主基板上安装I/F部110的连接器11D和接口电路。
此外,I/F部110例如可以具有能够与外部的存储装置、存储介质连接的存储卡用接口电路等,也可以由无线通信接口电路构成I/F部110。
第1控制部120控制连接装置10的各部。第1控制部120具有CPU(CentralProcessing Unit)这样的第1处理器。在第1控制部120中,第1处理器执行第1控制程序,由此,通过软件与硬件的协作,控制HMD 100的各部。非易失性存储部130、操作部140、连接部145和声音处理部147与第1控制部120连接。
传感器控制部122对第1摄像头61、距离传感器64、照度传感器65、红外线传感器66、温度传感器217、6轴传感器235、磁传感器237和温度传感器239进行控制。具体而言,传感器控制部122依照第1控制部120的控制,进行各传感器的采样周期的设定和初始化,并对应于各传感器的采样周期,执行向各传感器的通电、控制数据的发送、检测值的取得等。
传感器控制部122与I/F部110的连接器11D连接,在预先设定的定时,将与从各传感器取得的检测值有关的数据输出到连接器11D。与连接器11D连接的智能手机300能够取得HMD 100的各传感器的检测值、第1摄像头61的拍摄图像数据和表示由内侧摄像头68检测出的视线方向的数据。
第1显示控制部124执行用于由图像显示部20显示基于输入到I/F部110的图像数据的图像的各种处理。在本实施方式中,向连接器11D输入智能手机300所输出的图像信号。图像信号是数字图像数据,但是也可以是模拟图像信号。
第1显示控制部124例如执行帧的剪切、分辨率转换、中间帧生成、帧率转换等各种处理。分辨率转换包含所谓的缩放。第1显示控制部124将分别与OLED单元221以及OLED单元241对应的图像数据输出到连接部145。输入到连接部145的图像数据从连接器11A作为图像信号201传输到右I/F部211和左I/F部231。图像信号201是分别与OLED单元221以及OLED单元241对应地进行处理后的数字图像数据。
在本实施方式中,连接器11D由USB-TypeC连接器构成。第1显示控制部124经由连接器11D接收在USB-TypeC的替代模式下传输的图像数据。
传感器控制部122和/或第1显示控制部124也可以通过由第1处理器执行程序,利用软件与硬件的协作来实现。即,传感器控制部122和第1显示控制部124由第1处理器构成,通过执行程序来执行上述的动作。在该例中,传感器控制部122和第1显示控制部124也可以通过使构成第1控制部120的第1处理器执行程序来实现。换言之,也可以通过由第1处理器执行程序来作为第1控制部120、第1显示控制部124和传感器控制部122发挥功能。
此外,第1显示控制部124和传感器控制部122也可以由DSP(Digital SignalProcessor)、FPGA(Field Programmable Gate Array)等被编程的硬件构成。此外,也可以将传感器控制部122和第1显示控制部124合而构成为SoC(System-on-a-Chip)-FPGA。
电源控制部126与连接器11D连接。电源控制部126根据从连接器11D供给的电力,进行对连接装置10的各部和图像显示部20的电源供给。此外,电源控制部126也可以具有未图示的电压转换电路,对电压进行转换并供给到连接装置10和图像显示部20的各部。电源控制部126也可以由逻辑电路、FPGA等被编程的半导体器件构成。此外,也可以通过与传感器控制部122和/或第1显示控制部124共用的硬件构成电源控制部126。
传感器控制部122、第1显示控制部124和电源控制部126可以具备用于进行数据处理的工作存储器,也可以利用第1控制部120的存储器进行处理。
操作部140检测对连接装置10具备的被操作部的操作,将表示操作内容的数据或表示所操作的被操作部的操作信号输出到第1控制部120。
声音处理部147依照从第1控制部120输入的声音数据生成声音信号,并输出到连接部145。该声音信号从连接部145经由音频连接器36被输出到右耳机32和左耳机34。此外,声音处理部147依照第1控制部120的控制,调整声音信号的音量。此外,声音处理部147生成麦克风63收集到的声音的声音数据,并输出到第1控制部120。也可以由第1控制部120以与图像显示部20具备的传感器的检测值同样的方式,对该声音数据进行处理。
此外,连接装置10也可以具有未图示的电池,并从该电池向连接装置10和图像显示部20的各部供给电力。连接装置10具备的电池也可以是可充电的二次电池。
[1-4.智能手机的结构]
图5是示出智能手机300的结构的一例的图。
智能手机300具有第2控制部310、显示部330、第2摄像头341、6轴传感器351和磁传感器352。
第2控制部310具有CPU、微型计算机等第2处理器310A,通过由该第2处理器310A执行第2控制程序,对智能手机300的各部进行控制。第2控制部310具有如非易失性地存储第2处理器310A所执行的第2控制程序的ROM(Read Only Memory)和构成第2处理器310A的工作区的RAM(Random Access Memory)的第2存储器310B。
第2处理器310A对应于“计算机“的一例。第2控制部310的第2存储器310B所存储的第2控制程序对应于“控制程序“的一例。
第2存储器310B例如具有使用了HDD(Hard Disk Drive)等磁记录装置或闪存等半导体存储元件的存储装置。
显示部330具备的显示面板331以及触摸传感器332与第2控制部310连接。显示面板331根据第2控制部310的控制,显示各种图像。显示面板331例如由LCD(Liquid CrystalDisplay)构成。显示面板331构成为矩形。在本实施方式中,显示面板331为长方形。显示面板331显示第3图像P3。
显示面板331对应于“第3显示部”的一例。后面参照图8~图10详细地说明第3图像P3。
触摸传感器332检测触摸操作,将表示检测出的操作的数据输出到第2控制部310。
触摸传感器332与显示面板331形成为一体。具体而言,触摸传感器332形成在显示面板331的图像显示面。在本实施方式中,触摸传感器332为长方形。触摸传感器332所输出的数据是表示触摸传感器332中的操作位置的坐标数据等。
第2摄像头341是具有CCD或CMOS等摄像元件和摄像镜头等的数字摄像头。第2摄像头341按照第2控制部310的指示,拍摄外景的第2拍摄范围,生成第2拍摄图像。如图7所示,第2摄像头341配置于智能手机300中的、与显示面板331相同一侧的面上。具体而言,第2摄像头341配置于显示面板331的短边与构成智能手机300的壳体中的、配置有显示面板331的面的周边之间。
第2摄像头341对应于“第2拍摄部”的一例。
后面,参照图7说明第2拍摄范围。
6轴传感器351是具有3轴加速度传感器和3轴陀螺仪传感器的运动传感器。6轴传感器351可以采用对上述的传感器进行了模块化的IMU。磁传感器352例如是3轴的地磁传感器。陀螺仪传感器也称作角速度传感器。
[1-5.智能手机的第2控制部的结构]
第2控制部310具有第1判定部311、第2判定部312、第1检测部313、第2检测部314、调整部315和第2显示控制部316。具体而言,第2控制部310通过使第2控制部310具备的第2处理器310A执行第2控制程序来作为第1判定部311、第2判定部312、第1检测部313、第2检测部314、调整部315和第2显示控制部316发挥功能。
第1判定部311根据第1摄像头61的拍摄结果来判定是由用户U的左手把持、还是由用户U的右手把持智能手机300。具体而言,第1判定部311通过对第1摄像头61的第1拍摄图像执行图像处理等,判定是由用户U的左手把持、还是由用户U的右手把持智能手机300。
例如,在用户U用左手把持智能手机300的情况下,在第1摄像头61的第1拍摄图像中包含对应于用户U的左手的手掌的一部分、用户U的左手的大拇指、以及用户U的左手的中指、食指和小指各自的末端部的图像。此外,例如,在用户U用右手把持智能手机300的情况下,在第1摄像头61的第1拍摄图像中包含对应于用户U的右手的手掌的一部分、用户U的右手的大拇指、以及用户U的右手的中指、食指和小指各自的末端部的图像。
因此,在第1摄像头61的第1拍摄图像中包含把持智能手机300的用户U的左手的一部分的情况下,第1判定部311判定为用用户U的左手把持智能手机300。此外,在第1摄像头61的第1拍摄图像中包含把持智能手机300的用户U的右手的一部分的情况下,第1判定部311判定为用用户U的右手把持智能手机300。
第2判定部312判定显示面板331是否与图1所示的HMD 100相对。具体而言,第2判定部312根据图1以及图4所示的第1摄像头61所拍摄的图像和第2摄像头341所拍摄的图像来判定智能手机300的显示面板331是否与HMD 100相对。更具体而言,在满足下述的第1条件和第2条件的情况下,判定为显示面板331与HMD 100相对。
第1条件:显示面板331位于第1摄像头61的第1拍摄范围内。
第2条件:HMD 100位于第2摄像头341的第2拍摄范围内。
后面,参照图6详细地说明第1条件。后面,参照图7详细地说明第2条件。
第1检测部313检测第1图像P1以及第2图像P2中的至少一方是否与第3图像P3重叠。具体而言,第1检测部313根据第1摄像头61的拍摄结果检测第1图像P1以及第2图像P2中的至少一方是否与第3图像P3重叠。
更具体而言,第1检测部313根据第1摄像头61的第1拍摄图像所包含的智能手机300的显示面板331的位置、和右导光板26以及左导光板28的朝向,检测第1图像P1以及第2图像P2中的至少一方是否与第3图像P3重叠。
例如,第1检测部313检测出第1图像P1与第3图像P3重叠、第2图像P2不与第3图像P3重叠。此外,例如,第1检测部313检测出第1图像P1不与第3图像P3重叠、第2图像P2与第3图像P3重叠。此外,例如,第1检测部313检测出第1图像P1与第3图像P3重叠、第2图像P2与第3图像P3重叠。
第1检测部313对应于“检测部”的一例。
后面,参照图8~图10详细地说明第1检测部313的处理。
在第1检测部313检测出第1图像P1与第3图像P3重叠的情况下,第2检测部314检测第1重叠区域AD1。第1重叠区域AD1表示第1图像P1与第3图像P3重叠的区域。此外,在第1检测部313检测出第2图像P2与第3图像P3重叠的情况下,第2检测部314检测第2重叠区域AD2。第2重叠区域AD2表示第2图像P2与第3图像P3重叠的区域。
具体而言,第2检测部314根据第1摄像头61的第1拍摄图像所包含的智能手机300的显示面板331的位置、和右导光板26以及左导光板28的朝向,检测第1重叠区域AD1和第2重叠区域AD2。
后面参照图8~图10详细地对第1重叠区域AD1和第2重叠区域AD2分别进行说明。
调整部315根据第1检测部313的检测结果调整第1图像P1和第2图像P2中的至少一个图像,使得用户U能够看到第3图像P3。此外,调整部315调整第1图像P1和第2图像P2中的至少一个图像,以使第2图像P2与第1图像P1不同。
具体而言,在第1检测部313检测出第1图像P1与第3图像P3重叠的情况下,调整部315调整第1图像P1,在第1检测部313检测出第2图像P2与第3图像P3重叠的情况下,调整部315调整第2图像P2。
在本实施方式中,调整部315根据第2检测部314的检测结果,调整第1图像P1和第2图像P2中的至少一个图像。具体而言,在第1检测部313检测出第1图像P1与第3图像P3重叠的情况下,调整部315禁止第1图像P1中的第1重叠区域AD1的显示。此外,在第1检测部313检测出第2图像P2与第3图像P3重叠的情况下,禁止第2图像P2中的第2重叠区域AD2的显示。
后面,参照图8~图10详细地说明调整部315的处理。
第2显示控制部316例如再现内容数据,将与内容数据所包含的图像数据对应的第3图像P3显示在显示部330的显示面板331上。第2显示控制部316将与第3图像P3对应的第1图像P1以及第2图像P2传输到HMD 100的第1控制部120。具体而言,第2显示控制部316根据内容数据所包含的图像数据,将左显示部24和左导光板28所显示的第1图像P1、以及右显示部22和右导光板26所显示的第2图像P2传输到HMD 100的第1控制部120。
此外,第2显示控制部316根据调整部315的调整结果,使左显示部24和左导光板28显示第1图像P1,使右显示部22和右导光板26显示第2图像P2。换言之,第2显示控制部316使左显示部24和左导光板28显示由调整部315调整后的第1图像P1,使右显示部22和右导光板26显示由调整部315调整后的第2图像P2。
第2显示控制部316对应于“显示控制部”的一例。
后面参照图11具体地说明第2控制部310的处理。
在本实施方式中,在第1图像P1与第3图像P3重叠的情况下,调整部315禁止第1重叠区域AD1的显示,在第2图像P2与第3图像P3重叠的情况下,禁止第2重叠区域AD2的显示,但是,本发明的实施方式不限于此。在第1图像P1与第3图像P3重叠的情况下,调整部315调整第1图像P1,在第2图像P2与第3图像P3重叠的情况下,调整部315调整第2图像P2即可。
例如,也可以是,在第1图像P1与第3图像P3重叠的情况下,调整部315禁止第1图像P1的显示,在第2图像P2与第3图像P3重叠的情况下,调整部315禁止第2图像P2的显示。
此外,例如,也可以是,在第1图像P1与第3图像P3重叠的情况下,调整部315调整第1图像P1的透射率,在第2图像P2与第3图像P3重叠的情况下,调整部315调整第2图像P2的透射率。另外,调整部315调整成第1图像P1的透射率和第2图像P2的透射率分别增加。调整部315例如调整成第1图像P1的透射率和第2图像P2的透射率分别从10%增加至50%。
此外,例如,也可以是,在第1图像P1与第3图像P3重叠的情况下,调整部315调整第1重叠区域AD1的透射率,在第2图像P2与第3图像P3重叠的情况下,调整部315调整第2重叠区域AD2的透射率。另外,调整部315调整成第1重叠区域AD1的透射率和第2重叠区域AD2的透射率分别增加。调整部315例如调整成第1重叠区域AD1的透射率和第2重叠区域AD2的透射率分别从10%增加至50%。
在本实施方式中,调整部315根据第1检测部313的检测结果和第2检测部314的检测结果来调整第1图像P1和第2图像P2中的至少一个图像,使得用户U能够看到第3图像P3,但是,本发明的实施方式不限于此。例如,调整部315也可以根据第1判定部311的判定结果,调整第1图像P1和第2图像P2中的至少一个图像。
具体而言,也可以是,在第1判定部311判定为用用户U的左手把持智能手机300的情况下,调整部315禁止第1图像P1的显示,在第1判定部311判定为用用户U的右手把持智能手机300的情况下,调整部315禁止第2图像P2的显示。
在本实施方式中,智能手机300的第2控制部310具有第1判定部311、第2判定部312、第1检测部313、第2检测部314、调整部315和第2显示控制部316,但是,本发明的实施方式不限于此。例如,HMD 100的连接装置10的第1控制部120也可以具有第1判定部311、第2判定部312、第1检测部313、第2检测部314、调整部315和第2显示控制部316。在以下的说明中,有时将HMD 100的连接装置10的第1控制部120具有第1判定部311、第2判定部312、第1检测部313、第2检测部314、调整部315和第2显示控制部316的方式记作“本发明的其他实施方式”。
此外,例如,也可以是,智能手机300的第2控制部310具有第1判定部311、第2判定部312、第1检测部313、第2检测部314、调整部315和第2显示控制部316的一部分,HMD 100的连接装置10的第1控制部120具有第1判定部311、第2判定部312、第1检测部313、第2检测部314、调整部315和第2显示控制部316的剩余部分。
[2.使用具体例的智能手机的第2控制部的处理的说明]
图6~图10分别是示出第2控制部310的处理的具体例的图。
[2-1.第2判定部的处理的说明]
图6是示出显示面板331与HMD 100相对的状态的一例的图。
如图6所示,在用户U操作智能手机300的情况下,通常,在与HMD 100相对的方向DS上配置智能手机300。方向DS例如表示与包含左导光板28以及右导光板26的平面垂直的方向。方向DS由第2控制部310根据由第1摄像头61拍摄出的第1拍摄图像检测。
方向DA表示从HMD 100朝向智能手机300的显示面板331的中心位置PC的方向。方向DA由第2判定部312根据由第1摄像头61拍摄出的第1拍摄图像检测。
方向DA相对于方向DS倾斜了倾斜角θ。倾斜角θ表示方向DA相对于方向DS的倾斜角。
在倾斜角θ的绝对值为阈值角θS以下的情况下,第2判定部312判定为显示面板331位于第1摄像头61的第1拍摄范围内。即,在倾斜角θ为阈值角θS以下的情况下,第2判定部312判定为满足第1条件。阈值角θS例如为30度。
这样,第2判定部312能够根据第1摄像头61的第1拍摄图像判定是否满足第1条件。
A-A线表示显示面板331的长边方向。B-B线表示显示面板331的短边方向。
A-A线相对于方向DA倾斜了倾斜角
Figure BDA0002673188060000221
倾斜角/>
Figure BDA0002673188060000222
表示A-A线相对于方向DA的倾斜角。此外,B-B线相对于方向DA倾斜了倾斜角ψ。倾斜角ψ表示B-B线相对于方向DA的倾斜角。
在用户U看到显示在显示面板331上的第3图像P3的情况下,倾斜角
Figure BDA0002673188060000231
和倾斜角ψ规定显示面板331的显示面相对于用户U或HMD 100的倾斜。/>
此外,例如,在倾斜角
Figure BDA0002673188060000232
和倾斜角ψ分别为90度的情况下,显示面板331的显示面与方向DA垂直。
在本实施方式中,在满足第1条件和第2条件的情况下,第2判定部312判定为显示面板331与HMD 100相对,但是,本发明的实施方式不限于此。在满足第1条件和第2条件并且倾斜角
Figure BDA0002673188060000233
和倾斜角ψ分别处于规定范围内的情况下,第2判定部312也可以判定为显示面板331与HMD 100相对。规定范围例如为90度±30度。即,倾斜角/>
Figure BDA0002673188060000234
和倾斜角ψ分别处于规定范围内是满足以下的式(1)和式(2)。
Figure BDA0002673188060000235
60度≤ψ≤120度 (2)
距离LA表示显示面板331与HMD 100之间的距离。距离LA通过距离传感器64来检测。
在本实施方式中,在满足第1条件和第2条件的情况下,第2判定部312判定为显示面板331与HMD 100相对,但是,本发明的实施方式不限于此。在除了第1条件和第2条件以外还满足下述的第3条件的情况下,第2判定部312也可以判定为显示面板331与HMD 100相对。
第3条件:第1摄像头61与HMD 100之间的距离LA为阈值距离LS以下。
即,在距离LA为阈值距离LS以下的情况下,第2判定部312判定为满足第3条件。阈值距离LS例如为0.8m。
此外,例如,也可以设置多个阈值距离(例如,0.8m、0.5m和0.3m),第2判定部312根据距离LA来变更显示面板331是否与HMD 100相对的判定的基准。
例如,距离LA越短,则越缩小判定为显示面板331与HMD 100相对的倾斜角
Figure BDA0002673188060000236
和倾斜角ψ的范围。
例如,在距离LA为0.8m以下的情况下,判定为显示面板331与HMD 100相对的条件是满足上述式(1)和式(2)。此外,在距离LA为0.5m以下的情况下,判定为显示面板331与HMD100相对的条件是满足以下的式(3)和式(4)。
Figure BDA0002673188060000237
70度≤ψ≤110度 (4)
并且,在距离LA为0.3m以下的情况下,判定为显示面板331与HMD 100相对的条件是满足以下的式(5)和式(6)。
Figure BDA0002673188060000241
80度≤ψ≤100度 (6)
距离LA越短,则越缩小判定为显示面板331与HMD 100相对的倾斜角
Figure BDA0002673188060000242
和倾斜角ψ的范围,由此,调整部315能够适当地调整第1图像P1和第2图像P2中的至少一个图像。
图7是示出显示面板331与HMD 100相对的状态的另一例的图。
如图7所示,在用户U操作智能手机300的情况下,通常,HMD 100相对于显示面板331配置在向量VN的方向上。向量VN表示显示面板331的显示面的法线向量。
HMD 100位于第2摄像头341的第2拍摄范围内。中心线CL表示第2摄像头341的第2拍摄范围的中心。中心线CL与向量VN平行。即,中心线CL与包含显示面板331的显示面的平面垂直。
相对于中心线CL位于倾斜角ηA以下的范围表示第2拍摄范围。换言之,倾斜角ηA对应于第2摄像头341的视场角的一半。
直线LB表示将第2摄像头341与第1摄像头61连结的直线。倾斜角ηB表示直线LB相对于中心线CL的倾斜角。如图7所示,倾斜角ηB比倾斜角ηA小。因此,在第2摄像头341所拍摄的第2拍摄图像中包含第1摄像头61的图像。另外,通过对第2拍摄图像执行图像处理等来检测第1摄像头61的图像。
在第2摄像头341所拍摄的第2拍摄图像中包含第1摄像头61的图像的情况下,第2判定部312判定为HMD 100位于第2摄像头341的第2拍摄范围内。即,第2判定部312判定为满足第2条件。
这样,第2判定部312能够根据第2摄像头341所拍摄的第2拍摄图像判定是否满足第2条件。
在本实施方式中,在第2摄像头341所拍摄的第2拍摄图像中包含第1摄像头61的图像的情况下,第2判定部312判定为HMD 100位于第2摄像头341的第2拍摄范围内,但是,本发明的实施方式不限于此。第2判定部312根据第2拍摄图像判定HMD 100是否位于第2摄像头341的第2拍摄范围内即可。例如,在第2摄像头341所拍摄的第2拍摄图像中包含右导光板26和左导光板28的图像的情况下,第2判定部312也可以判定为HMD 100位于第2摄像头341的第2拍摄范围内。
[2-2.调整部的处理的说明]
图8是示出第3图像P3与第2图像P2重叠的状态的一例的图。另外,在图8~图10中,对显示面板331与HMD 100相对的情况进行说明。即,在图8~图10中,第2判定部312判定为显示面板331与HMD 100相对。
图8的上侧的图是示出右视野范围AR以及左视野范围AL与智能手机300的位置的关系的俯视图。右视野范围AR表示用户U的右眼RE通过右导光板26而看到的视野的范围。左视野范围AL表示用户U的左眼LE通过左导光板28而看到的视野的范围。
如图8的上侧的图所示,智能手机300位于右视野范围AR的左右方向上的中央部。另外,智能手机300在上下方向上,也位于右视野范围AR的中央部。此外,智能手机300不进入左视野范围AL。
即,第1检测部313检测出第1图像P1不与第3图像P3重叠,检测出第2图像P2与第3图像P3重叠。
图8的下侧的图示出用户U的右眼RE通过右导光板26而看到的图像和用户U的左眼LE通过左导光板28而看到的图像。图8的下侧的右图示出用户U的右眼RE通过右导光板26而看到的图像,图8的下侧的左图示出用户U的左眼LE通过左导光板28而看到的图像。
第1检测部313检测出第1图像P1不与第3图像P3重叠,因此,调整部315不调整第1图像P1。因此,第2显示控制部316使左显示部24和左导光板28显示第1图像P1。其结果,如图8的下侧的左图所示,用户U的左眼LE通过左导光板28而看到第1图像P1。
第1检测部313检测出第2图像P2与第3图像P3重叠,因此,调整部315调整第2图像P2。这里,调整部315禁止第2图像P2的显示。因此,第2显示控制部316不显示第2图像P2。其结果,如图8的下侧的右图所示,用户U的右眼RE通过右导光板26而看到包含第3图像P3的智能手机300。
这样,用户U能够用右眼RE看到包含第3图像P3的智能手机300,并能够用左眼LE看到第1图像P1。因此,能够确保智能手机300的显示面板331所显示的第3图像P3的可视性,从而抑制第1图像P1的可视性的下降。
图9是示出第3图像P3与第2图像P2重叠的状态的另一例的图。图9的上侧的图是示出右视野范围AR以及左视野范围AL与智能手机300的位置的关系的俯视图。
如图9的上侧的图所示,智能手机300位于右视野范围AR的左右方向上的中央部。另外,智能手机300在上下方向上,位于右视野范围AR的下部。即,在图9中,智能手机300的上下方向上的位置与图8不同。此外,智能手机300不进入左视野范围AL。
即,第1检测部313检测出第1图像P1不与第3图像P3重叠,检测出第2图像P2与第3图像P3重叠。
图9的下侧的右图示出用户U的右眼RE通过右导光板26而看到的图像,图9的下侧的左图示出用户U的左眼LE通过左导光板28而看到的图像。
第1检测部313检测出第1图像P1不与第3图像P3重叠,因此,调整部315不调整第1图像P1。因此,第2显示控制部316使左显示部24和左导光板28显示第1图像P1。其结果,如图9的下侧的左图所示,用户U的左眼LE通过左导光板28而看到第1图像P1。
第1检测部313检测出第2图像P2与第3图像P3重叠,因此,调整部315调整第2图像P2。第2检测部314检测第2重叠区域AD2。第2重叠区域AD2表示第2图像P2与第3图像P3重叠的区域。如图9的下侧的右图所示,第2重叠区域AD2对应于第2图像P2的下部区域。因此,调整部315禁止第2图像P2中的、对应于第2重叠区域AD2的图像的显示。其结果,如图9的下侧的右图所示,用户U的右眼RE通过右导光板26而看到第2上图像P2U和第3上图像P3U。第2上图像P2U对应于第2图像P2的上部区域。第3上图像P3U对应于第3图像P3的上部区域。
这样,用户U能够用右眼RE看到第2上图像P2U和第3上图像P3U,能够用左眼LE看到第1图像P1。因此,能够确保智能手机300的显示面板331所显示的第3图像P3的可视性,从而抑制第1图像P1和第2图像P2的可视性的下降。
图10是示出第3图像P3与第1图像P1以及第2图像P2重叠的状态的一例的图。图10的上侧的图是示出右视野范围AR以及左视野范围AL与智能手机300的位置的关系的俯视图。
如图10的上侧的图所示,智能手机300位于右视野范围AR的左右方向上的左部。此外,智能手机300位于左视野范围AL的左右方向上的右部。另外,智能手机300在上下方向上,位于右视野范围AR和左视野范围AL的中央部。即,在图10中,智能手机300的左右方向上的位置与图8不同。
图10的下侧的右图示出用户U的右眼RE通过右导光板26而看到的图像,图10的下侧的左图示出用户U的左眼LE通过左导光板28而看到的图像。
第1检测部313检测出第1图像P1与第3图像P3重叠,因此,调整部315调整第1图像P1。第2检测部314检测第1重叠区域AD1。第1重叠区域AD1表示第1图像P1与第3图像P3重叠的区域。如图9的下侧的左图所示,第1重叠区域AD1对应于第1图像P1的右部区域。因此,调整部315禁止第1图像P1中的、对应于第1重叠区域AD1的图像的显示。其结果,如图9的下侧的左图所示,用户U的左眼LE通过左导光板28而看到第1左图像P1L和第3图像P3。第1左图像P1L对应于第1图像P1的左部区域。
第1检测部313检测出第2图像P2与第3图像P3重叠,因此,调整部315调整第2图像P2。第2检测部314检测第2重叠区域AD2。第2重叠区域AD2表示第2图像P2与第3图像P3重叠的区域。如图10的下侧的右图所示,第2重叠区域AD2对应于第2图像P2的左部区域。因此,调整部315禁止第2图像P2中的、对应于第2重叠区域AD2的图像的显示。其结果,如图10的下侧的右图所示,用户U的右眼RE通过右导光板26而看到第2右图像P2R和第3图像P3。第2右图像P2R对应于第2图像P2的右部区域。
这样,用户U能够用右眼RE看到第2右图像P2R和第3图像P3,能够用左眼LE看到第1左图像P1L和第3图像P3。因此,能够确保智能手机300的显示面板331所显示的第3图像P3的可视性,从而抑制第1图像P1和第2图像P2的可视性的下降。
[3.智能手机的第2控制部的处理的说明]
图11是示出智能手机300的第2控制部310的处理的一例的流程图。
首先,如图11所示,在步骤S101中,第2控制部310取得第1摄像头61所拍摄的第1拍摄图像。
接着,在步骤S103中,第2判定部312判定显示面板331是否位于第1摄像头61的第1拍摄范围内。换言之,第2判定部312判定第1摄像头61所拍摄的第1拍摄图像是否包含显示在显示面板331上的第3图像P3。
在第2判定部312判定为第1拍摄图像不包含第3图像P3的情况下(步骤S103;否),处理进入步骤S127。在第2判定部312判定为第1拍摄图像包含第3图像P3的情况下(步骤S103;是),处理进入步骤S105。
然后,在步骤S105中,第2控制部310取得第2摄像头341所拍摄的第2拍摄图像。
接着,在步骤S107中,第2判定部312判定HMD 100是否位于第2摄像头341的第2拍摄范围内。换言之,第2判定部312判定第2摄像头341所拍摄的第2拍摄图像是否包含HMD100的图像。在本实施方式中,如参照图7所说明那样,HMD 100的图像例如为HMD 100的第1摄像头61的图像。
在第2判定部312判定为第2拍摄图像不包含HMD 100的图像的情况下(步骤S107;否),处理进入步骤S127。在第2判定部312判定为第2拍摄图像包含HMD100的图像的情况下(步骤S107;是),处理进入步骤S109。
然后,在步骤S109中,第2判定部312判定为显示面板331与HMD 100相对。
接着,在步骤S111中,第1检测部313判定第3图像P3是否与第1图像P1重叠。
在第1检测部313判定为第3图像P3不与第1图像P1重叠的情况下(步骤S111;否),处理进入步骤S117。
然后,在步骤S117中,第2显示控制部316使左显示部24和左导光板28显示第1图像P1。然后,处理进入步骤S119。
在第1检测部313判定为第3图像P3与第1图像P1重叠的情况下(步骤S111;是),处理进入步骤S113。
然后,在步骤S113中,第2检测部314检测表示第1图像P1与第3图像P3重叠的区域的第1重叠区域AD1。
接着,在步骤S115中,调整部315禁止第1图像P1中的第1重叠区域AD1的显示,第2显示控制部316使左显示部24和左导光板28显示调整后的第1图像P1。然后,处理进入步骤S119。
接着,在步骤S119中,第1检测部313判定第3图像P3是否与第2图像P2重叠。
在第1检测部313判定为第3图像P3不与第2图像P2重叠的情况下(步骤S119;否),处理进入步骤S125。
然后,在步骤S125中,第2显示控制部316使右显示部22和右导光板26显示第2图像P2。然后,处理进入步骤S127。
在第1检测部313判定为第3图像P3与第2图像P2重叠的情况下(步骤S119;是),处理进入步骤S121。
然后,在步骤S121中,第2检测部314检测表示第2图像P2与第3图像P3重叠的区域的第2重叠区域AD2。
接着,在步骤S123中,调整部315禁止第2图像P2中的第2重叠区域AD2的显示,第2显示控制部316使右显示部22和右导光板26显示调整后的第2图像P2。然后,处理进入步骤S127。
然后,在步骤S127中,第2控制部310判定是否结束处理。
在第2控制部310判定为不结束处理的情况下(步骤S127;否),处理返回步骤S101。在第2控制部310判定为结束处理的情况下(步骤S127;是),结束处理。
另外,图11的步骤S111和步骤S119对应于“检测步骤”的一例。步骤S115和步骤S123对应于“调整步骤”的一例,还对应于“显示控制步骤”的一例。此外,步骤S117和步骤S125对应于“显示控制步骤”的一例。
[4.本实施方式的效果]
如以上所说明那样,本实施方式的显示系统1具有:HMD 100,其被佩戴于用户U的头部;以及智能手机300,其与HMD 100连接,HMD 100具有:左显示部24和左导光板28,其位于用户U的左眼LE侧,以与外景重叠的方式显示第1图像P1;以及第2显示部,其位于用户U的右眼RE侧,以与外景重叠的方式显示与第1图像P1对应的第2图像P2,智能手机300具有:显示面板331,其显示第3图像P3;第1检测部313,其检测第1图像P1以及第2图像P2中的至少一方是否与第3图像P3重叠;调整部315,其根据第1检测部313的检测结果来调整第1图像P1和第2图像P2中的至少一个图像,使得能够目视到第3图像P3;以及第2显示控制部316,其根据调整部315的调整结果来使左显示部24和左导光板28显示第1图像P1,使右显示部22和右导光板26显示第2图像P2。
因此,调整第1图像P1和第2图像P2中的至少一个图像,使得能够看到第3图像P3,并根据调整部315的调整结果使左显示部24和左导光板28显示第1图像P1,使右显示部22和右导光板26显示第2图像P2,因此,能够抑制智能手机300的显示面板331所显示的第3图像P3的可视性的下降。
此外,调整部315调整第1图像P1和第2图像P2中的至少一个图像,以使第2图像P2与第1图像P1不同。
因此,调整第1图像P1和第2图像P2中的至少一个图像,以使第2图像P2与第1图像P1不同,因此,如参照图8~图10所说明那样,能够抑制第1图像P1和第2图像P2中的至少一方的可视性的下降。
此外,在第1检测部313检测出第1图像P1与第3图像P3重叠的情况下,调整部315调整第1图像P1,在第1检测部313检测出第2图像P2与第3图像P3重叠的情况下,调整部315调整第2图像P2。
因此,在第1图像P1与第3图像P3重叠的情况下,调整第1图像P1,在第2图像P2与第3图像P3重叠的情况下,调整第2图像P2,因此,能够通过简单的处理抑制第3图像P3的可视性的下降。此外,能够通过简单的处理抑制第1图像P1和第2图像P2中的至少一方的可视性的下降。
此外,在第1检测部313检测出第1图像P1与第3图像P3重叠的情况下,调整部315禁止第1图像P1的显示,在第1检测部313检测出第2图像P2与第3图像P3重叠的情况下,调整部315禁止第2图像P2的显示。
因此,在第1图像P1与第3图像P3重叠的情况下,禁止第1图像P1的显示,在第2图像P2与第3图像P3重叠的情况下,禁止第2图像P2的显示,因此,能够通过简单的处理抑制第3图像P3的可视性的下降。此外,能够通过简单的处理抑制第1图像P1和第2图像P2中的至少一方的可视性的下降。
此外,在第1检测部313检测出第1图像P1与第3图像P3重叠的情况下,调整部315调整第1图像P1的透射率,在第1检测部313检测出第2图像P2与第3图像P3重叠的情况下,调整第2图像P2的透射率。
因此,在第1图像P1与第3图像P3重叠的情况下,调整第1图像P1的透射率,因此,与禁止第1图像P1的显示的情况相比,能够抑制第1图像P1的可视性的下降。此外,在第2图像P2与第3图像P3重叠的情况下,调整第2图像P2的透射率,因此,与禁止第2图像P2的显示的情况相比,能够抑制第2图像P2的可视性的下降。
此外,智能手机300具有第2检测部314,在第1检测部313检测出第1图像P1与第3图像P3重叠的情况下,该第2检测部314检测表示第1图像P1与第3图像P3重叠的区域的第1重叠区域AD1,在第1检测部313检测出第2图像P2与第3图像P3重叠的情况下,该第2检测部314检测第2图像P2与第3图像P3重叠的区域第2重叠区域AD2,调整部315根据第2检测部314的检测结果来调整第1图像P1和第2图像P2中的至少一个图像。
因此,根据第1重叠区域AD1和第2重叠区域AD2来调整第1图像P1和第2图像P2中的至少一个图像,因此,能够进一步抑制第1图像P1和第2图像P2的可视性的下降。
此外,在第1检测部313检测出第1图像P1与第3图像P3重叠的情况下,调整部315禁止第1图像P1中的第1重叠区域AD1的显示,在第1检测部313检测出第2图像P2与第3图像P3重叠的情况下,调整部315禁止第2图像P2中的第2重叠区域AD2的显示。
因此,在第1图像P1与第3图像P3重叠的情况下,禁止第1重叠区域AD1的显示,因此,与禁止第1图像P1的显示的情况相比,能够抑制第1图像P1的可视性的下降。此外,在第2图像P2与第3图像P3重叠的情况下,禁止第2重叠区域AD2的显示,因此,与禁止第2图像P2的显示的情况相比,能够抑制第2图像P2的可视性的下降。
此外,在第1检测部313检测出第1图像P1与第3图像P3重叠的情况下,调整部315调整第1图像P1中的第1重叠区域AD1的透射率,在第1检测部313检测出第2图像P2与第3图像P3重叠的情况下,调整部315调整第2图像P2中的第2重叠区域AD2的透射率。
因此,在第1图像P1与第3图像P3重叠的情况下,调整第1重叠区域AD1的透射率,因此,与禁止第1重叠区域AD1的显示的情况相比,能够抑制第1图像P1的可视性的下降。此外,在第2图像P2与第3图像P3重叠的情况下,调整第2重叠区域AD2的透射率,因此,与禁止第2重叠区域AD2的显示的情况相比,能够抑制第2图像P2的可视性的下降。
此外,HMD 100具有第1摄像头61,该第1摄像头61拍摄外景的第1拍摄范围,第1检测部313根据第1摄像头61的拍摄结果来检测第1图像P1以及第2图像P2中的至少一方是否与第3图像P3重叠,第2检测部314根据第1摄像头61的拍摄结果来检测第1重叠区域AD1和第2重叠区域AD2。
因此,能够通过简单的结构实现第1检测部313和第2检测部314。
此外,HMD 100具有第1摄像头61,该第1摄像头61拍摄外景的第1拍摄范围,智能手机300具有第1判定部311,该第1判定部311根据第1摄像头61的拍摄结果来判定用左手把持、还是用右手把持智能手机300,在第1判定部311判定为用左手把持智能手机300的情况下,第1检测部313检测出第1图像P1与第3图像P3重叠,在第1判定部311判定为用右手把持智能手机300的情况下,第1检测部313检测出第2图像P2与第3图像P3重叠。
因此,能够通过简单的处理检测出第1图像P1与第3图像P3重叠、以及第2图像P2与第3图像P3重叠。
此外,智能手机300具有第2判定部312,该第2判定部312判定显示面板331是否与HMD 100相对,在第2判定部312判定为显示面板331与HMD 100相对的情况下,调整部315调整第1图像P1和第2图像P2中的至少一个图像。
因此,在显示面板331与HMD 100相对的情况下,调整第1图像P1和第2图像P2中的至少一个图像,因此,能够适当地调整第1图像P1和第2图像P2。例如,在显示面板331不与HMD 100相对的情况下,不调整第1图像P1和第2图像P2的图像,因此,能够适当地调整第1图像P1和第2图像P2。
此外,HMD 100具有第1摄像头61,该第1摄像头61拍摄外景的第1拍摄范围,智能手机300具有第2摄像头341,该第2摄像头341拍摄外景的第2拍摄范围,第2判定部312根据第1摄像头61所拍摄的图像和第2摄像头341所拍摄的图像来判定智能手机300的显示面板331是否与HMD 100相对。
因此,根据第1摄像头61所拍摄的图像和第2摄像头341所拍摄的图像来判定智能手机300的显示面板331是否与HMD 100相对,因此,能够适当地判定显示面板331是否与HMD100相对。
本实施方式的控制程序是一种智能手机300的控制程序,该智能手机300与HMD100连接并具有显示面板331和第2处理器310A,该HMD 100被佩戴于用户U的头部,并具有:左显示部24和左导光板28,其位于用户U的左眼LE侧,以与外景重叠的方式显示第1图像P1;以及右显示部22和右导光板26,其位于用户U的右眼RE侧,以与外景重叠的方式显示与第1图像P1对应的第2图像P2,显示面板331显示第3图像P3,其中,该控制程序使第2处理器310A作为以下部分发挥功能:第1检测部313,其检测第1图像P1以及第2图像P2中的至少一方是否与第3图像P3重叠;调整部315,其根据第1检测部313的检测结果来调整第1图像P1和第2图像P2中的至少一个图像,使得能够看到第3图像P3;以及第2显示控制部316,其根据调整部315的调整结果来使左显示部24和左导光板28显示第1图像P1,使右显示部22和右导光板26显示第2图像P2。
因此,调整第1图像P1和第2图像P2中的至少一个图像,以使能够看到第3图像P3,并根据调整部315的调整结果使左显示部24和左导光板28显示第1图像P1,使右显示部22和右导光板26显示第2图像P2,因此,能够抑制智能手机300的显示面板331所显示的第3图像P3的可视性的下降。
在本实施方式的智能手机300的控制方法中,该智能手机300与HMD 100连接并具有显示面板331和第2处理器310A,该HMD 100被佩戴于用户U的头部,并具有:左显示部24和左导光板28,其位于用户U的左眼LE侧,以与外景重叠的方式显示第1图像P1;以及右显示部22和右导光板26,其位于用户U的右眼RE侧,以与外景重叠的方式显示与第1图像P1对应的第2图像P2,显示面板331显示第3图像P3,其中,该智能手机300的控制方法包含以下步骤:检测步骤,第2处理器310A检测第1图像P1以及第2图像P2中的至少一方是否与第3图像P3重叠;调整步骤,第2处理器310A根据检测步骤的检测结果来调整第1图像P1和第2图像P2中的至少一个图像,使得能够目视到第3图像P3;以及显示控制步骤,第2处理器310A根据调整步骤的调整结果来使左显示部24和左导光板28显示第1图像P1,使右显示部22和右导光板26显示第2图像P2。
因此,以能够看到第3图像P3的方式,调整第1图像P1和第2图像P2中的至少一个图像,根据调整步骤的调整结果使左显示部24和左导光板28显示第1图像P1,使右显示部22和右导光板26显示第2图像P2,因此,能够抑制智能手机300的显示面板331所显示的第3图像P3的可视性的下降。
本发明的另一实施方式的HMD 100具有:图像显示部20,其被佩戴于用户U的头部;以及连接装置10,其与智能手机300以及图像显示部20连接,该智能手机300具有显示第3图像P3的显示面板331,图像显示部20具有:左显示部24和左导光板28,其位于用户U的左眼LE侧,以与外景重叠的方式显示第1图像P1;以及右显示部22和右导光板26,其位于用户U的右眼RE侧,以与外景重叠的方式显示与第1图像P1对应的第2图像P2,连接装置10具有:第1检测部313,其检测第1图像P1以及第2图像P2中的至少一方是否与第3图像P3重叠;调整部315,其根据第1检测部313的检测结果来调整第1图像P1和第2图像P2中的至少一个图像,使得能够目视到第3图像P3;以及第2显示控制部316,其根据调整部315的调整结果来使左显示部24和左导光板28显示第1图像P1,使右显示部22和右导光板26显示第2图像P2。
因此,调整第1图像P1和第2图像P2中的至少一个图像,以使能够看到第3图像P3,并根据调整部315的调整结果来使左显示部24和左导光板28显示第1图像P1,使右显示部22和右导光板26显示第2图像P2,因此,能够抑制智能手机300的显示面板331所显示的第3图像P3的可视性的下降。
[5.其它实施方式]
本发明不限于上述实施方式的结构,能够在不脱离其宗旨的范围内以各种方式来实施。
例如,在上述实施方式中,“信息处理装置”是智能手机300,但不限于此。“信息处理装置”构成为能够供用户U携带并具有显示部、操作部和控制部即可。例如,“信息处理装置”可以是PDA终端,也可以是平板型个人计算机。
例如,在上述实施方式中例示了连接装置10与图像显示部20有线连接的结构,但不限于此,也可以是图像显示部20与连接装置10无线连接的结构。
例如,在上述实施方式中例示了连接装置10与智能手机300有线连接的结构,但不限于此,也可以是智能手机300与连接装置10无线连接的结构。
此外,也可以将连接装置10具备的一部分功能设置于图像显示部20,也可以通过多个装置实现连接装置10。例如,也可以替代连接装置10,使用能够安装于用户U的身体、服装或者用户U随身佩戴的饰品上的可佩戴设备。该情况下的可佩戴设备例如可以是钟表型的装置、戒指型的装置、激光指示器、鼠标、空中鼠标、游戏控制器、笔型的设备等。
此外,在上述实施方式中,以图像显示部20和连接装置10分离并经由连接电缆40而连接的结构为例进行了说明。不限于此,还可以采用将连接装置10和图像显示部20构成为一体地佩戴于用户U的头部的结构。
此外,在上述实施方式中,用户U透过显示部看到外景的结构不限于右导光板26和左导光板28使外部光透过的结构。例如,还能够应用于在无法看到外景的状态下显示图像的显示装置。具体而言,还能够应用于显示第1摄像头61的拍摄图像、根据该拍摄图像而生成的图像或CG、基于所预先存储的图像数据或从外部输入的图像数据的图像等的显示装置。例如,如果采用由图像显示部20显示将由第1摄像头61拍摄的外景的图像与显示图像合成而得的合成图像的结构,则即使图像显示部20不使外部光透过,也能够以用户U可看到外景和图像的方式进行显示。当然还能够应用于这样的所谓视频透视型显示装置。
此外,例如,可以替代图像显示部20,采用例如帽子那样佩戴的图像显示部等其他方式的图像显示部,具有与用户的左眼LE对应地显示图像的显示部和与用户的右眼RE对应地显示图像的显示部即可。此外,显示装置例如也可以构成为搭载于汽车或飞机等车辆的HMD。此外,例如也可以构成为内置于头盔等身体防护器具的HMD。在该情况下,能够将对相对于用户U身体的位置进行定位的部分和相对于该部分进行定位的部分作为佩戴部。
此外,作为将图像光引导至用户U的眼睛的光学系统,例示了在右导光板26和左导光板28的一部分中利用半反射镜261、281形成虚像的结构。不限于此,也可以构成为将图像显示在具有占据右导光板26和左导光板28的整个面或者大部分的面积的显示区域中。在该情况下,在使图像的显示位置发生变化的动作中,也可以包含将图像缩小的处理。
并且,光学元件不限于具有半反射镜261、281的右导光板26、左导光板28,只要是使图像光入射到用户U的眼睛的光学部件即可,具体而言,也可以使用衍射光栅、棱镜、全息显示部。
此外,图4、图5等所示的各功能块中的至少一部分功能块可通过硬件实现,也可以是通过硬件与软件的协作实现的结构,不限于如图所示地配置独立的硬件资源的结构。
此外,第2控制部310执行的第2控制程序可以存储在非易失性存储部或第2控制部310内的其他存储部中。此外,也可以采用经由通信部345等取得并执行存储在外部装置中的第2控制程序的结构。
此外,形成于连接装置10的结构也可以重复地形成于图像显示部20。例如,与连接装置10的第1处理器相同的处理器也可以配置于图像显示部20上,连接装置10具备的第1处理器和图像显示部20的处理器也可以执行单独划分的功能。
此外,图11所示的流程图的处理单位是为了使智能手机300的第2控制部310的处理容易理解而根据主要处理内容进行了分割。实施方式不被图11的流程图所示的处理单位的分割方法、名称限制。此外,第2控制部310的处理也能够与处理内容对应地分割为更多的处理单位,还能够以1个处理单位包含更多的处理的方式进行分割。此外,上述流程图的处理顺序也不限于图示的例子。
此外,也可以由第1控制部120执行第2控制部310的处理的一部分或全部。
此外,智能手机300的控制方法通过使智能手机300具备的第2处理器310A执行与智能手机300的控制方法对应的第2控制程序来实现。此外,该第2控制程序还能够预先记录在以计算机可读的方式进行了记录的记录介质中。作为记录介质,可以使用磁记录介质、光学记录介质或半导体存储器器件。具体而言,可举出软盘、CD-ROM(Compact Disk ReadOnly Memory)、DVD(Digital Versatile Disc)、Blu-ray(注册商标)Disc、光磁盘、闪存、卡型记录介质等可移动型或者固定式的记录介质。此外,记录介质也可以是作为图像显示装置具备的内部存储装置的RAM、ROM、HDD等非易失性存储装置。此外,通过预先使服务器装置等存储与智能手机300的控制方法对应的第2控制程序,从服务器装置将第2控制程序下载到智能手机300,还能够实现智能手机300的控制方法。

Claims (15)

1.一种显示系统,其具有:显示装置,其被佩戴于用户的头部;以及信息处理装置,其与所述显示装置连接,其中,
所述显示装置具有:
第1显示部,其位于所述用户的左眼侧,以与外景重叠的方式显示第1图像;以及
第2显示部,其位于所述用户的右眼侧,以与所述外景重叠的方式显示与所述第1图像对应的第2图像,
所述信息处理装置具有:
第3显示部,其显示第3图像;
第1检测部,其检测所述第1图像以及所述第2图像中的至少一方是否与所述第3图像重叠;
调整部,其根据所述第1检测部的检测结果来调整所述第1图像和所述第2图像中的至少一个图像,使得能够目视到所述第3图像;以及
显示控制部,其根据所述调整部的调整结果来使所述第1显示部显示所述第1图像,使所述第2显示部显示所述第2图像。
2.根据权利要求1所述的显示系统,其中,
所述调整部调整所述第1图像和所述第2图像中的至少一个图像,使得所述第2图像与所述第1图像不同。
3.根据权利要求1或2所述的显示系统,其中,
在所述第1检测部检测出所述第1图像与所述第3图像重叠的情况下,所述调整部调整所述第1图像,
在所述第1检测部检测出所述第2图像与所述第3图像重叠的情况下,所述调整部调整所述第2图像。
4.根据权利要求3所述的显示系统,其中,
在所述第1检测部检测出所述第1图像与所述第3图像重叠的情况下,所述调整部禁止所述第1图像的显示,
在所述第1检测部检测出所述第2图像与所述第3图像重叠的情况下,所述调整部禁止所述第2图像的显示。
5.根据权利要求3所述的显示系统,其中,
在所述第1检测部检测出所述第1图像与所述第3图像重叠的情况下,所述调整部调整所述第1图像的透射率,
在所述第1检测部检测出所述第2图像与所述第3图像重叠的情况下,所述调整部调整所述第2图像的透射率。
6.根据权利要求1所述的显示系统,其中,
所述信息处理装置具有第2检测部,在所述第1检测部检测出所述第1图像与所述第3图像重叠的情况下,该第2检测部检测表示所述第1图像与所述第3图像重叠的区域的第1重叠区域,在所述第1检测部检测出所述第2图像与所述第3图像重叠的情况下,该第2检测部检测表示所述第2图像与所述第3图像重叠的区域的第2重叠区域,
所述调整部根据所述第2检测部的检测结果来调整所述第1图像和所述第2图像中的至少一个图像。
7.根据权利要求6所述的显示系统,其中,
在所述第1检测部检测出所述第1图像与所述第3图像重叠的情况下,所述调整部禁止所述第1图像中的所述第1重叠区域的显示,
在所述第1检测部检测出所述第2图像与所述第3图像重叠的情况下,所述调整部禁止所述第2图像中的所述第2重叠区域的显示。
8.根据权利要求6所述的显示系统,其中,
在所述第1检测部检测出所述第1图像与所述第3图像重叠的情况下,所述调整部调整所述第1图像中的所述第1重叠区域的透射率,
在所述第1检测部检测出所述第2图像与所述第3图像重叠的情况下,所述调整部调整所述第2图像中的所述第2重叠区域的透射率。
9.根据权利要求6~8中的任意一项所述的显示系统,其中,
所述显示装置具有第1拍摄部,该第1拍摄部拍摄所述外景的第1拍摄范围,
所述第1检测部根据所述第1拍摄部的拍摄结果,检测所述第1图像以及所述第2图像中的至少一方是否与所述第3图像重叠,
所述第2检测部根据所述第1拍摄部的拍摄结果来检测所述第1重叠区域和所述第2重叠区域。
10.根据权利要求1所述的显示系统,其中,
所述显示装置具有第1拍摄部,该第1拍摄部拍摄所述外景的第1拍摄范围,
所述信息处理装置具有第1判定部,该第1判定部根据所述第1拍摄部的拍摄结果来判定是用左手把持、还是用右手把持着所述信息处理装置,
在所述第1判定部判定为用左手把持着所述信息处理装置的情况下,所述第1检测部检测出所述第1图像与所述第3图像重叠,
在所述第1判定部判定为用右手把持着所述信息处理装置的情况下,所述第1检测部检测出所述第2图像与所述第3图像重叠。
11.根据权利要求1所述的显示系统,其中,
所述信息处理装置具有第2判定部,该第2判定部判定所述第3显示部是否与所述显示装置相对,
在所述第2判定部判定为所述第3显示部与所述显示装置相对的情况下,所述调整部调整所述第1图像和所述第2图像中的至少一个图像。
12.根据权利要求11所述的显示系统,其中,
所述显示装置具有第1拍摄部,该第1拍摄部拍摄所述外景的第1拍摄范围,
所述信息处理装置具有第2拍摄部,该第2拍摄部拍摄所述外景的第2拍摄范围,
所述第2判定部根据所述第1拍摄部所拍摄的图像和所述第2拍摄部所拍摄的图像来判定所述信息处理装置的所述第3显示部是否与所述显示装置相对。
13.一种记录介质,其记录了信息处理装置的控制程序,该信息处理装置与显示装置连接并具有第3显示部和计算机,该显示装置被佩戴于用户的头部,并具有:第1显示部,其位于所述用户的左眼侧,以与外景重叠的方式显示第1图像;以及第2显示部,其位于所述用户的右眼侧,以与所述外景重叠的方式显示与所述第1图像对应的第2图像,所述第3显示部显示第3图像,其中,
该控制程序使所述计算机作为以下部分发挥功能:
检测部,其检测所述第1图像以及所述第2图像中的至少一方是否与所述第3图像重叠;
调整部,其根据所述检测部的检测结果来调整所述第1图像和所述第2图像中的至少一个图像,使得能够看到所述第3图像;以及
显示控制部,其根据所述调整部的调整结果来使所述第1显示部显示所述第1图像,使所述第2显示部显示所述第2图像。
14.一种信息处理装置的控制方法,该信息处理装置与显示装置连接并具有第3显示部和计算机,该显示装置被佩戴于用户的头部,并具有:第1显示部,其位于所述用户的左眼侧,以与外景重叠的方式显示第1图像;以及第2显示部,其位于所述用户的右眼侧,以与所述外景重叠的方式显示与所述第1图像对应的第2图像,所述第3显示部显示第3图像,其中,该信息处理装置的控制方法包含以下步骤:
检测步骤,所述计算机检测所述第1图像以及所述第2图像中的至少一方是否与所述第3图像重叠;
调整步骤,所述计算机根据所述检测步骤的检测结果来调整所述第1图像和所述第2图像中的至少一个图像,使得能够目视到所述第3图像;以及
显示控制步骤,所述计算机根据所述调整步骤的调整结果来使所述第1显示部显示所述第1图像,使所述第2显示部显示所述第2图像。
15.一种显示装置,其具有:显示单元,其被佩戴于用户的头部;以及控制单元,其与信息处理装置以及所述显示单元连接,该信息处理装置具有显示第3图像的第3显示部,其中,
所述显示单元具有:
第1显示部,其位于所述用户的左眼侧,以与外景重叠的方式显示第1图像;以及
第2显示部,其位于所述用户的右眼侧,以与所述外景重叠的方式显示与所述第1图像对应的第2图像,
所述控制单元具有:
第1检测部,其检测所述第1图像以及所述第2图像中的至少一方是否与所述第3图像重叠;
调整部,其根据所述第1检测部的检测结果来调整所述第1图像和所述第2图像中的至少一个图像,使得能够目视到所述第3图像;以及
显示控制部,其根据所述调整部的调整结果来使所述第1显示部显示所述第1图像,使所述第2显示部显示所述第2图像。
CN202010939654.6A 2019-09-10 2020-09-09 显示系统、记录介质、信息处理装置的控制方法和显示装置 Active CN112558300B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019164581A JP2021043300A (ja) 2019-09-10 2019-09-10 表示システム、情報処理装置の制御プログラム、情報処理装置の制御方法、及び表示装置
JP2019-164581 2019-09-10

Publications (2)

Publication Number Publication Date
CN112558300A CN112558300A (zh) 2021-03-26
CN112558300B true CN112558300B (zh) 2023-03-28

Family

ID=74850909

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010939654.6A Active CN112558300B (zh) 2019-09-10 2020-09-09 显示系统、记录介质、信息处理装置的控制方法和显示装置

Country Status (3)

Country Link
US (1) US11269188B2 (zh)
JP (1) JP2021043300A (zh)
CN (1) CN112558300B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821006B (zh) * 2022-06-23 2022-09-20 盾钰(上海)互联网科技有限公司 交互式间接推理的孪生体态检测方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106168848A (zh) * 2015-05-13 2016-11-30 精工爱普生株式会社 显示装置以及显示装置的控制方法
JP2017135570A (ja) * 2016-01-28 2017-08-03 セイコーエプソン株式会社 撮像システム、及び、撮像システムの制御方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9217867B2 (en) 2011-03-24 2015-12-22 Seiko Epson Corporation Head-mounted display device and control method for the head-mounted display device
JP5834439B2 (ja) * 2011-03-24 2015-12-24 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP5884576B2 (ja) * 2012-03-16 2016-03-15 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
US9335547B2 (en) * 2013-03-25 2016-05-10 Seiko Epson Corporation Head-mounted display device and method of controlling head-mounted display device
KR102243656B1 (ko) * 2014-09-26 2021-04-23 엘지전자 주식회사 모바일 디바이스, hmd 및 시스템
JP6400197B2 (ja) * 2015-05-29 2018-10-03 京セラ株式会社 ウェアラブル装置
JP2017134630A (ja) * 2016-01-28 2017-08-03 セイコーエプソン株式会社 表示装置、表示装置の制御方法、及び、プログラム
JP2018041008A (ja) * 2016-09-09 2018-03-15 日本精機株式会社 表示装置
KR20180058097A (ko) * 2016-11-23 2018-05-31 삼성전자주식회사 이미지를 표시하는 전자 장치 및 그 제어 방법
JP2018142857A (ja) * 2017-02-28 2018-09-13 セイコーエプソン株式会社 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
JP7035510B2 (ja) * 2017-12-22 2022-03-15 セイコーエプソン株式会社 表示システム、及び、表示システムの制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106168848A (zh) * 2015-05-13 2016-11-30 精工爱普生株式会社 显示装置以及显示装置的控制方法
JP2017135570A (ja) * 2016-01-28 2017-08-03 セイコーエプソン株式会社 撮像システム、及び、撮像システムの制御方法

Also Published As

Publication number Publication date
US11269188B2 (en) 2022-03-08
US20210072548A1 (en) 2021-03-11
CN112558300A (zh) 2021-03-26
JP2021043300A (ja) 2021-03-18

Similar Documents

Publication Publication Date Title
CN110275297B (zh) 头部佩戴型显示装置、显示控制方法以及记录介质
CN111600990B (zh) 显示系统、记录介质以及信息处理装置的控制方法
CN108535868B (zh) 头部佩戴型显示装置及其控制方法
JP2018160735A (ja) 透過型表示装置、表示制御方法、およびコンピュータープログラム
JP7243193B2 (ja) 表示システム、表示システムの制御方法、情報処理装置、及び情報処理装置の制御プログラム
US20180214007A1 (en) Endoscope operation support system
US11353704B2 (en) Head mounted device (HMD) coupled to smartphone executing personal authentication of a user
CN112558300B (zh) 显示系统、记录介质、信息处理装置的控制方法和显示装置
CN112526749B (zh) 显示装置、记录介质、显示装置的控制方法和显示系统
CN112581920B (zh) 显示系统、显示控制方法以及记录介质
CN111488072B (zh) 信息处理装置、信息处理装置的控制方法以及记录介质
CN111556310B (zh) 显示系统、记录介质以及信息处理装置的控制方法
JP2017142294A (ja) 表示装置、及び、表示装置の制御方法
US11630793B2 (en) Image display device and port arrangement
JP2021047370A (ja) 表示装置、表示装置の制御方法、表示装置の制御プログラム、及び表示システム
JP2021057747A (ja) 表示システム、画像表示装置、画像表示方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant