CN112581920A - 显示系统、显示控制方法以及记录介质 - Google Patents
显示系统、显示控制方法以及记录介质 Download PDFInfo
- Publication number
- CN112581920A CN112581920A CN202011039309.3A CN202011039309A CN112581920A CN 112581920 A CN112581920 A CN 112581920A CN 202011039309 A CN202011039309 A CN 202011039309A CN 112581920 A CN112581920 A CN 112581920A
- Authority
- CN
- China
- Prior art keywords
- display
- unit
- illuminance
- image
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000001514 detection method Methods 0.000 claims abstract description 200
- 238000012545 processing Methods 0.000 claims description 64
- 238000003384 imaging method Methods 0.000 claims description 23
- 230000033001 locomotion Effects 0.000 claims description 17
- 210000001508 eye Anatomy 0.000 description 46
- 230000003287 optical effect Effects 0.000 description 24
- 238000004891 communication Methods 0.000 description 21
- 210000003128 head Anatomy 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 239000000758 substrate Substances 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 10
- 230000015654 memory Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 6
- 238000009434 installation Methods 0.000 description 6
- 239000004065 semiconductor Substances 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 230000004907 flux Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000002834 transmittance Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 102100035353 Cyclin-dependent kinase 2-associated protein 1 Human genes 0.000 description 2
- 102100029860 Suppressor of tumorigenicity 20 protein Human genes 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 101000737813 Homo sapiens Cyclin-dependent kinase 2-associated protein 1 Proteins 0.000 description 1
- 101000710013 Homo sapiens Reversion-inducing cysteine-rich protein with Kazal motifs Proteins 0.000 description 1
- 101000661816 Homo sapiens Suppression of tumorigenicity 18 protein Proteins 0.000 description 1
- 241001025261 Neoraja caerulea Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910001172 neodymium magnet Inorganic materials 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/10—Intensity circuits
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/04—Maintaining the quality of display appearance
- G09G2320/041—Temperature compensation
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0626—Adjustment of display parameters for control of overall brightness
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0464—Positioning
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
- G09G2360/141—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light conveying information used for selecting or modulating the light emitting or modulating element
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
- G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
- G09G2360/145—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
- G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
- G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
- G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
Abstract
提供显示系统、显示控制方法以及记录介质。即使在照度传感器难以进行检测的状态下也适当地控制显示。显示系统(1)具有HMD(100)和智能手机(300),HMD(100)具有使外部光透过并显示图像的图像显示部(20)、和检测外部光的照度的DP照度传感器(65),智能手机(300)具有根据表示DP照度传感器(65)的检测结果的第1照度信息来调整图像显示部(20)所显示的图像的亮度的SP显示控制部(311)、和检测照度的SP照度传感器(353),SP显示控制部(311)能够根据表示SP照度传感器(353)的检测结果的第2照度信息,调整图像的亮度。
Description
技术领域
本发明涉及显示系统、显示控制方法以及程序。
背景技术
以往,已知如下技术:在头戴式显示器等可佩戴光学装置中,具有使实际空间中的光透过的光学系统,并与实际空间重叠来显示图像(例如,参照专利文献1)。专利文献1所记载的装置通过照度传感器检测从实际空间向观察者入射的光的照度,并根据检测到的照度决定图像显示的亮度,由此提高图像的可视性。
专利文献1:国际公开第2015/125363号
如专利文献1记载的那样,在根据照度传感器的检测结果来控制显示的情况下,如果不能通过照度传感器进行准确的检测,则有时显示的可视性降低。例如,在照度传感器被其他物体遮挡等照度检测被妨碍的状态下,存在无法维持显示的可视性的问题。
发明内容
解决上述课题的一个方式是一种显示系统,其是具有显示装置和控制装置的显示系统,其中,所述显示装置具有:显示图像的显示部,其使外部光透过;以及第1照度检测部,其检测外部光的照度,所述控制装置具有:显示控制部,其根据表示所述第1照度检测部的检测结果的第1照度信息,调整所述显示部所显示的图像的亮度;以及第2照度检测部,其检测照度,所述显示控制部能够根据表示所述第2照度检测部的检测结果的第2照度信息,调整所述图像的亮度。
在上述显示系统中,也可以是以下结构:在所述第2照度检测部朝向与透过所述显示部的所述外部光对应的方向的情况下,所述显示控制部根据所述第2照度信息,调整所述图像的亮度。
在上述显示系统中,也可以是以下结构:所述控制装置具有运动传感器,在由所述运动传感器确定的所述第2照度检测部的方向朝向与透过所述显示部的所述外部光对应的方向的情况下,所述显示控制部根据所述第2照度信息,调整所述图像的亮度。
在上述显示系统中,也可以是以下结构:所述显示装置具有摄像部,所述控制装置具有图像处理部,该图像处理部根据所述摄像部的拍摄图像,生成与入射到所述摄像部的外部光的照度相关的第3照度信息,所述显示控制部能够根据所述第3照度信息,调整所述图像的亮度。
在上述显示系统中,也可以是以下结构:所述摄像部对与透过所述显示部而看到的外景重叠的范围进行拍摄。
在上述显示系统中,也可以是以下结构:所述图像处理部根据构成所述拍摄图像的规定数量的像素的亮度信息,生成所述第2照度信息。
在上述显示系统中,也可以是以下结构:能够相对于所述显示装置装卸调光部件,该调光部件对入射到所述显示部的所述外部光进行调整,在所述显示装置上安装有所述调光部件的情况下,所述显示控制部根据所述第2照度信息,调整所述图像的亮度。
解决上述课题的另一方式是一种显示控制方法,其是显示系统中的显示控制方法,该显示系统具有显示装置和控制装置,该显示装置具有使外部光透过并显示图像的显示部,在所述显示控制方法中,利用所述显示装置的第1照度检测部检测外部光的照度,根据表示所述第1照度检测部的检测结果的第1照度信息,调整所述显示部所显示的图像的亮度,在所述显示装置上安装有对入射到所述显示部的所述外部光进行调整的调光部件的情况下,利用所述控制装置的第2照度检测部检测照度,并根据表示所述第2照度检测部的检测结果的第2照度信息,调整所述图像的亮度。
解决上述课题的又一方式是一种计算机可执行的程序,该计算机与显示装置连接,该显示装置具有使外部光透过并显示图像的显示部,该程序使所述计算机执行以下处理:利用所述显示装置的第1照度检测部检测外部光的照度,根据表示所述第1照度检测部的检测结果的第1照度信息,调整所述显示部所显示的图像的亮度,在所述显示装置上安装有对入射到所述显示部的所述外部光进行调整的调光部件的情况下,利用第2照度检测部检测照度,并根据表示所述第2照度检测部的检测结果的第2照度信息,调整所述图像的亮度。
附图说明
图1是示出显示系统的结构的图。
图2是示出图像显示部的光学系统的结构的图。
图3是示出图像显示部的主要部分结构的立体图。
图4是示出构成HMD的各部分的结构的图。
图5是显示系统的主要部分结构图。
图6是示出智能手机的传感器的检测方向的说明图。
图7是示出第1实施方式的SP控制部的动作的流程图。
图8是照度传感器的检测方向的说明图。
图9是针对拍摄图像的处理的说明图。
图10是示出第2实施方式的SP控制部的动作的流程图。
标号说明
1:显示系统;10:连接装置;11D:连接器;20:图像显示部(显示部);26:右导光板;28:左导光板;46:USB线缆;50:遮光罩(调光部件);50A、50B、50C:区域;52:磁铁;61:DP摄像头(摄像部);64:距离传感器;65:DP照度传感器(第1照度检测部);67:LED指示器;100:HMD(显示装置);110:I/F部;120:DP控制部;121:DP检测控制部;122:传感器控制电路;123:DP显示控制部;125:DP拍摄控制部;126:电源控制电路;130:非易失性存储部,140:操作部;201:影像信号;211:右I/F部;221、241:OLED单元;231:左I/F部;235:DP六轴传感器;237:DP磁传感器;239:温度传感器;261、281:半反射镜;300:智能手机;310:SP控制部;311:SP显示控制部(显示控制部);312:SP拍摄控制部;313:SP图像处理部(图像处理部);320:非易失性存储部;321:内容数据;330:显示器;331:显示面板;332:触摸传感器;341:I/F部;345:通信部;351:SP六轴传感器(运动传感器);352:SP磁传感器(运动传感器);353:SP照度传感器(第2照度检测部);355:SP摄像头;356:SP接近传感器。
具体实施方式
以下,参照附图对实施方式进行说明。
[1.第1实施方式]
[1-1.显示系统的整体结构]
图1是示出显示系统1的概略结构的图。
如图1所示,显示系统1具有HMD(Head Mounted Display:头戴式显示器)100。HMD100是如下装置:具有佩戴于使用者的头部的图像显示部20、和连接装置10,并且通过图像显示部20以被佩戴于使用者头部的状态令使用者看到虚像。HMD 100对应于显示装置的一例,图像显示部20对应于显示部的一例。在以下说明中,使用者是指佩戴并使用HMD 100的用户。
连接装置10在箱形的外壳上具有连接器11A和连接器11D。图像显示部20经由连接线缆40与连接器11A连接。以下,在不区分连接器11A、11D的情况下,有时标记为连接器11。连接装置10的外壳也可以称为壳体或主体。
显示系统1是通过将智能手机300连接到HMD 100而构成的系统。连接器11D是HMD100中的连接智能手机300的接口。即,在本实施方式中,在连接器11D上连接智能手机300。智能手机300对应于控制装置的一例。智能手机300只不过是控制装置的一例。控制装置只要可以由使用者携带并具有显示图像的显示部、触摸传感器那样的位置输入部、检测使用者对控制装置的动作的传感器以及计算机即可。例如,作为控制装置,可以将PDA(PersonalDigital Assistant:个人数字助理)终端、平板型个人计算机等与连接装置10连接。
连接器11是连接通信线缆的有线接口,通过该通信线缆,连接装置10与外部装置连接。连接器11A具有连接有连接线缆40的端子、以及经由连接器11A收发信号的接口电路。连接器11A是为了将图像显示部20与连接装置10连接而设置的。连接线缆40具有如下功能:使得从连接装置10对图像显示部20进行电源供给,并且图像显示部20和连接装置10相互收发数据。
连接器11D是用于在连接装置10和智能手机300之间收发数据的接口,可以采用公知的通信接口。经由连接器11D从智能手机300向连接装置10输入影像数据。另外,连接装置10能够经由连接器11D向智能手机300输出传感器数据。在本实施方式中,示出连接器11D是USB(Universal Serial Bus:通用串行总线)-TypeC标准的连接器、并经由USB线缆46与智能手机300连接的例子。
对应于USB-TypeC的接口能够进行符合USB3.1标准的数据传输以及20伏特、5安培以内的直流电力的供给。作为USB-TypeC的替代模式的功能,可以传输HDMI(HighDefinition Multimedia Interface:高清晰度多媒体接口)标准的影像数据、MHL(MobileHigh-definition Link:移动高清链接)标准的影像数据等。智能手机300能够经由USB线缆46进行电源供给、数据收发以及影像或声音的流数据的供给等。已知USB-TypeC的替代模式是可供替代的模式。HDMI是注册商标。
在显示系统1中,智能手机300再现非易失性存储部中记录的内容数据。智能手机300再现内容数据,在智能手机300具有的显示器330(图5)中显示影像和图像。并且智能手机300可以执行向HMD 100输出内容数据的影像和图像的处理。此时,经由连接器11D向连接装置10输入影像数据,通过图像显示部20显示基于该影像数据的影像和图像。
图像显示部20在本实施方式中具有眼镜形状。图像显示部20在具有右保持部21、左保持部23和前部框架27的主体上具有右显示部22、左显示部24、右导光板26和左导光板28。
右保持部21和左保持部23从前部框架27的两端部向后延伸,将图像显示部20保持在使用者U的头部上。这里,将前部框架27的两端部中的、在图像显示部20的佩戴时位于使用者U的头部右侧的端部设为端部ER,将位于左侧的端部设为端部EL。右保持部21设置成从前部框架27的端部ER延伸至在图像显示部20的佩戴状态下与使用者的右侧头部对应的位置。左保持部23设置成从端部EL延伸至在图像显示部20的佩戴状态下与使用者的左侧头部对应的位置。
右导光板26和左导光板28设置于前部框架27。右导光板26在图像显示部20的佩戴状态下位于使用者的右眼的眼前,使右眼看到图像。左导光板28在图像显示部20的佩戴状态下位于使用者的左眼的眼前,使左眼看到图像。
前部框架27具有将右导光板26的一端和左导光板28的一端相互连结起来的形状,在使用者佩戴图像显示部20的佩戴状态下,该连结位置对应于使用者的眉间。
前部框架27可以在右导光板26与左导光板28的连结位置处,设置在图像显示部20的佩戴状态下抵靠于使用者的鼻子的鼻托部。在该情况下,能够通过鼻托部、以及右保持部21和左保持部23,将图像显示部20保持于使用者的头部。此外,可以对右保持部21以及左保持部23连结在图像显示部20的佩戴状态下与使用者的后头部接触的带。在该情况下,能够通过带将图像显示部20保持于使用者U的头部。
右显示部22和左显示部24分别是将光学单元和外围电路进行单元化而得的模块。
右显示部22是与基于右导光板26的图像显示相关的单元,设置于右保持部21,在佩戴状态下位于使用者的右侧头部附近。左显示部24是与基于左导光板28的图像显示相关的单元,设置于左保持部23,在佩戴状态下位于使用者的左侧头部附近。另外,也可以将右显示部22和左显示部24简单地统称为“显示驱动部”。
右导光板26和左导光板28是由透光性的树脂等形成的光学部,将右显示部22和左显示部24输出的图像光引导至使用者的眼睛。右导光板26和左导光板28例如是棱镜。
由右导光板26引导的图像光和透过右导光板26的外部光入射到使用者的右眼。同样,由左导光板28引导的图像光和透过左导光板28的外部光入射到左眼。
在图像显示部20的前部框架27上配置DP照度传感器65。DP照度传感器65是如下传感器:接收来自佩戴图像显示部20的使用者的前方的外部光,并输出与接收到的光量对应的检测值。例如,能够使用公知的环境光传感器,并且也可以是能够检测色温的色彩传感器。DP照度传感器65被设置为,在使用者U佩戴了图像显示部20的状态下,朝向能够检测透过图像显示部20而入射到使用者U的眼睛的外部光的光量的方向。DP照度传感器65对应于本发明的第1照度检测部的一例。
DP摄像头61配设于图像显示部20的前部框架27。DP摄像头61设置在不遮挡透过右导光板26和左导光板28的外部光的位置处。在图1的例子中,DP摄像头61配置在前部框架27的端部ER侧,但也可以配置在端部EL侧,还可以配置在右导光板26与左导光板28的连结部。
DP摄像头61是具有CCD(Charge Coupled Device:电荷耦合器件)或CMOS(Complementary Metal-Oxide-Semiconductor:互补金属氧化物半导体)等摄像元件以及摄像镜头等的数字摄像头。DP摄像头61朝向图像显示部20的前方设置,对与使用者U透过图像显示部20而看到的外景重叠的摄像范围进行拍摄。即,在DP摄像头61的拍摄范围中,可以包含使用者U看到的外景,也可以令使用者U看到的外景与DP摄像头61的视场角相互重叠。本实施方式的DP摄像头61是单眼摄像头,但也可以是立体摄像头。DP摄像头61可以具有变焦机构,也可以具有广角镜头。DP摄像头61对应于本发明的摄像部的一例。
LED(Light Emitting Diode:发光二极管)指示器67配置在前部框架27上。LED指示器67在端部ER处配置在DP摄像头61的附近,在DP摄像头61的动作中点亮,通知正在拍摄。
在前部框架27上设置有距离传感器64。距离传感器64检测到位于预先设定的测量方向上的测量对象物的距离。距离传感器64可以是光反射式距离传感器,例如具有LED或激光二极管等光源、以及接收光源发出的光被测量对象物反射而得的反射光的受光部。此外,距离传感器64也可以是超声波式的距离传感器,具有发出超声波的声源、以及接收由测量对象物反射的超声波的检测部。此外,距离传感器64也可以使用激光测距仪,在该情况下,能够对包含图像显示部20的前方在内的大范围区域进行测域。
HMD 100具有能够相对于图像显示部20装卸的遮光罩50。遮光罩50是以覆盖右显示部22及左显示部24的方式重叠安装在图像显示部20的正面侧的罩。在遮光罩50的、与右导光板26重叠的区域50A及与左导光板28重叠的区域50B中,对分别入射到右导光板26及左导光板28的外部光进行减光或遮光。即,遮光罩50在包含区域50A、50B的范围内对外部光进行减光或遮光。遮光罩50对应于本发明的调光部件的一例。
图像显示部20与透过右导光板26以及左导光板28的外部光重叠地显示影像和图像。因此,右显示部22和左显示部24形成的显示图像的可视性受到显示图像的亮度与透过右导光板26以及左导光板28的外部光的光量之比的影响。具体地,若图像显示部20的显示图像的亮度比外部光的光量低,则显示图像的可视性低。相反,在图像显示部20的显示图像的亮度与外部光的光量相比为高亮度的情况下,显示图像的可视性高。
遮光罩50通过使入射到图像显示部20的外部光的光量降低,具有提高图像显示部20的显示图像的可视性、提高图像显示部20的显示图像的对比度的效果。将遮光罩50的外部光的透过率及透过波长特性总称为透过特性。遮光罩50的透过特性是任意的。虽然是遮光罩50中的区域50A和区域50B的透过特性影响图像显示部20的显示图像的可视性,但也可以是遮光罩50的整体具有相同的透过特性。
遮光罩50在安装于图像显示部20的状态下覆盖DP照度传感器65。即,遮光罩50具有覆盖右导光板26、左导光板28以及DP照度传感器65的形状,对入射到它们的外部光进行减光或遮光。因此,遮光罩50的安装状态下的DP照度传感器65的检测值成为透过遮光罩50的外部光的照度的检测值。另外,与DP照度传感器65重叠的区域50C的透过特性例如与区域50A、50B相同。DP照度传感器65的检测值对应于第1照度信息的一例。
遮光罩50具有磁铁52。磁铁52可以是钕磁铁等永久磁铁,也可以是电磁铁。当将遮光罩50安装于图像显示部20时,由于磁铁52的磁力的影响,后述的DP磁传感器237的检测值漂移。因此,能够基于DP磁传感器237的检测值,检测遮光罩50的有无。
右显示部22和左显示部24分别与连接装置10连接。在HMD 100中,在左保持部23上连接有连接线缆40,与该连接线缆40相连的布线铺设在图像显示部20内部,右显示部22和左显示部24分别与连接装置10连接。
连接线缆40具有音频连接器36,具有构成立体声耳机的右耳机32和左耳机34、以及麦克风63的耳机30与音频连接器36连接。右耳机32佩戴于使用者的右耳,左耳机34佩戴于使用者的左耳。右耳机32和左耳机34也可以称为声音输出部。
右耳机32和左耳机34根据连接装置10输出的声音信号输出声音。
麦克风63收集声音,并将声音信号输出连接装置10。麦克风63例如可以是单声道麦克风,也可以是立体声麦克风,可以是具有指向性的麦克风,也可以是无指向性的麦克风。
连接装置10具有亮度调整键13、亮度调整键14、音量调整键15以及音量调整键16作为由使用者操作的被操作部。亮度调整键13、亮度调整键14、音量调整键15以及音量调整键16分别由硬件按键构成。这些被操作部配置在连接装置10的主体表面,例如被使用者的手指操作。
亮度调整键13、14是用于调整由图像显示部20显示的影像的显示亮度的硬件按键。亮度调整键13指示增大亮度,亮度调整键14指示降低亮度。音量调整键15、16是用于调整从右耳机32和左耳机34输出的声音的音量的硬件按键。音量调整键15指示增大音量,音量调整键16指示降低音量。
[1-2.HMD的图像显示部的光学系统的结构]
图2是示出图像显示部20所具有的光学系统的结构的主要部分俯视图。在图2中为了说明方便,示出使用者的左眼LE和右眼RE。
如图2所示,右显示部22和左显示部24构成为左右对称。作为令使用者的右眼RE看到图像的结构,右显示部22具有发出图像光的OLED(Organic Light Emitting Diode:有机电致发光二极管)单元221。此外,具有右光学系统251,该右光学系统251具有引导OLED单元221发出的图像光L的透镜组等。图像光L被右光学系统251引导至右导光板26。
OLED单元221具有OLED面板223、和驱动OLED面板223的OLED驱动电路225。OLED面板223是呈矩阵状地配置通过有机电致发光而进行发光并分别发出R(红)、G(绿)、B(蓝)的色光的发光元件而构成的自发光型显示面板。OLED面板223将各包含1个R、G、B的元件的单位作为1个像素而具有多个像素,由配置成矩阵状的像素形成图像。OLED驱动电路225按照DP控制部120的控制,执行OLED面板223所具有的发光元件的选择以及对发光元件的通电,使OLED面板223的发光元件发光。关于DP控制部120,在后面参照图4进行说明。
OLED驱动电路225通过粘接等固定于OLED面板223的背面即发光面的背面侧。OLED驱动电路225例如可以由驱动OLED面板223的半导体器件构成,安装在固定于OLED面板223的背面的基板(省略图示)上。在该基板上安装有图4所示的温度传感器217。
另外,OLED面板223可以是矩阵状地配置发出白色光的发光元件、并重叠地配置与R、G、B的各色对应的滤色器的结构。此外,也可以使用除了分别放射R、G、B的色光的发光元件以外还具有发出W(白色)光的发光元件的WRGB结构的OLED面板223。
右光学系统251具有使从OLED面板223射出的图像光L成为平行状态的光束的准直透镜。通过准直透镜而成为平行状态的光束的图像光L入射到右导光板26。在右导光板26内部的引导光的光路上,形成有反射图像光L的多个反射面。图像光L在右导光板26的内部经过多次反射而被引导至右眼RE侧。在右导光板26上形成有位于右眼RE的眼前的半反射镜261(反射面)。图像光L在半反射镜261上反射,从右导光板26朝向右眼RE射出,该图像光L在右眼RE的视网膜上成像,令使用者看到图像。
此外,左显示部24具有发出图像光的OLED单元241、以及左光学系统252作为令使用者的左眼LE看到图像的结构,左光学系统252具有引导OLED单元241发出的图像光L的透镜组等。图像光L被左光学系统252引导至左导光板28。
OLED单元241具有OLED面板243、和驱动OLED面板243的OLED驱动电路245。OLED面板243是与OLED面板223同样构成的自发光型的显示面板。OLED驱动电路245根据DP控制部120的指示,执行OLED面板243所具有的发光元件的选择以及对发光元件的通电,使OLED面板243的发光元件发光。
OLED驱动电路245通过粘接等固定于OLED面板243的背面即发光面的背面侧。OLED驱动电路245例如可以由驱动OLED面板243的半导体器件构成,安装在固定于OLED面板243的背面的基板(省略图示)上。在该基板上安装有图4所示的温度传感器239。
左光学系统252具有使从OLED面板243射出的图像光L成为平行状态的光束的准直透镜。通过准直透镜而成为平行状态的光束的图像光L入射到左导光板28。左导光板28是形成有反射图像光L的多个反射面的光学元件,例如是棱镜。图像光L在左导光板26的内部经过多次反射而被引导至左眼LE侧。在左导光板28上形成有位于左眼LE的眼前的半反射镜281。图像光L在半反射镜281上反射,从左导光板28朝向左眼LE射出,该图像光L在左眼LE的视网膜上成像,令使用者看到图像。
根据该结构,HMD 100作为透过型的显示装置发挥作用。即,半反射镜261反射的图像光L和透过了右导光板26的外部光OL入射到使用者的右眼RE。此外,半反射镜281反射的图像光L和透过了半反射镜281的外部光OL入射到左眼LE。这样,HMD 100使在内部处理后的图像的图像光L与外部光OL重叠地入射到使用者的眼睛,对使用者而言,可透过右导光板26和左导光板28看到外景,并与该外景重叠地看到由图像光L形成的图像。
半反射镜261、281是反射右显示部22和左显示部24分别输出的图像光而取出图像的图像取出部,能够称作显示部。
另外,也将左光学系统252和左导光板28统称作“左导光部”,将右光学系统251和右导光板26统称作“右导光部”。右导光部和左导光部的结构不限于上述的例子,只要使用图像光在使用者的眼前形成虚像,则能够使用任意的方式,例如可以使用衍射光栅,也可以使用半透过反射膜。
图3是示出图像显示部20的主要部分结构的图。图3是从使用者的头部侧观察到的图像显示部20的主要部分立体图。另外,在图3中省略连接线缆40的图示。
图3是图像显示部20与使用者的头部接触的一侧、换言之使用者的右眼RE和左眼LE能看到的一侧。换言之,在图3中,可以看到右导光板26以及左导光板28的背面侧。
在图3中,向使用者的右眼RE照射图像光的半反射镜261以及向左眼LE照射图像光的半反射镜281看起来为大致四边形的区域。另外,包含半反射镜261的右导光板26的整体、以及包含半反射镜281的左导光板28的整体如上述那样使外部光透过。因此,使用者可透过右导光板26和左导光板28的整体而看到外景,并在半反射镜261、281的位置处看到矩形的显示图像。
另外,在图像显示部20的使用者侧配置有内侧摄像头68。内侧摄像头68以与使用者的右眼RE和左眼LE分别对应的方式在右导光板26与左导光板28的中央位置处设置有一对。内侧摄像头68是分别拍摄使用者的右眼RE和左眼LE的一对摄像头。内侧摄像头68按照DP控制部120的指示进行拍摄。DP控制部120对内侧摄像头68的拍摄图像数据进行分析。例如,DP控制部120根据内侧摄像头68的拍摄图像数据,检测右眼RE和左眼LE的眼球表面的反射光和瞳孔的图像,确定使用者的视线方向。此外,DP控制部120能够求出使用者的视线方向的变化,可以检测右眼RE和左眼LE各自的眼球运动。
这里,使用者的视线的移动还能够视作使用者的假想视点的移动。
此外,在根据内侧摄像头68的拍摄图像而检测出右眼RE和左眼LE的视线方向的情况下,DP控制部120能够求出右眼RE和左眼LE的收敛角。收敛角对应于到使用者注视的对象物的距离。即,在使用者立体地目视图像或物体的情况下,右眼RE和左眼LE的收敛角与到目视对象的距离对应地确定。因此,通过检测收敛角,能够求出使用者注视的距离。此外,通过以引导使用者的收敛角的方式显示图像,能够引导立体观察。
[1-3.HMD的各部分的配置]
图4是示出构成HMD 100的各部分的结构的图。
图像显示部20的右显示部22具有右显示部基板210。在右显示部基板210上安装有:与连接线缆40连接的右I/F部211、接收经由右I/F部211而从连接装置10输入的数据的接收部213、以及EEPROM(Electrically Erasable Programmable Read Only Memory:电可擦可编程只读存储器)215。右I/F部211将接收部213、EEPROM215、温度传感器217、DP摄像头61、距离传感器64、DP照度传感器65、LED指示器67以及内侧摄像头68与连接装置10连接。接收器213将OLED单元221连接到连接装置10。
左显示部24具有左显示部基板230。在左显示部基板230上安装有与连接线缆40连接的左I/F部231、以及接收经由左I/F部231而从连接装置10输入的数据的接收部233。另外,在左显示部基板230上安装有DP六轴传感器235和DP磁传感器237。
左I/F部231将接收部233、DP六轴传感器235、DP磁传感器237以及温度传感器239与连接装置10连接。接收部233将OLED单元241连接到连接装置10。
I/F是接口的缩写。另外,在本实施方式中,有时将接收部213和接收部233分别记载为Rx 213、Rx 233。
EEPROM 215非易失性地存储各种数据。EEPROM 215例如存储与图像显示部20具有的OLED单元221、241的发光特性和显示特性相关的数据、与右显示部22或左显示部24具有的传感器的特性相关的数据等。
具体而言,存储OLED单元221、241的伽马校正涉及的参数以及对温度传感器217、239的检测值进行补偿的数据等。这些数据通过HMD 100的工厂出货时的检查而生成,并被写入EEPROM 215中。EEPROM 215所存储的数据可以由DP控制部120读取。
DP摄像头61按照经由右I/F部211输入的信号执行拍摄,并将拍摄图像数据输出到右I/F部211。
DP照度传感器65接收外部光,输出与受光量或受光强度对应的检测值。LED指示器67按照经由右I/F部211输入的控制信号或驱动电流而点亮。
内侧摄像头68按照经由右I/F部211输入的信号执行拍摄,并将拍摄图像数据输出到右I/F部211。
温度传感器217检测OLED单元221的温度,并输出与检测温度对应的电压值或者电阻值,作为检测值。
距离传感器64执行距离检测,经由右I/F部211将表示检测结果的信号输出到连接装置10。距离传感器64例如可以使用红外线式深度传感器、超声波式距离传感器、飞行时间(Time Of Flight)式距离传感器、组合了图像检测和声音检测的距离检测单元等。另外,距离传感器64也可以是对由立体摄像头或单眼摄像头的立体拍摄得到的图像进行处理来检测距离的结构。
接收部分213接收经由右I/F部211从连接装置10传输的显示用影像数据,并将其输出到OLED单元221。OLED单元221显示基于连接装置10传输的影像数据的影像。
另外,接收部233接收经由左I/F部231从连接装置10传输的显示用影像数据,并将其输出到OLED单元241。OLED单元241显示基于连接装置10传输的影像数据的影像。
DP六轴传感器235是具有三轴加速度传感器和三轴陀螺传感器的六轴运动传感器。DP六轴传感器235也可以采用将上述的传感器模块化后的IMU(Inertial MeasurementUnit:惯性测量单元)。DP磁传感器237例如是三轴的地磁传感器。陀螺传感器也被称为角速度传感器。在以下的说明中,有时将DP六轴传感器235的三轴加速度传感器记作第2加速度传感器。DP磁传感器237的检测值受周边的磁场变化影响。例如,在如上述那样将遮光罩50安装于图像显示部20的状态下,由于磁铁52的影响,DP磁传感器237的检测值发生变动。
温度传感器239检测OLED单元241的温度,并输出与检测温度对应的电压值或者电阻值,作为检测值。
图像显示部20的各部分利用通过连接线缆40从连接装置10提供的电力进行动作。
图像显示部20在右显示部22具有电源部229,在左显示部24具有电源部249。电源部229将连接装置10经由连接线缆40提供的电力分配并提供给包含右显示部基板210在内的右显示部22的各部分。同样地,电源部249将连接装置10经由连接线缆40提供的电力分配并提供给包含左显示部基板230在内的左显示部24的各部分。右显示部22和左显示部24也可以具有转换电压的转换电路等。
连接装置10具有I/F部110、DP控制部120、传感器控制电路122、显示控制电路124、电源控制电路126、非易失性存储部130、操作部140、连接部145以及声音处理部147。
I/F部110具有连接器11D。另外,I/F部110具有接口电路,该接口电路与连接器11D连接,执行基于各种通信标准的通信协议。
I/F部110例如可以是安装了连接器11D以及接口电路的接口基板。另外,连接装置10的DP控制部120、传感器控制电路122、显示控制电路124、电源控制电路126也可以安装于未图示的连接装置主基板。在该情况下,可以在连接装置主基板上安装I/F部110的连接器11D和接口电路。
另外,I/F部110例如可以具有能够连接外部的存储装置或存储介质的存储卡用接口等,也可以由无线通信接口构成I/F部110。
DP控制部120控制HMD 100的各部分。DP控制部120具有如CPU(CentralProcessing Unit:中央处理单元)那样的处理器。在DP控制部120中,处理器执行控制程序,由此通过软件和硬件的协作来控制HMD 100的各部分。DP控制部120与非易失性存储部130、操作部140、连接部145以及声音处理部147连接。
传感器控制电路122控制DP摄像头61、距离传感器64、DP照度传感器65、温度传感器217、DP六轴传感器235、DP磁传感器237以及温度传感器239。具体而言,传感器控制电路122按照DP控制部120的控制进行各传感器的采样周期的设定以及初始化,并按照各传感器的采样周期,执行向各传感器的通电、控制数据的发送、检测值的取得等。
传感器控制电路122与I/F部110的连接器11D连接,在预先设定的时刻,向连接器11D输出与从各传感器取得的检测值相关的数据。与连接器11D连接的智能电话300能够取得HMD 100的各传感器的检测值。例如,智能手机300能够取得DP照度传感器65的检测值、DP磁传感器237的检测值、DP摄像头61的拍摄图像数据等。
显示控制电路124执行各种处理,以用于通过图像显示部20显示基于输入到I/F部110的图像数据或影像数据的图像。在本实施方式中,向连接器11D输入智能手机300输出的影像信号。影像信号是数字影像数据,但也可以是模拟影像信号。
显示控制电路124例如执行帧的切出、分辨率转换、中间帧生成、帧频转换等各种处理。分辨率转换包含所谓的缩放。显示控制电路124将与OLED单元221和241分别对应的图像数据输出到连接部145。从连接器11A将输入到连接部145的图像数据作为影像信号201传输到右I/F部211以及左I/F部231。影像信号201是与OLED单元221和OLED单元241分别对应的处理后的数字影像数据。
在本实施方式中,连接器11D由USB-TypeC连接器构成。显示控制电路124经由连接器11D接收以USB-TypeC的替代模式传输的影像数据。
另外,显示控制电路124控制图像显示部20中的显示亮度。具体地,显示控制电路124按照显示亮度的调整值,对OLED单元221、241的发光亮度以及输出到OLED单元221、241的图像的灰度值进行调整。由此,显示控制电路124对显示在右显示部22和左显示部24上的图像的亮度进行调整。显示亮度的调整值例如从智能手机300输入。
传感器控制电路122和/或显示控制电路124可以使用集成电路通过硬件来实现,也可以通过处理器执行程序而通过软件和硬件的协作来实现。即,传感器控制电路122和显示控制电路124由处理器构成,通过执行程序来执行上述动作。在该例子中,传感器控制电路122和显示控制电路124也可以通过由构成DP控制部120的处理器执行程序来实现。换言之,也可以是,通过处理器执行程序来作为DP控制部120、显示控制电路124和传感器控制电路122发挥作用。在此,处理器可以换称作计算机。
另外,显示控制电路124和传感器控制电路122也可以由DSP(Digital SignalProcessor:数字信号处理器)或FPGA(Field Programmable Gate Array:现场可编程门阵列)等被编程的硬件构成。另外,也可以将传感器控制电路122和显示控制电路124一并作为SoC(System-on-a-Chip:片上系统)-FPGA来构成。
电源控制电路126与连接器11D连接。电源控制电路126基于从连接器11D供给的电力,对连接装置10的各部分和图像显示部20进行电源供给。并且,电源控制电路126也可以构成为具有未图示的电压转换电路,对电压进行转换并提供给连接装置10和图像显示部20的各部分。电源控制电路126也可以由逻辑电路或FPGA等被编程的半导体器件构成。此外,电源控制电路126可以由与传感器控制电路122和/或显示控制电路124共用的硬件构成。
传感器控制电路122、显示控制电路124以及电源控制电路126可以具有用于进行数据处理的工作存储器,也可以利用DP控制部120的存储器来进行处理。
操作部140检测针对连接装置10所具有的被操作部的操作,并将表示操作内容的数据、或者表示被操作的被操作部的操作信号输出到DP控制部120。
声音处理部147根据从DP控制部120输入的声音数据,生成声音信号,并输出到连接部145。从连接部145经由音频连接器36将该声音信号输出到右耳机32和左耳机34。另外,声音处理部147按照DP控制部120的控制来调整声音信号的音量。另外,声音处理部147生成麦克风63收集到的声音的声音数据,并输出到DP控制部120。也可以通过DP控制部120,与针对图像显示部20所具有的传感器的检测值的处理同样地,对该声音数据进行处理。
此外,连接装置10也可以构成为具有未图示的电池,并从该电池对连接装置10以及图像显示部20的各部分提供电力。连接装置10所具有的电池也可以是可充电的二次电池。
[1-4.智能手机的结构]
图5是显示系统1的主要部分结构图,特别图示了智能手机300的详细结构和HMD100的主要部分。
如图5所示,智能手机300具有SP控制部310、非易失性存储部320、显示部330、I/F部341、通信部345、SP六轴传感器351、SP磁传感器352以及SP照度传感器353。
SP控制部310具有CPU、微型计算机等处理器,通过由该处理器执行控制程序来控制智能手机300的各部分。SP控制部310也可以具有非易失性地存储处理器执行的控制程序的ROM(Read Only Memory:只读存储器)、以及构成处理器的工作区的RAM(Random AccessMemory:随机存取存储器)那样的存储器。处理器对应于计算机的一例。存储在SP控制部310的存储器中的控制程序对应于控制程序的一例。
非易失性存储部320非易失性地存储由SP控制部310执行的控制程序、以及由SP控制部310处理的数据。非易失性存储部130例如是HDD(Hard Disk Drive:硬盘驱动器)等磁记录装置、或者使用闪存等半导体存储元件的存储装置。
非易失性存储部320例如存储包含影像的内容的内容数据321。内容数据321是可由SP控制部310处理的格式的文件,包含影像数据,也可以包含声音数据。
另外,非易失性存储部320存储作为SP控制部310执行的基本控制程序的操作系统(OS:Operating System)、以及以OS为平台进行动作的应用程序等。此外,非易失性存储部件320存储在执行应用程序时处理的数据和处理结果的数据。
显示部330所具有的显示面板331以及触摸传感器332与SP控制部310连接。显示面板331基于SP控制部310的控制,显示各种图像。显示面板331例如由LCD(Liquid CrystalDisplay:液晶显示器)构成。显示面板331构成为矩形形状。在本实施方式中,显示面板331为长方形。
触摸传感器332检测触摸操作,并将表示检测出的操作的数据输出到SP控制部310。触摸传感器332与显示面板331一体形成。具体而言,触摸传感器332形成在显示面板331的图像显示面上。在本实施方式中,触摸传感器332为长方形。触摸传感器332输出的数据是表示触摸传感器332中的操作位置的坐标数据等。
I/F部341是与外部装置连接的接口。I/F部341例如执行基于HDMI接口、USB接口等标准的通信。I/F部341具有连接USB线缆46的连接器、以及对连接器所传输的信号进行处理的接口电路。I/F部341是具有连接器以及接口电路的接口基板,与安装有SP控制部310的处理器等的主基板连接。或者,构成I/F部341的连接器以及接口电路被安装在智能手机300的主基板上。
在本实施方式中,I/F部341具有USB接口,通过USB线缆46与连接器11D连接。SP控制部310例如通过USB线缆46输出影像数据,从连接装置10接收与传感器的输出值相关的数据等。
另外,I/F部341也可以是无线通信接口。在这种情况下,I/F部341可以是安装了包含RF(Radio Frequency:射频)部的通信电路的接口基板、或者安装在主基板上的电路。
通信部345是与外部装置执行数据通信的通信接口。通信部345可以是能够连接线缆的有线通信接口,也可以是无线通信接口。例如,也可以是与Ethernet(注册商标)对应的有线LAN接口、或与IEEE802.11标准对应的无线LAN接口。
此外,通信部345例如是通过无线电话线路与其他智能电话连接的通信接口。
SP六轴传感器351是具有三轴加速度传感器和三轴陀螺传感器的六轴运动传感器。SP六轴传感器351也可以采用将上述传感器模块化后的IMU。SP磁传感器352例如是三轴的地磁传感器。陀螺传感器也被称为角速度传感器。在以下的说明中,有时将SP六轴传感器351的三轴加速度传感器记作第1加速度传感器。SP六轴传感器351以及SP磁传感器352对应于本发明的运动传感器的一例。
SP照度传感器353接收外部光,输出与受光量或受光强度对应的检测值。SP照度传感器353例如接收来自显示面板331的法线方向的外部光。SP照度传感器353对应于本发明的第2照度检测部的一例。
SP摄像头355是具有CCD或CMOS等摄像元件和摄像镜头等的数字摄像头。SP摄像头355可以是单眼摄像头,也可以是立体摄像头。SP摄像头355按照SP控制部310的控制执行拍摄,并将拍摄图像数据输出到SP控制部310。
SP接近传感器356设置在智能手机300的主体表面的规定部位,检测比规定距离近的物体或接触的物体。SP接近传感器356例如可以采用检测因涡电流引起的磁损耗的感应式接近传感器、或者对在检测对象物体与传感器之间产生的静电电容变化进行检测的静电电容型接近传感器。
SP控制部310具有SP显示控制部311、SP拍摄控制部312和SP图像处理部313。具体而言,通过SP控制部310所具有的处理器执行控制程序,SP控制部310作为SP显示控制部311、SP拍摄控制部312以及SP图像处理部313发挥功能。SP显示控制部311对应于本发明的显示控制部的一例。SP图像处理部313对应于本发明的图像处理部的一例。
SP显示控制部311再现内容数据321,并且在显示部330的显示面板331上显示与内容数据321中包含的影像数据对应的图像。此外,SP显示控制部311经由I/F部341和连接器11D将基于可包含在内容数据321中的影像数据的图像数据传输到HMD 100的DP控制部120。由此,显示系统1在智能手机300的显示器330和图像显示部20这两方上进行显示内容数据321的影像或图像的镜像显示。此外,SP控制部310还能够仅在图像显示部20上显示基于内容数据321的影像或图像,而不在显示器330上显示内容数据321的影像或图像。
另外,SP显示控制部311通过I/F部341,将对DP控制部120请求图像显示部20所具有的DP照度传感器65的检测值的照度请求命令发送到连接装置10。在DP控制部120响应于照度请求命令而发送了DP照度传感器65的检测值的情况下,SP显示控制部311取得所发送的检测值。SP显示控制部311根据DP照度传感器65的检测值,生成图像显示部20的显示亮度的调整值。SP显示控制部311通过I/F部341将显示亮度的调整值输出到连接装置10。
另外,SP显示控制部311通过I/F部341,将对DP控制部120请求图像显示部20所具有的DP磁传感器237的检测值的磁检测值请求命令发送到连接装置10。在DP控制部120响应于磁检测值请求命令而发送了DP磁传感器237的检测值的情况下,SP显示控制部311取得所发送的检测值。
SP显示控制部311根据DP磁传感器237的检测值,判定遮光罩50的有无。SP显示控制部311在判定为安装有遮光罩50的情况下,参照图7进行后述的动作,进行基于SP照度传感器353的检测值和/或SP拍摄控制部312取得的拍摄图像数据的处理。在该处理中,SP显示控制部311根据SP六轴传感器351以及SP磁传感器352的检测值,进行智能手机300的姿势判定处理、基于SP接近传感器356的检测值的接近判定处理。
图6是示出智能手机300的传感器的检测方向的说明图。
智能手机300在主体的表面具有显示面板331,在与显示面板331相同的面具有SP照度传感器353、SP摄像头355以及SP接近传感器356。SP六轴传感器351将与显示面板331垂直的Z轴、与显示面板331的长度方向平行且与Z轴垂直的Y轴,以及与Y轴和Z轴垂直的X轴作为基准的轴向来检测智能手机300的运动。另外,SP磁传感器352检测智能手机300的X轴、Y轴、Z轴与地磁方向的相对关系。
在图6的例子中,SP照度传感器353朝向Z轴方向配置。因此,SP照度传感器353检测来自显示面板331朝向的方向的环境光的照度。SP摄像头355拍摄包含显示面板331朝向的方向的视场角。此外,SP接近传感器356检测显示面板331朝向的方向上的、检测对象物体的接近。
返回图5,SP拍摄控制部312控制SP摄像头355来执行拍摄,取得SP摄像头355的拍摄图像数据。
另外,SP拍摄控制部312生成对DP控制部120指示DP摄像头61的拍摄的拍摄指示命令,并通过I/F部341输出到连接装置10。在DP控制部120按照拍摄指示命令执行DP摄像头61的拍摄,并发送了拍摄图像数据的情况下,SP拍摄控制部312取得所发送的拍摄图像数据。
SP图像处理部313对SP拍摄控制部312取得的拍摄图像数据执行处理。例如,SP图像处理部313提取构成拍摄图像数据的一部分像素,根据提取出的像素的像素值求出亮度,从而计算拍摄图像数据整体的亮度值。
[1-5.HMD的DP控制部的结构]
如图5所示,HMD 100的DP控制部120具有DP检测控制部121、DP显示控制部123和DP拍摄控制部125。具体地说,通过DP控制部120所具有的处理器执行控制程序,DP控制部120作为DP检测控制部121、DP显示控制部123以及DP拍摄控制部125发挥功能。
DP控制部120通过I/F部110接收并取得智能手机300发送的命令和数据。
DP检测控制部121在取得了智能手机300发送的照度请求命令的情况下,根据照度请求命令取得DP照度传感器65的检测值,并将取得的检测值通过I/F部110发送到智能手机300。
DP检测控制部121在取得了智能手机300发送的磁检测值请求命令的情况下,根据磁检测值请求命令取得DP磁传感器237的检测值,并将取得的检测值通过I/F部110发送到智能手机300。
这里,DP检测控制部121按照对DP照度传感器65以及DP磁传感器237预先设定的采样周期来进行检测值的取得。DP检测控制部121在取得检测值的时刻、或者智能手机300发送的命令所指定的时刻,将检测值发送到智能手机300。
DP显示控制部123根据智能手机300发送的影像数据或图像数据,控制图像显示部20而通过右显示部22和左显示部24显示影像或图像。
DP显示控制部123进行右显示部22和左显示部24的亮度调整。DP显示控制部123按照智能手机300发送的显示亮度的调整值,对右显示部22和左显示部24的显示亮度进行调整。
DP拍摄控制部125在取得了智能手机300发送的拍摄指示命令的情况下,根据拍摄指示命令执行DP摄像头61的拍摄,取得拍摄图像数据并发送到智能手机300。
[1-6.SP控制部的动作]
图7是示出第1实施方式的SP控制部310的动作的流程图。
在图7所示的动作中,步骤ST26相当于SP拍摄控制部312的动作,步骤ST27、ST28相当于SP图像处理部313的动作,其他各步骤的动作相当于SP显示控制部311的动作。
SP控制部310将影像数据输出到HMD 100,并使图像显示部20开始显示该影像数据(步骤ST11)。
SP控制部310基于DP磁传感器237的检测值或检测值的变化,判定是否安装有遮光罩50(步骤ST12)。在步骤ST12中,例如在DP磁传感器237的检测值漂移的情况下,判定为安装了遮光罩50。另外,也可以在由使用者U通过操作部140的操作输入了安装有遮光罩50这一情况时,在步骤ST12中判定为安装了遮光罩50。
在判定为没有安装遮光罩50的情况下(步骤ST12;否),SP控制部310取得DP照度传感器65的检测值(步骤ST13)。SP控制部310将DP照度传感器65的检测值存储在非易失性存储部320或者SP控制部310的存储器中(步骤ST14)。在已经存储有DP照度传感器65的检测值的情况下,在步骤ST14中,更新所存储的检测值。
SP控制部310根据DP照度传感器65的检测值,生成调整图像显示部20的显示亮度的调整值,并从I/F部341输出(步骤ST16)。HMD 100按照在步骤ST16中由智能手机300输出的调整值来调整右显示部22和左显示部24的显示亮度。
SP控制部310确定是否结束HMD 100的显示(步骤ST17),在结束显示的情况下(步骤ST17;是),结束与HMD 100相关的各种控制。在不结束显示的情况下(步骤ST17;否),返回步骤ST12。
另一方面,在判定为安装有遮光罩50的情况下(步骤ST12;是),SP控制部310取得SP接近传感器356的检测值(步骤ST18),判定智能手机300有无接近物(步骤ST19)。
如图6所示,SP接近传感器356与SP照度传感器353并列配置,与SP照度传感器353朝向相同方向。即,SP接近传感器356检测SP照度传感器353检测的外部光的入射方向上的接近物,换言之、检测遮挡SP照度传感器353检测的外部光的接近物。因此,当存在SP接近传感器356检测出的接近物时,可以说SP照度传感器353不处于适合于检测外部光、即环境光的光量的状态。
当存在SP接近传感器356检测出的接近物时(步骤ST19;是),SP控制部310的动作转移到后述的步骤ST26。
当不存在SP接近传感器356检测的接近物时(步骤ST19;否)、即没有检测到接近物时,SP控制部310取得SP照度传感器353的检测值(步骤ST20)。SP控制部310对在步骤ST14中存储的DP照度传感器65的检测值、与在步骤ST20中取得的SP接近传感器356的检测值进行比较,并判定其差是否为阈值以下(步骤ST21)。这里,阈值被预先设定,例如存储在非易失性存储部320中。
可以说DP照度传感器65的检测特性与在通常的智能手机300中试用的SP照度传感器353的检测特性大致接近。另外,DP照度传感器65和SP照度传感器353如果输出可比较形式的检测值,则检测特性也可以不同。
在检测值之差在阈值以下的情况下(步骤ST21;是),不需要显示亮度的调整,因此SP控制部310返回步骤ST12。
在检测值之差超过阈值的情况下(步骤ST21;否),SP控制部310确定SP照度传感器353的朝向(步骤ST22)。在步骤ST22中,SP控制部310基于SP六轴传感器351和/或SP磁传感器352的检测值,确定智能手机300的Z轴方向,并确定SP照度传感器353检测的外部光的方向。SP控制部310判定SP照度传感器353的检测方向是否与HMD 100匹配(步骤ST23)。
图8是照度传感器的检测方向的说明图,示意性地示出了DP照度传感器65和SP照度传感器353的朝向。
在图8中,以检测方向AX1表示DP照度传感器65检测的外部光即环境光的方向。DP照度传感器65接收的光从以检测方向AX1为中心的角度θ1的范围入射到DP照度传感器65。
并且,在图8中,以检测方向AX2表示SP照度传感器353检测的外部光即环境光的方向。SP照度传感器353接收的光从以检测方向AX2为中心的角度θ2的范围入射到SP照度传感器353。
SP控制部310根据DP六轴传感器235和/或DP磁传感器237的检测值,确定检测方向AX1。另外,根据SP六轴传感器351和/或者SP磁传感器352的检测值,确定检测方向AX2。
如图1所示,DP照度传感器65设置在图像显示部20的前表面,DP照度传感器65接收并检测从以检测方向AX1为中心的角度θ1的范围入射的外部光。角度θ1例如为50°(弧度)以上100°以下。另外,SP照度传感器353位于智能手机300中的配置显示面板331的面上,接收并检测从以检测方向AX2为中心的角度θ2的范围入射的外部光。角度θ2与角度θ1同样,例如为50°以上100°以下。角度θ1、θ2由DP照度传感器65和SP照度传感器353的规格决定,不受上述范围的任何限制,角度θ1和角度θ2也可以是不同的值。例如,也可以使用角度θ1和/或角度θ2为30°以下的DP照度传感器65和SP照度传感器353。
SP控制部310例如根据DP磁传感器237的检测值,求出以地磁为基准的图像显示部20的角度,从而确定从图像显示部20的前表面大致垂直地延伸的检测方向AX1。这里,通过安装遮光罩50而使得磁铁52的磁性对DP磁传感器237产生影响,因此SP控制部310也可以进行对由磁铁52的影响引起的DP磁传感器237的检测值漂移进行修正或者校正的处理。同样地,SP控制部310基于SP磁传感器352的检测值,确定以地磁为基准的Z轴,并确定检测方向AX2。
在检测方向AX1与检测方向AX2所成的角度在预先设定的范围内的情况下,可以说相当于SP照度传感器353朝向与透过图像显示部20的外部光对应的方向的情况。即,SP照度传感器353朝向与透过图像显示部20的外部光对应的方向的情况是指:DP照度传感器65的检测方向与SP照度传感器353的检测方向之差在所设定的范围内。这里,所设定的范围例如可以设为30°以内。另外,例如也可以根据角度θ1、θ2的大小来设定范围,具体而言,也可以将角度θ1和角度θ2中的较小一侧的角度的一半作为所设定的范围。
此外,SP控制部310也可以基于DP照度传感器65的检测值和/或SP照度传感器353的检测值的历史,确定检测方向AX1与检测方向AX2所成的角度的范围。即,根据DP磁传感器237的检测值的历史和DP照度传感器65的检测值的历史,求出检测方向AX1变化期间的DP照度传感器65的检测值变化,判定图像显示部20的设置环境中的明亮度是否比较均匀。在图像显示部20的设置环境中的明亮度比较不均匀的情况下,DP照度传感器65接收的外部光可以说是来自特定方向的光源的光。此外,在图像显示部20的设置环境中的亮度比较均匀的情况下,DP照度传感器65检测的光是图像显示部20的设置环境中的环境光。在DP照度传感器65检测到环境光的情况下,针对检测方向AX1与检测方向AX2之差所设定的范围能够设定得更大。另外,在DP照度传感器65检测到来自特定方向的光源的光的情况下,优选将针对检测方向AX1与检测方向AX2之差设定的范围设定得更小。这样,SP控制部310判定DP照度传感器65接收的光是来自特定方向的光源的光还是显示部20的设置环境中的环境光,基于判定结果,切换基准值即设定范围,并使用该基准值,判定SP照度传感器353是否朝向与透过图像显示部20的外部光对应的方向即可。
在步骤ST23中,SP控制部310例如通过上述方法判定SP照度传感器353的朝向是否是与DP照度传感器65的检测方向AX1对应的方向。即,在检测方向AX1与检测方向AX2之差在设定范围内的情况下,判定为检测方向匹配,在检测方向AX1与检测方向AX2之差超过设定范围的情况下,判定为检测方向不匹配。
SP控制部310也可以在步骤ST22~ST23中,进行DP六轴传感器235和SP六轴传感器351的检测值的比较、或者DP磁传感器237和SP磁传感器352的检测值的比较。具体而言,也可以不计算检测方向AX1和检测方向AX2,而直接求出检测方向AX1与检测方向AX2的相对角度。此时,不需要求出以方位或重力方向为基准的检测方向AX1、AX2的处理。
在判定为检测方向匹配的情况下(步骤ST23;是),SP控制部310基于SP照度传感器353的检测值计算显示亮度的调整值(步骤ST24),并转移到步骤ST16。在步骤ST24中,SP控制部310可以使用在步骤ST20中取得的检测值,也可以重新取得SP照度传感器353的检测值。SP照度传感器353的检测值对应于本发明的第2照度信息的一例。
在判定为检测方向不匹配的情况下(步骤ST23;否),SP控制部310取得DP摄像头61的拍摄图像(步骤ST26)。SP控制部310从DP摄像头61的拍摄图像中提取用于环境光的照度判定的区域(步骤ST27),并根据提取出的区域的像素值计算照度(步骤ST28)。在步骤ST28中计算出的照度对应于第3照度信息的一例。
图9是步骤ST28中的对拍摄图像的处理的说明图,示意性地示出了对DP摄像头61的拍摄图像P1的处理。
拍摄图像P1是SP控制部310经由连接装置10取得的图像,由与DP摄像头61的拍摄分辨率对应的数量的像素构成。在求取照度的情况下,不需要是高分辨率的图像,因此SP控制部310从拍摄图像P1中提取观看区域P2。观看区域P2是DP摄像头61的视场角中的、与使用者U透过图像显示部20而看到的范围重叠的区域。DP摄像头61的视场角中的使用者U的观看范围能够根据图像显示部20的构造和标准的人的体格进行估算。将该估算值预先存储在例如非易失性存储部320中。
在观看区域P2的像素数比照度计算所需的像素数多的情况下,SP控制部310还可以提取处理区域P3。处理区域P3是包含观看区域P2的中央、且包含所需数量的像素的区域。所需数量例如可以相当于具有680像素×480像素的VGA分辨率。通过将处理区域P3的像素设为比拍摄图像P1少的数量,能够减轻求出照度的处理的负荷,节省耗电量。
SP控制部310例如取得构成处理区域P3的各像素的像素值、例如RGB的灰度值。SP控制部310根据取得的像素值计算各像素的照度的值。接着,SP控制部310计算处理区域P3的全部像素的照度的平均值、或者从处理区域P3选择的代表像素的照度的平均值,作为拍摄图像P1的照度。即,SP控制部310求出处理区域P3中的照度的平均值来作为拍摄图像P1的照度。
另外,SP控制部310也可以在处理区域P3中确定照度最大的像素和照度最小的像素,并求出这些像素的照度的平均值,来作为拍摄图像P1的照度。在这种情况下,能够减轻求出平均值的处理的负荷。即使是这样的处理,也能够充分高精度地求出照度。
上述处理不限于处理区域P3,既可以对观看区域P2执行,也可以对拍摄图像P1的整体执行。另外,也可以从拍摄图像P1或观看区域P2中选择预先设定的代表像素,对代表像素执行上述处理。
SP控制部310根据在步骤ST28的处理中求出的照度,计算图像显示部20的显示亮度的调整值(步骤ST29),并转移到步骤ST16。
在图7所示的动作中,在由于安装了遮光罩50而不适合根据DP照度传感器65的检测值计算显示亮度的调整值的情况下,能够使用SP照度传感器353的检测值、DP摄像头61的拍摄图像来计算显示亮度的调整值。因此,即使在DP照度传感器65被遮光罩50遮挡的状态下,也能够适当地调整图像显示部20中的显示亮度。
另外,在步骤ST18~ST23中,利用SP照度传感器353计算显示亮度的调整值。通常,照度传感器的耗电量比摄像头低。因此,通过优先于DP摄像头61而利用SP照度传感器353,具有能够节省智能手机300和HMD 100的耗电量的优点。
另外,在步骤ST19、ST23中,能够准确地判定智能手机300被收纳在使用者U的衣服口袋或包中等、不适合利用SP照度传感器353的检测值的状态。因此,能够使用SP照度传感器353以适当的精度调整显示亮度。在该情况下,能够使用DP摄像头61的拍摄图像进行适当的显示亮度调整。
另外,在步骤ST15、ST24、ST29中,计算与在图像显示部20上安装了遮光罩50、从而外部光被遮光罩50减光或遮光的情况对应的显示亮度的调整值。
[2.第2实施方式]
在第2实施方式中,设想HMD 100不具有DP摄像头61的结构、或者HMD 100不使用DP摄像头61来调整显示亮度的结构。
图10是示出第2实施方式的SP控制部310的动作的流程图。在图10中,对与图7所示的动作相同的处理赋予相同标号并省略说明。
在第2实施方式中,由于在显示亮度的调整中不使用DP摄像头61,所以在安装了遮光罩50的状态下,优选使用SP照度传感器353。
因此,SP控制部310在判定为SP照度传感器353的检测方向AX2与DP照度传感器65的检测方向AX1不匹配的情况下(步骤ST23;否),进行对使用者U的引导(步骤ST31)。
对使用者U的引导是促使智能手机300的朝向朝向适当的方向的消息或图像。SP控制部310通过图像显示部20显示用于对使用者U进行引导的消息或图像。例如,也可以显示“请将智能手机朝向自己的正面”这样的基于字符的消息。另外,也可以显示将智能手机的所朝方向和使用者U的姿态模式化后的图像。
在进行了对使用者U的引导后,SP控制部310返回步骤ST22,确定SP照度传感器353的检测方向。
在第2实施方式中,通过由使用者U使SP照度传感器353的检测方向朝向适当的方向,能够替代DP照度传感器65而利用SP照度传感器353。因此,即使不使用DP摄像头61,也能够进行安装遮光罩50时的显示亮度的调整。
[3.实施方式的效果]
如以上所说明那样,应用了本发明的上述各实施方式的显示系统1具有HMD 100和智能手机300。HMD 100具有使外部光透过并显示图像的图像显示部20、和检测外部光的照度的DP照度传感器65。智能手机300具有:根据DP照度传感器65的检测值来调整图像显示部20所显示的图像的亮度的SP显示控制部311;以及检测照度的SP照度传感器353。SP显示控制部311能够根据SP照度传感器353的检测值来调整图像显示部20的显示图像的亮度。
由此,能够替代根据DP照度传感器65的检测值来调整图像显示部20的显示图像的亮度,而根据智能手机300具有的SP照度传感器353的检测值来调整图像显示部20的显示图像的亮度。因此,即使在DP照度传感器65接收的环境光被遮挡、或被减光的情况下,也能够与图像显示部20周边的环境光、外部光的照度相对应地,对图像显示部20的显示亮度进行适当调整。例如,即使在对外部光进行减光或遮光的遮光罩50被安装在图像显示部20上的情况下,也能够调整图像显示部20的显示亮度。
在上述各实施方式中,在SP照度传感器353朝向与透过图像显示部20的外部光对应的方向的情况下,SP显示控制部311根据SP照度传感器353的检测值来调整图像的亮度。因此,能够利用SP照度传感器353的检测值,适当地调整图像显示部20的显示亮度,从而良好地保持图像显示部20的显示图像的可视性。
在上述各实施方式中,智能手机300具有作为检测智能手机300的运动的运动传感器的SP六轴传感器351和SP磁传感器352。在由这些运动传感器确定的SP照度传感器353的方向朝向与透过图像显示部20的外部光对应的方向的情况下,SP显示控制部311根据SP照度传感器353的检测值来调整图像的亮度。因此,在SP照度传感器353的检测值良好地反映了DP照度传感器65的检测值的情况下,利用SP照度传感器353的检测值来调整图像显示部20的显示图像的亮度。因此,能够与图像显示部20周边的环境光、外部光的照度相对应地,对图像显示部20的显示图像的亮度进行适当调整。
第1实施方式的HMD 100具有DP摄像头61。智能手机300具有SP图像处理部313,该SP图像处理部313根据DP摄像头61的拍摄图像,生成与入射到DP摄像头61的外部光的照度相关的信息。SP显示控制部311能够根据从拍摄图像得到的照度来调整图像的亮度。因此,能够替代DP照度传感器65,而利用DP摄像头61的拍摄图像来适当地调整图像显示部20的显示图像的亮度。
在第1实施方式中,DP摄像头61对与透过图像显示部20而看到的外景重叠的范围进行拍摄。因此,能够不使用DP照度传感器65,而与来自特别影响到显示图像可视性的方向的外部光的照度相对应地,对图像显示部20的显示图像的亮度进行调整。
在第1实施方式中,SP图像处理部313基于构成拍摄图像的规定数量的像素的亮度信息来生成第2照度信息。因此,能够抑制与拍摄图像相关的处理的负荷,能够实现耗电量的抑制。
在上述实施方式中,能够相对于HMD 100装卸对入射到图像显示部20上的外部光进行调整的遮光罩50。在HMD 100上安装了遮光罩50的情况下,SP显示控制部311根据第2照度信息来调整图像的亮度。因此,能够通过遮光罩50对透过图像显示部20的外部光进行减光或遮光,在该情况下,能够与遮光罩50的安装相对应地适当调整图像显示部20的显示图像的亮度。
此外,显示系统1中的显示控制方法是如下的显示控制方法:利用HMD 100的DP照度传感器65检测外部光的照度,并基于DP照度传感器65的检测值来调整由图像显示部20显示的图像的亮度。在HMD 100上安装有对入射到图像显示部20的外部光进行调整的遮光罩50的情况下,利用智能手机300的SP照度传感器353检测照度,并根据SP照度传感器353的检测值来调整图像的亮度。因此,即使在遮光罩50被安装于图像显示部20、从而DP照度传感器65检测的光受到遮光罩50的影响的情况下,也能够适当地调整图像显示部20的显示图像的亮度。
另外,构成智能手机300的SP控制部310的计算机能够执行的程序是如下程序:使HMD 100的DP照度传感器65检测外部光的照度。并根据DP照度传感器65的检测值,调整图像显示部20所显示的图像的亮度。在HMD 100上安装有对入射到图像显示部20的外部光进行调整的遮光罩50的情况下,利用SP照度传感器353检测照度,并根据SP照度传感器353的检测值来调整图像的亮度。因此,即使在遮光罩50被安装于图像显示部20、从而DP照度传感器65检测的光受到遮光罩50的影响的情况下,也能够适当地调整图像显示部20的显示图像的亮度。
[4.其他实施方式]
本发明不限于上述实施方式的结构,能够在不脱离其主旨的范围内以各种方式来实施。
例如,在上述实施方式中,说明了使用智能手机300作为控制装置的结构,但本发明不限于此。例如,控制装置可以是PDA终端,也可以是平板型个人计算机。
另外,在上述各实施方式中,说明了通过智能手机300的控制使HMD 100显示影像或图像的结构例,但本发明不限于此。
例如,也可以是,HMD 100具有智能手机300的SP控制部310的功能,HMD 100能够作为单体再现显示影像或图像的内容。在这种情况下,HMD 100的控制部可以与不同于HMD100的外部装置进行通信,以基于外部装置具有的外部照度传感器的检测值、和外部照度传感器的方向来执行图7和图10所示的图像显示部20的显示控制等处理。例如,HMD 100可以与作为外部装置的可佩戴设备等执行基于蓝牙(注册商标)等的无线通信或有线通信,并基于可佩戴设备具有的照度传感器的检测值来执行图7、图10的处理。在这种情况下,可以使用可佩戴设备具有的地磁传感器、运动传感器。作为可佩戴设备,例如可列举智能手表等手表型设备、或佩戴在使用者U的身体表面或衣服上的其他设备。在该例子中,可佩戴设备与HMD 100一起构成显示系统,可佩戴设备具有的照度传感器对应于第2照度检测部的一例。
另外,如上所述,在HMD 100具有智能手机300的SP控制部310的功能的结构中,可以将SP控制部310的功能安装在如连接装置10那样与图像显示部20连接的装置中。即,HMD100可以构成为通过安装在连接装置10中的控制部的功能,使图像显示部20显示影像或图像的内容。在这样的结构中,HMD 100也可以与可佩戴设备等外部装置连接,从而使安装在连接装置10中的控制部利用外部装置所具有的照度传感器、地磁传感器、运动传感器来执行图7、图10所示的处理。在该例子中,可佩戴设备与HMD 100一起构成显示系统,可佩戴设备具有的照度传感器对应于第2照度检测部的一例。
另外,遮光罩50也可以是能够调整透光性的电子遮光罩。电子遮光罩例如可以构成为具有输入电压的未图示的端子,并根据端子间的电压使光的透过率变化。在该情况下,通过后述的DP控制部120的控制来调整施加电压,由此能够调整电子遮光罩的透光性。在显示系统1中,也可以是,能够相对于图像显示部20装卸透光性和/或透过波长特性不同的多种遮光罩50。在该情况下,优选能够通过图像显示部20所具有的各种传感器检测安装于图像显示部20的遮光罩50的种类。另外,使用者U也可以通过操作部140的操作来输入或设定安装在图像显示部20上的遮光罩50的种类。
此外,在上述实施方式中,例示了连接装置10与图像显示部20有线连接的结构,但不限于此,也可以是图像显示部20与连接装置10无线连接的结构。另外,可以将连接装置10的功能设置在图像显示部20中,也可以通过多个装置来实现连接装置10。例如,可以替代连接装置10,使用能够安装于使用者的身体、服装或者使用者随身佩戴的饰品的可佩戴设备。该情况下的可佩戴设备例如可以是钟表型的装置、戒指型的装置、激光指示器、鼠标、空中鼠标、游戏控制器、笔型的设备等。
此外,在上述实施方式中,列举图像显示部20和连接装置10分离并经由连接线缆40而连接的结构为例进行了说明。不限于此,也可以是将连接装置10和图像显示部20构成为一体而佩戴于使用者的头部的结构。
此外,例如,可以替代图像显示部20,采用例如帽子那样佩戴的图像显示部等其他方式的图像显示部,具有与使用者的左眼LE对应地显示图像的显示部、和与使用者的右眼RE对应地显示图像的显示部即可。此外,显示装置例如可以构成为搭载于汽车或飞机等车辆的HMD。并且,例如也可以构成为内置于头盔等身体防护器具的HMD。在该情况下,能够设对相对于使用者身体的位置进行定位的部分、和针对该部分进行定位的部分为佩戴部。
此外,作为将图像光引导至使用者的眼睛的光学系统,例示了在右导光板26和左导光板28的一部分中利用半反射镜261、281形成虚像的结构。不限于此,也可以构成为将图像显示在具有占据右导光板26和左导光板28的整个面或者大部分的面积的显示区域中。在该情况下,在使图像的显示位置发生变化的动作中,可以包含将图像缩小的处理。
并且,光学元件不限于具有半反射镜261、281的右导光板26、左导光板28,只要是使图像光入射到使用者的眼睛的光学部件即可,具体而言,可以使用衍射光栅、棱镜、全息显示部。
此外,在上述各实施方式中,说明了图像显示部20通过OLED单元221、241生成图像光的结构,但本发明不限于此。例示了OLED单元221、241具有OLED面板、和用于驱动OLED面板的OLED驱动电路的结构。这里,OLED面板是由通过有机电致发光而发光并分别发光的发光元件构成的自发光型的显示面板。作为更具体的例子,OLED面板可以举出将多个像素配置成矩阵状的结构,该多个像素将各包含一个R、G、B元件的单位作为一个像素。作为变形例,右显示部22和左显示部24也可以分别作为影像元件而构成,该影像元件具有作为光源部的OLED面板、和对光源部发出的光进行调制而输出包含多个色光的图像光的调制元件。如此地,右显示单元22、左显示单元24利用投影光学系统及导光板等将通过调制元件调制后的图像光引导至用户的眼睛,由此能够成为使用户识别虚像的结构。在该变形例的图像显示部中,对OLED面板发出的光进行调制的调制元件可以使用透过型液晶面板,也可以使用反射型液晶面板来替代透过型液晶面板,还可以使用数字微镜器件。另外,也可以替代LCD面板而使用应用了LCOS(Liquid crystal on silicon:硅上液晶)技术的结构。另外,图像显示部20所具有的显示元件也可以是以LED阵列、激光阵列、量子点发光型元件等为代表的自发光型的显示元件。另外,图像显示部20例如也可以是组合了激光光源和激光扫描仪的激光扫描方式的显示器。
此外,图4、图5等所示的功能块中的至少一部分可通过硬件实现,也可以是通过硬件与软件的协作实现的结构,不限定于如图中所示地配置独立的硬件资源的结构。
此外,由SP控制部310执行的控制程序也可以存储在非易失性存储部320或SP控制部310内的其他存储部中。另外,也可以构成为经由通信部345等取得并执行存储在外部装置中的控制程序。
此外,形成于连接装置10的结构可以重复地形成于图像显示部20。例如,可以将与连接装置10的处理器同样的处理器配置于图像显示部20,也可以构成为连接装置10具有的处理器与图像显示部20的处理器分别执行分开的功能。
另外,为了容易理解智能手机300的SP控制部310的处理,图7和图10所示的流程图的处理单位是根据主要的处理内容对处理进行了分割所得的。实施方式不受各流程图的处理单位的分割方式和名称限制。此外,SP控制部310的处理也能够根据处理内容而分割为更多的处理单位,还能够分割成1个处理单位包含更多的处理。此外,上述的流程图的处理顺序也不限于图示的例子。
另外,通过使智能手机300具有的计算机执行与智能手机300的控制方法对应的控制程序,能够实现智能手机300的控制方法。另外,该控制程序还能够记录在计算机可读取地记录的记录介质中。作为记录介质,可以使用磁记录介质、光学记录介质或半导体存储器件。具体而言,可以举出软盘、CD-ROM(Compact Disk Read Only Memory:光盘只读存储器)、DVD(Digital Versatile Disc:数字多功能光盘)、Blu-ray(注册商标:蓝光)Disc、磁光盘、闪存、卡式记录介质等可移动型或固定式的记录介质。另外,记录介质也可以是作为图像显示装置所具有的内部存储装置的RAM、ROM、HDD等非易失性存储装置。另外,还能够将与智能手机300的控制方法对应的控制程序存储在服务器装置等中,通过从服务器装置向智能手机300下载控制程序来实现智能手机300的控制方法。
Claims (9)
1.一种显示系统,其具有显示装置和控制装置,
所述显示装置具有:
显示图像的显示部,其使外部光透过;以及
第1照度检测部,其检测外部光的照度,
所述控制装置具有:
显示控制部,其根据表示所述第1照度检测部的检测结果的第1照度信息,调整所述显示部所显示的图像的亮度;以及
第2照度检测部,其检测照度,
所述显示控制部能够根据表示所述第2照度检测部的检测结果的第2照度信息,调整所述图像的亮度。
2.根据权利要求1所述的显示系统,其中,
在所述第2照度检测部朝向与透过所述显示部的所述外部光对应的方向的情况下,所述显示控制部根据所述第2照度信息,调整所述图像的亮度。
3.根据权利要求2所述的显示系统,其中,
所述控制装置具有运动传感器,
在由所述运动传感器确定的所述第2照度检测部的方向朝向与透过所述显示部的所述外部光对应的方向的情况下,所述显示控制部根据所述第2照度信息,调整所述图像的亮度。
4.根据权利要求2或3所述的显示系统,其中,
所述显示装置具有摄像部,
所述控制装置具有图像处理部,该图像处理部根据所述摄像部的拍摄图像,生成与入射到所述摄像部的外部光的照度相关的第3照度信息,
所述显示控制部能够根据所述第3照度信息,调整所述图像的亮度。
5.根据权利要求4所述的显示系统,其中,
所述摄像部对与透过所述显示部而看到的外景重叠的范围进行拍摄。
6.根据权利要求4所述的显示系统,其中,
所述图像处理部根据构成所述拍摄图像的规定数量的像素的亮度信息,生成所述第2照度信息。
7.根据权利要求1所述的显示系统,其中,
能够相对于所述显示装置装卸调光部件,该调光部件对入射到所述显示部的所述外部光进行调整,
在所述显示装置上安装有所述调光部件的情况下,所述显示控制部根据所述第2照度信息,调整所述图像的亮度。
8.一种显示控制方法,其是显示系统中的显示控制方法,该显示系统具有显示装置和控制装置,该显示装置具有使外部光透过并显示图像的显示部,在所述显示控制方法中,
利用所述显示装置的第1照度检测部检测外部光的照度,
根据表示所述第1照度检测部的检测结果的第1照度信息,调整所述显示部所显示的图像的亮度,
在所述显示装置上安装有对入射到所述显示部的所述外部光进行调整的调光部件的情况下,利用所述控制装置的第2照度检测部检测照度,并根据表示所述第2照度检测部的检测结果的第2照度信息,调整所述图像的亮度。
9.一种计算机可读记录介质,其中,该记录介质记录有计算机可执行的程序,该计算机与显示装置连接,该显示装置具有使外部光透过并显示图像的显示部,该程序使所述计算机执行以下处理:
利用所述显示装置的第1照度检测部检测外部光的照度,
根据表示所述第1照度检测部的检测结果的第1照度信息,调整所述显示部所显示的图像的亮度,
在所述显示装置上安装有对入射到所述显示部的所述外部光进行调整的调光部件的情况下,利用第2照度检测部检测照度,并根据表示所述第2照度检测部的检测结果的第2照度信息,调整所述图像的亮度。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019178692A JP2021057737A (ja) | 2019-09-30 | 2019-09-30 | 表示システム、表示制御方法、および、プログラム |
JP2019-178692 | 2019-09-30 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112581920A true CN112581920A (zh) | 2021-03-30 |
CN112581920B CN112581920B (zh) | 2024-01-12 |
Family
ID=75119681
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011039309.3A Active CN112581920B (zh) | 2019-09-30 | 2020-09-28 | 显示系统、显示控制方法以及记录介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11322115B2 (zh) |
JP (1) | JP2021057737A (zh) |
CN (1) | CN112581920B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023193144A1 (en) * | 2022-04-06 | 2023-10-12 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Display system |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101534395A (zh) * | 2008-03-14 | 2009-09-16 | 鸿富锦精密工业(深圳)有限公司 | 屏幕亮度调节系统和方法 |
CN103823622A (zh) * | 2012-11-16 | 2014-05-28 | 三星电子株式会社 | 用于调整屏幕的亮度的电子设备及其方法 |
JP2015038572A (ja) * | 2013-08-19 | 2015-02-26 | 株式会社リコー | 画像投影装置 |
US20150124009A1 (en) * | 2013-11-05 | 2015-05-07 | Samsung Electronics Co., Ltd. | Electronic device having display function and operating method therefor |
JP2016122039A (ja) * | 2014-12-24 | 2016-07-07 | セイコーエプソン株式会社 | 表示装置、及び、表示装置の制御方法 |
CN106471425A (zh) * | 2014-07-04 | 2017-03-01 | 日立麦克赛尔株式会社 | 投影型影像显示装置 |
KR20180052246A (ko) * | 2016-11-10 | 2018-05-18 | (주) 지펙케이앤디 | 조도센서 센서값 설정을 통해 화면 밝기를 수동 및 자동으로 제어하는 디스플레이 장치 |
US20180330697A1 (en) * | 2017-05-12 | 2018-11-15 | Samsung Electronics Co., Ltd. | Electronic apparatus and method for displaying a content screen on the electronic apparatus thereof |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2621488C2 (ru) * | 2013-02-14 | 2017-06-06 | Сейко Эпсон Корпорейшн | Укрепляемый на голове дисплей и способ управления для укрепляемого на голове дисплея |
JP6492330B2 (ja) * | 2014-02-21 | 2019-04-03 | ソニー株式会社 | 電子機器、および画像の提供方法 |
JP6892213B2 (ja) * | 2015-04-30 | 2021-06-23 | ソニーグループ株式会社 | 表示装置及び表示装置の初期設定方法 |
JP2017116562A (ja) * | 2015-12-21 | 2017-06-29 | セイコーエプソン株式会社 | 表示装置、表示装置の制御方法、及び、プログラム |
JP2018142168A (ja) * | 2017-02-28 | 2018-09-13 | セイコーエプソン株式会社 | 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 |
CN112201211B (zh) * | 2019-07-08 | 2022-04-29 | 北京小米移动软件有限公司 | 环境光采集方法、装置、终端及存储介质 |
-
2019
- 2019-09-30 JP JP2019178692A patent/JP2021057737A/ja active Pending
-
2020
- 2020-09-28 CN CN202011039309.3A patent/CN112581920B/zh active Active
- 2020-09-29 US US17/037,643 patent/US11322115B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101534395A (zh) * | 2008-03-14 | 2009-09-16 | 鸿富锦精密工业(深圳)有限公司 | 屏幕亮度调节系统和方法 |
CN103823622A (zh) * | 2012-11-16 | 2014-05-28 | 三星电子株式会社 | 用于调整屏幕的亮度的电子设备及其方法 |
JP2015038572A (ja) * | 2013-08-19 | 2015-02-26 | 株式会社リコー | 画像投影装置 |
US20150124009A1 (en) * | 2013-11-05 | 2015-05-07 | Samsung Electronics Co., Ltd. | Electronic device having display function and operating method therefor |
CN106471425A (zh) * | 2014-07-04 | 2017-03-01 | 日立麦克赛尔株式会社 | 投影型影像显示装置 |
JP2016122039A (ja) * | 2014-12-24 | 2016-07-07 | セイコーエプソン株式会社 | 表示装置、及び、表示装置の制御方法 |
KR20180052246A (ko) * | 2016-11-10 | 2018-05-18 | (주) 지펙케이앤디 | 조도센서 센서값 설정을 통해 화면 밝기를 수동 및 자동으로 제어하는 디스플레이 장치 |
US20180330697A1 (en) * | 2017-05-12 | 2018-11-15 | Samsung Electronics Co., Ltd. | Electronic apparatus and method for displaying a content screen on the electronic apparatus thereof |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023193144A1 (en) * | 2022-04-06 | 2023-10-12 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Display system |
Also Published As
Publication number | Publication date |
---|---|
CN112581920B (zh) | 2024-01-12 |
US20210097959A1 (en) | 2021-04-01 |
US11322115B2 (en) | 2022-05-03 |
JP2021057737A (ja) | 2021-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110275297B (zh) | 头部佩戴型显示装置、显示控制方法以及记录介质 | |
CN108535868B (zh) | 头部佩戴型显示装置及其控制方法 | |
CN109960481B (zh) | 显示系统及其控制方法 | |
CN111600990B (zh) | 显示系统、记录介质以及信息处理装置的控制方法 | |
CN109960039B (zh) | 显示系统、电子设备以及显示方法 | |
US10082671B2 (en) | Head-mounted display, method of controlling head-mounted display and computer program to measure the distance from a user to a target | |
US20180214007A1 (en) | Endoscope operation support system | |
US20170178565A1 (en) | Display device, method of controlling display device, and program | |
US11353704B2 (en) | Head mounted device (HMD) coupled to smartphone executing personal authentication of a user | |
US10171866B2 (en) | Display system, display device, head-mounted display device, display control method, control method for display device, and computer program | |
CN112581920B (zh) | 显示系统、显示控制方法以及记录介质 | |
CN112558300B (zh) | 显示系统、记录介质、信息处理装置的控制方法和显示装置 | |
US11156841B2 (en) | Display device, control program for display device, control method for display device, and display system | |
CN114356071A (zh) | 显示系统、显示方法以及记录介质 | |
CN111556310B (zh) | 显示系统、记录介质以及信息处理装置的控制方法 | |
US11630793B2 (en) | Image display device and port arrangement | |
US11579454B2 (en) | Image display device and reboot method for image display device | |
JP2021057747A (ja) | 表示システム、画像表示装置、画像表示方法及びプログラム | |
JP2021047370A (ja) | 表示装置、表示装置の制御方法、表示装置の制御プログラム、及び表示システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |