CN111432201A - 显示系统及其控制方法、信息处理装置和记录介质 - Google Patents

显示系统及其控制方法、信息处理装置和记录介质 Download PDF

Info

Publication number
CN111432201A
CN111432201A CN202010012871.0A CN202010012871A CN111432201A CN 111432201 A CN111432201 A CN 111432201A CN 202010012871 A CN202010012871 A CN 202010012871A CN 111432201 A CN111432201 A CN 111432201A
Authority
CN
China
Prior art keywords
image
display
unit
control unit
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010012871.0A
Other languages
English (en)
Inventor
大井笃
大森裕介
原田爱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN111432201A publication Critical patent/CN111432201A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/139Format conversion, e.g. of frame-rate or size
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/324Colour aspects
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Digital Computer Display Output (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

显示系统及其控制方法、信息处理装置和记录介质。在显示于HMD的图像中将调整对象配置于恰当的位置。一种显示系统(1),其是连接智能手机(300)和HMD(100)而构成的,HMD具有:影像显示部(20),其被佩戴于使用者的头部,显示图像;接收部(123),其从智能手机接收图像(PT);以及第1显示控制部(121),其通过将图像在所设定的分割位置处进行分割,形成多个分割图像,使影像显示部显示各个分割图像。此外,智能手机具有:发送部(315),其将与图像对应的图像数据发送到HMD;以及第2显示控制部(311),其在将调整图像的调整对象包含在图像中的情况下,使调整对象的位置与和分割位置对应的位置分开。

Description

显示系统及其控制方法、信息处理装置和记录介质
技术领域
本发明涉及显示系统、显示系统的控制方法、信息处理装置和信息处理装置的控制程序。
背景技术
已知有显示3D内容的显示装置(例如,参照专利文献1)。
专利文献1所记载的立体显示装置在电视机的画面上显示3D的左右格式(side byside)图像,并利用HMD的摄像部拍摄所显示的左右格式图像。然后,HMD的控制部将所拍摄的图像分割为左半部分的左图像和右半部分的右图像,并提取左图像与右图像的对应的特征点。
此外,HMD的控制部在调整左图像与右图像在上下方向上的相对位置以使该特征点的上下位置成为水平之后,将左图像显示在HMD的第1显示部上,将右图像显示在HMD的第2显示部上。
专利文献1:日本特开2013-33172公报
在专利文献1所记载的结构中,未记载对受理用户的各种操作的调整对象进行显示的情况。
例如,在显示在HMD上的图像中配置调整对象的位置不恰当的情况下,存在使用者的操作性有可能下降的课题。
发明内容
解决上述课题的一个方式是一种显示系统,其中,该显示系统是连接信息处理装置和显示装置而构成的,所述显示装置具有:第1显示部,其佩戴于使用者的头部,显示图像;接收部,其从所述信息处理装置接收图像;以及第1控制部,其通过将所述图像在所设定的分割位置处进行分割,形成2个分割图像,使所述第1显示部显示各个所述分割图像,所述第1显示部具有朝向所述使用者的右眼发出图像光的右眼用显示部、和朝向所述使用者的左眼发出图像光的左眼用显示部,所述第1控制部通过将与所述接收部接收到的所述图像对应的图像数据分割为2个,生成2个分割图像数据,使所述右眼用显示部显示基于一个所述分割图像数据的图像,使所述左眼用显示部显示基于另一个所述分割图像数据的图像,所述信息处理装置具有:发送部,其将所述图像发送到所述显示装置;以及第2控制部,其将调整对象包含在所述图像中,所述第2控制部使所述调整对象的位置与和所述分割位置对应的位置分开。
在上述显示系统中,也可以构成为,所述信息处理装置具有第2显示部,该第2显示部显示图像,所述第2控制部使所述发送部将显示在所述第2显示部上的所述图像发送到所述显示装置。
在上述显示系统中,也可以构成为,所述信息处理装置的所述第2控制部使得所述调整对象显示在所述图像的右区域中。
在上述显示系统中,也可以构成为,所述信息处理装置的所述第2控制部使得所述调整对象显示在所述图像的右上区域中。
在上述显示系统中,也可以构成为,所述信息处理装置的所述第2控制部使得以不与其他调整对象重叠的方式显示所述调整对象。
在上述显示系统中,也可以构成为,所述信息处理装置的所述第2控制部使得呈纵长地显示所述调整对象。
在上述显示系统中,也可以构成为,所述信息处理装置的所述第2控制部具有受理部,该受理部受理输入,在所述受理部受理了输入的情况下,所述信息处理装置的所述第2控制部使得显示所述调整对象,在所述受理部未受理输入的情况下,所述信息处理装置的所述第2控制部使得不显示所述调整对象。
在上述显示系统中,也可以构成为,所述信息处理装置的所述第2控制部具有检测部,该检测部对已与所述显示装置相连接进行检测,所述信息处理装置的所述第2控制部根据所述检测部的检测结果,使显示在所述第2显示部上的所述图像的亮度减小到低于所设定的亮度。
在上述显示系统中,也可以构成为,所述信息处理装置的所述第2控制部通过将一定浓度的图像叠加于所述图像,来减小显示在所述第2显示部上的所述图像的亮度。
在上述显示系统中,也可以构成为,所述调整对象包含滑动条对象,所述滑动条对象包含沿所述图像的左右方向延伸的滑动条图像。
在上述显示系统中,也可以构成为,所述信息处理装置的所述第2控制部与所述显示装置中的错误的发生对应地,将表示所述错误的发生的错误图像显示在所述第2显示部上。
解决上述课题的另一方式是一种显示系统的控制方法,其中,该显示系统是连接信息处理装置和佩戴于使用者的头部的显示装置而构成的,该显示系统的控制方法包含以下步骤:配置步骤,在将调整对象包含在图像中的情况下,所述信息处理装置使所述调整对象的位置与和所设定的分割位置对应的位置分开;发送步骤,所述信息处理装置将所述图像发送到所述显示装置;接收步骤,所述显示装置接收所述图像;以及显示步骤,所述显示装置通过将所述图像在所述分割位置处进行分割,形成2个分割图像,并显示各个所述分割图像,在所述显示步骤中,所述显示装置通过将与所述图像对应的图像数据分割为2个,生成2个分割图像数据,使右眼用显示部显示基于一个所述分割图像数据的图像,使左眼用显示部显示基于另一个所述分割图像数据的图像。
解决上述课题的再一方式是一种信息处理装置,其中,该信息处理装置与显示装置连接,该显示装置被佩戴于使用者的头部,通过将图像在所设定的分割位置处进行分割,形成2个分割图像,并显示各个所述分割图像,该信息处理装置具有:发送部,其将所述图像发送到所述显示装置;以及显示控制部,其将调整对象包含在所述图像中,使所述调整对象的位置与和所述分割位置对应的位置分开。
解决上述课题的再一方式是一种信息处理装置的控制程序,其中,该信息处理装置与显示装置连接,并具有计算机,该显示装置被佩戴于使用者的头部,通过将图像在所设定的分割位置处进行分割,形成多个分割图像,并显示各个所述分割图像,该控制程序使所述计算机作为以下部分发挥功能:发送部,其将所述图像发送到所述显示装置;以及显示控制部,其将调整对象包含在所述图像中,使所述调整对象的位置与和分割位置对应的位置分开,所述分割位置表示通过所述显示装置分割所述图像的位置。
附图说明
图1是示出显示系统的结构的图。
图2是示出图像显示部的光学系统的结构的图。
图3是示出图像显示部的主要部分结构的立体图。
图4是示出构成HMD的各部件的结构的图。
图5是示出HMD的第1控制部和智能手机的结构的图。
图6是示出智能手机和HMD所显示的图像的一例的图。
图7是示出智能手机和HMD所显示的图像的另一例的图。
图8是示出智能手机和HMD所显示的图像的再一例的图。
图9是示出智能手机所显示的图像的又一例的图。
图10是示出智能手机的第2控制部的处理的流程图。
图11是示出智能手机的第2控制部的处理的流程图。
图12是示出第2控制部的第1亮度调整处理的流程图。
图13是示出HMD的第1控制部的处理的流程图。
标号说明
1:显示系统;10:连接装置;11、11A、11D:连接器;13、14:亮度调整键;15、16:音量调整键;20:影像显示部(第1显示部);21:右保持部;22:右显示部(右眼用显示部);23:左保持部;24:左显示部(左眼用显示部);26:右导光板;261:半反射镜;28:左导光板;281:半反射镜;40:连接电缆;46:USB电缆;100:HMD(显示装置);120:第1控制部;121:第1显示控制部;123:接收部;130:非易失性存储部;140:操作部;145:连接部;147:声音处理部;210:右显示部基板;221:OLED单元;230:左显示部基板;241:OLED单元;249:电源部;300:智能手机(信息处理装置);310:第2控制部;311:第2显示控制部;312:检测部;313:受理部;315:发送部;320:非易失性存储部;321:内容数据;331:显示面板(第2显示部);332:触摸传感器;341:I/F部;345:通信部;AR:通知显示区域;CL:中心线;LP、LP1、LP2:左图像(分割图像);MG1:第1消息图像;MG2:第2消息图像;MG3:第3消息图像;PC:操作菜单图像(调整对象);PC1:亮度调整图标;PC2:音量调整图标;PC3:分割调整图标;PC4:其他调整图标;PCL:边界线图像;PD、PDL、PDR:图像;PD1:第1图像;PD2:第2图像;PS:音量调整图像(调整对象、滑动条对象);PS1:音量图像;PS2:滑动条图像;PS3:旋钮图像;PS4:音量显示图像;PT、PT1、PT2:图像;RP、RP1、RP2:右图像(分割图像)。
具体实施方式
以下,参照附图对实施方式进行说明。
[1.显示系统的结构]
[1-1.显示系统的整体结构]
图1是示出显示系统1的概略结构的图。
如图1所示,显示系统1具有HMD(Head Mounted Display:头部佩戴型显示器)100。HMD 100是如下装置:具有佩戴于使用者的头部的影像显示部20和连接装置10,在佩戴于使用者的头部的状态下令使用者通过影像显示部20看到虚像。HMD 100对应于“显示装置”的一例。在以下的说明中,使用者是指佩戴HMD 100来使用的用户。
连接装置10在箱形的外壳上具有连接器11A和连接器11D。连接器11A经由连接电缆40而与影像显示部20连接。以下,在不区分连接器11A、11D的情况下,有时记作连接器11。连接装置10的外壳还可以称作壳体或主体。
显示系统1是将智能手机300与HMD 100连接而构成的系统。连接器11D是HMD 100的与智能手机300连接的接口。即,在本实施方式中,智能手机300与连接器11D连接。智能手机300对应于“信息处理装置”的一例。另外,智能手机300只不过是信息处理装置的一例。例如,作为信息处理装置,能够将台式个人计算机、笔记本型个人计算机、平板型个人计算机等与连接装置10连接。
连接器11是与通信电缆连接的有线接口,连接装置10利用该通信电缆与外部的装置连接。连接器11A具有与连接电缆40连接的端子和经由连接器11A而收发信号的接口电路。
设置连接器11A以将影像显示部20和连接装置10连接起来。连接电缆40具有如下功能:从连接装置10对影像显示部20进行电源供给,并且使得影像显示部20和连接装置10相互收发数据。
连接器11D是能够从智能手机300输入影像数据并对智能手机300输出传感器数据的接口。智能手机300对非易失性存储部所记录的内容数据进行再现。连接器11D例如是依据公知的通信接口标准的连接器。
在本实施方式中,作为一例,连接器11D是与影像数据和各种数据的输入输出对应的接口,经由USB电缆46而与智能手机300连接。
作为连接器11D,例如,可以采用USB(Universal Serial Buss:通用串行总线)-TypeC标准的连接器。与USB-TypeC对应的接口能够进行依照USB3.1标准的数据传输和20伏特、5安培以内的直流电流的供给。此外,作为USB-TypeC的替代模式的功能,能够传输HDMI(High Definition Multimedia Interface:高清晰度多媒体接口)标准的影像数据、MHL(MobileHigh-definition Link:移动高清链接)标准的影像数据等。智能手机300能够经由USB电缆46而进行电源供给、数据的收发和影像、声音的流数据的供给等。USB-TypeC的替代模式已知为Alternative模式。HDMI是注册商标。
在本实施方式中,影像显示部20具有眼镜形状。影像显示部20在具有右保持部21、左保持部23和前部框架27的主体上具有右显示部22、左显示部24、右导光板26和左导光板28。
影像显示部20对应于“第1显示部”的一例。右显示部22对应于“右眼用显示部”的一例,左显示部24对应于“左眼用显示部”的一例。
右保持部21和左保持部23从前部框架27的两端部起向后方延伸,将影像显示部20保持于使用者的头部U。设前部框架27的两端部中的、在佩戴影像显示部20时位于头部U的右侧的端部为端部ER、位于左侧的端部为端部EL。右保持部21设置成从前部框架27的端部ER延伸至在影像显示部20的佩戴状态下与使用者的右侧头部对应的位置。左保持部23设置成从端部EL延伸至在影像显示部20的佩戴状态下与使用者的左侧头部对应的位置。
右导光板26和左导光板28设置于前部框架27。右导光板26在影像显示部20的佩戴状态下位于使用者的右眼的眼前,使右眼看到图像。左导光板28在影像显示部20的佩戴状态下位于使用者的左眼的眼前,使左眼看到图像。
前部框架27具有将右导光板26的一端和左导光板28的一端相互连结起来的形状,在使用者佩戴影像显示部20的佩戴状态下,该连结位置与使用者的眉间对应。
前部框架27也可以在右导光板26与左导光板28的连结位置处设置鼻托部,该鼻托部在影像显示部20的佩戴状态下与使用者的鼻子抵接。在该情况下,能够由鼻托部、右保持部21和左保持部23,将影像显示部20保持于使用者的头部。此外,也可以对右保持部21以及左保持部23连结在影像显示部20的佩戴状态下与使用者的后头部接触的带,在该情况下,能够利用带将影像显示部20保持于使用者的头部。
右显示部22和左显示部24分别是对光学单元和周边电路进行单元化后的模块。
右显示部22是与基于右导光板26的图像的显示相关的单元,设置于右保持部21,在佩戴状态下位于使用者的右侧头部的附近。左显示部24是与基于左导光板28的图像的显示相关的单元,设置于左保持部23,在佩戴状态下位于使用者的左侧头部的附近。另外,还可以将右显示部22和左显示部24统一简称作“显示驱动部”。
右导光板26和左导光板28是由透光性的树脂等形成的光学部,将右显示部22和左显示部24输出的图像光引导至使用者的眼睛。右导光板26和左导光板28例如是棱镜。
也可以在右导光板26和左导光板28的表面设置调光板。调光板是透射率根据光的波段而不同的薄板状的光学元件,作为所谓波长滤波器发挥功能。调光板例如配置成覆盖与使用者的眼睛侧相反的一侧即前部框架27的正面侧。通过恰当选择该调光板的光学特性,能够调整可见光、红外光和紫外光等任意波段的光的透射率,能够调整从外部入射到右导光板26和左导光板28并透过右导光板26和左导光板28的外部光的光量。
由右导光板26引导的图像光和透过右导光板26的外部光入射到使用者的右眼。同样,由左导光板28引导的图像光和透过左导光板28的外部光入射到左眼。
在影像显示部20的前部框架27上配置有照度传感器65。照度传感器65接收来自佩戴影像显示部20的使用者的前方的外部光。
照相机61配设于影像显示部20的前部框架27。照相机61设置于不遮挡透过右导光板26和左导光板28的外部光的位置。在图1的例子中,照相机61配置于前部框架27的端部ER侧,但也可以配置于端部EL侧,还可以配置于右导光板26与左导光板28的连结部。
照相机61是具有CCD或CMOS等摄像元件和摄像镜头等的数字照相机,本实施方式的照相机61是单反照相机,但也可以由立体照相机构成。
在前部框架27上配置有LED指示器67。LED指示器67在端部ER处配置于照相机61的附近,在照相机61的动作中点亮,通知处于拍摄中。
在前部框架27上设置有距离传感器64。距离传感器64检测与位于预先设定的测量方向的测量对象物相距的距离。距离传感器64例如也可以是具有LED、激光二极管等光源、以及接收光源发出的光反射到测量对象物的反射光的受光部的光反射式距离传感器。此外,距离传感器64也可以是具有发出超声波的声源、和接收被测量对象物反射的超声波的检测部的超声波式距离传感器。此外,距离传感器64也可以具有激光测距仪,该情况下,能够对包含影像显示部20的前方的较大范围的区域进行测量。
影像显示部20的右显示部22和左显示部24分别与连接装置10连接。在HMD100中,连接电缆40与左保持部23连接,与该连接电缆40相连的布线铺设于影像显示部20的内部,右显示部22和左显示部24分别与连接装置10连接。
连接电缆40具有音频连接器36,耳机30与音频连接器36连接,该耳机30具有构成立体声耳机的右耳机32和左耳机34、麦克风63。右耳机32被佩戴于使用者的右耳,左耳机34被佩戴于使用者的左耳。右耳机32和左耳机34也可以称作声音输出部。
右耳机32和左耳机34根据连接装置10输出的声音信号,输出声音。
麦克风63对声音进行收集,将声音信号输出到连接装置10。麦克风63例如可以是单声道麦克风,也可以是立体声麦克风,可以是具有定向性的麦克风,还可以是无定向性的麦克风。
连接装置10具有亮度调整键13、亮度调整键14、音量调整键15和音量调整键16,作为被使用者操作的被操作部。亮度调整键13、亮度调整键14、音量调整键15和音量调整键16分别由硬件按键构成。这些被操作部配置于连接装置10的主体的表面上,例如被使用者的手指操作。
亮度调整键13、14是用于调整由影像显示部20显示的影像的显示亮度的硬件按键。亮度调整键13指示亮度的增大,亮度调整键14指示亮度的减小。音量调整键15、16是用于调整从右耳机32和左耳机34输出的声音的音量的硬件按键。音量调整键15指示音量的增大,音量调整键16指示音量的减小。
[1-2.图像显示部的光学系统的结构]
图2是示出影像显示部20具备的光学系统的结构的主要部分俯视图。在图2中,为了进行说明,图示出使用者的左眼LE和右眼RE。
如图2所示,右显示部22和左显示部24构成为左右对称。作为令使用者的右眼RE看到图像的结构,右显示部22具有发出图像光的OLED(Organic Light Emitting Diode:有机发光二极管)单元221。此外,具有右光学系统251,该右光学系统251具有引导OLED单元221发出的图像光L的透镜组等。图像光L被右光学系统251引导至右导光板26。
OLED单元221具有OLED面板223、和驱动OLED面板223的OLED驱动电路225。OLED面板223是矩阵状地配置通过有机电致发光而进行发光并分别发出R(红)、G(绿)、B(蓝)的色光的发光元件而构成的自发光型显示面板。OLED面板223将各包含1个R、G、B的元件的单位作为1个像素而具有多个像素,利用矩阵状地配置的像素形成图像。OLED驱动电路225依照第1控制部120的控制,执行OLED面板223具备的发光元件的选择和对发光元件的通电,使OLED面板223的发光元件发光。关于第1控制部120,在后述参照图4进行说明。
OLED驱动电路225通过粘接等被固定于OLED面板223的反面即发光面的反面侧。OLED驱动电路225例如也可以由驱动OLED面板223的半导体器件构成,安装在被固定于OLED面板223的反面的基板上(省略图示)。在该基板上安装有图4所示的温度传感器217。
另外,OLED面板223也可以是矩阵状地配置发出白色光的发光元件、并重叠地配置与R、G、B的各色对应的滤色器的结构。此外,也可以使用除了分别放射R、G、B的色光的发光元件以外还具有发出W(白色)光的发光元件的WRGB结构的OLED面板223。
右光学系统251具有使从OLED面板223射出的图像光L成为平行状态的光束的准直透镜。利用准直透镜而成为平行状态的光束的图像光L入射到右导光板26。在右导光板26的内部的、引导光的光路中形成有反射图像光L的多个反射面。图像光L在右导光板26的内部经过多次反射而被引导至右眼RE侧。在右导光板26上形成有位于右眼RE的眼前的半反射镜261(反射面)。图像光L被半反射镜261反射,从右导光板26朝向右眼RE射出,该图像光L在右眼RE的视网膜上成像,令使用者看到图像。
此外,作为令使用者的左眼LE看到图像的结构,左显示部24具有:OLED单元241,其发出图像光;以及左光学系统252,其具有引导OLED单元241发出的图像光L的透镜组等。图像光L被左光学系统252引导至左导光板28。
OLED单元241具有OLED面板243、和驱动OLED面板243的OLED驱动电路245。OLED面板243是与OLED面板223同样构成的自发光型显示面板。OLED驱动电路245依照第1控制部120的指示,执行OLED面板243具备的发光元件的选择和对发光元件的通电,使OLED面板243的发光元件发光。
OLED驱动电路245通过粘接等被固定于OLED面板243的反面即发光面的反面侧。OLED驱动电路245例如也可以由驱动OLED面板243的半导体器件构成,安装在被固定于OLED面板243的反面的基板上(省略图示)。在该基板上安装有图4所示的温度传感器239。
左光学系统252具有使从OLED面板243射出的图像光L成为平行状态的光束的准直透镜。利用准直透镜而成为平行状态的光束的图像光L入射到左导光板28。左导光板28是形成有反射图像光L的多个反射面的光学元件,例如是棱镜。图像光L在左导光板28的内部经过多次反射而被引导至左眼LE侧。在左导光板28上形成有位于左眼LE的眼前的半反射镜281(反射面)。图像光L被半反射镜281反射,从左导光板28朝向左眼LE射出,该图像光L在左眼LE的视网膜上成像,令使用者看到图像。
根据该结构,HMD 100作为透射型显示装置发挥功能。即,被半反射镜261反射的图像光L和透过右导光板26的外部光OL入射到使用者的右眼RE。此外,被半反射镜281反射的图像光L和透过半反射镜281的外部光OL入射到左眼LE。这样,HMD 100使在内部进行处理后的图像的图像光L与外部光OL重叠地入射到使用者的眼睛,对使用者而言,能够透过右导光板26和左导光板28看到外景,并可与该外景重叠地看到由图像光L形成的图像。
半反射镜261、281是反射右显示部22和左显示部24分别输出的图像光而提取图像的图像提取部,能够称作显示部。
另外,也将左光学系统252和左导光板28统称作“左导光部”,将右光学系统251和右导光板26统称作“右导光部”。右导光部和左导光部的结构不限于上述的例子,只要使用图像光在使用者的眼前形成虚像,则能够使用任意的方式,例如可以使用衍射光栅,也可以使用半透过反射膜。
图3是示出影像显示部20的主要部分的结构的图。图3是从使用者的头部侧看到的影像显示部20的主要部分立体图。另外,在图3中省略连接电缆40的图示。
图3是影像显示部20与使用者的头部接触的一侧、换言之使用者的右眼RE和左眼LE可看到的一侧。换另一说法,在图3中,能够看到右导光板26和左导光板28的反面侧。
在图3中,对使用者的右眼RE照射图像光的半反射镜261和对左眼LE照射图像光的半反射镜281可看作大致四边形的区域。此外,如上所述,包含半反射镜261的右导光板26的整体和包含半反射镜281的左导光板28的整体使外部光透过。因此,使用者可透过右导光板26和左导光板28的整体而看到外景,在半反射镜261、281的位置处看到矩形的显示图像。
此外,一般而言,人的视野角为水平方向大概200度、垂直方向大概125度,其中的信息接受能力优异的有效视野为水平方向30度、垂直方向20度左右。并且,人可迅速且稳定地看到所注视的注视点的稳定注视视野为水平方向60~90度、垂直方向45度~70度左右。
能够将使用者透过影像显示部20并透过右导光板26和左导光板28看到的实际的视野称作实际视野(FOV:Field Of View)。在图3所示的实施方式的结构中,实际视野与使用者透过右导光板26和左导光板28看到的实际的视野对应。实际视野比视野角和稳定注视视野窄,但比有效视野宽。
此外,在影像显示部20的使用者侧配置有内侧照相机68。内侧照相机68以分别与使用者的右眼RE和左眼LE对应的方式,在右导光板26与左导光板28的中央位置设置有一对。内侧照相机68是分别拍摄使用者的右眼RE和左眼LE的一对照相机。内侧照相机68依照第1控制部120的指示进行拍摄。第1控制部120分析内侧照相机68的拍摄图像数据。例如,第1控制部120根据内侧照相机68的拍摄图像数据,检测右眼RE和左眼LE的眼球表面上的反射光、瞳孔的图像,确定使用者的视线方向。此外,第1控制部120能够求出使用者的视线方向的变化,也可以检测右眼RE和左眼LE各自的眼球运动。
这里,使用者的视线的移动还能够视作使用者的虚拟视点的移动。
此外,第1控制部120可以从内侧照相机68的拍摄图像数据中提取使用者的右眼RE和左眼LE的眼睑的图像,检测眼睑运动,也可以检测眼睑的状态。在本实施方式中,例示影像显示部20具有一对内侧照相机68、68的结构,但例如也可以将1个内侧照相机68设置于影像显示部20的中央位置。在该情况下,优选地,1个内侧照相机68具有可拍摄右眼RE和左眼LE的视场角,但例如也可以利用内侧照相机68仅拍摄右眼RE或者左眼LE中的一方。即,可以设为第1控制部120检测右眼RE或者左眼LE中的任意一个的视线方向、眼球运动、眼睑运动、眼睑的状态等的结构。
此外,在根据内侧照相机68的拍摄图像检测出右眼RE和左眼LE的视线方向的情况下,第1控制部120能够求出右眼RE和左眼LE的会聚角。会聚角对应于距使用者注视的对象物的距离。即,在使用者立体地看到图像或物体的情况下,右眼RE和左眼LE的会聚角与距所看对象的距离对应地确定。因此,通过检测会聚角,能够求出使用者注视的距离。此外,通过以引导使用者的会聚角的方式显示图像,能够引导立体观察。
[1-3.HMD的各部件的结构]
图4是示出构成HMD 100的各部件的结构的图。
影像显示部20的右显示部22具有右显示部基板210。在右显示部基板210上安装有与连接电缆40连接的右I/F(接口)部211、接收经由右I/F部211而从连接装置10输入的数据的接收部213以及EEPROM 215。右I/F部211将接收部213、EEPROM 215、温度传感器217、照相机61、距离传感器64、照度传感器65和LED指示器67与连接装置10连接。接收部213将OLED单元221与连接装置10连接。
左显示部24具有左显示部基板230。在左显示部基板230上安装有与连接电缆40连接的左I/F部231、以及接收经由左I/F部231而从连接装置10输入的数据的接收部233。此外,在左显示部基板230上安装有6轴传感器235和磁传感器237。
左I/F部231将接收部233、6轴传感器235、磁传感器237和温度传感器239与连接装置10连接。接收部233将OLED单元241与连接装置10连接。
I/F是接口的缩写。EEPROM是Electrically Erasable Programmable Read-OnlyMemory(电可擦除可编程只读存储器)的缩写。OLED是Organic Light Emitting Diode(有机发光二极管)的缩写。另外,在本实施方式中,有时分别将接收部213和接收部233记作Rx213、Rx 233。
EEPROM 215非易失性地存储各种数据。EEPROM 215例如存储与影像显示部20具备的OLED单元221、241的发光特性、显示特性相关的数据、与右显示部22或左显示部24具备的传感器的特性相关的数据等。
具体而言,存储与OLED单元221、241的伽马校正相关的参数、对温度传感器217、239的检测值进行补偿的数据等。这些数据通过HMD 100的工厂出货时的检查而生成,并被写入EEPROM 215中。可由第1控制部120读取EEPROM 215所存储的数据。
照相机61根据经由右I/F部211而输入的信号执行拍摄,将拍摄图像数据输出到右I/F部211。照度传感器65接收外部光,输出与受光量或受光强度对应的检测值。LED指示器67根据经由右I/F部211而输入的控制信号或驱动电流来点亮。
温度传感器217检测OLED单元221的温度,将与检测温度对应的电压值或电阻值作为检测值输出。
距离传感器64执行距离检测,将表示检测结果的信号经由右I/F部211而输出到连接装置10。距离传感器64例如可以使用红外线式深度传感器、超声波式距离传感器、飞行时间(Time Of Flight)式距离传感器、将图像检测与声音检测组合而成的距离检测单元等。此外,也可以采用对能够通过立体照相机、单反照相机的立体拍摄而得到的图像进行处理从而检测距离的结构。
接收部213接收经由右I/F部211而从连接装置10传输的显示用影像数据,并输出到OLED单元221。OLED单元221显示基于连接装置10所传输的影像数据的影像。
此外,接收部233接收经由左I/F部231而从连接装置10传输的显示用影像数据,并输出到OLED单元241。OLED单元221、241显示基于连接装置10所传输的影像数据的影像。
6轴传感器235是具有3轴加速度传感器和3轴陀螺仪传感器的运动传感器。6轴传感器235可以采用对上述的传感器进行了模块化的IMU。磁传感器237例如是3轴的地磁传感器。陀螺仪传感器也称作角速度传感器。IMU是Inertial Measurement Unit(惯性计测装置)的缩写。
温度传感器239检测OLED单元241的温度,将与检测温度对应的电压值或电阻值作为检测值输出。
影像显示部20的各部件利用由连接电缆40从连接装置10供给的电力进行动作。
影像显示部20在右显示部22具有电源部229,在左显示部24具有电源部249。电源部229将连接装置10经由连接电缆40而供给的电力分配并供给至包含右显示部基板210的右显示部22的各部件。同样,电源部249将连接装置10经由连接电缆40而供给的电力分配并供给至包含左显示部基板230的左显示部24的各部件。右显示部22和左显示部24也可以具有转换电压的转换电路等。
连接装置10具有I/F部110、第1控制部120、传感器控制部122、显示控制部124、电源控制部126、非易失性存储部130、操作部140、连接部145和声音处理部147。
I/F部110具有连接器11D。此外,I/F部110具有接口电路,该接口电路与连接器11D连接,执行依照各种通信标准的通信协议。
I/F部110例如也可以是安装有连接器11D和接口电路的接口基板。此外,连接装置10的第1控制部120、传感器控制部122、显示控制部124、电源控制部126也可以构成为安装在未图示的连接装置的主基板上。该情况下,也可以在连接装置的主基板上安装I/F部110的连接器11D和接口电路。
此外,I/F部110例如可以具有能够与外部的存储装置、存储介质连接的存储卡用接口等,也可以由无线通信接口构成I/F部110。
第1控制部120控制连接装置10的各部件。第1控制部120具有如CPU的处理器。CPU是Central Processing Unit(中央处理单元)的缩写。在第1控制部120中,处理器执行控制程序,由此,通过软件与硬件的协作,控制HMD 100的各部件。处理器对应于“计算机”的一例。非易失性存储部130、操作部140、连接部145和声音处理部147与第1控制部120连接。
传感器控制部122对照相机61、距离传感器64、照度传感器65、温度传感器217、6轴传感器235、磁传感器237和温度传感器239进行控制。具体而言,传感器控制部122依照第1控制部120的控制,进行各传感器的采样周期的设定和初始化,并对应于各传感器的采样周期,执行向各传感器的通电、控制数据的发送、检测值的取得等。
传感器控制部122与I/F部110的连接器11D连接,在预先设定的定时,将与从各传感器取得的检测值有关的数据输出到连接器11D。与连接器11D连接的智能手机300能够取得HMD 100的各传感器的检测值、照相机61的拍摄图像数据。在本实施方式中,由传感器控制部122将各传感器的检测值和照相机61的拍摄图像数据输出到智能手机300。
传感器控制部122所输出的数据也可以是包含检测值的数字数据。此外,传感器控制部122也可以输出根据各传感器的检测值进行运算处理后的结果的数据。例如,传感器控制部122对多个传感器的检测值合并进行处理,作为所谓传感器融合处理部发挥功能。通过执行传感器融合,传感器控制部122输出根据传感器的检测值而求出的数据(例如影像显示部20的运动的轨迹数据、影像显示部20的相对坐标数据等)。传感器控制部122也可以具有与智能手机300之间收发与数据的传输有关的各种控制数据的功能,该智能手机300与连接器11D连接。
显示控制部124执行用于由影像显示部20显示基于输入到I/F部110的图像数据、影像数据的图像的各种处理。在本实施方式中,向连接器11D输入智能手机300所输出的影像信号。影像信号是数字影像数据,但是也可以是模拟影像信号。
显示控制部124例如执行帧的剪切、分辨率转换、中间帧生成、帧率转换等各种处理。分辨率转换包含所谓的缩放。显示控制部124将分别与OLED单元221和OLED单元241对应的图像数据输出到连接部145。输入到连接部145的图像数据从连接器11A作为影像信号201被传输到右I/F部211和左I/F部231。影像信号201是分别与OLED单元221和OLED单元241对应地进行处理后的数字影像数据。
例如,在输入到I/F部110的影像数据为3D影像数据的情况下,显示控制部124执行3D影像解码。3D影像包含广义的立体影像。在3D影像解码的处理中,显示控制部124根据3D影像数据生成右眼用的帧和左眼用的帧。输入到I/F部110的3D影像数据的形式例如为左右格式。
在本实施方式中,连接器11D由USB-TypeC连接器构成。显示控制部124经由连接器11D而接收以USB-TypeC的替代模式被传输的影像数据。
这里,将向连接装置10输出由影像显示部20显示的影像信号的装置、或由影像显示部20显示的影像信号称作影像源。在本实施方式中,智能手机300将影像信号输出到连接装置10,因此,将智能手机300称作影像源。
传感器控制部122和/或显示控制部124也可以通过使处理器执行程序,利用软件与硬件的协作来实现。即,传感器控制部122和显示控制部124由处理器构成,通过执行程序,执行上述的动作。在该例子中,传感器控制部122和显示控制部124也可以通过使构成第1控制部120的处理器执行程序来实现。换言之,也可以通过使处理器执行程序,作为第1控制部120、显示控制部124和传感器控制部122发挥功能。这里,处理器可以换言作计算机。
此外,显示控制部124和传感器控制部122也可以由DSP、FPGA等所编程的硬件构成。此外,也可以将传感器控制部122和显示控制部124合并构成为SoC-FPGA。DSP是DigitalSignal Processor(数字信号处理器)的缩写,FPGA是Field Programmable Gate Array(现场可编程门阵列)的缩写,SoC是System-on-a-Chip(片上系统)的缩写。
电源控制部126与连接器11D连接。电源控制部126根据从连接器11D供给的电力,进行对连接装置10的各部件和影像显示部20的电源供给。此外,电源控制部126也可以是具有未图示的电压转换电路、对电压进行转换并供给到连接装置10和影像显示部20的各部件的结构。电源控制部126也可以由逻辑电路、FPGA等所编程的半导体器件构成。此外,也可以通过与传感器控制部122和/或显示控制部124共用的硬件构成电源控制部126。
传感器控制部122、显示控制部124和电源控制部126可以具备用于进行数据处理的工作存储器,也可以利用第1控制部120的存储器进行处理。
操作部140检测对连接装置10具备的被操作部的操作,将表示操作内容的数据或表示所操作的被操作部的操作信号输出到第1控制部120。
声音处理部147依照从第1控制部120输入的声音数据生成声音信号,并输出到连接部145。该声音信号从连接部145经由音频连接器36被输出到右耳机32和左耳机34。此外,声音处理部147依照第1控制部120的控制,调整声音信号的音量。此外,声音处理部147生成麦克风63收集到的声音的声音数据,并输出到第1控制部120。也可以由第1控制部120以与影像显示部20具备的传感器的检测值同样的方式,对该声音数据进行处理。
此外,连接装置10也可以是具有未图示的电池、并从该电池向连接装置10和影像显示部20的各部件供给电力的结构。连接装置10具备的电池也可以是可充电的二次电池。
[1-4.智能手机的结构]
图5是示出HMD 100的第1控制部120和智能手机300的结构的图。
智能手机300具有第2控制部310、非易失性存储部320、显示部330、I/F部341和通信部345。
第2控制部310具有CPU、微型计算机等处理器,通过由该处理器执行程序,对智能手机300的各部件进行控制。第2控制部310也可以具有非易失性地存储处理器执行的控制程序的ROM、和构成处理器的工作区的RAM。处理器对应于所谓的“计算机”的一例。ROM是Read Only Memory(只读存储器)的缩写,RAM是Random Access Memory(随机存取存储器)的缩写。
非易失性存储部320非易失性地存储由第2控制部310执行的程序、第2控制部310所处理的数据。非易失性存储部130例如是HDD等磁记录装置或者使用闪存等半导体存储元件的存储装置。HDD是Hard Disk Drive(硬盘驱动器)的缩写。
非易失性存储部320例如存储包含影像的内容的内容数据321。内容数据321是能够由第2控制部310进行处理的格式的文件,也可以包含影像数据,并包含声音数据。
此外,非易失性存储部320存储作为第2控制部310执行的基本控制程序的操作系统(OS)、以OS为平台进行动作的应用程序等。此外,非易失性存储部320存储在执行应用程序时被处理的数据、处理结果的数据。OS是Operating System(操作系统)的缩写。
显示部330具备的显示面板331和触摸传感器332与第2控制部310连接。显示面板331根据第2控制部310的控制,显示各种图像。显示面板331例如由LCD(Liquid CrystalDisplay:液晶显示器)构成。显示面板331对应于“第2显示部”的一例。
触摸传感器332检测触摸操作,将表示检测出的操作的数据输出到第2控制部310。触摸传感器332所输出的数据是表示触摸传感器332中的操作位置的坐标数据等。
I/F部341是与外部装置连接的接口,相当于本发明的输出部。I/F部341执行依照例如HDMI接口、USB接口等标准的通信。I/F部341具有与USB电缆46连接的连接器、和对在连接器中传输的信号进行处理的接口电路。I/F部341是具有连接器和接口电路的接口基板,与安装有第2控制部310的处理器等的主基板连接。或者,构成I/F部341的连接器和接口电路被安装在智能手机300的主基板上。
在本实施方式中,I/F部341具有USB接口,通过USB电缆46与连接器11D连接。第2控制部310例如通过USB电缆46输出影像数据,从连接装置10接收与传感器的输出值有关的数据等。
此外,I/F部341也可以是无线通信接口。该情况下,I/F部341可以设为安装有包含RF部的通信电路的接口基板、或者安装在主基板上的电路。
通信部345是与外部装置之间执行数据通信的通信接口。通信部345可以是能够与电缆连接的有线通信接口,也可以是无线通信接口。例如,还可以是与Ethernet(注册商标)对应的有线LAN接口、与IEEE802.11标准对应的无线LAN接口。
此外,通信部345例如是通过无线电话线路与其他智能手机连接的通信接口。
第2控制部310具有第2显示控制部311、检测部312、受理部313和发送部315。具体而言,通过使第2控制部310具备的处理器执行控制程序,第2控制部310作为第2显示控制部311、检测部312、受理部313和发送部315发挥功能。
第2显示控制部311再现内容数据321,将与内容数据321所包含的影像数据对应的图像显示在显示部330的显示面板331上。关于图像,在后述参照图6~图8进行说明。
此外,第2显示控制部311将操作菜单图像显示在显示部330的显示面板331上。在使用者调整图像的明亮度等的情况下,显示操作菜单图像。具体而言,第2显示控制部311使操作菜单图像的位置与和分割位置对应的位置分开。操作菜单图像对应于“调整对象”的一例。分割位置位于右图像与左图像的边界。右图像表示由HMD 100的右显示部22显示的图像。左图像表示由HMD 100的左显示部24显示的图像。关于操作菜单图像、分割位置、右图像和左图像,在后述参照图6~图8进行说明。
此外,第2显示控制部311根据检测部312的检测结果,使显示在显示部330上的图像的亮度减小为低于所设定的亮度。具体而言,在检测部312检测出与HMD 100连接的情况下,第2显示控制部311使显示在显示部330上的图像的亮度减小为低于所设定的亮度。在以下的说明中,有时将“所设定的亮度”记作“通常状态的亮度”。
更具体而言,第2显示控制部311通过将一定浓度的图像叠加于图像,来减小显示在显示部330上的图像的亮度。在以下的说明中,有时将“一定浓度的图像”记作“暗图像”。“暗图像”具体而言是一定浓度的灰色的图像。即,第2显示控制部311通过将形成有暗图像的层虚拟地重叠于显示在显示部330上的图像的上层,减小显示在显示部330上的图像的亮度。
检测部312对已与HMD 100相连接进行检测。具体而言,检测部312通过检测出I/F部341的连接器与HMD 100的连接器11D连接,检测出与HMD 100连接。
受理部313受理使用者的输入。具体而言,受理部313经由显示部330的触摸传感器332受理使用者的操作输入。
发送部315将与第2显示控制部311显示在显示部330的显示面板331上的图像对应的图像数据发送到HMD 100。
智能手机300输出到连接装置10的影像数据除了对内容数据321进行再现后的影像数据以外,还能够采用与智能手机300利用显示部330的显示面板331显示的图像对应的影像数据。该情况下,HMD 100显示与显示面板331相同的图像,进行所谓的“镜像显示”。
[1-5.HMD的第1控制部的结构]
HMD 100的第1控制部120具有第1显示控制部121和接收部123。具体而言,通过使第1控制部120具备的处理器执行控制程序,第1控制部120作为第1显示控制部121和接收部123发挥功能。
接收部123从智能手机300接收图像。具体而言,接收部123接收智能手机300的发送部315所发送的图像。即,接收部123接收与内容数据321所包含的影像数据对应的图像。换言之,接收部123接收显示部330所显示的图像。
第1显示控制部121通过将接收部123接收到的图像在所设定的分割位置处进行分割,形成多个分割图像。然后,第1显示控制部121使影像显示部20显示各个分割图像。
具体而言,第1显示控制部121通过将接收部123接收到的图像在所设定的分割位置处进行分割,生成右图像和左图像。右图像和左图像对应于“分割图像”的一例。然后,第1显示控制部121使右显示部22显示右图像,使左显示部24显示左图像。
更具体而言,第1显示控制部121将右图像经由右I/F部211传输到OLED单元221,使OLED单元221显示右图像。此外,第1显示控制部121将左图像经由左I/F部231传输到OLED单元241,使OLED单元241显示左图像。
[2.使用具体例的控制部的处理的说明]
图6~图8分别是示出智能手机300具备的显示部330的显示面板331所显示的图像PT、HMD 100的右显示部22所显示的右图像RP和HMD 100的左显示部24所显示的左图像LP的图。
在图6~图8的各图中,在上段示出图像PT的一例,在下段的右部示出右图像RP的一例,在下段的左部示出左图像LP的一例。
另外,在图6~图8中,对设定成使第1显示控制部121将接收部123接收到的图像在分割位置处进行分割的情况进行说明。
图6是示出智能手机300和HMD 100所显示的图像的一例的图。图6中记载了智能手机300具备的显示部330所显示的图像PT1、HMD 100的右显示部22所显示的右图像RP1和HMD100的左显示部24所显示的左图像LP1。
图像PT1是与左右格式的3D影像数据对应的图像。图像PT1包含右图像RP1、左图像LP1和边界线图像PCL。右图像RP1包含操作菜单图像PC。图像PT1由第2显示控制部311显示在显示部330上。
第2显示控制部311将操作菜单图像PC显示在图像PT1的右上区域中。此外,第2显示控制部311使得呈纵长地显示操作菜单图像PC。即,第2显示控制部311以使操作菜单图像PC在上下方向上的尺寸大于操作菜单图像PC在左右方向上的尺寸的方式显示操作菜单图像PC。操作菜单图像PC对应于“调整对象”的一例。
具体而言,在受理部313经由触摸传感器332而受理了使用者的操作输入的情况下,第2显示控制部311将操作菜单图像PC显示在显示部330上。使用者的操作输入例如是显示部330的点击操作。
在受理部313未经由触摸传感器332受理使用者的操作输入的情况下,第2显示控制部311不将操作菜单图像PC显示在显示部330上。例如,在从受理部313受理了使用者的操作输入的时刻起,受理部313持续第2规定时间以上未受理使用者的操作输入的情况下,第2显示控制部311隐藏显示部330所显示的操作菜单图像PC。第2规定时间例如为30秒。
操作菜单图像PC包含亮度调整图标PC1、音量调整图标PC2、分割调整图标PC3和其他调整图标PC4。在调整图像PT1的明亮度的情况下,由使用者点击亮度调整图标PC1。在点击了亮度调整图标PC1的情况下,例如,显示调整亮度的滑动条。使用者能够通过滑动滑动条的旋钮来调整亮度。
在调整从右耳机32和左耳机34输出的音量的情况下,由使用者点击音量调整图标PC2。在点击了音量调整图标PC2的情况下,例如,显示调整音量的滑动条。关于调整音量的滑动条,在后述参照图8进行说明。
在对第1显示控制部121是否分割接收部123接收到的图像PT进行切换的情况下,由使用者点击分割调整图标PC3。
具体而言,在设定成第1显示控制部121对图像PT进行分割的状态下点击了分割调整图标PC3的情况下,第2控制部310切换到第1显示控制部121不对图像PT进行分割的设定。在设定成第1显示控制部121不对图像PT进行分割的状态下点击了分割调整图标PC3的情况下,第2控制部310的第1显示控制部121切换到对图像PT进行分割的设定。
在第1显示控制部121为对图像进行分割的设定的情况下,第1显示控制部121通过将接收部123接收到的图像PT在所设定的分割位置处进行分割,生成右图像RP和左图像LP。而且,第1显示控制部121使右显示部22显示右图像RP,使左显示部24显示左图像LP。
另外,在第1显示控制部121为不对图像PT进行分割的设定的情况下,第1显示控制部121使右显示部22和左显示部24分别显示接收部123接收到的图像PT。
在执行其他调整的情况下,由使用者点击其他调整图标PC4。其他调整是指除了图像PT1的亮度调整、音量调整和是否对图像PT进行分割的设定以外的调整。其他调整例如包含图像PT1的色调的调整。在点击了其他调整图标PC4的情况下,第2显示控制部311将用于进行其他调整的图像显示在显示部330上。
右图像RP1包含表示潜水员的图像PDR。左图像LP1包含表示潜水员的图像PDL。在右图像RP1显示在HMD 100的右显示部22上、左图像LP1显示在HMD 100的左显示部24上时,形成有图像PDR和图像PDL,使得使用者三维地看到潜水员。换言之,图像PT1是与左右格式的3D影像数据对应的图像。因此,在右图像RP1显示在HMD 100的右显示部22上、左图像LP1显示在HMD 100的左显示部24上时,使用者可以三维地看到潜水员。
边界线图像PCL在图像PT1中配置于中心线CL的位置。边界线图像PCL的位置对应于“所设定的分割位置”的一例。中心线CL表示图像PT1在左右方向的中心位置。
HMD 100的第1控制部120的第1显示控制部121通过将图像PT1在边界线图像PCL的位置处进行分割,生成右图像RP1和左图像LP1。然后,第1显示控制部121使右显示部22显示右图像RP1,使左显示部24显示左图像LP1。
此外,右图像RP1包含操作菜单图像PC,右图像RP1由第1显示控制部121显示在右显示部22上。因此,使用者能够用右眼看到操作菜单图像PC。
图7是示出智能手机300和HMD 100所显示的图像的另一例的图。图7中记载了智能手机300具备的显示部330所显示的图像PT2、HMD 100的右显示部22所显示的右图像RP2和HMD 100的左显示部24所显示的左图像LP2。
图6所示的图像PT1是与左右格式的3D影像数据对应的图像,与此相对,图7所示的图像PT2是与2D影像数据对应的图像,该方面不同。以下,对与图6相同的方面省略说明,主要说明与图6不同的方面。
图像PT2不是与左右格式的3D影像数据对应的图像,因此,图像PT2不包含边界线图像PCL。
图像PT2包含操作菜单图像PC。第2显示控制部311使得将操作菜单图像PC显示在图像PT2的右上区域中。此外,第2显示控制部311使得呈纵长地显示操作菜单图像PC。图像PT包含表示潜水员的图像PD。
另外,在本实施方式中,第2显示控制部311将操作菜单图像PC显示在图像PT2的右上区域中,但是,第2显示控制部311也可以将操作菜单图像PC显示在图像PT2的右区域中。此外,在第2显示控制部311将与操作菜单图像PC不同的其他调整对象显示在图像PT2上的情况下,第2显示控制部311使得以不与其他调整对象重叠的方式显示操作菜单图像PC。
由于设定成第1显示控制部121在分割位置处进行分割,所以图像PT2被如下处理。即,HMD 100的第1控制部120的第1显示控制部121通过将图像PT2在中心线CL的位置处进行分割,生成右图像RP2和左图像LP2。然后,第1显示控制部121使右显示部22显示右图像RP2,使左显示部24显示左图像LP2。中心线CL表示图像PT2在左右方向的中心位置。
表示潜水员的图像PD由表示潜水员的上半身部分的第1图像PD1和表示潜水员的下半身部分的第2图像PD2构成。右图像RP2包含第1图像PD1和操作菜单图像PC。左图像LP2包含第2图像PD2。
图8是示出智能手机300和HMD 100所显示的图像的再一例的图。图8中记载了智能手机300具备的显示部330所显示的图像PT1、HMD 100的右显示部22所显示的右图像RP1和HMD 100的左显示部24所显示的左图像LP1。
图6所示的图像PT1包含操作菜单图像PC,图8所示的图像PT1在替代操作菜单图像PC而包含音量调整图像PS的方面与图6不同。以下,对与图6相同的方面省略说明,主要说明与图6不同的方面。
图像PT1是与左右格式的3D影像数据对应的图像。图像PT1包含右图像RP1、左图像LP1和边界线图像PCL。右图像RP1包含音量调整图像PS。图像PT1由第2显示控制部311显示在显示部330上。
在由使用者点击了图6所示的操作菜单图像PC的音量调整图标PC2的情况下,音量调整图像PS由第2显示控制部311显示在显示部330上。
第2显示控制部311将音量调整图像PS显示在图像PT1的右上区域中。此外,第2显示控制部311呈横长地显示音量调整图像PS。即,第2显示控制部311以使音量调整图像PS在上下方向上的尺寸小于音量调整图像PS在左右方向上的尺寸的方式显示音量调整图像PS。音量调整图像PS对应于“调整对象”的一例。此外,音量调整图像PS对应于“滑动条对象”的一例。
音量调整图像PS包含音量图像PS1、滑动条图像PS2、旋钮图像PS3和音量显示图像PS4。
音量图像PS1表示用于调整音量的滑动条。滑动条图像PS2表示在左右方向上延伸的滑动条。旋钮图像PS3表示旋钮。旋钮图像PS3构成为能够沿着滑动条图像PS2在左右方向上移动。音量显示图像PS4表示所设定的音量的级别。
使用者在增大音量的情况下,使旋钮图像PS3朝右方滑动。在进行了该操作的情况下,第2显示控制部311使旋钮图像PS3朝右方移动而显示,使音量显示图像PS4朝右方延伸而显示。而且,第2控制部310以使智能手机300输出到连接装置10的声音数据的音量增大的方式,调整声音数据。另外,第2控制部310也可以向连接装置10发送旨在增大音量的命令信息。
此外,使用者在减小音量的情况下,使旋钮图像PS3朝左方滑动。在进行了该操作的情况下,第2显示控制部311使旋钮图像PS3朝左方移动而显示,使音量显示图像PS4朝左方收缩而显示。而且,第2控制部310以使智能手机300输出到连接装置10的声音数据的音量减小的方式,调整声音数据。另外,第2控制部310也可以向连接装置10发送旨在减小音量的命令信息。
此外,右图像RP1包含音量调整图像PS,右图像RP1由第1显示控制部121显示在右显示部22上。因此,使用者能够用右眼看到音量调整图像PS。
在本实施方式中,作为滑动条对象的一例,记载了音量调整图像PS,但是不限定于此。滑动条对象也可以是调整影像的再现位置的对象。该情况下,滑动条对象对应于所谓的“进度条”的一例。
图9是示出智能手机300所显示的图像的又一例的图。图9示出在智能手机300与HMD 100连接的情况下第2控制部310显示在显示部330上的图像。
在显示部330的上部设定有通知显示区域AR。在通知显示区域AR中显示有来自智能手机300正在执行的应用软件等的各种消息。在通知显示区域AR中显示有第1消息图像MG1、第2消息图像MG2和第3消息图像MG3。
由第2显示控制部311显示第1消息图像MG1。第1消息图像MG1示出智能手机300正与HMD 100连接、以及在显示操作菜单图像PC的情况下点击第1消息图像MG1。
具体而言,在第1消息图像MG1上显示有“与HMD连接中……”的字符图像,使用者可知智能手机300正与HMD 100连接。此外,在第1消息图像MG1上显示有“请在显示操作菜单的情况下点击。”的字符图像,使用者可知在显示操作菜单图像PC的情况下点击第1消息图像MG1。
根据来自应用软件的指示,由第2显示控制部311显示第2消息图像MG2。在第2消息图像MG2上显示有“上田市的天气:多云,气温:5℃”的字符图像。
根据来自OS的指示,由第2显示控制部311显示第3消息图像MG3。在第3消息图像MG3上显示有“系统:3个应用正在后台执行。”的字符图像。
[3.第2控制部的处理的说明]
图10和图11是示出智能手机300的第2控制部310的处理的流程图。
首先,如图10所示,在步骤SA101中,检测部312判定是否检测出与HMD 100连接。
在检测部312判定为未检测出与HMD 100连接的情况下(步骤SA101:否),处理成为等待状态。在检测部312判定为检测出与HMD 100连接的情况下(步骤SA101:是),处理进入步骤SA103。
然后,在步骤SA103中,第2显示控制部311使显示部330显示表示与HMD 100连接的连接消息。具体而言,第2显示控制部311使显示部330显示图9所示的第1消息图像MG1。
接着,在步骤SA105中,第2控制部310与HMD 100的连接装置10之间建立基于USB标准的通信。具体而言,第2控制部310能够向HMD 100的连接装置10发送影像数据并供给电力。此外,第2控制部310能够从HMD 100的连接装置10接收操作数据。在由使用者操作了连接装置10的操作部140的情况下,从连接装置10向第2控制部310送出操作数据。
接着,在步骤SA107中,第2控制部310开始内容数据321的再现处理。然后,第2显示控制部311将图像PT显示在显示部330上,发送部315将与图像PT对应的图像数据发送到HMD100。
接着,在步骤SA109中,第2控制部310执行“第1亮度调整处理”。“第1亮度调整处理”是如下处理:在受理部313未受理使用者的输入的情况下,使第2显示控制部311将显示在显示部330上的图像的亮度减小为低于所设定的亮度。关于“第1亮度调整处理”,在后述参照图12进行说明。
接着,在步骤SA111中,第2控制部310检测是否经由显示部330的触摸传感器332检测出第1消息图像MG1的点击。在第2控制部310判定为未检测出第1消息图像MG1的点击的情况(步骤SA111:否)下,处理进入步骤SA129。在第2控制部310判定为检测出第1消息图像MG1的点击的情况下(步骤SA111:是),处理进入步骤SA113。
然后,在步骤SA113中,第2显示控制部311将操作菜单图像PC配置于图像PT的右上区域,将操作菜单图像PC显示在显示部330上。
接着,在步骤SA115中,第2控制部310判定是否经由显示部330的触摸传感器332检测出操作菜单图像PC所包含的多个图标中的任意一个的点击。多个图标例如是亮度调整图标PC1、音量调整图标PC2、分割调整图标PC3和其他调整图标PC4。
在第2控制部310判定为检测出操作菜单图像PC所包含的多个图标中的任意一个的点击的情况下(步骤SA115:是),处理进入图11所示的步骤SA201。在第2控制部310判定为未检测出操作菜单图像PC所包含的多个图标中的任意一个的点击的情况下(步骤SA115:否),处理进入步骤SA117。
然后,在步骤SA117中,第2显示控制部311判定在将操作菜单图像PC显示在显示部330上之后是否经过了第2规定时间。第2规定时间例如为30秒。
在第2显示控制部311判定为在将操作菜单图像PC显示在显示部330上之后未经过第2规定时间的情况下(步骤SA117:否),处理返回步骤SA115。在第2显示控制部311判定为在将操作菜单图像PC显示在显示部330上之后经过了第2规定时间的情况下(步骤SA117:是),处理进入步骤SA119。
然后,在步骤SA119中,第2显示控制部311隐藏操作菜单图像PC。
接着,在步骤SA121中,第2控制部310判定是否检测出HMD 100的音量调整键15或音量调整键16的操作。具体而言,第2控制部310判定是否从HMD 100的连接装置10接收到与音量调整键15或音量调整键16的操作对应的操作数据。
在第2控制部310判定为检测出HMD 100的音量调整键15或音量调整键16的操作的情况下(步骤SA121:是),处理进入步骤SA123。
然后,第2控制部310执行第2音量调整处理。具体而言,第2控制部310根据HMD 100的音量调整键15或音量调整键16的操作,调整从右耳机32和左耳机34输出的声音的音量。更具体而言,在接收到音量调整键15的操作数据的情况下,第2控制部310增大从右耳机32和左耳机34输出的声音的音量。此外,在接收到音量调整键16的操作数据的情况下,第2控制部310减小从右耳机32和左耳机34输出的声音的音量。
在第2控制部310判定为未检测出HMD 100的音量调整键15或音量调整键16的操作的情况下(步骤SA121:否),处理进入步骤SA125。
然后,在步骤SA125中,第2控制部310判定是否检测出HMD 100的亮度调整键13或亮度调整键14的操作。具体而言,第2控制部310判定是否从HMD 100的连接装置10接收到与亮度调整键13或亮度调整键14的操作对应的操作数据。
在第2控制部310判定为检测出HMD 100的亮度调整键13或亮度调整键14的操作的情况下(步骤SA125:是),处理进入步骤SA127。
然后,在步骤SA127中,第2控制部310执行第3亮度调整处理。具体而言,第2控制部310根据HMD 100的亮度调整键13或亮度调整键14的操作,调整显示在右显示部22和左显示部24上的图像PT的亮度。更具体而言,在接收到亮度调整键13的操作数据的情况下,第2控制部310增大显示在右显示部22和左显示部24上的图像PT的亮度。此外,在接收到亮度调整键14的操作数据的情况下,第2控制部310减小显示在右显示部22和左显示部24上的图像PT的亮度。
在第2控制部310判定为未检测出HMD 100的亮度调整键13或亮度调整键14的操作的情况下(步骤SA125:否),处理进入步骤SA129。
然后,在步骤SA129中,检测部312判定是否检测出HMD 100的切断。
在检测部312判定为未检测出HMD 100的切断的情况下(步骤SA129:否),处理返回步骤SA109。在检测部312判定为检测出HMD 100的切断的情况下(步骤SA129:是),处理结束。
在第2控制部310判定为检测出操作菜单图像PC所包含的多个图标中的任意一个的点击的情况下(步骤SA115:是),如图11所示,执行以下的处理。
即,首先,在步骤SA201中,第2控制部310判定是否检测出亮度调整图标PC1的点击。
在第2控制部310判定为检测出亮度调整图标PC1的点击的情况下(步骤SA201:是),处理进入步骤SA203。
然后,在步骤SA203中,第2显示控制部311执行第3亮度调整处理,然后,处理返回图10的步骤SA117。具体而言,第2显示控制部311在显示部330上显示亮度调整图像,并与亮度调整图像的操作对应地调整显示在右显示部22和左显示部24上的图像PT的亮度。亮度调整图像通过与图8所示的音量调整图像PS相同的方式显示。
在第2控制部310判定为未检测出亮度调整图标PC1的点击的情况下(步骤SA201:否),处理进入步骤SA205。
然后,在步骤SA205中,第2控制部310判定是否检测出音量调整图标PC2的点击。
在第2控制部310判定为检测出音量调整图标PC2的点击的情况下(步骤SA205:是),处理进入步骤SA207。
然后,在步骤SA207中,第2控制部310执行第1音量调整处理,然后,处理返回图10的步骤SA117。具体而言,第2控制部310将音量调整图像PS显示在显示部330上,与音量调整图像PS的操作对应地调整从右耳机32和左耳机34输出的音量。
在第2控制部310判定为未检测出音量调整图标PC2的点击的情况下(步骤SA205:否),处理进入步骤SA209。
然后,在步骤SA209中,第2控制部310判定是否检测出分割调整图标PC3的点击。
在第2控制部310判定为检测出分割调整图标PC3的点击的情况下(步骤SA209:是),处理进入步骤SA211。
然后,在步骤SA211中,第2控制部310执行分割切换处理,然后,处理返回图10的步骤SA117。具体而言,在第1显示控制部121处于被设定成对图像PT进行分割的状态的情况下,第2控制部310切换到第1显示控制部121不对图像PT进行分割的设定。在第1显示控制部121处于被设定成不对图像PT进行分割的状态的情况下,第2控制部310切换到第1显示控制部121对图像PT进行分割的设定。
在第2控制部310判定为未检测出分割调整图标PC3的点击的情况下(步骤SA209:否),处理返回图10的步骤SA117。
图12是示出第2控制部310的“第1亮度调整处理”的流程图。
在图10的步骤SA109中执行以下说明的“第1亮度调整处理”。
首先,在步骤SA301中,受理部313判定是否经由显示部330的触摸传感器332而受理了使用者的操作输入。
在受理部313判定为未受理使用者的操作输入的情况下(步骤SA301:否),处理进入步骤SA307。在受理部313判定为受理了使用者的操作输入的情况下(步骤SA301:是),处理进入步骤SA303。
然后,在步骤SA303中,第2显示控制部311判定亮度是否处于暗状态。这里,“亮度处于暗状态”表示通过将形成有一定浓度的灰色图像的层虚拟地重叠于显示在显示部330上的图像PT的上层而减小了显示在显示部330上的图像的亮度的状态。
在第2显示控制部311判定为亮度不处于暗状态的情况下(步骤SA303:否),处理进入图10的步骤SA111。在第2显示控制部311判定为亮度处于暗状态的情况下(步骤SA303:是),处理进入步骤SA305。
然后,在步骤SA305中,第2显示控制部311通过不显示暗图像,使显示在显示部330上的图像PT的亮度返回通常状态的亮度,然后,处理进入图10的步骤SA111。
在受理部313判定为未受理使用者的操作输入的情况下(步骤SA301:否),在步骤SA307中,第2显示控制部311判定从受理部313受理了使用者的操作输入起是否经过了第1规定时间。第1规定时间例如为10秒。
在第2显示控制部311判定为从受理部313受理了使用者的操作输入起未经过第1规定时间的情况下(步骤SA307:否),处理进入图10的步骤SA111。在第2显示控制部311判定为从受理部313受理了使用者的操作输入起经过了第1规定时间的情况下(步骤SA307:是),处理进入步骤SA309。
然后,在步骤SA309中,第2显示控制部311通过将形成有暗图像的层虚拟地重叠于显示在显示部330上的图像PT的上层,减小显示在显示部330上的图像PT的亮度。然后,处理进入图10的步骤SA111。
[4.第1控制部的处理的说明]
图13是示出HMD 100的第1控制部120的处理的流程图。
首先,在步骤SB101中,第1控制部120判定是否检测出与智能手机300的连接。
在第1控制部120判定为未检测出与智能手机300的连接的情况下(步骤SB101:否),处理成为等待状态。在第1控制部120判定为检测出与智能手机300的连接的情况下(步骤SB101:是),处理进入步骤SB103。
然后,在步骤SB103中,第1控制部120执行HMD 100的启动处理。
接着,在步骤SB105中,第1控制部120与智能手机300之间建立基于USB标准的通信。
接着,在步骤SB107中,接收部123从智能手机300接收图像。
接着,在步骤SB109中,第1显示控制部121判定是否设定成使第1显示控制部121对接收到的图像PT进行分割。
在第1显示控制部121判定为未设定成使第1显示控制部121对接收到的图像PT进行分割的情况下(步骤SB109:否),处理进入步骤SB117。在第1显示控制部121判定为设定成使第1显示控制部121对接收到的图像PT进行分割的情况下(步骤SB109:是),处理进入步骤SB111。
然后,在步骤SB111中,第1显示控制部121通过将图像PT在所设定的分割位置处进行分割,生成右图像RP和左图像LP。
接着,在步骤SB113中,第1显示控制部121使右显示部22显示右图像RP。
接着,在步骤SB115中,第1显示控制部121使左显示部24显示左图像LP,处理进入步骤SB121。
在第1显示控制部121判定为未设定成使第1显示控制部121对接收到的图像PT进行分割的情况下(步骤SB109:否),在步骤SB117中,第1显示控制部121使右显示部22显示图像PT。
接着,在步骤SB119中,第1显示控制部121使左显示部24显示图像PT。
接着,在步骤SB121中,第1控制部120判定是否检测出音量调整键15或音量调整键16的操作。
在第1控制部120判定为检测出音量调整键15或音量调整键16的操作的情况下(步骤SB121:是),处理进入步骤SB123。
然后,在步骤SB123中,第1控制部120将表示音量调整键15或音量调整键16的操作的操作数据发送到智能手机300。
在第1控制部120判定为未检测出音量调整键15或音量调整键16的操作的情况下(步骤SB121:否),处理进入步骤SB125。
然后,在步骤SB125中,第1控制部120判定是否检测出亮度调整键13或亮度调整键14的操作。
在第1控制部120判定为未检测出亮度调整键13或亮度调整键14的操作的情况下(步骤SB125:否),处理进入步骤SB129。
在第1控制部120判定为检测出亮度调整键13或亮度调整键14的操作的情况下(步骤SB125:是),处理进入步骤SB127。
然后,在步骤SB127中,第1控制部120将表示亮度调整键13或亮度调整键14的操作的操作数据发送到智能手机300。
接着,在步骤SB129中,第1控制部120判定是否检测出与智能手机300的切断。另外,“与智能手机300的切断”表示与智能手机300之间的连接的解除。
在第1控制部120判定为未检测出与智能手机300的切断的情况下(步骤SB129:否),处理返回步骤SB107。在第1控制部120判定为检测出与智能手机300的切断的情况下(步骤SB129:是),处理结束。
图10的步骤SA113对应于“配置步骤”的一例,图10的步骤SA107对应于“发送步骤”的一例。图13的步骤SB107对应于“接收步骤”的一例,图13的步骤SB111、步骤SB113和步骤SB115对应于“显示步骤”的一例。
[5.本实施方式的效果]
如以上所说明那样,在本实施方式中,在HMD 100中,接收部123从智能手机300接收图像PT。而且,第1显示控制部121通过将图像PT在所设定的分割位置处进行分割,形成2个分割图像,使影像显示部20显示各个分割图像。另外,分割位置例如为中心线CL的位置。2个分割图像为右图像RP和左图像LP。第1显示控制部121使右显示部22显示基于一个分割图像数据的图像、即右图像RP,使左显示部24显示基于另一个分割图像数据的图像、即左图像LP。此外,在智能手机300中,发送部315将与图像PT对应的图像数据发送到HMD 100。而且,第2显示控制部311将调整图像PT的调整对象包含在图像PT中,使调整对象的位置与和分割位置对应的位置分开。调整对象例如为操作菜单图像PC。
因此,在显示在HMD上的图像PT中将操作菜单图像PC那样的调整对象配置于恰当的位置。因此,能够抑制使用者的操作性的下降。此外,在图像PT为与左右格式的3D影像数据对应的图像的情况下,使用者能够看到与3D影像数据对应的3D图像。因此,能够提高使用者的便利性。
此外,本实施方式的显示系统1的控制方法、智能手机300和智能手机300的控制程序能够获得与上述相同的效果。
此外,发送部315将显示在智能手机300的显示部330上的图像PT发送到HMD 100。
因此,能够将与显示在HMD 100的影像显示部20上的多个分割图像对应的图像PT显示在显示部330上。因此,使用者能够通过智能手机300的显示部330看到图像PT。其结果,能够提高使用者的操作性。
此外,智能手机300的第2显示控制部311将操作菜单图像PC那样的调整对象显示在图像PT的右区域中。
一般而言,使用者注视的程度在图像PT的左上区域最高,并且按照右上区域、左下区域、右下区域的顺序减小。因此,由于将操作菜单图像PC那样的调整对象显示在图像PT的右区域中,所以使用者能够以恰当的关注度看到调整对象。因此,能够提高使用者的操作性。
此外,智能手机300的第2显示控制部311将操作菜单图像PC那样的调整对象显示在图像PT的右上区域中。
一般而言,使用者关注的程度在图像PT的左上区域最高,并且按照右上区域、左下区域、右下区域的顺序减小。因此,由于将操作菜单图像PC那样的调整对象显示在图像PT的右上区域中,所以使用者能够以更加恰当的关注度看到调整对象。因此,能够提高使用者的操作性。
此外,智能手机300的第2显示控制部311使得以不与其他调整对象重叠的方式显示操作菜单图像PC那样的调整对象。
因此,能够抑制由于与其他调整对象重叠地显示调整对象而引起的调整对象的操作性的下降。
此外,智能手机300的第2显示控制部311使得呈纵长地显示操作菜单图像PC那样的调整对象。
一般而言,图像PT中的、重要图像配置于图像的左右方向上的中央部。因此,由于呈纵长地显示操作菜单图像PC那样的调整对象,所以能够使调整对象与图像PT中的重要图像分开而例如配置于图像PT的右上区域。因此,能够抑制使用者的图像PT的可视性的下降。
此外,在受理部313受理了输入的情况下,智能手机300的第2显示控制部311使得显示操作菜单图像PC那样的调整对象。此外,在受理部313未受理输入的情况下,第2显示控制部311使得不显示操作菜单图像PC那样的调整对象。
因此,在受理部313受理了输入的情况下,显示操作菜单图像PC那样的调整对象,因此,使用者能够对操作菜单图像PC那样的调整对象进行操作。此外,在受理部313未受理输入的情况下,第2显示控制部311不显示操作菜单图像PC那样的调整对象,因此,能够抑制由于调整对象引起的图像PT的可视性的下降。
此外,在检测部312检测出与HMD 100连接的情况下,智能手机300的第2显示控制部311将显示在显示部330上的图像PT的亮度减小到低于所设定的亮度。
因此,能够减少由于显示部330中的图像PT的显示引起的智能手机300的电池消耗。因此,能够抑制智能手机300的电池剩余量的下降。
此外,智能手机300的第2显示控制部311通过将形成有暗图像的层虚拟地重叠于显示在显示部330上的图像的上层,第2显示控制部311减小显示在显示部330上的图像的亮度。
因此,能够通过简单的处理减小显示在显示部330上的图像的亮度。此外,通过虚拟地去除形成有暗图像的层,能够通过简单的处理恢复显示在显示部330上的图像的亮度。
此外,调整对象包含滑动条对象。参照图8而说明的音量调整图像PS对应于滑动条对象的一例。滑动条对象包含沿着图像PT的左右方向延伸的滑动条图像。
因此,能够确保基于滑动条对象的音量调整等操作的操作性。
[6.其他实施方式]
本发明不限于上述实施方式的结构,能够在不脱离其宗旨的范围内以各种方式来实施。
例如,在本实施方式中,分割位置是中心线CL的位置,但是,不限定于此。例如,分割位置也可以是图像PT在上下方向上的中心位置。
此外,在本实施方式中,智能手机300的第2显示控制部311将操作菜单图像PC那样的调整对象显示在图像PT的右上区域中,但是,不限定于此。智能手机300的第2显示控制部311使操作菜单图像PC那样的调整对象的位置与和图像PT的分割位置对应的位置分开即可。例如,第2显示控制部311可以将操作菜单图像PC显示在图像PT的右区域中,也可以显示在左区域中。换言之,第2显示控制部311以不与中心线CL的位置重叠的方式配置操作菜单图像PC即可。
此外,在本实施方式中,智能手机300的第2显示控制部311将图像PT显示在显示部330上,但是,不限定于此。智能手机300的第2显示控制部311也可以与HMD 100中的错误的发生对应地,将表示错误的发生的错误图像显示在显示部330上。即,第2显示控制部311也可以替代图像PT显示错误图像,或者除了图像PT以外,还显示错误图像。
另外,错误例如表示HMD 100的温度达到规定的阈值以上。此外,该情况下,错误图像是如“HMD达到高温,因此,使功能停止。请稍后再试。”的字符图像。
因此,能够利用智能手机300的显示部330确认HMD 100中的错误的发生。因此,能够提高用户的便利性。
此外,在本实施方式中,智能手机300的第2显示控制部311使得呈纵长地显示操作菜单图像PC那样的调整对象,但是,不限定于此。第2显示控制部311也可以呈横长地显示操作菜单图像PC那样的调整对象,还可以呈正方形状地显示。
此外,在本实施方式中,“信息处理装置”是智能手机300,但是,不限定于此。“信息处理装置”具有控制部、显示部和电源即可。例如,“信息处理装置”可以是平板型个人计算机,也可以是笔记本型个人计算机。
例如,在上述实施方式中例示了连接装置10与影像显示部20有线连接的结构,但不限于此,也可以是影像显示部20与连接装置10无线连接的结构。
此外,可以将连接装置10具备的一部分功能设置于影像显示部20,也可以通过多个装置实现连接装置10。例如,也可以替代连接装置10,使用能够安装于使用者的身体、服装或者使用者随身佩戴的饰品的可佩戴设备。该情况下的可佩戴设备例如可以是钟表型的装置、戒指型的装置、激光指示器、鼠标、空中鼠标、游戏控制器、笔型的设备等。
此外,在上述实施方式中,以影像显示部20和连接装置10分离并经由连接电缆40而连接的结构为例进行了说明。不限于此,还可以采用将连接装置10和影像显示部20构成为一体地佩戴于使用者的头部的结构。
此外,在上述实施方式中,使用者透过显示部看到外景的结构不限定于右导光板26和左导光板28使外部光透过的结构。例如,还能够应用于在无法看到外景的状态下显示图像的显示装置。具体而言,还能够应用于显示照相机61的拍摄图像、根据该拍摄图像而生成的图像或CG、基于预先存储的影像数据或从外部输入的影像数据的影像等的显示装置。作为这种显示装置,能够包含无法看到外景的所谓封闭型显示装置。例如,如果采用由影像显示部20显示对照相机61拍摄的外景图像和显示图像进行合成后的合成图像的结构,则即使影像显示部20不使外部光透过,也能够以可令使用者看到的方式显示外景和图像。当然还能够应用于这样的所谓视频透视型显示装置。
此外,例如,可以替代影像显示部20,采用例如帽子那样佩戴的图像显示部等其他方式的图像显示部,具有与使用者的左眼LE对应地显示图像的显示部、和与使用者的右眼RE对应地显示图像的显示部即可。此外,显示装置例如也可以构成为搭载于汽车或飞机等车辆的HMD。此外,例如也可以构成为内置于头盔等身体防护器具的HMD。在该情况下,能够将对相对于使用者身体的位置进行定位的部分、和针对该部分进行定位的部分作为佩戴部。
此外,作为将图像光引导至使用者的眼睛的光学系统,例示了在右导光板26和左导光板28的一部分中利用半反射镜261、281形成虚像的结构。不限于此,也可以构成为将图像显示在具有占据右导光板26和左导光板28的整个面或者大部分的面积的显示区域中。在该情况下,在使图像的显示位置发生变化的动作中,也可以包含将图像缩小的处理。
并且,光学元件不限于具有半反射镜261、281的右导光板26、左导光板28,只要是使图像光入射到使用者的眼睛的光学部件即可,具体而言,也可以使用衍射光栅、棱镜、全息显示部。
此外,图4、图5等所示的各功能块中的至少一部分可通过硬件实现,也可以是通过硬件与软件的协作实现的结构,不限定于如图所示地配置独立的硬件资源的结构。
此外,第2控制部310执行的控制程序可以存储在非易失性存储部320或第2控制部310内的其他存储部中。此外,也可以采用经由通信部345等取得并执行存储在外部装置中的控制程序的结构。此外,形成于第2控制部310的结构中的、受理部313也可以形成为用户界面(UI)。
此外,形成于连接装置10的结构也可以重复地形成于影像显示部20。例如,可以在影像显示部20中配置与连接装置10的处理器相同的处理器,连接装置10具备的处理器和影像显示部20的处理器也可以执行单独划分的功能。
此外,图10~图13所示的流程图的处理单位是为了使智能手机300或HMD 100的处理容易理解而根据主要的处理内容进行了分割。实施方式不被图10~图13的流程图所示的处理单位的分割方法、名称限制。此外,第1控制部120和第2控制部310的处理也能够与处理内容对应地分割为更多的处理单位,还能够以1个处理单位包含更多的处理的方式进行分割。此外,上述流程图的处理顺序也不限于图示的例子。
此外,显示系统1的控制方法能够通过使显示系统1的各显示装置具备的计算机执行与显示系统1的控制方法对应的程序来实现。此外,该程序还能够预先记录在以计算机可读的方式进行了记录的记录介质中。作为记录介质,可以使用磁、光学记录介质或半导体存储器件。具体而言,可举出软盘、CD-ROM(Compact Disk Read Only Memory:光盘只读存储器)、DVD、Blu-ray(注册商标)Disc、光磁盘、闪存、卡型记录介质等可移动型或者固定式的记录介质。此外,记录介质也可以是作为图像显示装置具备的内部存储装置的RAM、ROM、HDD等非易失性存储装置。此外,还能够通过将与显示系统1的控制方法对应的程序预先存储到服务器装置等中、并将程序从服务器装置下载到显示系统1的各显示装置中,实现显示系统1的控制方法。

Claims (14)

1.一种显示系统,其中,该显示系统是连接信息处理装置和显示装置而构成的,
所述显示装置具有:
第1显示部,其佩戴于使用者的头部,显示图像;
接收部,其从所述信息处理装置接收图像;以及
第1控制部,其通过将所述图像在所设定的分割位置处进行分割,形成2个分割图像,使所述第1显示部显示各个所述分割图像,
所述第1显示部具有朝向所述使用者的右眼发出图像光的右眼用显示部、和朝向所述使用者的左眼发出图像光的左眼用显示部,
所述第1控制部通过将与所述接收部接收到的所述图像对应的图像数据分割为2个,生成2个分割图像数据,使所述右眼用显示部显示基于一个所述分割图像数据的图像,使所述左眼用显示部显示基于另一个所述分割图像数据的图像,
所述信息处理装置具有:
发送部,其将所述图像发送到所述显示装置;以及
第2控制部,其将调整对象包含在所述图像中,
所述第2控制部使所述调整对象的位置与和所述分割位置对应的位置分开。
2.根据权利要求1所述的显示系统,其中,
所述信息处理装置具有第2显示部,该第2显示部显示图像,
所述第2控制部使所述发送部将显示在所述第2显示部上的所述图像发送到所述显示装置。
3.根据权利要求1或2所述的显示系统,其中,
所述信息处理装置的所述第2控制部使得所述调整对象显示在所述图像的右区域中。
4.根据权利要求3所述的显示系统,其中,
所述信息处理装置的所述第2控制部使得所述调整对象显示在所述图像的右上区域中。
5.根据权利要求1所述的显示系统,其中,
所述信息处理装置的所述第2控制部使得以不与其他调整对象重叠的方式显示所述调整对象。
6.根据权利要求1所述的显示系统,其中,
所述信息处理装置的所述第2控制部使得呈纵长地显示所述调整对象。
7.根据权利要求1所述的显示系统,其中,
所述信息处理装置的所述第2控制部具有受理部,该受理部受理输入,
在所述受理部受理了输入的情况下,所述信息处理装置的所述第2控制部使得显示所述调整对象,在所述受理部未受理输入的情况下,所述信息处理装置的所述第2控制部使得不显示所述调整对象。
8.根据权利要求2所述的显示系统,其中,
所述信息处理装置的所述第2控制部具有检测部,该检测部对已与所述显示装置相连接进行检测,
所述信息处理装置的所述第2控制部根据所述检测部的检测结果,使显示在所述第2显示部上的所述图像的亮度减小到低于所设定的亮度。
9.根据权利要求8所述的显示系统,其中,
所述信息处理装置的所述第2控制部通过将一定浓度的图像叠加于所述图像,来减小显示在所述第2显示部上的所述图像的亮度。
10.根据权利要求1所述的显示系统,其中,
所述调整对象包含滑动条对象,
所述滑动条对象包含沿所述图像的左右方向延伸的滑动条图像。
11.根据权利要求2所述的显示系统,其中,
所述信息处理装置的所述第2控制部与所述显示装置中的错误的发生对应地,将表示所述错误的发生的错误图像显示在所述第2显示部上。
12.一种显示系统的控制方法,其中,该显示系统是连接信息处理装置和佩戴于使用者的头部的显示装置而构成的,该显示系统的控制方法包含以下步骤:
配置步骤,所述信息处理装置将调整对象包含在图像中,使所述调整对象的位置与和所设定的分割位置对应的位置分开;
发送步骤,所述信息处理装置将所述图像发送到所述显示装置;
接收步骤,所述显示装置接收所述图像;以及
显示步骤,所述显示装置通过将所述图像在所述分割位置处进行分割,形成2个分割图像,并显示各个所述分割图像,
在所述显示步骤中,所述显示装置通过将与所述图像对应的图像数据分割为2个,生成2个分割图像数据,使右眼用显示部显示基于一个所述分割图像数据的图像,使左眼用显示部显示基于另一个所述分割图像数据的图像。
13.一种信息处理装置,其中,该信息处理装置与显示装置连接,该显示装置被佩戴于使用者的头部,通过将图像在所设定的分割位置处进行分割,形成2个分割图像,并显示各个所述分割图像,
所述信息处理装置具有:
发送部,其将所述图像发送到所述显示装置;以及
显示控制部,其将调整对象包含在所述图像中,使所述调整对象的位置与和所述分割位置对应的位置分开。
14.一种记录介质,其中,该记录介质记录有计算机可执行的信息处理装置的控制程序,该信息处理装置与显示装置连接,并具有该计算机,该显示装置被佩戴于使用者的头部,通过将图像在所设定的分割位置处进行分割,形成多个分割图像,并显示各个所述分割图像,所述信息处理装置的控制程序使所述计算机作为以下部分发挥功能:
发送部,其将所述图像发送到所述显示装置;以及
显示控制部,其在将调整对象包含在所述图像中的情况下,使所述调整对象的位置与和所述分割位置对应的位置分开。
CN202010012871.0A 2019-01-10 2020-01-07 显示系统及其控制方法、信息处理装置和记录介质 Pending CN111432201A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019002681A JP7243193B2 (ja) 2019-01-10 2019-01-10 表示システム、表示システムの制御方法、情報処理装置、及び情報処理装置の制御プログラム
JP2019-002681 2019-01-10

Publications (1)

Publication Number Publication Date
CN111432201A true CN111432201A (zh) 2020-07-17

Family

ID=71517690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010012871.0A Pending CN111432201A (zh) 2019-01-10 2020-01-07 显示系统及其控制方法、信息处理装置和记录介质

Country Status (3)

Country Link
US (1) US20200227007A1 (zh)
JP (1) JP7243193B2 (zh)
CN (1) CN111432201A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112449270A (zh) * 2020-11-24 2021-03-05 Oppo广东移动通信有限公司 一种音频输出方法及数据线缆、终端、存储介质
CN114356071A (zh) * 2020-09-29 2022-04-15 精工爱普生株式会社 显示系统、显示方法以及记录介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11601532B2 (en) * 2019-11-15 2023-03-07 Meta Platforms Technologies, Llc Wireless communication with code separation
TWI825383B (zh) * 2021-01-15 2023-12-11 華碩電腦股份有限公司 電子裝置之控制方法
JP2023005093A (ja) * 2021-06-28 2023-01-18 株式会社ソニー・インタラクティブエンタテインメント 画像表示システム、ヘッドマウントディスプレイ、および画像表示方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140055353A1 (en) * 2011-04-28 2014-02-27 Sharp Kabushiki Kaisha Head-mounted display
CN103733116A (zh) * 2011-08-24 2014-04-16 索尼公司 头戴式显示器和显示控制方法
CN103765293A (zh) * 2011-08-24 2014-04-30 索尼公司 显示设备和显示控制方法
CN104076513A (zh) * 2013-03-26 2014-10-01 精工爱普生株式会社 头戴式显示装置、头戴式显示装置的控制方法、以及显示系统
CN104144335A (zh) * 2014-07-09 2014-11-12 青岛歌尔声学科技有限公司 一种头戴式可视设备和视频系统
CN105657407A (zh) * 2015-12-31 2016-06-08 深圳纳德光学有限公司 头戴显示器及其双目3d视频显示方法和装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5757750B2 (ja) 2011-02-28 2015-07-29 オリンパス株式会社 頭部装着型表示装置及びクライアント装置
KR101991133B1 (ko) 2012-11-20 2019-06-19 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 헤드 마운트 디스플레이 및 그 제어 방법
JP6209906B2 (ja) 2013-09-05 2017-10-11 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、画像表示システム
JP6428024B2 (ja) 2014-07-31 2018-11-28 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
JP6367673B2 (ja) 2014-09-29 2018-08-01 京セラ株式会社 電子機器
JP6362631B2 (ja) 2016-01-15 2018-07-25 株式会社meleap 画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイ
JP2018137505A (ja) 2017-02-20 2018-08-30 セイコーエプソン株式会社 表示装置およびその制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140055353A1 (en) * 2011-04-28 2014-02-27 Sharp Kabushiki Kaisha Head-mounted display
CN103733116A (zh) * 2011-08-24 2014-04-16 索尼公司 头戴式显示器和显示控制方法
CN103765293A (zh) * 2011-08-24 2014-04-30 索尼公司 显示设备和显示控制方法
CN104076513A (zh) * 2013-03-26 2014-10-01 精工爱普生株式会社 头戴式显示装置、头戴式显示装置的控制方法、以及显示系统
CN104144335A (zh) * 2014-07-09 2014-11-12 青岛歌尔声学科技有限公司 一种头戴式可视设备和视频系统
CN105657407A (zh) * 2015-12-31 2016-06-08 深圳纳德光学有限公司 头戴显示器及其双目3d视频显示方法和装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114356071A (zh) * 2020-09-29 2022-04-15 精工爱普生株式会社 显示系统、显示方法以及记录介质
CN114356071B (zh) * 2020-09-29 2024-01-30 精工爱普生株式会社 显示系统、显示方法以及记录介质
CN112449270A (zh) * 2020-11-24 2021-03-05 Oppo广东移动通信有限公司 一种音频输出方法及数据线缆、终端、存储介质
CN112449270B (zh) * 2020-11-24 2023-10-03 Oppo广东移动通信有限公司 一种音频输出方法及数据线缆、终端、存储介质

Also Published As

Publication number Publication date
JP7243193B2 (ja) 2023-03-22
US20200227007A1 (en) 2020-07-16
JP2020112982A (ja) 2020-07-27

Similar Documents

Publication Publication Date Title
CN111432201A (zh) 显示系统及其控制方法、信息处理装置和记录介质
CN110275297B (zh) 头部佩戴型显示装置、显示控制方法以及记录介质
CN108535868B (zh) 头部佩戴型显示装置及其控制方法
CN111600990B (zh) 显示系统、记录介质以及信息处理装置的控制方法
US20180276898A1 (en) Transmissive display device, display control method, and computer program
JP2015149634A (ja) 画像表示装置および方法
JP2018142857A (ja) 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
JP2017116562A (ja) 表示装置、表示装置の制御方法、及び、プログラム
US10685595B2 (en) Connection device, display device, and control method for the display device
CN112526749B (zh) 显示装置、记录介质、显示装置的控制方法和显示系统
CN111488072B (zh) 信息处理装置、信息处理装置的控制方法以及记录介质
CN112558300B (zh) 显示系统、记录介质、信息处理装置的控制方法和显示装置
JP2018042004A (ja) 表示装置、頭部装着型表示装置、及び、表示装置の制御方法
CN111556310B (zh) 显示系统、记录介质以及信息处理装置的控制方法
JP6623888B2 (ja) 表示システム、表示装置、頭部装着型表示装置、表示制御方法、表示装置の制御方法、及び、プログラム
JP2017134630A (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP2017183855A (ja) 表示システム、頭部装着型表示装置、表示制御方法、及び、プログラム
JP2024039718A (ja) 電子機器、電子機器の制御方法、プログラム、および記憶媒体
JP2021057747A (ja) 表示システム、画像表示装置、画像表示方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200717