CN112578562A - 显示系统、显示方法以及记录介质 - Google Patents

显示系统、显示方法以及记录介质 Download PDF

Info

Publication number
CN112578562A
CN112578562A CN202011039149.2A CN202011039149A CN112578562A CN 112578562 A CN112578562 A CN 112578562A CN 202011039149 A CN202011039149 A CN 202011039149A CN 112578562 A CN112578562 A CN 112578562A
Authority
CN
China
Prior art keywords
display
display device
information processing
sensor
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011039149.2A
Other languages
English (en)
Inventor
山崎明生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN112578562A publication Critical patent/CN112578562A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0181—Adaptation to the pilot/driver
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2356/00—Detection of the display position w.r.t. other display screens
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/06—Consumer Electronics Control, i.e. control of another device by a display or vice versa

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供显示系统、显示方法以及记录介质，抑制设置新的部件并提高作为操作部的信息处理装置的可视性。显示系统具有：作为显示装置的佩戴型显示装置(100)；与佩戴型显示装置(100)连接的信息处理装置(200)；包含第1地磁传感器(GE1)的第1传感器(SE1)；包含第2地磁传感器(GE2)的第2传感器(SE2)；以及显示控制部(150)，其根据基于检测结果的佩戴型显示装置(100)与信息处理装置(200)的相对配置关系，使佩戴型显示装置(100)中的显示方式变化。

Description

显示系统、显示方法以及记录介质
技术领域
本发明涉及能够应用于例如向使用者提示虚像的头戴式显示器(HMD)等佩戴型显示装置的显示系统、显示系统中的显示方法以及显示系统用的显示程序。
背景技术
例如，在作为显示虚像的头戴式显示器(HMD)的头部佩戴型显示装置中，在使用者为了操作HMD的控制部而面向操作部位的情况下，对其进行检测，使HMD的虚像的可视性降低(专利文献1)。在专利文献1中，为了实现上述目的，在HMD侧和控制部侧设置受光部和发光部，如果是受光部接收到来自发光部的光的状态，则判定为HMD的使用者要操作控制部，在这种情况下，减小HMD的显示亮度。
专利文献1：日本特开2012-204998号公报
然而，在专利文献1的情况下，为了进行上述判定，前提是在HMD侧和控制部侧设置受光部和发光部。因此，除了部件增加之外，在控制部侧利用智能手机等现有产品的情况下，难以设置发光部和受光部等成为问题。另外，在专利文献1中，记载了通过检测头部侧的倾斜来提高判定精度的内容，但例如在使用者(佩戴者)处于躺卧状态或坐在椅子上的状态的情况下，即改变了姿态的情况下，有可能无法进行准确的检测。
发明内容
本发明一个方面的显示系统具有：显示装置，其显示由使用者观看的图像；信息处理装置，其与显示装置连接；第1传感器，其设置于显示装置，包含第1地磁传感器来检测显示装置的姿态；第2传感器，其设置于信息处理装置，包含第2地磁传感器来检测信息处理装置的姿态；以及显示控制部，其根据基于第1地磁传感器的检测结果和第2地磁传感器的检测结果计算的、显示装置与信息处理装置的相对配置关系，使显示装置中的显示方式变化。
附图说明
图1是用于说明第1实施方式的显示系统的使用状态的立体图。
图2是用于说明显示系统的一个结构例的框图。
图3是用于说明信息处理装置中的存储部的一个结构例的框图。
图4是示意性地示出显示装置和信息处理装置的使用状况的一例的立体图。
图5是用于说明图4中的显示装置与信息处理装置的相对配置关系的示意图。
图6是示出显示装置和信息处理装置中的显示状态的一例的示意图。
图7是示出显示装置中的显示方式变化的一例的示意图。
图8是示出显示装置的光学结构的俯视图。
图9是用于说明显示装置的光学构造的俯视图。
图10是用于说明显示系统的动作的一例的流程图。
图11是用于说明显示系统中的校准的一例的流程图。
图12是示出显示装置的使用状况的另一例的示意图。
图13是示出显示系统的另一结构例的示意图。
图14是示出图13所示的一例的显示装置中的显示方式变化的示意图。
图15是用于说明显示系统的动作的另一例的流程图。
图16是用于说明显示系统中的检测模式选择的一例的流程图。
图17是用于说明第2实施方式的显示系统的使用状态的立体图。
图18是用于说明显示系统的一个结构例的框图。
图19是示意性地示出摄像头的拍摄情形的一例的图像图。
图20是示意性地示出摄像头的拍摄情形的另一例的图像图。
标号说明
10a、10b：导光部件；11a：光入射部；11b：光射出部；15：半透半反镜；20：导光装置；30：投射透镜；38：镜筒；50：中央部件；50a、50b：透光部；50c：桥接部；80：显示元件；100、300：佩戴型显示装置；100A：第1显示装置；100B：第2显示装置；100C：透视型导光单元；104：镜腿；105d：外装壳体；109：线缆；110：CPU(主控制部)；111：图像处理部；112：判定部；120：存储部；130：触摸面板；131：检测选择键(检测选择部)；150：显示控制部；191、192：发送部；193、194：接收部；200、210、400：信息处理装置；500、600：显示系统；AA1：箭头；AC1：第1加速度传感器；AC2：第2加速度传感器；AX：光轴；BA：显示图像亮度调整程序；CA：摄像部(摄像头)；CA1：第1摄像头；CA2：第2摄像头；CAd：校准数据存储部；CB：校准程序；CC：粘接层；CJ：变更要否判定程序；CP：显示方式变更程序；DA：数据存储部；DD：显示装置朝向检测程序；DD1、DD2：法线向量；DE：检测选择程序；DG：显示装置图像处理程序；DL：左眼用电路基板；DP：图像显示程序；DPd：显示图像姿态数据存储部；DR：右眼用电路基板；DS：显示器(操作图像显示部)；EP：出射光瞳；FB：柔性基板；G1、G2：图像；G2a：图像部分；G2b：操作用图像；GE1：第1地磁传感器；GE2：第2地磁传感器；GG1、GG1a、GG1b、GG1c、GG2：图像数据；GGd：图像数据存储部；GL：图像光；GS1：第1图像面；GS2：第2图像面；GY1：第1陀螺仪传感器(角速度传感器)；GY2：第2陀螺仪传感器(角速度传感器)；HA：手；INd：初始设定数据存储部；KY：操作键；LS：外部光传感器(照度传感器)；MD：主电路基板；OL：外界光；PA：程序存储部；PP：姿态检测程序；PPd：姿态数据存储部；RC：相对配置计算程序；RM：反射膜；SD：智能手机朝向检测程序；SE1：第1传感器；SE2：第2传感器；SG：智能手机图像处理程序；SPd：智能手机姿态数据存储部；SS1、SS2：信息；THd：阈值数据存储部；US：使用者(观察者、佩戴者)；VV1、VV2：图像信息；α1～α3、β1、β2、γ1～γ3：状态；θ：角。
具体实施方式
第1实施方式
以下，参照附图，对利用了本发明第1实施方式的显示方法以及显示系统用的显示程序的显示系统的一例进行说明。
如图1等所示，本实施方式的显示系统500具有作为显示装置的佩戴型显示装置100、和经由线缆109与佩戴型显示装置100连接的信息处理装置200。
佩戴型显示装置100是具有眼镜那样的外观的头戴式显示器(HMD)，是用于进行图像形成的光学主体部分。在图1等中，X1、Y1及Z1是正交坐标系，+X1方向对应于佩戴了佩戴型显示装置100的使用者US或观察者US的双眼排列的横向，+Y1方向相当于与使用者US的双眼排列的横向垂直的朝下方向，+Z1方向相当于对于使用者US的前方或正面方向。另外，关于X1、Y1以及Z1，作为佩戴型显示装置100中的方向，换言之，首先，X1轴相当于沿着构成第1显示装置100A以及第2显示装置100B的2个导光部件10排列的方向的轴。Z1轴相当于沿着来自导光部件10的图像光(影像光)的射出方向的轴。Y1轴相当于与X1轴和Z1轴双方垂直的轴。
信息处理装置200是对要在佩戴型显示装置100上显现的图像进行各种处理并且将影像信号等输出到佩戴型显示装置100的装置，能够通过下载例如智能手机(smartphone)等所需的应用程序来构成。在图1等中，X2、Y2和Z2是正交坐标系，+X2方向以及+Y2方向相当于信息处理装置200中的矩形显示器(操作图像显示部)DS的短边方向以及长边方向，+Z2方向是与+X2方向以及+Y2方向垂直的方向，相当于来自显示器DS的影像光的射出方向。
另外，连接佩戴型显示装置100和信息处理装置200的线缆109可以由例如USB-TypeC连接器构成，通过接收以USB-TypeC的替代模式传输的影像数据，能够基于来自由智能手机等构成的信息处理装置200的影像信号，在佩戴型显示装置100中进行内容图像的影像显示。
如图1等所示，佩戴型显示装置100是令使用该佩戴型显示装置100的使用者(观察者)US不仅能够看到虚像、而且还能够透视观察外界像的光学装置。佩戴型显示装置100如上所述，能够经由线缆109与信息处理装置200可通信地连接，例如能够形成与从信息处理装置200输入的影像信号对应的虚像。另外这里，将佩戴型显示装置100作为观看上述那样的虚像的光学装置或虚像显示装置进行说明，但是还能够将除了作为这样的光学装置的佩戴型显示装置100以外、还包含了信息处理装置200的部分或与其相当的部分的显示系统500的整体理解为佩戴型显示装置或HMD。
佩戴型显示装置100具有第1显示装置100A和第2显示装置100B。第1显示装置100A和第2显示装置100B是分别形成左眼用的虚像和右眼用的虚像的部分。左眼用的第1显示装置100A具有可透视地覆盖使用者(观察者)US的眼前的第1虚像形成光学部101a、和形成图像光的第1像形成主体部105a。右眼用的第2显示装置100B具有可透视地覆盖使用者US的眼前的第2虚像形成光学部101b、和形成图像光的第2像形成主体部105b。即，通过第1显示装置100A及第2显示装置100B，进行与左右眼对应的图像显示。
在第1和第2像形成主体部105a、105b后部安装有作为从头部的侧面向后方延伸的腿部分的镜腿104，通过镜腿104该与使用者的耳朵或鬓角等抵接来确保佩戴型显示装置100的佩戴状态。此外，第1像形成主体部105a在盖状的外装壳体105d内具有显示元件80、镜筒38等，同样，第2像形成主体部105b在外装壳体105d内具有显示元件80、镜筒38等。关于这些光学结构的具体一例，将参照图8在后面叙述。
信息处理装置200如上所述，例如可以通过下载智能手机所需的应用程序等来构成，但是关于信息处理装置200的结构，不限于智能手机，也可以应用PDA终端、平板型个人计算机、笔记本型个人计算机等各种设备。在此，由智能手机构成的信息处理装置200通过被使用者US进行触摸面板的操作等，能够进行在佩戴型显示装置100上显示的图像的调整等，并且通过内置的电路基板等进行各种图像处理等信息处理。此外，信息处理装置200的显示器DS作为进行各种显示并进行触摸面板操作的操作图像显示部发挥功能。即，信息处理装置200也是受理使用者US的输入操作的输入装置。在此情况下，由于佩戴型显示装置100透视地观察外界像，所以使用者US隔着佩戴型显示装置100的画面确认显示器DS的画面。
以上，在使用者US操作信息处理装置200时，有时佩戴型显示装置100的显示图像与信息处理装置200的显示器DS上的图像重叠(参照图7)而成为障碍。在本实施方式的显示系统500中，为了避免这样的情况，通过检测佩戴型显示装置100和信息处理装置200的相对配置关系，自动地判定使用者US是否处于操作信息处理装置200的状态，并根据判定结果，使佩戴型显示装置100的显示方式自动地变化。更具体地说，在显示系统500中，作为相对配置关系，在检测到佩戴型显示装置100和信息处理装置200互相面对的状态(例如参照图4)的情况下，自动调整佩戴型显示装置100的显示亮度，从而使用者US能够集中于信息处理装置200的显示器DS所显现的画面。
以下，参照图2的框图等，对本实施方式中的显示系统500的一个结构例进行说明。
图2是示出图1所示的显示系统500的结构的一例的框图。
首先，说明显示系统500中的佩戴型显示装置100的结构。如图所示，另外如上所述，佩戴型显示装置100具有显示由使用者US(参照图1)观看的图像的第1显示装置100A和第2显示装置100B。此外，佩戴型显示装置100包含作为接收器发挥功能的接收部(Rx)193、194，该接收部(Rx)193、194用于通过线缆109在信息处理装置200与第1和第2显示装置100A、100B之间进行的串行传输。即，在佩戴型显示装置100中，第1和第2显示装置100A、100B根据由接收部193、194分别接收到的左眼用图像数据和右眼用图像数据进行图像形成。
除了上述部分以外，佩戴型显示装置100为了检测自身的朝向或者姿态，还具有由各种传感器构成的第1传感器SE1。更具体而言，第1传感器SE1由第1地磁传感器GE1、第1加速度传感器AC1、第1陀螺仪传感器(角速度传感器)GY1以及外部光传感器LS构成。
第1传感器SE1中的第1地磁传感器GE1是以测量磁场(Magnetic field)的大小、方向为目的的传感器，例如由3轴地磁传感器构成，能够通过计测磁场(Magnetic field)的方向来求出方位。即，能够求出佩戴型显示装置100的朝向或者姿态。再换言之，第1传感器SE1是设置在作为显示装置的佩戴型显示装置100中、并包含第1地磁传感器GE1来检测佩戴型显示装置100的姿态的传感器。此外，第1传感器SE1中的第1加速度传感器AC1以及第1陀螺仪传感器GY1例如是3轴加速度传感器以及3轴陀螺仪传感器，通过将它们与第1地磁传感器GE1并用，能够更准确地检测佩戴型显示装置100的姿态。如上所述，第1传感器SE1作为整体构成了具有9轴的运动传感器。
此外，除了上述部分之外，作为第1传感器SE1的一部分，还设置有外部光传感器(照度传感器)LS。外部光传感器LS例如由ALS(Ambient Light Sensor：环境光传感器)构成，进行使用者US(参照图1)的周围光强度的测量。因此，外部光传感器LS朝向例如相当于对于使用者US的前方或正面方向的+Z1方向而配置，由此能够检测进入使用者US的眼睛的光量。
第1传感器SE1经由线缆109将通过第1地磁传感器GE1等取得的与佩戴型显示装置100的姿态检测相关的各种信息SS1输出到信息处理装置200。另外，在信息处理装置200的后述判定部112中使用该信息SS1。
接下来，对显示系统500中的信息处理装置200的结构进行说明。如图所示，并如上所述，信息处理装置200由智能手机等构成，在接受来自使用者US(参照图1)的指示的同时，进行包含图像处理在内的各种信息处理，并进行各种显示动作。因此，信息处理装置200除了显示器DS以外，还具有CPU(主控制部)110、存储部120、作为操作部的触摸面板130以及发送部(Tx)191和192。其中，CPU(主控制部)110和存储部120作为确定作为显示装置的佩戴型显示装置100中的显示方式的显示控制部150发挥功能。
存储部120由各种存储设备等构成，存储各种计算机程序以及各种数据。另外，关于内容的详细情况，将参照图3在后面叙述一例。
CPU 110通过从存储部120中读出并执行计算机程序和数据，作为进行图像处理的图像处理部111、以及判定使用者US是否处于操作信息处理装置200的状态的判定部112等发挥功能。特别是，在本实施方式中，CPU 110和存储部120协作而作为图像处理部111和判定部112发挥功能，由此作为显示控制部150发挥功能，该显示控制部150根据与佩戴型显示装置100和信息处理装置200的姿态相关的判定结果，对佩戴型显示装置100中的显示方式变更进行控制。另外，除了上述部分以外，CPU 110还作为输入信号处理部等发挥功能。即，CPU 110作为进行各种运算处理并管理显示系统500的整体控制的主控制部发挥功能。
显示器DS是为了形成信息处理装置200中的显示图像而射出图像光的显示设备，例如由有机EL的显示面板或LCD用的面板等构成。
作为操作部的触摸面板130由设置在显示器DS上的透明部件构成，是在显示器DS上由使用者(观察者)US操作的外部输入受理装置(输入装置)，受理用于与使用者US的操作输入对应的各种动作的指令信号。另外，在触摸面板130中，除了用于接受上述各种动作指令的各部分以外，还可以设置能够选择是否利用关于佩戴型显示装置100等的姿态的检测结果的检测选择键(检测选择部)131。
发送部191、192对构成佩戴型显示装置100的第1和第2显示装置100A、100B分别发送包含在CPU 110中生成的影像信号的各种数据。即，发送部191、192为了作为用于经由线缆109的信息处理装置200与第1和第2显示装置100A、100B之间的串行传输的收发器发挥功能，对佩戴型显示装置100的接收部193、194分别发送作为左眼用图像数据的图像信息VV1和作为右眼用图像数据的图像信息VV2。
除了上述部分以外，信息处理装置200为了检测自身的朝向或者姿态，还具有由各种传感器构成的第2传感器SE2。更具体而言，第2传感器SE2由第2地磁传感器GE2、第2加速度传感器AC2、第2陀螺仪传感器(角速度传感器)GY2以及摄像部(摄像头)CA构成。
第2传感器SE2中的第2地磁传感器GE2是以测量磁场(Magnetic field)的大小、方向为目的的传感器，例如由3轴地磁传感器构成，能够通过计测磁场(Magnetic field)的方向来求出方位。即，能够求出信息处理装置200的朝向或姿态。再换言之，第2传感器SE2是设置在信息处理装置200中、并包含第2地磁传感器GE2来检测信息处理装置200的姿态的传感器。另外，第2传感器SE2中的第2加速度传感器AC2以及第2陀螺仪传感器GY2例如是3轴加速度传感器以及3轴陀螺仪传感器，通过将它们与第2地磁传感器GE2并用，能够更准确地检测信息处理装置200的姿态。如上所述，第2传感器SE2作为整体构成了具有9轴的运动传感器。
另外，除了上述部分之外，作为第2传感器SE2，还设置有摄像部(摄像头)CA。摄像部CA例如是由CCD或CMOS等固体摄像元件构成的摄像用摄像头。例如，如图1所示，通过采用原本内置于智能手机的摄像头中的内部摄像头，能够使摄像部CA的拍摄方向与显示器DS的显示方向一致。
第2传感器SE2将通过第2地磁传感器GE2等取得的与信息处理装置200的姿态检测相关的各种信息SS2输出到显示控制部150。在判定部112中使用信息SS2。
以上，作为判定部112的CPU 110进而显示控制部150根据第1地磁传感器GE1的检测结果和第2地磁传感器GE2的检测结果，计算佩戴型显示装置100与信息处理装置200的相对配置关系、即相对于佩戴型显示装置100的姿态(朝向)的信息处理装置200的姿态(朝向)，并根据计算出的佩戴型显示装置(100)和信息处理装置(200)的相对配置关系，使佩戴型显示装置(100)中的显示方式变化。具体而言，判定部112根据来自第1和第2传感器SE1、SE2的信息SS1、SS2，判定上述相对配置关系是否为应使佩戴型显示装置100中的显示方式变化的规定的配置关系，即判定显示系统500是否处于如下状况：佩戴型显示装置100和信息处理装置200互相面对、且使用者US操作信息处理装置200。并且，显示系统500基于该判定结果，例如进行逐渐降低佩戴型显示装置100的显示亮度的动作，来作为与显示方式的变化相关的一个方式。
为了能够进行上述动作，在显示系统500中的显示控制部150、即CPU 110和存储部120中，设置有各种程序、数据以及用于进行基于它们的运算处理的构造。
以下，参照图3对存储在存储部120中的各种程序和数据的一例进行说明。图3是用于说明图2中的、构成显示系统500的信息处理装置200中的存储部120的一个结构例的框图。
在图3所示的一例中，存储部120由存储各种程序的程序存储部PA和存储各种数据的数据存储部DA构成。
以下，对程序存储部PA中存储的各种程序进行说明。在程序存储部PA中，例如存储有用于进行与通常的图像显示相关的处理的图像显示程序DP以及用于根据第1和第2传感器SE1、SE2中的姿态检测来变更显示方式的显示方式变更程序CP。
首先，图像显示程序DP例如由智能手机图像处理程序SG和显示装置图像处理程序DG构成，所述智能手机图像处理程序SG用于进行与由智能手机构成的信息处理装置200的显示器DS中的通常时的图像显示相关的处理，所述显示装置图像处理程序DG用于进行与在佩戴型显示装置100中通常时由使用者US观看的图像相关的处理。
另一方面，显示方式变更程序CP例如由姿态检测(朝向检测)程序PP、相对配置计算程序RC、变更要否判定程序CJ和显示图像亮度调整程序BA构成，能够对应与显示方式变更时相关的各种处理。
姿态检测程序PP是用于进行佩戴型显示装置100以及信息处理装置200的姿态检测的程序，由用于根据来自第2传感器SE2的信息来检测信息处理装置200的姿态的智能手机朝向(自身姿态)检测程序SD、和用于根据来自第1传感器SE1的信息来检测佩戴型显示装置100的姿态的显示装置朝向(姿态)检测程序DD构成。
相对配置计算程序RC是如下程序：用于根据利用姿态检测程序PP检测出的佩戴型显示装置100和信息处理装置200的姿态(朝向)，计算两者的相对配置关系。
变更要否判定程序CJ是如下程序：用于根据利用了相对配置计算程序RC的计算结果(运算结果)，判定是否变更佩戴型显示装置100的显示方式。
显示图像亮度调整程序BA是如下程序：在利用了变更要否判定程序CJ的判定结果是需要变更的情况下，用于进行对应的佩戴型显示装置100的显示图像的亮度调整。
另外，除了上述程序以外，在程序存储部PA中例如还可以存储有校准程序CB和检测选择程序DE。校准程序CB是如下程序：用于将佩戴型显示装置100和信息处理装置200互相面对时的状态作为初始设定来进行使用者US自身事先规定的校准。检测选择程序DE是如下的程序DE：用于使得能够选择是否利用与第1和第2传感器SE1、SE2中的姿态检测对应的显示方式变更。
以下，对存储在数据存储部DA中的各种数据进行说明。在数据存储部DA中，例如除了存储各种图像数据的图像数据存储部GGd之外，还由姿态数据存储部PPd、校准数据存储部CAd、存储各种阈值数据的阈值数据存储部THd等构成，所述各种图像数据包含与在启动时等时使用的程式化图像有关的数据等。另外，关于在阈值数据存储部THd中存储的阈值，可以根据各装置等的精度等采用各种值或参数。
在图像数据存储部GGd中记录有各种图像数据等，所述各种图像数据例如用于进行包含启动时和结束时等在内的、通常时的基于图像显示程序DP的图像显示。
姿态数据存储部PPd包含智能手机姿态(自身姿态)数据存储部SPd和显示图像姿态数据存储部DPd，在智能手机姿态(自身姿态)数据存储部SPd中，记录有基于姿态检测程序PP检测到的与佩戴型显示装置100和信息处理装置200的姿态(朝向)相关的数据。另外，在姿态数据存储部PPd中，为了根据需要进行临时保管，还记录有基于相对配置计算程序RC、变更要否判定程序CJ的计算结果和判定结果。
在校准数据存储部CAd中，存储有在基于校准程序CB的校准时所需要的各种数据。另外，在校准数据存储部CAd中，设置有初始设定数据存储部INd的区域，在初始设定数据存储部INd中，保存有将佩戴型显示装置100和信息处理装置200互相面对时的状态事先规定为初始设定时的各种参数。
在阈值数据存储部THd中存储有各种阈值的数据。作为所存储的阈值，例如可考虑对判定为佩戴型显示装置100和信息处理装置200互相面对的范围进行规定的角度范围等。
以下，参照图4～图7，对使用显示系统500时的佩戴型显示装置100的显示方式变更的动作一例进行说明。
图4是示意性示出作为显示装置的佩戴型显示装置100和信息处理装置200的使用状况的一例的立体图，示出了佩戴型显示装置100和信息处理装置200互相面对的状态。图5是为了说明图4中的佩戴型显示装置100和信息处理装置200的相对配置关系而提取出了图像面及其法线方向的示意图。图6是示出使用者US所看到的佩戴型显示装置100中的显示状态的一例、和与其对应的信息处理装置200中的显示状态的一例的示意图。图7是示出在处于图4或图5所示的配置关系的情况下，当看起来图6所例示的显示重叠时，使佩戴型显示装置100中的显示方式变化的情形的一例的示意图。
如图4和图5所示，首先，作为前提，在此根据各装置中的图像面的法线向量，对佩戴型显示装置100和信息处理装置200成为了互相面对的状态的情况进行判断。具体而言，首先，将与第1图像面GS1垂直的向量设为法线向量DD1，第1图像面GS1是通过佩戴型显示装置100看到的图像的图像面。同样，将与第2图像表面GS2垂直的向量设为法线向量DD2，第2图像表面GS2是通过作为信息处理装置200的操作图像显示部的显示器DS(参照图6等)看到的图像面。在本实施方式的情况下，如图所示，关于对佩戴型显示装置100规定的正交坐标系，+X1方向及+Y1方向为第1图像面GS1的面内方向，+Z1方向为与法线向量DD1平行的方向。此外，关于针对信息处理装置200规定的正交坐标系，+X2方向及+Y2方向为第2图像面GS2的面内方向，+Z2方向为与法线向量DD2平行的方向。
在上述中，在法线向量DD1与法线向量DD2所成的角θ(0°≤θ≤180°)处于规定的角度范围内的情况下，佩戴型显示装置100与信息处理装置200互相面对。例如，如果以160°≤θ≤180°的范围，或者角θ的补角进行规定，则在该补角为20度以下的情况下，判定为两者互相面对，成为看到图7中的状态α1所例示的图像的情形。
另外，关于各法线向量DD1、DD2，可以根据已述的各传感器SE1、SE2的姿态检测来计算。另外，作为角θ的计算方法，例如利用将法线向量DD1以及法线向量DD2变换为以地轴(地球的自转轴)为绝对基准而共用的坐标的方法即可，该法线向量DD1以及法线向量DD2基于与针对佩戴型显示装置100和信息处理装置200分别检测出的方位相关的信息。即，在将该坐标的成分表示分别设为(a1，b1，c1)、(a2，b2，c2)的情况下，根据下式求出各θ。
Figure BDA0002706081320000111
以下，参照图6和图7，针对根据上述那样的计算结果使佩戴型显示装置100的显示方式变化的情况，说明一例。
首先，在此，在佩戴型显示装置100中看到图6的第1区域AR1所示的作为虚像的图像G1，作为与其对应的图像，能够在信息处理装置200的显示器DS上显示并看到图6的第2区域AR2所示的图像G2。即在此，在佩戴型显示装置100中，作为图像G1仅看到内容图像，另一方面，在信息处理装置200中的作为操作图像显示部的显示器DS中，除了与图像G1对应的内容图像的图像部分G2a之外，还显示操作用图像G2b来作为图像G2。在该情况下，在直接视听由佩戴型显示装置100在通常时显示的动态图像等的期间，不特别需要信息处理装置200的操作，但在想暂时停止或跳过该动态图像等的情况下，点击显示在显示器DS上的操作用图像G2b。但是，在图4所例示的状况下，例如图7的状态α1所示，成为对于使用者US而言第1图像面GS1与第2图像面GS2为重叠的状态，使用者US隔着图像G1观看显示器DS。因此，如果保持状态α1不变，则使用者US(参照图1)非常难以进行操作。与此相对，在本实施方式中，如上所述，信息处理装置200的显示控制部150检测佩戴型显示装置100和信息处理装置200的朝向，由此根据它们的相对配置关系掌握成为该状态的情况，并使佩戴型显示装置100的显示方式变化。在图7的例子中，如箭头AA1所示，通过使图像G1的显示亮度逐渐降低以从状态α1变化为状态α2进而变化为状态α3，从而转移到容易看到显示器DS上的图像G2的状态。
另外，也可以从状态α3起进一步降低亮度，最终消除图像G1。即，作为佩戴型显示装置100中的显示方式的变化，也可以进行显示的淡出。在此情况下，通过淡出，图像不会突然消失而是显示状态逐渐变化，由此能够令使用者US注意到正在使佩戴型显示装置100中的显示方式变化。假设即使在使用者US没有意识到的时机发生了显示状态变化的情况下，使用者US也能够注意到该变化而适当地进行动作，从而在显示完全消失之前返回到原来的显示状态。
另外，针对图像G1的显示亮度的降低程度，还考虑利用外部光传感器(照度传感器)LS。即，也可以根据外部环境的明亮度而以必要的程度降低图像G1的显示亮度。
以下，参照图8等，关于形成上述那样的虚像的佩戴型显示装置100的光学构造等，示出一个具体例。
图8是示出作为显示装置的佩戴型显示装置100的光学结构的俯视图。另外，图9是用于说明佩戴型显示装置100的光学构造的俯视图。
首先，如图8所示，第1和第2虚像形成光学部101a、101b分别包含由树脂材料等形成的导光体即第1和第2导光部件10a、10b，该第1和第2导光部件10a、10b通过中央部件50在中央连结而成为一体的部件，形成透视型导光单元100C。换言之，透视型导光单元100C是具有一对导光部件10a、10b和中央部件50的导光单元。一对导光部件10a、10b作为构成第1和第2虚像形成光学部101a、101b的部件，是使图像光在内部传播并对虚像形成做出贡献的一对光学部件。中央部件50具有一对透光部50a、50b和将它们连接的桥接部50c，是由树脂材料等形成的一体成型部件，一对透光部50a、50b通过与一对导光部件10a、10b接合，作为将第1显示装置100A和第2显示装置100B连结的连结部件发挥功能。更具体地说，在中央部件50中，一对透光部50a、50b中的一方即透光部50a与导光部件10a接合，另一方即透光部50b与导光部件10b接合。另外，在图示的例子中，例如图4所示，在中央部件50中的、从桥接部50c到透光部50a的部分及从桥接部50c到透光部50b的部分处，不具有弯曲部分(折弯部分)地平滑相连。由于没有弯曲部分(折弯部分)或台阶部分那样的部位，所以避免了外界像看起来是双重的这一情况。
另外，透视型导光单元100C作为通过导光向使用者US提供双眼用的影像的复合型导光装置20，在两端部即导光部件10a、10b的外端侧被支撑在外装壳体105d上。
此外，第1像形成主体部105a在盖状的外装壳体105d内包含显示元件80、镜筒38、主电路基板MD、左眼用电路基板DL等。主电路基板MD通过作为线缆的柔性基板FB与各部分连接。另一方面，第2像形成主体部105b在外装壳体105d内包含显示元件80、镜筒38、右眼用电路基板DR等。此外，外装壳体105d例如以镁合金等为材料。
例如，在第1像形成主体部105a中，收纳在外装壳体105d中的显示元件80是射出图像光以形成与左眼用的虚像对应的图像的显示设备，例如由有机EL的显示面板、LCD用的面板等构成。投射透镜30射出来自显示元件80的图像光，在第1虚像形成光学部101a中构成成像系统的一部分。镜筒38保持作为投射透镜30的一部分而构成投射透镜30的像形成用的光学元件(未图示)。另外，对于第2像形成主体部105b，收纳在外装壳体105d中的显示元件80和包含镜筒38的投影透镜30为了形成与右眼用的虚像对应的像也发挥同样的功能。
以下，参照图9说明与佩戴型显示装置100相关的光学构造。图9是示出佩戴型显示装置100中的第1显示装置100A的一部分的图，特别说明第1虚像形成光学部101a的光学构造。如上所述，佩戴型显示装置100由第1显示装置100A和第2显示装置100B(参照图1等)构成，但由于第1显示装置100A和第2显示装置100B左右对称且具有同等的构造，所以仅对第1显示装置100A进行说明，省略对第2显示装置100B的说明。另外，在导光部件10a中具有在图像光的引导时具有光学功能的第1～第5面S11～S15。其中，占据眼前的主要位置的第1面S11及第3面S13是平行的平面。
透光部50a具有第1透射面S51、第2透射面S52和第3透射面S53来作为具有光学功能的侧面。第2透射面S52配置在第1透射面S51与第3透射面S53之间。第1透射面S51位于导光部件10的第1面S11的延长面上，第2透射面S52是与第2面S12接合而一体化的曲面，第3透射面S53位于导光部件10的第3面S13的延长面上。
第1虚像形成光学部101a中的导光部件10a经由粘接层CC与透光部50a接合。即，透光部50a的第2透射面S52与导光部件10a的第2面S12相对配置，且具有相同形状。导光部件10a和透光部50a具有用薄的硬涂层覆盖主体部件的表面的结构，该主体部件赋予包含光学面的立体形状。导光部件10a和透光部50a的主体部件由在可见范围内表示出高透光性的树脂材料形成，例如通过向模具内注入热塑性树脂并使其固化而成型。
以下，说明图像光GL的光路的概要。导光部件10a通过第1～第5面S11～S15的反射等将从投射透镜30射出的图像光GL朝向使用者(佩戴者)US的眼睛进行引导。具体地，来自投射透镜30的图像光GL首先入射到在光入射部11a形成的第4面S14的部分，在作为反射膜RM的内表面的第5面S15反射，从内侧再次入射到第4面S14而全反射，入射到第3面S13而全反射，并入射到第1面S11而全反射。由第1面S11全反射的图像光GL入射到第2面S12，部分地透过设置于第2面S12的半透半反镜15，同时部分地反射而再次入射到形成于光射出部11b的第1面S11的部分并通过。通过第1面S11的图像光GL沿着与Z1方向大致平行的光轴AX作为整体前进，并作为大致平行的光束入射到配置使用者US的眼睛的出射光瞳EP。即，使用者US利用作为虚像的图像光来观察图像。此外，在该情况下，作为利用佩戴型显示装置100看到的图像的图像面的第1图像面GS1(参照图5)成为由虚像形成的假想的面，但成为与+X1方向和+Y1方向平行的面，+Z1方向成为与法线向量DD1平行的方向。
另外，第1虚像形成光学部101a通过导光部件10a令使用者US看到图像光，并且在导光部件10a和透光部50a组合的状态下，令使用者US观察变形少的外界像。此时，第3面S13和第1面S11成为相互大致平行的平面，由此关于透过该部分的观察，视度大致为0，对于外界光OL几乎不产生像差等。并且，第3透射面S53和第1透射面S51为相互大致平行的平面。而且，由于第1透射面S51和第1面S11为相互大致平行的平面，从而几乎不产生像差等。通过以上结构，使用者US隔着透光部50a观察没有变形的外界像。即，使用者US能够隔着佩戴型显示装置100以没有像差等的状态看到信息处理装置200的图像显示。
另外，在上述一例的说明中，将第2面S12的半透半反层即半透半反镜15例如设为金属反射膜或电介质多层膜，但可以置换为平面或曲面的全息元件。另外，关于第5面S15，除了形成为镜反射面的情况之外，也可以由全息元件构成。
以下，参照图10的流程图对本实施方式的显示系统500的动作的一例进行说明。另外，在此主要说明显示系统500的各种动作中的如下动作：掌握上述的佩戴型显示装置100和信息处理装置200的相对配置关系来进行佩戴型显示装置100的显示方式的变更。
当显示系统500的各部分启动后，信息处理装置200中的包含CPU 110的显示控制部150首先为了进行姿态检测而从存储部120中读出姿态检测程序PP，开始头部侧即佩戴型显示装置100侧的朝向检测(步骤S101)，并且开始智能手机侧即信息处理装置200侧的朝向检测(即自身姿态检测)(步骤S102)。即，在各传感器SE1、SE2中进行朝向检测，并将检测结果存储于姿态数据存储部PPd。
另一方面，在显示控制部150中，CPU 110从存储部120中读出图像显示程序DP，作为图像处理部111进行通常的各种图像处理，并开始佩戴型显示装置100中的通常显示(步骤S103)。
接着，显示控制部150从存储部120中读出相对配置计算程序RC，并且根据需要从姿态数据存储部PPd中读出步骤S101和步骤S102中的姿态检测的结果，根据佩戴型显示装置100和信息处理装置200的姿态(朝向)计算两者的相对配置关系(步骤S104)。进而，显示控制部150通过从存储部120中读出变更要否判定程序CJ，使CPU 110作为判定部112发挥功能，根据步骤S104中的计算结果(运算结果)，判定是否变更佩戴型显示装置100的显示方式(步骤S105)。即，在步骤S105中，关于佩戴型显示装置100的法线向量DD1和信息处理装置200的法线向量DD2，根据朝向(轴)的方向的关系，判定两者是否相对、且角θ是否在一定范围内(即是否为规定的阈值内的角度范围)。
在步骤S105中判定为两者不相对、或者不在一定范围内(角度范围内)的情况下(步骤S105：否)，显示控制部150将佩戴型显示装置100的显示亮度设定为保持为通常值(步骤S106a)。
另一方面，在步骤S105中判定为两者相对且处于一定范围内(角度范围内)的情况下(步骤S105：是)，显示控制部150从存储部120中读出显示图像亮度调整程序BA，进行降低设定以用于调整佩戴型显示装置100的显示图像的亮度，即，进行佩戴型显示装置100的显示图像的亮度调整(步骤S106b)。另外，作为步骤S106b中的处理，例如通过图7中例示的方法，使显示方式变化。
在步骤S106a或步骤S106b之后，显示控制部150检查在步骤S103中开始的显示动作是否已经结束(步骤S107)，如果已经结束(步骤S107：是)，则结束全部动作，如果没有结束(步骤S107：否)，则反复从步骤S104起的动作。另外，在步骤S101以及步骤S102中开始的朝向检测(姿态检测)的动作持续到显示动作结束为止，并且每次都被更新。
以下，参照图11的流程图，关于本实施方式的显示系统500中的校准动作说明一例。如上所述，在本实施方式中，能够进行用于事先设定佩戴型显示装置100和信息处理装置200互相面对时的状态的校准。在此，特别具有通过校准对相对配置关系进行初始设定的初始设定模式，该相对配置关系用于确定是否改变佩戴型显示装置100的显示方式，在图11中，对与该初始设定模式相关的动作进行说明。关于初始设定模式的开始，例如可以考虑在显示系统500中未进行基于校准的设定的情况下启动显示系统500时，最初显示与是否开始初始设定模式相关的消息。另外，在进行了初始设定模式下的校准之后，或保持有已进行的校准的设定的情况下，开始图10所例示的动作。
在图11中，当启动显示系统500的各部分后，显示控制部150从存储部中读出校准程序CB，并且确认是否开始初始设定模式(步骤S201)。即，确认是否从使用者US发出了通过校准进行上述初始设定的指令。显示控制部150在步骤S201中接收到初始设定模式的开始指令时(步骤S201：是)，向使用者US提示头部侧即佩戴型显示装置100的位置确定、和智能手机侧即信息处理装置200的位置确定(步骤S202)。例如，为了确定佩戴型显示装置100和信息处理装置200之间的配置关系，可以显示“请在进行智能手机操作时身体姿态保持静止并且按下身体姿态确定按钮。”等消息，并该消息与身体姿态确定按钮一起显示在信息处理装置200的显示器DS上。
在步骤S202中，例如，当按下身体姿态确定按钮而确定了头部侧和智能手机侧的位置(姿态)时，显示控制部150开始读取智能手机侧的姿态、即信息处理装置200自身的姿态(步骤S203a)，并且开始读取头部侧、即佩戴型显示装置100的姿态(步骤S203b)。即，在步骤S203a中，开始利用第2传感器SE2取得与信息处理装置200的姿态检测相关的各种信息SS2，在步骤S203b中，开始利用第1传感器SE1获取与佩戴型显示装置100的姿态检测相关的各种信息SS1。
显示控制部150在开始步骤S203a中的读取后，确认读取是否完成(步骤S204a)，如果在步骤S204a中未完成(步骤S204a：否)，则进一步确认从读取开始起是否经过了规定时间以上(步骤S205a)，并继续读取直到读取完成或经过规定时间。此外，显示控制部150在开始了步骤S203b中的读取之后，也进行与上述同样的动作(步骤S204b、步骤S205b)。
在步骤S205a或步骤S205b中，在即使经过规定时间、姿态的读取也未完成的情况下(步骤S205a：否，或步骤S205b：否)，判断为发生了姿态读取错误并结束动作。另外，此时，也可以一并向使用者US提示表示不能进行初始设定的消息。
另一方面，在步骤S204a和步骤S204b中读取完成的情况下(步骤S204a：是，且步骤S204b：是)，显示控制部150将佩戴型显示装置100和信息处理装置200互相面对时的状态作为初始设定，而将所读取的姿态记录到设置于校准数据存储部CAd的初始设定数据存储部INd中，由此设定登记期望的配置关系(步骤S207)，并结束一系列的处理。
如上所述，本实施方式的显示系统500具有：作为显示由使用者US观看的图像的显示装置的佩戴型显示装置100；与佩戴型显示装置100连接的信息处理装置200；第1传感器SE1，其设置于佩戴型显示装置100，包含第1地磁传感器GE1来检测佩戴型显示装置100的姿态；第2传感器SE2，其设置于信息处理装置200，包含第2地磁传感器GE2来检测信息处理装置200的姿态；以及显示控制部150，其根据基于第1地磁传感器GE1的检测结果和第2地磁传感器GE2的检测结果计算的、佩戴型显示装置100与信息处理装置200的相对配置关系，改变佩戴型显示装置100的显示方式。
在上述显示系统500中，根据利用第1和第2传感器SE1、SE2进行的与佩戴型显示装置100和信息处理装置200相关的检测而能够掌握的佩戴型显示装置100和信息处理装置200的相对配置关系，能够判定出显示系统500的使用者US想要操作作为图像动作的控制部的信息处理装置200。因此，与该判定对应地，作为佩戴型显示装置100中的显示方式，能够采取以降低亮度的方式进行变化以提高信息处理装置200的可视性这一方式。此外，在上述结构的情况下，在达到上述目的时，不需要在佩戴型显示装置100或信息处理装置200中设置受光部或发光部等新的部件，此外，关于各种传感器，例如也能够利用已有产品的智能手机等中原本具有的传感器。
此外，对于本实施方式，不限于上述情况，可以考虑各种变形方式，例如与图7对应的图12所示，即使在以横长的状态使用信息处理装置200(智能手机)的情况下，也能够检测出佩戴型显示装置100和信息处理装置200处于相对的状态，并同样地变更显示方式。
另外，在图13中，除了第1区域BR1所示的上述的一个结构例以外，例如第2区域BR2所示，在由佩戴型显示装置100和不具有显示操作用图像的图像显示部而在表面上具有实物的操作键KY的信息处理装置210构成的显示系统500中也可以应用。在这种情况下，例如与图7等对应的图14中的状态β1所示，即使在图像G1与操作键KY重叠而造成妨碍的情况下，也可以通过检测到这种情况并如状态β2所示那样降低图像G1的显示亮度，由此提高操作键KY的可视性。
另外，关于参照图10的流程图所说明的进行佩戴型显示装置100的显示方式变更的动作，也可以考虑各种变形方式，例如图15的流程图所示，还能够设为对图10的情况进行部分变更后的方式。
在图15所示的一例中，代替图10的步骤S105，设置步骤S105a～步骤S105c，变更是否在佩戴型显示装置100中进行亮度调整的条件。具体地说，在根据步骤S104中的计算结果(运算结果)，判定是否变更佩戴型显示装置100的显示方式时，首先，在步骤S105a中，对于佩戴型显示装置100的法线向量DD1和信息处理装置200的法线向量DD2，判定朝向(轴)的方向是否相对且处于一定范围内。
在步骤S105a中判定为两者相对且处于一定范围内的情况下(步骤S105a：是)，显示控制部150进一步关于上述朝向(轴)的方向确认是否存在一定范围内的波动(步骤S105b)。换言之，显示控制部150针对法线向量DD1与法线向量DD2所成的角θ判定是否产生了规定的角度范围内的波动。
在步骤S105b中判定为存在波动的情况下(步骤S105b：是)，显示控制部150进一步确认在上述步骤S105a和步骤S105b中说明的状态是否持续了一定时间以上(步骤S105c)，在判定为持续了一定时间以上的情况下(步骤S105c：是)，进行佩戴型显示装置100的显示图像的亮度调整(步骤S106b)。
另一方面，在步骤S105a中判定为两者不相对、或者不在一定范围内(角度范围内)的情况下(步骤S105a：否)，或者在步骤S105b中波动不满足规定条件的情况下(步骤S105b：否)，显示控制部150将佩戴型显示装置100中的显示亮度设定成保持为通常值(步骤S106a)。
如上所述，在这里的一例中，显示控制部150在法线向量DD1和法线向量DD2所成的角θ产生了规定的角度范围内的波动、并且处于该规定的角度范围内的状态维持了规定时间以上的情况下，使佩戴型显示装置100中的显示方式变化。
在上述条件中，例如关于检测一定范围内的波动，设想了在使用者US即人用手保持物体的情况下自然(即不可避免地)产生的摇摆(波动)、头部的摇摆(波动)，在人手保持的信息处理装置200和在人的头部佩戴的佩戴型显示装置100中，考虑到伴随上述那样的人的运动而产生波动，通过考虑这些波动，能够检测出使用者US自身将佩戴型显示装置100和信息处理装置200维持为满足规定的条件的配置关系的情况。
另外，在上述条件中，例如对于如上述那样检测互相面对并且有波动的状态是否持续了一定时间以上，是为了抑制发生使用者US无意识地偶然满足条件的状态。即，通过持续一定时间以上，能够判定为使用者US正有意识地保持在想要变更佩戴型显示装置100的显示方式的状态。
另外，在采用上述结构时，例如将与步骤S105a～步骤S105c对应的程序作为变更要否判定程序CJ装入，将与波动或一定时间相关的阈值存储在阈值数据存储部THd中，并按照变更要否判定程序CJ适当读出各种阈值，由此能够安装。
以下，参照图16的流程图等，说明显示系统500中的与上述姿态检测相关的模式选择的一例。
对于以上说明的根据佩戴型显示装置100和信息处理装置200的相对配置关系进行佩戴型显示装置100的显示图像的亮度调整的方式，即进行利用了第1传感器SE1以及第2传感器SE2的姿态检测的、佩戴型显示装置100中的显示方式变化的模式(以下称为检测模式)，也可以构成为使用者US能够选择是否利用。即，也可以构成为设置检测选择部，使得能够选择上述检测模式、和不将第1传感器SE1以及第2传感器SE2的姿态检测利用于佩戴型显示装置100的显示方式变化的模式(以下称为非检测模式)中的一个模式。具体而言，可以通过将参照图3说明的检测选择程序DE设置在存储部120中、并且将参照图2说明的检测选择键(检测选择部)131设置在触摸面板130中来进行安装。即，当使用者US点击检测选择键131时，显示控制部150读出检测选择程序DE来决定采用检测模式还是采用非检测模式。
更具体地说，在图16的流程图中，首先，当显示系统500启动后，显示控制部150确认是否选择了检测模式(步骤S301)。在步骤S301中，如果确认选择了检测模式(步骤S301：是)，则显示控制部150进行与姿态检测相关的一系列处理(步骤S302)。即，进行包含参照图10和图15说明了一例的处理动作、以及作为它们的前级的参照图11说明了一例的校准处理动作在内的一系列处理，并反复从步骤S301起的动作，直到佩戴型显示装置100的显示动作停止为止。
另一方面，在步骤S301中，如果确认没有选择检测模式、即选择了非检测模式(步骤S301：否)，则显示控制部150确认是否进行了佩戴型显示装置100中的亮度调整(步骤S303)。即，显示控制部150确认在此之前进行的步骤S302中的一系列处理的结果，是否是处于为了改变佩戴型显示装置100的显示方式而进行了亮度调整的状态。在步骤S303中判定为未进行亮度调整的情况下(步骤S303：否)，显示控制部150不进行特别的处理，而是再次反复从步骤S301起的动作，直到佩戴型显示装置100的显示动作停止为止。
另一方面，在步骤S303中判定为进行了亮度调整的情况下(步骤S303：是)，在结束该亮度调整而重新设定为通常值的亮度显示后，再次反复从步骤S301起的动作，直到佩戴型显示装置100的显示动作停止为止。
第2实施方式
以下，参照图17等，对第2实施方式的显示系统进行说明。另外，本实施方式的显示系统600是第1实施方式的显示系统500的变形例，与第1实施方式的情况的不同点在于，作为用于姿态检测的传感器，还设置摄像头来辅助性地利用。但是，除上述以外的方面与第1实施方式的情况相同，因此对于上述以外的各部分，省略详细的说明。
图17是示出本实施方式的显示系统600的外观的示意性立体图，是与图1对应的图。另外，图18是用于说明显示系统600的一个结构例的框图，是与图2对应的图。
如图17所示，显示系统600具有佩戴型显示装置300和信息处理装置400，它们经由线缆109连接。
首先，显示系统600中的佩戴型显示装置300与图1等的佩戴型显示装置100的不同点在于，在中央部分即第1显示装置100A和第2显示装置100B之间配置有第1摄像头CA1。第1摄像头CA1例如可用于AR(增强现实)功能等，通过配置在中央，提高了现实空间的位置检测精度。即，成为抑制使用者US的观看方向与摄像头图像之间的偏差产生的结构。在本实施方式中，第1摄像头CA1作为第1传感器SE1的一部分对佩戴型显示装置300的周围进行拍摄，由此取得与佩戴型显示装置300的姿态检测相关的辅助信息。特别是在本实施方式中，采用由第1摄像头CA1对信息处理装置400进行拍摄而取得的图像数据作为信息SS1。另外，在该信息取得的情况下，也能够进行与使用者US的观看方向一致的高精度的图像取得。
另一方面，显示系统600中的信息处理装置400与图1等的信息处理装置200的不同点在于，作为第2传感器SE2的摄像部(摄像头)CA被设置为第2摄像头CA2。更具体地说，第2摄像头CA2作为第2传感器SE2的一部分，对信息处理装置400的周围进行拍摄，从而取得与信息处理装置400的姿态检测相关的辅助性信息。特别地，在本实施方式中，通过由第2摄像头CA2对佩戴型显示装置300进行拍摄而取得的图像数据被用作信息SS2。另外，如在第1实施方式中已经叙述的那样，还如图17所示，作为第2摄像头CA2(摄像部CA)，通过采用原本内置于智能手机的摄像头中的内部摄像头，在对信息处理装置400的周围进行拍摄时，能够使第2摄像头CA2的拍摄方向与显示器DS的显示方向一致，在佩戴型显示装置300和信息处理装置400处于相对状态的情况下，如果第2摄像头CA2具有通常的摄像用摄像头的视场角或其以上的视场角，就能够通过对信息处理装置400周围进行拍摄来拍摄相对的佩戴型显示装置300。另外，第1摄像头CA1也处于与观看方向一致的状态，所以只要是具有通常的摄像用摄像头的视场角或其以上的视场角的摄像头，就能够通过对佩戴型显示装置300的周围进行拍摄来拍摄相对的信息处理装置400。
下面，参照在图19中示意性地示出一例的图像图，对基于第1和第2摄像头CA1、CA2的拍摄情形及其利用进行说明。
首先，在本实施方式中，与第1实施方式的情况同样，可靠地掌握佩戴型显示装置300和信息处理装置400处于互相面对的状态是非常重要的。因此，在本实施方式中，例如在根据构成第1和第2传感器SE1、SE2的第1和第2地磁传感器GE1、GE2等运动传感器的姿态检测，判定为佩戴型显示装置300和信息处理装置400处于互相面对的状态的情况下，一并进行第1和第2摄像头CA1、CA2的拍摄，并根据所取得的图像数据掌握佩戴型显示装置300和信息处理装置400之间的位置关系。
如果是佩戴型显示装置300和信息处理装置400互相面对的状态，例如，如图19中的第1区域CR1所示，信息处理装置400显现在由设置于佩戴型显示装置300的第1摄像头CA1拍摄的图像数据GG1中。同样，如图19中的第2区域CR2所示，佩戴显示装置300显现在由设置于信息处理装置400的第2摄像头CA2拍摄的图像数据GG2中。
在该情况下，例如，在信息处理装置400的存储部120中预先存储与佩戴型显示装置300相关的形状等信息、与信息处理装置400(即自身)相关的形状等信息作为图像数据，显示控制部150根据该图像数据对所拍摄的各图像数据GG1、GG2进行分析，由此，通过确认是否显现出佩戴型显示装置300和信息处理装置400，可以判定佩戴型显示装置300和信息处理装置400是否处于互相面对的状态。并且此时，能够根据所显现的各装置的大小、位置等，更可靠地检测是否处于互相面对的状态。
如上所述，在本实施方式中，通过利用基于第1和第2传感器SE1、SE2的与佩戴型显示装置300和信息处理装置400相关的检测，能够掌握佩戴型显示装置300与信息处理装置400的相对配置关系。并且，在本实施方式中，第1传感器SE1包含对佩戴型显示装置300的周围进行拍摄的第1摄像头CA1，第2传感器SE2包含对信息处理装置400的周围进行拍摄的第2摄像头CA2。此外，显示控制部150基于由第2摄像头CA2拍摄的佩戴型显示装置300的图像数据GG2、和由第1摄像头CA1拍摄的信息处理装置400的图像数据GG1，改变佩戴型显示装置300的显示方式。由此，能基于第1摄像头CA1和第2摄像头CA2的拍摄来进行判定。
下面，参照图20说明利用第1摄像头CA1的判定方法的一例。另外，图20是示意性地示出第1摄像头CA1的拍摄情形的另一例的图像图。
图示的例子示出由第1摄像头CA1连续进行拍摄的情况的一例。这里，如状态γ1～γ3所示，示出了如下情况：在由第1摄像头CA1拍摄的图像中，在下方侧(+Y1侧)检测出信息处理装置400的一部分或使用者US的手HA。即，在最初的状态γ1所示的图像数据GG1a中，在下方侧(+Y1侧)显现出信息处理装置400的一部分，随着时间的经过，如状态γ2所示的图像数据GG1b那样，信息处理装置400逐渐向上方侧(-Y1侧)移动，最终如状态γ3所示的图像数据GG1c那样，显现出信息处理装置400和使用者US的手HA。这样，在图像中，也可以通过在显示控制部150中检测信息处理装置400的一部分或使用者US的手HA从下方侧(+Y1侧)显现出的情况，来掌握佩戴型显示装置300和信息处理装置400处于特定的相对配置关系。即，显示控制部150也可以在由第1摄像头CA1拍摄的图像中，在下方侧检测出信息处理装置400的一部分或使用者US的手HA的情况下，开始判定是否应改变佩戴型显示装置300中的显示方式。
变形例及其他事项
以上说明的结构是例示性的，在能够实现同样功能的范围内，能够进行各种变更。
在上述中，作为使佩戴型显示装置100的显示方式变化的方式的一例，记载了如下方式：使佩戴型显示装置100中的显示亮度逐渐下降，即、为了通过在透视中使图像光减弱来提高透射率而在佩戴型显示装置100中较浅地显示图像。但是，关于使显示方式变化的方式，只要在佩戴型显示装置100的显示部与由智能手机等构成的信息处理装置200正对的情况下，能够防止该显示部的图像遮挡使用者US的视线即可，除了上述以外还可以考虑各种方式。例如，也可以是，以使佩戴型显示装置100的图像从使用者US的视线偏离的方式，使处于使用者US的视线方向的图像运动而较小地显示在角落处，成为空出视线中心的状态。
此外例如，除了上述之外，还可以是，通过检测佩戴型显示装置100和信息处理装置200的位置来检测佩戴型显示装置100和信息处理装置200之间的距离。即，也可以是，判定在人佩戴了佩戴型显示装置100的状态下手持信息处理装置200时的距离是否在妥当的范围内。另外，也可以确认两者间的位置偏移的发生。
另外，在上述中，在判定是否成为了应该使显示方式变化的规定的配置关系，即、佩戴型显示装置100和信息处理装置200是否互相面对时，法线向量DD1和法线向量DD2所成的角θ例如设为160°≤θ≤180°的范围(如果用角θ的补角规定，则该补角为20度以下)，但关于判定的基准也可以考虑各种方式，例如还可以考虑上述的佩戴型显示装置100和信息处理装置200之间的距离。认为在使用者US想要观看信息处理装置200即智能手机的图像而不是佩戴型显示装置100的影像的情况下，会将信息处理装置200靠近到一定程度的范围内。即，可以判定信息处理装置200在手持状态下的距离是否在妥当的范围内，此时，可以基于法线向量DD1和法线向量DD2所成的角θ是否满足规定范围来确定是否改变显示方式。
另外，在上述第2实施方式中，将摄像头的信息取得作为辅助性的信息取得，但也可以考虑将其作为判定中的主要的信息取得手段而辅助性地利用运动传感器的方式。另外，关于摄像头，利用了第1摄像头CA1和第2摄像头CA2双方，但也可以是仅使用任意一方的方式。而且，也可以考虑将第1实施方式中的摄像部CA用作第2实施方式中说明的第2摄像头CA2的方式。
另外，在上述中，在三维空间中掌握用于判定是否相对的法线向量，但例如也可以考虑基于在东西南北的二维方向上进行检测而取得的二维法线向量来进行判定的方式。
另外，关于校准，也可以考虑各种方式。例如可以考虑在进行了初始设定后，通过陀螺仪传感器(角速度传感器)GY1、GY2追溯佩戴型显示装置100以及信息处理装置200的移动经过，由此能够检测双方的姿态。
此外，在上述中，在信息处理装置200、400中设置显示控制部150，但还能够在信息处理装置200、400以外的部位设置进行用于改变显示方式的各种处理的、相当于上述显示控制部150的显示控制部。例如，可以在佩戴型显示装置100和信息处理装置200之间设置由CPU等构成的显示控制部，或者还可以考虑在佩戴型显示装置100侧设置显示控制部。另外，也可以考虑通过无线通信与佩戴型显示装置100以及信息处理装置200进行通信，将与佩戴型显示装置100以及信息处理装置200分开的装置设为显示控制部。
此外，在上述中，构成显示控制部150的信息处理装置200由智能手机等构成，然而不限于智能手机，也可以构成为，将执行与显示控制部150相对应的各种处理的装置内置在作为佩戴型显示装置100的HMD的主体侧，用户仅手持控制器的部分。
此外，关于显示系统500的构成方式，也可以考虑各种方式，在将相当于HMD主体的部分、即佩戴型显示装置100的部分用作个人计算机或各种装置的显示部分的方式，或者HMD安装CPU或电池而构成为单体的可佩戴计算机的方式等的情况下，也能够应用本发明。并且在这种情况下，例如还考虑如下方式：具有显示面的时钟型输入装置(包含磁传感器)是信息处理装置200。
另外，在上述中，例示了所谓的光学透视，但在视频透视中也可以应用本发明。在视频透视的情况下，作为佩戴型显示装置100的显示方式的变化，考虑切换图像以直接放映外界状况。
在以上的说明中，关于各地磁传感器GE1、GE2，能够应用各种传感器，但是例如还考虑采用霍尔传感器、MR(Magneto Resistance：磁电阻)传感器或者MI(MagnetoImpedance：磁阻抗)传感器等。
另外，为了高精度地进行方位计算，优选在校准时进行地磁传感器的校正，例如可以在校准时使地磁传感器在地磁内的空间上旋转一周，并根据其输出峰值求出中点。另外，也可以考虑通过自动校正进行与此对应的动作。另外，还考虑通过一并测量地磁传感器GE1与地磁传感器GE2的相对关系，例如即使在磁场有混乱那样的部位也能够准确地求出两者的相对关系。
另外，在以上的说明中，显示元件80是有机EL的显示面板或LCD用的面板，但显示元件80也可以是以LED阵列、激光阵列、量子点发光型元件等为代表的自发光型的显示元件。而且，显示元件80也可以是使用了组合激光光源与扫描仪而成的激光扫描仪的显示器。另外，还可以使用LCOS(Liquid crystal on silicon：硅上液晶)技术来代替LCD面板。
另外，主电路基板MD、左眼用电路基板DL、右眼用电路基板DR以及控制第1摄像头CA1的动作的摄像头用电路基板由运算元件、转换元件等半导体元件构成。具体而言，例如主电路基板MD可以由包含DSP(Digital Signal Processor：数字信号处理器)、ASIC(Application Specific Integrated Circuit：专用集成电路)、PLD(Programmable LogicDevice：可编程逻辑元件)、FPGA(Field Programmable Gate Array：现场可编程门阵列)、GPU(Graphics Processing Unit：图形处理单元)、CPU(Central Processing Unit：中央处理器)等电路中的任意一个以上的电路构成。
如上所述，具体的一个方式中的显示系统包含：显示装置，其显示由使用者观看的图像；信息处理装置，其与显示装置连接；第1传感器，其设置于显示装置，包含第1地磁传感器来检测显示装置的姿态；第2传感器，其设置于信息处理装置，包含第2地磁传感器来检测信息处理装置的姿态；以及显示控制部，其根据基于第1地磁传感器的检测结果和第2地磁传感器的检测结果计算的、显示装置与信息处理装置的相对配置关系，使显示装置中的显示方式变化。
在上述显示系统中，通过利用由作为第1传感器的第1地磁传感器进行的显示装置的检测、和由作为第2传感器的第2地磁传感器进行的信息处理装置的检测，无需在显示装置和信息处理装置中设置受光部和发光部等就能够掌握显示装置与信息处理装置的相对配置关系，并能够通过显示控制部根据该相对配置关系而使显示装置中的显示方式变化。在这种情况下，例如能够设为如下方式：可根据显示装置与信息处理装置的相对配置关系，判定处于显示系统的使用者正试图操作控制部的状态，并且与该判定对应地，使显示装置中的显示方式以降低亮度的方式变化，从而提高信息处理装置的可视性。另外例如，作为显示装置，可以使用HMD中的包含形成观看图像的光学系统的主体部分，另外，作为信息处理装置，可以利用智能手机等现有产品。在这种情况下，通过使用原本设置在HMD和智能手机中的地磁传感器，可以在不增加额外部件的情况下实现上述结构。
在具体的方面中，显示控制部具有判定部，该判定部判定相对配置关系是否为应该使显示装置中的显示方式变化的规定的配置关系。在该情况下，能够根据是否为规定的配置关系来判定是否成为了使用者操作信息处理装置的状况。
在另一方面中，在判定部中判断为显示装置和信息处理装置处于规定的配置关系时，显示控制部降低显示装置中的显示亮度。在这种情况下，通过降低显示亮度，可以提高信息处理装置的可视性。
在又一方面中，信息处理装置具有显示操作用图像的操作图像显示部，在第1图像面的法线向量与第2图像面的法线向量所成的角处于规定的角度范围内的情况下，显示控制部使显示装置中的显示方式变化，其中，所述第1图像面是利用显示装置看到的图像的图像面，所述第2图像面是利用信息处理装置的操作图像显示部看到的图像面。在这种情况下，基于该角的计算结果，可以判定显示装置和信息处理装置互相面对，并确定是否应该使显示装置中的显示方式变化。
在又一方面中，当处于规定角度范围内的状态被维持了规定时间以上时，显示控制部使显示装置中的显示方式变化。在这种情况下，可以从检测对象中排除使用者不期望的、偶然满足条件的配置关系的发生。
在又一个方面中，在第1图像面的法线方向与第2图像面的法线方向所成的角产生规定范围内的波动的情况下，显示控制部使显示装置中的显示方式变化。在这种情况下，通过考虑波动，能够检测到使用者有意识地将显示装置和信息处理装置维持为满足规定条件的配置关系的情况。
在又一个方面中，在第1图像面和第2图像面对于使用者而言处于重叠状态的情况下，显示控制部使显示装置中的显示方式变化。此时，即使在第1图像面和第2图像面重叠的状态下，也能够提高信息处理装置的可视性。
在又一方面中，具有通过校准对相对配置关系进行初始设定的初始设定模式，该相对配置关系用于确定是否使显示装置中的显示方式变化。在该情况下，使用者能够自己设定操作信息处理装置时的姿态。
在又一个方面中，第1传感器包含对显示装置的周围进行拍摄的第1摄像头，第2传感器包含对信息处理装置的周围进行拍摄的第2摄像头，显示控制部根据由第2摄像头拍摄的显示装置的图像数据、和由第1摄像头拍摄的信息处理装置的图像数据，使显示装置中的显示方式变化。在该情况下，能够基于第1和第2摄像头的拍摄来进行判定。
在又一个方面中，在由第1摄像头拍摄的图像中，在下方侧检测出信息处理装置的一部分或使用者的手的情况下，显示控制部开始判定是否应该使显示装置中的显示方式变化。能够根据图像中的情形检测出成为操作信息处理装置的状态。
在又一个方面中，还具有检测选择部，该检测选择部能够选择检测模式和非检测模式中的一种模式，在检测模式中，进行利用了第1传感器和第2传感器的姿态检测的、显示装置中的显示方式变化，在非检测模式中，不将第1传感器及和第2传感器的姿态检测用于显示装置中的显示方式变化。在该情况下，使用者能够选择是否利用检测模式。
进而，在另一方面中，第1传感器和第2传感器包含加速度传感器和陀螺仪传感器。在该情况下，能够进行更可靠且高精度的姿态检测。
在又一方面中，显示控制部进行显示的淡出，作为显示装置中的显示方式变化。在该情况下，通过逐渐变化，能够令使用者注意到正在使显示装置中的显示方式变化。
如上所述，具体的一个方式的显示方法是显示系统中的显示方法，该显示系统具有显示装置和信息处理装置，该显示装置显示由使用者观看的图像，该信息处理装置与显示装置连接，在该显示方法中，通过包含第1地磁传感器的第1传感器检测显示装置的姿态；通过包含第2地磁传感器的第2传感器检测信息处理装置的姿态；以及基于第1地磁传感器的检测结果和第2地磁传感器的检测结果，计算显示装置与信息处理装置的相对配置关系，并根据计算出的相对配置关系，使显示装置中的显示方式变化。
在上述显示方法中，通过利用由作为第1传感器的第1地磁传感器进行的显示装置的检测、和由作为第2传感器的第2地磁传感器进行的信息处理装置的检测，无需在显示装置和信息处理装置中设置受光部和发光部等就能够掌握显示装置与信息处理装置的相对配置关系，并能够根据该相对配置关系而使显示装置中的显示方式变化。在这种情况下，例如能够设为如下方式：可根据显示装置与信息处理装置的相对配置关系，判定处于显示系统的使用者正试图操作控制部的状态，并且与该判定对应地，使显示装置中的显示方式以降低亮度的方式变化，从而提高信息处理装置的可视性。另外例如，作为显示装置，可以使用HMD中的包含形成观看图像的光学系统的主体部分，另外，作为信息处理装置，可以利用智能手机等现有产品。在这种情况下，通过使用原本设置在HMD和智能手机中的地磁传感器，可以在不增加额外部件的情况下实现上述结构。
如上所述，具体的一个方式的显示程序是显示系统用的显示程序，该显示系统具有显示装置和信息处理装置，该显示装置显示由使用者观看的图像，该信息处理装置与显示装置连接，该显示程序使所述显示系统执行如下处理：通过包含第1地磁传感器的第1传感器检测显示装置的姿态；通过包含第2地磁传感器的第2传感器检测信息处理装置的姿态；以及基于第1地磁传感器的检测结果和第2地磁传感器的检测结果，计算显示装置与信息处理装置的相对配置关系，并根据计算出的相对配置关系，使显示装置中的显示方式变化。
在上述显示程序中，通过利用由作为第1传感器的第1地磁传感器进行的显示装置的检测、和由作为第2传感器的第2地磁传感器进行的信息处理装置的检测，无需在显示装置和信息处理装置中设置受光部和发光部等就能够掌握显示装置与信息处理装置的相对配置关系，并能够根据该相对配置关系而使显示装置中的显示方式变化。在这种情况下，例如能够设为如下方式：可根据显示装置与信息处理装置的相对配置关系，判定处于显示系统的使用者正试图操作控制部的状态，并且与该判定对应地，使显示装置中的显示方式以降低亮度的方式变化，从而提高信息处理装置的可视性。另外例如，作为显示装置，可以使用HMD中的包含形成观看图像的光学系统的主体部分，另外，作为信息处理装置，可以利用智能手机等现有产品。在这种情况下，通过使用原本设置在HMD和智能手机中的地磁传感器，可以在不增加额外部件的情况下实现上述结构。

Claims (15)

1.一种显示系统，其具有：
显示装置，其显示由使用者观看的图像；
信息处理装置，其与所述显示装置连接；
第1传感器，其设置于所述显示装置，包含第1地磁传感器来检测所述显示装置的姿态；
第2传感器，其设置于所述信息处理装置，包含第2地磁传感器来检测所述信息处理装置的姿态；以及
显示控制部，其根据基于所述第1地磁传感器的检测结果和所述第2地磁传感器的检测结果计算的、所述显示装置与所述信息处理装置的相对配置关系，使所述显示装置中的显示方式变化。
2.根据权利要求1所述的显示系统，其中，
所述显示控制部具有判定部，该判定部判定所述相对配置关系是否为应该使所述显示装置中的显示方式变化的规定的配置关系。
3.根据权利要求2所述的显示系统，其中，
在所述判定部中判断为所述显示装置和所述信息处理装置处于所述规定的配置关系时，所述显示控制部降低所述显示装置中的显示亮度。
4.根据权利要求1～3中的任意一项所述的显示系统，其中，
所述信息处理装置具有显示操作用图像的操作图像显示部，
在第1图像面的法线向量与第2图像面的法线向量所成的角处于规定的角度范围内的情况下，所述显示控制部使所述显示装置中的显示方式变化，其中，所述第1图像面是利用所述显示装置看到的图像的图像面，所述第2图像面是利用所述信息处理装置的所述操作图像显示部看到的图像面。
5.根据权利要求4所述的显示系统，其中，
当处于所述规定的角度范围内的状态被维持了规定时间以上时，所述显示控制部使所述显示装置中的显示方式变化。
6.根据权利要求4所述的显示系统，其中，
在所述第1图像面的法线方向与所述第2图像面的法线方向所成的角产生规定范围内的波动的情况下，所述显示控制部使所述显示装置中的显示方式变化。
7.根据权利要求4所述的显示系统，其中，
在所述第1图像面和所述第2图像面对于所述使用者而言处于重叠状态的情况下，所述显示控制部使所述显示装置中的显示方式变化。
8.根据权利要求1所述的显示系统，其中，
该显示系统具有通过校准对所述相对配置关系进行初始设定的初始设定模式，该相对配置关系用于确定是否使所述显示装置中的显示方式变化。
9.根据权利要求1所述的显示系统，其中，
所述第1传感器包含对所述显示装置的周围进行拍摄的第1摄像头，
所述第2传感器包含对所述信息处理装置的周围进行拍摄的第2摄像头，
所述显示控制部根据由所述第2摄像头拍摄的所述显示装置的图像数据、和由所述第1摄像头拍摄的所述信息处理装置的图像数据，使所述显示装置中的显示方式变化。
10.根据权利要求9所述的显示系统，其中，
在由所述第1摄像头拍摄的图像中，在下方侧检测出所述信息处理装置的一部分或所述使用者的手的情况下，所述显示控制部开始判定是否应该使所述显示装置中的显示方式变化。
11.根据权利要求1所述的显示系统，其中，
该显示系统还具有检测选择部，该检测选择部能够选择检测模式和非检测模式中的一种模式，在所述检测模式中，进行利用了所述第1传感器和所述第2传感器的姿态检测的、所述显示装置中的显示方式变化，在所述非检测模式中，不将所述第1传感器和所述第2传感器的姿态检测用于所述显示装置中的显示方式变化。
12.根据权利要求1所述的显示系统，其中，
所述第1传感器和所述第2传感器包含加速度传感器和陀螺仪传感器。
13.根据权利要求1所述的显示系统，其中，
所述显示控制部进行显示的淡出，作为所述显示装置中的显示方式变化。
14.一种显示方法，其是显示系统中的显示方法，该显示系统具有显示由使用者观看的图像的显示装置、和与所述显示装置连接的信息处理装置，在所述显示方法中，
通过包含第1地磁传感器的第1传感器检测所述显示装置的姿态，
通过包含第2地磁传感器的第2传感器检测所述信息处理装置的姿态，
根据所述第1地磁传感器的检测结果和所述第2地磁传感器的检测结果，计算所述显示装置与所述信息处理装置的相对配置关系，
根据计算出的所述相对配置关系，使所述显示装置中的显示方式变化。
15.一种计算机可读记录介质，其中，该记录介质记录有显示系统用的显示程序，该显示系统具有显示由使用者观看的图像的显示装置、和与所述显示装置连接的信息处理装置，所述显示程序使所述显示系统执行如下处理：
通过包含第1地磁传感器的第1传感器检测所述显示装置的姿态，
通过包含第2地磁传感器的第2传感器检测所述信息处理装置的姿态，
根据所述第1地磁传感器的检测结果和所述第2地磁传感器的检测结果，计算所述显示装置与所述信息处理装置的相对配置关系，
根据计算出的所述相对配置关系，使所述显示装置中的显示方式变化。
CN202011039149.2A 2019-09-30 2020-09-28 显示系统、显示方法以及记录介质 Pending CN112578562A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019178875A JP2021056371A (ja) 2019-09-30 2019-09-30 表示システム、表示方法及び表示プログラム
JP2019-178875 2019-09-30

Publications (1)

Publication Number Publication Date
CN112578562A true CN112578562A (zh) 2021-03-30

Family

ID=75119689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011039149.2A Pending CN112578562A (zh) 2019-09-30 2020-09-28 显示系统、显示方法以及记录介质

Country Status (3)

Country Link
US (1) US11682331B2 (zh)
JP (1) JP2021056371A (zh)
CN (1) CN112578562A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11169600B1 (en) * 2019-12-06 2021-11-09 Snap Inc. Virtual object display interface between a wearable device and a mobile device
JP2022137622A (ja) * 2021-03-09 2022-09-22 キヤノン株式会社 ウェアラブル端末、その制御方法及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120242560A1 (en) * 2011-03-24 2012-09-27 Seiko Epson Corporation Head-mounted display device and control method for the head-mounted display device
US20130083003A1 (en) * 2011-09-30 2013-04-04 Kathryn Stone Perez Personal audio/visual system
US20170059871A1 (en) * 2015-08-28 2017-03-02 Tomy Company Ltd. Information processing device including head mounted display

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5834439B2 (ja) 2011-03-24 2015-12-24 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120242560A1 (en) * 2011-03-24 2012-09-27 Seiko Epson Corporation Head-mounted display device and control method for the head-mounted display device
US20130083003A1 (en) * 2011-09-30 2013-04-04 Kathryn Stone Perez Personal audio/visual system
US20170059871A1 (en) * 2015-08-28 2017-03-02 Tomy Company Ltd. Information processing device including head mounted display

Also Published As

Publication number Publication date
US11682331B2 (en) 2023-06-20
JP2021056371A (ja) 2021-04-08
US20210097915A1 (en) 2021-04-01

Similar Documents

Publication Publication Date Title
US11310483B2 (en) Display apparatus and method for controlling display apparatus
JP6786792B2 (ja) 情報処理装置、表示装置、情報処理方法、及び、プログラム
US7997723B2 (en) Display apparatus and device
CN110275297B (zh) 头部佩戴型显示装置、显示控制方法以及记录介质
US11216083B2 (en) Display system that switches into an operation acceptable mode according to movement detected
CN108535868B (zh) 头部佩戴型显示装置及其控制方法
US10657722B2 (en) Transmissive display device, display control method, and computer program
US10976836B2 (en) Head-mounted display apparatus and method of controlling head-mounted display apparatus
KR101690646B1 (ko) 시 스루 디스플레이를 위한 카메라 구동 장치 및 그 방법
JP6023568B2 (ja) 頭部装着型装置
JP6405991B2 (ja) 電子機器、表示装置、及び、電子機器の制御方法
KR20150034558A (ko) 헤드 마운트 디스플레이 및 제어 방법
US11917120B2 (en) Eyewear with strain gauge estimation
CN104932675A (zh) 显示装置、图像显示系统以及信息处理方法
CN112578562A (zh) 显示系统、显示方法以及记录介质
US20150172550A1 (en) Display tiling for enhanced view modes
US11025894B2 (en) Head-mounted display device and display control method for head-mounted display device
EP3441847B1 (en) Controller for use in a display device
US20180260068A1 (en) Input device, input control method, and computer program
CN112581920B (zh) 显示系统、显示控制方法以及记录介质
WO2017051720A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2017051721A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6631299B2 (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP6322241B2 (ja) 頭部装着型装置
JP2016181864A (ja) 表示装置、及び、表示装置の制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210330

RJ01 Rejection of invention patent application after publication