CN109960039B - 显示系统、电子设备以及显示方法 - Google Patents

Abstract

提供显示系统、电子设备以及显示方法，与外部装置相对应地控制显示装置的显示。显示系统(1)具有PC(300)和HMD(100)，PC(300)具有输出影像数据的I/F部(341)，HMD(100)具有：I/F部(110)，其取得PC(300)输出的影像数据；图像显示部(20)，其与在佩戴着HMD(100)的状态下看到的外景重叠地显示图像；以及显示控制部(122)，其使图像显示部(20)显示I/F部(110)所取得的影像数据，显示控制部(122)使影像数据与作为外景而被看到的PC(300)的位置对应地显示于图像显示部(20)。

Description

显示系统、电子设备以及显示方法

技术领域

本发明涉及显示系统、电子设备以及显示方法。

背景技术

以往，在显示装置中，公知有接收外部装置的显示图像而进行显示的显示装置(例如，参照专利文献1)。在专利文献1中记载了如下例子：头部佩戴型显示装置(Head MountedDisplay：HMD)为了对多个装置的显示画面进行合并，接收外部装置所发送的显示图像而显示在显示部中。

专利文献1：日本特开2015-227919公报

专利文献1所公开的结构以通过HMD来显示全部显示图像为前提，能够在HMD的显示中对外部装置的显示图像进行合并。与此相对，在以往的提案中并没有与不同于显示装置的外部装置相对应地对显示装置的显示进行控制的方法的例子。

发明内容

本发明是鉴于上述情况而完成的，其目的在于，与外部装置相应地对显示装置的显示进行控制。

为了解决上述课题，本发明的显示系统具有：电子设备，其具有第1显示部；以及头部佩戴型的显示装置，其与所述电子设备连接，所述电子设备具有输出图像的输出部，所述显示装置具有：取得部，其取得所述电子设备输出的所述图像；第2显示部，其与在佩戴着所述显示装置的状态下看到的外景重叠地显示图像；以及显示控制部，其使所述第2显示部显示所述取得部所取得的所述图像，所述显示控制部使所述图像与作为外景而被看到的所述电子设备的位置对应地显示于所述第2显示部。

根据本发明，在通过头部佩戴型的显示装置来显示电子设备输出的图像的情况下，以与作为外景的电子设备的位置对应的方式进行显示。例如，能够与作为外景而被看到的第1显示部的位置相对应地，通过显示装置来显示图像。这样，能够通过与外景重叠地显示图像的显示装置来进行与作为外景而被看到的电子设备的位置相对应的显示。

并且，关于本发明，所述电子设备具有电子设备控制部，该电子设备控制部生成与比所述第1显示部大的虚拟显示区域对应的图像，并使所述第1显示部显示所生成的所述图像的一部分，使所述输出部输出所生成的所述图像的至少一部分，所述显示装置所具有的所述显示控制部使所述电子设备输出的图像的至少一部分与所述电子设备的位置相对应地显示于所述第2显示部。

根据该结构，能够在显示装置的第2显示部中进行与比电子设备的第1显示部大的虚拟显示区域对应的显示。因此，能够与电子设备的位置相对应地显示比第1显示部大的显示区域，能够通过显示装置对第1显示部进行虚拟放大。

并且，关于本发明，所述电子设备控制部使所述输出部输出与所述虚拟显示区域对应地生成的所述图像中的、除显示于所述第1显示部的部分之外的所述图像，所述显示装置所具有的所述显示控制部将所述电子设备输出的图像显示于所述第2显示部。

根据该结构，在显示装置进行与比电子设备的第1显示部大的虚拟显示区域对应的显示的情况下，在第1显示部中显示图像的一部分，在第2显示部中显示除显示于第1显示部的部分之外的部分。因此，能够实现将电子设备的显示和显示装置的显示组合起来的显示。例如，显示装置通过第2显示部在电子设备的周围显示图像，从而能够实现对第1显示部进行虚拟扩展的显示方式。

并且，关于本发明，所述显示装置所具有的所述显示控制部将所述电子设备输出的所述图像显示在作为外景而被看到的所述第1显示部的周围。

根据该结构，通过显示装置的第2显示部在电子设备的第1显示部的周围显示图像，从而实现对第1显示部进行虚拟扩展的显示方式。

并且，关于本发明，所述电子设备控制部根据所述第1显示部相对于所述第2显示部的相对位置，将与所述虚拟显示区域对应地生成的所述图像的一部分显示于所述第1显示部，使所述输出部输出除显示于所述第1显示部的部分之外的所述图像。

根据该结构，电子设备以与第1显示部相对于第2显示部的相对位置对应的方式来输出显示装置所显示的图像。因此，能够容易地实现如下动作：通过显示装置来进行与电子设备的第1显示部的位置对应的显示。

并且，关于本发明，所述电子设备控制部根据所述第1显示部相对于所述第2显示部的相对位置，使所述输出部输出与所述虚拟显示区域对应地生成的所述图像中的、对显示于所述第1显示部的部分进行遮蔽后的图像。

根据该结构，由于在第2显示部中不显示电子设备的第1显示部所显示的部分，所以能够协调电子设备所显示的图像和显示装置所显示的图像。

并且，关于本发明，所述电子设备控制部使所述输出部输出与所述虚拟显示区域对应地生成的所述图像，所述显示装置所具有的所述显示控制部将截取了所述电子设备输出的图像的一部分而得的图像显示于所述第2显示部。

根据该结构，能够通过显示装置的处理将电子设备所显示的图像的一部分放大显示于第2显示部。

并且，关于本发明，所述显示控制部根据所述第1显示部相对于所述第2显示部的相对位置，提取所述取得部所取得的所述图像的一部分而显示于所述第2显示部。

根据该结构，由于显示装置求出第1显示部相对于第2显示部的相对位置，并以与该相对位置对应的方式生成显示用图像，所以能够在不增大电子设备的负荷的情况下，实现与第1显示部的位置对应的显示。

并且，关于本发明，所述显示控制部根据所述第1显示部相对于所述第2显示部的相对位置，使所述取得部所取得的所述图像中的、对与所述第1显示部重叠的部分进行遮蔽后的图像显示于所述第2显示部。

根据该结构，通过显示装置的处理，在显示于第2显示部的图像中将显示于第1显示部的部分遮蔽，所以能够在不增大电子设备的负荷的情况下，协调电子设备所显示的图像和显示装置所显示的图像。

并且，关于本发明，所述电子设备控制部根据所述电子设备在真实空间中的位置来确定所述虚拟显示区域的位置，根据所述虚拟显示区域与所述第2显示部的相对位置来调整所述第2显示部的显示方式。

根据该结构，能够与电子设备在真实空间中的位置相对应地通过显示装置来显示图像。通过该图像，能够获得补充电子设备的第1显示部所显示的图像或对该图像进行扩展的效果。

并且，关于本发明，所述电子设备控制部在检测到所述第1显示部包含在透过所述第2显示部看到的范围内的情况下，以所述第1显示部的位置为基准，对所述图像的显示方式进行初始化。

根据该结构，能够与在显示装置中是否可以看到电子设备的第1显示部来作为外景的情况对应地，对显示方式进行调整。

并且，关于本发明，所述第2显示部具有：左眼用显示部，其朝向佩戴着所述显示装置的使用者的左眼发出图像光；以及右眼用显示部，其朝向所述使用者的右眼发出图像光，与通过所述第2显示部作为外景被看到的所述第1显示部的位置对应地，对基于所述左眼用显示部的显示位置和基于所述右眼用显示部的显示位置进行控制，从而调整显示于所述第2显示部的图像的会聚角。

根据该结构，通过调整显示装置所显示的图像的会聚角，能够使观看显示装置的显示图像的距离与电子设备的第1显示部的位置对应。由此，能够更好地协调显示装置的显示和电子设备的显示。

并且，关于本发明，所述第2显示部具有光学系统，该光学系统能够对所述使用者感知到所述第2显示部所显示的图像的视觉距离进行调整，与显示于所述第2显示部的图像的会聚角对应地对所述光学系统进行控制。

根据该结构，由于使观看显示装置的显示图像的距离与电子设备的第1显示部的位置对应，所以能够更好地协调显示装置的显示和电子设备的显示。

并且，为了解决上述课题，本发明的电子设备连接于与外景重叠地显示图像的头部佩戴型的显示装置，其中，该电子设备具有：第1显示部；输出部，其向所述显示装置输出图像；以及控制部，其根据所述第1显示部相对于所述显示装置所具有的第2显示部的相对位置，使所述输出部输出用于将与通过所述显示装置作为外景被看到的所述第1显示部的位置对应的图像显示于所述第2显示部的图像。

根据该结构，与显示装置连接的电子设备向显示装置输出图像，由此，显示装置能够以与作为外景的电子设备的第1显示部的位置对应的方式进行显示。

并且，为了解决上述课题，本发明的显示方法由电子设备和头部佩戴型的显示装置来实现，该电子设备具有第1显示部，该显示装置具有与外景重叠地显示图像的第2显示部，在该显示方法中，通过所述电子设备来输出图像，通过所述显示装置来取得所述电子设备输出的所述图像，通过所述第2显示部来显示所取得的图像，与在所述第2显示部中作为外景而被看到的所述电子设备的位置对应地，在所述第2显示部中显示所述图像。

根据本发明，在通过显示装置来显示电子设备输出的图像的情况下，能够以与作为外景的电子设备的位置对应的方式进行显示。例如，能够与作为外景而被看到的电子设备的位置对应地通过显示装置来显示图像，因此能够通过显示装置来进行与电子设备的显示相对应的显示。

本发明也可以通过上述显示系统、电子设备以及显示方法以外的各种方式来实现。例如，能够通过用于使计算机执行上述显示方法的程序、记录了上述程序的记录介质、分发上述程序的服务器装置、传送上述程序的传送介质、将上述程序具体化在载波内的数据信号等方式来实现。

附图说明

图1是构成显示系统的HMD和PC的外观图。

图2是示出HMD的光学系统的结构的图。

图3是从使用者的头部侧观察到的图像显示部的主要部分立体图。

图4是示出HMD的显示部与拍摄范围之间的对应的说明图。

图5是构成显示系统的各部分的框图。

图6是示出求出PC相对于图像显示部的相对位置的处理的说明图。

图7是示出显示系统的动作的流程图。

图8是示出显示系统的显示方式例的图。

图9是示出显示系统的显示方式例的图。

图10是示出显示系统的显示方式例的图。

图11是示出显示系统的动作的流程图。

图12是示出第2实施方式的显示系统的显示方式例的图。

图13是示出第3实施方式的显示系统的动作的流程图。

图14是示出第3实施方式的显示系统的动作的流程图。

图15是构成第4实施方式的显示系统的各部分的框图。

标号说明

2：线缆；2A：HDMI线缆；2B：USB线缆；10：连接装置；10A：控制装置；11、11A、11B、11C：连接器；20：图像显示部(第2显示部)；22：右显示单元(右眼用显示部)；24：左显示单元(左眼用显示部)；61：照相机；64：距离传感器；65：照度传感器；67：LED指示器；100、100A：HMD(显示装置)；110：I/F部(取得部)；120：控制部；121：控制部；123：位置检测部；124：传感器控制部；125：图像调整部；126：电源控制部；130：非易失性存储器；140：操作部；145：连接部；217：温度传感器；235：6轴传感器；237：磁传感器；239：温度传感器；261：半透半反镜；281：半透半反镜；300：PC(电子设备)；310：控制部(电子设备控制部)；311：输入输出控制部；312：检测值取得部；313：位置检测部；315：图像调整部；320：非易失性存储器；321：内容数据；330：显示部(第1显示部)；331：显示面板；332：触摸传感器；341：I/F部(输出部)；345：通信部；VD：虚拟图像；VD1～VD4：区域；VR：视野。

具体实施方式

[1.第1实施方式]

[1-1.显示系统的结构]

图1是示出应用了本发明的第1实施方式的显示系统1的结构的图。

显示系统1具有HMD(Head Mounted Display：头部佩戴型显示装置)100和作为HMD100的外部装置的PC(PersonalComputer：个人计算机)300。

HMD 100是具有图像显示部20(第2显示部)和连接装置10的显示装置，其中，该图像显示部20在佩戴于使用者(用户)的头部的状态下令使用者看到虚像，该连接装置10对图像显示部20进行控制。连接装置10在箱形的外壳(也称为壳体或主体)上具有多个连接器11。图像显示部20和连接装置10通过连接线缆40来连接。

在图1的例子中，连接装置10具有3个连接器11A、11B、11C。在以下的说明中，在不区分连接器11A、11B、11C的情况下统称为连接器11。连接器11是用于连接通信线缆的有线接口，连接装置10通过该通信线缆与外部装置连接。连接器11A、11B、11C例如是依照公知的通信接口标准的连接器，可以是相同形状的连接器，也可以是不同种类的连接器。在本实施方式中，作为一例，将连接器11A设为依照HDMI(注册商标)(High Definition MultimediaInterface：高清多媒体接口)标准的连接器。并且，将连接器11B设为USB(UniversalSerial Bus：通用串行总线)-TypeC连接器。并且，将连接器11C设为MicroUSB连接器。

在图1的例子中，连接装置10和PC 300通过线缆2来连接。线缆2由HDMI线缆2A和USB线缆2B构成，其中，该HDMI线缆2A将PC 300和连接器11A连接起来，该USB线缆2B将PC300和连接器11B连接起来。在该例中，PC 300通过影像传送用的HDMI接口和数据通信用的USB接口与连接装置10连接。

PC 300是具有显示图像的显示部330的计算机，相当于本发明的电子设备。优选PC300是便携式计算机，可列举出平板型计算机、笔记本型计算机、智能手机等。图1的PC 300在平板状的主体表面具有作为第1显示部的显示部330。显示部330具有液晶显示面板、有机EL(Electro Luminescent：电致发光)显示面板等显示面板331(图5)，在显示面板331的表面上设置有检测用户的接触操作的触摸传感器332(图5)。

PC 300相对于HMD 100作为外部设备来发挥功能。外部设备只要是具有显示画面，并具有在显示画面上显示图像的功能的电子器件即可，在本实施方式中示出的PC 300只是一个例子。

图像显示部20是佩戴于使用者的头部的佩戴体，是所谓的头部佩戴型显示器(HMD)。也就是说，HMD 100采用了将作为HMD主体的图像显示部20与用于连接PC 300等外部装置的连接装置10连接起来的结构。图像显示部20在本实施方式中具有眼镜形状。图像显示部20的主体具有右保持部21、左保持部23以及前部框架27，在该主体上具有右显示单元22(右眼用显示部)、左显示单元24(左眼用显示部)、右导光板26以及左导光板28。

右保持部21和左保持部23分别从前部框架27的两端部向后方延伸，如眼镜的镜腿(边撑)那样，将图像显示部20保持于使用者的头部。这里，将前部框架27的两端部中的、在图像显示部20的佩戴状态下位于使用者右侧的端部设为端部ER，将位于使用者左侧的端部设为端部EL。右保持部21设置为从前部框架27的端部ER延伸至在图像显示部20的佩戴状态下与使用者的右侧头部对应的位置处。左保持部23设置为从端部EL延伸至在图像显示部20的佩戴状态下与使用者的左侧头部对应的位置处。

右导光板26和左导光板28设置于前部框架27。右导光板26在图像显示部20的佩戴状态下位于使用者的右眼的眼前，使右眼看到图像。左导光板28在图像显示部20的佩戴状态下位于使用者的左眼的眼前，使左眼看到图像。

前部框架27具有将右导光板26的一端与左导光板28的一端互相连结的形状，该连结位置在使用者佩戴图像显示部20的佩戴状态下与使用者的眉间对应。前部框架27可以在与右导光板26和左导光板28的连结位置处，设置有在图像显示部20的佩戴状态下抵靠于使用者的鼻子的鼻托部。在该情况下，能够通过鼻托部、右保持部21和左保持部23将图像显示部20保持于使用者的头部。并且，可以对右保持部21和左保持部23连结在图像显示部20的佩戴状态下与使用者的头部后侧接触的带(省略图示)，在该情况下，能够通过带将图像显示部20保持于使用者的头部。

右显示单元22和左显示单元24是分别对光学单元和外围电路进行单元化而得的模块。

右显示单元22是通过右导光板26来显示图像的单元，其设置于右保持部21，在佩戴状态下位于使用者的右侧头部附近。左显示单元24是通过左导光板28来显示图像的单元，其设置于左保持部23，在佩戴状态下位于使用者的左侧头部附近。另外，也将右显示单元22和左显示单元24统一简称为“显示驱动部”。

右导光板26和左导光板28是由光透过性的树脂等形成的光学部，将右显示单元22和左显示单元24输出的图像光引导至使用者的眼睛。右导光板26和左导光板28例如是棱镜。

也可以在右导光板26和左导光板28的表面上设置调光板(省略图示)。调光板是透过率根据光的波段而不同的薄板状的光学元件，作为所谓的波长滤波器来发挥功能。调光板例如被配置成将前部框架27的正面侧(与使用者的眼睛侧相反的一侧)覆盖。通过适当选择该调光板的光学特性，能够对可见光、红外光和紫外光等任意波段的光的透过率进行调整，能够对从外部入射到右导光板26和左导光板28并透过右导光板26和左导光板28的外部光的光量进行调整。

图像显示部20将右显示单元22和左显示单元24所分别生成的图像光引导至右导光板26和左导光板28，利用该图像光令使用者看到虚像，从而显示出图像。在外部光从使用者的前方透过右导光板26和左导光板28入射到使用者的眼睛的情况下，构成虚像的图像光和外部光入射到使用者的眼睛，虚像的可见性会受到外部光的强度影响。因此，例如能够通过在前部框架27上安装调光板，并适当选择或调整调光板的光学特性来调整虚像被看到的容易度。在典型的例子中，可以使用如下的调光板：该调光板具有使佩戴了HMD 100的使用者至少能够看到外部景色的程度的光透过性。并且，当使用调光板时，可以期待如下的效果：保护右导光板26和左导光板28，从而抑制右导光板26和左导光板28的损伤或污物的附着等。也可以是，调光板能够分别相对于前部框架27或右导光板26和左导光板28进行拆装，也可以更换多种调光板来进行安装，还可以省略调光板。

图像显示部20的右显示单元22和左显示单元24分别与连接装置10连接。在HMD100中，左保持部23与连接线缆40连接，与该连接线缆40相连的布线布设在图像显示部20内部，右显示单元22和左显示单元24分别与连接装置10连接。

照相机61配设于图像显示部20的前部框架27。照相机61在前部框架27的前表面上设置于不遮挡透过右导光板26和左导光板28的外部光的位置处，优选对使用者在佩戴着图像显示部20的状态下所看到的外景方向进行拍摄。在图1的例子中，照相机61配置于前部框架27的端部ER侧。照相机61可以配置于端部EL侧，也可以配置于右导光板26与左导光板28的连结部。

照相机61是具有CCD、CMOS等摄像元件以及摄像镜头等的数码照相机，本实施方式的照相机61是单眼照相机，但也可以由立体照相机构成。照相机61拍摄HMD100的正面侧方向(换言之，佩戴着HMD 100的状态下的使用者的视野方向)的至少一部分外景。外景也可称为真实空间。

换言之，照相机61拍摄与使用者的视野重叠的范围或方向，拍摄使用者所注视的方向。照相机61的视场角的宽度能够适当设定，但在本实施方式中，如后述那样，包含使用者透过右导光板26和左导光板28看到的外界。更优选照相机61的拍摄范围被设定为能够拍摄可透过右导光板26和左导光板28看到的使用者的整个视野。

HMD 100具有距离传感器64。距离传感器64配置在右光学像显示部26和左光学像显示部28之间的边界部分。在使用者佩戴着图像显示部20的状态下，距离传感器64的位置在水平方向上处于使用者的双眼的大致中间，在铅直方向上处于使用者的双眼的上方。

距离传感器64对与位于预先设定的测量方向上的测量对象物之间的距离进行检测。本实施方式的距离传感器64的测量方向是HMD 100的正面侧方向，与照相机61的拍摄方向重叠。

图2是示出HMD 100的光学系统的结构的主要部分俯视图。为了便于说明，在图2中图示了使用者的左眼LE和右眼RE。

如图2所示，右显示单元22和左显示单元24构成为左右对称。作为令使用者的右眼RE看到图像的结构，右显示单元22具有发出图像光的OLED(Organic Light EmittingDiode：有机电致发光二极管)单元221。并且，还具有右光学系统251，该右光学系统251具有对OLED单元221发出的图像光L进行引导的透镜组等。图像光L被右光学系统251引导至右导光板26。

OLED单元221具有OLED面板223以及驱动OLED面板223的OLED驱动电路225。OLED面板223是将通过有机电致发光而发光并分别发出R(红)、G(绿)、B(蓝)的色光的发光元件配置成矩阵状而构成的，是自发光型的显示面板。OLED面板223具有以各包含一个R、G、B的元件的单位为1个像素的多个像素，通过配置成矩阵状的像素来形成图像。

OLED驱动电路225根据从连接装置10输入的图像数据来执行OLED面板223所具有的发光元件的选择和对发光元件的通电，从而使OLED面板223的发光元件发光。OLED驱动电路225通过粘接等固定于OLED面板223的反面、即发光面的反面侧。OLED驱动电路225例如可以由驱动OLED面板223的半导体器件构成，并安装于固定在OLED面板223的反面的基板(省略图示)上。在该基板上安装有温度传感器217。

另外，OLED面板223可以采用如下结构：将发出白色光的发光元件配置为矩阵状，并重叠配置与R、G、B的各色对应的滤色器。并且，除了分别放射R、G、B的色光的发光元件之外，也可以使用具有发出W(白色)光的发光元件的WRGB结构的OLED面板223。

右光学系统251具有使从OLED面板223射出的图像光L成为平行状态的光束的准直透镜。通过准直透镜而成为平行状态的光束的图像光L入射到右导光板26。在右导光板26的内部的引导光的光路上形成有对图像光L进行反射的多个反射面。图像光L在右导光板26的内部经过多次反射而被引导至右眼RE侧。在右导光板26上形成有位于右眼RE的眼前的半透半反镜261(反射面)。图像光L被半透半反镜261反射后从右导光板26朝向右眼RE射出，该图像光L在右眼RE的视网膜上成像，从而令使用者看到图像。

并且，作为令使用者的左眼LE看到图像的结构，左显示单元24具有发出图像光的OLED单元241和左光学系统252，该左光学系统252具有对OLED单元241发出的图像光L进行引导的透镜组等。图像光L被左光学系统252引导至左导光板28。

OLED单元241具有OLED面板243以及驱动OLED面板243的OLED驱动电路245。OLED面板243是与OLED面板223同样地构成的自发光型的显示面板。OLED驱动电路245根据从连接装置10输入的图像数据，执行OLED面板243所具有的发光元件的选择和对发光元件的通电，从而使OLED面板243的发光元件发光。OLED驱动电路245通过粘接等固定于OLED面板243的反面、即发光面的反面侧。OLED驱动电路245例如可以由驱动OLED面板243的半导体器件构成，并安装于固定在OLED面板243的反面的基板(省略图示)上。在该基板上安装有温度传感器239。

左光学系统252具有使从OLED面板243射出的图像光L成为平行状态的光束的准直透镜。通过准直透镜而成为平行状态的光束的图像光L入射到左导光板28。左导光板28是形成有对图像光L进行反射的多个反射面的光学元件(例如棱镜)。图像光L在左导光板28的内部经过多次反射而被引导至左眼LE侧。在左导光板28上形成有位于左眼LE的眼前的半透半反镜281(反射面)。图像光L被半透半反镜281反射后从左导光板28朝向左眼LE射出，该图像光L在左眼LE的视网膜上成像，从而令使用者看到图像。

HMD 100能够作为透视型的显示装置来发挥功能。即，被半透半反镜261反射后的图像光L和透过了右导光板26的外部光OL入射到使用者的右眼RE。并且，被半透半反镜281反射后的图像光L和透过了半透半反镜281的外部光OL入射到左眼LE。这样，HMD 100使在内部处理后的图像的图像光L与外部光OL重叠地入射到使用者的眼中，对于使用者而言，透过右导光板26和左导光板28看到外景，并且与该外景重叠地看到了基于图像光L的图像。半透半反镜261、281是对右显示单元22和左显示单元24所分别输出的图像光进行反射而取出图像的图像取出部，也可以称为显示部。

另外，也将左光学系统252和左导光板28统称为“左导光部”，将右光学系统251和右导光板26统称为“右导光部”。右导光部和左导光部的结构并不限定于上述的例子，只要使用图像光在使用者的眼前形成虚像，则可以使用任意的方式，例如，可以使用衍射光栅，也可以使用半透过反射膜。

图3是从使用者的头部侧观察到的图像显示部20的主要部分立体图，为图像显示部20的与使用者的头部接触的一侧(换言之是使用者的右眼RE和左眼LE所看到的一侧)。换言之，可以看到右导光板26和左导光板28的反面侧。

在图3中，向使用者的右眼RE照射图像光的半透半反镜261和向左眼LE照射图像光的半透半反镜281被看作是大致四边形的区域。并且，包含半透半反镜261、281的右导光板26和左导光板28的整体如上述那样使外部光透过。因此，使用者透过右导光板26和左导光板28的整体而看到外景，并且在半透半反镜261、281的位置处看到矩形的显示图像。

图4是示出HMD 100的图像显示部20与拍摄范围之间的对应的说明图。

照相机61如上述那样在图像显示部20中配置在右侧的端部，拍摄使用者的双眼所朝向的方向(即，使用者的前方)。

图4是将照相机61的位置与使用者的右眼RE和左眼LE一起俯视地示意性示出的图。将照相机61的视场角(拍摄范围)用C表示。另外，在图4中示出了水平方向的视场角C，但照相机61的实际视场角与普通的数码照相机同样也沿上下方向扩展。

照相机61的光轴处于包含右眼RE的视线方向RD和左眼LE的视线方向LD的方向上。使用者在佩戴着HMD 100的状态下能够看到的外景不限于无限远。例如，如图4所示，当使用者用双眼注视对象物OB时，使用者的视线RD、LD朝向对象物OB。在该情况下，使用者到对象物OB的距离在多数情况下为30cm～10m左右，更多情况下为1m～4m左右。因此，能够确定在通常使用HMD 100时的从使用者到对象物OB的距离的上限和下限的基准。该基准可以通过调查或实验求得，也可以由使用者来设定。照相机61的光轴以及视场角优选被设定为：在通常使用时的与对象物OB之间的距离相当于所设定的上限的基准和下限的基准的情况下，使得该对象物OB包含在视场角内。

并且，一般情况下，人的视野角在水平方向上大约为200度、在垂直方向上大约为125度，其中，信息接受能力优异的有效视野在水平方向上为30度左右、垂直方向上为20度左右。此外，人所注视的注视点能够迅速稳定地看到的稳定注视视野在水平方向上为60度～90度，在垂直方向上为45度～70度左右。在该情况下，当注视点为图4的对象物OB时，以视线RD、LD为中心，在水平方向上为30度、在垂直方向上为20度左右的范围是有效视野。并且，在水平方向上为60度～90度、在垂直方向上为45度～70度左右的范围是稳定注视视野，在水平方向上约为200度、在垂直方向上约为125度是视野角。此外，可以将使用者透过图像显示部20的右导光板26和左导光板28而看到的实际视野称为真实视野(FOV：Field OfView)。在图1和图2所示的本实施方式的结构中，真实视野相当于使用者透过右导光板26和左导光板28而看到的实际视野。真实视野比视野角和稳定注视视野窄，但比有效视野宽。

优选照相机61的视场角C能够拍摄比使用者的视野宽的范围，具体来说，优选视场角C至少比使用者的有效视野宽。并且，更优选视场角C比使用者的真实视野宽。进一步优选视场角C比使用者的稳定注视视野宽，最优选视场角C比使用者的双眼的视野角宽。

照相机61也可以构成为具有所谓的广角镜头来作为摄像镜头，从而能够拍摄较宽的视场角。广角镜头可以包含被称为超广角镜头、准广角镜头的镜头，并且照相机61可以构成为具有单焦点镜头，也可以具有变焦镜头，还可以具有由多个镜头构成的镜头组。

并且，如上述那样，本实施方式的照相机61在图像显示部20的前部框架27上配置在端部ER侧，但也可以配置在端部EL侧，还可以配置在右导光板26与左导光板28的连结部。在该情况下，照相机61在左右方向上的位置与图4的位置不同，视场角C根据照相机61的位置来适当设定。具体来说，在照相机61位于端部EL侧的情况下，视场角C朝向图4中的右斜前侧。并且，例如在照相机61配置于右导光板26与左导光板28的连结部的情况下，视场角C朝向图像显示部20的正面。

在使用者用右眼RE和左眼LE观察物体的情况下，通过右眼RE的视线方向与左眼LE的视线方向所成的角度来感知并识别与物体的距离。该角度被称为会聚角，例如在图4所示的观察对象物OB的情况下，会聚角为PA。

使用者观察显示于半透半反镜261、281的图像的情况下的会聚角是用右眼RE观察半透半反镜261的图像的情况下的视线方向、与用左眼LE观察半透半反镜281的图像的情况下的视线方向所成的角度。该情况下的会聚角的大小是根据半透半反镜261、281中的图像的显示位置来确定的。因此，通过对右显示单元22和左显示单元24显示图像的显示位置进行调整，能够控制会聚角，从而对使用者在视觉上识别的距离感进行控制。例如，能够调整使用者识别出由右显示单元22和左显示单元24显示的图像的距离感(视觉距离)。

并且，距离传感器64在右光学像显示部26和左光学像显示部28的中央朝向前方配置。

[1-2.显示系统的控制系统]

图5是示出构成显示系统1的HMD 100和PC 300的结构的框图。

如上述那样，HMD 100是通过连接线缆40将连接装置10和图像显示部20连接起来而构成的。

图像显示部20如上述那样具有右显示单元22和左显示单元24。右显示单元22具有显示单元基板210。在显示单元基板210上安装有连接部211、接收部(Rx)213以及EEPROM215(存储部)，其中，该连接部211与连接线缆40连接，该接收部(Rx)213接收经由连接部211从连接装置10输入的数据。

连接部211将接收部213、EEPROM 215、温度传感器217、照相机61、距离传感器64、照度传感器65以及LED指示器67与连接装置10连接起来。

EEPROM(Electrically Erasable Programmable Read-Only Memory：电可擦可编程只读存储器)215对各种数据进行非易失性存储。EEPROM 215例如存储与图像显示部20所具有的OLED单元221、241的发光特性或显示特性相关的数据、与右显示单元22或左显示单元24所具有的传感器的特性相关的数据等。具体来说，存储与OLED单元221、241的伽马校正相关的参数、对温度传感器217、239的检测值进行补偿的数据等。这些数据通过HMD 100的工厂出货时的检查而生成，并被写入EEPROM 215中。EEPROM 215所存储的数据能够通过控制部120来读取。

照相机61根据经由连接部211输入的信号来执行拍摄，并将拍摄图像数据输出到连接部211。

如图1所示，照度传感器65设置于前部框架27的端部ER，配置成接收来自佩戴着图像显示部20的使用者的前方的外部光。照度传感器65输出与受光量(受光强度)对应的检测值。

如图1所示，LED指示器67在前部框架27的端部ER配置于照相机61的附近。LED指示器67在照相机61执行拍摄的过程中点亮，从而告知处于拍摄中。

温度传感器217检测温度，并输出与检测温度对应的电压值或电阻值来作为检测值。温度传感器217安装于OLED面板223(图3)的反面侧。温度传感器217例如可以与OLED驱动电路225安装于同一基板。通过该结构，温度传感器217主要检测OLED面板223的温度。

距离传感器64执行距离检测，将表示检测结果的信号经由连接部211输出到连接装置10。距离传感器64例如可以使用红外线深度(Depth)传感器、超声波距离传感器、TOF(Time Of Flight：飞行时间)距离传感器、由图像检测和声音检测组合而成的距离检测单元等。并且，也可以构成为对通过立体照相机或单眼照相机的立体拍摄而得到的图像进行处理来检测距离。

在图5中图示了1个距离传感器64，但图4所示的一对距离传感器64、64也可以同时进行动作。并且，一对距离传感器64、64也可以构成为分别与连接部211连接，独立地进行动作。

接收部213接收经由连接部211从连接装置10传送的显示用的图像数据，并输出到OLED单元221。

左显示单元24具有显示单元基板230。在显示单元基板230上安装有连接部231和接收部(Rx)233，其中，该连接部231与连接线缆40连接，该接收部(Rx)233接收经由连接部231从连接装置10输入的数据。并且，在显示单元基板230上安装有6轴传感器235和磁传感器237。

连接部231将接收部233、6轴传感器235、磁传感器237以及温度传感器239与连接装置10连接。

6轴传感器235是具有3轴加速度传感器和3轴陀螺仪(角速度)传感器的运动传感器(惯性传感器)。6轴传感器235也可以采用将上述传感器模块化而得的IMU(InertialMeasurement Unit：惯性测量单元)。磁传感器237例如是3轴的地磁传感器。

温度传感器239检测温度，并输出与检测温度对应的电压值或电阻值作为检测值。温度传感器239安装于OLED面板243(图3)的反面侧。温度传感器239例如也可以与OLED驱动电路245安装于同一基板。通过该结构，温度传感器239主要检测OLED面板243的温度。

并且，温度传感器239也可以内置于OLED面板243或OLED驱动电路245。并且，上述基板也可以是半导体基板。具体来说，在将OLED面板243作为Si-OLED而与OLED驱动电路245等一起安装成集成半导体芯片上的集成电路的情况下，也可以在该半导体芯片上安装温度传感器239。

图像显示部20的各部分通过由连接线缆40从连接装置10供给的电力来进行动作。图像显示部20可以具有电源电路(省略图示)，该电源电路用于对由连接线缆40供给的电力进行电压转换或分配。

连接装置10具有I/F(接口)部110、控制部120、显示控制部122、传感器控制部124、电源控制部126、非易失性存储部130、操作部140以及连接部145。作为取得部的I/F部110具有连接器11A、11B、11C。并且，I/F部110也可以具有接口电路(省略图示)，该接口电路与连接器11A、11B、11C连接而执行依据各种通信标准的通信协议。并且，I/F部110也可以构成为经由连接器11A、11B、11C接受电力。

I/F部110例如可以具有能够连接外部存储装置或存储介质的存储卡用接口等，也可以使I/F部110由无线通信接口构成。I/F部110例如也可以是安装有连接器11A、11B、11C和接口电路的接口基板。并且，连接装置10的控制部120、显示控制部122、传感器控制部124、电源控制部126也可以构成为安装在连接装置主基板(省略图示)上。在该情况下，也可以在连接装置主基板上安装I/F部110的连接器11A、11B、11C和接口电路。

控制部120对连接装置10的各部分进行控制。控制部120具有CPU(CentralProcessing Unit：中央处理单元)或微计算机等处理器(省略图示)。控制部120利用处理器来执行程序，从而通过软件与硬件的协作对HMD 100的各部分进行控制。并且，控制部120可以由程序化的硬件构成。控制部120也可以具有与处理器一起形成工作区的RAM(RandomAccess Memory：随机存取存储器)、存储控制程序的ROM(Read Only Memory：只读存储器)。并且，也可以是将处理器、RAM和ROM集成在一起的半导体器件。

控制部120与非易失性存储部130、操作部140和连接部145连接。

显示控制部122执行用于通过图像显示部20来显示基于输入到I/F部110的图像数据或影像数据的图像的各种处理。例如，显示控制部122执行帧的截取、分辨率转换(缩放)、中间帧生成、帧率转换等各种处理。显示控制部122将与右显示单元22的OLED单元221和左显示单元24的OLED单元241分别对应的图像数据输出到连接部145。输入到连接部145的图像数据经由连接线缆40被传送给连接部211、231。

在帧的“截取”的具体例中，显示控制部122将比图像显示部20用于显示图像的显示区域的大小大的图像整体展开在工作区中。显示区域例如是在OLED单元221、241中形成图像的区域。并且，图像的大小用像素数或分辨率来表示。显示控制部122仅将展开的图像中的截取区域的数据传送到右显示单元22和左显示单元24。

并且，显示控制部122取得比图像显示部20的显示区域大的图像数据，根据所取得的图像数据，生成仅提取了图像显示部20所要显示的大小的图像数据后的图像数据，并传送到右显示单元22和左显示单元24。

例如，在输入到I/F部110的影像数据是3D(立体)影像数据的情况下，显示控制部122执行3D影像解码。在3D影像解码的处理中，显示控制部122基于3D影像数据生成右眼用的帧和左眼用的帧。关于输入到I/F部110的3D影像数据的格式，例如，可列举出并排格式、上下格式、帧封装格式等，但也可以是3D模型数据。

显示控制部122与I/F部110所具有的连接器11A和连接器11B连接。显示控制部122将输入到连接器11A的影像数据和输入到连接器11B的影像数据作为对象来执行处理。并且，显示控制部122也可以具有与连接于连接器11A或连接器11B的装置之间收发与影像数据的传送相关的各种控制数据的功能。

传感器控制部124对照相机61、距离传感器64、照度传感器65、温度传感器217、6轴传感器235、磁传感器237以及温度传感器239进行控制。具体来说，传感器控制部124根据控制部120的控制来进行各传感器的采样周期的设定和初始化，按照各传感器的采样周期来执行对各传感器的通电、控制数据的发送、检测值的取得等。

并且，传感器控制部124与I/F部110的连接器11B连接，在预先设定的时刻将与从各传感器取得的检测值相关的数据输出到连接器11B。由此，与连接器11B连接的装置能够取得HMD 100的各传感器的检测值、照相机61的拍摄图像数据。传感器控制部124输出的数据也可以是包含检测值的数字数据。并且，传感器控制部124也可以输出根据各传感器的检测值进行运算处理后的结果数据。例如，传感器控制部124对多个传感器的检测值进行合并处理，作为所谓的传感器融合(sensor fusion)处理部来发挥功能。通过执行传感器融合，传感器控制部124输出根据传感器的检测值而求出的数据(例如，图像显示部20的运动轨迹数据、图像显示部20的相对坐标数据等)。传感器控制部124也可以具有与连接于连接器11B的装置之间收发与数据传送相关的各种控制数据的功能。

显示控制部122和/或传感器控制部124也可以利用CPU等处理器执行程序，从而利用软件与硬件的协作来实现。即，显示控制部122和传感器控制部124由处理器构成，通过执行程序来执行上述动作。在该例中，显示控制部122和传感器控制部124也可以通过使构成控制部120的处理器执行程序来实现。换言之，控制部120、显示控制部122以及传感器控制部124也可以通过使处理器执行程序而发挥功能。这里，处理器也可另称为计算机。

并且，显示控制部122和传感器控制部124也可以由DSP(Digital SignalProcessor：数字信号处理器)或FPGA(Field Programmable Gate Array：现场可编程门阵列)等程序化的硬件构成。并且，也可以对显示控制部122和传感器控制部124进行集成而构成SoC(System-on-a-Chip：系统芯片)-FPGA。

电源控制部126与I/F部110所具有的连接器11B和连接器11C连接。电源控制部126根据从连接器11B、11C供给的电力，对连接装置10的各部分和图像显示部20进行电源供给。并且，也可以构成为在电源控制部126中内置电压转换电路(省略图示)，从而能够向连接装置10和图像显示部20的各部分供给不同的电压。电源控制部126也可以由逻辑电路或FPGA等程序化的半导体器件构成。并且，电源控制部126也可以由与显示控制部122和/或传感器控制部124共用的硬件(包含处理器)构成。

显示控制部122、传感器控制部124以及电源控制部126可以具有用于进行数据处理的工作存储器，也可以利用控制部120所具有的RAM(省略图示)的工作区来进行处理。

控制部120从右显示单元22所具有的EEPROM 215读出数据，根据读出的数据来设定显示控制部122和传感器控制部124的动作。并且，控制部120根据操作部140的操作使包括显示控制部122、传感器控制部124和电源控制部126在内的各部分进行动作。并且，控制部120对经由I/F部110与显示控制部122、传感器控制部124和电源控制部126连接的装置进行识别，并对显示控制部122、传感器控制部124和电源控制部126进行控制以执行与各装置相适应的动作。

并且，控制部120控制对LED指示器67进行通电的开始和停止。例如，与照相机61开始和停止拍摄的时机相对应地，使LED指示器67点亮或闪烁。

非易失性存储部130是非易失性地存储控制部120所处理的数据等的存储装置。非易失性存储部130例如是HDD(Hard Disk Drive：硬盘驱动器)等磁记录装置或使用了闪存等半导体存储元件的存储装置。

并且，连接装置10也可以具有可充电电池(省略图示)，构成为从该电池向连接装置10和图像显示部20的各部分供给电力。

PC 300具有控制部310、非易失性存储部320、显示部330、I/F(接口)部341以及通信部345。控制部310(电子设备控制部)具有CPU或微计算机等处理器(省略图示)，该控制部310利用该处理器来执行程序，从而对PC 300的各部分进行控制。控制部310也可以具有对由处理器(所谓的计算机)执行的控制程序进行非易失性存储的ROM以及构成处理器的工作区的RAM。

非易失性存储部320对由控制部310执行的程序和由控制部310处理的数据进行非易失性存储。非易失性存储部130例如是HDD等磁记录装置或使用了闪存等半导体存储元件的存储装置。

非易失性存储部320存储例如包含影像在内的内容的内容数据321。内容数据321是能够供控制部310进行处理的格式的文件，包含影像数据，也可以包含声音数据。

并且，非易失性存储部320存储作为控制部310所执行的基本控制程序的操作系统(OS)、以OS为平台进行动作的应用程序等。并且，非易失性存储部320存储当执行应用程序时要处理的数据或作为处理结果的数据。

显示部330所具有的显示面板331和触摸传感器332与控制部310连接。显示面板331根据控制部310的控制来显示各种图像。触摸传感器332检测触摸操作，将表示检测出的操作的数据输出到控制部310。触摸传感器332输出的数据是表示触摸传感器332的操作位置的坐标数据等。

I/F部341是与HMD 100连接的接口，相当于本发明的输出部。I/F部341例如执行依据HDMI接口、USB接口等标准的通信。I/F部341具有用于连接线缆(例如，线缆2)的连接器(省略图示)和对连接器所传送的信号进行处理的接口电路(省略图示)。I/F部341是具有连接器和接口电路的接口基板，其与安装有控制部310的处理器等的主基板连接。或者，构成I/F部341的连接器和接口电路安装在PC 300的主基板上。在本实施方式中，I/F部341具有HDMI接口和USB接口，该I/F部341通过HDMI线缆2A和USB线缆2B与连接器11A、11B连接。控制部310例如利用HDMI线缆2A来输出影像数据，利用USB线缆2B从连接装置10接收与传感器的输出值相关的数据等。I/F部341能够独立地执行基于HDMI线缆2A的通信和基于USB线缆2B的通信。并且，I/F部341也可以是无线通信接口。在该情况下，I/F部341可以是在安装了包含RF部的通信电路的接口基板或主基板上所安装的电路。

通信部345是与HMD 100之间执行数据通信的通信接口。通信部345可以是能够连接线缆的有线通信接口，也可以是无线通信接口。例如，也可以是与Ethernet(注册商标)对应的有线LAN接口、或与IEEE802.11标准对应的无线LAN接口。

控制部310通过如上述那样执行程序而作为输入输出控制部311、检测值取得部312、位置检测部313以及图像调整部315来发挥功能。

输入输出控制部311根据从触摸传感器332输入的数据来检测用户的输入。并且，输入输出控制部311对基于I/F部341和通信部345的数据的输入输出进行控制。

检测值取得部312从通过I/F部341连接的连接装置10中取得与HMD 100所具有的各传感器的检测值相关的数据。检测值取得部312从连接装置10取得照相机61的拍摄图像数据以及与距离传感器64、照度传感器65、EEPROM 215、6轴传感器235、磁传感器237、温度传感器239等的检测值相关的数据。检测值取得部312所取得的数据是被传感器控制部124处理后的数据，也可以是包含各传感器的检测值的数据、被传感器控制部124统计处理后的数据。

位置检测部313根据检测值取得部312所取得的数据来检测HMD 100的位置。更详细来说，位置检测部313检测PC 300与图像显示部20的相对位置。这里，位置检测部313所检测的相对位置可以是图像显示部20和PC 300所存在的空间中的位置，也可以包含图像显示部20与显示部330的相对朝向。例如，也可以是表示以图像显示部20为基准的情况下的显示部330的位置和/或方向的信息。并且，例如，也可以是表示以PC 300为基准的情况下的图像显示部20的位置和/或方向的信息。并且，例如，也可以包含在图像显示部20和PC 300所存在的空间中设定的三维坐标系的坐标。

在后面对位置检测部313的位置检测进行叙述。

PC 300向连接装置10输出的影像数据除了再现内容数据321的影像数据之外，还可以是PC 300通过显示部330显示的画面的影像数据。在该情况下，连接装置10与显示部330显示相同的画面，进行所谓的镜像显示。

并且，图像调整部315也可以构成为在显示部330中显示包含连接装置10所显示的图像和未被PC 300显示的图像在内的、更大的图像。并且，例如、连接装置10也可以构成为对PC 300所显示的图像的一部分进行放大而显示。在后面对PC 300的显示方式进行叙述。

[1-3.显示系统的动作]

图6是示出求出PC 300相对于图像显示部20的相对位置的处理的说明图，尤其示出了校准处理。图7是示出显示系统1的动作的流程图，尤其示出了校准处理中的PC 300的动作。

在图6中，将使用者透过图像显示部20看到的视野用标号VR表示，将照相机61的拍摄范围用标号VC表示。在该例中，拍摄范围VC与视野VR重叠，但不一致。拍摄范围VC与视野VR也可以一致，拍摄范围VC也可以包含在视野VR中。

如图6所示，在照相机61的拍摄范围VC中存在PC 300的状态下，使用显示系统1来执行校准。

在本实施方式中，在显示部330中设定基准点P1，在图像显示部20中设定基准位置P2。基准点P1是使用者能够在视觉上识别的显示，是所谓的标记。PC 300能够通过图像处理从照相机61的拍摄图像数据中检测基准点P1。基准位置P2在图像显示部20中被设定为位置的基准，可以是假想的位置，也可以不存在表示基准位置P2的显示或物体。

基准点P1是可明显看到的物体或位置即可，不需要新设置作为基准点P1的显示或物体。例如，可以将显示部330的4个角部中的1个点设为基准点P1等、将显示部330的图案或形状的特定位置设为基准点P1。

图7是示出显示系统1的动作的流程图，示出了进行校准的PC 300的动作。

在校准中，使用者使头部或图像显示部20移动以使基准点P1位于在使用者的视野VR中预先设定的位置(步骤S11)。在视野VR中的设定位置与基准点P1重叠时，使用者对图像显示部20或PC 300进行用于确定位置的操作(步骤S12)。例如，使用者进行敲击图像显示部20的前部框架27的操作。能够利用6轴传感器235将该操作检测为加速度。并且，在图像显示部20搭载有敲击传感器(省略图示)的情况下，能够根据敲击传感器的检测值来检测该操作。步骤S12的操作也可以是由触摸传感器332检测的操作。并且，在步骤S12中，PC 300也可以检测基于声音的操作。即，在PC 300搭载有麦克风并且控制部310能够对由麦克风收集的声音进行处理的结构中，控制部310能够执行将声音转换成文本的声音识别处理，或者，检测出预先登记的模式下的声音的声音指令检测处理。在该结构中，控制部310也可以在步骤S12中将使用者所发出的声音检测为输入操作。

控制部310取得检测到步骤S12的操作时的照相机61的拍摄图像数据，从而求出照相机61的拍摄图像数据中的基准点P1的位置(步骤S13)。由此，照相机61的拍摄图像数据中的位置与佩戴着图像显示部20的使用者的视野VR中的位置是对应的。因此，当在照相机61的拍摄图像数据中呈现出PC 300的情况下，能够根据该拍摄图像数据来确定PC 300相对于视野VR的相对位置。

控制部310取得与6轴传感器235和磁传感器237的输出值相关的数据(步骤S14)。在步骤S14中取得的传感器的输出值表示基准点P1与视野VR的设定位置重叠的状态下的、图像显示部20的基准位置。例如，通过对6轴传感器235的输出值进行累积，能够求出图像显示部20从基准位置移动的方向和移动量。并且，根据磁传感器237的输出值，能够求出图像显示部20相对于图像显示部20的基准位置的相对方向。因此，能够求出图像显示部20与PC300的相对位置。

控制部310生成包含有在步骤S14中取得的输出值的校准数据，并将该校准数据存储于非易失性存储部320(步骤S15)，然后结束本处理。

例如，步骤S13和S15由位置检测部313来执行，步骤S14由检测值取得部312来执行。

在图7所示的校准处理中，使PC 300的基准点P1与视野VR的设定位置一致，从而与图像显示部相对于图像显示部的基准位置的相对位置关系对应起来。在该处理中生成的校准数据例如是表示基准点P1与视野VR的相对位置的基准的数据。在该校准中，不仅可以使视野VR的规定位置与基准点P1重叠，还可以在步骤S11中采用将PC 300配置成与图像显示部20分开预先设定的距离的方法。例如，也可以在步骤S11中通过图像显示部20来显示如下图像，该图像用于引导将PC 300放置在与图像显示部20分开规定的距离的位置。该图像可以是表示PC 300在分开了规定的距离的位置处被看到时的尺寸的直线、矩形、点等标记。使用者只要对PC 300与自己的相对位置进行调整以使PC 300被看成与图像显示部20的标记重叠，然后使基准点P1与规定位置一致来进行步骤S12的操作即可。

图8、图9以及图10是分别示出本实施方式的显示系统1的显示方式例的图。在图8、图9以及图10中用视野VR来表示佩戴着图像显示部20的使用者能够透过图像显示部20看到的视野。并且，在这些图所示的例子中，图像显示部20将图像显示为使用者能够看到的显示区域与视野VR的大小和位置相同并重叠。本发明也能够应用在图像显示部20的显示区域比视野VR小的结构中。

在图8中示出了由PC 300生成的虚拟图像VD。虚拟图像VD包含：区域VD1，其包含与PC 300显示于显示部330的图像相同的图像；以及区域VD2、VD3、VD4，它们与区域VD1相邻。也就是说，虚拟图像VD是大小比显示于显示部330的图像大的图像。

PC 300设定比显示面板331的显示区域大的虚拟的显示区域，生成虚拟图像VD来作为显示于该显示区域的图像。虚拟的显示区域和虚拟图像VD的分辨率或大小可以是不同的，但在本实施方式中假设为一致来进行说明。

在以下说明中，用显示分辨率来表示显示部330所显示的图像、虚拟图像VD以及区域VD1、VD2、VD3、VD4的大小。例如，如果将显示部330的显示分辨率设为横向1920点×纵向1080点、将虚拟图像VD和虚拟显示区域的分辨率设为3840点×2160点，则虚拟图像VD的大小是显示部330的显示图像的4倍。

显示部330所显示的图像与虚拟图像VD的纵横比可以是不同的，但在纵横比一致的情况下，具有如下优点：能够快速地执行生成包含显示部330的显示图像在内的虚拟图像VD时的处理。并且，具有使用者在看到显示部330的显示图像和虚拟图像VD的双方的情况下不会感到不舒适的优点，因此优选。基于同样的理由，构成虚拟图像VD的区域VD1～VD4的各自的纵横比或分辨率也可以与显示部330不一致，但优选一致。并且，虚拟图像VD的分辨率可以不是显示部330的显示分辨率的整数倍，但优选为整数倍。

优选虚拟图像VD的大小与图像显示部20能够显示的图像相同或者比它大。即，优选虚拟图像VD的分辨率为图像显示部20的显示区域的显示分辨率以上。作为一例，列举了如下结构：显示部330的显示分辨率是横向1920点×纵向1080点，图像显示部20的显示分辨率是3840点×1080点，虚拟图像VD的分辨率为3840点×2160点。并且，虚拟图像VD和图像显示部20的显示区域的纵横比也可以不同，区域VD1～VD4的各自的纵横比或分辨率也可以与图像显示部20的显示区域不一致。并且，虚拟图像VD的分辨率也可以不是图像显示部20的显示区域的分辨率的整数倍。

可以将虚拟图像VD称为PC 300对显示于显示部330的图像进行扩展后的扩展显示区域。例如，作为PC 300所执行的操作系统或应用程序的用户接口，当在显示部330中显示出操作用的画面的情况下，控制部310与显示部330的显示分辨率相对应地构成操作用的画面。在使用虚拟图像VD的情况下，控制部310与虚拟图像VD的分辨率相对应地构成作为用户接口的画面，并使显示部330显示其一部分。在PC300再现内容数据321的情况或显示其他图像等的情况下也是同样的。这样，虚拟图像VD包含显示于显示部330的图像，换言之，显示部330显示虚拟图像VD的一部分。

并且，也可以将虚拟图像VD、显示部330的显示图像以及图像显示部20所显示的图像的大小定义为佩戴着图像显示部20的使用者所看到的大小。

图像的大小取决于像素的大小和分辨率。恰当的是将显示部330的像素大小视作使用者隔着图像显示部20看到显示部330的情况下的像素。并且，由于虚拟图像VD只要不是由图像显示部20来显示便无法看到，因此恰当的是将虚拟图像VD的像素大小视作使用者看到图像显示部20所显示的图像的像素的情况下的大小。而且，只要以佩戴着图像显示部20的使用者所看到的大小为基准使虚拟图像VD比显示部330大即可。在该情况下，虚拟图像VD的分辨率也可以是显示部330的显示分辨率以下。此外，从虚拟图像VD截取并输出到图像显示部20的影像数据的分辨率也可以是显示部330的显示分辨率以下的分辨率。在生成包含显示部330的显示图像在内的虚拟图像VD的处理中，控制部310进行将显示部330的显示图像转换成较低分辨率的图像的分辨率转换，并在转换后的图像的周围附加其他图像而生成虚拟图像VD。

图11是示出显示系统1的显示动作的流程图，尤其示出了PC 300的动作。在本实施方式中，HMD 100根据PC 300经由HDMI线缆2A输出的影像数据来显示图像，PC 300进行基于图像显示部20与PC 300的相对位置的显示控制。

以下，与图8～图10一起参照图11对显示系统1的动作进行说明。

图11所示的动作是控制部310进行使用了虚拟图像VD的显示的动作。控制部310通过触摸传感器332所检测到的操作来指示HMD 100开始输出影像，在指定了使用虚拟图像VD的显示方式的情况下，执行图11的动作。

在以下说明中，在图像显示部20的视野中包含显示部330的情况是指如下情况：佩戴着HMD 100的使用者能够透过图像显示部20看到PC 300的显示部330来作为外景。透过图像显示部20的右眼RE和左眼LE的视野(即，使用者所注视的外景的范围)能够根据图像显示部20的方向来求出。并且，如图4所示，在照相机61的视场角、与透过图像显示部20看到外景时的右眼RE和左眼LE的视野之间的关系是已知的情况下，控制部310能够根据照相机61的拍摄图像数据，判定显示部330是否进入到视野中。

控制部310经由USB线缆2B从连接装置10取得照相机61的拍摄图像数据和各传感器的输出值(步骤S21)。在步骤S21中，控制部310至少取得拍摄图像数据和距离传感器64的输出值。步骤S21例如由检测值取得部312来执行。

控制部310判定在照相机61的拍摄图像数据中是否包含显示部330(步骤S22)。在步骤S22中，控制部310例如通过图案匹配从拍摄图像数据中检测显示部330的图像。

在判定为显示部330不包含在拍摄图像数据中的情况下(步骤S22；否)，控制部310返回到步骤S21。

在判定为显示部330包含在拍摄图像数据中的情况下(步骤S22；是)，控制部310根据在步骤S21中取得的传感器的输出值来检测显示部330的位置和姿势(步骤S23)。在步骤S23中，控制部310例如根据SLAM(Simultaneous Localization and Mapping：同时定位和映射)的执行和距离传感器64的检测值来求出图像显示部20与显示部330的相对位置。并且，控制部310也可以利用拍摄图像数据来检测显示部330的基准点P1，根据检测出的基准点P1的位置来求出显示部330相对于图像显示部20的相对位置。

控制部310根据在步骤S23中求出的位置和姿势，映射出三维空间中的显示部330的位置和姿势(步骤S24)。显示部330的位置和姿势用以基准位置P2为原点或基准点的三维坐标来表示。

控制部310将虚拟图像VD与显示部330的位置和方向相对应地配置在三维空间中(步骤S25)。虚拟图像VD的大小是预先设定的。例如，作为设定数据(省略图示)，在非易失性存储器320中存储有虚拟图像VD的分辨率、和用于规定应相对于显示部330设定的虚拟图像VD的位置的数据。

控制部310将虚拟图像VD配置成与显示部330平行且与显示部330重叠的面。换言之，虚拟图像VD是包含显示部330且比显示部330大的虚拟平面。控制部310针对虚拟图像VD的四个角部的位置或中心的位置等、能够确定虚拟图像VD的位置的基准位置，求出以基准位置P2为原点或基准点的三维坐标。

控制部310生成虚拟图像VD的图像数据(步骤S26)。虚拟图像VD是如上述那样对显示部330进行虚拟放大的画面，例如，是构成操作系统的用户接口的画面。

控制部310在虚拟图像VD中确定由图像显示部20显示的范围(步骤S27)。如图8所示，图像显示部20显示出虚拟图像VD的一部分。控制部310根据图像显示部20的方向与虚拟图像VD的相对位置，求出在虚拟图像VD中由图像显示部20显示的范围。

控制部310确定由图像显示部20显示出图像的范围中的显示部330的位置(步骤S28)。图像显示部20在半透半反镜261、281上显示图像，在图8～图10的例子中，观看图像的范围与视野VR重叠。控制部310在佩戴着图像显示部20的使用者的视野VR中，确定当透过图像显示部20看到显示部330时在视野VR中看到显示部330的位置。该位置能够根据在步骤S23中确定的PC 300的位置和姿势来求出。

控制部310进行从虚拟图像VD中截取或提取显示于图像显示部20的范围的图像的处理(步骤S29)，并对所截取出的图像实施遮蔽处理(步骤S30)。在步骤S30中实施遮蔽处理的范围是显示部330与图像显示部20所显示的图像重叠的范围，或者是包含与显示部330重叠的部分在内的范围。

在图8所示的例子中，虚拟图像VD中的区域VD1、VD2被截取为图像显示部20所显示的范围。在显示区域VD1的位置处看到显示部330。在该情况下，控制部310可以对区域VD1整体进行遮蔽，也可以只对区域VD1中的与显示部330重叠的范围实施遮蔽处理。

在图像显示部20正在显示虚拟图像VD的状态下，使用者能够看到透过图像显示部20的外景。这里，当在被图像显示部20看作为外景的视野VR中包含显示部330的情况下，使用者重叠地看到显示部330所显示的图像与图像显示部20所显示的图像。在这种状态下，为了向使用者提供更好的视觉体验，在本实施方式中，通过调整图像显示部20的显示方式来进行提高显示部330的可见性的处理。将该处理称为遮蔽(mask)处理。

图9示出了控制部310实施了遮蔽处理的状态。在图9的例子中，对作为与显示部330重叠的范围的区域VD1整体实施遮蔽处理。遮蔽处理例如是使像素的颜色数据(所谓的像素数据、像素值)为黑色或暗色的处理。由于图像显示部20通过使OLED单元221、241发出的光入射到右眼RE和左眼LE而显示图像，所以当使像素值为黑色或暗色时，入射到右眼RE和左眼LE的光量减少。当图像显示部20发出的光量减少时，由于透过图像显示部20的外部光OL的光量相对地增加，所以外景的可见性提高。因此，使用者能够在实施了遮蔽处理的范围内良好地看到外景，通过遮蔽处理来提高作为外景的显示部330的可见性。

这样，控制部310所进行的遮蔽处理是如下的处理：将为了显示于图像显示部20而输出到连接装置10的影像数据的像素值设定为黑色(R、G、B＝0、0、0)或预先设定的暗色，以使光量减少。

在PC 300向连接装置10输出的影像数据中，通过遮蔽处理将包含有显示部330的显示图像的范围内的像素值变更为黑色或暗色，因此实际上显示部330所显示的图像被去除。这样，在由图像显示部20显示出图像的范围与显示部330重叠的情况下，控制部310将除显示部330所显示的图像之外的影像数据输出到连接装置10。

在进行了遮蔽处理的影像数据中，通过遮蔽将作为与显示部330重叠的区域的区域VD1的图像去除，通过图像显示部20来显示位于区域VD1周围的区域(在图10中为区域VD2)的图像。

控制部310设定实施了遮蔽处理后的图像的会聚角(步骤S31)。在步骤S31中，控制部310设定图像的会聚角，使得图像显示部20所显示的虚拟图像VD的一部分被看作为包含显示部330的平面。PC 300输出如下的影像数据：该影像数据包含由图像显示部20的右显示单元22显示的图像的图像数据、和由左显示单元24显示的图像的图像数据。控制部310对右显示单元22用的图像中的虚拟图像VD的位置和左显示单元24用的图像中的虚拟图像VD的位置进行调整，从而调整使用者的左眼LE和右眼RE的会聚角。

控制部310开始向连接装置10输出影像数据(步骤S32)。连接装置10通过显示控制部122对输入到I/F部110的影像数据进行解码，开始由右显示单元22和左显示单元24进行显示的处理。

步骤S24～S32例如由图像调整部315来执行。

在显示开始后，控制部310判定视野VR是否发生了移动(步骤S33)。这里，视野VR的移动是指视野VR相对于虚拟图像VD的相对位置的移动。在步骤S33中，图像调整部315根据位置检测部313的检测值来进行判定。并且，以下的步骤S34～S39由图像调整部315来执行。

图10示出了视野VR发生了移动的例子。在图10的例子中，视野VR移动到比图9的状态靠上方的位置。由于该移动，视野VR以跨越区域VD1、VD2、VD3、VD4的方式与这些区域重叠。

控制部310在判定为视野VR发生了移动的情况下(步骤S33；是)，判定PC 300的位置(更具体来说是显示部330的位置)是否处于由图像显示部20显示出图像的范围之外(步骤S34)。在步骤S34中，控制部310进行基于图像显示部20与显示部330的相对位置和方向的判定。

在判定为显示部330的位置处于图像显示部20的显示范围之外的情况下(步骤S34；是)，控制部310解除在步骤S30中实施的遮蔽处理(步骤S35)。控制部310与移动后的视野VR相对应地变更从虚拟图像VD进行截取的范围(步骤S36)，然后返回到步骤S33。

在图10所示的例子中，控制部310从虚拟图像VD中截取跨越区域VD1、VD2、VD3、VD4的范围，生成与截取出的图像对应的影像数据而输出到连接装置10。由此，图像显示部20显示出与视野VR重叠的范围的虚拟图像VD。

并且，在控制部310判定为显示部330的位置不处于图像显示部20的显示范围之外的情况下(步骤S34；否)，显示部330处于图像显示部20的显示范围内。在该情况下，控制部310判定显示部330是否从图像显示部20的显示范围外移动到了范围内(步骤S37)。

在显示部330因视野VR的移动而从处于图像显示部20的显示范围之外的状态进入到显示范围内的情况下(步骤S37；是)，控制部310对向连接装置10输出的影像数据的状态进行初始化(步骤S38)。在初始化中，控制部310将向连接装置10输出的影像数据中的遮蔽处理的有无、从虚拟图像VD截取的范围等恢复为初始状态。控制部310返回到步骤S23，再次执行用于开始输出影像数据的处理。

关于步骤S38的初始化的处理，具体来说，可列举以下例子。作为第1例，列举了如下处理：在步骤S37中判定为显示部330的整体进入到视野VR中的情况下，利用在之前执行的步骤S25中进行了配置和处理后的虚拟图像VD来生成显示图像。并且，作为第2处理，列举了如下处理：按照显示部330的位置来执行步骤S23之后的处理，重新设定虚拟图像VD的位置(包括深度)。除此之外，控制部310所进行的处理的具体例是任意的。

并且，在显示部330没有从图像显示部20的显示范围外移动到范围内的情况下(步骤S37；否)，即，在显示部330持续保持处于图像显示部20的显示范围内的状态的情况下，控制部310转移到步骤S36。

并且，控制部310在判定为视野VR没有移动的情况下(步骤S33；否)，判定是否结束显示(步骤S39)。例如，在通过对显示部330的操作等指示了显示结束的情况下(步骤S39；是)，控制部310停止对连接装置10输出影像数据，结束本处理。另一方面，在继续进行显示的情况下(步骤S39；否)，控制部310返回到步骤S33。

在步骤S33中，在图像显示部20发生了移动的情况下，例如在佩戴着图像显示部20的使用者使头部移动的情况下，控制部310判定为视野VR发生了移动。并且，当在图像显示部20没有移动的状态下通过使PC 300发生移动而使图像显示部20与PC 300的相对位置发生了变化的情况下，也可以同样地判定为视野VR发生了移动。也就是说，在步骤S33中所要检测的视野VR的移动是图像显示部20与PC 300的相对位置的变化，包含图像显示部20发生移动的情况、PC 300发生移动的情况、以及图像显示部20和PC 300的双方发生移动的情况。

因此，在使用者使头部移动的情况以及使用者或其他人使PC 300移动的情况下，均根据PC 300的位置是否处于图像显示部20的显示范围内来执行步骤S34之后的处理。

在图7和图11所示的处理中，显示系统1也可以代替距离传感器64而使用照相机61的拍摄图像数据来检测距离。例如，显示系统1预先将如下的数据作为参照用数据存储在非易失性存储部130或非易失性存储部320中：该数据是将图像显示部20到被摄体的距离、与照相机61的拍摄图像数据中所呈现的被摄体的图像大小对应起来而得的。在该情况下，控制部310能够根据参照用数据和照相机61的拍摄图像数据中的PC 300或显示部330的图像大小，计算出图像显示部20到PC 300或显示部330的距离。

如以上说明的那样，第1实施方式的显示系统1具有：PC 300，其具有显示部330；以及HMD 100，其与PC 300连接。PC 300具有输出图像的I/F部341。HMD 100具有作为取得部的I/F部110，该I/F部110取得PC 300输出的影像数据。并且，HMD 100具有：图像显示部20，其构成为能够看到外景，与在佩戴着HMD 100的状态下看到的外景重叠地显示图像；以及显示控制部122，其使图像显示部20显示取得部所取得的图像。显示控制部122使图像与作为外景而被看到的PC 300的位置对应而显示在图像显示部20中。

并且，PC 300相当于与HMD 100连接的本发明的电子设备。PC 300具有：显示部330；以及I/F部341，其向HMD 100输出影像数据。并且，PC 300具有控制部310，该控制部310求出显示部330相对于HMD 100的图像显示部20的相对位置。控制部310根据显示部330相对于图像显示部20的相对位置，生成用于在图像显示部20中显示与作为外景而被看到的显示部330的位置对应的图像的影像数据并从I/F部341输出。

根据应用了本发明的显示系统1和PC 300，能够通过HMD 100将PC 300输出的图像显示为与作为外景的PC 300的显示部330的位置对应。例如，能够与作为外景而被看到的PC300的显示部330的位置相对应地，通过HMD 100来显示图像。这样，能够通过与外景重叠地显示图像的HMD 100，进行与作为外景而被看到的PC 300的显示部330相对应的显示。

并且，控制部310生成与比显示部330大的虚拟显示区域对应的虚拟图像VD。控制部310使显示部330显示与虚拟显示区域对应地生成的虚拟图像VD的一部分，通过I/F部341来输出包含虚拟图像VD的至少一部分的显示用图像。例如，控制部310使显示部330显示虚拟图像VD的一部分，通过I/F部341来输出虚拟图像VD中的除显示部330所显示的部分之外的图像。并且，显示系统1使HMD 100所具有的图像显示部20与作为外景而被看到的显示部330的位置相对应地，显示基于通过控制部310的控制而输出的影像数据的图像。具体来说，从PC 300向连接装置10输出对在图像显示部20中与重叠于显示部330的位置对应的区域进行遮蔽后的影像数据。因此，在HMD 100的图像显示部20中进行与比PC 300的显示部330大的虚拟图像VD对应的显示。因此，能够通过HMD 100对PC 300的显示部330进行虚拟放大。

并且，控制部310生成从虚拟图像VD中去除了显示于显示部330的区域后的影像数据并通过I/F部341来输出。控制部310在HMD 100所具有的图像显示部20中，将通过控制部310的控制而输出的显示用图像显示在作为外景而被看到的显示部330的周围。也就是说，在通过HMD 100来显示与比PC 300的显示部330大的虚拟显示区域对应的虚拟图像VD的情况下，将显示于显示部330的区域去除后进行显示。因此，能够将显示部330的显示和基于HMD 100的显示以不重叠的方式组合起来。例如，通过HMD 100在PC 300的显示部330的周围显示图像，从而实现对显示部330进行虚拟扩展的显示方式。

并且，控制部310求出显示部330相对于HMD 100的图像显示部20的相对位置，根据所求出的相对位置来进行遮蔽处理，生成影像数据并通过I/F部341来输出。这样，以与显示部330相对于图像显示部20的相对位置对应的方式生成影像数据，因此能够容易通过HMD100来实现与PC 300的显示部330的位置对应的显示。

并且，控制部310生成虚拟图像VD，根据PC 300在真实空间中的位置来确定虚拟图像VD的位置。控制部310以与虚拟图像VD和图像显示部20的相对位置对应的方式，对由图像显示部20显示的虚拟图像VD的显示方式进行调整。由此，能够与PC 300的显示部330在真实空间中的位置对应地，通过HMD 100来显示虚拟图像VD。通过该虚拟图像VD，能够获得补充显示部330或对显示部330进行扩展的效果。

并且，当控制部310检测到在图像显示部20中作为外景而被看到的范围内包含显示部330的情况下，以检测到的显示部330的位置为基准，对虚拟图像VD的显示方式进行初始化。由此，能够与在HMD 100中是否可以看到PC 300的显示部330来作为外景的情况对应地对显示方式进行调整。并且，在HMD 100显示图像的期间，即使PC 300的显示部330的可见状态发生变化，也可以适当地应对。

并且，图像显示部20佩戴于使用者的头部，具有朝向使用者的左眼LE发出图像光的左显示单元24和朝向使用者的右眼RE发出图像光的右显示单元22。并且，控制部310与作为图像显示部20的外景而被看到的显示部330的位置相对应地，对左显示单元24的显示位置和右显示单元22的显示位置进行控制，从而调整显示于图像显示部20的图像的会聚角。在该情况下，通过调整HMD 100所显示的图像的会聚角，能够使观看HMD 100的显示图像的距离与PC 300的显示部330的位置对应。由此，能够更好地协调HMD 100的显示和PC 300的显示部330的显示。

另外，在图11的处理中，有时显示部330非常接近图像显示部20至遮挡透过图像显示部20的视野的程度。例如，列举了在步骤S23中检测到的显示部330的位置比预先设定的范围更靠近图像显示部20的情况。在该情况下，控制部310也可以停止对连接装置10的影像输出，然后返回到步骤S21。

在上述实施方式中，控制部310通过对右眼RE用的图像和左眼LE用的图像中的图像的显示位置进行调整来控制会聚角，从而对使用者感知到图像显示部20的显示图像的视觉距离进行控制。

在能够通过右显示单元22和左显示单元24所具有的光学系统对使用者感知到图像显示部20的显示图像的视觉距离进行调整的情况下，图像显示部20也可以代替会聚角的控制而进行基于该光学系统控制的调整。也就是说，也可以对光学系统进行控制，使得使用者将作为虚拟图像VD的一部分的图像显示部20的显示图像感知为处于与显示部330相同的位置的图像。在该情况下，能够使看到图像显示部20的显示图像的距离与PC 300的显示部330的位置对应，能够更好地协调HMD 100的显示和PC 300的显示。

作为上述光学系统。列举了具有能够在连接右眼RE和左眼LE的左右方向上移动的透镜的结构。在该结构中，在右显示单元22和左显示单元24中分别配置有能够沿左右方向移动的透镜。透镜例如也可以配置在右光学系统251与半透半反镜261之间、以及左光学系统252与半透半反镜281之间。并且，也可以在右光学系统251和左光学系统252的内部配置透镜。通过使分别入射到右眼RE和左眼LE的图像光的位置与透镜的位置对应地沿左右方向移动，能够使会聚角发生变化。在该例子中，采用了由控制部120来控制透镜的移动的结构，控制部310通过将影像数据和指定透镜位置的控制数据输出到连接装置10，能够实现控制部310所计算出的会聚角。

并且，作为由图像显示部20输出图像光的光学系统，也可以具有全息显示装置。在该情况下，图像显示部20例如具有光源和对来自光源的光进行调制的空间光调制器(SLM：Spatial Light Modulator)。SLM例如可以使用利用了液晶的反射型空间光相位调制器(LCOS(Liquid Crystal On Silicon)-SLM)。在该结构中，连接装置10向SLM输出显示数据，从而利用SLM对从光源发出的参照光进行调制，成像出立体像。在该情况下，根据从PC 300输出到连接装置10的影像数据或PC 300输出的影像数据，对显示控制部122所生成的显示数据进行调整，从而能够调整图像显示部20所成像出的立体像的焦距。因此，在本实施方式中也可以代替调整会聚角的控制，通过在构成为全息显示装置的图像显示部20中对立体像的焦距进行控制，能够调整使用观看图像显示部20所显示的像的距离。

并且，也可以构成为在图像显示部20的外侧设置有调光遮光部。调光遮光部具有液晶面板等，是通过控制部310的控制来使光的透过率发生变化的板状的电子器件。在图像显示部20设置有调光遮光部的情况下，透过调光遮光部后接着透过右导光板26、左导光板28的外部光OL入射到佩戴着图像显示部20的使用者的右眼RE和左眼LE。使用者利用透过了调光遮光部和图像显示部20的外部光来看到外景。因此，根据调光遮光部的透过率(透光率)，使用者看到外景的可见性发生变化。

在控制部310执行遮蔽处理时，为了提高要进行遮蔽处理的区域的可见性，也可以控制成提高调光遮光部针对该区域的透过率。

在上述第1实施方式中，对确定图像显示部20的显示范围中的显示部330的位置、并与显示部330的位置相对应地在图像显示部20中显示图像的结构进行了说明。也就是说，与图像显示部20和显示部330的相对位置相对应地对图像进行了显示。本发明并不限定于此，例如，也可以以PC 300的外观的一部分或全部为基准来检测或确定图像显示部20的显示范围中的PC 300的位置。

即，控制部310在步骤S22中判定在照相机61的拍摄图像数据中是否包含PC 300的外观的至少一部分。在步骤S22中，控制部310例如通过图案匹配从拍摄图像数据中检测PC300的图像。这里，控制部310也可以通过图案匹配从照相机61的拍摄图像中检测PC 300的壳体角部的形状、PC 300中的显示部330与壳体的边界部分的形状、PC 300的背面侧的形状、PC 300的背面的涂装颜色等。并且，控制部310也可以从照相机61的拍摄图像中检测粘贴或固定于PC 300的壳体的标记。标记例如可以使用条形码或二维码等图像码、字符、其他图像。并且，PC 300的外观的花纹或形状也可以是作为标记来发挥功能的花纹或形状。例如，PC 300并不限于图1所示的平板形状，也可以是具有突起或凹部的形状，可以构成为由控制部310来检测这些突起或凹部。在该情况下，控制部310也可以根据拍摄图像数据来确定PC 300的位置或姿势，求出PC 300相对于图像显示部20的相对位置。并且，控制部310也可以求出PC 300相对于图像显示部20的相对位置，根据所求出的相对位置来进行求出图像显示部20与显示部330的相对位置的处理。

[2.第2实施方式]

图12是示出应用了本发明的第2实施方式的显示方式例的图。

第2实施方式是通过具有与第1实施方式相同的结构的显示系统1来形成与第1实施方式不同的虚拟图像VD的例子。

图12所示的虚拟图像VD与图8所示的虚拟图像VD同样，是大小比显示于显示部330的图像大的图像。在第2实施方式中，控制部310将显示于显示部330的图像的整体配置于虚拟的显示区域而生成虚拟图像VD。

如图12所示，显示于虚拟图像VD整体的图像是与显示部330所显示的图像整体相同的内容。在虚拟显示区域的分辨率与显示部330所显示的图像的分辨率或显示部330的显示分辨率不一致的情况下，控制部310进行分辨率转换而生成虚拟图像VD。

虚拟图像VD被分割为区域VD1、VD2、VD3、VD4。对区域VD1～VD4分别分配将显示部330的显示图像分割后的一部分。图12的虚拟图像VD将显示部330的显示图像分割为4份，分割得到的区域被显示在区域VD1、VD2、VD3、VD4中。

控制部310在从虚拟图像VD截取(提取)图像显示部20所显示的范围的处理(图11的步骤S29和步骤S36)中，以区域VD1～VD4中的任意区域为单位来进行截取。也就是说，区域VD1～VD4中的任意区域的影像数据被输出到连接装置10。

并且，在判定视野VR是否发生了移动的处理(步骤S33)中，在视野VR越过了区域VD1～VD4的边界的情况下，控制部310判定为视野VR发生了移动。在该判定中，在视野VR的中心越过了区域VD1～VD4的边界而发生移动的情况下，即，从区域VD1～VD4中的任意区域移动到相邻的区域的情况下，控制部310判定为肯定。

在第2实施方式中，PC 300使显示部330显示与显示部330对应的图像，生成与显示部330的显示图像对应的虚拟图像VD，并输出包含虚拟图像VD的至少一部分的图像的影像数据。显示系统1使HMD 100所具有的图像显示部20与作为外景而被看到的显示部330的位置相对应地，显示基于通过控制部310的控制而输出的影像数据的图像。由此，能够使图像显示部20与在图像显示部20中作为外景而被看到的显示部330的位置相对应地，对显示于PC 300的显示部330的图像的至少一部分进行显示。因此，能够协调显示部330的显示图像和HMD 100所显示的图像。

并且，由于控制部310通过I/F部341来输出截取了虚拟图像VD的一部分后的图像，所以能够在图像显示部20中对显示部330的显示图像的一部分进行放大显示。

并且，控制部310求出显示部330相对于HMD 100的图像显示部20的相对位置，根据所求出的相对位置，生成影像数据。由此，能够容易地通过具有图像显示部20的HMD 100来实现与PC 300的显示部330的位置对应的显示。

[3.第3实施方式]

图13和图14是示出应用了本发明的第3实施方式的显示系统1的动作的流程图。图13示出了PC 300的动作，图14示出了HMD 100的动作。

第3实施方式是通过具有与第1实施方式相同的结构的显示系统1来执行与第1实施方式不同的动作的例子。

在第3实施方式中，由PC 300来执行检测PC 300相对于图像显示部20的相对位置的处理，另一方面，由HMD 100来执行截取出PC 300所生成的虚拟图像VD的一部分的处理。

在图13所示的流程图中，对与图11相同的处理赋予相同的步骤编号并省略说明。

控制部310执行步骤S21～S28的处理。控制部310在步骤S28中确定由图像显示部20显示出图像的范围中的显示部330的位置(步骤S28)。这里，控制部310开始如下处理：将表示在步骤S28中确定的显示部330的位置的位置数据与虚拟图像VD的影像数据一起输出到HMD 100(步骤S51)。在步骤S51中控制部310输出的位置数据是用于从虚拟图像VD中截取出图像显示部20所显示的范围的图像的数据。

与步骤S32(图11)同样，控制部310判定视野VR是否发生了移动(步骤S52)。在步骤S52中，图像调整部315根据位置检测部313的检测值来进行判定。并且，以下说明的步骤S53～S57由图像调整部315来执行。

控制部310在判定为视野VR发生了移动的情况下(步骤S52；是)，判定PC 300的位置是否处于由图像显示部20显示出图像的范围之外(步骤S53)。在步骤S53中，控制部310也可以判定显示部330的位置是否处于由图像显示部20显示出图像的范围之外。在步骤S53中，控制部310进行基于图像显示部20与显示部330的相对位置和方向的判定。

在判定为PC 300的位置处于图像显示部20的显示范围之外的情况下(步骤S53；是)，与移动后的视野VR相对应地变更向HMD 100输出的位置数据(步骤S54)，然后返回到步骤S52。

在控制部310判定为PC 300的位置不处于图像显示部20的显示范围之外的情况下(步骤S53；否)，控制部310判定PC 300是否从图像显示部20的显示范围外移动到了范围内(步骤S55)。

在显示部330因视野VR的移动而从处于图像显示部20的显示范围外的状态进入到显示范围内的情况下(步骤S55；是)，控制部310判定为需要对HMD 100的显示进行初始化(步骤S56)。控制部310返回到步骤S23，再次执行用于开始影像数据的输出的处理。该初始化的处理与在步骤S38中说明的处理相同，在图13和图14所示的动作例中通过图像显示部20来进行初始化。

在判定为PC 300没有从图像显示部20的显示范围外移动到范围内的情况下(步骤S55；否)，控制部310转移到步骤S54而变更位置数据。

在步骤S52中，与步骤S33同样，在图像显示部20发生了移动的情况和PC 300发生了移动的情况的任意情况下，只要图像显示部20与PC 300的相对位置发生了变化，则判定为视野VR发生了移动。

控制部310在判定为视野VR没有移动的情况下(步骤S52；否)，判定是否结束显示(步骤S57)。例如，在通过对显示部330的操作等指示了显示结束的情况下(步骤S57；是)，控制部310停止向连接装置10输出影像数据后结束本处理。另一方面，在继续进行显示的情况下(步骤S57；否)，控制部310返回到步骤S52。

在图14所示的动作中，HMD 100的控制部120开始如下处理：取得PC 300输出的虚拟图像VD的数据和位置数据(步骤S61)。控制部120根据所取得的位置数据，确定由图像显示部20显示出图像的范围中的显示部330的位置(步骤S62)。

控制部120执行从虚拟图像VD中截取出图像显示部20所显示的范围的图像的处理(步骤S63)。控制部120对截取出的图像实施遮蔽处理(步骤S64)。在步骤S64中实施遮蔽处理的范围与步骤S30(图11)同样，是显示部330与图像显示部20所显示的图像重叠的范围，或者是包含与显示部330重叠的部分在内的范围。

控制部120设定实施了遮蔽处理的图像的会聚角(步骤S65)。在步骤S65中，与在步骤S31(图11)中由控制部310执行的处理同样地，控制部120设定图像的会聚角，使得图像显示部20所显示的虚拟图像VD的一部分被看作为包含显示部330的平面。控制部120生成如下的影像数据并开始显示(步骤S66)：该影像数据包含由图像显示部20的右显示单元22显示的图像的图像数据和由左显示单元24显示的图像的图像数据。这里，控制部120通过对右显示单元22用图像中的虚拟图像VD的位置和左显示单元24用图像中的虚拟图像VD的位置进行调整，能够调整使用者的左眼LE和右眼RE的会聚角。

控制部120判定为是否变更了PC 300输出的位置数据(步骤S67)。控制部120在判定为变更了位置数据的情况下(步骤S67；是)，判定PC 300的位置是否处于由图像显示部20显示出图像的范围之外(步骤S68)。步骤S68的处理例如与在步骤S34(图11)中由控制部310执行的处理相同。

在判定为PC 300的位置处于图像显示部20的显示范围之外的情况下(步骤S68；是)，控制部120解除在步骤S64中实施的遮蔽处理(步骤S69)。控制部120与变更后的位置数据相对应地变更从虚拟图像VD进行截取的范围(步骤S70)，然后返回到步骤S67。

控制部120在判定为PC 300的位置不处于图像显示部20的显示范围之外的情况下(步骤S68；否)，判定PC 300是否从图像显示部20的显示范围外移动到了范围内(步骤S71)。在PC 300从处于图像显示部20的显示范围外的状态进入到显示范围内的情况下(步骤S71；是)，控制部120对图像显示部20的显示进行初始化(步骤S72)。步骤S72的初始化例如与步骤S38(图11)同样，控制部120将遮蔽处理的有无、从虚拟图像VD截取的范围等恢复为初始状态。控制部120返回到步骤S61，再次执行用于开始显示的处理。

在PC 300没有从图像显示部20的显示范围外移动到范围内的情况下(步骤S71；否)，控制部120转移到步骤S70。

并且，在判定为没有变更位置数据的情况(步骤S67；否)下，控制部120判定是否结束显示(步骤S73)。例如，在通过从PC 300输入的指令或对操作部140的操作等指示了结束显示的情况下(步骤S73；是)，控制部120停止图像显示部20的显示并结束本处理。另一方面，在继续进行显示的情况下(步骤S73；否)，控制部120返回到步骤S67。

根据该第3实施方式，PC 300确定PC 300相对于图像显示部20的相对位置，进行求出图像显示部20的显示范围中的PC 300的位置的处理，HMD 100从虚拟图像VD中截取图像并显示在图像显示部20中。这样，PC 300和HMD 100构成为相互分担地执行处理，由此能够通过使HMD 100的结构简化来实现HMD 100的轻量化和小型化。并且，图像显示部20执行从虚拟图像VD截取图像的处理，由此例如能够在图像显示部20中高速执行会聚角的设定等处理。

在第3实施方式所说明的动作中，也可以执行与步骤S33～S38(图11)同样的处理。在该情况下，优选步骤S33、S34、S37的处理由控制部310来执行。并且，优选控制部120取得由控制部310执行步骤S33、S34、S37后的处理结果，从而执行步骤S35、S36、S38的处理。

[4.第4实施方式]

图15是构成第4实施方式的显示系统1A的各部分的框图。

显示系统1A构成为在通过第1实施方式说明的显示系统1中使HMD 100具有控制装置10A来代替连接装置10。控制装置10A具有控制部121，控制部121对从PC 300输入的影像数据进行处理。除了控制部121和关联的各部分的结构之外，显示系统1A具有与显示系统1同样的结构部。对与显示系统1相同的结构部赋予相同的标号而省略说明。

控制部121与控制部120(图5)同样，具有CPU或微计算机等处理器(省略图示)，该控制部121利用该处理器来执行程序，从而通过软件和硬件的协作对HMD 100的各部分进行控制。并且，控制部121也可以由程序化的硬件构成。

控制部121与非易失性存储部130、操作部140和连接部145连接。并且，控制部121具有位置检测部123和图像调整部125。位置检测部123与位置检测部313同样，检测HMD 100的位置。更详细来说，位置检测部123根据图像显示部20所具有的传感器的输出值，检测PC300与图像显示部20的相对位置。并且，例如，如第1实施方式所说明的那样，控制部121也可以执行使控制部310根据照相机61的拍摄图像数据来求出与被摄体的距离的处理。

位置检测部123所检测的相对位置也可以是图像显示部20和PC 300所存在的空间中的位置。并且，也可以包含图像显示部20与显示部330的相对朝向。例如，也可以是表示以图像显示部20为基准的情况下的显示部330的位置和/或方向的信息。并且，例如，也可以是表示以PC 300为基准的情况下的图像显示部20的位置和/或方向的信息。并且，例如，也可以包含在图像显示部20和PC 300所存在的空间中设定的三维坐标系的坐标。

图像调整部125进行输入到I/F部110的影像数据的图像处理。图像调整部125所执行的图像处理与在第1实施方式和第2实施方式中说明的图像调整部315的处理相同。

例如，图像调整部125按照HMD 100的规格对输入到I/F部110的影像数据进行分辨率转换(缩放)、帧率转换、色调校正、数据格式的变更等处理。

显示系统1A与显示系统1同样，执行图7所示的校准处理和图11所示的动作。

在显示系统1A执行图7的动作的情况下，步骤S13～S15由位置检测部123来执行。并且，在显示系统1A执行图11的动作的情况下，位置检测部123执行步骤S21、S23，图像调整部125执行步骤S22、S24～S39。

在第4实施方式中，图像调整部125设定对应于虚拟图像VD的虚拟显示区域，将PC300输出的影像数据配置在虚拟显示区域而生成虚拟图像VD。图像调整部125从虚拟图像VD中截取出由图像显示部20显示的范围，根据需要来实施遮蔽处理，然后通过图像显示部20来显示图像。

即，HMD 100A具有控制部121，该控制部121求出显示部330相对于图像显示部20的相对位置，根据所求出的相对位置对影像数据进行处理，从而使图像显示部20显示与外景中的显示部330的位置对应的图像。

由此，HMD 100A求出显示部330相对于图像显示部20的相对位置，以与该相对位置对应的方式生成显示用图像，因此能够在不增大PC 300的负荷的情况下，实现与显示部330的位置对应的显示。

并且，在PC 300通过HDMI线缆2A对与显示部330所显示的图像相同的图像进行镜像输出的结构中，HMD 100A对图像显示部20的显示图像进行调整。即，HMD 100A与图像显示部20的方向或图像显示部20与PC 300之间的相对位置对应地，使图像显示部20所显示的图像的显示方式发生变化。

因此，显示系统1A能够实现第1实施方式所说明的显示系统1的效果。此外，由于能够在HMD 100A中对影像数据进行处理，所以具有如下的优点：在代替PC 300而与输出影像数据的通用设备连接的情况下，能够根据图像显示部20的位置或方向来变更显示方式。

另外，本发明并不限于上述各实施方式的结构，能够在不脱离其主旨的范围内实施各种方式。

例如，在上述实施方式中，使用者透过显示部看到外景的结构并不限定于右导光板261和左导光板281使外部光透过的结构。例如也可以应用在以无法看到外景的状态显示图像的显示装置中。具体来说，也可以将本发明应用在对外景拍摄用照相机61的拍摄图像、基于该拍摄图像生成的图像或CG、基于预先存储的影像数据或从外部输入的影像数据的影像等进行显示的显示装置中。作为这种显示装置，可以包含无法看到外景的、所谓的封闭型的显示装置。并且，也可以使用如上述实施方式所说明那样与真实空间重叠地显示图像的AR显示、将拍摄到的真实空间的图像与虚拟图像组合起来的MR(Mixed Reality：混合现实)显示。或者，也可以应用在不进行显示虚拟图像的VR(Virtual Reality：虚拟现实)显示之类的处理的显示装置中。例如，作为本发明的应用对象，当然也可以包含对从外部输入的影像数据或模拟影像信号进行显示的显示装置。

并且，例如，也可以代替图像显示部20而采用例如像帽子那样佩戴的图像显示部等其他方式的图像显示部，只要具有与使用者的左眼对应地显示图像的显示部和与使用者的右眼对应地显示图像的显示部即可。并且，本发明的显示装置例如也可以构成为搭载于汽车或飞机等车辆的头戴显示器。并且，例如也可以构成为内置于头盔等身体防护器件的头戴显示器。在该情况下，能够将确定相对于使用者身体的位置的部分、和相对于该部分进行定位的部分设为佩戴部。

此外，第4实施方式的HMD 100A也可以构成为使控制装置10A和图像显示部20一体构成而佩戴于使用者的头部。并且，作为控制装置10A，也可以使用包括笔记本型计算机、平板型计算机、游戏机、移动电话、智能手机、便携式介质播放器在内的便携式电子设备、其他专用设备等。并且，在上述实施方式中，也可以构成为连接装置10和图像显示部20通过无线通信线路来连接。

并且，在显示系统1中与HMD 100、100A连接的设备并不限定于PC 300。例如，也可以是固定式的电视接收机、固定式的个人计算机的监视器。并且，也可以代替PC 300而使用向显示面投射图像的投影仪，在该情况下，被投影仪投射图像的投射面相当于第1显示部。并且，除了这些设备以外，可以代替PC 300而使用移动式或固定式的电子设备。PC 300或代替PC 300而使用的各种电子设备也可以与HMD 100、100A无线连接。例如，也可以代替连接器11A而使用Miracast(注册商标)或WirelessHD(注册商标)等无线影像通信接口。并且，可以代替连接器11B而使用无线LAN(包括WiFi(注册商标))，也可以使用Bluetooth(注册商标)。

并且，框图所示的各功能块中的至少一部分构成为可以通过硬件来实现，也可以通过硬件和软件的协作来实现，并不限定于如图示那样配置独立的硬件资源的结构。

Claims (14)

1.一种显示系统，其具有：

电子设备，其具有第1显示部；以及

头部佩戴型的显示装置，其与所述电子设备连接，

所述电子设备具有输出图像的输出部，

所述显示装置具有：

取得部，其取得所述电子设备输出的所述图像；

第2显示部，其与在佩戴着所述显示装置的状态下看到的外景重叠地显示图像；以及

显示控制部，其使所述第2显示部显示所述取得部所取得的所述图像，

所述显示控制部使所述图像与作为外景而被看到的所述电子设备的位置对应地显示于所述第2显示部，

在所述电子设备处于外景中的情况下，所述显示控制部根据所述第1显示部相对于所述第2显示部的相对位置，使所述取得部所取得的所述图像中的、对与所述第1显示部重叠的部分进行遮蔽处理后的图像显示于所述第2显示部，所述遮蔽处理是使像素的颜色数据为黑色或暗色的处理，

在所述电子设备不处于外景中的情况下，所述显示控制部解除所述遮蔽处理。

2.根据权利要求1所述的显示系统，其中，

所述电子设备具有电子设备控制部，该电子设备控制部生成与比所述第1显示部大的虚拟显示区域对应的图像，并使所述第1显示部显示所生成的所述图像的一部分，使所述输出部输出所生成的所述图像的至少一部分，

所述显示装置所具有的所述显示控制部使所述电子设备输出的图像的至少一部分与所述电子设备的位置相对应地显示于所述第2显示部。

3.根据权利要求2所述的显示系统，其中，

所述电子设备控制部使所述输出部输出与所述虚拟显示区域对应地生成的所述图像中的、除显示于所述第1显示部的部分之外的所述图像，

所述显示装置所具有的所述显示控制部将所述电子设备输出的图像显示于所述第2显示部。

4.根据权利要求3所述的显示系统，其中，

所述显示装置所具有的所述显示控制部将所述电子设备输出的所述图像显示在作为外景而被看到的所述第1显示部的周围。

5.根据权利要求3或4所述的显示系统，其中，

所述电子设备控制部根据所述第1显示部相对于所述第2显示部的相对位置，将与所述虚拟显示区域对应地生成的所述图像的一部分显示于所述第1显示部，使所述输出部输出除显示于所述第1显示部的部分之外的所述图像。

6.根据权利要求5所述的显示系统，其中，

所述电子设备控制部根据所述第1显示部相对于所述第2显示部的相对位置，使所述输出部输出与所述虚拟显示区域对应地生成的所述图像中的、对显示于所述第1显示部的部分进行遮蔽后的图像。

7.根据权利要求2所述的显示系统，其中，

所述电子设备控制部使所述输出部输出与所述虚拟显示区域对应地生成的所述图像，

所述显示装置所具有的所述显示控制部将截取了所述电子设备输出的图像的一部分而得的图像显示于所述第2显示部。

8.根据权利要求7所述的显示系统，其中，

所述显示控制部根据所述第1显示部相对于所述第2显示部的相对位置，提取所述取得部所取得的所述图像的一部分而显示于所述第2显示部。

9.根据权利要求2～4中的任意一项所述的显示系统，其中，

所述电子设备控制部根据所述电子设备在真实空间中的位置来确定所述虚拟显示区域的位置，根据所述虚拟显示区域与所述第2显示部的相对位置来调整所述第2显示部的显示方式。

10.根据权利要求2～4中的任意一项所述的显示系统，其中，

所述电子设备控制部在检测到所述第1显示部包含在透过所述第2显示部看到的范围内的情况下，以所述第1显示部的位置为基准，对所述图像的显示方式进行初始化。

11.根据权利要求1～4中的任意一项所述的显示系统，其中，

所述第2显示部具有：左眼用显示部，其朝向佩戴着所述显示装置的使用者的左眼发出图像光；以及右眼用显示部，其朝向所述使用者的右眼发出图像光，

与通过所述第2显示部作为外景被看到的所述第1显示部的位置对应地，对基于所述左眼用显示部的显示位置和基于所述右眼用显示部的显示位置进行控制，从而调整显示于所述第2显示部的图像的会聚角。

12.根据权利要求11所述的显示系统，其中，

所述第2显示部具有光学系统，该光学系统能够对所述使用者感知到所述第2显示部所显示的图像的视觉距离进行调整，

与显示于所述第2显示部的图像的会聚角对应地对所述光学系统进行控制。

13.一种电子设备，该电子设备连接于与外景重叠地显示图像的头部佩戴型的显示装置，其中，该电子设备具有：

第1显示部；

输出部，其向所述显示装置输出图像；以及

控制部，其根据所述第1显示部相对于所述显示装置所具有的第2显示部的相对位置，使所述输出部输出用于将与通过所述显示装置作为外景被看到的所述第1显示部的位置对应的图像显示于所述第2显示部的图像，

在所述电子设备处于外景中的情况下，所述控制部根据所述第1显示部相对于所述第2显示部的相对位置，使所述输出部输出的所述图像中的、对与所述第1显示部重叠的部分进行遮蔽处理后的图像显示于所述第2显示部，所述遮蔽处理是使像素的颜色数据为黑色或暗色的处理，

在所述电子设备不处于外景中的情况下，所述控制部解除所述遮蔽处理。

14.一种显示方法，该显示方法由具有第1显示部的电子设备和头部佩戴型的显示装置来实现，在该显示方法中，

通过所述电子设备将图像输出到所述头部佩戴型的显示装置，

通过所述头部佩戴型的显示装置来取得所述图像，

在所述头部佩戴型的显示装置的第2显示部中显示所取得的所述图像，所述图像与作为外景而被看到的所述电子设备的位置对应，

在所述电子设备处于外景中的情况下，根据所述第1显示部相对于所述第2显示部的相对位置，使所取得的所述图像中的、对与所述第1显示部重叠的部分进行遮蔽处理后的图像显示于所述第2显示部，所述遮蔽处理是使像素的颜色数据为黑色或暗色的处理，

在所述电子设备不处于外景中的情况下，解除所述遮蔽处理。

Images