CN113050279B - 显示系统、显示方法以及记录介质 - Google Patents

Abstract

显示系统、显示方法以及记录介质。在使用两个显示部进行显示的系统中，能够进行更直观的操作。显示系统(1)具有HMD(100)和控制装置(300)。显示系统(1)具有多个显示模式，该多个显示模式包含使图像显示部(20)和触摸面板(350)的显示相同的第1显示模式、以及图像显示部(20)和触摸面板(350)的显示不同的第2显示模式，能够执行停止图像显示部(20)和触摸面板(350)中的至少任意一个的显示的第1状态、请求特定操作的第2状态、以及能够执行应用程序的第3状态，在从第1状态、第2状态或第3状态向其他状态转移的特定转移中，将显示模式设为第1显示模式。

Description

显示系统、显示方法以及记录介质

技术领域

本发明涉及显示系统、显示方法以及程序。

背景技术

以往，公开了如下技术：在将HMD连接到处理装置的结构中，在HMD上显示处理装置的显示图像，将处理装置的显示图像切换到用户界面显示(例如，参照专利文献1)。在专利文献1所记载的结构中，通过使两个显示部协作来实现可用性的提高。

专利文献1：日本特开2019-114050号公报

在专利文献1所记载的结构中，由于通过处理装置进行对用户界面的操作，因此佩戴HMD的使用者需要一边观察处理装置的显示图像一边进行操作。因此，在使用两个显示部的情况下，期望能够进行更直观的操作。

发明内容

解决上述课题的一个方式是一种显示系统，其具备具有第1显示部的显示装置、和与所述显示装置连接的控制装置，所述控制装置具有第2显示部、和重叠配置于所述第2显示部的触摸传感器，该显示系统具有多个显示模式，该多个显示模式包含使所述第1显示部和所述第2显示部的显示相同的第1显示模式、以及所述第1显示部和所述第2显示部的显示不同的第2显示模式，该显示系统能够执行停止所述第1显示部和所述第2显示部中的至少任意一个的显示的第1状态、请求特定操作的第2状态、以及能够执行应用程序的第3状态，在从所述第1状态、所述第2状态或所述第3状态向其他状态转移的特定转移中，将所述第1显示部和所述第2显示部的所述显示模式设为所述第1显示模式。

解决上述课题的另一方式是一种显示系统，其具有：头部佩戴型显示装置，其具有佩戴于使用者的头部的第1显示部；以及控制装置，其与所述头部佩戴型显示装置连接，所述控制装置具有第2显示部、和重叠配置于所述第2显示部的触摸传感器，该显示系统具有多个显示模式，该多个显示模式包含使所述第1显示部和所述第2显示部的显示相同的第1显示模式、以及所述第1显示部和所述第2显示部的显示不同的第2显示模式，作为所述显示系统的工作状态，能够执行停止所述第1显示部和所述第2显示部中的至少任意一个的显示的第1状态、请求特定操作的第2状态、以及能够执行应用程序的第3状态，在所述显示系统的工作状态进行特定转移的情况下，将所述第1显示部和所述第2显示部的所述显示模式设为所述第1显示模式。

解决上述课题的又一方式是一种基于显示装置和控制装置的显示方法，该显示装置具有第1显示部，该控制装置与所述显示装置连接，具有第2显示部、和重叠配置于所述第2显示部的触摸传感器，在该显示方法中，执行多个显示模式，该多个显示模式包含使所述第1显示部和所述第2显示部的显示相同的第1显示模式、以及所述第1显示部和所述第2显示部的显示不同的第2显示模式，在停止所述第1显示部和所述第2显示部中的至少任意一个的显示的第1状态、请求特定操作的第2状态、以及能够执行应用程序的第3状态之间转变，在从所述第1状态、所述第2状态或所述第3状态向其他状态转移的特定转移中，将所述第1显示部和所述第2显示部的所述显示模式设为所述第1显示模式。

解决上述课题的再一方式是一种计算机可执行的程序，该计算机对控制装置进行控制，该控制装置与具有第1显示部的显示装置连接，具有第2显示部、和重叠配置于所述第2显示部的触摸传感器，在该程序中，能够对多个显示模式进行切换，该多个显示模式包含使所述第1显示部和所述第2显示部的显示相同的第1显示模式、以及所述第1显示部和所述第2显示部的显示不同的第2显示模式，切换执行停止所述第1显示部和所述第2显示部中的至少任意一个的显示的第1状态、请求特定操作的第2状态、以及能够执行应用程序的第3状态，在从所述第1状态、所述第2状态或所述第3状态向其他状态转移的特定转移中，将所述第1显示部和所述第2显示部的所述显示模式设为所述第1显示模式。

附图说明

图1是表示显示系统的概略结构的图。

图2是表示图像显示部的光学系统结构的主要部分俯视图。

图3是显示系统的框图。

图4是控制装置的框图。

图5是表示控制装置的软件平台结构的示意图。

图6是针对触摸传感器的操作的检测方式的说明图。

图7是表示控制装置的方向与操作的检测方向之间的对应例的示意图。

图8是表示显示系统的显示模式例的示意图。

图9是表示显示系统的显示模式例的示意图。

图10是表示显示系统的显示模式例的示意图。

图11是表示显示系统的显示模式例的示意图。

图12是表示显示系统的显示模式例的示意图。

图13是表示显示系统的工作状态转变的说明图。

图14是表示控制装置的动作的流程图。

图15是表示控制装置的动作的流程图。

标号说明

10：连接装置；11A：连接器；11D：连接器；20：图像显示部(第1显示部)；21：右保持部；22：右显示部；23：左保持部；24：左显示部；26：右导光板；27：前部框架；28：左导光板；30：耳机；32：右耳机；34：左耳机；36：音频连接器；40：连接线缆；46：USB线缆；61：DP外侧摄像头；63：麦克风；64：距离传感器；65：DP照度传感器；67：LED指示器；100：HMD(显示装置)；124：显示控制部(第1显示控制部)；205：显示部(第1显示部)；300：控制装置；310：CO控制部(第2控制部)；311：处理器；312：存储器；313：非易失性存储器；326：振动器；327：声音输出部；330：CO显示部；331：LCD(第2显示部)；335：CO输入部(操作部)；336：触摸传感器；337：开关(操作件)；350：触摸面板(第2显示部)；400：平台；401：传感器数据提供部；410：内核；411：触摸传感器驱动器；430：HAL；431、432：输入事件；440：框架；441、442：输入数据；450：应用程序执行部；451：应用程序；452：UI应用程序；515：主页画面；518：操作画面；524：触控板画面；531：输入设备画面；532：输入设备画面；533：输入设备画面；542：键盘画面；543：键盘画面；U：使用者。

具体实施方式

[1.显示系统的结构]

以下，参照附图对应用了本发明的实施方式进行说明。

图1是表示显示系统1的概略结构的图。

显示系统1具有HMD 100和控制装置300。HMD 100是具有佩戴于使用者U的头部的图像显示部20、令使用者U看到图像或影像的头部佩戴型显示装置，是本发明的显示装置的一例。HMD是Head Mounted Display(头戴式显示器)的缩写。

HMD 100具有与图像显示部20连接的连接装置10。连接装置10作为将HMD 100连接到与HMD 100不同的装置的接口发挥作用。在显示系统1中，控制装置300与连接装置10连接。

在以下的说明和附图中，为了便于说明，对构成HMD 100的若干个功能部的名称附加前缀DP，对构成控制装置300的若干个功能部的名称附加前缀CO。

控制装置300具有触摸面板350，且是可携带尺寸的终端装置，例如能够使用智能手机，触摸面板350作为显示字符或图像的显示画面、以及检测触摸操作或按压操作的操作部而发挥作用。触摸面板350由之后参照图4叙述的LCD 331和触摸传感器336构成。LCD是Liquid Crystal Display(液晶显示器)的缩写。控制装置300也可以是台式个人计算机、笔记本型个人计算机、平板型个人计算机等。

连接装置10在箱形的外壳上具有连接器11A和连接器11D。连接器11A经由连接线缆40与图像显示部20连接，连接器11D经由USB线缆46与控制装置300连接。由此，图像显示部20和控制装置300相互可收发数据地连接。例如，控制装置300将图像显示部20显示影像用的影像数据和声音数据输出到图像显示部20。例如，图像显示部20如后述那样将图像显示部20所具有的各种传感器的检测数据发送到控制装置300。控制装置300也可以对图像显示部20提供电力。USB是Universal Serial Bus(通用串行总线)的缩写。

使用USB线缆46将连接装置10和控制装置300连接起来的结构只不过是一例，连接装置10和控制装置300的具体连接方式不受限制。例如，也可以使用其他种类的线缆进行有线连接，还可以经由无线通信进行连接。例如，在USB线缆46与USB-C型标准的连接器11D连接的结构中，能够通过USB线缆46提供20伏特的直流电流，作为USB-C型的替代模式的功能，能够传输HDMI标准的影像数据等。HDMI和MHL是注册商标。

图像显示部20在具有右保持部21、左保持部23和前部框架27的主体上具有右显示部22、左显示部24、右导光板26和左导光板28。

右保持部21和左保持部23从前部框架27的两端部向后延伸，将图像显示部20保持于使用者U的头部。右保持部21与前部框架27的位于使用者U右侧的端部ER连结，左保持部23与前部框架27的位于使用者U左侧的端部EL连结。

右导光板26和左导光板28设置于前部框架27。右导光板26在图像显示部20的佩戴状态下位于使用者U的右眼的眼前，使右眼看到图像。左导光板28在图像显示部20的佩戴状态下位于使用者U的左眼的眼前，使左眼看到图像。右导光板26和左导光板28是由透光性的树脂等形成的光学部，将右显示部22和左显示部24输出的图像光引导至使用者U的眼睛。右导光板26和左导光板28例如是棱镜。

前部框架27具有将右导光板26的一端和左导光板28的一端相互连结起来的形状，在使用者U佩戴图像显示部20的佩戴状态下，该连结位置与使用者U的眉间对应。前部框架27可以具有在图像显示部20的佩戴状态下抵靠于使用者U的鼻子的鼻托部，也可以是对右保持部21和左保持部23连接带子，并通过带子将图像显示部20保持于使用者U的头部的结构。

右显示部22和左显示部24分别是将光学单元和外围电路进行单元化而得的模块。右显示部22通过右导光板26显示图像，左显示部24通过左导光板28显示图像。右显示部22设置在右保持部21上，左显示部24设置在左保持部23上。

由右导光板26引导的图像光和透过右导光板26的外部光入射到使用者U的右眼。同样，由左导光板28引导的图像光和透过左导光板28的外部光入射到左眼。来自右导光板26以及左导光板28的图像光和透过右导光板26以及左导光板28的外部光入射到使用者U的眼睛。由此，使用者U重叠地看到图像显示部20显示的图像和透过右导光板26以及左导光板28的外景。

在前部框架27上配置有DP照度传感器65。DP照度传感器65是如下的传感器：接收来自佩戴图像显示部20的使用者U的前方的外部光。通过DP照度传感器65，能够检测透过右导光板26以及左导光板28而入射到使用者U的眼睛的外部光的照度和光量。

DP外侧摄像头61在前部框架27中设置在不遮挡透过右导光板26以及左导光板28的外部光的位置处。DP外侧摄像头61是具有CCD或CMOS等摄像元件和摄像镜头等的数字摄像头，可以是单眼摄像头，也可以是立体摄像头。DP外侧摄像头61的视场角包含佩戴了图像显示部20的使用者U透过右导光板26以及左导光板28而看到的外景范围的至少一部分。DP外侧摄像头61可以是广角摄像头，也可以是能够拍摄佩戴了图像显示部20的使用者U看到的外景整体的摄像头。CCD是Charge Coupled Device(电荷耦合器件)的缩写，CMOS是Complementary Metal Oxide Semiconductor(互补型金属氧化物半导体)的缩写。

在前部框架27上设置有在DP外侧摄像头61的工作中点亮的LED指示器67。

在前部框架27上设置有距离传感器64，该距离传感器64检测到位于预先设定的测量方向上的测量对象物的距离。距离传感器64例如是使用LED或激光二极管等的光反射式距离传感器、红外线式深度传感器、超声波式距离传感器或者激光测距仪。距离传感器64可以是组合了图像检测和声音检测的距离检测单元、或对由摄像头的立体拍摄得到的图像进行处理来检测距离的装置。距离传感器64的测量方向例如是使用者U透过右导光板26以及左导光板28看到的外景的方向。

右显示部22和左显示部24分别通过连接线缆40与连接装置10连接。连接线缆40具有音频连接器36。具有构成立体声耳机的右耳机32和左耳机34、以及麦克风63的耳机30与音频连接器36连接。右耳机32和左耳机34根据连接装置10输出的声音信号输出声音。麦克风63收集声音，并将声音信号输出到连接装置10。

[2.图像显示部的光学系统的结构]

图2是表示图像显示部20的光学系统结构的主要部分俯视图。在图2中为了便于说明，示出使用者U的左眼LE和右眼RE。

右显示部22和左显示部24例如构成为左右对称。

作为使右眼RE看到图像的结构，右显示部22具有发出图像光的OLED单元221、以及将OLED单元221发出的图像光L引导至右导光板26的右光学系统251。OLED是Organic LightEmitting Diode(有机发光二极管)的缩写。

OLED单元221具有OLED面板223、和驱动OLED面板223的OLED驱动电路225。OLED面板223例如是自发光型的显示面板，配置有分别发出R、G、B色光的发光元件。OLED驱动电路225按照DP控制部120的控制来驱动OLED面板223。OLED驱动电路225例如安装在固定于OLED面板223的背面的未图示的基板上，在该基板上安装有图3所示的温度传感器217。

右光学系统251通过准直透镜使从OLED面板223射出的图像光L成为平行状态的光束，并使它们入射到右导光板26。在右导光板26的内部，图像光L被多个反射面反射，并被位于右眼RE眼前的半反射镜261反射而从右导光板26朝向右眼RE射出。

作为使左眼LE看到图像的结构，左显示部24具有发出图像光的OLED单元241、以及将OLED单元241发出的图像光L引导至左导光板28的左光学系统252。

OLED单元241具有OLED面板243、和驱动OLED面板243的OLED驱动电路245。OLED面板243例如是自发光型的显示面板，配置有分别发出R、G、B色光的发光元件。OLED驱动电路245按照DP控制部120的控制来驱动OLED面板243。OLED驱动电路245例如安装在固定于OLED面板243的背面的未图示的基板上，在该基板上安装有图3所示的温度传感器239。

左光学系统252通过准直透镜使从OLED面板243射出的图像光L成为平行状态的光束，并使它们入射到左导光板28。在左导光板28的内部，图像光L被多个反射面反射，并被位于左眼LE眼前的半反射镜281反射而从左导光板28朝向左眼LE射出。

HMD 100作为透过型的显示装置发挥作用。即，由半反射镜261反射的图像光L和透过了右导光板26的外部光OL入射到使用者U的右眼RE。由半反射镜281反射的图像光L和透过了半反射镜281的外部光OL入射到左眼LE。HMD 100使在内部处理后的图像的图像光L与外部光OL重叠地入射到使用者U的眼睛。因此，使用者U能够透过右导光板26以及左导光板28看见外景，并与该外景重叠地看到基于图像光L的图像。半反射镜261、281是反射右显示部22和左显示部24分别输出的图像光而取出图像的图像取出部，构成显示部。

[3.HMD的控制系统]

图3是显示系统1的框图，特别详细示出了HMD 100的结构。

在图像显示部20中，右显示部22具有右显示部基板210。在右显示部基板210上安装有：与连接线缆40连接的右I/F部211、接收经由右I/F部211而从连接装置10输入的数据的接收部213、以及EEPROM 215。右I/F部211将接收部213、EEPROM215、温度传感器217、DP外侧摄像头61、距离传感器64、DP照度传感器65以及LED指示器67连接到连接装置10。接收部213将OLED单元221连接到连接装置10。

左显示部24具有左显示部基板230。在左显示部基板230上安装有与连接线缆40连接的左I/F部231、以及接收经由左I/F部231而从连接装置10输入的数据的接收部233。在左显示部基板230上安装有DP六轴传感器235和DP磁传感器237。

左I/F部231将接收部233、DP六轴传感器235、DP磁传感器237以及温度传感器239连接到连接装置10。接收部233将OLED单元241连接到连接装置10。

在本实施方式的说明和附图中，I/F是接口的缩写。EEPROM是ElectricallyErasable Programmable Read-Only Memory(电可擦可编程只读存储器)的缩写。有时将接收部213和接收部233分别记载为Rx 213、Rx 233。

EEPROM 215非易失性地存储各种数据。EEPROM 215例如存储与图像显示部20具有的OLED单元221、241的发光特性和显示特性相关的数据、与右显示部22或左显示部24具有的传感器的特性相关的数据等。具体而言，以DP控制部120能够读取的方式存储OLED单元221、241的伽马校正涉及的参数以及对温度传感器217、239的检测值进行补偿的数据等。

DP外侧摄像头61按照经由右I/F部211输入的信号执行拍摄，并将拍摄图像数据输出到右I/F部211。DP照度传感器65接收外部光，输出与受光量或受光强度对应的检测值。LED指示器67按照经由右I/F部211输入的控制信号或驱动电流而点亮。

温度传感器217检测OLED单元221的温度，并输出与检测温度对应的电压值或者电阻值来作为检测值。

距离传感器64经由右I/F部211将表示检测距离的检测结果的信号输出到连接装置10。

接收部213接收经由右I/F部211从连接装置10传输的显示用影像数据，并将其输出到OLED单元221。OLED单元221显示基于连接装置10传输的影像数据的影像。

接收部233接收经由左I/F部231从连接装置10传输的显示用影像数据，并将其输出到OLED单元241。OLED单元221、241显示基于连接装置10传输的影像数据的影像。

DP六轴传感器235是具有三轴加速度传感器和三轴陀螺传感器的运动传感器。DP磁传感器237例如是三轴的地磁传感器。DP六轴传感器235和DP磁传感器237可以是将上述各传感器模块化而得的IMU，也可以是将DP六轴传感器235和DP磁传感器237一体化的模块。IMU是Inertial Measurement Unit(惯性测量单元)的缩写。温度传感器239检测OLED单元241的温度。DP六轴传感器235、DP磁传感器237以及温度传感器239分别将检测值输出到连接装置10。

图像显示部20的各部分利用通过连接线缆40从连接装置10提供的电力进行动作。图像显示部20在右显示部22具有电源部229，在左显示部24具有电源部249。电源部229将连接装置10经由连接线缆40提供的电力分配并提供给包含右显示部基板210在内的右显示部22的各部分。电源部249将连接装置10经由连接线缆40提供的电力分配并提供给包含左显示部基板230在内的左显示部24的各部分。电源部229、249也可以具有转换电压的转换电路等。

连接装置10具有I/F部110、DP控制部120、传感器控制部122、显示控制部124、电源控制部126、非易失性存储部130、操作部140、连接部145以及声音处理部147。

I/F部110具有连接器11D以及通过连接器11D执行基于各种通信标准的通信协议的接口电路。I/F部110例如是安装了连接器11D以及接口电路的接口基板。I/F部110可以具有能够连接外部的存储装置或存储介质的存储卡用接口等，也可以由无线通信接口构成I/F部110。

DP控制部120具有CPU、微型计算机等处理器，通过该处理器执行程序来控制连接装置10的各部分。DP控制部120也可以具有构成处理器的工作区的RAM。RAM是RandomAccess Memory(随机存取存储器)的缩写。

DP控制部120与非易失性存储部130、操作部140、连接部145以及声音处理部147连接。非易失性存储部130是非易失性地存储DP控制部120执行的程序和数据的ROM。ROM是Read Only Memory(只读存储器)的缩写。

传感器控制部122使图像显示部20具有的各传感器进行动作。这里，各传感器是指DP外侧摄像头61、距离传感器64、DP照度传感器65、温度传感器217、DP六轴传感器235、DP磁传感器237以及温度传感器239的各个传感器。各传感器至少包含DP外侧摄像头61、DP照度传感器65、DP六轴传感器235以及DP磁传感器237中的任意一个以上。传感器控制部122按照DP控制部120的控制进行各传感器的采样周期的设定以及初始化，并按照各传感器的采样周期，执行向各传感器的通电、控制数据的发送、检测值的取得等。

传感器控制部122在预先设定的定时，将表示各传感器的检测值或检测结果的检测数据输出到I/F部110。这里，与其他传感器的检测值或检测结果同样地，将DP外侧摄像头61的拍摄图像数据称为检测数据。

传感器控制部122也可以具有将模拟信号转换为数字数据的A/D转换器。在这种情况下，传感器控制部122将从图像显示部20的传感器取得的检测值或检测结果的模拟信号转换为检测数据并输出。传感器控制部122也可以从图像显示部20的传感器取得检测值或检测结果的数字数据，进行数据格式的转换、输出定时的调整等，并将检测数据输出到I/F部110。

通过传感器控制部122的动作，与I/F部110连接的控制装置300能够取得HMD100的各传感器的检测值和DP外侧摄像头61的拍摄图像数据。

传感器控制部122可以将基于上述各传感器的检测值进行运算处理的结果作为检测数据输出。例如，传感器控制部122也可以合并处理多个传感器的检测值或检测结果，而作为所谓的传感器融合处理部发挥作用。在这种情况下，传感器控制部122可以通过传感器融合，生成不包含在图像显示部20的各传感器中的虚拟传感器的检测数据。例如，传感器控制部122也可以将表示图像显示部20移动的轨迹的轨迹数据、表示图像显示部20在三维空间中的位置的坐标数据、表示图像显示部20的方向的方向数据作为检测数据输出。这里，坐标数据可以是表示以连接装置10的位置为基准的相对坐标的数据，也可以是表示相对于在图像显示部20所存在的空间中设定的基准位置的位置的数据。方向数据可以是表示以连接装置10的位置和方向为基准的方向的数据，也可以是表示相对于在图像显示部20所存在的空间中设定的基准位置的方向的数据。

传感器控制部122与通过USB线缆46和连接器11D连接的装置之间执行通信协议，输出检测数据。

显示控制部124基于输入到I/F部110的显示数据和/或显示控制数据，执行用于使图像显示部20显示图像的各种处理。显示数据例如包含影像数据。在本实施方式中，通过由USB-C型连接器构成的连接器11D，以USB-C型的替代模式传输影像数据。显示控制部124例如执行帧的切出、分辨率转换、缩放、中间帧生成、帧频转换等各种处理。显示控制部124将与OLED单元221、241对应的影像数据输出到连接部145。从连接器11A将输入到连接部145的影像数据作为影像信号201传输到右I/F部211以及左I/F部231。显示控制部124对应于本发明的第1显示控制部的一例，按照从控制装置300发送的显示数据在右显示部22和左显示部24上显示图像。显示控制部124按照输入到I/F部110的显示控制数据，调整和变更图像显示部20的显示状态。

传感器控制部122和/或显示控制部124也可以通过处理器执行程序而通过软件和硬件的协作来实现。即，传感器控制部122和显示控制部124由处理器构成，通过执行程序来执行上述动作。在该例中，传感器控制部122和显示控制部124也可以通过由构成DP控制部120的处理器执行程序来实现。换言之，也可以是，通过处理器执行程序来作为DP控制部120、显示控制部124和传感器控制部122发挥作用。在此，处理器可以换称作计算机。传感器控制部122和显示控制部124可以具备用于进行数据处理的工作存储器，也可以利用DP控制部120的存储器来进行处理。

显示控制部124和传感器控制部122也可以由DSP、FPGA等编程硬件构成。也可以将传感器控制部122和显示控制部124集成而构成为SoC-FPGA。DSP是Digital SignalProcessor(数字信号处理器)的缩写，FPGA是Field Programmable Gate Array(现场可编程门阵列)的缩写，SoC是System-on-a-Chip(片上系统)的缩写。

电源控制部126是与连接器11D连接、并基于从连接器11D提供的电力对连接装置10的各部分以及图像显示部20提供电源的电路。

操作部140检测连接装置10所具有的开关等的操作，将表示操作内容的数据输出到DP控制部120。

声音处理部147按照从DP控制部120输入的声音数据，生成声音信号，并输出到连接部145。从连接部145经由音频连接器36将该声音信号输出到右耳机32和左耳机34。声音处理部147生成麦克风63收集到的声音的声音数据，并输出到DP控制部120。从声音处理部147输出的声音数据与图像显示部20所具有的传感器的检测数据同样，由传感器控制部122进行处理。

[4.控制装置的结构]

图4是控制装置300的框图。

控制装置300具有CO控制部310。CO控制部310具有处理器311、存储器312以及非易失性存储器313。处理器311由CPU、微型计算机、DSP等构成，通过执行程序来控制控制装置300的各部分。存储器312形成处理器311的工作区。非易失性存储器313由半导体存储器件等构成，非易失性地存储处理器311执行的程序、由处理器311处理的各种数据。例如，非易失性存储器313存储作为处理器311执行的基本控制程序的操作系统、以及在操作系统上工作的应用程序等。非易失性存储器313存储在执行应用程序时处理的数据和处理结果的数据。以下，将操作系统缩写为OS。

CO控制部310也可以是将处理器311、存储器312以及非易失性存储器313集成而得的SoC。

CO控制部310与GNSS 321、CO摄像头322、CO六轴传感器323、CO磁传感器324、CO照度传感器325、振动器326、声音输出部327、CO显示部330以及CO输入部335连接。

GNSS 321利用卫星定位系统进行定位，将控制装置300的位置输出到CO控制部310。GNSS是Global Navigation Satellite System(全球导航卫星系统)的缩写。

CO摄像头322是设置在控制装置300的主体上的数字摄像头，例如与触摸面板350相邻配置，拍摄与触摸面板350相对的方向。CO摄像头322按照CO控制部310的控制执行拍摄，并将拍摄图像数据输出到CO控制部310。

CO六轴传感器323是具有三轴加速度传感器以及三轴陀螺仪传感器的运动传感器，将表示检测值的检测数据输出到CO控制部310。CO磁传感器324例如是三轴地磁传感器，将表示检测值的检测数据输出到CO控制部310。CO六轴传感器323和CO磁传感器324可以是将上述各传感器模块化而得的IMU，也可以是将CO六轴传感器323和CO磁传感器324一体化的模块。

CO照度传感器325接收外部光，将表示与受光量或受光强度对应的检测值的检测数据输出到CO控制部310。

振动器326按照CO控制部310的控制产生振动，使控制装置300的主体的一部分或全部进行振动。振动器326例如构成为具有偏心锤和电机。

声音输出部327具有扬声器，按照CO控制部310的控制从扬声器输出声音。声音输出部327也可以具有将CO控制部310输出的声音信号放大并输出到扬声器的放大器。在CO控制部310是输出数字声音数据的结构的情况下，声音输出部327也可以具有将数字声音数据转换为模拟声音信号的D/A转换器。

CO显示部330具有LCD 331，按照CO控制部310的控制在LCD 331上显示字符和图像。

CO输入部335检测对触摸传感器336以及开关337的操作，并将表示检测出的操作的操作数据输出到CO控制部310。触摸传感器336重叠配置于LCD 331的表面，与LCD 331一起构成触摸面板350。触摸传感器336检测使用者U的接触操作或按压操作。开关337例如是控制装置300的电源开关、音量调整开关等硬件开关。开关337可以是接触式或非接触式的传感器，例如可以是埋设在触摸面板350中的指纹传感器等。开关337对应于本发明的操作件的一例。CO输入部335对应于本发明的操作部的一例。此外，开关337也可以是利用触摸传感器336的一部分或全部而形成的软件开关。

CO控制部310与电池341、通信部342和I/F部343连接。

电池341是内置在控制装置300的主体中的二次电池，向控制装置300的各部分提供电力。电池341可以具有用于控制电力输出以及向二次电池的充电的未图示的控制电路。

通信部342与Bluetooth、Wi-Fi等无线通信协议对应，与显示系统1的外部装置执行无线通信。Bluetooth和Wi-Fi是注册商标。通信部342也可以是利用LTE或第五代移动通信系统等移动通信网络来执行移动数据通信的结构。LTE是注册商标。

I/F部343具有连接数据通信线缆的未图示的连接器、以及利用连接器执行基于各种通信标准的通信协议的接口电路。例如，I/F部343具有基于USB标准的连接器以及接口电路，通过USB线缆46收发数据。

在本实施方式中，控制装置300经由I/F部343对HMD 100发送影像数据，并从HMD100接收传感器的检测数据。控制装置300经由I/F部343对HMD 100提供电力。

例示如下结构：本实施方式的I/F部343具有USB接口，控制装置300使用连接到I/F部343的USB线缆46与HMD 100之间收发数据。

控制装置300例如可以通过通信部342与HMD 100进行无线数据通信。

[5.软件平台的结构]

图5是表示控制装置300的软件平台结构的示意图。在控制装置300中，处理器311执行操作系统，通过硬件和软件的协作，构成使应用软件工作的平台400。

由处理器311执行的操作系统由文件组构成，该文件组包含由处理器311执行的程序的执行文件和在该程序中处理的数据文件等。作为控制装置300的操作系统，例如可以举出Android、iOS、iPad OS、Windows、Mac OS、Linux、Unix、Tron等通用操作系统。处理器311执行的操作系统可以是对上述通用操作系统进行了部分改变的操作系统。Android、iOS、iPad、Windows、Linux、Unix和Tron是注册商标。Mac是商标。

平台400构成为包含多个功能模块。图5示出平台400的功能模块的一部分。平台400能够对控制装置300所具有的CO摄像头322、CO六轴传感器323、CO磁传感器324和CO照度传感器325等各种传感器以及HMD 100所具有的传感器等进行控制。在图5中，作为一例，示出取得触摸传感器336的检测数据、检测对触摸面板350的操作的结构。

平台400由内核410、HAL 430、框架440以及应用程序执行部450构成。内核410、HAL430以及框架440通过处理器311所执行的操作系统的功能来实现。操作系统包含1个或多个程序、数据、程序库、运行时间模块等而构成，这些通过处理器311执行或处理，由此处理器311作为内核410、HAL 430以及框架440发挥作用。应用程序执行部450通过处理器311执行操作系统而构成。应用程序执行部450指示如下功能：处理器311使用由平台400提供的执行环境来执行应用程序451。即，构成应用程序执行部450的硬件主体是处理器311，内核410、HAL 430以及框架440也同样如此。

内核410是用于实现平台400的基本功能的功能部。内核410具有对控制装置300的硬件进行控制的驱动器。内核410所具有的驱动器例如对应于硬件的每个种类。

作为一例，Android OS的平台400的内核410由Linux内核构成。框架440对应于Java框架，可以利用Android运行时间模块或本机程序库来实现。Java是注册商标。

在图5所示的例子中，内核410具有触摸传感器驱动器411作为对控制装置300的外部硬件进行控制的驱动器。触摸传感器驱动器411是控制触摸传感器336的驱动器，检测对触摸传感器336的触摸操作或按压操作，取得表示操作位置的数据。

图6是针对触摸传感器336的操作的检测方式的说明图。触摸传感器336例如具有矩形的检测区域。在触摸传感器336的检测区域中，例如图6所示那样，设定有由X轴和Y轴构成的X-Y正交坐标。触摸传感器驱动器411取得触摸传感器336输出的模拟信号即检测信号SD1，生成包含在触摸传感器336的检测区域中进行了操作的位置的X坐标和Y坐标的检测数据SD2。触摸传感器336也可以是包含生成数字数据的外围电路在内的传感器单元。在该情况下，触摸传感器336不输出检测信号SD1，而输出包含操作位置的X坐标和Y坐标的检测数据SD2。触摸传感器驱动器411取得触摸传感器336输出的检测数据SD2。

传感器数据提供部401输出触摸传感器336的操作位置的方式有绝对坐标以及相对坐标这两种。绝对坐标是将操作位置的X坐标和Y坐标作为操作位置的数据提供给应用程序执行部450的方式。例如，如图6所示，在接触位置从位置P1移动到位置P2的情况下，输出从位置P1到位置P2的各位置的X坐标和Y坐标作为绝对坐标。与此相对，相对坐标是输出由触摸传感器336检测出的多个操作位置的相对位置关系的方式。在图6的例子中，输出位置P2与位置P1的坐标差分、或者从位置P1到位置P2的方向和距离。

触摸传感器驱动器411以预先设定的采样周期，在每个检测定时进行取得触摸传感器336的操作位置的处理。触摸传感器驱动器411取得在检测定时的触摸传感器336的操作位置坐标。因此，检测信号SD1、或者代替检测信号SD1而输出的检测数据是操作位置的绝对坐标即X坐标和Y坐标。

HAL 430和框架440作用为将内核410处理后的数据交接给应用程序执行部450。HAL是Hardware Abstruction Layer(硬件抽象层)的缩写。

HAL 430与内核410之间输入输出与硬件控制相关的数据。HAL 430对内核410请求硬件的控制，并取得内核410所取得的数据。图5例示了HAL 430所具有的输入事件431。输入事件431是每当触摸传感器驱动器411取得触摸传感器336的检测信号SD1时，内核410对HAL430通知的事件。输入事件431包含触摸传感器驱动器411取得的检测数据。

在本实施方式中，如图5所示，HAL 430在内核410的上位层进行动作，但只要相对于应用程序执行部450的传感器数据提供部401的功能没有不同，则能够根据操作系统的规格而采用不同的结构。例如，HAL 430也可以作为在硬件与内核410之间工作的中间件来安装。此时，HAL 430控制硬件，将从硬件取得的检测数据传递给内核410。

框架440保持输入事件431的检测数据作为输入数据441。输入数据441是由触摸传感器驱动器411从触摸传感器336取得的检测数据、或者对该检测数据进行了处理的数据。在本实施方式中，输入数据441包含触摸传感器336的操作位置的绝对坐标的坐标数据。

在平台400中，内核410、HAL 430以及框架440作为向应用程序451提供输入数据441和后述的输入数据442的传感器数据提供部401发挥作用。传感器数据提供部401只要能够将输入数据441、442提供给应用程序执行部450即可，图中所示的架构是一例。输入数据441、442也可以称为检测数据。

应用程序执行部450执行安装在控制装置300中的应用程序。图5示出应用程序451和UI应用程序452作为应用程序的一例。UI是User Interface(用户界面)的缩写。

应用程序执行部450执行的应用程序的数量和种类不受限制。例如，通过应用程序执行部450，控制装置300作为基本功能，可以执行实现日历、时钟、闹钟、计算器、通话、消息发送、电子邮件、相机拍摄、照片管理等功能的应用程序。

应用程序451是基于针对触摸传感器336的操作位置来进行处理的应用程序。例如，应用程序451实现通过图像显示部20显示字符和图像的功能。在这种情况下，CO控制部310通过执行应用程序451，生成用于在图像显示部20上显示的显示数据，并通过I/F部343输出到HMD 100。CO控制部310执行应用程序451，生成用于控制图像显示部20的显示的显示控制数据，并通过I/F部343输出到HMD 100。显示数据可以是影像数据或动态图像数据，例如是HDMI格式的影像数据。显示数据也可以是静态图像数据，还可以是字符或符号的数据。显示控制数据例如是设定图像显示部20的显示亮度和对比度的控制数据。CO控制部310对应于第2控制部的一例。

HMD 100基于控制装置300输出的显示数据，在图像显示部20上显示图像、影像或字符。

HMD 100按照控制装置300输出的显示控制数据，调整和变更图像显示部20的显示状态。

内核410除了使触摸传感器驱动器411进行动作之外，还能够使取得各种传感器的检测数据的驱动器进行动作，这些驱动器分别向HAL 430通知事件。由各驱动器进行的事件的通知不受触摸传感器驱动器411的动作定时制约，例如能够并行执行。同样，通知给HAL430的事件的数量没有限制，框架440所保持的数据的数量和种类也没有限制。

如上所述，将输入数据441、442提供给应用程序执行部450。应用程序执行部450能够向框架440请求输入数据441或输入数据442，并且根据该请求被提供输入数据441或输入数据442。通过应用程序执行部450进行动作的应用程序也可以参照输入数据441、442。

作为一例，假设应用程序451利用与触摸传感器336的操作有关的相对坐标的数据、或在触摸面板350上显示的图形用户界面所特有的操作数据的情况。本实施方式的平台400具有如下功能：向应用程序451提供根据由触摸传感器驱动器411取得的检测数据生成的各个种类的输入数据。

UI应用程序452是构成控制装置300的图形用户界面的应用程序。在触摸面板350上显示输入用的图像，根据触摸面板350上的操作位置与输入用的图像之间的对应，生成与输入用的图像对应的输入数据。

详细地说，UI应用程序452是具有对传感器数据提供部401进行访问的权限的应用程序，例如，针对控制装置300的操作系统作为插件发挥作用。UI应用程序452具有向HAL430通知输入事件432的功能。输入事件432包含由UI应用程序452生成的输入数据，是表示与对触摸传感器336的触摸操作的坐标不同的输入操作的事件。

通过被UI应用程序452通知输入事件432，从HAL 430向框架440传递基于输入事件432的输入数据442。输入数据442是与输入事件432对应的输入操作的数据。由此，从框架440向应用程序451提供输入数据442。

输入数据442可以是基于X轴和Y轴的绝对坐标的数据。例如，输入数据442可以是以与输入数据441不同方向的坐标轴即X轴和Y轴为基准的坐标的数据。

使用者U手持控制装置300时的控制装置300的方向不限于基本的位置。因此，CO控制部310可以使用来自CO六轴传感器323和CO磁传感器324的检测数据来判定控制装置300的方向，并与控制装置300的方向对应地旋转LCD 331的显示。在该情况下，CO控制部310对应于控制装置300的方向，变更触摸传感器336的外观上的X坐标和Y坐标。

图7是表示控制装置300的方向与操作的检测方向之间的对应例的示意图。在图7中，用符号TP表示控制装置300的基本位置的上端，用符号BM表示下端。

UI应用程序452基于来自CO六轴传感器323和CO磁传感器324的检测数据来判定控制装置300的方向，并且每90度地变更LCD 331的显示方向和触摸传感器336的检测坐标的X轴、Y轴。例如，如图7所示，在控制装置300旋转为上端TP成为上、右、下、左的各位置的情况下，Y轴旋转为沿着现实的上下方向即铅直方向的方向。

触摸传感器336中的X轴和Y轴方向相对于硬件固定地设定。因此，进行对应于控制装置300的方向来转换触摸传感器336的检测坐标的X轴、Y轴的处理。例如，由UI应用程序452执行该处理。

UI应用程序452取得CO六轴传感器323和CO磁传感器324的检测数据，并判定控制装置300的方向。UI应用程序452对应于控制装置300的方向对输入数据441进行转换，生成以变更后的X轴和Y轴方向为基准的绝对坐标的输入数据442。这样，UI应用程序452的用途不限于将绝对坐标的数据转换为其他种类的数据的用途。例如，可以用于如下处理：针对传感器数据提供部401提供的绝对坐标的输入数据441，对坐标轴进行转换。

输入数据442的种类和内容根据UI应用程序452执行的用户界面而不同。以下，对在控制装置300中通过UI应用程序452实现的用户界面进行说明。

[6.显示系统的显示模式]

图8、图9、图10、图11和图12是表示显示系统1的显示模式例的示意图。

在图8、图9、图10、图12中，将图像显示部20的显示和控制装置300的显示对应起来示出。由于右显示部22以及左显示部24分别显示图像，所以图像显示部20可以说显示两个图像，但以使用者U识别一个图像的方式动作。因此，在各图中，将图像显示部20表示为1个显示部205，将图像显示部20令使用者U看到的图像表示为1个矩形的图像。按照控制装置300输出到HMD 100的显示数据，显示在显示部205上显示的各种画面和显示对象。因此，显示系统1的显示模式通过控制装置300的控制来实现。图像显示部20和显示部205对应于第1显示部的一例。LCD 331和触摸面板350对应于第2显示部的一例。

图8示出了镜像模式作为显示系统1的显示模式的一例。镜像模式是控制装置300和图像显示部20显示同一图像的显示模式。图8示出了以镜像模式显示主页画面515、516的例子。主页画面515是在控制装置300的动作的基本状态下显示的画面。在主页画面515中配置有作为操作对象的对象515a。各个对象515a是与安装在控制装置300中的各个应用程序451对应的图标。在进行触摸对象515a的位置的操作时，执行与对象515a对应的应用程序451。

显示主页画面515的功能、和响应于对于对象515a的操作而启动应用程序451的功能例如由主页画面用的应用程序451提供。

在镜像模式中，控制装置300生成用于显示与要在触摸面板350上显示的画面相同的画面的显示数据，并将该显示数据输出到HMD 100。在图8所示的镜像模式中，在触摸面板350上显示主页画面515，在显示部205上显示与主页画面515相同的主页画面516。尽管触摸面板350和显示部205具有不同的纵横比，但是在镜像模式中，以与触摸面板350相同的纵横比在显示部205上显示主页画面516。主页画面515和主页画面516的分辨率也可以不完全相同。

在主页画面516中，配置有与主页画面515的对象515a相同的对象516a。

在镜像模式中，传感器数据提供部401提供表示触摸面板350上的操作位置与对象515a的操作位置之间的关系的输入数据442。例如，当操作位置与任意一个对象515a重叠时，通过UI应用程序452生成表示针对该对象515a的操作的输入数据442。在这种情况下，输入数据442是对被操作的对象515a进行确定的数据。输入数据442可以包含表示对于对象515a的操作方式的数据。操作方式是指1次接触、多次连续的接触、长于基准时间的接触、超过基准力的压力的按压操作等。

显示主页画面515的应用程序451可以使用表示触摸面板350上的操作位置的绝对位置的输入数据441来检测对于对象515a的操作。

在显示主页画面515的应用程序451与输入数据442对应的情况下，应用程序451能够容易地参照输入数据442来确定被操作的对象515a。因此，可启动与被操作的对象515a对应的应用程序451等。

在图9中，作为显示系统1的显示模式的一例，示出在显示部205和触摸面板350上进行不同显示的扩展屏幕模式。扩展屏幕模式是如下的显示模式：除了显示部205之外，还利用触摸面板350作为辅助显示区域，由此利用对显示部205进行了扩展的较大显示区域。在扩展屏幕模式中，在显示部205和触摸面板350上进行不同的显示，例如，显示部205是主要的显示区域，触摸面板350是辅助的显示区域。

在图9的例子中，控制装置300执行动态图像再现的应用程序451。通过动态图像再现应用程序451的功能，控制装置300在触摸面板350上显示用于进行动态图像再现操作的操作画面518，并且在显示部205上显示用于显示动态图像的再现画面519。在操作画面518中，一览显示要再现的动态图像，配置有能够进行选择动态图像的操作的动态图像列表518a以及用于指示动态图像的再现、停止、暂停等的操作对象518b。另一方面，在再现画面519中配置再现中的动态图像以及表示再现位置和音量的指示器。在显示操作画面518的期间，根据对触摸面板350的操作，提供基于操作位置以及动态图像列表518a和操作对象518b的显示位置的输入数据442。

在图9的例子中，动态图像再现应用程序451可以使用表示触摸面板350上的操作位置的绝对位置的输入数据441来检测对动态图像列表518a或操作对象518b的操作。

在动态图像再现应用程序451与输入数据442对应的情况下，应用程序451能够容易地参照输入数据442来确定被操作的动态图像列表518a或操作对象518b。因此，能够与操作对应地执行动态图像再现动作。

在图10中，作为显示系统1的显示模式的一例，示出触控板模式。在触控板模式中，触摸面板350作为进行接触操作的输入设备发挥作用。触控板模式对应于本发明的输入板模式的一例。

在触控板模式中，在LCD 331上显示触控板画面524。触控板画面524也可以是不包含要显示的对象而看起来为非显示状态的画面。另外，触控板画面524也可以例如通过LCD331如图10所示那样包含引导区525，向使用者U示出触摸面板350作为触控板来检测操作的检测区域。此外，如图10所示，触控板画面524可以包含表示触摸面板350被用作触控板的字符串。

在触控板模式中，使用者U通过触摸面板350对在显示部205上显示的主页画面521进行操作。在主页画面521中配置有与应用程序451对应的图标等对象521a。在主页画面521中，显示表示触摸面板350上的操作位置的指示器522或光标523，使用者U一边看着指示器522或光标523，一边操作触摸面板350。

在触控板模式中，显示主页画面521的应用程序451可以参照包含操作位置的绝对坐标数据的输入数据441来进行动作。

在触控板模式中，UI应用程序452将输入数据441换算为显示部205上的操作位置，生成输入数据442。即，将触摸面板350上的操作位置转换成纵横比和形状不同的显示部205上的操作位置而获得的数据作为输入数据442来提供。在这种情况下，应用程序451能够基于在显示部205上配置的对象521a和输入数据442，检测对于对象521a的操作。

输入数据442表示以显示部205为基准进行转换后的操作位置，所以能够按照输入数据442显示指示器522、光标523。

触控板模式可以说是通过将图8所示的镜像模式进行变形而获得的显示模式。例如，在控制装置300中，也可以预先设定显示主页画面时的显示模式。在这种情况下，CO控制部310在指示显示主页画面时参照设定，进行以镜像模式显示主页画面515、516的动作以及以触控板模式显示主页画面521的动作中的任意一个。

在图11中，作为显示系统1的显示模式的一例，示出虚拟设备模式。在虚拟设备模式中，使触摸面板350作为所谓的游戏板等输入设备发挥作用。图11示出了虚拟设备模式中的触摸面板350的显示例，图11的(a)是第1虚拟设备模式中的显示例，图11的(b)是第2虚拟设备模式中的显示例，图11的(c)是第3虚拟设备模式中的显示例。

在第1虚拟设备模式中，在触摸面板350上显示输入设备画面531。在输入设备画面531上，作为显示对象，配置有模仿方向键的对象531a、和表示用作触控板的区域的引导图像531b。对象531a是指示上、下、左、右各方向的键成为一体的模仿所谓的十字键形状的图像。使用者U通过进行触摸对象531a的位置的操作，进行与十字键同样的操作。使用者U通过在引导图像531b的框内进行触摸操作，进行与触控板同样的操作。

在执行第1虚拟设备模式时，传感器数据提供部401根据输入数据441，提供表示对于对象531a和引导图像531b的操作的输入数据442。该情况下的输入数据442包含对象531a的上、下、左、右方向的操作数据以及引导图像531b中的操作位置的坐标数据。

输入数据441是整个触摸面板350上的操作位置的绝对坐标的数据。UI应用程序452从输入数据441的坐标数据中取得在输入设备画面531上指定的范围的坐标数据，并将所取得的坐标数据转换为以显示部205或预先设定的整个操作区域为基准的坐标数据。由此，输入数据442成为使用了与输入设备画面531的外观相同的硬件输入设备时那样的输入数据。

在第2虚拟设备模式中，在触摸面板350上显示输入设备画面532。在输入设备画面532上，作为显示对象，配置有模仿方向键的对象532a和包含模仿按钮的多个对象的对象组532b。与对象531a同样，对象532a是模仿十字键形状的图像。使用者U通过进行触摸对象532a的位置的操作，进行与十字键同样的操作。此外，使用者U通过进行触摸对象组532b的各对象的位置的操作，进行与硬件键同样的按压操作。

在执行第2虚拟设备模式时，传感器数据提供部401根据输入数据441，提供表示对于对象532a和对象组532b的操作的输入数据442。该情况下的输入数据442包含对象532a的上、下、左、右方向的操作数据以及表示对于对象组532b的各对象的操作的数据。

UI应用程序452基于对象532a和对象组532b的显示位置，对包含整个触摸面板350上的绝对坐标数据在内的输入数据441进行转换，以生成输入数据442。由此，输入数据442成为使用了与输入设备画面532的外观相同的硬件输入设备时那样的输入数据。

在第1虚拟设备模式和第2虚拟设备模式中，在显示部205上显示利用对象531a和532a的光标操作的、应用程序451的画面。例如，能够利用进行游戏或描绘的应用程序451。另外，也可以在第1虚拟设备模式和第2虚拟设备模式中在显示部205上显示主页画面521，此时，例如能够通过对象531a、532a进行使指示器522移动的操作。

在第3虚拟设备模式中，在触摸面板350上显示输入设备画面533。在输入设备画面533中，作为显示对象，配置有模仿进行与声音或影像再现相关的操作的键的对象533a、533b、533c、533d。在图11的(c)的例子中，对象533a模仿再现键，对象533b模仿停止键，对象533c模仿快退键，对象533d模仿快进键。使用者U通过进行触摸对象533a、533b、533c、533d各自的显示位置的操作，进行与硬件键同样的操作。在第3虚拟设备模式中，在显示部205上例如显示再现画面519。

在执行第3虚拟设备模式时，传感器数据提供部401根据输入数据441，提供表示对于对象533a、533b、533c、533d的操作的输入数据442。该情况下的输入数据442例如包含表示对再现键、停止键、快退键和快进键的操作的数据。

UI应用程序452基于对象533a、533b、533c、533d的显示位置，对包含整个触摸面板350上的绝对坐标数据在内的输入数据441进行转换，以生成输入数据442。由此，输入数据442成为使用了与输入设备画面532的外观相同的硬件输入设备时那样的输入数据。

这样，在第1、第2以及第3虚拟设备模式中，能够使触摸面板350虚拟地作为硬件输入设备的代替发挥作用。因此，能够通过触摸面板350，对在使用硬件输入设备的前提下创建的应用程序451进行操作。

在图12中，作为显示系统1的显示模式的一例，示出软件键盘模式。软件键盘模式是在使用触摸面板350进行字符输入时执行的、字符输入用的显示模式。软件键盘模式对应于本发明的字符输入模式的一例。

在显示部205上显示配置有字符输入部541a的字符输入画面541。例如在网页浏览器的应用程序451受理检索字符串或URL的输入的情况下，显示字符输入画面541。

在触摸面板350上显示配置了软件键盘542a的键盘画面542。软件键盘542a是模仿键盘的输入用的图像。在纵向使用控制装置300的情况下，能够在触摸面板350上显示键盘画面543来代替键盘画面542。键盘画面543包含与触摸面板350为纵长的情况对应的软件键盘543a。软件键盘543a可以是键数比软件键盘542a少的图像。

在软件键盘模式中，使用者U通过触摸面板350来进行针对软件键盘542a、543a的操作，由此将字符输入到字符输入部541a。

UI应用程序452将输入数据441换算为软件键盘542a、543a中的操作位置，生成包含被操作的字符和符号的输入数据442。即，将触摸面板350上的操作位置转换成在软件键盘542a、543a中被操作的键而获得的数据作为输入数据442来提供。在这种情况下，应用程序451能够执行与键输入对应的动作。

[7.控制装置的动作]

图13是表示显示系统1的工作状态转变的说明图。

显示系统1的工作状态大致分为第1状态ST1、第2状态ST2和第3状态ST3这三种。

第1状态ST1是HMD 100和控制装置300不进行显示的状态。第1状态ST1包含HMD100和控制装置300能够正常工作并且显示关闭的状态。此外，第1状态ST1包含HMD 100和控制装置300的停止状态和睡眠状态。

停止状态是控制装置300、或者HMD 100和控制装置300双方的电源被关闭的状态。睡眠状态是所谓的节电状态，HMD 100和控制装置300不进行显示。在睡眠状态下，控制装置300的包含CO控制部310、CO输入部335和I/F部343的最小限度的功能部工作，其他功能部停止。在睡眠状态下，HMD 100可以处于包含DP控制部120和I/F部110的最小限度的功能部工作、并不向其他功能部提供电源的状态。

在控制装置300和HMD 100在第1状态ST1下能够正常工作的情况下，CO控制部310能够以不伴有画面显示的形式执行应用程序451。

第2状态ST2是通过控制装置300的控制而使得HMD 100和控制装置300中的至少任意一个显示锁定画面的状态。HMD 100和控制装置300的功能部能够执行正常工作。第2状态ST2也可以称为锁定状态。

在第2状态ST2下，不受理应用程序451的启动或停止等操作。第2状态ST2持续到使用者U执行预先设定的锁定解除操作为止。例如，即使进行锁定解除操作以外的操作，也维持锁定画面的显示。在第2状态ST2下，CO控制部310能够以不伴有画面显示的形式在后台执行应用程序451。

第3状态ST3对应于显示系统1的正常工作状态。在第3状态ST3下，HMD 100基于控制装置300发送的显示数据，通过图像显示部20显示图像。控制装置300通过触摸面板350受理操作，执行应用程序451，在触摸面板350上显示图像。

在预先设定的启动条件成立时，CO控制部310使显示系统1从第1状态ST1转移到第2状态ST2。启动条件可以举出开关337的操作等。例如，控制装置300处于睡眠状态时的启动条件是按下开关337，控制装置300处于停止状态时的启动条件是持续按下开关337规定时间以上的操作。

启动条件不限于开关337的操作，只要是CO控制部310能够检测的操作即可。例如，启动条件可以是移动控制装置300的主体的操作。在该情况下，CO控制部310能够通过CO六轴传感器323和CO磁传感器324检测控制装置300的运动和移位来判定驱动条件。另外，也可以将由CO摄像头322拍摄的使用者U的手臂或腿等身体的运动、或者使用者U手持的设备等指示体的运动作为启动条件。在该情况下，CO控制部310能够根据CO摄像头322的拍摄图像判定启动条件。另外，启动条件可以是针对操作部140的操作，也可以是搭载于图像显示部20的DP外侧摄像头61或各种传感器检测的操作。例如，CO控制部310也可以根据DP外侧摄像头61的拍摄图像，判定由使用者U的身体运动、或者使用者U手持的设备等指示体的运动构成的启动条件。此外，也可以将佩戴了图像显示部20的使用者U的头部运动作为启动条件。另外，还可以将敲击、点击图像显示部20的操作设为启动条件。在该情况下，CO控制部310能够根据图像显示部20搭载的DP六轴传感器235、DP磁传感器237或者未图示的触摸传感器的检测值，判定启动条件的有无。即，在图像显示部20具有触摸传感器、从而能够检测使用者U的触摸操作的结构中，也可以将对触摸传感器的触摸操作作为启动条件。此时，也可以对触摸操作的操作位置的变化或轨迹等设置条件，将预先设定的方式的触摸操作作为启动条件。

当在第2状态ST2下执行预先设定的锁定解除操作时，CO控制部310使显示系统1转移到第3状态ST3。锁定解除操作可以是CO输入部335检测的操作、CO摄像头322或各种传感器检测的操作。例如，也可以将移动控制装置300主体的操作设为锁定解除操作，在该情况下，CO控制部310能够通过CO六轴传感器323和CO磁传感器324检测控制装置300的运动和移位来判定有无锁定解除操作。另外，也可以将由CO摄像头322拍摄的使用者U的手臂或腿等身体的运动、或者使用者U手持的设备等指示体的运动作为锁定解除操作。在该情况下，CO控制部310能够根据CO摄像头322的拍摄图像判定有无锁定解除操作。另外，锁定解除操作可以是针对操作部140的操作，也可以是搭载于图像显示部20的DP外侧摄像头61或各种传感器检测的操作。作为锁定解除操作的具体例，可列举在触摸面板350上以描绘特定轨迹的方式进行触摸的操作。例如，CO控制部310也可以根据DP外侧摄像头61的拍摄图像，判定由使用者U的身体运动、或者使用者U手持的设备等指示体的运动构成的锁定解除操作的有无。此外，也可以将佩戴了图像显示部20的使用者U的头部运动作为锁定解除操作。另外，还可以将敲击、点击图像显示部20的操作设为锁定解除操作。在该情况下，CO控制部310能够根据图像显示部20搭载的DP六轴传感器235、DP磁传感器237或者未图示的触摸传感器的检测值，判定锁定解除操作的有无。

CO控制部310在第2状态ST2下进行关闭画面显示的操作或关闭电源的操作时，转移到第1状态ST1。该情况下的操作只要是与锁定解除操作不同的操作即可。例如，可列举开关337的按下、开关337被按下规定时间以上等，但只要是控制装置300和HMD 100可检测的操作即可。

此外，CO控制部310在第3状态ST3下进行关闭画面显示的操作或关闭电源的操作时，转移到第1状态ST1。这种情况下的操作不受限制，只要是控制装置300和HMD 100可检测的操作即可。例如，可列举开关337的按下、开关337被按下规定时间以上等。

图14和图15是表示控制装置300的动作的流程图，表示与显示系统1的显示模式选择相关的动作。

图14的动作在控制装置300的电源关闭的状态下开始。CO控制部310以启动条件成立为触发来执行启动序列(步骤S11)。由此，控制装置300从第1状态ST1转移到第2状态ST2。

在启动序列后，CO控制部310判定HMD 100是否有效(步骤S12)。在步骤S12中，判定HMD 100是否连接到控制装置300、且HMD 100是否通过控制装置300的控制而有效进行动作。

在HMD 100无效的情况下(步骤S12；否)，CO控制部310在步骤S12待机。在HMD 100有效的情况下(步骤S12；是)，CO控制部310判定是否显示锁定画面(步骤S13)。例如，在控制装置300启动后最初执行步骤S13的情况下，显示锁定画面。

在显示锁定画面的情况下(步骤S13；是)，CO控制部310将显示系统1的显示模式设为镜像模式(步骤S14)。因此，当显示系统1从第1状态ST1转移到第2状态ST2时，执行镜像模式。

CO控制部310判定是否是最初显示锁定画面的状态(步骤S15)。

在是最初显示锁定画面的状态的情况下，即、在转移到第2状态ST2后最初执行步骤S15的情况下，CO控制部310做出肯定判定(步骤S15；是)。在这种情况下，CO控制部310在步骤S15待机。在从显示锁定画面起经过了处理的情况下(步骤S15；否)，CO控制部310判定是否进行了锁定解除操作(步骤S16)。

在未进行锁定解除操作、或者对触摸面板350的操作不符合锁定解除操作的情况下，CO控制部310做出否定判定(步骤S16；否)。此时，CO控制部310判定有无结束显示系统1的显示的事件(步骤S17)。结束显示系统1的显示的事件例如是从控制装置300拆下了HMD100等。在有结束显示的事件的情况下(步骤S17；是)，CO控制部310判定是否结束控制装置300的动作(步骤S18)。在结束动作的情况下(步骤S18；是)，CO控制部310执行结束序列，结束本处理。在不结束动作的情况下(步骤S18；否)，CO控制部310返回步骤S12。

在进行了锁定解除操作的情况下(步骤S16；是)，CO控制部310使显示系统1从第2状态ST2转移到第3状态ST3，并转移到步骤S18的动作。

在没有结束显示系统1的显示的事件的情况下(步骤S17；否)，CO控制部310返回步骤S15。

另一方面，在显示系统1不为锁定画面的情况下(步骤S13；否)，CO控制部310取得表示在步骤S12之前执行的显示模式、即前一显示模式的信息(步骤S19)。CO控制部310例如将表示当前的显示模式的信息存储在非易失性存储器313中，每当切换显示系统1的显示模式时更新信息。CO控制部310判定前一显示模式是否是镜像模式(步骤S20)。如果前一显示模式是镜像模式(步骤S20；是)，则CO控制部310转移到步骤S14。

如果前一显示模式不是镜像模式(步骤S20；否)，则CO控制部310判定前一显示模式是否是虚拟设备模式(步骤S21)。如果前一显示模式不是虚拟设备模式(步骤S21；否)，则CO控制部310将显示系统1的显示模式设为触控板模式(步骤S22)。CO控制部310判定有无结束显示系统1的显示的事件(步骤S23)，在有结束显示的事件的情况下(步骤S23；是)，转移到步骤S18。在没有结束显示的事件的情况下(步骤S23；否)，CO控制部310在步骤S23中继续触控板模式。

如果前一显示模式是虚拟设备模式(步骤S21；是)，则CO控制部310将显示系统1的显示模式设为虚拟设备模式(步骤S31)。在此，CO控制部310判定是否为使用软件键盘的状态(步骤S32)。在不使用软件键盘的情况下(步骤S32；否)，CO控制部310判定有无结束显示系统1的显示的事件(步骤S33)。在有结束显示的事件的情况下(步骤S33；是)，CO控制部310结束虚拟设备模式(步骤S34)，并转移到步骤S18。在没有结束显示的事件的情况下(步骤S33；否)，CO控制部310返回步骤S31。

在步骤S32中，在由应用程序451显示的画面是需要字符输入的画面的情况下，或者在通过触摸面板350的操作指示了字符输入的开始的情况下，CO控制部310做出肯定判定(步骤S32；是)。此时，CO控制部310执行软件键盘模式(步骤S35)。CO控制部310判定软件键盘的输入是否完成(步骤S36)，在输入完成的情况下(步骤S36；是)，返回步骤S31将显示模式切换为虚拟设备模式。

在通过软件键盘的输入未完成的情况下(步骤S36；否)，CO控制部310判定有无结束显示系统1的显示的事件(步骤S37)。在有结束显示的事件的情况下(步骤S37；是)，CO控制部310结束软件键盘模式(步骤S38)，并转移到步骤S18。在没有结束显示的事件的情况下(步骤S37；否)，CO控制部310返回步骤S36。

在图14和图15所示的动作中，当显示模式被切换时，CO控制部310可以进行向使用者U通知显示模式切换的动作。例如，在显示部205的显示不随着显示模式的切换而变更的情况下，CO控制部310可以进行基于振动器326的振动产生和/或基于声音输出部327的声音输出，报知显示模式的切换。具体而言，可列举进行虚拟设备模式中的第1、第2、第3虚拟设备模式之间的变更、或者从虚拟设备模式向软件键盘模式的变更及其相反变更的情况。在这种情况下，CO控制部310可以生成用于显示通知显示模式切换的消息的显示数据，并发送到HMD 100。此外，CO控制部310也可以生成用于显示与变更前或变更后的显示模式相关的信息的显示数据，并发送到HMD 100。此外，在显示部205的显示随着显示模式的切换而变更的情况下，CO控制部310可以生成用于显示与变更前或变更后的显示模式相关的信息的显示数据，并发送到HMD 100来通过显示部205的显示进行通知。此外，在上述实施方式中，作为一例，如图14和图15所示，说明了如下例子：在CO控制部310从第1状态ST1转移到第2状态ST2并请求锁定解除操作时，将显示模式设为镜像模式。在从第2状态ST2转移到第3状态ST3时，CO控制部310可以将显示模式切换为镜像模式。此外，既可以在从第2状态ST2转移到第3状态ST3时将显示模式切换为镜像模式，也能够执行其他例子。

[8.实施方式的作用及效果]

如以上所说明那样，应用了本发明的实施方式的显示系统1包含具有图像显示部20的HMD 100和连接到HMD 100的控制装置300。控制装置300具有LCD 331和重叠配置于LCD331的触摸传感器336。显示系统1具有包含第1显示模式和第2显示模式的多个显示模式，在第1显示模式中，使图像显示部20和LCD 331的显示相同，在第2显示模式中，图像显示部20和LCD 331的显示是不同的。显示系统1能够执行第1状态ST1、第2状态ST2和第3状态ST3，在第1状态ST1中，停止图像显示部20和LCD 331中的至少任意一个的显示，在第2状态ST2中，请求特定的操作，在第3状态ST3中，能够执行应用程序451。在从第1状态ST1向其他状态的转移、从第2状态ST2向其他状态的转移或从第3状态ST3向其他状态的转移中的特定转移中，显示系统1将图像显示部20和LCD 331的显示模式设为第1显示模式。

由显示系统1执行的显示方法执行包含第1显示模式和第2显示模式的多个显示模式，在第1显示模式中，使图像显示部20和LCD 331的显示相同，在第2显示模式中，图像显示部20和LCD 331的显示是不同的。能够执行第1状态ST1、第2状态ST2和第3状态ST3，在第1状态ST1中，停止图像显示部20和LCD 331中的至少任意一个的显示，在第2状态ST2中，请求锁定解除操作，在第3状态ST3中，能够执行应用程序451。在从第1状态ST1向其他状态的转移、从第2状态ST2向其他状态的转移或从第3状态ST3向其他状态的转移中的特定转移中，将图像显示部20和LCD 331的显示模式设为第1显示模式。

控制装置300的CO控制部310执行的程序能够切换包含第1显示模式和第2显示模式的多个显示模式，在第1显示模式中，使图像显示部20和LCD 331的显示相同，在第2显示模式中，图像显示部20和LCD 331的显示是不同的。切换执行第1状态ST1、第2状态ST2和第3状态ST3，在第1状态ST1中，停止图像显示部20和LCD 331中的至少任意一个的显示，在第2状态ST2中，请求特定的操作，在第3状态ST3中，能够执行应用程序451。在从第1状态ST1向其他状态的转移、从第2状态ST2向其他状态的转移或从第3状态ST3向其他状态的转移中的特定转移中，将图像显示部20和LCD 331的显示模式设为第1显示模式。

显示系统1可切换执行的显示模式例如是镜像模式、扩展屏幕模式、触控板模式、虚拟设备模式、软件键盘模式。第1显示模式例如是镜像模式。第2显示模式可从扩展屏幕模式、触控板模式、虚拟设备模式和软件键盘模式中选择。第1虚拟设备模式、第2虚拟设备模式和第3虚拟设备模式可以是各自不同的显示模式，也可以是一个虚拟设备模式的不同形式。

特定转移例如是从第1状态ST1向第2状态ST2的转移、从第2状态ST2向第3状态ST3的转移以及从第3状态ST3向第1状态ST1的转移中的预先设定的转移。例如，显示系统1在从第1状态ST1转移到第2状态ST2时，将图像显示部20和LCD 331的显示模式设为第1显示模式。

根据显示系统1、显示系统1执行的显示方法和程序，当显示系统1的状态在第1状态ST1、第2状态ST2和第3状态ST3之间转变时，执行使图像显示部20和LCD331的显示相同的第1显示模式。因此，使用者U能够一边看着触摸面板350或显示部205的期望显示，一边进行特定的操作。因此，使用者U在难以通过摸索来执行锁定解除操作时，只要看着显示部205和触摸面板350中的任意一方，就能够简单地进行锁定解除操作。由此，在利用作为两个显示部的图像显示部20和LCD 331的情况下，使用者U能够进行直观的操作。特别地，在如上述锁定解除操作那样进行对触摸面板350的操作时，如果在第2状态ST2下执行镜像模式，则无论显示部205的显示状态如何，都能够一边看着触摸面板350的显示一边容易地执行操作。因此，能够实现使用者U使用多个显示部时的便利性提高。

例如，显示系统1在从第1状态ST1转移到第2状态ST2时，将图像显示部20和LCD331的显示模式设为第1显示模式。在第2状态ST2下请求的特定操作例如是上述锁定解除操作，存在使用者U难以通过摸索执行该操作的情况。在显示系统1中，当转移到第2状态ST2并请求锁定解除操作时，使用者U只要看着显示部205和触摸面板350中的任意一方，就能够简单地进行锁定解除操作。因此，在利用作为两个显示部的图像显示部20和LCD 331的情况下，使用者U能够进行直观的操作。特别地，在如上述锁定解除操作那样进行对触摸面板350的操作时，如果在第2状态ST2下执行镜像模式，则无论显示部205的显示状态如何，都能够一边看着触摸面板350的显示一边容易地执行操作。因此，能够实现使用者U使用多个显示部时的便利性提高。

HMD 100是具有佩戴于使用者U的头部的图像显示部20的头部佩戴型显示装置。因此，当使用者U在佩戴图像显示部20的状态下难以通过摸索进行操作时，能够通过将显示模式设为第1显示模式来提高操作的便利性。此外，在如图像显示部20那样以能够看到外景的方式显示图像的显示部的情况下，佩戴图像显示部20的使用者U能够一边看着触摸面板350一边进行操作。因此，能够进行不仅仅依赖于图像显示部20的显示的操作，所以能够实现便利性的进一步提高。

例如，在使用者U佩戴图像显示部20的状态下进行锁定解除操作的情况下，如果通过图像显示部20看着锁定画面而在触摸面板350上未显示画面，则使用者U需要依赖于图像显示部20的显示来操作触摸面板350或其他操作部。在这种情况下，根据显示系统1，由于显示被设定为镜像模式，所以使用者U即使在佩戴了图像显示部20的状态下，也能够一边看着触摸面板350的显示一边进行锁定解除操作。

HMD 100具有基于从控制装置300输入的数据来控制图像显示部20的显示的显示控制部124。控制装置300具有CO控制部310，该CO控制部310生成控制图像显示部20的显示的数据，控制LCD 331的显示，并执行应用程序451。在第1状态ST1下启动条件成立时，CO控制部310使控制装置300转移到第2状态ST2。在第2状态ST2下由触摸传感器336检测到特定操作时，CO控制部310使控制装置300转移到第3状态ST3。在该结构中，能够由控制装置300通过CO控制部310适当地控制可利用显示部205和触摸面板350作为显示部的显示系统1的工作状态。此外，在从第1状态ST1转移到第2状态ST2的情况下，显示部205和触摸面板350的显示相同，所以使用者U能够在佩戴着图像显示部20的状态下，容易地进行对控制显示系统1的控制装置300的操作。

在由触摸传感器336检测到特定操作时，在预先设定的显示模式下从第2状态ST2转移到第3状态ST3。由此，使用者U能够通过对控制装置300的触摸操作来解除锁定，使得能够执行应用程序451。

控制装置300包含具有开关337的CO输入部335，并且根据对CO输入部335的操作从第1状态ST1转移到第2状态ST2。在该结构中，使用者U能够通过简单的操作使显示系统1从第1状态ST1转移到第2状态ST2。

显示系统1也可以通过图像显示部20的显示来通知执行中的显示模式。在这种情况下，通过使用者U佩戴的图像显示部20的显示，能够可靠地通知使用者U显示模式已切换。

第2显示模式包含虚拟设备模式、软件键盘模式和输入板模式中的任意一个。因此，能够实现利用控制装置300的输入操作的操作性提高。

CO控制部310在应用程序451需要字符输入的情况下将显示模式切换为软件键盘模式，在字符输入完成的情况下执行切换为软件键盘模式前的显示模式。因此，能够进一步提高使用控制装置300进行字符输入时的操作性。

本发明不限于在上述各实施方式中说明的结构，在不脱离其主旨的范围内能够以各种方式实施。

例如，例示了显示系统1具有作为头部佩戴型显示装置的HMD 100的结构，但本发明不限于此，可以采用各种显示装置。例如，可以替代图像显示部20，采用例如帽子那样佩戴的图像显示部等其他方式的图像显示部，只要具有与使用者U的左眼对应地显示图像的显示部、和与使用者U的右眼对应地显示图像的显示部即可。此外，本发明的显示装置例如可以构成为搭载于汽车或飞机等车辆的头戴式显示器。此外，例如也可以构成为内置于头盔等身体防护器具的头戴式显示器。在该情况下，能够设对相对于使用者U身体的位置进行定位的部分、和针对该部分进行定位的部分为佩戴部。

HMD 100是作为本发明的应用对象的显示装置的一例，并不限定于图3所示的结构。例如，在上述实施方式中，以图像显示部20和连接装置10分离的结构为例进行了说明，但也可以是连接装置10和图像显示部20构成为一体并佩戴于使用者U头部的结构。此外，图像显示部20的光学系统的结构是任意的，例如，可以使用位于使用者U的眼睛前方并与使用者U视野的一部分或全部重叠的光学部件。或者，也可以采用使激光等进行扫描而形成图像光的扫描方式的光学系统。或者，不限于在光学部件的内部对图像光进行引导，也可以仅具有朝向使用者U的眼睛使图像光折射和/或反射而进行引导的功能。

另外，作为显示装置，也可以采用在液晶显示面板上显示图像的液晶监视器或液晶电视。也可以使用具有等离子体显示面板、有机EL显示面板的显示装置。该情况下，显示面板相当于本发明的显示部。并且，作为显示装置，也可以使用将图像光投射于屏幕等的投影仪。

并且例如，在图3所示的HMD 100中，连接装置10可以利用USB-C型连接器、USB-C型控制器和USB集线器来构成。在该情况下，也可以将DP外侧摄像头61、其他传感器与USB集线器连接。另外，作为控制图像显示部20中的右显示部22和左显示部24的显示的控制器，也可以将向右显示部22和左显示部24输出显示数据的FPGA配置在右显示部22和左显示部24中的任意一个上。在这种情况下，连接装置10可以包含将USB-C型控制器和FPGA连接起来的桥控制器。另外，在图像显示部20中，也可以构成为将DP六轴传感器235、DP磁传感器237、EEPROM 215等安装在与FPGA相同的基板上。其他传感器的配置也可以适当变更。例如，距离传感器64、DP照度传感器65也可以配置在适于测量或检测的位置处，并构成为与FPGA、USB-C型控制器连接。

此外，包含OLED单元221、241的显示装置的具体规格也不受限制，例如，OLED单元221和241可以不具有相同的结构。

图3、图4所示的各功能块中的至少一部分可以通过硬件来实现，也可以是通过硬件与软件的协作实现的结构，不限定于如图中所示地配置独立的硬件资源的结构。另外，对于处理器311所执行的程序，也可以构成为经由通信部342或者I/F部343取得并执行存储在外部装置中的程序。

Claims (11)

1.一种显示系统，该显示系统具备具有第1显示部的显示装置、和与所述显示装置连接的控制装置，

所述控制装置具有第2显示部、和重叠配置于所述第2显示部的触摸传感器，

该显示系统具有多个显示模式，该多个显示模式包含使所述第1显示部和所述第2显示部显示同一图像的第1显示模式、以及所述第1显示部和所述第2显示部的显示画面不同的第2显示模式，

该显示系统能够执行至少停止所述第2显示部的显示的第1状态、作为锁定状态的第2状态、以及能够执行应用程序的第3状态，在所述第2状态下，请求解除所述控制装置的锁定状态的锁定解除操作，

在从所述第1状态、所述第2状态或所述第3状态向所述第1状态、所述第2状态以及所述第3状态中的其他状态转移的特定转移中，将所述第1显示部和所述第2显示部的所述显示模式设为所述第1显示模式。

2.根据权利要求1所述的显示系统，其中，

所述显示装置具有根据从所述控制装置输入的数据控制所述第1显示部的显示的第1显示控制部，

所述控制装置具有第2控制部，该第2控制部生成控制所述第1显示部的显示的数据，控制所述第2显示部的显示，并执行应用程序，

所述第2控制部在所述第1状态下启动条件成立的情况下，使所述控制装置转移到所述第2状态，在所述第2状态下由所述触摸传感器检测到所述锁定解除操作的情况下，使所述控制装置转移到所述第3状态。

3.根据权利要求1或2所述的显示系统，其中，

在由所述触摸传感器检测到所述锁定解除操作的情况下，在预先设定的所述显示模式下从所述第2状态转移到所述第3状态。

4.根据权利要求2所述的显示系统，其中，

所述第2控制部在所述第2状态下由所述触摸传感器检测到所述锁定解除操作的情况下，使所述控制装置转移到所述第3状态。

5.根据权利要求1或2所述的显示系统，其中，

所述控制装置具备具有操作件的操作部，

所述控制装置根据对所述操作部的操作，使得从所述第1状态转移到所述第2状态。

6.根据权利要求1或2所述的显示系统，其中，

通过所述第1显示部的显示，通知执行中的所述显示模式。

7.根据权利要求1或2所述的显示系统，其中，

所述第2显示模式包含在所述第2显示部上显示虚拟的输入设备的虚拟设备模式、在所述第2显示部上显示字符输入用的用户界面的字符输入模式、以及将所述第2显示部用作输入板的输入板模式中的任意一个。

8.根据权利要求7所述的显示系统，其中，

所述第2显示模式包含所述字符输入模式，

在所述应用程序需要字符输入的情况下将所述显示模式切换为所述字符输入模式，在所述字符输入完成的情况下执行切换为所述字符输入模式前的所述显示模式。

9.一种显示系统，其具有：头部佩戴型显示装置，其具有佩戴于使用者的头部的第1显示部；以及控制装置，其与所述头部佩戴型显示装置连接，

所述控制装置具有第2显示部、和重叠配置于所述第2显示部的触摸传感器，

该显示系统具有多个显示模式，该多个显示模式包含使所述第1显示部和所述第2显示部显示同一图像的第1显示模式、以及所述第1显示部和所述第2显示部的显示画面不同的第2显示模式，

作为所述显示系统的工作状态，能够执行至少停止所述第2显示部的显示的第1状态、作为锁定状态的第2状态、以及能够执行应用程序的第3状态，在所述第2状态下，请求解除所述控制装置的锁定状态的锁定解除操作，

在所述显示系统的工作状态进行从所述第1状态、所述第2状态或所述第3状态向所述第1状态、所述第2状态以及所述第3状态中的其他状态转移的特定转移的情况下，将所述第1显示部和所述第2显示部的所述显示模式设为所述第1显示模式。

10.一种显示方法，其是基于显示装置和控制装置的显示方法，该显示装置具有第1显示部，该控制装置与所述显示装置连接，具有第2显示部、和重叠配置于所述第2显示部的触摸传感器，在该显示方法中，

执行多个显示模式，该多个显示模式包含使所述第1显示部和所述第2显示部显示同一图像的第1显示模式、以及所述第1显示部和所述第2显示部的显示画面不同的第2显示模式，

在至少停止所述第2显示部的显示的第1状态、作为锁定状态的第2状态、以及能够执行应用程序的第3状态之间转变，在所述第2状态下，请求解除所述控制装置的锁定状态的锁定解除操作，

在从所述第1状态、所述第2状态或所述第3状态向所述第1状态、所述第2状态以及所述第3状态中的其他状态转移的特定转移中，将所述第1显示部和所述第2显示部的所述显示模式设为所述第1显示模式。

11.一种计算机可读记录介质，其中，该记录介质记录有计算机可执行的程序，该程序对控制装置进行控制，该控制装置与具有第1显示部的显示装置连接，具有第2显示部、和重叠配置于所述第2显示部的触摸传感器，该程序使所述计算机执行如下处理：

能够对多个显示模式进行切换，该多个显示模式包含使所述第1显示部和所述第2显示部显示同一图像的第1显示模式、以及所述第1显示部和所述第2显示部的显示画面不同的第2显示模式，

切换地执行至少停止所述第2显示部的显示的第1状态、作为锁定状态的第2状态、以及能够执行应用程序的第3状态，在所述第2状态下，请求解除所述控制装置的锁定状态的锁定解除操作，

在从所述第1状态、所述第2状态或所述第3状态向所述第1状态、所述第2状态以及所述第3状态中的其他状态转移的特定转移中，将所述第1显示部和所述第2显示部的所述显示模式设为所述第1显示模式。