CN114356071A - 显示系统、显示方法以及记录介质 - Google Patents

显示系统、显示方法以及记录介质 Download PDF

Info

Publication number
CN114356071A
CN114356071A CN202111134175.8A CN202111134175A CN114356071A CN 114356071 A CN114356071 A CN 114356071A CN 202111134175 A CN202111134175 A CN 202111134175A CN 114356071 A CN114356071 A CN 114356071A
Authority
CN
China
Prior art keywords
display
image
unit
control unit
marker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111134175.8A
Other languages
English (en)
Other versions
CN114356071B (zh
Inventor
柿崎裕一
马场博晃
佐藤慎也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN114356071A publication Critical patent/CN114356071A/zh
Application granted granted Critical
Publication of CN114356071B publication Critical patent/CN114356071B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0693—Calibration of display systems

Abstract

显示系统、显示方法以及记录介质，在使用2个显示部进行显示的系统中，提高了使用者的便利性。显示系统(1)具有佩戴于使用者的头部的HMD(100)和与HMD(100)连接的控制装置(300)，HMD(100)具有：图像显示部(20)，其能够使外景被看到并与外景重叠地对显示图像进行显示；以及主控制部(123)，其使图像显示部(20)显示出显示图像，控制装置(300)具有：触摸面板(350)；以及CO控制部(310)，其使触摸面板(350)显示与显示图像的显示内容关联的关联图像。

Description

显示系统、显示方法以及记录介质
技术领域
本发明涉及显示系统、显示方法以及程序。
背景技术
以往，已知将显示装置与信息处理装置连接的结构。例如，专利文献1公开了将信息处理装置的显示图像显示于显示装置，将信息处理装置的显示图像切换为用户界面显示的技术。
专利文献1：日本特开2019-114050号公报
然而，期望通过使显示于2个显示部的图像协作来进一步提高可用性。
发明内容
解决上述课题的一个方式是一种显示系统，其具有佩戴于使用者的头部的显示装置、和与所述显示装置连接的信息处理装置，在该显示系统中，所述显示装置具有：第1显示部，其能够使外景看到并与所述外景重叠地对显示图像进行显示；以及第1控制部，其使所述第1显示部显示所述显示图像，所述信息处理装置具有：第2显示部；以及第2控制部，其使所述第2显示部显示与所述显示图像的显示内容关联的关联图像。
解决上述课题的一个方式是一种显示方法，其由具有显示装置和信息处理装置的显示系统执行，所述显示装置佩戴于使用者的头部，具有以能够看到外景的方式对显示图像进行显示的第1显示部，所述信息处理装置与所述显示装置连接，该显示方法具有以下步骤：在所述显示装置中，使所述第1显示部显示所述显示图像；以及在所述信息处理装置中，使所述信息处理装置所具有的第2显示部显示与所述显示图像的显示内容关联的关联图像。
解决上述课题的一个方式是一种程序，其由分别搭载于显示装置和信息处理装置的计算机执行，所述显示装置佩戴于使用者的头部，具有以能够看到外景的方式对显示图像进行显示的第1显示部，所述信息处理装置与所述显示装置连接，该程序使计算机执行以下步骤：在所述显示装置中，使所述第1显示部显示所述显示图像；以及在所述信息处理装置中，使所述信息处理装置所具有的第2显示部显示与所述显示图像的显示内容关联的关联图像。
附图说明
图1是表示显示系统的概略结构的图。
图2是表示图像显示部的光学系统结构的主要部分俯视图。
图3是显示系统的框图。
图4是控制装置以及主控制部的框图。
图5是表示显示区域以及触摸面板所显示的显示图像的一例的图。
图6是表示显示区域以及触摸面板所显示的显示图像的一例的图。
图7是表示显示区域以及触摸面板所显示的显示图像的一例的图。
图8是表示显示区域以及触摸面板所显示的显示图像的一例的图。
图9是表示显示区域以及触摸面板所显示的显示图像的一例的图。
图10是表示显示区域以及触摸面板所显示的显示图像的一例的图。
图11是表示对触摸面板相对于图像显示部的姿势进行引导的引导显示的图。
图12是表示显示AR图像时的控制装置的动作的流程图。
图13是表示校准的步骤的流程图。
图14是说明第2实施方式的说明图。
标号说明
1：显示系统；11A：连接器；11D：连接器；20：图像显示部；21：右保持部；22：右显示部；23：左保持部；24：左显示部；26：右导光板；27：前部框架；28：左导光板；30：耳机；32：右耳机；34：左耳机；36：音频连接器；40：连接线缆；46：USB线缆；61：DP外侧摄像头；63：麦克风；64：距离传感器；65：DP照度传感器；67：LED指示器；100：HMD；110：I/F部；120：DP控制部；122：传感器控制部；123：主控制部；124：非易失性存储器；125：处理器；125b：参数计算部；126：电源控制部；130：非易失性存储部；140：操作部；145：连接部；147：声音处理部；201：影像信号；210：右显示部基板；211：右I/F部；213：接收部；215：EEPROM；217：温度传感器；221：OLED单元；223：OLED面板；225：OLED驱动电路；229：电源部；230：左显示部基板；231：左I/F部；233：接收部；235：DP六轴传感器；237：DP磁传感器；239：温度传感器；241：OLED单元；243：OLED面板；245：OLED驱动电路；249：电源部；251：右光学系统；252：左光学系统；261：半反射镜；281：半反射镜；300：控制装置；310：CO控制部；311：处理器；312：存储器；313：非易失性存储器；321：GNSS；322：CO摄像头；323：CO六轴传感器；324：CO磁传感器；325：CO照度传感器；326：振动器；327：声音输出部；330：CO显示部；335：CO输入部；336：触摸传感器；337：开关；341：电池；342：通信部；343：I/F部；350：触摸面板；510：桌子；520：瓶子；610：十字键；620：盖子；630：光标；640：摄像头图标；701、703：引导显示；723：引导显示；810：菜单画面；811、813：菜单项目；821：说明语句；823：确定按钮；825：确定按钮；C1～C9：圆。
具体实施方式
[第1实施方式]
[A.系统结构]
以下，参照附图对应用了本发明的第1实施方式进行说明。
图1是表示显示系统1的概略结构的图。
显示系统1具有HMD 100和控制装置300。HMD 100是具有佩戴于使用者U的头部的图像显示部20而令使用者U看到图像或影像的头部佩戴型显示装置，是本发明的显示装置的一例。HMD是Head Mounted Display(头戴式显示器)的缩写。控制装置300是本发明的信息处理装置的一例。另外，图像显示部20是本发明的第1显示部的一例。
HMD 100具有与图像显示部20连接的连接装置10。连接装置10作为将HMD 100和与HMD 100不同的装置连接的接口发挥功能。在显示系统1中，控制装置300与连接装置10连接。
在以下的说明和附图中，为了便于说明，对构成HMD 100的若干个功能部的名称附加前缀DP，对构成控制装置300的若干个功能部的名称附加前缀CO。
控制装置300是具有显示字符、图像的显示画面以及作为检测触摸操作、按压操作的操作部发挥功能的触摸面板350，且为能够携带的尺寸的终端装置，例如能够使用智能手机。触摸面板350由显示面板以及触摸传感器336构成。LCD是Liquid Crystal Display(液晶显示器)的缩写。控制装置300也可以是台式个人计算机、笔记本型个人计算机、平板型个人计算机等。
连接装置10在箱形的壳体上具有连接器11A以及连接器11D。图像显示部20经由连接线缆40与连接器11A连接，控制装置300经由USB线缆46与连接器11D连接。由此，图像显示部20和控制装置300相互可收发数据地连接。例如，控制装置300将图像显示部20显示影像用的影像数据和声音数据输出到图像显示部20。例如，图像显示部20如后述那样将图像显示部20所具有的各种传感器的检测数据发送到控制装置300。控制装置300也可以对图像显示部20提供电力。USB是Universal Serial Bus(通用串行总线)的缩写。
使用USB线缆46将连接装置10和控制装置300连接起来的结构只不过是一例，连接装置10和控制装置300的具体连接方式不受限制。例如，也可以使用其他种类的线缆进行有线连接，还可以经由无线通信进行连接。例如，在USB线缆46与USB-TypeC标准的连接器11D连接的结构中，能够通过USB线缆46进行20伏特的直流电流的供给，作为USB-TypeC的替代模式的功能，能够传输HDMI标准的影像数据等。HDMI和MHL是注册商标。
图像显示部20在具有右保持部21、左保持部23以及前部框架27的主体上具有右显示部22、左显示部24、右导光板26以及左导光板28。
右保持部21和左保持部23从前部框架27的两端部向后延伸，将图像显示部20保持于使用者U的头部。右保持部21与前部框架27的位于使用者U右侧的端部ER连结，左保持部23与前部框架27的位于使用者U左侧的端部EL连结。
右导光板26和左导光板28设置于前部框架27。右导光板26在图像显示部20的佩戴状态下位于使用者U的右眼的眼前，使右眼看到图像。左导光板28在图像显示部20的佩戴状态下位于使用者U的左眼的眼前，使左眼看到图像。右导光板26和左导光板28是由透光性的树脂等形成的光学部，将右显示部22和左显示部24输出的图像光引导至使用者U的眼睛。右导光板26和左导光板28例如是棱镜。
前部框架27具有将右导光板26的一端和左导光板28的一端相互连结起来的形状，在使用者U佩戴图像显示部20的佩戴状态下，该连结位置与使用者U的眉间对应。前部框架27可以具有在图像显示部20的佩戴状态下抵靠于使用者U的鼻子的鼻托部，也可以是对右保持部21和左保持部23连接带子，并通过带子将图像显示部20保持于使用者U的头部的结构。
右显示部22和左显示部24分别是将光学单元和外围电路进行单元化而得的模块。右显示部22通过右导光板26显示图像，左显示部24通过左导光板28显示图像。右显示部22设置在右保持部21上，左显示部24设置在左保持部23上。
由右导光板26引导的图像光和透过右导光板26的外部光入射到使用者U的右眼。同样，由左导光板28引导的图像光和透过左导光板28的外部光入射到左眼。来自右导光板26以及左导光板28的图像光和透过右导光板26以及左导光板28的外部光入射到使用者U的眼睛。由此，使用者U重叠看到图像显示部20显示的图像和透过右导光板26以及左导光板28的外景。
在前部框架27配置有DP照度传感器65。DP照度传感器65是如下的传感器：接收来自佩戴图像显示部20的使用者U的前方的外部光。通过DP照度传感器65，能够检测透过右导光板26以及左导光板28而入射到使用者U的眼睛的外部光的照度和光量。
DP外侧摄像头61相当于本发明的摄像部。DP外侧摄像头61在前部框架27中设置在不遮挡透过右导光板26以及左导光板28的外部光的位置处。DP外侧摄像头61是具有CCD或CMOS等摄像元件和摄像镜头等的数字摄像头，可以是单眼摄像头，也可以是立体摄像头。DP外侧摄像头61的视场角包含佩戴了图像显示部20的使用者U透过右导光板26以及左导光板28而看到的外景范围的至少一部分。DP外侧摄像头61可以是广角摄像头，也可以是能够拍摄佩戴了图像显示部20的使用者U看到的外景整体的摄像头。CCD是Charge CoupledDevice(电荷耦合器件)的缩写，CMOS是Complementary Metal Oxide Semiconductor(互补金属氧化物半导体)的缩写。
在前部框架27配置有在DP外侧摄像头61的动作中点亮的LED指示器67。
在前部框架27设置有距离传感器64，该距离传感器64检测到位于预先设定的测量方向上的测量对象物的距离。距离传感器64例如是使用LED或激光二极管等的光反射式距离传感器、红外线式深度传感器、超声波式距离传感器或者激光测距仪。距离传感器64可以是组合了图像检测和声音检测的距离检测单元、或对由摄像头的立体拍摄得到的图像进行处理来检测距离的装置。距离传感器64的测量方向例如是使用者U透过右导光板26以及左导光板28看到的外景的方向。
右显示部22和左显示部24分别通过连接线缆40与连接装置10连接。连接线缆40具有音频连接器36。在音频连接器36上连接有具有构成立体声耳机的右耳机32和左耳机34、以及麦克风63的耳机30。右耳机32和左耳机34根据连接装置10输出的声音信号输出声音。麦克风63收集声音，并将声音信号输出到连接装置10。
[B.图像显示部的光学系统的结构]
图2是表示图像显示部20的光学系统结构的主要部分俯视图。在图2中为了便于说明，示出使用者U的左眼LE和右眼RE。
右显示部22和左显示部24例如构成为左右对称。
作为使右眼RE看到图像的结构，右显示部22具有发出图像光的OLED单元221以及将OLED单元221发出的图像光L引导至右导光板26的右光学系统251。OLED是Organic LightEmitting Diode(有机发光二极管)的缩写。
OLED单元221具有OLED面板223和驱动OLED面板223的OLED驱动电路225。OLED面板223例如是配置有分别发出R、G、B的色光的发光元件的自发光型的显示面板。OLED驱动电路225按照DP控制部120的控制来驱动OLED面板223。OLED驱动电路225例如安装在固定于OLED面板223的背面的未图示的基板上，在该基板上安装有图3所示的温度传感器217。
右光学系统251通过准直透镜使从OLED面板223射出的图像光L成为平行状态的光束，并使它们入射到右导光板26。在右导光板26的内部，图像光L被多个反射面反射，并被位于右眼RE眼前的半反射镜261反射而从右导光板26朝向右眼RE射出。
作为使左眼LE看到图像的结构，左显示部24具有发出图像光的OLED单元241以及将OLED单元241发出的图像光L向左导光板28引导的左光学系统252。
OLED单元241具有OLED面板243和驱动OLED面板243的OLED驱动电路245。OLED面板243例如是配置有分别发出R、G、B的色光的发光元件的自发光型的显示面板。OLED驱动电路245按照DP控制部120的控制来驱动OLED面板243。OLED驱动电路245例如安装在固定于OLED面板243的背面的未图示的基板上，在该基板上安装有图3所示的温度传感器239。
左光学系统252通过准直透镜使从OLED面板243射出的图像光L成为平行状态的光束，并使它们入射到左导光板28。在左导光板28的内部，图像光L被多个反射面反射，并被位于左眼LE眼前的半反射镜281反射而从左导光板28朝向左眼LE射出。
HMD 100作为透过型的显示装置发挥作用。即，由半反射镜261反射的图像光L和透过右导光板26的外部光OL入射到使用者U的右眼RE。由半反射镜281反射的图像光L和透过半反射镜281的外部光OL入射到左眼LE。HMD 100使在内部处理后的图像的图像光L与外部光OL重叠地入射到使用者U的眼睛。因此，使用者U能够透过右导光板26以及左导光板28看见外景，并与该外景重叠地看到基于图像光L的图像。半反射镜261、281是反射右显示部22和左显示部24分别输出的图像光而取出图像的图像取出部，构成显示部。
[C.HMD的控制系统的结构]
图3是显示系统1的框图，特别是详细示出HMD 100的结构。
在图像显示部20中，右显示部22具有右显示部基板210。在右显示部基板210上安装有与连接线缆40连接的右I/F部211、接收经由右I/F部211而从连接装置10输入的数据的接收部213、以及EEPROM 215。右I/F部211将接收部213、EEPROM215、温度传感器217、DP外侧摄像头61、距离传感器64、DP照度传感器65以及LED指示器67与连接装置10连接。接收部213将OLED单元221与连接装置10连接。
左显示部24具有左显示部基板230。在左显示部基板230上安装有与连接线缆40连接的左I/F部231、以及接收经由左I/F部231而从连接装置10输入的数据的接收部233。在左显示部基板230安装有DP六轴传感器235以及DP磁传感器237。
左I/F部231将接收部233、DP六轴传感器235、DP磁传感器237以及温度传感器239与连接装置10连接。接收部233将OLED单元241与连接装置10连接。
在本实施方式的说明以及附图中，I/F是接口的缩写。EEPROM是ElectricallyErasable Programmable Read-Only Memory(电可擦除可编程只读存储器)的缩写。有时将接收部213以及接收部233分别记载为Rx 213、Rx 233。
EEPROM 215非易失性地存储各种数据。EEPROM 215例如存储与图像显示部20所具有的OLED单元221、241的发光特性、显示特性相关的数据、与右显示部22或左显示部24所具有的传感器的特性相关的数据等。具体而言，通过DP控制部120能够读取地存储OLED单元221、241的伽马校正所涉及的参数、对温度传感器217、239的检测值进行补偿的数据等。
DP外侧摄像头61按照经由右I/F部211输入的信号执行拍摄，并将通过拍摄而生成的拍摄图像输出到右I/F部211。DP照度传感器65接收外部光，输出与受光量或受光强度对应的检测值。LED指示器67按照经由右I/F部211输入的控制信号或驱动电流而点亮。
温度传感器217检测OLED单元221的温度，并输出与检测温度对应的电压值或者电阻值来作为检测值。
距离传感器64将表示检测到距离的检测结果的信号经由右I/F部211输出到连接装置10。
接收部213接收经由右I/F部211而从连接装置10传输的显示用的影像数据，并输出到OLED单元221。OLED单元221显示基于连接装置10传输的影像数据的影像。
接收部233接收经由左I/F部231而从连接装置10传输的显示用的影像数据，并输出到OLED单元241。OLED单元221、241显示基于连接装置10传输的影像数据的影像。
DP六轴传感器235是具有三轴加速度传感器和三轴陀螺传感器的运动传感器。DP磁传感器237例如是三轴的地磁传感器。DP六轴传感器235以及DP磁传感器237可以是上述的各传感器被模块化的IMU，也可以将DP六轴传感器235以及DP磁传感器237形成一体化的模块。IMU是Inertial Measurement Unit(惯性测量单元)的缩写。温度传感器239检测OLED单元241的温度。DP六轴传感器235、DP磁传感器237以及温度传感器239分别将检测值输出到连接装置10。
图像显示部20的各部分利用通过连接线缆40从连接装置10提供的电力进行动作。图像显示部20在右显示部22具有电源部229，在左显示部24具有电源部249。电源部229将连接装置10经由连接线缆40提供的电力分配并提供给包含右显示部基板210在内的右显示部22的各部分。电源部249将连接装置10经由连接线缆40提供的电力分配并提供给包含左显示部基板230在内的左显示部24的各部分。电源部229、249也可以具有转换电压的转换电路等。
连接装置10具有I/F部110、DP控制部120、传感器控制部122、主控制部123、电源控制部126、非易失性存储部130、操作部140、连接部145以及声音处理部147。参照图4对主控制部123的详细情况进行说明。主控制部123是本发明的第1控制部的一例。
I/F部110具有连接器11D以及接口电路，该接口电路通过连接器11D执行基于各种通信标准的通信协议。I/F部110例如是安装有连接器11D以及接口电路的接口基板。I/F部110可以具有外部的存储装置、能够连接存储介质的存储卡用接口等，也可以由无线通信接口构成I/F部110。
DP控制部120具有CPU、微型计算机等处理器，通过该处理器执行程序来控制连接装置10的各部分。DP控制部120也可以具有构成处理器的工作区的RAM。RAM是RandomAccess Memory(随机存取存储器)的缩写。
在DP控制部120上连接有非易失性存储部130、操作部140、连接部145以及声音处理部147。非易失性存储部130是非易失性地存储DP控制部120执行的程序和数据的ROM。ROM是Read Only Memory(只读存储器)的缩写。
传感器控制部122使图像显示部20具有的各传感器进行动作。在此，各传感器是指DP外侧摄像头61、距离传感器64、DP照度传感器65、温度传感器217、DP六轴传感器235、DP磁传感器237以及温度传感器239的各个传感器。各传感器至少包含DP外侧摄像头61、DP照度传感器65、DP六轴传感器235以及DP磁传感器237中的任意1个以上。传感器控制部122按照DP控制部120的控制进行各传感器的采样周期的设定以及初始化，并按照各传感器的采样周期，执行向各传感器的通电、控制数据的发送、检测值的取得等。
传感器控制部122在预先设定的定时，将表示各传感器的检测值或检测结果的检测数据输出到I/F部110。在此，将DP外侧摄像头61的拍摄图像与其他传感器的检测值、检测结果同样地称为检测数据。
传感器控制部122也可以具有将模拟信号转换为数字数据的A/D转换器。在该情况下，传感器控制部122将从图像显示部20的传感器取得的检测值或检测结果的模拟信号转换为检测数据并输出。传感器控制部122也可以从图像显示部20的传感器取得检测值或检测结果的数字数据，进行数据格式的转换、输出定时的调整等，并将检测数据输出到I/F部110。
通过传感器控制部122的动作，与I/F部110连接的控制装置300能够取得HMD100的各传感器的检测值、DP外侧摄像头61的拍摄图像。
传感器控制部122可以将基于上述各传感器的检测值进行运算处理的结果作为检测数据输出。例如，传感器控制部122也可以统一处理多个传感器的检测值或检测结果，而作为所谓的传感器融合处理部发挥作用。在该情况下，传感器控制部122可以通过传感器融合，生成不包含在图像显示部20的各传感器中的虚拟传感器的检测数据。例如，传感器控制部122也可以将表示图像显示部20移动的轨迹的轨迹数据、表示图像显示部20在三维空间中的位置的坐标数据、表示图像显示部20的方向的方向数据作为检测数据输出。这里，坐标数据可以是表示以连接装置10的位置为基准的相对坐标的数据，也可以是表示相对于在图像显示部20所存在的空间中设定的基准位置的位置的数据。方向数据可以是表示以连接装置10的位置和方向为基准的方向的数据，也可以是表示相对于在图像显示部20所存在的空间中设定的基准位置的方向的数据。
传感器控制部122与通过USB线缆46与连接器11D连接的装置之间执行通信协议，并输出检测数据。
传感器控制部122以及主控制部123也可以由处理器执行程序而通过软件与硬件的协作来实现。即，传感器控制部122和显示控制部124由处理器构成，通过执行程序来执行上述动作。在该例中，传感器控制部122和显示控制部124也可以通过由构成DP控制部120的处理器执行程序来实现。换言之，也可以通过处理器执行程序来作为DP控制部120、主控制部123以及传感器控制部122发挥功能。在此，处理器可以改述为计算机。传感器控制部122和显示控制部124可以具有用于进行数据处理的工作存储器，也可以利用DP控制部120的存储器来进行处理。
另外，主控制部123以及传感器控制部122也可以由DSP、FPGA等编程后的硬件构成。也可以将传感器控制部122以及主控制部123合并而构成为SoC-FPGA。DSP是DigitalSignal Processor(数字信号处理器)的缩写，FPGA是Field Programmable Gate Array(现场可编程门阵列)的缩写，SoC是System-on-a-Chip(片上系统)的缩写。
电源控制部126是与连接器11D连接并基于从连接器11D供给的电力对连接装置10的各部分以及图像显示部20供给电源的电路。
操作部140检测连接装置10所具有的开关等的操作，将表示操作内容的数据输出到DP控制部120。
声音处理部147按照从DP控制部120输入的声音数据，生成声音信号，并输出到连接部145。从连接部145经由音频连接器36将该声音信号输出到右耳机32和左耳机34。声音处理部147生成麦克风63收集到的声音的声音数据，并输出到DP控制部120。从声音处理部147输出的声音数据与图像显示部20所具有的传感器的检测数据同样，可以由传感器控制部122进行处理。
[D.控制装置以及主控制部的结构]
图4是表示控制装置300和连接装置10所具有的主控制部123的结构的框图。
首先，对控制装置300进行说明。
控制装置300具有CO控制部310。CO控制部310是本发明的第2控制部的一例。CO控制部310具有处理器311、存储器312以及非易失性存储器313。处理器311由CPU、微型计算机、DSP等构成，通过执行程序来控制控制装置300的各部分。存储器312形成处理器311的工作区。非易失性存储器313由半导体存储器件等构成，非易失性地存储处理器311执行的程序、由处理器311处理的各种数据。例如，非易失性存储器313存储作为处理器311执行的基本控制程序的操作系统、以及在操作系统上工作的应用程序等。非易失性存储器313存储在执行应用程序时处理的数据和处理结果的数据。以下，将操作系统缩写为OS。
CO控制部310也可以是集成了处理器311、存储器312以及非易失性存储器313的SoC。
CO控制部310与GNSS 321、CO摄像头322、CO六轴传感器323、CO磁传感器324、CO照度传感器325、振动器326、声音输出部327、CO显示部330以及CO输入部335连接。
GNSS 321利用卫星定位系统进行定位，将控制装置300的位置输出到CO控制部310。GNSS是Global Navigation Satellite System(全球导航卫星系统)的缩写。
CO摄像头322是设置在控制装置300的主体上的数字摄像头，例如与触摸面板350相邻配置，拍摄与触摸面板350相对的方向。CO摄像头322按照CO控制部310的控制来执行拍摄，并将拍摄图像输出到CO控制部310。
CO六轴传感器323是具有三轴加速度传感器以及三轴陀螺仪传感器的运动传感器，将表示检测值的检测数据输出到CO控制部310。CO磁传感器324例如是三轴地磁传感器，将表示检测值的检测数据输出到CO控制部310。CO六轴传感器323以及CO磁传感器324可以是上述各传感器被模块化的IMU，也可以将CO六轴传感器323以及CO磁传感器324形成一体化的模块。
CO照度传感器325接收外部光，将表示与受光量或受光强度对应的检测值的检测数据输出到CO控制部310。
振动器326按照CO控制部310的控制而产生振动，使控制装置300的主体的一部分或全部振动。振动器326例如构成为具有偏心锤和电机。
声音输出部327具有扬声器，按照CO控制部310的控制从扬声器输出声音。声音输出部327也可以具有将CO控制部310输出的声音信号放大并输出到扬声器的放大器。在CO控制部310是输出数字声音数据的结构的情况下，声音输出部327也可以具有将数字声音数据转换为模拟声音信号的D/A转换器。
CO显示部330具有触摸面板350，按照CO控制部310的控制，使触摸面板350显示字符或图像。触摸面板350是本发明的第2显示部的一例，是本发明的受理部的一例。
CO输入部335检测对触摸传感器336以及开关337的操作，并将表示检测出的操作的操作数据输出到CO控制部310。触摸传感器336重叠配置于触摸面板350的表面。触摸传感器336检测使用者U的接触操作或按压操作。开关337例如是控制装置300的电源开关、音量调整开关等硬件开关。开关337也可以是接触式或非接触式的传感器，例如也可以是埋设在触摸面板350中的指纹传感器等。此外，开关337还可以是利用触摸传感器336的一部分或全部而形成的软件开关。
在CO控制部310连接有电池341、通信部342以及I/F部343。
电池341是内置在控制装置300的主体中的二次电池，向控制装置300的各部分提供电力。电池341可以具有用于控制电力输出以及向二次电池的充电的未图示的控制电路。
通信部342与Bluetooth、Wi-Fi等无线通信协议对应，与显示系统1的外部装置之间执行无线通信。Bluetooth和Wi-Fi是注册商标。通信部342也可以是利用LTE或第五代移动通信系统等移动通信网络来执行移动数据通信的结构。LTE是注册商标。
I/F部343具有连接数据通信线缆的未图示的连接器、以及利用连接器执行遵循各种通信标准的通信协议的接口电路。例如，I/F部343具有遵循USB标准的连接器以及接口电路，通过USB线缆46收发数据。
在本实施方式中，控制装置300经由I/F部343向HMD 100发送影像数据，从HMD 100接收传感器的检测数据。控制装置300经由I/F部343对HMD 100提供电力。
例示本实施方式的I/F部343具有USB接口，控制装置300使用与I/F部343连接的USB线缆46与HMD 100之间收发数据的结构。
控制装置300例如可以通过通信部342与HMD 100之间进行无线数据通信。
接着，说明主控制部123。
主控制部123具有非易失性存储器124以及处理器125。
非易失性存储器124由半导体存储器件等构成，非易失性地存储处理器125执行的程序、由处理器125处理的各种数据。
处理器125由CPU、微型计算机、DSP等构成，通过执行程序来控制连接装置10。
主控制部123具有显示控制部125a及参数计算部125b作为功能块。
显示控制部125a基于输入到I/F部110的显示数据或显示控制数据，执行用于使图像显示部20显示图像的各种处理。显示数据例如包含影像数据。在本实施方式中，通过由USB-TypeC连接器构成的连接器11D，以USB-TypeC的替代模式传输影像数据。显示控制部125a例如执行帧的切出、分辨率转换、缩放、中间帧生成、帧频转换等各种处理。显示控制部125a将与OLED单元221、241对应的影像数据输出到连接部145。输入到连接部145的影像数据从连接器11A作为影像信号201被传输到右I/F部211以及左I/F部231。显示控制部125a按照控制装置300发送的显示数据，使右显示部22和左显示部24显示图像。显示控制部125a按照输入到I/F部110的显示控制数据来调整和变更图像显示部20的显示状态。
另外，显示控制部125a使左眼用标记图像MG2以及右眼用标记图像MG3显示于图像显示部20。左眼用标记图像MG2以及右眼用标记图像MG3是为了使AR图像正确地重叠于实际空间的物体、而执行正确地求出DP外侧摄像头61与图像显示部20之间的空间关系的校准的情况下所显示的图像。
参数计算部125b为了使AR图像正确地重叠于实际空间的物体，计算确定了DP外侧摄像头61与图像显示部20之间的空间关系的参数。关于参数计算部125b的详细情况，将在后面叙述。AR是Augmented Reality(增强现实)的缩写。AR图像是由OLED面板223以及243射出并通过右导光板26以及左导光板28入射到使用者U的右眼以及左眼的图像光L所显示的图像。
显示系统1具有镜像显示模式和扩展显示模式这2个模式作为显示模式。扩展显示模式是本发明的第1显示模式的一例，镜像显示模式是本发明的第2显示模式的一例。
镜像显示模式是使触摸面板350显示与佩戴了图像显示部20的使用者U隔着右显示部22以及左显示部24看到的图像相同的图像的模式。在此，在使用者U看到的图像中还包含外景、即实际空间的物体。具体而言，DP外侧摄像头61的拍摄图像作为使用者U看到的外景的图像而显示于触摸面板350。另外，在图像显示部20使AR图像显示于显示区域200的情况下，也将与该AR图像相同的图像显示于触摸面板350。显示在触摸面板350上的AR图像与DP外侧摄像头61的拍摄图像重叠显示。
显示区域200是指使用者U能够看到通过OLED面板223以及243射出并通过右导光板26以及左导光板28入射到使用者U的右眼以及左眼的图像光L的范围。即，显示区域200是指图像显示部20能够显示作为显示图像的AR图像的区域。
图5是表示在显示模式为镜像显示模式的情况下显示于显示区域200以及触摸面板350的图像的图。图5的上侧表示通过图像显示部20显示于显示区域200的图像，图5的下侧表示显示于控制装置300的触摸面板350的图像。
在图5所示的镜像显示模式的显示例中，佩戴了图像显示部20的使用者U看到桌子510以及瓶子520来作为实际空间的物体。另外，作为图像显示部20所显示的AR图像，使用者U看到十字键610、盖子620、光标630以及摄像头图标640。十字键610是受理变更光标630的显示位置的操作的图像。摄像头图标640是受理使DP外侧摄像头61执行拍摄的操作的图像。
在触摸面板350上也显示桌子510、瓶子520、十字键610、盖子620、光标630以及摄像头图标640的图像。桌子510和瓶子520的图像通过CO控制部310从主控制部123取得DP外侧摄像头61的拍摄图像并显示于触摸面板350而被显示。另外，十字键610、盖子620、光标630以及摄像头图标640的图像通过CO控制部310将基于AR图像源的显示数据的图像显示于触摸面板350而被显示。对于该显示数据，可以由CO控制部310从主控制部123取得，也可以由CO控制部310读出事先存储在非易失性存储器313中的显示数据，并使触摸面板350显示基于读出的显示数据的图像。
扩展显示模式是将图像显示部20的显示区域200和控制装置300的触摸面板350作为1个画面来使用的模式。
图6是表示在显示模式为扩展显示模式的情况下显示于显示区域200以及触摸面板350的图像的图。图6的上侧表示通过图像显示部20显示于显示区域200的图像，图6的下侧表示显示于控制装置300的触摸面板350的图像。
在图6所示的扩展显示模式的显示例中，佩戴了图像显示部20的使用者U看到桌子510以及瓶子520来作为实际空间的物体而，看到盖子620以及光标630来作为AR图像。另外，在触摸面板350上显示十字键610和摄像头图标640。
本实施方式的显示系统1使触摸面板350显示与作为显示图像而显示于显示区域200的AR图像关联的关联图像。关联图像是在控制装置300或HMD 100所执行的处理中使用的图像。例如，在显示于显示区域200的AR图像是由使用者U操作的图像的情况下，使受理使用者U的操作的操作图像显示于触摸面板350。操作图像是受理使用者U的操作的图像，是用于使控制装置300执行与所受理的操作对应的处理的图像。操作图像是本发明的关联图像的一例。
例如，如图6所示，假设显示于显示区域200的AR图像是盖子620的图像，是使用者U操作光标630将盖子620安装于瓶子520的操作。在触摸面板350上显示十字键610作为操作图像。使用者U操作十字键610来变更光标630的显示位置。通过变更光标630的显示位置，盖子620的显示位置也被变更。使用者U操作十字键610，使盖子620移动至瓶子520的盖安装位置。
另外，作为使与显示于显示区域200的AR图像关联的关联图像显示于触摸面板350的情形，可举出在校准的执行中显示的图像。校准是如下处理：为了使AR图像正确地重叠在作为对象的实际空间的物体上而正确地求出DP外侧摄像头61与图像显示部20之间的空间关系。在校准中，使校准用图像显示于显示区域200和触摸面板350，HMD 100根据这些校准用的图像进行处理，计算求出DP外侧摄像头61与图像显示部20之间的空间关系的参数。校准用图像是用于使HMD 100执行校准来执行计算参数的处理的图像。
参照图7～图10对校准的步骤进行说明。
图7是表示显示区域200以及触摸面板350所显示的初始画面的图。
在触摸面板350上，作为初始画面，显示有菜单项目811、813被显示的菜单画面810，在显示区域200中，作为初始画面，显示有引导显示701，该引导显示701对选择显示在触摸面板350上的菜单画面810的菜单项目进行引导。菜单项目811是用于选择校准的项目，菜单项目813是用于选择显示位置调整的项目。菜单画面810是受理操作的操作图像。
图8是表示在对用于选择校准的菜单项目811进行选择了的情况下显示于显示区域200以及触摸面板350的画面的一例的图。
在触摸面板350上显示说明了校准步骤的说明语句821和确定按钮823。另外，在显示区域200中显示促使确认显示于触摸面板350的说明语句821的引导显示703。
图9是表示在触摸面板350上显示的确定按钮823被按下的情况下显示于显示区域200以及触摸面板350的画面的一例的图。
当按下确定按钮823时，CO控制部310使图9所示的标记图像MG1以及确定按钮825显示于触摸面板350。标记图像MG1是校准用的图像，是本发明的关联图像的一例。确定按钮825是受理使用者U的操作的操作按钮。
在此，对标记图像MG1进行说明。标记图像MG1是本发明的第2标记图像的一例。标记图像MG1具有多个圆C1～C9。
标记图像MG1在以直线连接4个顶点P0、P1、P2、P3的正方形中包含9个正圆C1、C2、C3、C4、C5、C6、C7、C8、C9。在连接顶点P0和顶点P2的对角线上配置有圆C1、C2、C3、C4以及C5这5个圆。另外，在连接顶点P1和顶点P3的对角线上配置有圆C6、C7、C3、C8以及C9这5个圆。
另外，当按下确定按钮823时，CO控制部310将左眼用标记图像MG2的显示指示输出到主控制部123。主控制部123在从CO控制部310被输入显示指示时，控制图像显示部20，使显示区域200显示左眼用标记图像MG2。左眼用标记图像MG2的形状是与显示于触摸面板350的标记图像MG1相同形状的图像。左眼用标记图像MG2是校准用的图像，是本发明的第1标记图像的一例。
在显示区域200中，除了左眼用标记图像MG2之外，还显示引导显示723。在引导显示723中，在进行左眼的校准的情况下，显示“请闭上右眼”这样的引导显示。
在触摸面板350上显示标记图像MG1，且在显示区域200中显示左眼用标记图像MG2时，使用者U按照引导显示723闭上右眼，以标记图像MG1与左眼用标记图像MG2重叠的方式移动拿着控制装置300的手。当标记图像MG1与左眼用标记图像MG2重叠时，使用者U按下确定按钮825。通过按下确定按钮825，CO控制部310向主控制部123指示DP外侧摄像头61的拍摄。主控制部123通过DP控制部120的控制使DP外侧摄像头61执行拍摄。DP外侧摄像头61通过拍摄而生成的拍摄图像作为左眼用拍摄图像被输出到主控制部123。当DP外侧摄像头61的拍摄完成时，主控制部123将拍摄完成的通知输出到CO控制部310。
当从主控制部123接收到拍摄完成的通知时，CO控制部310将右眼用标记图像MG3的显示指示输出到主控制部123。主控制部123控制图像显示部20，使右眼用标记图像MG3显示于显示区域200。
图10是表示右眼用标记图像MG3的一例的图。右眼用标记图像MG3是与标记图像MG1以及左眼用标记图像MG2相同形状的图像。右眼用标记图像MG3是本发明的第1标记图像的一例。在显示区域200中还显示引导显示723。
在触摸面板350上显示标记图像MG1，且在显示区域200中显示右眼用标记图像MG3时，使用者U按照引导显示723闭上左眼，以标记图像MG1与右眼用标记图像MG3重叠的方式移动拿着控制装置300的手。当标记图像MG1与右眼用标记图像MG3重叠时，使用者U按下确定按钮825。通过按下确定按钮825，CO控制部310向主控制部123指示DP外侧摄像头61的拍摄。主控制部123通过DP控制部120的控制使DP外侧摄像头61执行拍摄。DP外侧摄像头61通过拍摄而生成的拍摄图像作为右眼用拍摄图像被输出到主控制部123。
参数计算部125b使用从DP外侧摄像头61输入的左眼用拍摄图像以及右眼用拍摄图像，通过单应法(Homography)来计算表示DP外侧摄像头61与触摸面板350之间的空间关系(旋转和平移中的至少1个)的第1转换参数。第1转换参数是从触摸面板350的坐标系转换为DP外侧摄像头61的坐标系即摄像头坐标系的矩阵式的变量。
另外，参数计算部125b使用左眼用拍摄图像以及右眼用拍摄图像，计算表示DP外侧摄像头61与右显示部22以及左显示部24之间的空间关系的第2转换参数。在第2转换参数中包含将DP外侧摄像头61的坐标系即摄像头坐标系转换为左显示部24的坐标系的矩阵式的变量即第2左显示参数、和将DP外侧摄像头61的摄像头坐标系转换为右显示部22的坐标系的矩阵式的变量即第2右显示参数。第2左显示参数相当于第1参数。第2右显示参数相当于第2参数。
另外，参数计算部125b将与DP外侧摄像头61相关的参数最优化。与DP外侧摄像头61相关的参数的最优化使用所得到的坐标值，以能够成为最优化的方式，计算并非预先已知的与DP外侧摄像头61的焦距关联的参数以及包含主点位置(例如，拍摄图像的中心坐标)等的参数。当使用通过最优化导出的参数拍摄对象物而取得拍摄图像时，拍摄图像中的对象物的位置与从使用者U观察时的对象物所重叠的图像显示部20上的显示位置相对应。其结果，使用者U能够经由图像显示部20看到AR图像的位置、大小、姿势中的至少1个与对象物一致。
另外，参数计算部125b也可以在根据DP外侧摄像头61的拍摄图像检测到标记图像MG1时，基于标记图像MG1所包含的圆C1～C9的形状，判定控制装置300相对于图像显示部20的姿势。例如，参数计算部125b计算圆C1～C9的圆度，并基于计算出的圆度来判定控制装置300相对于图像显示部20的姿势。并且，参数计算部125b在判定为控制装置300与图像显示部20不正对的情况下，如图11所示，也可以通过图像显示部20显示引导控制装置300的姿势的引导显示725。
另外，在本实施方式中，将作为第2标记图像显示于触摸面板350的标记图像MG1与作为第1标记图像显示于显示区域200的左眼用标记图像MG2以及右眼用标记图像MG3设为了相同的形状，但标记图像MG1与左眼用标记图像MG2以及右眼用标记图像MG3的形状也可以是不同的形状。例如，在标记图像MG1与左眼用标记图像MG2以及右眼用标记图像MG3重叠的情况下，也可以是成为正方形的图形。
在此，对将显示系统1的显示模式从扩展显示模式变更为镜像显示模式、或者从镜像显示模式变更为扩展显示模式的操作进行说明。
在显示系统1的显示模式为扩展显示模式的状态下，检测到触摸面板350的触摸操作、例如滑动操作时，CO控制部310将显示模式变更为镜像显示模式。另外，在显示系统1的显示模式为镜像显示模式的状态下检测到触摸面板350的触摸操作的情况下，CO控制部310将显示模式变更为扩展显示模式。当检测到触摸操作时，CO控制部310向主控制部123指示切换显示模式。
另外，显示模式的切换可以由主控制部123基于从麦克风63输入的声音来进行，还可以由主控制部123通过操作部140受理的操作来进行。也可以由主控制部123从DP外侧摄像头61的拍摄图像中检测预先设定的姿势，而将显示模式切换为扩展显示模式或镜像显示模式。
[E.动作]
图12是表示使伴随使用者U的操作的AR图像显示于显示区域200时的控制装置300的动作的流程图。
首先，CO控制部310判定是否受理了使得显示伴随着使用者U的操作的AR图像的操作(步骤S1)。CO控制部310在未受理使得显示AR图像的操作的情况下(步骤S1/否)，待机至受理操作。
CO控制部310在受理了使得显示AR图像的操作的情况下(步骤S1/是)，判定是否选择了扩展显示(步骤S2)。步骤S2的判定可以按照预先设定的设定信息来判定，也可以受理使用者U的操作来判定。
接着，在选择了扩展显示的情况下(步骤S2/是)，CO控制部310向主控制部123输出指示，以使所选择的AR图像显示于显示区域200。主控制部123在从CO控制部310输入了指示时，使AR图像显示于显示区域200(步骤S3)。另外，CO控制部310使触摸面板350显示操作图像(步骤S4)。
另外，在步骤S2的判定中未选择扩展显示的情况下(步骤S2/否)，CO控制部310向主控制部123输出指示，以使选择出的AR图像和操作图像显示于显示区域200。主控制部123在从CO控制部310输入了指示时，使AR图像和操作图像显示于显示区域200(步骤S5)。另外，CO控制部310使触摸面板350显示所选择的AR图像和操作图像(步骤S6)。
接着，CO控制部310判定是否受理了对触摸面板350上显示的操作图像的操作(步骤S7)。在未受理操作的情况下(步骤S7/否)，CO控制部310待机至受理对操作图像的操作。在受理了操作的情况下(步骤S7/是)，CO控制部310执行与所受理的操作对应的处理(步骤S8)。例如，在步骤S7中受理的操作是选择十字键610中的表示朝上方向的箭头的操作的情况下，CO控制部310向主控制部123输出指示，以使AR图像的显示位置向显示区域200的上方移动。
接着，CO控制部310判定是否受理了结束操作(步骤S9)。在未受理结束操作的情况下(步骤S9/否)，CO控制部310返回到步骤S7的判定，再次判定是否受理了操作。另外，在受理了结束操作的情况下(步骤S9/是)，CO控制部310结束该处理流程。
图13是表示校准的处理步骤的流程图。
参照图13所示的流程图，对校准的处理步骤进行说明。
CO控制部310使触摸面板350显示标记图像MG1(步骤S11)。接着，主控制部123通过DP控制部120的控制，使左显示部24显示左眼用标记图像MG2(步骤S12)。使用者U移动手持的控制装置300，以触摸面板350上显示的标记图像MG1与由左显示部24显示的左眼用标记图像MG2重叠的方式进行位置对准(步骤S13)。当标记图像MG1与左眼用标记图像MG2重叠时，使用者U按下确定按钮825。
当确定按钮825被按下时(步骤S14/是)，CO控制部310向主控制部123指示DP外侧摄像头61的拍摄。主控制部123通过DP控制部120的控制使DP外侧摄像头61执行拍摄(步骤S15)，生成左眼用拍摄图像。
接着，主控制部123通过DP控制部120的控制，使右显示部22显示右眼用标记图像MG3(步骤S16)。使用者U移动手持的控制装置300，以触摸面板350上显示的标记图像MG1与右显示部22所显示的右眼用标记图像MG3重叠的方式进行位置对准(步骤S17)。当标记图像MG1与右眼用标记图像MG3重叠时，使用者U按下确定按钮825。
当确定按钮825被按下时(步骤S18/是)，CO控制部310向主控制部123指示DP外侧摄像头61的拍摄。主控制部123通过DP控制部120的控制使DP外侧摄像头61执行拍摄(步骤S19)，生成右眼用拍摄图像。
接着，主控制部123取得DP外侧摄像头61拍摄到的左眼用拍摄图像和右眼用拍摄图像，使用所取得的左眼用拍摄图像和右眼用拍摄图像，通过单应法计算表示DP外侧摄像头61与标记图像MG1之间的空间关系的第1转换参数。另外，参数计算部125b计算表示DP外侧摄像头61与右显示部22以及左显示部24之间的空间关系的第2转换参数(步骤S20)。在第2转换参数中，包含将DP外侧摄像头61的坐标系即摄像头坐标系转换为左显示部24的坐标系的矩阵式即第2左显示参数、和将DP外侧摄像头61的摄像头坐标系转换为右显示部22的坐标系的矩阵式的第2右显示参数。
主控制部123在计算出第1转换参数和第2转换参数时，以令使用者U确认为目的，对准标记图像MG1的位置，以与标记图像MG1重叠的方式使确认用图像显示于显示区域200(步骤S21)。在与标记图像MG1重叠的位置处显示了确认用图像的情况下，使用者U将重叠OK的操作输入到控制装置300。另外，在与标记图像MG1的位置错开的位置处显示了确认用图像的情况下，使用者U将重叠NG的操作输入到控制装置300。
在受理了重叠NG的操作的情况下(步骤S22/否)，CO控制部310返回到作为该流程图的最初步骤的步骤S11的处理，再次执行相同的处理。另外，CO控制部310在受理了重叠OK的操作的情况下(步骤S22/是)，结束该处理流程。
[第2实施方式]
在上述的第1实施方式中，使控制装置300的触摸面板350显示标记图像MG1，使用者U用手移动控制装置300，使其与图像显示部20显示的左眼用标记图像MG2或右眼用标记图像MG3重叠，再通过DP外侧摄像头61进行了拍摄。
在第2实施方式中，使用HMD 100所具有的DP外侧摄像头61和控制装置300所具有的CO摄像头322进行校准，计算表示DP外侧摄像头61与右显示部22以及左显示部24之间的空间关系的第2转换参数。
图14是说明第2实施方式的校准方法的说明图。
首先，如图14所示，使用者U以搭载于控制装置300的CO摄像头322的拍摄方向朝向使用者U的方式调整控制装置300的朝向。此时，使用者U对控制装置300的位置进行调整，以使DP外侧摄像头61的拍摄范围中包含控制装置300。另外，使用者U对控制装置300的位置进行调整，以使CO摄像头322的拍摄范围中包含HMD100的图像显示部20。
主控制部123在DP外侧摄像头61的拍摄范围中包含控制装置300的情况下，使DP控制部120执行拍摄。使DP控制部120执行拍摄的定时可以是受理了使用者U的操作的定时，也可以在与校准的开始一起使DP外侧摄像头61执行拍摄而检测到控制装置300的情况下，DP控制部120将由控制装置300拍摄到的拍摄图像输出到主控制部123。
接着，使控制装置300的CO摄像头322执行拍摄。主控制部123向CO控制部310输出指示，使CO摄像头322执行拍摄。使CO摄像头322执行拍摄的定时可以是受理了使用者U的操作的定时，也可以在与校准的开始一起使CO摄像头322执行拍摄而从拍摄图像中检测到图像显示部20的情况下，提取该拍摄图像并输出到主控制部123。
向主控制部123输入DP外侧摄像头61的拍摄图像和CO摄像头322的拍摄图像。
主控制部123首先根据DP外侧摄像头61的拍摄图像检测控制装置300。主控制部123在检测到控制装置300时，确定控制装置300的CO摄像头322的位置。例如，在主控制部123所具有的非易失性存储器124中存储表示控制装置300的形状、尺寸、CO摄像头322的位置的信息。主控制部123也可以参照存储在非易失性存储器124中的信息来确定CO摄像头322的位置。由此，主控制部123识别以DP外侧摄像头61的位置为基准的CO摄像头322的位置、即DP外侧摄像头61与CO摄像头322的相对位置。
接着，主控制部123从CO摄像头322的拍摄图像中，检测右显示部22所具有的半反射镜261的位置、以及左显示部24所具有的半反射镜281的位置。半反射镜261以及半反射镜281发挥使图像光L入射到右眼以及左眼的显示器的作用。进而，主控制部123从CO摄像头322的拍摄图像中检测使用者U的右眼和左眼的位置。由此，主控制部123能够掌握控制装置300的CO摄像头322、半反射镜261和半反射镜281、以及能够隔着半反射镜261和半反射镜281看到的右眼和左眼的位置。主控制部123基于这些信息，计算表示DP外侧摄像头61与右显示部22以及左显示部24之间的空间关系的第2转换参数。
另外，除了DP外侧摄像头61以及CO摄像头322的拍摄图像以外，也可以使用搭载于控制装置300的CO六轴传感器323的传感器信息，计算控制装置300与HMD 100的相对角度，还考虑计算出的信息来计算第2转换参数。
[第3实施方式]
在第1实施方式中，在显示于触摸面板350的标记图像MG1与图像显示部20显示的左眼用标记图像MG2或者右眼用标记图像MG3重叠的状态下，通过DP外侧摄像头61拍摄标记图像MG1，根据拍摄图像计算出了第1转换参数和第2转换参数。
作为根据DP外侧摄像头61的拍摄图像计算第1转换参数和第2转换参数的方法以外的方法，也可以使用搭载于图像显示部20的作为第2姿势检测部的DP六轴传感器235和作为距离检测部的距离传感器64、以及搭载于控制装置300的作为第1姿势检测部的CO六轴传感器323来计算第1转换参数以及第2转换参数。
CO控制部310从传感器控制部122取得由DP六轴传感器235测量出的3轴加速度的信息、3轴角速度的信息作为图像显示部20的姿势信息。另外，CO控制部310从传感器控制部122取得由距离传感器64测量出的距离信息。该距离信息表示从距离传感器64到控制装置300的距离。即，表示从图像显示部20到控制装置300的距离。
另外，CO控制部310取得由CO六轴传感器323测量出的3轴加速度的信息、3轴角速度的信息作为控制装置300的姿势信息。
CO控制部310基于所取得的图像显示部20的姿势信息和控制装置300的姿势信息，检测控制装置300相对于图像显示部20的相对姿势。另外，CO控制部310基于检测出的相对姿势以及距离信息，计算表示图像显示部20与右显示部22以及左显示部24之间的空间关系的第2转换参数。
[效果]
如以上说明的那样，显示系统1是具有佩戴于使用者U的头部的HMD 100和与HMD100连接的控制装置300的系统。
HMD 100具有：图像显示部20，其能够使外景看到并与外景重叠地对显示图像进行显示；以及主控制部123，其使图像显示部20显示出显示图像。
另外，控制装置300具有触摸面板350、和使触摸面板350显示与显示图像的显示内容关联的关联图像的CO控制部310。
根据该结构，由于在触摸面板350上显示与图像显示部20所显示的显示图像的显示内容关联的关联图像，因此能够提高使用显示系统1的使用者U的便利性。
另外，由于也能够在控制装置300的触摸面板350上显示信息，所以能够增加可在整个显示系统1中显示的信息量。另外，例如，在控制装置300的触摸面板350上显示字符信息等的情况下，能够提高字符信息的易读性。
CO控制部310使得显示受理变更显示图像的显示位置的操作的操作图像，作为关联图像。
根据该结构，通过对触摸面板350上显示的操作图像进行操作，能够变更由图像显示部20显示的显示图像的显示位置。
HMD 100具有DP外侧摄像头61，控制装置300的触摸面板350作为受理使用者U的操作的受理部发挥功能。
显示系统1具有扩展显示模式和镜像显示模式作为显示模式。
扩展显示模式是通过图像显示部20在显示区域200显示出显示图像、并在触摸面板350显示操作图像的显示模式。
镜像显示模式是通过图像显示部20在显示区域200显示出显示图像和操作图像，并在触摸面板350上显示DP外侧摄像头61拍摄到的外景的拍摄图像、显示图像和操作图像的模式。
另外，CO控制部310基于由触摸面板350受理的操作，切换扩展显示模式和镜像显示模式。
根据该结构，能够增加显示系统1中的显示的变化。例如，在显示系统1为镜像显示模式的情况下，使用者U即使将图像显示部20从使用者U的头部卸下，也能够通过触摸面板350确认图像显示部20所显示的显示图像。
另外，在显示系统1为扩展显示模式的情况下，由于在控制装置300的触摸面板350上也能够显示信息，因此能够增加可在整个显示系统1中显示的信息量。
主控制部123将预先设定的左眼用标记图像MG2或右眼用标记图像MG3作为显示图像进行显示，CO控制部310将与左眼用标记图像MG2或右眼用标记图像MG3预先建立了对应的标记图像MG1作为关联图像进行显示。
HMD 100具有参数计算部125b。参数计算部125b在使用者U看到了左眼用标记图像MG2或右眼用标记图像MG3与标记图像MG1重叠的状态下，取得由DP外侧摄像头61拍摄到的标记图像MG1的拍摄图像。控制装置300基于所取得的拍摄图像，计算表示图像显示部20与DP外侧摄像头61之间的空间关系的参数。
例如，在将打印有标记图像MG1的纸粘贴于墙壁，进行与由图像显示部20显示的左眼用标记图像MG2或右眼用标记图像MG3的校准的情况下，需要对打印有标记图像MG1的纸进行打印的工夫、将打印后的纸粘贴于墙壁的工夫。
与此相对，在本实施方式中，在控制装置300的触摸面板350上显示标记图像MG1，使该标记图像MG1与图像显示部20显示的左眼用标记图像MG2或右眼用标记图像MG32重叠。因此，无需费功夫将标记图像MG1打印到纸上、将打印有标记图像MG1的纸粘贴到墙壁上。另外，通过使触摸面板350显示预先设定的尺寸的标记图像MG1，能够抑制校准精度的降低。
参数计算部125b基于标记图像MG1的拍摄图像，检测触摸面板350的姿势。
主控制部123基于参数计算部125b计算出的姿势，使触摸面板350显示引导控制装置300的姿势的引导显示。
根据该结构，能够抑制通过校准而计算的参数的精度降低。因此，能够使由图像显示部20显示的AR图像正确地重叠于实际空间的物体。
本发明不限于在上述各实施方式中说明的结构，在不脱离其主旨的范围内能够以各种方式实施。
例如，例示了显示系统1具有作为头部佩戴型显示装置的HMD 100的结构，但本发明不限于此，可以采用各种显示装置。例如，可以替代图像显示部20，采用例如帽子那样佩戴的图像显示部等其他方式的图像显示部，只要具有与使用者U的左眼对应地显示图像的显示部、和与使用者U的右眼对应地显示图像的显示部即可。此外，本发明的显示装置例如可以构成为搭载于汽车或飞机等车辆的头戴式显示器。此外，例如也可以构成为内置于头盔等身体防护器具的头戴式显示器。在该情况下，能够设对相对于使用者U身体的位置进行定位的部分、和针对该部分进行定位的部分为佩戴部。
HMD 100是作为本发明的应用对象的显示装置的一例，并不限定于图3所示的结构。例如，在上述实施方式中，以图像显示部20和连接装置10分离的结构为例进行了说明，但也可以是连接装置10和图像显示部20构成为一体并佩戴于使用者U头部的结构。此外，图像显示部20的光学系统的结构是任意的，例如，可以使用位于使用者U的眼睛前方并与使用者U视野的一部分或全部重叠的光学部件。或者，也可以采用使激光等进行扫描而形成图像光的扫描方式的光学系统。或者，不限于在光学部件的内部对图像光进行引导，也可以仅具有朝向使用者U的眼睛使图像光折射和/或反射而进行引导的功能。
另外，作为显示装置，也可以采用在液晶显示面板上显示图像的液晶监视器或液晶电视。也可以使用具有等离子体显示面板、有机EL显示面板的显示装置。并且，作为显示装置，也可以使用将图像光投射于屏幕等的投影仪。
另外，例如，在图3所示的HMD 100中，也可以利用USB-TypeC连接器、USB-TypeC控制器以及USB集线器来构成连接装置10。在该情况下，也可以将DP外侧摄像头61、其他传感器与USB集线器连接。另外，作为控制图像显示部20中的右显示部22和左显示部24的显示的控制器，也可以将向右显示部22和左显示部24输出显示数据的FPGA配置在右显示部22和左显示部24中的任意一个上。在该情况下，连接装置10也可以具有连接USB-TypeC控制器与FPGA的桥接控制器。另外，在图像显示部20中，也可以采用将DP六轴传感器235、DP磁传感器237、EEPROM215等安装在与FPGA相同的基板上的结构。其他传感器的配置也可以适当变更。例如，距离传感器64、DP照度传感器65也可以配置在适于测量或者检测的位置，构成为与FPGA、USB-TypeC控制器连接。
另外，包含OLED单元221、241的显示装置的具体的规格也没有限制，例如，OLED单元221、241可以具有共同的结构。
图3、图4所示的各功能块中的至少一部分可以通过硬件来实现，也可以是通过硬件与软件的协作实现的结构，不限定于如图中所示地配置独立的硬件资源的结构。另外，对于处理器311所执行的程序，也可以构成为经由通信部342或者I/F部343取得并执行存储在外部装置中的程序。

Claims (9)

1.一种显示系统，其具有佩戴于使用者的头部的显示装置、和与所述显示装置连接的信息处理装置，在该显示系统中，
所述显示装置具有：
第1显示部，其能够使外景被看到并与所述外景重叠地对显示图像进行显示；以及
第1控制部，其使所述第1显示部显示所述显示图像，
所述信息处理装置具有：
第2显示部；以及
第2控制部，其使所述第2显示部显示与所述显示图像的显示内容关联的关联图像。
2.根据权利要求1所述的显示系统，其中，
所述第2控制部使得显示受理变更所述显示图像的显示位置的操作的操作图像，作为所述关联图像。
3.根据权利要求1所述的显示系统，其中，
所述信息处理装置具有检测所述信息处理装置的姿势的第1姿势检测部，
所述显示装置具有：
距离检测部，其检测所述显示装置与所述信息处理装置之间的距离；以及
第2姿势检测部，其检测所述显示装置的姿势，
所述第1控制部将预先设定的第1标记图像作为所述显示图像进行显示，
所述第2控制部将与所述第1标记图像预先对应的第2标记图像作为所述关联图像进行显示，
所述显示装置具有参数计算部，在使所述使用者看到了所述第1标记图像与所述第2标记图像重叠的状态下，该参数计算部基于由所述第1姿势检测部检测的所述信息处理装置的姿势信息、由所述第2姿势检测部检测的所述显示装置的姿势信息、以及由所述距离检测部检测的距离信息，计算表示所述信息处理装置与所述显示装置之间的空间关系的参数。
4.根据权利要求2所述的显示系统，其中，
所述显示装置具有摄像部，
所述信息处理装置具有受理操作的受理部，
所述显示系统具有：
第1显示模式，在所述第1显示部显示所述显示图像，在所述第2显示部显示所述操作图像；以及
第2显示模式，在所述第1显示部显示所述显示图像和所述操作图像，在所述第2显示部显示所述摄像部拍摄到的外景的拍摄图像、所述显示图像和所述操作图像，
所述第1控制部基于由所述受理部受理的操作，切换所述第1显示模式和所述第2显示模式。
5.根据权利要求1所述的显示系统，其中，
所述显示装置具有摄像部，
所述第1控制部将预先设定的第1标记图像作为所述显示图像进行显示，
所述第2控制部将与所述第1标记图像预先对应的第2标记图像作为所述关联图像进行显示，
所述显示装置具有参数计算部，在使所述使用者看到了所述第1标记图像与所述第2标记图像重叠的状态下，该参数计算部取得由所述摄像部拍摄到的所述第2标记图像的拍摄图像，基于所述拍摄图像，计算表示所述第1显示部与所述摄像部之间的空间关系的参数。
6.根据权利要求5所述的显示系统，其中，
所述第1显示部具有：
右显示部，其显示使所述使用者的右眼看到的所述显示图像；以及
左显示部，其显示使所述使用者的左眼看到的所述显示图像，
在由所述左显示部显示所述第1标记图像、且使所述使用者看到了所述第1标记图像与所述第2标记图像重叠的状态下，所述参数计算部取得由所述摄像部拍摄到的所述第2标记图像的拍摄图像，基于所取得的所述拍摄图像，计算对显示于所述左显示部的显示图像的位置进行校正的第1参数，
在由所述右显示部显示所述第1标记图像、且使所述使用者看到了所述第1标记图像与所述第2标记图像重叠的状态下，所述参数计算部取得由所述摄像部拍摄到的所述第2标记图像的拍摄图像，基于所取得的所述拍摄图像，计算对显示于所述右显示部的显示图像的位置进行校正的第2参数。
7.根据权利要求5或6所述的显示系统，其中，
所述参数计算部基于所述第2标记图像的拍摄图像，检测所述第2显示部的姿势，
所述第2控制部基于所述参数计算部计算出的姿势，使所述第2显示部显示引导所述信息处理装置的姿势的引导显示。
8.一种显示方法，其由具有显示装置和信息处理装置的显示系统执行，所述显示装置佩戴于使用者的头部，具有以能够看到外景的方式对显示图像进行显示的第1显示部，所述信息处理装置与所述显示装置连接，该显示方法具有以下步骤：
在所述显示装置中，使所述第1显示部显示所述显示图像；以及
在所述信息处理装置中，使所述信息处理装置所具有的第2显示部显示与所述显示图像的显示内容关联的关联图像。
9.一种计算机可读记录介质，其中，该记录介质记录有程序，该程序由分别搭载于显示装置和信息处理装置的计算机执行，所述显示装置佩戴于使用者的头部，具有以能够看到外景的方式对显示图像进行显示的第1显示部，所述信息处理装置与所述显示装置连接，该程序使计算机执行以下步骤：
在所述显示装置中，使所述第1显示部显示所述显示图像；以及
在所述信息处理装置中，使所述信息处理装置所具有的第2显示部显示与所述显示图像的显示内容关联的关联图像。
CN202111134175.8A 2020-09-29 2021-09-27 显示系统、显示方法以及记录介质 Active CN114356071B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020163820A JP2022056043A (ja) 2020-09-29 2020-09-29 表示システム、表示方法及びプログラム
JP2020-163820 2020-09-29

Publications (2)

Publication Number Publication Date
CN114356071A true CN114356071A (zh) 2022-04-15
CN114356071B CN114356071B (zh) 2024-01-30

Family

ID=80821203

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111134175.8A Active CN114356071B (zh) 2020-09-29 2021-09-27 显示系统、显示方法以及记录介质

Country Status (3)

Country Link
US (1) US11720313B2 (zh)
JP (1) JP2022056043A (zh)
CN (1) CN114356071B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11354787B2 (en) * 2018-11-05 2022-06-07 Ultrahaptics IP Two Limited Method and apparatus for correcting geometric and optical aberrations in augmented reality

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012037737A (ja) * 2010-08-06 2012-02-23 Sharp Corp 表示装置、画像形成装置、表示方法、表示プログラム、およびコンピュータ読み取り可能な記録媒体
CN104252042A (zh) * 2013-06-28 2014-12-31 精工爱普生株式会社 头部佩戴式显示装置以及头部佩戴式显示装置的控制方法
US20150340010A1 (en) * 2013-01-04 2015-11-26 Vuzix Corporation Interactive wearable and portable smart devices
US20170011555A1 (en) * 2015-07-06 2017-01-12 Seiko Epson Corporation Head-mounted display device and computer program
CN108510928A (zh) * 2017-02-27 2018-09-07 精工爱普生株式会社 显示系统、显示装置以及显示装置的控制方法
CN108694032A (zh) * 2017-03-29 2018-10-23 三星电子株式会社 使用外部设备的画面输出方法和用于支持其的电子设备
CN110045935A (zh) * 2017-12-22 2019-07-23 精工爱普生株式会社 处理装置、显示系统以及记录介质
CN111432201A (zh) * 2019-01-10 2020-07-17 精工爱普生株式会社 显示系统及其控制方法、信息处理装置和记录介质
CN111600990A (zh) * 2019-02-21 2020-08-28 精工爱普生株式会社 显示系统、记录介质以及信息处理装置的控制方法
CN111708504A (zh) * 2020-06-16 2020-09-25 成都忆光年文化传播有限公司 一种扩展屏幕的显示方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017108370A (ja) 2015-07-06 2017-06-15 セイコーエプソン株式会社 頭部装着型表示装置およびコンピュータープログラム
US11303875B2 (en) * 2019-12-17 2022-04-12 Valve Corporation Split rendering between a head-mounted display (HMD) and a host computer

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012037737A (ja) * 2010-08-06 2012-02-23 Sharp Corp 表示装置、画像形成装置、表示方法、表示プログラム、およびコンピュータ読み取り可能な記録媒体
US20150340010A1 (en) * 2013-01-04 2015-11-26 Vuzix Corporation Interactive wearable and portable smart devices
CN104252042A (zh) * 2013-06-28 2014-12-31 精工爱普生株式会社 头部佩戴式显示装置以及头部佩戴式显示装置的控制方法
US20170011555A1 (en) * 2015-07-06 2017-01-12 Seiko Epson Corporation Head-mounted display device and computer program
CN108510928A (zh) * 2017-02-27 2018-09-07 精工爱普生株式会社 显示系统、显示装置以及显示装置的控制方法
CN108694032A (zh) * 2017-03-29 2018-10-23 三星电子株式会社 使用外部设备的画面输出方法和用于支持其的电子设备
CN110045935A (zh) * 2017-12-22 2019-07-23 精工爱普生株式会社 处理装置、显示系统以及记录介质
CN111432201A (zh) * 2019-01-10 2020-07-17 精工爱普生株式会社 显示系统及其控制方法、信息处理装置和记录介质
CN111600990A (zh) * 2019-02-21 2020-08-28 精工爱普生株式会社 显示系统、记录介质以及信息处理装置的控制方法
CN111708504A (zh) * 2020-06-16 2020-09-25 成都忆光年文化传播有限公司 一种扩展屏幕的显示方法

Also Published As

Publication number Publication date
US20220100456A1 (en) 2022-03-31
US11720313B2 (en) 2023-08-08
CN114356071B (zh) 2024-01-30
JP2022056043A (ja) 2022-04-08

Similar Documents

Publication Publication Date Title
US11310483B2 (en) Display apparatus and method for controlling display apparatus
US11536964B2 (en) Head-mounted display apparatus, display control method, and computer program
US10976836B2 (en) Head-mounted display apparatus and method of controlling head-mounted display apparatus
US10948724B2 (en) Transmissive display device, display control method, and computer program
US20190285896A1 (en) Transmission-type head mounted display apparatus, method of controlling transmission-type head mounted display apparatus, and computer program for controlling transmission-type head mounted display apparatus
CN113467731B (zh) 显示系统、信息处理装置和显示系统的显示控制方法
US20210200284A1 (en) Image display device, power supply system, and power supply method for image display device
CN114356071B (zh) 显示系统、显示方法以及记录介质
US20220299763A1 (en) Display system and display device
US11531508B2 (en) Data processing device, display system, and data processing method that controls the output of data based on a connection state
CN113050278B (zh) 显示系统、显示方法以及记录介质
CN112581920B (zh) 显示系统、显示控制方法以及记录介质
CN114442801B (zh) 操作方法以及记录介质
JP2017134630A (ja) 表示装置、表示装置の制御方法、及び、プログラム
US20240027765A1 (en) Control device, control method for head-mounted display device, and program
US11579454B2 (en) Image display device and reboot method for image display device
US11630793B2 (en) Image display device and port arrangement
CN111556310B (zh) 显示系统、记录介质以及信息处理装置的控制方法
JP2021057747A (ja) 表示システム、画像表示装置、画像表示方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant