CN104423583B - 头部佩戴型显示装置、图像显示系统及信息处理装置 - Google Patents

头部佩戴型显示装置、图像显示系统及信息处理装置 Download PDF

Info

Publication number
CN104423583B
CN104423583B CN201410442968.XA CN201410442968A CN104423583B CN 104423583 B CN104423583 B CN 104423583B CN 201410442968 A CN201410442968 A CN 201410442968A CN 104423583 B CN104423583 B CN 104423583B
Authority
CN
China
Prior art keywords
image
head
mount type
display unit
type display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410442968.XA
Other languages
English (en)
Other versions
CN104423583A (zh
Inventor
小林伸
小林伸一
高野正秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2013183631A external-priority patent/JP6229381B2/ja
Priority claimed from JP2014106842A external-priority patent/JP6492419B2/ja
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN104423583A publication Critical patent/CN104423583A/zh
Application granted granted Critical
Publication of CN104423583B publication Critical patent/CN104423583B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明提供一种头部佩戴型显示装置、控制头部佩戴型显示装置的方法、计算机程序、图像显示系统以及信息处理装置。在该头部佩戴型显示装置中,能够使使用者看到头部佩戴型显示装置的显示图像和连接于头部佩戴型显示装置的外部装置的显示图像这两方。使用者能够看到虚像和外景的头部佩戴型显示装置具有:生成包含连接于头部佩戴型显示装置的外部装置的显示图像即第1图像和头部佩戴型显示装置具有的第2图像的一览图像的生成部;和形成表示所生成的一览图像的虚像的图像显示部。

Description

头部佩戴型显示装置、图像显示系统及信息处理装置
技术领域
本发明涉及头部佩戴型显示装置。
背景技术
已知安装在头部的作为显示装置的头部佩戴型显示装置(头戴式显示器(HeadMounted Display,HMD))。头部佩戴型显示装置,例如,利用液晶显示器和光源生成表示图像的图像光,并利用投射光学系统和导光板等将生成的图像光导向使用者的眼睛,由此使使用者识别虚像。这样的头部佩戴型显示装置通过例如MicroUSB(Universal Serial Bus,通用串行总线)等的有线接口与智能电话等外部装置连接,以MHL(Mobile Highdefinition Link,移动高清连接)等标准为基准接收来自外部装置的影像信号。同样地,头部佩戴型显示装置例如通过无线LAN等的无线接口与外部装置连接,以Miracast等标准为基准接收来自外部装置的图像信号。头部佩戴型显示装置基于这样接收的图像信号,使头部佩戴型显示装置的使用者看到与外部装置的显示画面中所显示的图像(显示图像)相同的虚像。
专利文献1中记载了一种结构,在使搭载于移动信息终端的预定功能显示在移动信息终端的显示画面和头部佩戴型显示装置的显示画面中的一方上时,根据移动信息终端的开闭状态来确定显示目标。专利文献2中记载了一种文本输入系统,不管在什么时间地点为了能够用单手对头部佩戴型显示装置输入文本,而具有检测各根手指的动作的单元和对所检测到的动作进行解析并生成文字编码等编码的单元。专利文献3中记载了一种用于向头部佩戴型显示装置提供具有良好的直觉性和可见性的输入机构的假想鼠标。专利文献4中记载了一种在多个电子装置之间通过Wi-Fi基础架构模式的无线通信方式发送接收电子数据的简易操作型无线数据发送接收系统。
现有技术文献
专利文献
专利文献1:日本特开2013-92781号公报
专利文献2:日本特开2000-284886号公报
专利文献3:日本特开2000-29619号公报
专利文献4:日本特许第5037718号公报
发明内容
在专利文献1记载的技术中,存在仅考虑了搭载在移动信息终端的预定功能,而没有考虑搭载在头部佩戴型显示装置上的功能的显示这一课题。另外,专利文献2~4记载的技术中,存在在头部佩戴型显示装置中,没有考虑到使其他的装置的显示图像显示这一课题。
因此,希望有一种使用者能够看到头部佩戴型显示装置的显示图像和连接于头部佩戴型显示装置的外部装置的显示图像这两方的头部佩戴型显示装置。除此以外,对于头部佩戴型显示装置,希望能够实现可用性的提高、通用性的提高、便利性的提高、可靠性的提高、制造成本的降低等各种要求。
本发明是用于解决上述课题的至少一部分而作出的发明,能够作为以下方式来实现。
(1)根据本发明的一个方式,提供一种使用者能够看到虚像和外景的头部佩戴型显示装置。该头部佩戴型显示装置具有:生成部,其生成一览图像,该一览图像包含作为连接于所述头部佩戴型显示装置的外部装置的显示图像的第1图像和所述头部佩戴型显示装置所具有的第2图像;和形成表示所述生成的一览图像的所述虚像的图像显示部。根据该方式的头部佩戴型显示装置,图像显示部形成表示一览图像的虚像,能够使使用者看到,所述一览图像包括连接于头部佩戴型显示装置的外部装置的显示图像即第1图像和头部佩戴型显示装置所具有的图像即第2图像。因此,能够提供一种使用者能够看到头部佩戴型显示装置的显示图像和外部装置的显示图像这两方的头部佩戴型显示装置。
(2)上述方式的头部佩戴型显示装置中,也可以,还具有从所述外部装置获取所述第1图像的获取部,所述生成部生成所述一览图像,所述一览图像是在第1区域配置有所述获取的第1图像、在与所述第1区域不同的第2区域配置有所述第2图像的图像。根据该方式的头部佩戴型显示装置,生成部在第1区域配置从外部装置获取的第1图像、在第2区域配置头部佩戴型显示装置的第2图像,由此能够简便地生成一览图像。
(3)上述方式的头部佩戴型显示装置中,也可以,所述生成部将所述头部佩戴型显示装置中的当前的显示图像作为所述第2图像。根据该方式的头部佩戴型显示装置,生成部能够将头部佩戴型显示装置的显示图像直接作为第2图像使用以生成一览图像。因此,能够使生成部中的处理内容简洁。
(4)上述方式的头部佩戴型显示装置中,也可以,所述生成部通过改变所述头部佩戴型显示装置所具有的图标图像的配置来生成所述第2图像。根据该方式的头部佩戴型显示装置,生成部能够通过变更头部佩戴型显示装置具有的图标图像的配置,来生成使纵横比自由变化了的第2图像,并利用生成的第2图像来生成一览图像。
(5)上述方式的头部佩戴型显示装置中,也可以,所述生成部在生成所述第2图像时,还对所述图标图像实施形状的改变、透射率的改变、颜色的改变、大小的改变和装饰的付与中的至少任一项。根据该方式的头部佩戴型显示装置,生成部在生成第2图像时,对头部佩戴型显示装置的图标图像实施形状的改变、透射率的改变、颜色的改变、大小的改变和装饰的付与中的至少任一种。其结果,使用者在一览图像中容易识别头部佩戴型显示装置的图标图像。
(6)上述方式的头部佩戴型显示装置中,也可以,所述生成部还改变所述第1图像和所述第2图像中的至少一个图像的大小,并利用所述改变后的所述图像来生成所述一览图像。根据该方式的头部佩戴型显示装置,生成部能够使第1图像的大小与第1区域的大小相配地变更。另外,生成部能够使第2图像的大小与第2区域的大小相配地变更。
(7)上述方式的头部佩戴型显示装置中,也可以,所述生成部还对所述第1图像和所述第2图像中的至少一个图像实施形状的改变、透射率的改变、颜色的改变、大小的改变和装饰的付与中的至少任一种,并利用所述实施后的所述图像来生成所述一览图像。根据该方式的头部佩戴型显示装置,生成部在生成一览图像时,能够对第1图像和第2图像整个的至少一方实施形状的改变、透射率的改变、颜色的改变、大小的改变和装饰的付与中的至少任一种。其结果,使用者在一览图像中能够相互容易识别开第1图像和第2图像。
(8)上述方式的头部佩戴型显示装置中,也可以,还具有:获取所述使用者针对所述一览图像的操作的操作获取部;和在所述获取的操作为针对所述第1图像的操作的情况下,向所述外部装置通知所述操作的第1通知部。根据该方式的头部佩戴型显示装置,第1通知部将使用者针对一览图像的第1图像的操作向外部装置通知。因此,使用者能够经由头部佩戴型显示装置的输入接口对外部装置进行操作,所以,能够提高头部佩戴型显示装置的可用性。
(9)上述方式的头部佩戴型显示装置中,也可以,所述图像显示部形成对所述一览图像进一步重叠有指示图像而成的所述虚像,所述生成部使重叠于所述第1图像的所述指示图像和重叠于所述第2图像的所述指示图像成为不同的图像。根据该方式的头部佩戴型显示装置,图像显示部能够使重叠于第1图像的指示图像和重叠于第2图像的指示图像成为不同的图像(虚像)供使用者看到。其结果,使用者虽在一览图像中自己进行操作,但能够容易地识别出是第1图像所表示的外部装置还是第2图像所表示的头部佩戴型显示装置。
(10)上述方式的头部佩戴型显示装置中,也可以,所所述生成部还对重叠于所述第1图像的所述指示图像和重叠于所述第2图像的所述指示图像中的至少一方实施形状的改变、透射率的改变、颜色的改变、大小的改变和装饰的付与中的至少任一种,由此,使各所述指示图像成为不同的图像。根据该方式的头部佩戴型显示装置,生成部对重叠于第1图像的指示图像和重叠于第2图像的指示图像中的至少一方实施形状的改变、透射率的改变、颜色的改变、大小的改变和装饰的付与中的至少任一种。其结果,使用者在一览图像中能够容易识别出指示图像。
(11)上述方式的头部佩戴型显示装置中,也可以,所述图像显示部形成对所述一览图像进一步重叠有指示图像而成的所述虚像,并具有第2通知部,该第2通知部在所述指示图像重叠于所述第1图像的情况下,向所述外部装置通知位置信息,该位置信息用于使所述外部装置用的指示图像重叠于在所述外部装置的显示图像中、与重叠有所述指示图像的位置相对应的位置。根据该方式的头部佩戴型显示装置,第2通知部,在指示图像重叠于第1图像上的情况下,向外部装置通知位置信息,该位置信息用于使外部装置用的指示图像重叠于在外部装置的显示图像中、与重叠有指示图像的位置相对应的位置。因此,外部装置能够基于获取的位置信息显示外部装置用的指示图像。其结果为,外部装置的使用者能够在外部装置中看到头部佩戴型显示装置的第1图像上的指示图像。换言之,能够与外部装置共有头部佩戴型显示装置中的指针的显示。
(12)上述方式的头部佩戴型显示装置中,也可以,所述图像显示部形成所述虚像,所述虚像是在基于所述头部佩戴型显示装置的输入设备中的指示体的运动和所述使用者的视线的移动中的至少任一方所确定的位置上重叠有所述指示图像而成的图像。根据该方式的头部佩戴型显示装置,头部佩戴型显示装置能够基于输入设备的指示体的运动和使用者的视线的移动中的至少任一方,来确定指示图像的位置。
(13)上述方式的头部佩戴型显示装置中,也可以,所述获取部从一个所述外部装置获取所述第1图像,并从别的所述外部装置获取所述别的外部装置的显示图像即第3图像,所述生成部生成在与所述第1区域及所述第2区域不同的第3区域配置有所述第3图像而成的所述一览图像。根据该方式的头部佩戴型显示装置,能够提供一种即使在作为外部装置连接有多个装置的情况下、使用者也能够看到头部佩戴型显示装置的显示图像和外部装置的显示图像这两方的头部佩戴型显示装置。
(14)根据本发明的一个方式,提供一种图像显示系统。该图像显示系统具有:使用者能够看到虚像和外景的头部佩戴型显示装置;和连接于所述头部佩戴型显示装置的外部装置,所述外部装置具有发送部,该发送部获取所述外部装置的显示图像即第1图像,并将所述获取的第1图像向所述头部佩戴型显示装置发送,所述头部佩戴型显示装置具有:生成包含所述第1图像和所述头部佩戴型显示装置所具有的第2图像的一览图像的生成部;和形成表示所述生成的一览图像的所述虚像的图像显示部。
(15)根据本发明的一个方式,提供信息处理装置,该信息处理装置连接于头部佩戴型显示装置,生成供所述头部佩戴型显示装置显示的图像。该信息处理装置具有:获取部,其获取连接于所述头部佩戴型显示装置的外部装置的显示图像即第1图像和所述头部佩戴型显示装置所具有的第2图像;一览图像生成部,其生成包括所述获取的第1图像和所述获取的第2图像的一览图像;和一览图像发送部,其将所述生成的一览图像向所述头部佩戴型显示装置发送。根据该方式的信息处理装置,能够利用连接于头部佩戴型显示装置的信息处理装置得到与上述方式同样的效果。
上述的本发明的各方式具有的多个构成要素并非全部必须,为了解决上述课题的一部分或全部、或者为了实现本说明书记载的效果的一部分或全部,对于所述多个构成要素的一部分构成要素,能够适当地进行变更、删除、与新构成要素的替换、删除限定内容的一部分。另外,为了解决上述的课题的一部分或全部、或者为了实现本说明书中记载的效果的一部分或全部,能够将上述本发明的一个方式中所包含的技术特征的一部分或全部与上述本发明的其他方式所包含的技术特征的一部分或全部组合,而作为本发明的独立的一个方式。
例如,本发明的一个方式能够作为具有生成部和图像显示部这两个要素中的一部分或全部要素的装置来实现。即,该装置既可以具有生成部,也可以没有。另外,该装置既可以具有图像显示部,也可以没有。这样的装置,例如能够作为头部佩戴型显示装置来实现,但也能够作为头部佩戴型显示装置以外的其他的装置来实现。上述的头部佩戴型显示装置的各方式的技术特征的一部分或全部都能够应用于该装置。
此外,本发明能够以各种方式来实现,例如,能够以头部佩戴型显示装置、头部佩戴型显示装置的控制方法、利用头部佩戴型显示装置的图像显示系统、这些方法、装置或用于实现系统的功能的计算机程序、记录有该计算机程序的记录介质等的方式来实现。
附图说明
图1是表示本发明的一个实施方式的图像显示系统1000的概要结构的说明图。
图2是功能性地表示头戴式显示器100的结构的框图。
图3是表示存储在区域信息存储部122中的区域信息的一例的说明图。
图4是表示使使用者看到的虚像的一例的说明图。
图5是表示配置处理的顺序的顺序图。
图6是表示在头戴式显示器100中显示有一览图像的样子的说明图。
图7是用于说明一览图像中的指示图像的变化的说明图。
图8是表示通知处理的顺序的顺序图。
图9是用于说明通知处理的步骤S202的说明图。
图10是功能性地表示第2实施方式中的头戴式显示器100a的结构的框图。
图11是表示存储在构架信息124中的构架的一例的说明图。
图12是表示第2实施方式中的配置处理的顺序的顺序图。
图13是表示在头戴式显示器100a中显示有一览图像的样子的说明图。
图14是表示第3实施方式中的图像显示系统的概要结构的说明图。
图15是功能性地表示第3实施方式中的头戴式显示器的结构的框图。
图16是表示第3实施方式中的在区域信息存储部所存储的区域信息的一例的说明图。
图17是表示第3实施方式的配置处理的顺序的顺序图。
图18是表示在头戴式显示器中显示有一览图像的样子的说明图。
图19是表示第3实施方式中的指针通知处理的顺序的顺序图。
图20是表示在头戴式显示器中在一览图像上重叠显示有指示图像的样子的说明图。
图21是表示在作为外部装置的头戴式显示器中、在一览图像上重叠显示指示图像的样子的说明图。
图22是表示第3实施方式的通知处理的顺序的顺序图。
图23是用于说明第3实施方式中的通知处理的步骤S600~S606的说明图。
图24是表示变形例中的头戴式显示器的外观的结构的说明图。
附图标记的说明
10…控制部
20…图像显示部
22…右显示驱动部
24…左显示驱动部
26…右光学像显示部
28…左光学像显示部
32…右耳机
34…左耳机
40…连接部
51…发送部
52…发送部
53…接收部
100、100a、100b…头戴式显示器(头部佩戴型显示装置)
100x…头戴式显示器(外部装置)
100y…头戴式显示器(外部装置)
110…输入信息获取部(操作获取部)
120…存储部
122…区域信息存储部
124…构架信息
130…电源
132…无线通信部(获取部)
140…CPU
142、142a、142b…生成部(获取部、生成部)
144、144a…通知部(第1通知部)
144b…通知部(第1通知部、第2通知部)
160…图像处理部
170…声音处理部
180…接口
190…显示控制部
201…右背光源控制部
202…左背光源控制部
221…右背光源
222…左背光源
251…右投射光学系统
252…左投射光学系统
261…右导光板
262…左导光板
300…智能电话(外部装置)
1000、1000a、1000b…图像显示系统
Data…图像数据
B1~B10…图像边框
BC…粗边框
SC…外景
RE…右眼
LE…左眼
AI、AIb…区域信息
VI…虚像
VR…可见区
FM1…构架
IM1…第1图像
IM2…第2图像
IM3…第3图像
PO1…指示图像
PO2…指示图像
AR1…第1区域
AR2…第2区域
AR3…第3区域
LT1…图像列表
LT2…图像列表
INT…互联网
具体实施方式
A.第1实施方式:
A-1.图像显示系统的结构:
图1是表示本发明的一个实施方式中的图像显示系统1000的概要结构的说明图。图像显示系统1000具有头部佩戴型显示装置100和作为外部装置的移动信息终端300。图像显示系统1000是使包括移动信息终端300的显示图像和头部佩戴型显示装置100所具有的图像的一览图像显示于头部佩戴型显示装置100的系统。这里,“智能电话300的显示图像”是指在智能电话300的显示画面中显示的图像。此外,智能电话300的显示图像还包括虽为应显示于显示画面的图像但作为外部输出的结果而没有被显示的图像。另外,“头部佩戴型显示装置100所具有的图像”是指在头部佩戴型显示装置100的显示画面中当前所显示的图像。此外,头部佩戴型显示装置100的显示图像还包括虽为应显示于显示画面的图像但作为外部输出的结果而没有被显示的图像。
头部佩戴型显示装置100是佩戴在头部的显示装置,也被称作头戴式显示器(HeadMounted Display,HMD)。本实施方式的头戴式显示器100是使用者在看到虚像的同时还能够直接看到外景的光学透射型的头部佩戴型显示装置。移动信息终端300为能够移动的信息通信终端。本实施方式中,作为移动信息终端例示了智能电话(smartphone)。头戴式显示器100和智能电话300能够以无线通信或有线通信的方式连接。
A-2.头部佩戴型显示装置的结构:
图2是功能性地表示头戴式显示器100的结构的框图。
如图1、2所示,头戴式显示器100具有:在佩戴于使用者头部的状态下使使用者看到虚像的图像显示部20;和控制图像显示部20的控制部(控制器)10。图像显示部20和控制部10通过连接部40连接,并经由连接部40进行各种信号的传送。连接部40能够采用金属线缆或光纤。
A-2-1.控制部的构成:
控制部10是用于控制头戴式显示器100的装置。控制部10具有输入信息获取部110、存储部120、电源130、无线通信部132、GPS模块134、CPU140、接口180和发送部(Tx)51及52,各部分通过未图示总线相互连接(图2)。
输入信息获取部110获取与针对输入设备的操作输入相应的信号,该输入设备例如是触摸板、十字键、脚开关(通过使用者的脚来操作的开关)、手势检测器(利用照相机等检测使用者的手势,获取与手势相对应的指令所代表的操作输入)、视线检测器(利用红外线传感器等检测使用者的视线,获取与视线的移动相对应的指令所代表的操作输入)、麦克风等。此外,手势检测时,还可以将使用者的指尖、使用者的手上戴的戒指或使用者手上拿的道具等作为用于检测动作的标识。只要设为获取针对脚开关、视线检测器、麦克风的操作输入,即使在使用者难以用手进行操作的现场(例如,医疗现场、建筑业和制造业等的需要手头作业的现场等),也能够大幅度提高使用头戴式显示器100的情况下的使用者的便利性。
存储部120包括ROM、RAM、DRAM、硬盘等。存储部120包括区域信息存储部122。区域信息存储部122存储至少一个区域信息。区域信息是规定在配置处理(图5)中要生成的一览图像的区域的信息。若换言之,则区域信息作为用于配置头戴式显示器100所具有的图像和智能电话300的显示图像的边框被使用。
图3是表示存储于区域信息存储部122的区域信息的一例的说明图。图3所示的区域信息AI具有长方形状的区域(以后,还称作“区域AI”)。区域AI,优选,具有与头戴式显示器100的显示元件(图2:右LCD241、左LCD242)的纵横比相同的纵横比。
区域AI包括第1区域AR1和第2区域AR2这两个区域。第1区域AR1是在配置处理(图5)中配置智能电话300的显示图像的区域。第2区域AR2是在配置处理中配置头戴式显示器100所具有的图像的区域。在图3的例中,第1区域AR1被配置在将区域AI沿水平方向等分后的一个区域,第2区域AR2被配置在将区域AI沿水平方向等分后的另一个区域。即,第1区域AR1和第2区域AR2为大小相同的区域。
此外,图3所示的第1区域AR1和第2区域AR2的配置及大小为一例,能够任意确定。例如,第1区域AR1和第2区域AR2还可以为将区域AI沿水平方向n等分(n为3以上的整数)后的大小。该情况下,在利用区域信息AI所生成的一览图像被显示于头戴式显示器100时,从不妨碍使用者的可见区的观点考虑,第1区域AR1和第2区域AR2,优选配置在区域AI的端部(左右的端部)。另外,第1区域AR1和第2区域AR2还可以为将区域AI沿铅垂方向m等分(m为2以上的整数)后的大小。这里,在m为3以上的情况下,第1区域AR1和第2区域AR2,优选配置在区域AI的端部(上下的端部)。另外,第1区域AR1和第2区域AR2还可以为不同的大小。另外,第1区域AR1和第2区域AR2,其区域的至少一部分还可以重叠。
电源130向头戴式显示器100的各部分供给电力。作为电源130,例如能够使用二次电池。无线通信部132按照预定无线通信标准(例如,红外线、Bluetooth(注册商标)所例示的近距离无线通信、IEEE802.11所例示的无线LAN等),与外部装置之间进行无线通信。外部装置是指头戴式显示器100以外的其他设备,除图1所示的智能电话300外,还有平板电脑、个人电脑、游戏终端、AV(Audio Video,影音)终端、家电制品等。GPS模块134通过接收来自GPS卫星的信号,检测头戴式显示器100的使用者的当前位置,并生成表示使用者的当前位置的当前位置信息。此外,当前位置信息能够通过例如表示纬度经度的坐标来实现。
CPU140读出并获执行存储在存储部120中的计算机程序,由此,作为生成部142、通知部144、操作系统(ОS)150、图像处理部160、声音处理部170和显示控制部190发挥作用。
生成部142在配置处理(图4)中利用头戴式显示器100具有的图像和智能电话300的显示图像来生成一览图像。通知部144在通知处理(图8)中,在一览图像中的、智能电话300的显示图像被操作了的情况下,向智能电话300通知操作内容。
图像处理部160基于从生成部142、接口180和无线通信部132等经由OS150输入的影像信号而生成信号。图像处理部160通过将生成的信号经由连接部40向图像显示部20供给,由此,控制图像显示部20中的显示。用于向图像显示部20供给的信号在模拟形式和数字形式的情况下不同。
例如,在为数字形式的情况下,输入数字R信号、数字G信号、数字B信号和时钟信号PCLK为同步状态的影像信号。图像处理部160根据需要对包括数字R信号、数字G信号和数字B信号的图像数据Data执行公知的析像度转换处理、辉度彩度的调整等各种色调修正处理、梯形修正处理等的图像处理。然后,图像处理部160经由发送部51、52发送时钟信号PCLK和图像数据Data。
在为模拟形式的情况下,输入包括模拟R信号、模拟G信号、模拟B信号、垂直同步信号VSync和水平同步信号HSync构成的影像信号。图像处理部160从输入的信号中分离出垂直同步信号VSync和水平同步信号HSync,并根据它们的周期利用未图示PLL电路等来生成时钟信号PCLK。另外,图像处理部160利用A/D转换电路等将模拟R信号、模拟G信号、模拟B信号转换成数字信号。图像处理部160在根据需要对包括转换后的数字R信号、数字G信号和数字B信号的图像数据Data执行公知的图像处理后,经由发送部51、52发送时钟信号PCLK、图像数据Data、垂直同步信号Vsync和水平同步信号HSync。此外,以后,还将经由发送部51发送的图像数据Data称作“右眼用图像数据Data1”,将经由发送部52发送的图像数据Data称作“左眼用图像数据Data2”。
显示控制部190生成对图像显示部20所具有的右显示驱动部22和左显示驱动部24进行控制的控制信号。控制信号是指用于独立地在下述动作之间切换的信号:由右LCD控制部211驱动/停止驱动右LCD241、由右背光源控制部201驱动/停止驱动右背光源221、由左LCD控制部212驱动/停止驱动左LCD242、由左背光源控制部202驱动/停止驱动左背光源222。显示控制部190通过这些控制信号,对右显示驱动部22和左显示驱动部24中的图像光的生成及出射进行控制。显示控制部190经由发送部51、52发送生成了的控制信号。
声音处理部170获取内容中所包含的声音信号,对获取的声音信号进行放大,并向右耳机32的未图示扬声器和左耳机34的未图示扬声器供给。
接口180按照预定有线通信标准(例如,MicroUSB(Universal Serial Bus)、USB、HDMI(High Definition Multimedia Interface,高清晰度多媒体接口,HDMI为注册商标)、DVI(Digital Visual Interface,数字视频接口)、VGA(Video Graphics Array,视频图形阵列)、composite(合成)、RS-232C(Recommended Standard 232,推荐性标准)、IEEE802.3例示的有线LAN等),在与外部装置之间进行有线通信。外部装置是指头戴式显示器100以外的其他设备,除图1所示的智能电话300外,还有平板电脑、个人电脑、游戏终端、AV终端、家电制品等。
A-2-2.图像显示部的结构:
图像显示部20为佩戴在使用者头部的佩戴体,本实施方式中具有眼镜形状。图像显示部20包括右显示驱动部22、左显示驱动部24、右光学像显示部26(图1)、左光学像显示部28(图1)和9轴传感器66。
右显示驱动部22和左显示驱动部24被配置于在使用者佩戴了图像显示部20时与使用者的鬓角相对的位置。本实施方式中的右显示驱动部22和左显示驱动部24利用液晶显示器(Liquid Crystal Display,以下称作“LCD”)和投射光学系统,生成并出射表示图像的图像光。右显示驱动部22包括接收部(Rx)53、作为光源发挥功能的右背光源(BL)控制部201及右背光源(BL)221、作为显示元件发挥功能的右LCD控制部211及右LCD241、和右投射光学系统251。
接收部53接收从发送部51发送的数据。右背光源控制部201基于所输入的控制信号而驱动右背光源221。右背光源221,例如为LED或电致发光(EL)等的发光体。右LCD控制部211基于所输入的时钟信号PCLK、右眼用图像数据Data1、垂直同步信号VSync和水平同步信号HSync来驱动右LCD241。右LCD241为将多个像素配置成矩阵状而成的透射型液晶面板。右LCD241通过对配置成矩阵状的各像素位置的液晶进行驱动,使透射右LCD241的光的透射率变化,由此,将从右背光源221照射的照明光向表示图像的有效图像光调制。右投射光学系统251包括将从右LCD241出射了的图像光形成为平行状态的光束的准直镜头。
左显示驱动部24具有与右显示驱动部22大致同样的构成,与右显示驱动部22同样地工作。即,左显示驱动部24包括接收部(Rx)54、作为光源发挥功能的左背光源(BL)控制部202及左背光源(BL)222、作为显示元件发挥功能的左LCD控制部212及左LCD242、和左投射光学系统252。详细的说明省略。此外,本实施方式中虽采用背光源方式,但还可以利用前光源方式或反射方式来出射图像光。
右光学像显示部26和左光学像显示部28被配置成,在使用者佩戴图像显示部20时分别位于使用者的左右的眼前(参照图1)。右光学像显示部26包括右导光板261和未图示调光板。右导光板261由光透射性的树脂材料等形成。右导光板261一边使从右显示驱动部22输出的图像光沿预定光路反射一边将其导向使用者的右眼RE。右导光板261既可以使用衍射光栅,也可以使用半透射反射膜。调光板为薄板状的光学元件,被配置成覆盖图像显示部20的表侧。调光板保护右导光板261,并抑制右导光板261的损伤和污渍的附着等。另外,通过对调光板的光透射率进行调整,能够调整进入到使用者的眼睛的外光量从而调整虚像的可见容易性。此外,调光板能够省略。
左光学像显示部28具有与右光学像显示部26大致同样的结构,并与右光学像显示部26同样地工作。即,左光学像显示部28包括左导光板262和未图示调光板,将从左显示驱动部24输出的图像光导向使用者的左眼LE。详细的说明省略。
9轴传感器66是检测加速度(3轴)、角速度(3轴)和地磁场(3轴)的工作传感器。9轴传感器66由于设在图像显示部20,所以,在图像显示部20佩戴在使用者头部时,作为检测头戴式显示器100的使用者的头部的运动的移动检测部发挥功能。这里,头部的运动包括头部的速度、加速度、角速度、朝向和朝向的变化。
图4是表示被使用者看到的虚像的一例的说明图。图4中例示了使用者的可见区VR。如上述那样,被导入头戴式显示器100的使用者的双眼的图像光在使用者的视网膜上成像,由此,使用者能够看到虚像VI。图4的例中,虚像VI为头戴式显示器100的OS的待机画面。另外,使用者透射右光学像显示部26及左光学像显示部28看到外景SC。这样,本实施方式的头戴式显示器100的使用者,针对可见区VR中的显示有虚像VI的部分,能够看见虚像VI和虚像VI背后的外景SC。另外,使用者针对可见区VR中没有显示虚像VI的部分,能够透射右光学像显示部26及左光学像显示部28而直接观察外景SC。此外,本说明书中,“头戴式显示器100显示图像”的情况还包括使头戴式显示器100的使用者看到虚像的情况。
A-3.配置处理:
图5是表示配置处理的顺序的顺序图。配置处理是生成头戴式显示器100所具有的图像和智能电话300的显示图像并排配置而成的一览图像,并使生成的一览图像在头戴式显示器100中显示的处理。配置处理主要通过生成部142来执行。
步骤S100中,起动用于进行配置处理的应用。步骤S100的应用的起动,既可以将输入信息获取部110检测到了使用者所进行的起动操作的情况作为触发条件,也可以将检测到了来自其他的应用的起动命令的情况作为触发条件。通过步骤S100的应用的起动,使CPU140能够实现生成部142及通知部144的功能。
步骤S102中,无线通信部132或接口180检测到了连接有智能电话300的情况。此外,以后,例示了头戴式显示器100和智能电话300利用以IEEE802.11为基准的无线LAN进行通信的情况。步骤S104中,生成部142进行对经由无线通信部132而连接的智能电话300的认证。该认证能够利用各种认证技术来实施。例如,生成部142既可以利用智能电话300的MAC(Media Access Control,介质访问控制)地址对智能电话300进行认证,也可以利用用户名和密码对智能电话300进行认证。另外,生成部142还可以利用认证站发行的数字证书对智能电话300进行认证,还可以对使用者的身体特征(脸、指纹、声纹)进行识别来对智能电话300进行认证。步骤S104中的认证成功后,步骤S106中,生成部142在与智能电话300之间确立连接。
步骤S108中,智能电话300获取智能电话300的显示图像。具体而言,智能电话300根据预定标准对智能电话300中再现期间的内容和应用GUI(Graphical User Interface,图形用户界面)等在智能电话300中所显示的画面进行描绘,获取构架(frame)图像。在步骤S108中获取到的构架图像为智能电话300的显示图像,以后也称作“第1图像”。
步骤S110中,智能电话300向头戴式显示器100发送获取到的第1图像。头戴式显示器100的生成部142经由无线通信部132获取第1图像。此时,生成部142和无线通信部132作为“获取部”发挥功能。
步骤S112中,生成部142获取当前显示在头戴式显示器100的显示画面中的图像,作为头戴式显示器100所具有的图像。具体而言,生成部142利用与步骤S108同样的方法,获取构架图像。此外,生成部142也可以从图像处理部160或图像存储器直接获取构架图像。步骤S112中获取到的构架图像为头戴式显示器100所具有的图像,以后也称作“第2图像”。
步骤S114中,生成部142对第1图像和第2图像进行放大、缩小。具体而言,生成部142将在步骤S110中获取到的第1图像放大或缩小使得其与区域信息AI(图3)的第1区域AR1的大小相配。同样地,生成部142将在步骤S112中获取到的第2图像放大或缩小使得其与区域信息AI的第2区域AR2的大小相配。此外,生成部142,优选在分别维持第1图像及第2图像的纵横比的状态下进行放大或缩小。这样一来,生成部142能够生成忠实地再现了智能电话300的显示图像和头戴式显示器100所具有的图像(显示图像)的一览图像。
步骤S116中,生成部142将第1图像配置在区域信息AI的第1区域AR1、将第2图像配置在区域信息AI的第2区域AR2而生成一览图像。此时,生成部142也可以对第1图像和第2图像中的至少一方实施以下a1~a5所例示的加工。此外,加工a1~a5既可以单独采用,也可以组合采用。
(a1)生成部142改变第1图像、第2图像的形状。例如,生成部142能够将四边形的第1图像、第2图像变更成圆形或梯形。
(a2)生成部142改变第1图像、第2图像的透射率。如果改变第1图像、第2图像的透射率,则在看到了作为虚像显示的一览图像时,能够抑制使用者的可见区受一览图像妨碍。
(a3)生成部142实施第1图像、第2图像的颜色转换处理。例如,图像显示部20成为具有照相机的结构,该照相机拍摄使用者的可见区方向的外景(外部的景色),并获取外景图像。而且,生成部142对第1图像、第2图像实施增强外景图像的互补色或减弱外景图像的互补色的颜色转换处理。据此,生成部142能够使第1图像、第2图像与外景相比更醒目。
(a4)生成部14改变第1图像、第2图像的大小。例如,生成部142与区域信息AI的第1、2的区域的大小无关地将第1图像、第2图像放大或缩小。
(a5)生成部142对第1图像、第2图像附加文字、图形、符号等的装饰。例如,生成部142能够对第1图像、第2图像附加用于说明图像的文字。另外,例如,生成部142还能够对第1图像、第2图像追加划出图像的周围边界的边框。
这样,只要设为对第1图像和第2图像中的一方实施上述a1~a5那样的加工,则看到了一览图像的使用者在一览图像中就可容易地将第1图像和第2图像相互识别开。另外,即使利用不同方式对第1图像和第2图像这两方实施上述a1~a5那样的加工,也能够同样地提高使用者对其的识别性。
步骤S118中,生成部142使一览图像显示在头戴式显示器100中。具体而言,生成部142将在步骤S116中生成了的一览图像向图像处理部160发送。在接收了一览图像的图像处理部160中,进行上述显示处理。其结果,被导入头戴式显示器100的使用者双眼的图像光在使用者的视网膜上成像,由此,头戴式显示器100的使用者能够在可见区中看到一览图像的虚像。若换言之,则头戴式显示器100能够对一览图像进行显示。
图6是表示在头戴式显示器100中显示有一览图像的样子的说明图。如图6所示,头戴式显示器100的使用者,在可见区VR中,能够作为虚像VI看到在区域信息AI(图3)的第1区域AR1配置有第1图像IM1而在第2区域AR2配置有第2图像IM2的一览图像。另外,对第2图像IM2附加了利用粗边框BC的装饰。因此,使用者能够容易识别开第1图像和第2图像。
此外,在对动画图像应用图5的配置处理的情况下,重复执行上述步骤S108~S118。另外,在使用压缩动画图像的标注的情况下,步骤S108中,存在发送表示从原图像或构架图像变化后的部分的差分图像(构架间差分)的情况。该情况下,生成部142只要在步骤S110与S112之间,进行利用上次的构架图像和获取到的构架间差分来合成构架图像的处理,即可。
图7是用于说明一览图像中的指示图像的变化的说明图。图7(A)表示了重叠于第1图像IM1的指示图像PO1。在图示的例子中,指示图像PO1为表示二层圆圈的图形。图7(B)表示了重叠于第2图像IM2的指示图像PO2。在图示的例子中,指示图像PO2为按圆形描绘成笑脸的图形。如上所述,在配置处理(图5)的步骤S118中,生成部142经由OS150向图像处理部160发送一览图像。此时,OS150根据从输入信息获取部110获取到的使用者的操作,对一览图像重叠地描绘指示图像。生成部142指示OS150将在一览图像的第1图像IM1上重叠地描绘的指示图像与在第2图像IM2上重叠地描绘的指示图像为不同的图像。
其结果,如图7(A)、(B)所示,图像显示部能够使使用者作为不同的虚像VI看到重叠在一览图像的第1图像IM1上的指示图像PO1和重叠在第2图像IM2上的指示图像PO2。据此,头戴式显示器100的使用者,虽在一览图像中自己进行操作,但能够容易地识别出是第1图像IM1所表示的智能电话300(外部装置)还是第2图像IM2所表示的头戴式显示器100(头部佩戴型显示装置)。
此外,生成部142还可以将使指示图像PO1和PO2中的至少一方的形状改变这一主旨的指示变更为图7所说明的指示后向OS150发送,或与利用图7说明了的指示一并,将使指示图像PO1和PO2中的至少一方的形状改变这一主旨的指示向OS150发送,由此,使重叠描绘于一览图像的第1图像IM1的指示图像PO1和重叠描绘于第2图像IM2的指示图像PO2成为不同的图像。另外,生成部142还可以代替上述的“形状的变更”,而指示改变透射率、实施颜色转换处理、改变大小、附加文字图形符号等的装饰等等。据此,头戴式显示器100的使用者能够容易地识别一览图像所显示的指针PO1、PO2。
如以上那样,根据第1实施方式的配置处理,图像显示部20能够形成表示一览图像(图6)的虚像VI并使使用者看到,其中,该一览图像包括连接于头戴式显示器100(头部佩戴型显示装置)的智能电话300(外部装置)的显示图像即第1图像和头戴式显示器100所具有的图像即第2图像。因此,能够提供一种使使用者能够看到头戴式显示器100的显示图像和智能电话300的显示图像这两方的头戴式显示器100。
而且,根据第1实施方式的配置处理,生成部142基于区域信息AI(图3),在第1区域AR1配置从智能电话300(外部装置)获取的第1图像,在第2区域AR2配置头戴式显示器100(头部佩戴型显示装置)的第2图像,由此,能够简单地生成一览图像。
而且,通过第1实施方式的配置处理,生成部142获取当前显示于头戴式显示器100的显示画面的构架图像(显示图像),作为头戴式显示器100(头部佩戴型显示装置)具有的图像,并将所获取的显示图像直接作为第2图像进行使用,能够生成一览图像。因此,能够使生成部中的配置处理的处理内容简洁。
A-4.通知处理:
图8是表示通知处理的顺序的顺序图。通知处理是在进行了针对一览图像中的第1图像、第2图像的操作的情况下,向智能电话300或头戴式显示器100通知操作内容的处理。通知处理主要由通知部144来执行。此外,此时,通知部144作为“第1通知部”发挥功能。
步骤S200中,输入信息获取部110检测使用者对一览图像的操作(例如点击、双击、拖拽、获得焦点、轻敲、双轻敲、滑动等),获取操作的坐标(x、y)。此时,输入信息获取部110作为“操作获取部”发挥功能。
步骤S202中,通知部144从输入信息获取部110接收坐标(x、y),执行以下的顺序i、ii。
(i)基于接收的坐标,确定被操作了的图像为第1图像还是第2图像。
(ii)基于接收的坐标,求出配置处理(图5)的步骤S114的放大、缩小前、图像的坐标。
图9是用于说明通知处理的步骤S202的说明图。图9(A)是用于说明上述顺序i的说明图。通知处理的步骤S202中,通知部144从输入信息获取部110接收坐标CO1(x1、y1)。坐标CO1是将一览图像的左上端部的坐标设为(0、0)的情况下的、表示x方向的变化量和y方向的变化量的数值。通知部144基于配置处理(图5)的步骤S116中的处理内容,确定坐标CO1(x1、y1)位于第1图像IM1上还是位于第2图像IM2上。图9(A)的例子中,坐标CO1(x1、y1)位于第1图像IM1上,即位于智能电话300的显示图像上。
图9(B)是用于说明上述顺序ii的说明图。通知部144利用在配置处理(图5)的步骤S114中所使用的放大率、缩小率,对一览图像实施与在步骤S114中进行的转换相反的转换。即,在步骤S114中缩小了的情况下,放大一览图像,在步骤S114中放大了的情况下就缩小一览图像。然后,通知部144求出在使图9(A)中确定了的图像(即,第1图像IM1或第2图像IM2)的左上端部的坐标为(0、0)的情况下的、相当于与坐标CO1(x1、y1)相同位置的坐标CO2(x2、y2)。
步骤S204中,通知部144对步骤S202中所确定的图像是否为第2图像,即是否为头戴式显示器100所具有的图像(显示图像)进行判定。在为第2图像的情况下,通知部144向OS150发送坐标CO2(x2、y2)和操作内容(例如,点击,双击、拖拽、获得焦点、轻敲、双轻敲、滑动等)。OS150中,根据接收到的坐标和操作内容,进行应用的起动等处理。
步骤S206中,通知部144对步骤S202中所确定的图像是否为第1图像,即是否为智能电话300的显示图像进行判定。在为第1图像的情况下,通知部144向智能电话300发送坐标CO2(x2、y2)和操作内容。智能电话300中,根据接收到的坐标和操作内容,进行应用的起动等处理(步骤S208)。
以上那样,通过第1实施方式的通知处理,通知部144(第1通知部)不仅向OS150通知使用者对一览图像的第2图像IM2(图9)进行的操作,还对智能电话300(外部装置)通知使用者对第1图像IM1(图9)进行的操作。因此,使用者不仅能够经由头戴式显示器100(头部佩戴型显示装置)的输入接口操作头戴式显示器100,还能够经由头戴式显示器100(头部佩戴型显示装置)的输入接口对智能电话300进行远程操作。其结果,利用者,例如在连接于头戴式显示器100的外部装置(本实施方式中为智能电话300)放入包中或口袋中的状态下,能够对该外部装置进行操作,能够提高头戴式显示器100的可用性。
B.第2实施方式:
本发明的第2实施方式中,作为“头部佩戴型显示装置具有的图像”,说明了利用从图标图像生成的第2图像的结构。以下,仅说明具有与第1实施方式不同的结构及工作的部分。此外,图中对与第1实施方式同样的结构部分标注与之前说明了的第1实施方式同样的附图标记,省略对其的详细说明。
B-1.图像显示系统的结构:
第2实施方式的图像显示系统的概要结构与图1所示的第1实施方式相同。
B-2.头部佩戴型显示装置的结构:
图10是功能性地表示第2实施方式中的头戴式显示器100a的结构的框图。与图2所示的第1实施方式的不同之处在于,代替控制部10而具有控制部10a。控制部10a代替生成部142而具有生成部142a、代替通知部144而具有通知部144a、代替存储部120而具有存储部120a。
生成部142a的配置处理的处理内容与用图5说明了的第1实施方式不同。通知部144a的通知处理的处理内容与用图8说明了的第1实施方式不同。存储部120a除区域信息存储部122外还具有构架信息124。构架信息124中存储有至少一个构架。存储在构架信息124中的框架,在第2实施方式的配置处理(图12)中,在生成第2图像(即,变更头戴式显示器100a所具有的图标图像的配置而生成的图像)时,被用作配置图标图像的边框。
本实施方式中,“图标图像”是指利用图、画、文字、符号等将程序和设备的内容容易明白地进行表现的图像。本实施方式的“图标图像”是指,安装在头戴式显示器100a中的应用的起动用的图像。此外,“图标图像”除此以外还可以包含:通过安装在头戴式显示器100a中的应用(所谓Widget、Gadget)所描绘的图像;存储在头戴式显示器100a中的数据(各种的文件)的起动用的图像;和表示头戴式显示器100a所包含的器件的存在的图像等。若换言之,则图标图像还可以被称作对应用(程序)、数据、或器件进行抽象化后的标志。
图11是表示存储在构架信息124中的构架的一例的说明图。图11所示的构架FM1具有在长方形状的区域(以后,还称作“构架FM1的区域”)的内侧配置有图像列表LT1、图像列表LT2和用于对它们进行区分的区分线BA的结构。构架FM1的区域,优选具有与区域信息AI的第2区域AR2相同的纵横比。
图像列表LT1、LT2是在第2实施方式的配置处理中实际上配置有图标图像的区域。图11的例子中,图像列表LT1、LT2在构架FM1区域的下端的整体范围内分两层配置。此外,图像列表LT1、LT2能够配置在构架FM1的任意位置。例如,图像列表LT1、LT2还可以配置在构架FM1的区域的下端的一部分,还可以配置在构架FM1的区域的上端的一部分或整体上,还可以配置在构架FM1的区域的右端的一部分或整体上,还可以配置在构架FM1的区域的左端的一部分或整体上,还可以配置在构架FM1整个区域。
图像列表LT1包括多个(图的例中为5个)长方形状的图像边框B1~B5。图像边框B1~B5在图像列表LT1内配置成,长方形状的长边相互相邻。图像列表LT2包括多个长方形状的图像边框B6~B10。图像边框B6~B10在图像列表LT2内,配置成长方形状的长边相互相邻。图像边框B1~B10是在第2实施方式的配置处理(图12)中用于配置头戴式显示器100a所具有的图标图像的区域。
B-3.配置处理:
图12是表示第2实施方式的配置处理的顺序的顺序图。与图5所示的第1实施方式的不同之处仅在于,代替步骤S112而具有步骤S300和步骤S302,其他处理内容与第1实施方式相同。
步骤S300中,生成部142a收集头戴式显示器100a所具有的图标图像。具体而言,生成部142a收集存储在存储部120的预定区域中的多个图标图像中的、应显示于头戴式显示器100a的待机画面的多个图标图像。作为图标图像的一例,例如有照相机和扬声器等各种设备、SNS服务、邮件服务等的各种服务的起动用图标。
步骤S302中,生成部142a通过对步骤S300中收集到的多个图标图像的配置进行变更,从而生成第2图像。具体而言,生成部142a获取存储在构架信息124中的构架FM1(图11)。生成部142a对构架FM1的图像列表LT1的图像边框B1~B5和图像列表LT2的图像边框B6~B10依次配置获取到的多个图标图像。
此外,生成部142a还可以在步骤S300与S302之间进行以下处理b1~b3。
(b1)图标图像的过滤处理。
·例如,生成部142a还可以利用图像解析或文件名解析求出重复的图标图像,并从在步骤S300中收集到的图标图像中废弃重复了的图标图像的一方。
·例如,生成部142a还可以利用图像解析或文件名解析在步骤S300中收集到的图标图像中确定图标图像所表示的应用,并废弃与预定的应用相关的图标图像。
·例如,生成部142a还可以参照附随在步骤S300中收集的到图标图像上的信息,求出图标图像所表示的应用的使用频率,并废弃使用频率低的图标图像。
(b2)图标图像的分组及分类处理。
·例如,生成部142a还可以利用图像解析或文件名解析从在步骤S300中收集到的图标图像中确定图标图像的种类(应用起动用的图像、通过应用描绘出的图像或数据起动用的图像),并根据特定的图标图像的种类对图标图像进行分组或分类。
·例如,生成部142a还可以利用图像解析或文件名解析从在步骤S300中收集到的图标图像中确定图标图像所表示的应用的种类或名称进,并根据特定的应用的种类或名称对图标图像进行分组或分类。
·例如,生成部142a还可以参照附随在步骤S300所收集的图标图像上的信息,求出图标图像所表示的应用的使用频率,并根据使用频率对图标图像进行分组或分类。
(b3)图标图像的加工处理。
·例如,生成部142a还可以对图标图像的形状、透射率、大小任意地变更。
·例如,生成部142a还可以对图标图像实施颜色转换处理。该情况下,成为具有对图像显示部20拍摄使用者的可见区方向的外景(外部的景色),并获取外景图像的照相机的结构。而且,生成部142a对图标图像实施增强外景图像的补色的颜色转换处理。据此,生成部142a能够使图标图像与外景相比更醒目。
·例如,生成部142a对图标图像附加文字、图形、符号等的装饰。具体而言,生成部142a能够对图标图像追加用于说明图标图像的文字。据此,在看到了作为虚像而显示的第2图像时,使用者容易识别第2图像所包含的各图标图像是什么。另外,生成部142a能够对图标图像追加划出图标图像的周围边界的框架。据此,生成部142a能够使图标图像与外景相比更醒目。
图13是表示在头戴式显示器100a中显示有一览图像的样子的说明图。如图13所示,第2实施方式的头戴式显示器100a的使用者,在可见区VR中,能够作为虚像VI看到在区域信息AI(图3)的第1区域AR1配置有第1图像IM1且在第2区域AR2配置有利用头戴式显示器100a的图标图像所生成的第2图像IM2的一览图像。
此外,在对动画图像应用图12的配置处理的情况下,与第1实施方式同样地,重复执行上述步骤S108~S118。另外,关于一览图像中的指示图像的变化,与第1实施方式相同。
如以上那样,根据第2实施方式的配置处理,生成部142a通过对头戴式显示器100a(头部佩戴型显示装置)所具有的图标图像的配置进行变更,能够按照构架FM1生成使纵横比自由变化的第2图像IM2,并能够利用生成的第2图像IM2生成一览图像。其结果,生成部142a能够根据区域信息AI(图3)的第2区域AR2的大小,生成最佳的第2图像,并显示在图像显示部20中。
B-4.通知处理:
第2实施方式的通知处理与利用图8说明了的第1实施方式大致相同。不过,在步骤S202的顺序i中确定下来的图像为第2图像的情况下,上述顺序ii由以下的iii代替。
(iii)通知部144a基于配置处理(图12)的步骤S302中的处理内容(即,图标图像的配置),求出与从输入信息获取部110获取到的坐标CO1(x1、y1)相当的坐标CO2(x2、y2)。
C.第3实施方式:
本发明的第3实施方式中,就对一个头戴式显示器、作为外部装置连接有多个其他的头戴式显示器且与外部装置共有这一个头戴式显示器的指针的显示的结构进行说明。以下,仅说明具有与第1实施方式不同的结构及工作的部分。此外,图中,对于与第1实施方式同样的结构部分标注与之前说明了的第1实施方式同样的附图标记,省略对其详细的说明。
C-1.图像显示系统的结构:
图14是表示第3实施方式的图像显示系统1000b的概要结构的说明图。与图1所示的第1实施方式的不同之处在于,代替头戴式显示器100而具有头戴式显示器100b和代替智能电话300而具有头戴式显示器100x及头戴式显示器100y这两点。
头戴式显示器100b和100x能够通过无线通信或有线通信连接。同样地,头戴式显示器100b和100y能够通过无线通信或有线通信连接。头戴式显示器100x和100y的结构与头戴式显示器100b相同,所以省略说明。
C-2.头部佩戴型显示装置的结构:
图15是功能性地表示第3实施方式的头戴式显示器100b的结构的框图。与图2所示的第1实施方式的不同之处在于,代替控制部10而具有控制部10b和代替图像显示部20而具有图像显示部20b这两点。
控制部10b代替生成部142而具有生成部142b,代替通知部144而具有通知部144b。生成部142b的配置处理的处理内容与利用图5说明了的第1实施方式不同。通知部144b的通知处理的处理内容与图8说明的第1实施方式不同。另外,通知部144b执行后述的指针通知处理。
图像显示部20b除第1实施方式中所说明的各部分外,还具有视线检测部62。视线检测部62被配置在使用者佩戴了图像显示部20b时与右侧的眼角对应的位置上(图14)。视线检测部62具有可视光照相机。视线检测部62利用可视光照相机对佩戴了头戴式显示器100b的状态下的使用者的左右的眼睛进行拍摄,并通过对得到的眼睛的图像进行解析来检测使用者的视线的方向。此外,视线检测部62还可以代替可视光照相机而利用红外线传感器来检测使用者的视线的方向。
图16是表示第3实施方式中存储在区域信息存储部122中的区域信息的一例的说明图。与图3所示的第1实施方式的不同之处在于,长方形状的区域AIb除第1区域AR1和第2区域AR2外,还具有第3区域AR3及各区域的配置。第1区域AR1是在配置处理(图17)中配置头戴式显示器100x的显示图像的区域。第2区域AR2是在配置处理中配置头戴式显示器100b的显示图像的区域。第3区域AR3是在配置处理中配置头戴式显示器100y的显示图像的区域。
第2区域AR2被配置在区域AIb的整个面范围内。第1区域AR1和第3区域AR3被配置在将区域AIb沿水平方向等分后的左右各大致中央部。第1区域AR1、第3区域AR3的铅垂方向上的长度比第2区域AR2的铅垂方向上的长度短。第1区域AR1、第3区域AR3的水平方向上的长度比第2区域AR2的水平方向的长度除以2后的长度还短。另外,第1区域AR1、第3区域AR3作为一层而重叠于第2区域AR2。
C-3.配置处理:
图17是表示第3实施方式的配置处理的顺序的顺序图。与图5所示的第1实施方式的不同之处在于,代替步骤S102~S116而具有步骤S402~S420这一点。
步骤S402中,头戴式显示器100b的无线通信部132检测到连接了头戴式显示器100x的情况,并检测到连接了头戴式显示器100y的情况。详细情况与图5的步骤S102相同。步骤S404中,头戴式显示器100b的生成部142b实施对所连接的头戴式显示器100x的认证,并实施对头戴式显示器100y的认证。详细情况与图5的步骤S104相同。认证成功后,步骤S406中,生成部142b在头戴式显示器100b与100x之间确立连接,并在头戴式显示器100b与100y之间确立连接。
步骤S408中,头戴式显示器100x获取头戴式显示器100x的显示图像。详细情况与图5的步骤S108相同。步骤S408中获取到的构架图像为作为外部装置的头戴式显示器100x的显示图像,以后还称作“第1图像”。步骤S410中,头戴式显示器100x将获取到的第1图像向头戴式显示器100b发送。详细情况与图5的步骤S110相同。
步骤S412中,头戴式显示器100y获取头戴式显示器100y的显示图像。详细情况与图5的步骤S108相同。步骤S412中获取到的构架图像为作为外部装置的头戴式显示器100y的显示图像,以后还称作“第3图像”。步骤S414中,头戴式显示器100y将获取到的第3图像向头戴式显示器100b发送。详细情况与图5的步骤S110相同。
步骤S416中,头戴式显示器100b的生成部142b获取头戴式显示器100b的显示画面中当前所显示的图像。详细情况与图5的步骤S112相同。
步骤S418中,生成部142b对第1图像、第2图像、第3图像进行放大缩小。具体而言,生成部142b将在步骤S410中获取到的第1图像放大或缩小使得其与区域信息AIb(图16)的第1区域AR1的大小相配。同样地,生成部142b将在步骤S416中获取到的第2图像放大或缩小使得其与区域信息AIb的第2区域AR2的大小相配,将在步骤S414中获取到的第3图像放大或缩小使得其与区域信息AIb的第3区域AR3的大小相配。此外,步骤S418中,生成部142b还可以代替放大缩小,而是将获取到的第1~3的图像IM1~3的一部分切割成与第1~3的区域AR1~3相配的大小。
步骤S420中,生成部142b将第1图像配置在区域信息AIb的第1区域AR1,将第2图像配置在区域信息AIb的第2区域AR2,将第3图像配置在区域信息AIb的第3区域AR3,以生成一览图像。详细情况与图5的步骤S116相同。
图18是表示在头戴式显示器100b中显示有一览图像的样子的说明图。图18中,为了图示的方便,关于使用者透射左右的光学像显示部26、28而看到的外景SC(图4),省略图示。如图所示,头戴式显示器100b的使用者,在可见区VR中,能够作为虚像VI看到在区域信息AIb(图16)的第1区域AR1中配置有第1图像IM1、在第2区域AR2中配置有第2图像IM2、在第3区域AR3中配置有第3图像IM3的一览图像。此外,图的例子中,第1图像IM1为头戴式显示器100x的OS的待机画面的图像,第2图像IM2为头戴式显示器100b的OS的待机画面的图像,第3图像IM3为透射头戴式显示器100y的照相机所拍摄到的图像。
此外,在第3实施方式的配置处理(图17)中,与第1实施方式同样地,能够进行以下变形。各变形的详细情况如第1实施方式所说明的那样。
·对第1~3的图像IM1~3付与不同的装饰(边框等)。
·对动画图像应用第3实施方式的配置处理。
·使重叠于第1~3的图像IM1~3的指示图像分别成为不同的图像。
如以上那样,根据第3实施方式的配置处理,即使在作为外部装置连接有多个装置的情况下,也能够得到与第1实施方式的配置处理同样的效果。
C-4.通知处理:
第3实施方式中,通知部144b并行地执行指针通知处理和通知处理。这里,指针通知处理是用于使一个头戴式显示器中的指针的显示与外部装置共有的处理。通知处理,是在进行了对一览图像的操作的情况下,向作为图像的获取源的装置通知操作内容的处理。
C-4-1.指针通知处理:
图19是表示第3实施方式的指针通知处理的顺序的顺序图。指针通知处理主要由通知部144b执行。此外,此时,通知部144b作为“第2通知部”发挥功能。本实施方式中,作为一个头戴式显示器例示了头戴式显示器100b,作为外部装置例示了头戴式显示器100x、100y。
步骤S500中,头戴式显示器100b的输入信息获取部110检测经由头戴式显示器100b的输入设备而施加的指示体的运动,获取输入设备上的指示体的坐标(x、y)。这里“指示体”是指例如使用者的手指或触屏笔。另外,输入设备是指例如触摸板、十字键、脚开关等。此时,输入信息获取部110作为“位置获取部”发挥功能。步骤S502中,头戴式显示器100b的通知部144b从输入信息获取部110接收指示体的坐标,并将接收的指示体的坐标向OS150发送。OS150中,执行重叠于一览图像中的、接收的指示体的坐标的位置描绘出指示图像的描绘处理。
图20是表示在头戴式显示器100b中在一览图像上重叠显示有指示图像的样子的说明图。图20中,也与图18同样地,省略了关于外景SC(图4)的图示。如图所示,头戴式显示器100b的使用者,在可见区VR中能够作为虚像VI看到指示图像PO1相对于第1~3的图像IM1~3在与自身的手指的运动对应的位置重叠后的图像。在图的例子中,指示图像PO1为表示二层圆圈的图形。
在图19的步骤S504中,头戴式显示器100b的通知部144b,在在步骤S502中获取到的指示体的坐标位于第1图像上的情况下,向作为第1图像的获取源的外部装置、即向头戴式显示器100x发送指示体的坐标。此外,对于指示体的坐标是否位于第1图像上的判定方法与图8的步骤S202的顺序i一样。另外,在图19的步骤S504中,通知部144b发送以图8的步骤S202的顺序ii为准的转换后的坐标CO2(x2、y2)。步骤S506中,头戴式显示器100x的OS执行在步骤S504中接收到的指示体的坐标的位置重叠地描绘指示图像的描绘处理。
图21是表示在作为外部装置的头戴式显示器100x中、在一览图像上重叠显示指示图像的样子的说明图。图21中也与图18同样,省略关于外景SC(图4)的图示。如图所示,头戴式显示器100x的使用者,在可见区VR中能够作为虚像VI看到下述图像,该图像是相对于头戴式显示器100x的显示画面中当前显示的图像IMx,在与头戴式显示器100b的使用者的手指的运动对应的位置重叠有指示图像PO2后的图像。图的例子中,指示图像PO2为按圆形描绘成笑脸的图形。
图19的步骤S508中,头戴式显示器100b的通知部144b,在在步骤S502中获取到的指示体的坐标位于第3图像上的情况下,对作为第3图像的获取源的外部装置、即对头戴式显示器100y发送指示体的坐标。详细情况与步骤S504相同。步骤S510中,头戴式显示器100y的OS执行在在步骤S508中接收到的指示体的坐标的位置重叠地描绘指示图像的描绘处理。其结果,与图21同样地,头戴式显示器100y的使用者能够作为虚像看到对于头戴式显示器100y的显示画面上当前显示的图像、在与头戴式显示器100b的使用者的手指的运动对应的位置重叠有指示图像后的图像。
此外,指针通知处理中还可以代替“指示体的运动”或与“指示体的运动”一起显示基于使用者的“视线的移动”的指针。在使用“视线的移动”的情况下,步骤S500中,头戴式显示器100b的视线检测部62获取使用者的视线的移动,并向通知部144b发送。在这以后的步骤中,也可以将记载成“指示体的运动”的部分替换成“使用者的视线的移动”。此外,在显示基于指示体的运动和视线的移动这两方的指针的情况下,优选,预先设定在检测到了指示体的运动和视线的移动这两方的情况下、使谁更优先。据此,头戴式显示器100b(头部佩戴型显示装置)的OS150能够基于头戴式显示器100b的输入设备中的指示体的运动和使用者的视线的移动中的至少某一个,来确定指示图像PO1的位置。
如以上那样,通过第3实施方式的指针通知处理,通知部144b(第2通知部),在指示图像PO1重叠于一览图像中的第1图像IM1的情况下,在头戴式显示器100x(外部装置)的显示图像IMx中,向头戴式显示器100x通知将用于使外部装置用的指示图像PO2重叠于与重叠有指示图像PO1的位置对应的位置上的坐标CO2(位置信息)。因此,头戴式显示器100x能够基于获取到的坐标CO2显示外部装置用的指示图像PO2。其结果,头戴式显示器100x的使用者,能够在头戴式显示器100x中看到头戴式显示器100b(头部佩戴型显示装置)的第1图像IM1上的指示图像PO1(图21)。若换言之,则能够与作为外部装置的头戴式显示器100x共有头戴式显示器100b中的指针的显示。
C-4-2.通知处理:
图22是表示第3实施方式中的通知处理的顺序的顺序图。与图8所示的第1实施方式的不同之处在于,代替步骤S206、S208而具有步骤S600~S606这一点。此外,此时,通知部144b作为“第1通知部”发挥功能。
步骤S600中,通知部144b判定在步骤S202中确定下来的图像是否为第1图像、即是否为头戴式显示器100x的显示图像。在为第1图像的情况下,通知部144b向头戴式显示器100x发送以步骤S202的顺序ii为准的转换后的坐标CO2(x2、y2)和操作内容。头戴式显示器100x中,根据接收到的坐标和操作内容,进行应用的起动或针对起动过程中的应用的操作等的处理(步骤S602)。
步骤S604中,通知部144b判定在步骤S202中确定下来的图像是否为第3图像、即是否为头戴式显示器100y的显示图像。在为第3图像的情况下,通知部144b向头戴式显示器100y发送以步骤S202的顺序ii为准的转换后的坐标CO2(x2、y2)和操作内容。在头戴式显示器100y中,根据接收的坐标和操作内容,进行应用的起动或针对起动过程中的应用的操作等的处理(步骤S606)。
图23是用于说明第3实施方式的通知处理的步骤S600~S606的说明图。图23表示在头戴式显示器100b中显示有一览图像的样子。
例如,头戴式显示器100b的使用者在作为图像IM1显示的文件应用上实施某些操作(例如文字输入或文字删除等的编辑操作、文件的认可操作、保存操作等)。此时,通过执行通知处理(图22)的步骤S600,操作的坐标和操作内容被向头戴式显示器100x发送。而且,通过执行通知处理的步骤S602,在头戴式显示器100x的文件应用上也能够反映出头戴式显示器100b的利用者的操作内容。
另外,例如,头戴式显示器100b的使用者在作为图像IM3显示的照相机应用上实施某些操作(例如,放大/缩小操作、快门按下操作、设定操作等)。该情况下也同样地通过执行通知处理的步骤S604、S606,在头戴式显示器100y的照相机应用上反映出头戴式显示器100b的利用者的操作内容。
如以上那样,通过第3实施方式的通知处理,即使在作为外部装置连接有多个装置的情况下,也能够得到与第1实施方式的通知处理同样的效果。
D.变形例:
上述实施方式中,还可以将通过硬件实现的结构的一部分置换成软件,相反,还可以将通过软件实现的结构的一部分置换成硬件。其他,还可以进行以下的变形。
·变形例1:
上述实施方式中,例示了图像显示系统的结构。但是,图像显示系统的结构能够在不脱离本发明主旨的范围内任意决定,例如,能够进行构成图像显示系统的各装置的追加、削除、转换等。另外,能够进行构成图像显示系统的装置的网络构成的变更。
例如,还可以在头戴式显示器连接多个外部装置(例如智能电话和PDA)。该情况下,与第1、2实施方式同样地,生成部还可以生成一览图像,该一览图像是第1外部装置的显示图像、第2外部装置的显示图像、第m(m为3以上的整数)的外部装置的显示图像全部并列配置而成的图像。这样,图像显示部能够作为虚像供使用者看到一览图像,该一览图像是并列配置有头戴式显示器所具有的图像和连接于头戴式显示器的多个外部装置的显示图像而成的。因此,能够进一步提高头戴式显示器中的使用者的便利性。
例如,还可以代替上述实施方式的智能电话,使用经由互联网INT的云服务器。另外,在头戴式显示器连接有多个外部装置的情况下,作为外部装置中的至少一个还可以使用经由互联网INT的云服务器。即使在这种情况下,生成部通过进行与上述第1、2实施方式同样的处理,也能够得到与上述第1实施方式及第2实施方式同样的效果。
例如,上述实施方式的头戴式显示器的生成部的功能还可以通过与头戴式显示器不同的信息处理装置来提供。作为信息处理装置,例如还可以使用经由互联网INT的云服务器。该情况下,信息处理装置具有:获取部,其获取连接于头戴式显示器(头部佩戴型显示装置)的外部装置的显示图像即第1图像和头戴式显示器所具有的第2图像;一览图像生成部,其生成包含所获取的第1图像和所获取的第2图像的一览图像;和一览图像发送部,其向头戴式显示器发送所生成的一览图像。一览图像生成部进行与上述实施方式所说明的头戴式显示器的生成部同样的处理,由此,生成向头戴式显示器发送的一览图像。
·变形例2:
上述实施方式中,例示了头戴式显示器的结构。但是,头戴式显示器的结构能够在不脱离本发明主旨的范围内任意确定,例如,能够进行各结构部分的追加、削除、转换等。
上述实施方式的针对控制部和图像显示部的构成要素的分配仅为一例,能够采用各种方式。例如,还可以为以下方式。(i)在控制部搭载CPU和存储器等的处理功能,而在图像显示部仅搭载显示功能的方式,(ii)在控制部和图像显示部这两方搭载CPU和存储器等的处理功能的方式,(iii)使控制部和图像显示部一体化了的方式(例如,图像显示部包含控制部并发挥眼镜型的穿戴式计算机的功能的方式),(iv)代替控制部而使用智能电话或移动型游戏机的方式,(v)通过将控制部和图像显示部形设为能够无线通信且无线供电的结构而废弃连接部(导线)的方式。(vi)从控制部中废弃触摸板,而在图像显示部上设置触摸板的方式。
上述实施方式中,为了说明的方便,设为控制部具有发送部、图像显示部具有接收部。但是,上述实施方式的发送部及接收部都具有能够双向通信的功能,能够发挥收发部的功能。另外,例如,图5所示的控制部设为经由有线的信号传送路与图像显示部连接。但是,控制部和图像显示部还可以通过经由无线LAN、红外线通信或Bluetooth等无线信号传送路径的连接而连接。
例如,图2所示的控制部、图像显示部的结构能够任意变更。具体地,例如,控制部除上述的各种的输入设备(触摸板、十字键、脚开关、手势检测器、视线检测器、麦克风)外,还能够具有各种输入设备(例如操作用杆、键盘、鼠标等)。另外,上述实施方式中,作为电源使用二次电池,但作为电源不限于二次电池,能够使用各种电池。例如,一次电池、燃料电池、太阳能电池、热电池等。
例如,头戴式显示器为双眼型的透射型头戴式显示器,但也可以为单眼型的头戴式显示器。另外,还可以构成为,在使用者佩戴了头戴式显示器的状态下、遮断外景的透射的非透射型头戴式显示器。上述实施方式中,设为以眼镜的方式佩戴图像显示部的头戴式显示器,但例如还可以为采用以帽子的方式佩戴的类型的图像显示部等其他的形状的图像显示部的头戴式显示器。另外,耳机可以采用挂耳型或发带型,也可以省略。而且,例如,还可以构成为搭载在汽车或飞机等的移动体上的平视显示器(HUD,Head-Up Display)。除此以外,还可以构成为内置在头盔等身体防护用具中的头戴式显示器。
图24是表示变形例的头戴式显示器的外观的结构的说明图。图24(A)的例中,图像显示部20c代替右光学像显示部26而具有右光学像显示部26c,代替左光学像显示部28而具有左光学像显示部28c。
右光学像显示部26c及左光学像显示部28c形成得比第1实施方式的光学部件小,被配置于在头戴式显示器的佩戴时的使用者的右眼及左眼的斜上方。在图24(B)的例子中,图像显示部20d代替右光学像显示部26而具有右光学像显示部26d,代替左光学像显示部28而具有左光学像显示部28d。右光学像显示部26d及左光学像显示部28d形成得比第1实施方式的光学部件小,被配置于在头戴式显示器的安装时的使用者的右眼及左眼的斜下方。这样,光学像显示部只要配置在使用者的眼睛的附近即可。另外,形成光学像显示部的光学部件的大小也是任意的,能够实现光学像显示部仅覆盖使用者的眼睛的一部分的方式,若换言之,则是光学像显示部没有完全覆盖使用者的眼睛的方式的头戴式显示器。此外,在为图24那样的结构的情况下,能够适当调整一览图像的第1图像和第2图像的配置以成为既提高对于使用者的可见性又适于头戴式显示器。该情况下,不限于上述实施方式所例示的配置例子。
例如,上述实施方式中,显示驱动部利用背光源、背光源控制部、LCD、LCD控制部和投射光学系统而构成。但是,上述的方式仅为例示。显示驱动部还可以与这些结构一起、或代替这些结构部,具有用于实现其他的方式的结构部。例如,显示驱动部还可以构成为具有有机EL(有机电致发光,Organic Electro-Luminescence)的显示器、有机EL控制部和投射光学系统。另外,例如,显示驱动部还可以代替LCD而使用数字微镜器件等。另外,例如,还能够将本发明应用于激光视网膜投影型的头部佩戴型显示装置。
例如,记载了生成部、通知部、图像处理部、显示控制部、声音处理部等的各功能部,通过CPU将存储在ROM或硬盘中的计算机程序向RAM展开并执行而实现。但是,这些功能部还可以利用用于实现该功能而设计的ASIC(Application Specific IntegratedCircuit:专用集成电路)来构成。
·变形例3:
上述实施方式中例示了配置处理的一例。但是,配置处理的顺序仅为一例,能够进行各种变形。例如,既可以省略一部分的步骤,也可以进一步追加其他的步骤。另外,还可以变更所执行的步骤的顺序。
例如,生成部还可以不使用区域信息而生成一览图像。具体来说,步骤S116中,生成部还可以代替区域信息,而通过在预先确定的坐标位置上配置第1图像和第2图像来生成一览图像。作为其他的例子,步骤S116中,生成部还可以通过将第1图像和第2图像配置在根据获取到的第1图像及第2图像的大小而动态地计算出的坐标位置上,从而生成一览图像。这样,不需要区域信息也能够生成一览图像。
例如,还可以省略步骤S114中的第1图像、第2图像的放大、缩小的处理。另外,例如,还可以省略步骤S104的智能电话的认证和S106的连接的确立的任一方,或替换执行顺序。
例如,上述实施方式中说明的一览图像假定为按二维表现的图像。但是,图像处理部还可以通过使右眼用图像数据和左眼用图像数据成为不同的数据而将一览图像按三维方式表现。
例如,生成部使在一览图像的第1图像、第2图像上重叠描绘的指示图像分别为不同的图像。但是,生成部还可以指示OS以使在一览图像的第1区域重叠地描绘的指示图像和在第2区域重叠地描绘的指示图像分别成为不同的图像。
例如,作为在一览图像的第1图像上重叠地描绘的指示图像和在第2图像上重叠地描绘的指示图像,可以使用相同形状且使颜色和/或装饰具有变化的图像。
例如,还能够代替使在一览图像的第1图像上重叠描绘的指示图像和在第2图像上重叠描绘的指示图像成为不同的图像的情况,而利用其他的方法,成为能够看到使用者正在操作的图像的结构。具体而言,也可以降低使用者正在操作的一个图像的透射率,并提高另一个图像的透射率。另外,对于使用者正在操作的一个图像实施与外景相比强调图像那样的颜色转换处理,而对另一个图像实施使图像与外景同化那样的颜色转换处理。另外,还可以对使用者正在操作的一个图像施加装饰,另一个图像为未装饰的状态。这样,能够成为能够利用第1图像和第2图像的透射率、颜色或有无装饰而看到使用者正在操作的图像的结构。
例如,上述第2实施方式中,生成部也可以不使用构架而生成第2图像。具体而言,生成部也可以通过在预先确定的坐标位置上配置图标图像来生成第2图像。作为其他的例子,生成部还可以通过将图标图像配置在根据获取到的图标图像的大小而动态地计算出的坐标位置上来生成第2图像。这样,不需要构架信息也能够生成第2图像。
例如,上述第2实施方式中,生成部也可以动态地生成第2图像以避开使用者的视线方向。具体而言,在上述头戴式显示器中,追加对使用者的眼睛进行拍摄的照相机或红外线传感器等检测使用者的视线方向的结构(还称作“视线方向检测部”)。生成部能够优先选择构架所具有的多个图像列表中的、在被检测到的视线方向上较远的图像列表,并进行图标图像的配置。这样一来,第2图像中,能够进行避开了使用者的视线方向的动态的图标图像的配置。
·变形例4:
上述实施方式中,示出了通知处理的一例。但是,通知处理的顺序仅为一例,能够进行各种变形。例如,可以省略一部分步骤,还可以进一步追加其他的步骤。另外,还可以变更所执行的步骤的顺序。
·变形例5:
上述实施方式(图3)中,示出了存储在区域信息存储部的区域信息的例子。但是,上述区域信息的详细情况仅为一例,能够进行各种变更。例如,能够进行构成要素的追加、削除、变更。
例如,还可以在区域信息存储部中存储多个区域信息。另外,还可以根据头戴式显示器的使用者的喜好(设定)、使用者的视线的移动、使用者的头的运动、周围的明暗度等任意条件,来选择生成一览图像时所使用的构架。
·变形例6:
上述第2实施方式(图11)中示出了存储在构架信息中的构架的例子。但是,上述构架的详细仅为一例,能够进行各种变更。例如,能够进行构成要素的追加、削除、变更。
例如,构架信息中还可以存储多个构架。另外,可以根据头戴式显示器的使用者的喜好(设定)、使用者的视线的移动、使用者的头的运动、周围的明暗度等任意条件,来选择生成第2图像时所使用的构架。
例如,构架具有两个图像列表LT1、LT2。但是,构架所具有的图像列表可以为一个,也可以为三个以上。另外,图像列表内的图像边框的形状、大小、个数能够任意确定。而且,构架的区域的大小(纵横比)还可以不与区域信息的第2区域为相同的大小(纵横比)。
·变形例7:
本发明不限于上述的实施方式、实施例或变形例,在不脱离其主旨的范围内能够通过各种结构来实现。例如,与发明内容部分记载的各方式中的技术特征相对应的实施方式、实施例、变形例中的技术特征,为了解决上述课题的一部分或全部、或者为了实现上述效果的一部分或全部,能够进行适当地替换或组合。另外,只要在本说明书中没有说明该技术特征是必须的,就能够适当地删除。

Claims (16)

1.一种头部佩戴型显示装置,其特征在于,使用者能够看到虚像和外景,具有:
生成部,其生成一览图像,该一览图像包含作为连接于所述头部佩戴型显示装置的外部装置的显示图像的第1图像和所述头部佩戴型显示装置所具有的第2图像;
形成表示所述生成的一览图像的所述虚像的图像显示部;
获取所述使用者针对所述一览图像的操作的操作获取部;和
在所述获取的操作为针对所述第1图像的操作的情况下,向所述外部装置通知所述操作的第1通知部。
2.根据权利要求1所述的头部佩戴型显示装置,其特征在于,
还具有从所述外部装置获取所述第1图像的获取部,
所述生成部生成所述一览图像,所述一览图像是在第1区域配置有所述获取的第1图像、在与所述第1区域不同的第2区域配置有所述第2图像的图像。
3.根据权利要求1或2所述的头部佩戴型显示装置,其特征在于,
所述生成部将所述头部佩戴型显示装置中的当前的显示图像作为所述第2图像。
4.根据权利要求1或2所述的头部佩戴型显示装置,其特征在于,
所述生成部通过改变所述头部佩戴型显示装置所具有的图标图像的配置来生成所述第2图像。
5.根据权利要求4所述的头部佩戴型显示装置,其特征在于,
所述生成部在生成所述第2图像时,还对所述图标图像实施形状的改变、透射率的改变、颜色的改变、大小的改变和装饰的附加中的至少任一项。
6.根据权利要求1或2所述的头部佩戴型显示装置,其特征在于,
所述生成部还改变所述第1图像和所述第2图像中的至少一个图像的大小,并利用所述改变后的所述图像来生成所述一览图像。
7.根据权利要求1或2所述的头部佩戴型显示装置,其特征在于,
所述生成部还对所述第1图像和所述第2图像中的至少一个图像实施形状的改变、透射率的改变、颜色的改变、大小的改变和装饰的附加中的至少任一种,并利用所述实施后的所述图像来生成所述一览图像。
8.根据权利要求1或2所述的头部佩戴型显示装置,其特征在于,
所述图像显示部形成对所述一览图像进一步重叠有指示图像而成的所述虚像,
所述生成部使重叠于所述第1图像的所述指示图像和重叠于所述第2图像的所述指示图像成为不同的图像。
9.根据权利要求8所述的头部佩戴型显示装置,其特征在于,
所述生成部还对重叠于所述第1图像的所述指示图像和重叠于所述第2图像的所述指示图像中的至少一方实施形状的改变、透射率的改变、颜色的改变、大小的改变和装饰的附加中的至少任一种,由此,使各所述指示图像成为不同的图像。
10.根据权利要求1或2所述的头部佩戴型显示装置,其特征在于,
所述图像显示部形成对所述一览图像进一步重叠有指示图像而成的所述虚像,
并具有第2通知部,该第2通知部在所述指示图像重叠于所述第1图像的情况下,向所述外部装置通知位置信息,该位置信息用于使所述外部装置用的指示图像重叠于在所述外部装置的显示图像中、与重叠有所述指示图像的位置相对应的位置。
11.根据权利要求8中任一项所述的头部佩戴型显示装置,其特征在于,
所述图像显示部形成所述虚像,所述虚像是在基于所述头部佩戴型显示装置的输入设备中的指示体的运动和所述使用者的视线的移动中的至少任一方所确定的位置上重叠有所述指示图像而成的图像。
12.根据权利要求2所述的头部佩戴型显示装置,其特征在于:
所述获取部从一个所述外部装置获取所述第1图像,并从别的所述外部装置获取所述别的外部装置的显示图像即第3图像,
所述生成部生成在与所述第1区域及所述第2区域不同的第3区域配置有所述第3图像而成的所述一览图像。
13.一种控制头部佩戴型显示装置的方法,其特征在于,具有以下步骤:
(a)生成一览图像的步骤,所述一览图像包括:连接于所述头部佩戴型显示装置的外部装置的显示图像即第1图像和所述头部佩戴型显示装置所具有的第2图像;
(b)形成表示所述生成的一览图像的虚像的步骤;
(c)获取使用者针对所述一览图像的操作的步骤;和
(d)在所述获取的操作为针对所述第1图像的操作的情况下,向所述外部装置通知所述操作的步骤。
14.一种计算机存储介质,其记录有计算机程序,其特征在于,
所述计算机程序使计算机实现以下功能:
生成一览图像的功能,所述一览图像包括:连接于头部佩戴型显示装置的外部装置的显示图像即第1图像;和所述头部佩戴型显示装置所具有的第2图像;
使表示所述生成的一览图像的虚像形成于所述头部佩戴型显示装置的功能;
获取使用者针对所述一览图像的操作的功能;和
在所述获取的操作为针对所述第1图像的操作的情况下,向所述外部装置通知所述操作的功能。
15.一种图像显示系统,其特征在于,具有:
使用者能够看到虚像和外景的头部佩戴型显示装置;和
连接于所述头部佩戴型显示装置的外部装置,
所述外部装置具有发送部,该发送部获取所述外部装置的显示图像即第1图像,并将所述获取的第1图像向所述头部佩戴型显示装置发送,
所述头部佩戴型显示装置具有:
生成包含所述第1图像和所述头部佩戴型显示装置所具有的第2图像的一览图像的生成部;
形成表示所述生成的一览图像的所述虚像的图像显示部;
获取所述使用者针对所述一览图像的操作的操作获取部;和
在所述获取的操作为针对所述第1图像的操作的情况下,向所述外部装置通知所述操作的第1通知部。
16.一种信息处理装置,其特征在于,是连接于头部佩戴型显示装置,并生成用于供所述头部佩戴型显示装置显示的图像的信息处理装置,具有:
获取连接于所述头部佩戴型显示装置的外部装置的显示图像即第1图像和所述头部佩戴型显示装置所具有的第2图像的获取部;
生成包括所述获取的第1图像和所述获取的第2图像的一览图像的一览图像生成部;
将所述生成的一览图像向所述头部佩戴型显示装置发送的一览图像发送部;和
在使用者针对所述一览图像的操作为针对所述第1图像的操作的情况下,接收来自所述头部佩戴型显示装置的所述操作的通知的通知接收部。
CN201410442968.XA 2013-09-05 2014-09-02 头部佩戴型显示装置、图像显示系统及信息处理装置 Active CN104423583B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2013183631A JP6229381B2 (ja) 2013-09-05 2013-09-05 頭部装着型表示装置、頭部装着型表示装置を制御する方法、画像表示システム、情報処理装置
JP2013-183631 2013-09-05
JP2014-106842 2014-05-23
JP2014106842A JP6492419B2 (ja) 2014-05-23 2014-05-23 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム、画像表示システム、および、情報処理装置

Publications (2)

Publication Number Publication Date
CN104423583A CN104423583A (zh) 2015-03-18
CN104423583B true CN104423583B (zh) 2018-12-04

Family

ID=52582578

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410442968.XA Active CN104423583B (zh) 2013-09-05 2014-09-02 头部佩戴型显示装置、图像显示系统及信息处理装置

Country Status (2)

Country Link
US (1) US20150062164A1 (zh)
CN (1) CN104423583B (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10451874B2 (en) * 2013-09-25 2019-10-22 Seiko Epson Corporation Image display device, method of controlling image display device, computer program, and image display system
KR20160014418A (ko) 2014-07-29 2016-02-11 삼성전자주식회사 유저 인터페이스 장치 및 유저 인터페이스 방법
KR102400900B1 (ko) * 2015-10-26 2022-05-23 엘지전자 주식회사 시스템
CN105338272A (zh) * 2015-11-27 2016-02-17 广东长虹电子有限公司 基于VR技术及Miracast技术的电视机
CN105807915A (zh) * 2016-02-24 2016-07-27 北京小鸟看看科技有限公司 虚拟鼠标的控制方法、控制装置以及头戴显示设备
CN109074212B (zh) * 2016-04-26 2021-12-31 索尼公司 信息处理装置、信息处理方法和程序
US20170365097A1 (en) * 2016-06-20 2017-12-21 Motorola Solutions, Inc. System and method for intelligent tagging and interface control
CN107621917A (zh) * 2016-07-14 2018-01-23 幸福在线(北京)网络技术有限公司 一种在虚拟现实图像中实现放大展示的方法及装置
WO2018011988A1 (ja) * 2016-07-15 2018-01-18 ブレイニー株式会社 仮想現実システム、及び、情報処理システム
EP3296792A1 (en) * 2016-09-19 2018-03-21 Essilor International Method for managing the display of an image to a user of an optical system
CN106547378A (zh) * 2016-12-07 2017-03-29 歌尔科技有限公司 一种用于vr设备的触控装置和虚拟现实系统
US10760815B2 (en) * 2017-12-19 2020-09-01 Honeywell International Inc. Building system commissioning using mixed reality
US10540941B2 (en) 2018-01-30 2020-01-21 Magic Leap, Inc. Eclipse cursor for mixed reality displays
US11567627B2 (en) 2018-01-30 2023-01-31 Magic Leap, Inc. Eclipse cursor for virtual content in mixed reality displays
JP2019211595A (ja) 2018-06-04 2019-12-12 富士ゼロックス株式会社 表示制御装置、プログラム及び表示システム
US11157159B2 (en) 2018-06-07 2021-10-26 Magic Leap, Inc. Augmented reality scrollbar
KR20200098034A (ko) * 2019-02-11 2020-08-20 삼성전자주식회사 가상 현실 유저 인터페이스를 제공하기 위한 전자 장치 및 그의 동작 방법
KR102169799B1 (ko) * 2019-04-11 2020-10-26 주식회사 실리콘아츠 포터블 레이 트레이싱 장치
JP6655751B1 (ja) * 2019-07-25 2020-02-26 エヌ・ティ・ティ・コミュニケーションズ株式会社 映像表示制御装置、方法およびプログラム
JP2021105782A (ja) * 2019-12-26 2021-07-26 セイコーエプソン株式会社 表示システム、表示方法、及び、プログラム
US11287155B2 (en) 2020-02-11 2022-03-29 Honeywell International Inc. HVAC system configuration with automatic parameter generation
US11237534B2 (en) 2020-02-11 2022-02-01 Honeywell International Inc. Managing certificates in a building management system
US11526976B2 (en) 2020-02-11 2022-12-13 Honeywell International Inc. Using augmented reality to assist in device installation
TWI780497B (zh) * 2020-10-07 2022-10-11 佳世達科技股份有限公司 顯示系統、顯示方法及顯示器
US11847310B2 (en) 2020-10-09 2023-12-19 Honeywell International Inc. System and method for auto binding graphics to components in a building management system
JP2022118501A (ja) * 2021-02-02 2022-08-15 キヤノン株式会社 表示システム、表示装置とその制御方法及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1556955A (zh) * 2001-11-27 2004-12-22 ���µ�����ҵ��ʽ���� 佩带型信息告知装置
WO2009041414A1 (ja) * 2007-09-28 2009-04-02 Brother Kogyo Kabushiki Kaisha 画像表示装置及び画像表示システム
US8203502B1 (en) * 2011-05-25 2012-06-19 Google Inc. Wearable heads-up display with integrated finger-tracking input sensor

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090195513A1 (en) * 2008-02-05 2009-08-06 Delphi Technologies, Inc. Interactive multimedia control module
US8957835B2 (en) * 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US20100259464A1 (en) * 2009-04-14 2010-10-14 Jae Young Chang Terminal and controlling method thereof
JP5630141B2 (ja) * 2010-08-18 2014-11-26 ブラザー工業株式会社 画像表示システム、画像表示システムに含まれる携帯型情報処理装置のためのコンピュータプログラム、画像表示システムに含まれるヘッドマウントディスプレイ、及び画像表示方法
US9519357B2 (en) * 2011-01-30 2016-12-13 Lg Electronics Inc. Image display apparatus and method for operating the same in 2D and 3D modes
KR101252169B1 (ko) * 2011-05-27 2013-04-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US9507426B2 (en) * 2013-03-27 2016-11-29 Google Inc. Using the Z-axis in user interfaces for head mountable displays
US10451874B2 (en) * 2013-09-25 2019-10-22 Seiko Epson Corporation Image display device, method of controlling image display device, computer program, and image display system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1556955A (zh) * 2001-11-27 2004-12-22 ���µ�����ҵ��ʽ���� 佩带型信息告知装置
WO2009041414A1 (ja) * 2007-09-28 2009-04-02 Brother Kogyo Kabushiki Kaisha 画像表示装置及び画像表示システム
US8203502B1 (en) * 2011-05-25 2012-06-19 Google Inc. Wearable heads-up display with integrated finger-tracking input sensor

Also Published As

Publication number Publication date
US20150062164A1 (en) 2015-03-05
CN104423583A (zh) 2015-03-18

Similar Documents

Publication Publication Date Title
CN104423583B (zh) 头部佩戴型显示装置、图像显示系统及信息处理装置
JP6492419B2 (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム、画像表示システム、および、情報処理装置
CN104469464B (zh) 图像显示装置、控制图像显示装置的方法、计算机程序以及图像显示系统
CN104423043A (zh) 头部佩戴型显示装置、控制头部佩戴型显示装置的方法以及图像显示系统
CN103309034B (zh) 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
CN104062759B (zh) 信息显示系统、信息显示方法、以及头戴式显示装置
US10642564B2 (en) Display system, display device, information display method, and program
US9784976B2 (en) Head mounted display, information processing apparatus, image display apparatus, image display system, method for sharing display of head mounted display, and computer program
CN105045375A (zh) 头部佩戴型显示装置、其控制方法、控制系统及计算机程序
WO2013166362A2 (en) Collaboration environment using see through displays
JP2016039599A (ja) 頭部装着型表示装置、情報システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム
US9799144B2 (en) Head mounted display, and control method for head mounted display
JP6229381B2 (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、画像表示システム、情報処理装置
JP2015227919A (ja) 画像表示装置、画像表示装置を制御する方法、コンピュータープログラム、および、画像表示システム
JP6828235B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の表示を共有する方法、コンピュータープログラム
US20230217007A1 (en) Hyper-connected and synchronized ar glasses
JP2017062650A (ja) 表示システム、表示装置、情報表示方法、及び、プログラム
US11893989B2 (en) Voice-controlled settings and navigation
JP6733401B2 (ja) 表示システム、表示装置、情報表示方法、及び、プログラム
JP2015064476A (ja) 画像表示装置、画像表示装置を制御する方法
US11580300B1 (en) Ring motion capture and message composition system
JP2016142966A (ja) 頭部装着型表示装置、情報処理装置、画像表示装置、画像表示システム、頭部装着型表示装置の表示を共有する方法、コンピュータープログラム
JP6394174B2 (ja) 頭部装着型表示装置、画像表示システム、頭部装着型表示装置を制御する方法、および、コンピュータープログラム
WO2024049565A1 (en) Extending user interfaces of mobile apps to ar eyewear
AU2022386387A1 (en) Systems, methods, and media for controlling shared extended reality presentations

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant