CN104469464A - 图像显示装置、控制图像显示装置的方法、计算机程序以及图像显示系统 - Google Patents

图像显示装置、控制图像显示装置的方法、计算机程序以及图像显示系统 Download PDF

Info

Publication number
CN104469464A
CN104469464A CN201410498313.4A CN201410498313A CN104469464A CN 104469464 A CN104469464 A CN 104469464A CN 201410498313 A CN201410498313 A CN 201410498313A CN 104469464 A CN104469464 A CN 104469464A
Authority
CN
China
Prior art keywords
image
external device
viewing area
display
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410498313.4A
Other languages
English (en)
Other versions
CN104469464B (zh
Inventor
木村总志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2013198132A external-priority patent/JP2015064476A/ja
Priority claimed from JP2014112601A external-priority patent/JP2015227919A/ja
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN104469464A publication Critical patent/CN104469464A/zh
Application granted granted Critical
Publication of CN104469464B publication Critical patent/CN104469464B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

提供能够将周边的外部装置中的显示综合的图像显示装置。图像显示装置具备:生成部,其生成包含第1显示区域与第2显示区域的综合图像,所述第1显示区域一览显示用于使连接于图像显示装置的多个外部装置相互识别的多个识别图像中的至少一部分识别图像,所述第2显示区域对作为从多个外部装置中选择的一个外部装置所显示的图像的显示图像进行显示;和图像显示部,其使图像显示装置的使用者观看综合图像。

Description

图像显示装置、控制图像显示装置的方法、计算机程序以及图像显示系统
技术领域
本发明涉及图像显示装置。
背景技术
作为佩戴于头部的显示装置的头部佩戴型显示装置(头置式显示器(Head Mounted Display,HMD))众所周知。头部佩戴型显示装置例如利用液晶显示器与光源而生成表示图像的图像光、利用投射光学系和/或导光板等将所生成的图像光向使用者的眼睛引导,由此使使用者识别虚像。这样的头部佩戴型显示装置,能够通过例如MicroUSB(Universal Serial Bus:通用串行总线)等有线接口与智能手机等外部装置连接,依照MHL(Mobile High definition Link:移动终端高清影音标准接口)等标准,接收来自外部装置的影像信号。同样,头部佩戴型显示装置,能够通过例如无线LAN等无线接口与外部装置连接,依照Miracast等标准,接收来自外部装置的影像信号。头部佩戴型显示装置能够基于这样接收的影像信号,使头部佩戴型显示装置的使用者观看与显示于外部装置的显示画面的图像相同的虚像。
在专利文献1中,记载有能够将现在的节目影像、与现在的节目影像相关的信息和其他的频道的节目信息综合而显示于1个画面的AV(AudioVisual:音频视频)系统。在专利文献2中,记载有与多个计算机装置的显示画面相邻地设置假想画面、各计算机装置的用户能够操作假想画面上的窗口的图像显示装置。
专利文献1:专利第3968467号公报
专利文献2:专利第5082722号公报
发明内容
在专利文献1所记载的技术中,作为连接于AV系统的AV设备,例示有模拟广播接收单元与数字广播接收单元。即,在专利文献1所记载的技术中,具有以特定的设备之间的影像为对象、通用性较低的课题。另外,在专利文献2所记载的技术中,具有只能提供与计算机装置的显示画面不同的显示手段即假想画面、不能将多个计算机装置的显示画面综合的课题。
因此,希望有能够将周边的外部装置(周边设备)中的显示综合的图像显示装置。此外,对图像显示装置,具有通用性的提高、实用性的提高、便利性的提高、可信性的提高、制造成本的降低等各种希望。
本发明是为了解决上述的课题的至少一部分而完成的,能够以以下的形态而实现。
(1)根据本发明的一形态,提供一种图像显示装置。该图像显示装置具备:生成部,其生成包含第1显示区域与第2显示区域的综合图像,所述第1显示区域一览显示用于使连接于所述图像显示装置的多个外部装置相互识别的多个识别图像中的至少一部分所述识别图像,所述第2显示区域对作为从所述多个外部装置中选择的一个外部装置所显示的图像的显示图像进行显示;和图像显示部,其使所述图像显示装置的使用者观看所述综合图像。根据该形态的图像显示装置,图像显示部能够使使用者观看综合图像,所示综合图像包含:连接于图像显示装置的多个外部装置的多个识别图像中的至少一部分识别图像;和作为从多个外部装置中选择的一个外部装置所显示的图像的显示图像。因此,能够提供能够将图像显示装置周边的、换而言之连接于图像显示装置的外部装置中的显示综合的图像显示装置。
(2)在上述形态的图像显示装置中,也可以进而具备:获取部,其从所述一个外部装置获取所述显示图像;和更新部,其使用所述所获取的显示图像,对所述综合图像的所述第2显示区域进行更新。根据该形态的图像显示装置,图像显示部能够使使用者观看对从多个外部装置中选择的一个外部装置、将其显示图像更新了的综合图像。
(3)在上述形态的图像显示装置中,也可以:在所述识别图像中,包含所述外部装置的一个时间点的显示图像、表示用于识别所述外部装置的信息的图像和表示向所述外部装置分配的符号的图像中的至少任意一个。根据该形态的图像显示装置,在综合图像的第1显示区域,能够包含外部装置的一个时间点的显示图像、表示用于识别外部装置的信息的图像和表示向外部装置分配的符号的图像中的至少任意一个。
(4)在上述形态的图像显示装置中,也可以:进而具备外部装置特定部,其从所述多个外部装置中对所述使用者注意过的外部装置进行特定;所述生成部将所述多个外部装置中的至少在过去由所述外部装置特定部特定的所述外部装置的所述识别图像显示于所述第1显示区域。根据该形态的图像显示装置,生成部将连接于图像显示装置的多个外部装置中的至少在过去使用者注意过的外部装置的识别图像显示于第1显示区域。这样,使用者能够通过“注意”而选择显示于第1显示区域的外部装置,所以使用者的便利性提高。另外,能够抑制在图像显示装置上连接有数量较多的外部装置等情况下的、第1显示区域的复杂化。
(5)在上述形态的图像显示装置中,也可以:进而具备外部装置特定部,其从所述多个外部装置中对所述使用者注意过的外部装置进行特定;所述获取部从由所述外部装置特定部特定的所述外部装置获取所述显示图像。根据该形态的图像显示装置,获取部从使用者注意过的外部装置获取显示图像,更新部使用所获取的显示图像对综合图像的第2显示区域进行更新。这样,使用者能够通过“注意”而选择显示于第2显示区域的外部装置,所以使用者的便利性提高。
(6)在上述形态的图像显示装置中,也可以:进而具备距离获取部,其分别获取所述图像显示装置与所述多个外部装置之间的距离;所述生成部与所述所获取的各距离相应,确定所述第1显示区域中的所述多个识别图像的显示顺序和所述第1显示区域中的所述识别图像的大小中的至少一方。根据该形态的图像显示装置,图像显示部能够使使用者观看与图像显示装置和多个外部装置之间的距离相应地使第1显示区域中的多个识别图像的显示顺序与大小中的至少一方变化的综合图像。结果,使用者能够通过第1显示区域中的显示顺序或大小得知图像显示装置与多个外部装置之间的距离。
(7)在上述形态的图像显示装置中,所述生成部也可以对所述第1显示区域进行更新。根据该形态的图像显示装置,生成部也能够对所述第1显示区域进行更新。
(8)在上述形态的图像显示装置中,也可以:所述图像显示部进而具备生成表示所述综合图像的图像光的显示驱动部,通过将所述所生成的图像光向所述使用者的眼睛射出而使所述使用者观看所述综合图像。根据该形态的图像显示装置,能够将图像显示装置构成为头部佩戴型显示装置。
(9)在上述形态的图像显示装置中,也可以:所述生成部将所述第2显示区域的纵横比设为能够通过所述显示驱动部生成所述图像光的区域的纵横比,生成在所述第2显示区域的外侧配置了所述第1显示区域的所述综合图像;所述图像显示部,在没有由所述使用者进行的操作的情况下,对所述显示驱动部,使其生成与所述综合图像的所述第2显示区域相当的部分的所述图像光;在具有由所述使用者进行的操作的情况下,对所述显示驱动部,使其生成至少与所述综合图像的所述第1显示区域相当的部分的所述图像光。根据该形态的图像显示装置,图像显示部在没有由使用者进行的操作的情况下,使使用者观看与综合图像的第2显示区域相当的部分,在具有由使用者进行的操作的情况下,使使用者观看与综合图像的第1显示区域相当的部分。结果,根据该形态的图像显示装置,能够在通常画面(第2显示区域)的外侧设置假想画面(第1显示区域),通过由使用者进行的操作,对通常画面与假想画面的显示进行切换。结果,能够提高使用者的便利性。
(10)在上述形态的图像显示装置中,也可以:所述图像显示部,使所述显示驱动部生成表示用于向所述一个外部装置附加的附加提示用的信息即用于向所述使用者提供增强现实感的附加提示用的信息的图像光,通过将所述所生成的图像光向所述使用者的眼睛射出而使所述使用者观看所述附加提示用的信息。根据该形态的图像显示装置,图像显示部在使用者对一个外部装置注意的情况下,能够使其观看用于向使用者提供增强现实感的附加提示用的信息。结果,能够使使用者的便利性提高。
(11)根据本发明的一形态,提供图像显示系统。该图像显示系统具备:信息处理装置;连接于所述信息处理装置的图像显示装置;和连接于所述信息处理装置的多个外部装置;所述信息处理装置具备:代理生成部,其生成包含第1显示区域与第2显示区域的综合图像,所述第1显示区域一览显示用于使所述多个外部装置相互识别的多个识别图像中的至少一部分所述识别图像,所述第2显示区域对作为从所述多个外部装置中选择的一个外部装置所显示的图像的显示图像进行显示;和发送部,其将所述综合图像向所述信息处理装置发送;所述图像显示装置具备图像显示部,其使所述图像显示装置的使用者观看从所述信息处理装置接收的所述综合图像。根据该形态的图像显示系统,能够提供能够将图像显示装置周边的、换而言之经由信息处理装置连接于图像显示装置的外部装置上的显示综合的图像显示系统。
上述的本发明的各形态所具有的多个构成要素都不是必须的,为了解决上述的课题的一部分或全部、或者为了达成本说明书中所记载的效果的一部分或全部,能够适当对所述多个构成要素的一部分构成要素进行其变更、删除、与新的构成要素的替换、限定内容的一部分删除。另外,为了解决上述的课题的一部分或全部、或者为了达成本说明书中所记载的效果的一部分或全部,也能够将上述的本发明的一形态中所含的技术特征的一部分或全部与上述的本发明的其他的形态中所含的技术特征的一部分或全部组合而设为本发明的独立的一形态。
例如,本发明的一形态能够设为具备生成部、图像显示部2个要素中的一部分或全部要素的装置而实现。即,该装置可以具有也可以没有生成部。另外,该装置可以具有也可以没有图像显示部。这样的装置能够设为例如图像显示装置而实现,但也能够设为图像显示装置以外的其他的装置而实现。前述的图像显示装置的各形态的技术特征的一部分或全部都能够适用于该装置。
另外,本发明能够以各种形态实现,例如,能够以图像显示装置、图像显示装置的控制方法、使用了图像显示装置的图像显示系统、头部佩戴型显示装置、头部佩戴型显示装置的控制方法、使用了头部佩戴型显示装置的图像显示系统、用于实现这些方法、装置或系统的功能的计算机程序、记录了该计算机程序的记录介质等形态实现。
附图说明
图1是表示本发明的一实施方式中的图像显示系统1000的概略构成的说明图。
图2是功能性表示头置式显示器100的构成的框图。
图3是表示区域信息122的一例的说明图。
图4是表示使使用者观看的虚像的一例的说明图。
图5是表示综合图像显示处理的顺序的时序图。
图6是表示在步骤S126中生成的综合图像的一例的说明图。
图7是表示综合图像更新处理的顺序的时序图。
图8A是表示在头置式显示器100上显示有将第2显示区域更新了的综合图像的样子说明图。
图8B是与使用附加的处理1的无线标签的方法有关的说明图。
图9是功能性表示第2实施方式的头置式显示器100a的构成的框图。
图10是表示第2实施方式的综合图像显示处理的顺序的时序图。
图11是表示在第2实施方式的综合图像显示处理的步骤S126中生成的综合图像的一例的说明图。
图12是表示第2实施方式中的综合图像更新处理的顺序的时序图。
图13是表示在头置式显示器100a上显示有对第1显示区域与第2显示区域进行了更新的综合图像的样子的说明图。
图14是功能性表示第3实施方式的头置式显示器100b的构成的框图。
图15是表示第3实施方式中的区域信息122b的一例的说明图。
图16是用于说明图像处理部160b的工作的一例的说明图。
图17是表示第4实施方式的图像显示系统1000c的概略构成的说明图。
图18是功能性表示服务器900的构成的框图。
图19是表示变形例中的头置式显示器的外观的构成的说明图。
图20是表示变形例中的区域信息122x的一例的说明图。
符号说明
10…控制部
20…图像显示部
22…右显示驱动部
24…左显示驱动部
26…右光学像显示部
28…左光学像显示部
32…右耳机
34…左耳机
40…连接部
51…发送部
52…发送部
53…接收部
100…头置式显示器(头部佩戴型显示装置)
110…输入信息获取部(操作获取部)
120…存储部
122…区域信息
124…识别图像存储部
130…电源
132…无线通信部(获取部)
140…CPU
142…生成部(获取部、生成部)
144…更新部(更新部)
160…图像处理部
170…音声处理部
180…接口
190…显示控制部
201…右背光控制部
202…左背光控制部
221…右背光
222…左背光
251…右投射光学系
252…左投射光学系
261…右导光板
262…左导光板
300…计算机(外部装置)
400…家电(外部装置)
500…设备(外部装置)
600…便携终端(外部装置)
700…游戏设备(外部装置)
900…服务器(信息处理装置)
910…CPU
912…代理生成部(代理生成部)
914…代理更新部
916…发送接收部(发送部)
920…ROM
930…RAM
940…通信接口
950…存储部
952…区域信息
954…识别图像存储部
1000…图像显示系统
Data…图像数据
SC…外景
RE…右眼
LE…左眼
VI…虚像
VR…视野
J1~J6…识别图像
B1~B6…缩略图显示区域(第1显示区域)
G1~G6…识别图像
BG…活动显示区域(第2显示区域)
GI…综合图像
INT…互联网
具体实施方式
A.第1实施方式:
A-1.图像显示系统的构成:
图1是表示本发明的一实施方式中的图像显示系统1000的概略构成的说明图。图像显示系统1000具备头部佩戴型显示装置100、计算机300(PC300)、家电400、AV(Audio Visual)设备500、便携终端600、游戏设备700。以后,也将头部佩戴型显示装置100称为“图像显示装置”。同样,也将PC300、家电400、AV设备500、便携终端600、游戏设备700总称为“外部装置”。图像显示系统1000是将“综合图像”显示于头部佩戴型显示装置100的系统,所述综合图像是使将连接于头部佩戴型显示装置100的外部装置中的显示综合而成的。
头部佩戴型显示装置100是佩戴于头部的图像显示装置,也称为头置式显示器(Head Mounted Display,HMD)。本实施方式的头置式显示器100是使用者观看虚像同时也能够直接观看外景的光学透射型的头部佩戴型显示装置。PC300为信息通信终端。在本实施方式中,作为PC300例示笔记本式计算机,但PC300也可以由台式计算机等其他的信息通信终端构成。家电400为家庭用的电气产品。在本实施方式中,作为家电400例示冰箱,但家电400也可以由空调、微波炉、洗衣机、电话、传真机、打印机、数字照相机等其他的电气产品构成。
AV设备500是对影像进行记录、再现、转换等的影像设备和对音声进行记录、再现、转换等的音响设备的总称。在本实施方式中,作为AV设备500例示硬盘播放器,但AV设备500也可以由电视机、DVD(Digital Versatile Disk:数字多功能光盘)播放器、CD音频、数字音频播放器等其他的影像设备和/或音响设备构成。便携终端600为能够便携的信息通信终端。在本实施方式中,作为便携终端600例示智能手机(smartphone),但便携终端600也可以由便携电话、PDA(Personal Digital Assistant:个人数字助手)、平板终端等其他的便携信息通信终端构成。游戏设备700是用于使计算机游戏工作的设备。
上述的PC300、家电400、AV设备500、便携终端600、游戏设备700的外部装置分别能够无线通信或有线通信地与头置式显示器100连接。
A-2.头置式显示器的构成:
图2是功能性表示头置式显示器100的构成的框图。如图1、2所示,头置式显示器100具备:在佩戴于使用者的头部的状态下使使用者观看虚像的图像显示部20,和控制图像显示部20的控制部(控制器)10。图像显示部20与控制部10通过连接部40连接,经由连接部40进行各种信号的传送。在连接部40中,能够采用金属线缆和/或光纤。
A-2-1.控制部的构成:
控制部10是用于控制头置式显示器100的装置。控制部10具备输入信息获取部110、存储部120、电源130、无线通信部132、GPS模块134、CPU140、接口180、发送部(Tx)51以及52,各部分通过未图示的总线相互连接(图2)。
输入信息获取部110获取与操作输入相应的信号,所述操作输入与例如触摸板、十字键、脚踏开关、手势检测、视线检测、触摸检测、话筒等输入设备相对。具体地说,脚踏开关为通过使用者的脚操作的开关。在手势检测中,使用照相机等检测使用者的手势。在该情况下,使手势与指令预先对应。另外,在手势检测时,也可以将使用者的指尖、和/或带在使用者的手上的指环、和/或使用者手持的道具等设为用于运动检测的标记。在视线检测中,使用红外线传感器等检测使用者的视线。在该情况下,使视线的运动与指令预先对应。在触摸检测中,检测使用者对设置于头置式显示器100的壳体的任意的场所(例如,图像显示部20的右保持部21以及左保持部23(图1)的外侧)的接触传感器的触摸操作。
这样,输入信息获取部110获取与操作输入相应的信号,所述操作输入与各种输入设备相对。特别,如果设为获取脚踏开关、视线检测、利用话筒的操作输入,则在使用者难以使用手操作的场面(例如,家务等作业场面、医疗现场的作业场面、建筑业和/或制造业等需要手头作业的作业场面),能够大大提高使用头置式显示器100的情况下的使用者的便利性。
存储部120由ROM、RAM、DRAM、硬盘等构成。存储部120包含区域信息122和识别图像存储部124。区域信息122是对在综合图像显示处理(图5)中生成的综合图像所含的“区域”进行规定的信息。识别图像存储部124是用于预先存储在综合图像显示处理中收集的外部装置的识别图像的存储部。在这里,所谓综合图像显示处理,是生成综合图像并显示于头置式显示器100的处理。所谓综合图像,是包含连接于头置式显示器100的多个外部装置的识别图像和作为从多个外部装置中由使用者选择的一个外部装置显示的图像的显示图像(以后,也简称为“显示图像”。)双方的图像。所谓综合图像更新处理,是对综合图像中由使用者选择的一个外部装置的显示图像进行动态更新并显示于头置式显示器100的处理。
所谓“外部装置的识别图像”,是用于相互识别连接于头置式显示器100的外部装置的图像。作为本实施方式中的外部装置的识别图像,能够使用例如表示以下的a1~a3所例示的信息的图像。
(a1)外部装置的一个时间点下的显示图像。
(a2)外部装置的操作画面和/或设定画面的显示图像。
(a3)外部装置的一个期间的显示图像的缩短动态图像。
图3是表示区域信息122的一例的说明图。区域信息122具有长方形状的区域(以后,也称为“区域122”。)。区域122优选具有与头置式显示器100的显示元件(图2:右LCD241、左LCD242)的纵横比相同的纵横比。区域122包含6个缩略图显示区域B1~B6和活动显示区域BG。缩略图显示区域B1~B6,是用于通过在综合图像显示处理(图5)中配置有多个外部装置的识别图像而一览显示多个外部装置的识别图像的区域。也将缩略图显示区域B1~B6称为“第1显示区域”。活动显示区域BG,是用于在综合图像显示处理中配置有从多个外部装置中由使用者选择的一个外部装置的显示图像的区域。也将活动显示区域BG称为“第2显示区域”。
在图3的例子中,缩略图显示区域B1~B3分别在铅直方向上相邻而配置于区域122的左端部。缩略图显示区域B4~B6分别在铅直方向上相邻而配置于区域122的右端部。另外,缩略图显示区域B1~B6分别是相同大小的区域。另外,在图3的例子中,活动显示区域BG是占据从区域122将缩略图显示区域B1~B6除外的部分的区域。在图3中,对缩略图显示区域B1~B6涂以点状的阴影,对活动显示区域BG涂以斜线阴影。
另外,图3所示的缩略图显示区域B1~B6的配置以及大小为一例,能够任意地确定。例如,缩略图显示区域B1~B6也可以配置于区域122的上端部和/或下端部。另外,缩略图显示区域B1~B6也可以配置成包围区域122的四边。另外,缩略图显示区域B1~B6的各区域也可以为不同的大小。进而,缩略图显示区域B1~B6也可以设为区域的至少一部分分别重合。但是,为了提高活动显示区域BG的观看性,缩略图显示区域B1~B6优选配置于不妨碍使用者的视野的区域122的端部。
电源130向头置式显示器100的各部分供给电力。作为电源130,能够使用例如二次电池。无线通信部132依照预定的无线通信标准(例如,红外线、Bluetooth(注册商标)所例示的近距离无线通信、IEEE802.11所例示的无线LAN等),与外部装置之间进行无线通信。GPS模块134通过接收来自GPS卫星的信号,检测头置式显示器100的使用者的现在位置,生成表示使用者的现在位置的现在位置信息。另外,现在位置信息能够通过例如表示经度纬度的坐标而实现。
CPU140通过读出并执行存储于存储部120的计算机程序,作为生成部142、更新部144、操作系统(ОS)150、图像处理部160、音声处理部170、显示控制部190而起作用。
生成部142执行综合图像显示处理(图5),生成综合图像。生成部142实现作为对多个外部装置生成综合图像的“生成部”的功能,所述综合图像包含:第1显示区域,其一览显示用于使多个外部装置相互识别的多个识别图像;和第2显示区域,其显示从多个外部装置中由使用者选择的一个外部装置的显示图像。更新部144执行综合图像更新处理(图7),对综合图像进行更新。更新部144实现作为获取从多个外部装置中由使用者选择的一个外部装置的显示图像的“获取部”的功能和作为使用所获取的显示图像对综合图像的第2显示区域进行更新的“更新部”的功能。
图像处理部160基于从生成部142、和/或接口180、和/或无线通信部132等经由OS150输入的影像信号而生成信号。图像处理部160通过将所生成的信号经由连接部40向图像显示部20供给,控制图像显示部20中的显示。用于向图像显示部20供给的信号在模拟形式与数字形式的情况下不同。
例如,在数字形式的情况下,输入有数字R信号、数字G信号、数字B信号与时钟信号PCLK同步的状态的影像信号。图像处理部160根据需要而对由数字R信号、数字G信号、数字B信号构成的图像数据Data执行众所周知的解析度转换处理、亮度彩度的调整等各种色调校正处理、梯形失真校正处理等图像处理。然后,图像处理部160经由发送部51、52发送时钟信号PCLK、图像数据Data。
在模拟形式的情况下,输入有由模拟R信号、模拟G信号、模拟B信号、垂直同步信号VSync、水平同步信号HSync构成的影像信号。图像处理部160从所输入的信号将垂直同步信号VSync与水平同步信号HSync分离,与它们的周期相应,使用未图示的PLL电路等生成时钟信号PCLK。另外,图像处理部160使用A/D转换电路等将模拟R信号、模拟G信号、模拟B信号转换成数字信号。图像处理部160根据需要对由转换后的数字R信号、数字G信号、数字B信号构成的图像数据Data执行众所周知的图像处理,然后经由发送部51、52发送时钟信号PCLK、图像数据Data、垂直同步信号VSync、水平同步信号HSync。另外,以后,也将经由发送部51发送的图像数据Data称为“右眼用图像数据Data1”,也将经由发送部52发送的图像数据Data称为“左眼用图像数据Data2”。
显示控制部190生成对图像显示部20具有的右显示驱动部22与左显示驱动部24进行控制的控制信号。所谓控制信号,为用于单独地切换由右LCD控制部211进行的右LCD241的驱动ON/OFF、由右背光控制部201进行的右背光221的驱动ON/OFF、由左LCD控制部212进行的左LCD242的驱动ON/OFF、由左背光控制部202进行的左背光222的驱动ON/OFF的信号。显示控制部190通过这些控制信号,控制右显示驱动部22与左显示驱动部24中的图像光的生成以及射出。显示控制部190经由发送部51、52发送所生成的控制信号。
音声处理部170获取内容中包含的音声信号,对所获取的音声信号进行增幅,对右耳机32的未图示的扬声器和左耳机34的未图示的扬声器供给。
接口180依照预定的有线通信标准(例如,MicroUSB(Universal Serial Bus)、USB、HDMI(High Definition MultimediaInterface:高清晰度多媒体接口)、DVI(Digital Visual Interface:数字视频接口)、VGA(Video Graphics Array:视频图形阵列)、组合电缆、RS-232C(Recommended Standard232:推荐标准232)、IEEE802.3所例示的有线LAN等),与外部装置之间进行无线通信。
A-2-2.图像显示部的构成:
图像显示部20是佩戴于使用者的头部的佩戴体,在本实施方式中具有眼镜形状。图像显示部20包含右显示驱动部22、左显示驱动部24、右光学像显示部26(图1)、左光学像显示部28(图1)、9轴传感器66。
右显示驱动部22与左显示驱动部24被配置于使用者佩戴图像显示部20时的与使用者的鬓角相对的位置。本实施方式中的右显示驱动部22与左显示驱动部24使用液晶显示器(Liquid Crystal Display,以下称为“LCD”)和/或投射光学系,生成并射出表示图像的图像光。右显示驱动部22包含接收部(Rx)53、作为光源而起作用的右背光(BL)控制部201以及右背光(BL)221、作为显示元件而起作用的右LCD控制部211以及右LCD241、右投射光学系251。
接收部53接收从发送部51发送的数据。右背光控制部201基于所输入的控制信号,驱动右背光221。右背光221为例如LED和/或电致发光(EL)等发光体。右LCD控制部211基于所输入的时钟信号PCLK与右眼用图像数据Data1、垂直同步信号VSync、水平同步信号HSync,驱动右LCD241。右LCD241是将多个像素配置成矩阵状的透射型液晶面板。右LCD241通过驱动被配置成矩阵状的各像素位置的液晶,使透射过右LCD241的光的透射率变化,由此将从右背光221照射的照明光向表示图像的有效的图像光调制。右投射光学系251由将从右LCD241射出的图像光设为并行状态的光束的准直透镜构成。
左显示驱动部24具有与右显示驱动部22大致同样的构成,与右显示驱动部22同样地工作。即,左显示驱动部24包含接收部(Rx)54、作为光源而起作用的左背光(BL)控制部202以及左背光(BL)222、作为显示元件而起作用的左LCD控制部212以及左LCD242、左投射光学系252。详细的说明省略。另外,在本实施方式中采用背光方式,但也可以使用前光方式、和/或反射方式而射出图像光。
右光学像显示部26与左光学像显示部28被配置成在使用者佩戴图像显示部20时分别位于使用者的左右的眼前(参照图1)。右光学像显示部26包含右导光板261和未图示的调光板。右导光板261由透光性的树脂材料等形成。右导光板261一边沿着预定的光路使从右显示驱动部22输出的图像光反射一边将该图像光向使用者的右眼RE引导。在右导光板261中,可以使用衍射光栅也可以使用半透射反射膜。调光板是薄板状的光学元件,被配置成覆盖图像显示部20的表面侧。调光板保护右导光板261,抑制右导光板261的损伤和/或污垢的附着等。另外,通过调整调光板的透光率,能够调整进入到使用者的眼睛的外光量而调整虚像的观看的容易度。另外,调光板能够省略。
左光学像显示部28具有与右光学像显示部26大致同样的构成,与右光学像显示部26同样地工作。即,左光学像显示部28包含左导光板262和未图示的调光板,将从左显示驱动部24输出的图像光向使用者的左眼LE引导。详细的说明省略。
9轴传感器66是检测加速度(3轴)、角速度(3轴)、地磁(3轴)的运动传感器。9轴传感器66被设置于图像显示部20,所以在将图像显示部20佩戴于使用者的头部时,作为检测头置式显示器100的使用者的头部的运动的运动检测部而起作用。在这里,所谓头部的运动,包含头部的速度·加速度·角速度·朝向·朝向的变化。
图4是表示使使用者观看的虚像的一例的说明图。在图4中,例示使用者的视野VR。如上所述,向头置式显示器100的使用者的双眼引导的图像光成像于使用者的视网膜,由此使用者能够观看虚像VI。在图4的例中,虚像VI是头置式显示器100的OS的待机画面。另外,使用者透过右光学像显示部26以及左光学像显示部28而观看外景SC。这样,本实施方式的头置式显示器100的使用者对于视野VR中显示有虚像VI的部分,能够观察虚像VI和虚像VI的背后的外景SC。另外,使用者对于视野VR中没有显示虚像VI的部分,能够透过右光学像显示部26以及左光学像显示部28而直接观察外景SC。另外,在本说明书中,在“头置式显示器100显示图像”中,也包含使头置式显示器100的使用者观看虚像。
A-3.综合图像显示处理:
图5是表示综合图像显示处理的顺序的时序图。本实施方式的综合图像显示处理是生成综合图像并显示于头置式显示器100的处理。所谓综合图像,是包含被连接于头置式显示器100的多个外部装置的识别图像、由使用者从多个外部装置中选择的一个外部装置的显示图像双方的图像。综合图像显示处理主要由生成部142执行。
在步骤S100中,使用于执行综合图像显示处理的应用起动。步骤S100的应用的起动可以将输入信息获取部110检测到由使用者进行的起动操作这一情况设为触发,也可以将来自其他的应用的起动命令的检测设为触发。通过步骤S100的应用的起动,对CPU140使生成部142以及更新部144的功能实现。
在步骤S102中,无线通信部132或接口180检测连接有作为外部装置的PC300这一情况。另外,以后,例示头置式显示器100与PC300使用依照IEEE802.11的无线LAN而通信的情况。然后,生成部142在其与PC300之间确立联系。
在步骤S104中,PC300获取PC300的显示画面的图像。具体地说,PC300获取以下的b1~b3所示的某一帧图像。另外,下述b1与上述a1相对应,下述b2与上述a2相对应,下述b3与上述a3相对应。
(b1)对在PC300中再现中的内容和/或应用GUI(GraphicalUser Interface:图形用户接口)等在一个时间点在PC300中显示的画面进行渲染的帧图像。
(b2)对PC300的操作画面(即待机画面)和/或设定画面(即OS和/或BIOS的设定画面)进行渲染的帧图像。
(b3)对在PC300中再现中的内容和/或应用GUI等在一个期间中在PC300中显示的画面进行渲染的多个帧图像。
在步骤S106中,PC300将所获取的帧图像向头置式显示器100发送。头置式显示器100的生成部142经由无线通信部132获取该帧图像。此时,生成部142与无线通信部132作为“获取部”而起作用。
在步骤S108中,生成部142将所获取的帧图像设为“外部装置的识别图像”而存储于识别图像存储部124。另外,生成部142也可以在对帧图像进行缩小处理后将其存储于识别图像存储部124。这样一来,能够降低识别图像存储部124消耗的存储容量。另外,在步骤S108中生成部142也可以将其与PC300之间的联系切断。
在步骤S110中,生成部142在其与家电400之间,实施与步骤S102~S108同样的处理。同样,生成部142在步骤S112中在其与AV设备500之间、在步骤S114中在其与便携终端600之间、在步骤S116中在其与游戏设备700之间,分别实施同样的处理。步骤S110~S116的结果,在识别图像存储部124中,存储有连接于头置式显示器100的所有的外部装置的识别图像。
在步骤S118中生成部142获取头置式显示器100的显示画面的图像。具体地说,获取与头置式显示器100有关的、上述b1~b3所示的某一帧图像。
在步骤S120中,生成部142将所获取的帧图像作为“图像显示装置的识别图像”,存储于识别图像存储部124。另外,生成部142也可以对帧图像进行缩小处理后将其存储于识别图像存储部124。步骤S118、S120的结果,在识别图像存储部124中,存储有头置式显示器100自己的识别图像。
在步骤S124中,生成部142获取存储于识别图像存储部124的多个识别图像,根据预定的条件对所获取的识别图像进行分类。分类的条件能够使用例如作为识别图像的获取源的外部装置的ID(例如产品编号和/或序列编号)、作为识别图像的获取源的外部装置的名字(例如产品的名称)、识别图像存储部124中的识别图像的获取顺序、作为识别图像的获取源的外部装置与头置式显示器100之间的距离、外部装置的种类(例如,PC、家电、AV设备等)等。另外,外部装置与头置式显示器100之间的距离能够通过例如OS150对由GPS模块134检测的头置式显示器100的现在位置信息与从外部装置获取的外部装置的现在位置信息进行比较而求出。在该情况下,OS150作为“距离获取部”而起作用。另外,在本实施方式中的“外部装置与头置式显示器100之间的距离”中,也包含大致的距离。
在步骤S126中,生成部142使用分类后的识别图像而生成综合图像。具体地说,生成部142将在步骤S124中被分类的多个识别图像分别配置于区域信息122的缩略图显示区域B1~B6(第1显示区域)。另外,生成部142将黑图像配置于区域信息122的活动显示区域BG(第2显示区域)。在该活动显示区域BG中,在后述的综合图像变更处理中,插入有由使用者选择的一个外部装置的显示图像。
另外,在步骤S126中,生成部142也可以对各识别图像实施识别图像的形状的变更、识别图像的透射率的变更、向识别图像的色转换处理、识别图像的大小的变更、向识别图像附加装饰(文字、图形、记号等)等。例如,生成部142在变更识别图像的大小时,也可以与外部装置与头置式显示器100之间的距离相应而确定识别图像的大小。例如,如果越是与头置式显示器100之间的距离较近的外部装置的识别图像越增大,则能够使观察综合图像的使用者视觉性地把握头置式显示器100与各外部装置之间的距离。同样,对于形状、和/或透射率、色转换处理的处理内容、装饰的内容,也可以与头置式显示器100与外部装置之间的距离相应而确定。
图6是表示在步骤S126中生成的综合图像的一例的说明图。在综合图像GI的缩略图显示区域B1,作为头置式显示器100的识别图像,配置有头置式显示器100的一个时间点的显示图像G1。同样,在缩略图显示区域B2,作为PC300的识别图像,配置有PC300的一个时间点的显示图像G2;在缩略图显示区域B3,作为家电400的识别图像,配置有家电400的设定画面的显示图像G3;在缩略图显示区域B4,作为AV设备500的识别图像,配置有AV设备500的操作画面的显示图像G4;在缩略图显示区域B5,作为便携终端600的识别图像,配置有便携终端600的一个时间点的显示图像G5;在缩略图显示区域B6,作为游戏设备700的识别图像,配置有游戏设备700的一个时间点的显示图像G6。另外,在图6的例子中,缩略图显示区域B1~B6的纵横比与各外部装置的识别图像G1~G6的纵横比不一致。在图5的步骤S126,生成部142也可以实施使各外部装置的识别图像G1~G6的纵横比与缩略图显示区域B1~B6的纵横比分别一致的处理。
在图5的步骤S128中,生成部142在头置式显示器100上显示综合图像。具体地说,生成部142将在步骤S126中生成的综合图像向图像处理部160发送。在接收了综合图像的图像处理部160,进行上述的显示处理。结果,被向头置式显示器100的使用者的双眼引导的图像光成像于使用者的视网膜,由此头置式显示器100的使用者能够在视野中观看综合图像的虚像。换而言之,头置式显示器100能够显示综合图像。
A-4.综合图像更新处理:
图7是表示综合图像更新处理的顺序的时序图。所谓本实施方式的综合图像更新处理,是对综合图像中由使用者选择的一个外部装置的显示图像进行动态更新并显示于头置式显示器100的处理。综合图像更新处理主要由更新部144执行。
在步骤S200中,更新部144经由输入信息获取部110,获取从多个外部装置中选择一个外部装置的选择操作。该选择操作是由头置式显示器100的使用者进行的操作。使用者能够使用头置式显示器100所具备的输入设备(例如触摸板、十字键、脚踏开关、手势检测、视线检测、触摸检测、话筒等)而实施选择操作。
在步骤S202中,更新部144对由使用者选择的一个外部装置发送显示图像的要求。在图中,表示由使用者选择的外部装置为PC300的例子。
在步骤S204中,接收了显示图像的要求的外部装置(PC300)获取对PC300的显示画面的图像、即在PC300中再现中的内容、和/或应用GUI等在现在PC300中显示的画面进行了渲染的帧图像。
在步骤S206中,PC300将所获取的帧图像向头置式显示器100发送。头置式显示器100的更新部144经由无线通信部132获取第1图像。此时,更新部144与无线通信部132作为“获取部”而起作用。
在步骤S208中,更新部144使用所获取的帧图像,对在综合图像显示处理(图5)的步骤S126中生成的综合图像中的活动显示区域BG(第2显示区域)进行更新。
在步骤S210中,更新部144显示更新后的综合图像。详细与综合图像显示处理(图5)的步骤S128同样。
在步骤S212中,更新部144,在直到获取与在步骤S200中获取的外部装置不同的其他的外部装置的选择操作为止的期间内,对所选择的外部装置(PC300),反复进行步骤S202~S210的处理。另一方面,在获取了其他的外部装置的选择操作的情况下,更新部144对其他的外部装置执行步骤S202~S212的处理。
图8A是表示在头置式显示器100上显示有将第2显示区域更新了的综合图像的样子的说明图。如图8A所示,头置式显示器100的使用者在视野VR中,作为虚像VI能够观看综合图像GI,所述综合图像GI包含连接于头置式显示器100的多个外部装置的多个识别图像和从多个外部装置中选择的一个外部装置的显示图像。在图8A的例子中,所谓多个外部装置的多个识别图像,为在图6中说明的头置式显示器100的识别图像G1、PC300的识别图像G2、家电400的识别图像G3、AV设备500的识别图像G4、便携终端600的识别图像G5和游戏设备700的识别图像G6。另外,在图8A的例子中,所谓所选择的一个外部装置的显示图像,即为作为PC300显示的图像的显示图像IM。另外,本实施方式的头置式显示器100为透射型的头部佩戴型显示装置。因此,如通过图4进行说明,使用者能够透过虚像VI而观看背景。对于该背景,为了图示的方便,将图8A中的图示省略。
如以上所述,根据第1实施方式的综合图像显示处理(图5)以及综合图像更新处理(图7),图像显示部20能够使使用者观看综合图像GI,所述综合图像GI包含连接于头置式显示器100(图像显示装置)的多个外部装置(PC300~游戏设备700)的多个识别图像G2~G7和从多个外部装置中选择的一个外部装置(在上述例子中为PC300)的显示图像IM。因此,能够提供能够将头置式显示器100的周边的、换而言之连接于头置式显示器100的外部装置上的显示综合的头置式显示器100。另外,在综合图像显示处理(图5)中,也可以将连接于头置式显示器100的多个外部装置的多个识别图像G2~G7中的至少一部分识别图像包含于缩略图显示区域B1~B6(第1显示区域)。这样也能够提供能够将连接于头置式显示器100的至少一部分外部装置上的显示综合的头置式显示器100。
另外,根据第1实施方式的综合图像更新处理(图7),图像显示部20能够使使用者观看对从多个外部装置(PC300~游戏设备700)选择的一个外部装置(在上述例子中为PC300)、对其显示画面进行动态更新的综合图像GI。根据上述的综合图像更新处理以及综合图像显示处理(图5),头置式显示器100仅对综合图像中的活动显示区域BG(第2显示区域)进行动态更新,缩略图显示区域B1~B6(第1显示区域)不更新。因此,头置式显示器1001次1次从各外部装置获取识别图像即可,能够降低头置式显示器100与各外部装置之间的通信量。另外,对于由使用者选择的一个外部装置,能够动态性地对其显示图像进行更新。
A-5.附加的处理:
另外,在综合图像显示处理(图5)或综合图像更新处理(图7)中,也可以附加以下那样的处理。以下所示的处理可以单独附加,也可以组合而附加。
A-5-1.附加的处理1:
在附加的处理1中,通过“使用者对一个外部装置注意”而实现使用者从多个外部装置中选择一个外部装置的选择操作。在本处理中,头置式显示器100的CPU140设为进而具备外部装置特定部的构成。外部装置特定部使用以下所示的c1~c6的方法的任意一个,对被推定为使用者注意过的外部装置进行特定,将该外部装置设为“由使用者选择的外部装置”。
(c1)使用指向性的无线电波的方法:
设为在与头置式显示器100的壳体外部的前面相对应的位置、例如与使用者的眉间相对应的位置(换而言之,右光学像显示部26与左光学像显示部28之间)具备指向性的无线天线的构成。这样一来,能够推定为接收了来自该无线天线的电波的外部装置为使用者将头部朝向的外部装置。外部装置特定部能够通过从接收了来自指向性的无线天线的电波的外部装置接收该情况的消息,对推定为使用者注意过的外部装置进行特定。
(c2)使用红外线的方法:
设为在与头置式显示器100的壳体外部的前面相对应的位置具备红外线的发光部的构成。进而,设为在各外部装置具备红外线的感光部的构成。这样一来,能够推定为接收了来自头置式显示器100的红外线的外部装置为使用者将头部朝向外部装置。外部装置特定部能够通过从接收了红外线的外部装置接收该情况的消息,对推定为使用者注意过的外部装置进行特定。另外,也可以在头置式显示器100设置红外线的感光部,在各外部装置设置红外线的发光部。在该情况下,如果在每个外部装置改变红外线的发光图案,则在接收了红外线的头置式显示器100,能够对推定为使用者注意过的外部装置进行特定。
(c3)使用位置信息的方法:
外部装置特定部使用通过GPS模块134(图2)得到的头置式显示器100的现在位置信息和从各外部装置获取的各外部装置的位置信息,求出头置式显示器100与各外部装置的位置关系。然后,外部装置特定部能够基于通过9轴传感器66(图2)得到的头置式显示器100的朝向(使用者的头部的朝向),对推定为使用者注意过的外部装置进行特定。另外,外部装置特定部能够使用例如无线通信和/或近距离无线通信获取各外部装置的位置信息。
(c4)使用无线标签的方法:
图8B是与附加的处理1的使用无线标签的方法有关的说明图。在图8B中,为了图示的方便,将图1的头置式显示器100简略化而图示,并且仅例示3台外部装置。在本方法中,设为在与头置式显示器100的壳体外部的前面相对应的位置具备距离计测传感器61或可见光照相机的构成。进而,设为在各外部装置内藏能够进行近距离无线通信的无线标签RF1~3的构成。在此基础上,外部装置特定部对使用者将头部朝向的一个外部装置与使用者(距离计测传感器61)之间的距离L进行计测。该计测能够使用例如Time-of-Flight法。接下来外部装置特定部从各外部装置的无线标签RF1~3分别获取预先存储于无线标签RF1~3的各外部装置与头置式显示器100之间的距离L1~L3。外部装置特定部能够通过对所计测的距离L与所获取的距离L1~L3进行比较,对推定为使用者注意过的外部装置进行特定。另外,各外部装置与头置式显示器100之间的距离L1~L3可以预先存储于头置式显示器100的存储部120,也可以头置式显示器100动态地求出头置式显示器100与外部装置之间的距离。另外,在距离L1~L3的发送中,也可以代替近距离无线通信而使用无线通信。进而,为了能够对同一距离的2个外部装置进行特定,也可以同时使用通过9轴传感器66(图2)得到的头置式显示器100的朝向(使用者的头部的朝向)。
(c5)使用图像处理的方法:
设为在与头置式显示器100的壳体外部的前面相对应的位置具备可见光照相机的构成。另外,在头置式显示器100的存储部120中,预先存储有各外部装置的外观特征。外部装置特定部由可见光照相机拍摄使用者的视野方向的图像(以后也称为“外景图像”。)。外部装置特定部能够通过对外景图像进行图像解析、与存储于存储部120的外部装置的外观特征对照,对推定为使用者注意过的外部装置进行特定。另外,也可以使用以下列举的方法。
·外部装置特定部由可见光照相机获取头置式显示器100的使用者用手指一个外部装置的状态的外景图像。外部装置特定部对外景图像进行图像解析,对位于使用者的手指的延长线上的外部装置进行特定。
·在图像显示部20的壳体内侧,设置例如由红外线收发部构成的瞳孔检测部。外部装置特定部基于由可见光照相机拍摄的外景图像和由瞳孔检测部检测的使用者的眼睛的运动,对使用者将视线朝向的外部装置进行特定。
(c6)使用标记的方法:
设为在与头置式显示器100的壳体外部的前面相对应的位置具备可见光照相机的构成。进而,设为在外部装置的壳体外部附加有在增强现实感(AR,Augmented Reality)处理中使用的标记的构成。外部装置特定部由可见光照相机拍摄外景图像。外部装置特定部能够通过外景图像所含的标记,对推定为使用者注意过的外部装置进行特定。
当在综合图像显示处理(图5)中适用附加的处理1的情况下,也可以仅对通过上述的任意的方法特定的外部装置,实施步骤S102的联系的确立以及以后的处理。另外,也可以仅对通过上述的任意的方法特定的外部装置,执行步骤S104、S106,执行步骤S108。使用者能够多次反复进行使用了上述的任意的方法的外部装置的特定。这样一来,生成部142将连接于头置式显示器100(图像显示装置)的多个外部装置(PC300~游戏设备700)中被推定为至少在过去使用者注意过的外部装置的识别图像一览显示于缩略图显示区域B1~B6(第1显示区域)。这样,使用者能够通过“注意”而选择显示于缩略图显示区域B1~B6的外部装置,所以使用者的便利性提高。另外,能够抑制在头置式显示器100连接有数较多的外部装置的情况等的、缩略图显示区域B1~B6的复杂化。
另外,当在综合图像显示处理(图5)中适用附加的处理1的情况下,也可以对预先确定的外部装置和通过上述的任意的方法特定的外部装置实施步骤S102以后的处理。另外,也可以对预先确定的外部装置和通过上述的任意的方法特定的外部装置执行步骤S104、S106,执行步骤S108。在这里,所谓“预先确定的外部装置”,可以由头置式显示器100的使用者预先指定,也可以在工厂出厂时等指定,也可以通过预定的条件(例如,使用者与外部装置之间的距离为预定的阈值以下)而自动地指定。另外,使用者与外部装置之间的距离能够通过上述的方法c1~c4求出。这样也能够提高使用者的便利性并且抑制缩略图显示区域B1~B6的复杂化。
当在综合图像更新处理(图7)中适用附加的处理1的情况下,也可以代替步骤S200,对通过上述的任意的方法特定的外部装置,实施步骤S202以后的处理。这样一来,更新部144(获取部)从推定为使用者注意过的外部装置,获取该外部装置的显示图像,更新部144使用所获取的显示图像而对综合图像的活动显示区域BG(第2显示区域)进行更新。这样,使用者能够通过“注意”而选择显示于活动显示区域BG的外部装置,所以使用者的便利性提高。
另外,也可以与使用者将头部朝向外部装置的时间(注意的时间)相应,确定是在综合图像显示处理(图5)中适用附加的处理1还是在综合图像更新处理(图7)中适用附加的处理1。例如,也可以在时间比预定的阈值短的情况下在综合图像显示处理中适用附加的处理1,在较长的情况下在综合图像更新处理中适用附加的处理1。
另外,上述c1~c6只不过是一例,外部装置特定部能够与使用者的头部的运动和/或使用者的视线等相应,对使用者注意过的外部装置进行特定。外部装置特定部也可以通过将上述c1~c6组合,一次对多个外部装置进行特定。
A-5-2.附加的处理2:
在附加的处理2中,在综合图像更新处理(图7)的步骤S200中,对由使用者选择的一个外部装置,附加用于提供增强现实感的标签。在该处理中,设为头置式显示器100的CPU140进而具备附加提示用信息生成部的构成。
附加提示用信息生成部在使用者朝向在图7的步骤S200中选择的外部装置的方向的情况下,生成用于识别该外部装置的附加提示用的信息。所谓附加提示用的信息,是用于对外部装置附加、删除、强调、衰减任何信息的信息。具体地说,所谓附加提示用的信息,例如,为包含有通知其为使用者所选择的外部装置的文字列的气球、笔记形状的标签、通知其为使用者所选择的外部装置的图标(画、文字、记号等)、通知其为使用者所选择的外部装置的框(为了对外部装置进行装饰而配置的框)等。另外,附加提示用信息生成部能够使用与上述的c1~c6同样的方法判断使用者是否朝向在步骤S200中选择的外部装置的方向。
附加提示用信息生成部将所生成的附加提示用的信息向图像处理部160发送。在接收了综合图像的图像处理部160,进行上述的显示处理。结果,头置式显示器100的使用者在观察在步骤S200中自己选择的外部装置时,能够与外部装置一起观看表示附加提示用的信息(标签)的虚像。
另外,头置式显示器100的CPU140也可以代替上述的附加提示用信息生成部而具备附加提示用信息选择部。附加提示用信息选择部,从例如存储部120和/或外部的服务器等中预先准备的多个附加提示用的信息,选择用于通知其为使用者所选择的外部装置的附加提示用的信息,将所选择的附加提示用的信息向图像处理部160发送。
这样,根据附加的处理2,图像显示部20能够使使用者观看用于向通过图7的步骤S200选择的一个外部装置附加的附加提示用的信息。结果,使用者能够区别自己选择的外部装置与其他的外部装置,所以使用者的便利性提高。
B.第2实施方式:
在本发明的第2实施方式中,对作为外部装置的识别图像使用与第1实施方式所例示的图像不同的种类的图像的构成进行说明。以下,仅对具有与第1实施方式不同的构成以及工作的部分进行说明。另外,在图中对于与第1实施方式同样的构成部分附加与在前面说明的第1实施方式同样的符号,将其详细的说明省略。
B-1.图像显示系统的构成:
第2实施方式的图像显示系统,除了代替头置式显示器100而具备头置式显示器100a的方面,与图1所示的第1实施方式同样。
B-2.头置式显示器的构成:
图9是功能性表示第2实施方式的头置式显示器100a的构成的框图。与图2所示的第1实施方式不同的是代替控制部10而具备控制部10a这一方面。控制部10a代替生成部142而具备生成部142a,代替更新部144而具备更新部144a。生成部142a的综合图像显示处理的内容与图5所示的第1实施方式不同。更新部144a的综合图像更新处理的内容与图7所示的第1实施方式不同。
在第2实施方式的综合图像显示处理以及综合图像更新处理中,代替在第1实施方式的a1~a3中例示的“外部装置的识别图像”,将以下的a4、a5的任意一个作为“外部装置的识别图像”而使用。
(a4)表示用于识别外部装置的信息的图像。所谓用于识别外部装置的信息,例如,为外部装置的ID(例如产品编号和/或序列编号)、外部装置的名字(例如产品的名称)、外部装置的状态(例如产品的属性)等。
(a5)表示向外部装置分配的符号的图像。在这里,所谓“符号”,例如,为表示外部装置的存在的图标、将外部装置抽象化而表示的图形或记号等。
B-3.综合图像显示处理:
图10是表示第2实施方式的综合图像显示处理的顺序的时序图。所谓第2实施方式的综合图像显示处理,与第1实施方式(图5)同样,是生成综合图像、显示于头置式显示器100a的处理。与第1实施方式不同的方面是作为外部装置的识别图像使用在上述a4、a5中列举的图像的方面。综合图像显示处理主要由生成部142a执行。
首先,与在图5中说明的第1实施方式同样,使应用起动(步骤S100),使头置式显示器100a与PC300之间的联系确立(步骤S102)。
在步骤S300中,PC300获取PC300的设备信息。具体地说,PC300获取以下的b4、b5所示的任意一个信息(也可以不是图像)。另外,下述b4与上述a4相对应,下述b5与上述a5相对应。
(b4)用于识别PC300的信息。例如,表示PC300的产品编号和/或序列编号等ID、PC300的名称、PC300的属性等状态的信息。
(b5)表示PC300的符号的图像。例如,PC300的图标图像。
在步骤S302中,PC300将所获取的设备信息向头置式显示器100a发送。头置式显示器100a的生成部142a经由无线通信部132获取该设备信息。此时,生成部142a与无线通信部132作为“获取部”而起作用。
在步骤S303中,生成部142a生成表示所获取的设备信息的图像。生成部142a将所生成的图像作为“外部装置的识别图像”而存储于识别图像存储部124。另外,如上述b5,在从PC300接收的设备信息为图像的形式的情况下,表示设备信息的图像的生成能够省略。
在步骤S304中,生成部142a将头置式显示器100a与PC300之间的联系切断。这样,通过将不需要的联系立即切断,能够使通信量以及消耗电力降低。
在步骤S306中,生成部142a在其与家电400之间实施与步骤S102以及步骤S300~S304同样的处理。同样,生成部142a在步骤S308中在其与AV设备500之间、在步骤S308中在其与便携终端600之间、在步骤S310中在其与游戏设备700之间分别实施同样的处理。结果,在识别图像存储部124中,存储有连接于头置式显示器100a的所有的外部装置的识别图像。
在步骤S314中,生成部142a获取头置式显示器100a的设备信息。具体地说,获取与头置式显示器100a有关的、上述b4、b5所示的任意一个信息。
在步骤S316中,生成部142a生成表示所获取的设备信息的图像,作为“图像显示装置的识别图像”而存储于识别图像存储部124。步骤S314、S316的结果,在识别图像存储部124中,存储有头置式显示器100a自己的识别图像。
以后,与在图5中说明的第1实施方式同样,生成部142a对存储于识别图像存储部124的多个识别图像进行分类(步骤S124),生成综合图像(步骤S126),并显示综合图像(步骤S128)。详细如在图5中说明那样。
图11是表示在第2实施方式的综合图像显示处理的步骤S126中生成的综合图像的一例的说明图。在综合图像GI的缩略图显示区域B1,作为头置式显示器100的识别图像,配置有表示头置式显示器100的产品编号的图像J1。同样,在缩略图显示区域B2,作为PC300的识别图像,配置有PC300的图标图像J2;在缩略图显示区域B3,作为家电400的识别图像,配置有表示家电400的产品的名称的图像J3;在缩略图显示区域B4,作为AV设备500的识别图像,配置有AV设备500的图标图像J4;在缩略图显示区域B5,作为便携终端600的识别图像,配置有表示便携终端600的产品编号的图像J5;在缩略图显示区域B6,作为游戏设备700的识别图像,配置有表示游戏设备700的产品编号的图像J6。
B-4.综合图像更新处理:
图12是表示第2实施方式中的综合图像更新处理的顺序的时序图。所谓第2实施方式的综合图像更新处理,与第1实施方式(图7)同样,为动态地显示综合图像的第2显示区域的处理。与第1实施方式不同的方面,是作为外部装置的识别图像使用上述a4、a5所列举的图像的方面,和利用为了对第2显示区域进行更新而从外部装置获取的显示图像、对识别图像存储部124内的外部装置的识别图像进行更新的方面。综合图像更新处理主要由更新部144a执行。
首先,与在图7中说明的第1实施方式同样,获取从多个外部装置中选择一个外部装置的选择操作(步骤S200),从所选择的一个外部装置获取显示画面的图像(帧图像)(步骤S202~S206)。
在步骤S400中,更新部144a将所获取的帧图像设为“外部装置的识别图像”,存储于识别图像存储部124。此时,更新部144a将在综合图像显示处理(图10)的步骤S303中已经存储的同一个外部装置的识别图像覆盖。另外,在步骤S400中,也可以对所获取的帧图像进行缩小处理后存储于识别图像存储部124。
在步骤S402中,更新部144a获取存储于识别图像存储部124的多个识别图像,根据预定的条件对所获取的识别图像进行分类。详细与综合图像显示处理(图5)的步骤S124同样。
在步骤S404中,更新部144a使用分类后的识别图像对综合图像的缩略图显示区域B1~B6(第1显示区域)进行更新。详细与综合图像显示处理(图5)的步骤S126同样。
在步骤S408中,更新部144a使用在步骤S206中获取的帧图像,对在步骤S404中更新了的综合图像中的活动显示区域BG(第2显示区域)进行更新。
在步骤S210中,更新部144a使更新后的综合图像显示。详细与综合图像显示处理(图5)的步骤S128同样。
在步骤S410中,更新部144a在直到获取与在步骤S200中获取的外部装置不同的其他的外部装置的选择操作为止的期间,对所选择的外部装置(PC300),反复进行步骤S202、S204、S206、S408、S210的处理。另一方面,在获取了其他的外部装置的选择操作的情况下,更新部144a对其他的外部装置执行步骤S202~S410的一连串的处理。
图13是表示在头置式显示器100a中显示有将第1显示区域与第2显示区域更新了的综合图像的样子的说明图。如图13所示,头置式显示器100a的使用者在视野VR中,能够观看综合图像GI作为虚像VI,所述综合图像GI包含连接于头置式显示器100a的多个外部装置的多个识别图像和从多个外部装置中选择的一个外部装置的显示图像。在图13的例子中,所谓多个外部装置的多个识别图像,为在图11中说明的头置式显示器100a的识别图像J1、PC300的识别图像J2、家电400的识别图像J3、AV设备500的识别图像J4、便携终端600的识别图像J5和游戏设备700的识别图像J6。在这里,对于PC300的识别图像J2,显示有综合图像更新处理(图12)的步骤S400中的更新后的识别图像。另外,在图13的例子中,所谓所选择的一个外部装置的显示图像,即为作为PC300显示的图像的显示图像IM。另外,与图8A同样,在图14中,对于本来透过虚像VI的背景也将图示省略。
如以上所述,根据第2实施方式的综合图像显示处理(图10)以及综合图像更新处理(图12),能够得到与第1实施方式同样的效果。进而,在第2实施方式的综合图像显示处理以及综合图像更新处理中,作为外部装置的识别图像,能够使用与在第1实施方式中例示的图像不同的种类的图像。
B-5.附加的处理:
在第2实施方式中,也能够适用上述的附加的处理1、2。
C.第3实施方式:
在本发明的第3实施方式中,对于将结合图像的缩略图显示区域B1~B6(第1显示区域)设为假想性的显示区域的构成进行说明。以下,仅对具有与第1实施方式不同的构成以及工作的部分进行说明。另外,在图中对于与第1实施方式同样的构成部分附加与在前面说明的第1实施方式同样的符号,将其详细的说明省略。
C-1.图像显示系统的构成:
第3实施方式的图像显示系统除了代替头置式显示器100而具备头置式显示器100b的方面,与图1所示的第1实施方式同样。
C-2.头置式显示器的构成:
图14是功能性表示第3实施方式的头置式显示器100b的构成的框图。与图2所示的第1实施方式的不同是代替控制部10而具备控制部10b的方面。控制部10b分别代替区域信息122而具备区域信息122b,代替图像处理部160而具备图像处理部160b。
图15是表示第3实施方式中的区域信息122b的一例的说明图。第3实施方式的区域信息122b与图3所示的第1实施方式同样,包含6个缩略图显示区域B1~B6(第1显示区域)和活动显示区域BG(第2显示区域)。各区域的用途如在图3中说明那样。缩略图显示区域B1~B3与缩略图显示区域B4~B6夹着活动显示区域BG而配置于水平方向的左右的外侧。活动显示区域BG的纵横比与能够由显示驱动部生成图像光的区域的纵横比、换而言之头置式显示器100b的显示元件(图2:右LCD241、左LCD242)的纵横比相同。
在图15的例子中,缩略图显示区域B1~B3分别在铅直方向上相邻地配置于区域122b的左侧的外侧。缩略图显示区域B4~B6分别在铅直方向上相邻地配置于区域122的右侧的外侧。缩略图显示区域B1~B6分别为相同大小的区域。在图15中,对缩略图显示区域B1~B6附加点状的阴影,对活动显示区域BG附加斜线阴影。
另外,图15所示的缩略图显示区域B1~B6的配置以及大小是一例,能够任意地确定。缩略图显示区域B1~B6只要配置于活动显示区域BG(第2显示区域)的外侧便足够。因此,例如,缩略图显示区域B1~B6也可以配置于活动显示区域BG的上侧的外侧和/或下侧的外侧。另外,缩略图显示区域B1~B6也可以配置成包围活动显示区域BG的外侧的四方。另外,缩略图显示区域B1~B6也可以各区域为不同的大小。进而,缩略图显示区域B1~B6也可以各区域的至少一部分重合。
C-3.综合图像显示处理:
第3实施方式中的综合图像显示处理的顺序除了以下列举的顺序d1、d2,与图5所示的第1实施方式同样。
(d1)在步骤S126中,生成部142使用在图15中说明的区域信息122b,生成综合图像。
(d2)在步骤S128中,图像处理部160b仅将从生成部142接收的综合图像中的与活动显示区域BG(第2显示区域,在图15中施加了斜线的阴影的区域)相当的部分的图像显示于头置式显示器100b。而且,图像处理部160b将从使用者获取了预定的操作设为触发,将与缩略图显示区域B1~B6(第1显示区域、在图15中施加了点状的阴影的区域)相当的部分的图像显示于头置式显示器100b。所谓预定的操作,能够使用例如使用者由头置式显示器100b所具备的输入设备(例如,触摸板、十字键、脚踏开关、手势检测、视线检测、触摸检测、话筒等)进行的操作等。
图16是用于说明图像处理部160b的工作的一例的说明图。例如,图像处理部160b将使用者触摸头置式显示器100b的左保持部23设为触发,如图所示,使显示于头置式显示器100b的综合图像的范围如图16那样向左侧滑动。这样一来,图像处理部160b能够使使用者观看第1显示区域(的一部分)与第2显示区域(的一部分)。同样,图像处理部160b将使用者触摸头置式显示器100b的右保持部21设为触发,使显示于头置式显示器100b的综合图像的范围向右侧滑动。另外,当在区域信息122b中缩略图显示区域B1~B6(第1显示区域)被设置于活动显示区域BG(第2显示区域)的上下的情况下,能够将使用者触摸头置式显示器100b的壳体的上下设为触发,进行同样的处理。
C-4.综合图像更新处理:
第3实施方式中的综合图像更新处理的顺序除了步骤S210中的图像处理部160b的顺序(与上述d2同样),与图7所示的第1实施方式同样。
如以上所述,根据第3实施方式的综合图像显示处理(图5)以及综合图像更新处理(图7),能够得到与第1实施方式同样的效果。进而,根据第3实施方式的综合图像显示处理以及综合图像更新处理,图像显示部20,在没有由使用者进行的操作的情况下,能够使使用者观看与综合图像的活动显示区域BG(第2显示区域)相当的部分,在有由使用者进行的操作的情况下,能够使使用者观看与综合图像的缩略图显示区域B1~B6(第1显示区域)相当的部分。结果,根据该形态的头置式显示器100b(图像显示装置),能够在通常画面(活动显示区域BG、第2显示区域)的外侧设置假想画面(缩略图显示区域B1~B6、第1显示区域),通过由使用者进行的操作,切换通常画面与假想画面的显示。结果,能够提高使用者的便利性。
C-5.附加的处理:
在第3实施方式中,也能够适用上述的附加的处理1、2。
D.第4实施方式:
在本发明的第4实施方式中,对于通过由其他的信息处理装置(以后也称为“服务器”。)实施头置式显示器所实施的处理而谋求处理负荷分散的构成进行说明。以下,仅对具有与第1实施方式不同的构成以及工作的部分进行说明。另外,在图中对于与第1实施方式同样的构成部分附加与在前面说明的第1实施方式同样的符号,将其详细的说明省略。
D-1.图像显示系统的构成:
图17是表示第4实施方式的图像显示系统1000c的概略构成的说明图。与图1所示的第1实施方式的不同,是代替头置式显示器100而具备头置式显示器100c的方面和具备服务器900的方面。在第4实施方式中,服务器900生成将外部装置中的显示综合的“综合图像”,显示于头置式显示器100c。
头置式显示器100c能够无线通信或有线通信地与连接服务器900。同样,各外部装置(PC300~游戏设备700)能够无线通信或有线通信地与服务器900连接。另外,在头置式显示器100c与服务器900之间或服务器900与各外部装置之间,也可以设有例如路由器和/或接入点等网络装置、各种适配器等。
D-2.头置式显示器以及服务器的构成:
第4实施方式中的头置式显示器100c,除了具备区域信息122、识别图像存储部124、生成部142、更新部144的方面,与图2所示的第1实施方式同样。
图18是功能性表示服务器900的构成的框图。服务器900包括CPU910、ROM920、RAM930、通信接口(I/F)940和存储部950,各部分通过未图示的总线相互连接。
CPU910通过在RAM930中展开并执行存储于ROM920和/或存储部950的计算机程序,控制服务器900的各部分。此外,CPU910也作为代理生成部912、代理更新部914、发送接收部916而起作用。代理生成部912执行后述的综合图像显示处理,生成综合图像。代理生成部实现作为生成包含第1显示区域与第2显示区域的综合图像的“代理生成部”的功能。代理更新部914执行后述的综合图像更新处理,对综合图像进行更新。发送接收部916在综合图像显示处理以及综合图像更新处理中,与头置式显示器100c之间发送接收要求和/或综合图像。发送接收部916实现作为将综合图像向头置式显示器发送的“发送部”的功能。
通信接口940包含无线通信接口、有线通信接口。无线通信接口包含未图示的送接收电路,进行经由天线接收的电波的解调与数据的生成以及经由天线发送的电波的生成与调制。有线通信接口经由有线线缆而与其他的装置连接。
存储部950由ROM、RAM、DRAM、硬盘等构成。存储部950包含区域信息952、识别图像存储部954。区域信息952的详细与图3所示的第1实施方式同样。识别图像存储部954是用于预先存储在综合图像显示处理中收集的外部装置的识别图像的存储部。
D-3.综合图像显示处理:
第4实施方式中的综合图像显示处理的顺序与图5所示的第1实施方式大致同样。但是,分别将图5的说明中的“头置式显示器100”更换为“服务器900”,将“生成部142”更换为“代理生成部912”,将“存储部120”更换为“存储部950”,将“区域信息122”更换为“区域信息952”,将“识别图像存储部124”更换为“识别图像存储部954”。此外,进行以下的更换。
·步骤S118:服务器900的代理生成部912经由发送接收部916获取头置式显示器100c的显示画面的图像。
·步骤S128:服务器900的代理生成部912经由发送接收部916将在步骤S126中生成的综合图像向头置式显示器100c发送。在接收了综合图像的头置式显示器100c,通过图像处理部160进行在图2中说明的显示处理。
D-4.综合图像更新处理:
第4实施方式中的综合图像更新处理的顺序与图7所示的第1实施方式大致同样。但是,但是,分别将图5的说明中的“头置式显示器100”更换为“服务器900”,将“更新部144”更换为“代理更新部914”,将“存储部120”更换为“存储部950”,将“区域信息122”更换为“区域信息952”,将“识别图像存储部124”更换为“识别图像存储部954”。此外,进行以下的更换。
·步骤S200:服务器900的代理更新部914经由发送接收部916获取头置式显示器100c的使用者所选择的一个外部装置的信息。在这里,所谓一个外部装置的信息,指的是能够对该外部装置进行特定的信息(例如装置名和/或网络地址等)。
·步骤S210:服务器900的代理更新部914经由发送接收部916将步骤S208中的更新后的综合图像向头置式显示器100c发送。在接收了综合图像的头置式显示器100c中,通过图像处理部160进行在图2中说明的显示处理。
如以上所述,根据第4实施方式的综合图像显示处理以及综合图像更新处理,能够得到与第1实施方式同样的效果。进而根据第4实施方式,综合图像显示处理与综合图像更新处理是服务器900执行的,所以能够降低头置式显示器100c中的处理负荷。另外,第4实施方式作为第1实施方式的变形而进行说明,但利用服务器900的第4实施方式的形态也能够适用于第2、3实施方式。另外,服务器900也可以进而实施向头置式显示器100c发送的综合图像的压缩和/或解析度的转换。这样一来,不但能够进一步减轻头置式显示器100c中的处理负荷,还能够减轻服务器900与头置式显示器100c之间的无线通信量。
D-5.附加的处理:
在第4实施方式中,也能够适用上述的附加的处理1、2。
E.变形例:
在上述实施方式中,也可以将通过硬件实现的构成的一部分置换为软件,相反也可以将通过软件实现的构成的一部分置换为硬件。另外,也能够进行以下那样的变形。
·变形例1:
在上述实施方式中,对图像显示系统的构成进行了例示。但是,图像显示系统的构成在不脱离本发明的要旨的范围内能够任意地确定,例如,能够进行构成图像显示系统的各装置的追加·删除·转换等。另外,能够进行构成图像显示系统的装置的网络构成的变更。
例如,作为图像显示装置,能够代替头置式显示器而采用投影机、监视器、电视机等。
例如,作为上述实施方式中的外部装置的1个,也可以使用经由互联网INT的云服务器。在该情况下也一样,生成部以及更新部通过进行与上述第1~3实施方式同样的处理,能够得到与上述第1~3实施方式同样的效果。
·变形例2:
在上述实施方式中,对头置式显示器的构成进行了例示。但是,头置式显示器的构成在不脱离本发明的要旨的范围内能够任意地确定,例如,能够进行各构成部的追加·删除·转换等。
与上述实施方式中的控制部和图像显示部相对的构成要素的分配只是一例,能够采用各种形态。例如,也可以设为以下那样的形态。(i)在控制部搭载CPU和/或存储器等处理功能、在图像显示部仅搭载显示功能的形态;(ii)在控制部与图像显示部双方搭载CPU和/或存储器等处理功能的形态;(iii)将控制部与图像显示部一体化的形态(例如,在图像显示部包含控制部、作为眼镜型的可穿戴计算机而起作用的形态);(iv)代替控制部而使用智能手机和/或便携型游戏机的形态;(v)通过将控制部与图像显示部设为能够无线通信并且无线供电的构成而废弃连接部(线)的形态;(vi)从控制部废弃触摸板、在图像显示部设置触摸板的形态。
在上述实施方式中,为了说明的方便,设为控制部具备发送部、图像显示部具备接收部。但是,上述实施方式的发送部以及接收部能够都具备能够双方向通信的功能、作为发送接收部而起作用。另外,例如,图5所示的控制部设为经由有线的信号传送路而与图像显示部连接。但是,控制部与图像显示部也可以通过经由无线LAN和/或红外线通信和/或Bluetooth(蓝牙)等无线的信号传送路的连接而连接。
例如,图2所示的控制部、图像显示部的构成能够任意地变更。具体地说,例如,控制部除了上述的各种输入设备(触摸板、十字键、脚踏开关、手势检测、视线检测、话筒),还能够具备各种输入设备(例如,操作用杆、键盘、鼠标等)。另外,在上述实施方式中,作为电源使用二次电池,但作为电源并不限定于二次电池,能够使用各种电池。例如,也可以使用一次电池、和/或燃料电池、太阳能电池、热电池等。
例如,头置式显示器设为双眼类型的透射型头置式显示器,但也可以设为单眼类型的头置式显示器。另外,也可以构成为在使用者佩戴了头置式显示器的状态下将外景的透射遮挡的非透射型头置式显示器。在上述实施方式中,将图像显示部设为眼镜那样佩戴的头置式显示器,但也可以设为例如采用帽子那样佩戴的类型的图像显示部等其他的形状的图像显示部的头置式显示器。另外,耳机可以采用挂耳型和/或头带型,也可以省略。进而,例如,也可以构成为搭载于汽车和/或飞机等车辆的抬头显示器(HUD,Head-Up Display)。此外,也可以构成为内藏于头盔等身体防护具的头置式显示器。另外,也可以构成为手持显示器(Hand held display)。
图19是表示变形例中的头置式显示器的外观的构成的说明图。在图19(A)的例子中,图像显示部20x代替右光学像显示部26而具备右光学像显示部26x,代替左光学像显示部28而具备左光学像显示部28x。右光学像显示部26x以及左光学像显示部28x形成得比第1实施方式的光学构件小,被配置于头置式显示器的佩戴时的使用者的右眼以及左眼的斜上。在图19(B)的例子中,图像显示部20y代替右光学像显示部26而具备右光学像显示部26y,代替左光学像显示部28而具备左光学像显示部28y。右光学像显示部26y以及左光学像显示部28y形成得比第1实施方式的光学构件小,被配置于头置式显示器的佩戴时的使用者的右眼以及左眼的斜下。这样,光学像显示部配置于使用者的眼睛的附近便足够。另外,形成光学像显示部的光学构件的大小也是任意的,也能够设为光学像显示部仅覆盖使用者的眼睛的一部分的形态、换而言之光学像显示部不完全覆盖使用者的眼睛的形态的头置式显示器而实现。
例如,在上述实施方式中,显示驱动部设为使用背光、背光控制部、LCD、LCD控制部和投射光学系而构成。但是,上述的形态只不过是例示。显示驱动部也可以与这些构成部一起或代替这些构成部,具备用于实现其他的方式的构成部。例如,显示驱动部也可以设为具备有机EL(有机电致发光,Organic Electro-Luminescence)的显示器、有机EL控制部、投射光学系的构成。另外,例如,显示驱动部也能够代替LCD而使用数字微型反射镜设备等。另外,例如,也能够对激光视网膜投影型的头部佩戴型显示装置适用本发明。
例如,记载了生成部、通知部、图像处理部、显示控制部、音声处理部等各功能部通过CPU在RAM中展开并执行存储于ROM和/或硬盘的计算机程序而实现。但是,这些功能部也可以使用为了实现该功能而设计的ASIC(Application Specific Integrated Circuit:面向特定用途的集成电路)而构成。
·变形例3:
在上述实施方式中,表示了综合图像显示处理的一例。但是,综合图像显示处理的顺序只不过是一例,能够进行各种变形。例如,也可以将一部分步骤省略,也可以追加进而其他的步骤。另外,也可以变更所执行的步骤的顺序。
例如,生成部也可以与作为识别图像的获取源的外部装置与头置式显示器之间的距离相应,动态地变更缩略图显示区域B1~B6的大小。这样一来,观看了综合图像的使用者能够通过缩略图显示区域B1~B6(第1显示区域)中的各图像的大小,得知头置式显示器(图像显示装置)与多个外部装置之间的距离。
在上述实施方式中,生成部对于缩略图显示区域B1~B6(第1显示区域)不进行更新。但是,生成部也可以通过预定的触发的产生而对缩略图显示区域B1~B6(第1显示区域)进行更新。预定的触发能够任意地确定,例如,能够设为由使用者进行的要求操作的产生、和/或使用者的预定的工作的产生、和/或从上次的综合图像生成经过预定时间、和/或从头置式显示器的OS和/或其他的应用产生内部性的要求等。这样一来,生成部能够限定于产生了预定的触发的情况下对所述第1显示区域进行更新。因此,能够降低头置式显示器(图像显示装置)与外部装置之间的通信量。
例如,在上述实施方式中说明的识别图像以及综合图像假设为2维地表达的图像。但是,图像处理部也可以通过将右眼用图像数据与左眼用图像数据设为不同的数据,而3维地表达识别图像以及综合图像。在该情况下,例如,也可以与使用者与外部装置之间的距离相应,对每个识别图像附加视差。具体地说,也可以对使用者与外部装置之间的距离较大的外部装置的识别图像,附加观看为较远那样的视差,对使用者与外部装置之间的距离较小的外部装置的识别图像,附加观看为较近那样的视差。
在上述实施方式中,设为在控制部生成包含第1显示区域与第2显示区域的综合图像并在图像显示部上显示的构成。但是,综合图像只要通过图像显示部显示便足够,不必一定在控制部“生成”综合图像。具体地说,例如,也可以在控制部单独地生成表示第1显示区域的图像和表示第2显示区域的图像。然后,将所生成的表示第1显示区域的图像作为例如右眼用图像数据而向图像处理部发送。同样,将所生成的表示第2显示区域的图像作为例如左眼用图像数据而向图像处理部发送。然后,通过在图像显示部合并显示这些单独的图像,而显示综合图像。
例如,生成部在存在超过缩略图显示区域B1~B6的个数的外部装置的情况下、和/或指定有超过缩略图显示区域的个数的外部装置的情况下,也可以以预定的基准,对显示于缩略图显示区域的外部装置(识别图像)进行选择。所谓预定的基准,例如,能够使用由使用者进行选择的频度、和/或在缩略图显示区域追加有识别图像的时间日期等。
当在综合图像显示处理中适用附加的处理1的情况下,生成部也可以在存储部存储有至少在过去使用者注意过的外部装置的历史记录。在该情况下,生成部也可以使用所存储的历史记录,对由使用者进行的外部装置的选择进行辅助。另外,生成部也可以将存储于历史记录的外部装置的识别图像自动地配置于缩略图显示区域B1~B6。
在第4实施方式的综合图像显示处理中,服务器也可以预先获取头置式显示器的显示画面的图像、和/或外部装置的显示画面的图像。这样一来,能够削减服务器逐次获取这些图像的时间,所以能够迅速地显示综合图像。
·变形例4:
在上述实施方式中,表示综合图像更新处理的一例。但是,综合图像更新处理的顺序只不过是一例,能够进行各种变形。例如,也可以将一部分步骤省略,也可以追加进而其他的步骤。另外,也可以变更所执行的步骤的顺序。
例如,在步骤S200中,也可以代替一个外部装置的选择操作的获取,而获取由头置式显示器的使用者选择的一个缩略图显示区域(第1显示区域)的起始坐标、或由使用者选择的一个缩略图显示区域(第1显示区域)的识别符的任意一个。这样也能够得到与上述实施方式同样的效果。
例如,在步骤S200中,也可以将使用者能够选择的外部装置限定于连接于头置式显示器的多个外部装置中满足预定的条件的一部分外部装置。在预定的条件中,例如,能够使用外部装置的识别图像的信息量。根据该条件,识别图像的信息量较多的PC和/或AV设备能够成为步骤S200的选择对象,但识别图像的信息量较少的家电不成为步骤S200的选择对象。
例如,综合图像更新处理也可以省略。另外,在该情况下,也可以经由使用者对显示于缩略图显示区域(第1显示区域)的识别图像进行的操作(使用了视线和/或指尖的操作),操作外部装置。
·变形例5:
在上述实施方式中,表示了区域信息的一例。上述区域信息只不过是一例,能够进行各种变更。例如,能够进行构成要素的追加、删除、变更。
图20是表示变形例中的区域信息122x的一例的说明图。区域信息122x与图3的区域信息122同样,具有长方形状的区域(以后,也称为“区域122”。),该区域具有与头置式显示器的显示元件的纵横比相同的纵横比。区域122包含8个缩略图显示区域B1~B8和活动显示区域BG。活动显示区域BG,将区域122在铅直方向以及水平方向上等分,配置于它们的左上端部。8个缩略图显示区域B1~B8被顺序配置于将区域122在铅直方向以及水平方向上等分的剩余的部分。使用这样的区域信息122x也能够得到与上述的各实施方式同样的效果。
例如,区域信息设为包含1个活动显示区域,但也可以包含多个(2个以上)活动显示区域。例如,在图3所示的区域信息122,也可以将区域122在水平方向上2等分,将上侧设为第1活动显示区域,将下侧设为第2活动显示区域。同样,也可以将区域122在垂直方向上2等分,将左侧设为第1活动显示区域,将右侧设为第2活动显示区域。在该情况下,例如,在综合图像显示处理中,也可以将使用者最初选择的一个外部装置的显示图像配置于第1活动显示区域、将接下来选择的一个外部装置的显示图像配置于第2活动显示区域。
例如,在存储部,也可以存储有多个不同的区域信息。在该情况下,也可以通过头置式显示器的使用者的喜好(设定)、使用者的视线的运动、使用者的头部的运动、周围的亮度等任意的条件,从多个不同的区域信息选择在综合图像的生成中使用的一个区域信息。
·变形例6:
本发明并不限定于上述的实施方式和/或实施例、变形例,在不脱离其宗旨的范围内能够以各种构成实现。例如,与发明内容的栏所记载的各形态中的技术特征相对应的实施方式、实施例、变形例中的技术特征,为了解决上述的课题的一部分或全部、或者为了达成上述的效果的一部分或全部,能够适当进行替换和/或组合。另外,其技术特征只要不是作为本说明书中所必须的而说明,能够适当删除。

Claims (13)

1.一种图像显示装置,其特征在于,具备:
生成部,其生成包含第1显示区域与第2显示区域的综合图像,所述第1显示区域一览显示用于使连接于所述图像显示装置的多个外部装置相互识别的多个识别图像中的至少一部分所述识别图像,所述第2显示区域对作为从所述多个外部装置中选择的一个外部装置所显示的图像的显示图像进行显示;和
图像显示部,其使所述图像显示装置的使用者观看所述综合图像。
2.如权利要求1所记载的图像显示装置,其特征在于,进而具备:
获取部,其从所述一个外部装置获取所述显示图像;和
更新部,其使用所述所获取的显示图像,对所述综合图像的所述第2显示区域进行更新。
3.如权利要求1或权利要求2所记载的图像显示装置,其特征在于:
在所述识别图像中,包含所述外部装置的一个时间点的显示图像、表示用于识别所述外部装置的信息的图像和表示向所述外部装置分配的符号的图像中的至少任意一个。
4.如权利要求1至权利要求3中的任意一项所记载的图像显示装置,其特征在于:
进而具备外部装置特定部,其从所述多个外部装置中对所述使用者注意过的外部装置进行特定;
所述生成部将所述多个外部装置中的至少在过去由所述外部装置特定部特定的所述外部装置的所述识别图像显示于所述第1显示区域。
5.如权利要求2或从属于权利要求2的权利要求3至权利要求4中的任意一项所记载的图像显示装置,其特征在于:
进而具备外部装置特定部,其从所述多个外部装置中对所述使用者注意过的外部装置进行特定;
所述获取部从由所述外部装置特定部特定的所述外部装置获取所述显示图像。
6.如权利要求1至权利要求5中的任意一项所记载的图像显示装置,其特征在于:
进而具备距离获取部,其分别获取所述图像显示装置与所述多个外部装置之间的距离;
所述生成部与所述所获取的各距离相应,确定所述第1显示区域中的所述多个识别图像的显示顺序和所述第1显示区域中的所述识别图像的大小中的至少一方。
7.如权利要求1至权利要求6中的任意一项所记载的图像显示装置,其特征在于:
所述生成部对所述第1显示区域进行更新。
8.如权利要求1至权利要求7中的任意一项所记载的图像显示装置,其特征在于:
所述图像显示部进而具备生成表示所述综合图像的图像光的显示驱动部,通过将所述所生成的图像光向所述使用者的眼睛射出而使所述使用者观看所述综合图像。
9.如权利要求8所记载的图像显示装置,其特征在于:
所述生成部将所述第2显示区域的纵横比设为能够通过所述显示驱动部生成所述图像光的区域的纵横比,生成在所述第2显示区域的外侧配置了所述第1显示区域的所述综合图像;
所述图像显示部,
在没有由所述使用者进行的操作的情况下,对所述显示驱动部,使其生成与所述综合图像的所述第2显示区域相当的部分的所述图像光;
在具有由所述使用者进行的操作的情况下,对所述显示驱动部,使其生成至少与所述综合图像的所述第1显示区域相当的部分的所述图像光。
10.如权利要求8或权利要求9所记载的图像显示装置,其特征在于:
所述图像显示部,使所述显示驱动部生成表示用于向所述一个外部装置附加的附加提示用的信息即用于向所述使用者提供增强现实感的附加提示用的信息的图像光,通过将所述所生成的图像光向所述使用者的眼睛射出而使所述使用者观看所述附加提示用的信息。
11.一种控制图像显示装置的方法,其特征在于,具备:
(a)生成包含第1显示区域与第2显示区域的综合图像的工序,所述第1显示区域一览显示用于使连接于所述图像显示装置的多个外部装置相互识别的多个识别图像中的至少一部分所述识别图像,所述第2显示区域对作为从所述多个外部装置中选择的一个外部装置所显示的图像的显示图像进行显示;
(b)使所述图像显示装置的使用者观看所述综合图像的工序。
12.一种计算机程序,其特征在于,用于在计算机中实现下述的功能:
生成包含第1显示区域与第2显示区域的综合图像的功能,所述第1显示区域一览显示用于使连接于所述图像显示装置的多个外部装置相互识别的多个识别图像中的至少一部分所述识别图像,所述第2显示区域对作为从所述多个外部装置中选择的一个外部装置所显示的图像的显示图像进行显示;和
使所述图像显示装置的使用者观看所述综合图像的功能。
13.一种图像显示系统,其特征在于:
具备:
信息处理装置;
连接于所述信息处理装置的图像显示装置;和
连接于所述信息处理装置的多个外部装置;
所述信息处理装置具备:
代理生成部,其生成包含第1显示区域与第2显示区域的综合图像,所述第1显示区域一览显示用于所述多个外部装置相互识别的多个识别图像中的至少一部分所述识别图像,所述第2显示区域对作为从所述多个外部装置中选择的一个外部装置所显示的图像的显示图像进行显示;和
发送部,其将所述综合图像向所述信息处理装置发送;
所述图像显示装置具备图像显示部,其使所述图像显示装置的使用者观看从所述信息处理装置接收的所述综合图像。
CN201410498313.4A 2013-09-25 2014-09-25 图像显示装置、控制图像显示装置的方法、计算机程序以及图像显示系统 Active CN104469464B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2013-198132 2013-09-25
JP2013198132A JP2015064476A (ja) 2013-09-25 2013-09-25 画像表示装置、画像表示装置を制御する方法
JP2014-112601 2014-05-30
JP2014112601A JP2015227919A (ja) 2014-05-30 2014-05-30 画像表示装置、画像表示装置を制御する方法、コンピュータープログラム、および、画像表示システム

Publications (2)

Publication Number Publication Date
CN104469464A true CN104469464A (zh) 2015-03-25
CN104469464B CN104469464B (zh) 2020-03-06

Family

ID=52690503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410498313.4A Active CN104469464B (zh) 2013-09-25 2014-09-25 图像显示装置、控制图像显示装置的方法、计算机程序以及图像显示系统

Country Status (2)

Country Link
US (1) US10451874B2 (zh)
CN (1) CN104469464B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107019487A (zh) * 2016-02-02 2017-08-08 深圳市巨烽显示科技有限公司 医疗影像显示方法及装置

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150062164A1 (en) * 2013-09-05 2015-03-05 Seiko Epson Corporation Head mounted display, method of controlling head mounted display, computer program, image display system, and information processing apparatus
US10451874B2 (en) 2013-09-25 2019-10-22 Seiko Epson Corporation Image display device, method of controlling image display device, computer program, and image display system
JP6492638B2 (ja) * 2014-12-25 2019-04-03 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
US20160210769A1 (en) * 2015-01-16 2016-07-21 Dell Products L.P. System and method for a multi-device display unit
US9747015B2 (en) 2015-02-12 2017-08-29 Qualcomm Incorporated Efficient display of content on wearable displays
US9734779B2 (en) * 2015-02-12 2017-08-15 Qualcomm Incorporated Efficient operation of wearable displays
US10163198B2 (en) * 2016-02-26 2018-12-25 Samsung Electronics Co., Ltd. Portable image device for simulating interaction with electronic device
KR102330090B1 (ko) * 2016-04-22 2021-11-24 인터디지털 씨이 페이튼트 홀딩스, 에스에이에스 이미지를 합성하기 위한 방법 및 디바이스
WO2018164532A1 (en) * 2017-03-09 2018-09-13 Samsung Electronics Co., Ltd. System and method for enhancing augmented reality (ar) experience on user equipment (ue) based on in-device contents
WO2019067902A1 (en) * 2017-09-29 2019-04-04 Apple Inc. USER INTERACTIONS BASED ON THE LOOK
JP7035510B2 (ja) 2017-12-22 2022-03-15 セイコーエプソン株式会社 表示システム、及び、表示システムの制御方法
CN109960039B (zh) 2017-12-22 2021-08-06 精工爱普生株式会社 显示系统、电子设备以及显示方法
JP6774975B2 (ja) * 2018-03-19 2020-10-28 株式会社東芝 眼球回転検出装置、電子機器及びシステム
US11422764B1 (en) * 2018-06-03 2022-08-23 Epic Optix, Inc. Multi-platform integrated display
US11624909B2 (en) 2018-06-18 2023-04-11 Magic Leap, Inc. Head-mounted display systems with power saving functionality
US11694435B2 (en) * 2018-06-18 2023-07-04 Magic Leap, Inc. Systems and methods for temporarily disabling user control interfaces during attachment of an electronic device
US11233671B2 (en) * 2018-11-28 2022-01-25 Motorola Mobility Llc Smart internet of things menus with cameras
DE102019202512A1 (de) * 2019-01-30 2020-07-30 Siemens Aktiengesellschaft Verfahren und Anordnung zur Ausgabe eines HUD auf einem HMD
JP2020201372A (ja) * 2019-06-10 2020-12-17 セイコーエプソン株式会社 表示装置の制御方法、および表示装置
US20210056272A1 (en) 2019-08-23 2021-02-25 KEFI Holdings, Inc Object detection-based control of projected content
CN111191974B (zh) * 2019-11-28 2023-07-04 泰康保险集团股份有限公司 药品盘点的方法和装置
US11238833B2 (en) * 2020-05-26 2022-02-01 Caterpillar Inc. Methods and systems for display screens with relative coordinate systems
US11847258B2 (en) * 2020-11-17 2023-12-19 Samsung Electronics Co., Ltd. Method for wireless connection in augmented reality environment and electronic device therefor
EP4213482A4 (en) 2020-12-16 2024-03-20 Samsung Electronics Co Ltd METHOD AND DEVICE FOR TRANSMITTING SEVERAL PARTS OF APPLICATION DATA WITH LOW LATENCY

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH086708A (ja) * 1994-04-22 1996-01-12 Canon Inc 表示装置
JP2005172851A (ja) * 2003-12-05 2005-06-30 Sony Corp 画像表示装置
CN102244676A (zh) * 2010-05-14 2011-11-16 Lg电子株式会社 电子设备和与其他设备共享电子设备的内容的方法
JP2012198668A (ja) * 2011-03-18 2012-10-18 Ns Solutions Corp 情報処理装置、拡張現実感提供方法、及びプログラム
US20120302289A1 (en) * 2011-05-27 2012-11-29 Kang Heejoon Mobile terminal and method of controlling operation thereof

Family Cites Families (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0660025A (ja) 1992-08-11 1994-03-04 Hitachi Ltd 電子対話システム
EP1257094B8 (en) * 1997-06-25 2007-08-08 Samsung Electronics Co., Ltd. Browser based command and control network
JP3493126B2 (ja) 1998-03-11 2004-02-03 シャープ株式会社 テレビジョン受信機の表示装置
JP2000029619A (ja) 1998-07-10 2000-01-28 Sony Corp コンピュータ装置
JP2000284886A (ja) 1999-03-31 2000-10-13 Canon Inc テキスト入力システム、テキスト入力方法、メニュー選択方法及び記憶媒体
JP2001092770A (ja) * 1999-09-20 2001-04-06 Nec Corp 接続機器検出システム
EP1096793B1 (en) 1999-10-25 2004-09-22 Spotware Technologies, Inc. System, method, signal, user interface and software to display thumbnail banners
JP2002358065A (ja) * 2001-06-01 2002-12-13 Seiko Epson Corp 表示サービス提供システム及び映像表示装置
JP3968467B2 (ja) 2002-03-26 2007-08-29 株式会社ケンウッド Avシステム
JP4281400B2 (ja) 2003-04-14 2009-06-17 ソニー株式会社 通信装置、その表示方法、コンピュータプログラム、および通信方法
JP2006031206A (ja) 2004-07-14 2006-02-02 Sony Corp 情報処理装置および方法、並びにプログラム
JP2007166316A (ja) 2005-12-14 2007-06-28 Sharp Corp 映像表示装置及び映像表示システム
JP2008096868A (ja) 2006-10-16 2008-04-24 Sony Corp 撮像表示装置、撮像表示方法
US9001047B2 (en) * 2007-01-07 2015-04-07 Apple Inc. Modal change based on orientation of a portable multifunction device
KR100801650B1 (ko) * 2007-02-13 2008-02-05 삼성전자주식회사 휴대 단말기의 대기 화면에서의 기능 실행 방법
CN101290553A (zh) * 2007-04-17 2008-10-22 索尼(中国)有限公司 具有显示屏的电子设备
JP4908360B2 (ja) 2007-09-19 2012-04-04 株式会社東芝 携帯情報端末連係システムおよび連係処理プログラム並びに連係処理装置
JP5082722B2 (ja) 2007-09-28 2012-11-28 ブラザー工業株式会社 画像表示装置及び画像表示システム
JP5372357B2 (ja) * 2007-10-18 2013-12-18 富士通コンポーネント株式会社 Kvmスイッチ及びその制御方法、並びにマルチモニタ対応切替システム及びマルチモニタ対応切替方法
US20090195513A1 (en) * 2008-02-05 2009-08-06 Delphi Technologies, Inc. Interactive multimedia control module
JP5250834B2 (ja) 2008-04-03 2013-07-31 コニカミノルタ株式会社 頭部装着式映像表示装置
WO2009139648A2 (en) * 2008-05-12 2009-11-19 Synergenz Bioscience Limited Methods and compositions for assessment of pulmonary function and disorders
CN102027450B (zh) * 2008-05-20 2015-05-13 思杰系统有限公司 由移动计算装置使用外部显示装置的方法和系统
US8957835B2 (en) 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US8594467B2 (en) * 2008-12-19 2013-11-26 Microsoft Corporation Interactive virtual display system for ubiquitous devices
JP5126047B2 (ja) 2008-12-24 2013-01-23 ブラザー工業株式会社 ヘッドマウントディスプレイ
US20100259464A1 (en) * 2009-04-14 2010-10-14 Jae Young Chang Terminal and controlling method thereof
JP5380147B2 (ja) 2009-04-30 2014-01-08 オリンパスイメージング株式会社 撮像装置、表示装置および撮像システム
WO2011019154A2 (en) * 2009-08-14 2011-02-17 Lg Electronics Inc. Remote control device and remote control method using the same
US20130314303A1 (en) * 2010-02-28 2013-11-28 Osterhout Group, Inc. Ar glasses with user action control of and between internal and external applications with feedback
WO2011125352A1 (ja) 2010-04-09 2011-10-13 株式会社ソニー・コンピュータエンタテインメント 情報処理システム、操作入力装置、情報処理装置、情報処理方法、プログラム及び情報記憶媒体
JP5529616B2 (ja) 2010-04-09 2014-06-25 株式会社ソニー・コンピュータエンタテインメント 情報処理システム、操作入力装置、情報処理装置、情報処理方法、プログラム及び情報記憶媒体
US8966401B2 (en) * 2010-05-03 2015-02-24 Lg Electronics Inc. Electronic device and methods of sending information with the electronic device, controlling the electronic device, and transmitting and receiving information in an information system
JP5630141B2 (ja) 2010-08-18 2014-11-26 ブラザー工業株式会社 画像表示システム、画像表示システムに含まれる携帯型情報処理装置のためのコンピュータプログラム、画像表示システムに含まれるヘッドマウントディスプレイ、及び画像表示方法
CN103492978B (zh) * 2010-10-05 2017-02-15 西里克斯系统公司 用于远程化的应用的触摸支持
KR101741551B1 (ko) * 2010-12-20 2017-06-15 엘지전자 주식회사 이동 단말기 및 이것의 애플리케이션 제어 방법
US9519357B2 (en) 2011-01-30 2016-12-13 Lg Electronics Inc. Image display apparatus and method for operating the same in 2D and 3D modes
JP5948801B2 (ja) 2011-11-14 2016-07-06 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
US8803764B2 (en) 2011-03-24 2014-08-12 Seiko Epson Corporation Head-mount type display device and method of controlling head-mount type display device
US8203502B1 (en) 2011-05-25 2012-06-19 Google Inc. Wearable heads-up display with integrated finger-tracking input sensor
US8749573B2 (en) * 2011-05-26 2014-06-10 Nokia Corporation Method and apparatus for providing input through an apparatus configured to provide for display of an image
JP5037718B1 (ja) 2011-07-27 2012-10-03 株式会社ビジョナリスト 簡易操作型無線データ送受信システム及び簡易操作型無線データ送受信プログラム
WO2013014763A1 (ja) 2011-07-27 2013-01-31 株式会社ビジョナリスト 簡易操作型無線データ送受信システム及び簡易操作型無線データ送受信プログラム
JP5344651B2 (ja) 2011-07-29 2013-11-20 キヤノンマーケティングジャパン株式会社 情報処理装置、制御方法、プログラム、および情報処理システム
US9081177B2 (en) * 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
KR101932270B1 (ko) 2012-01-04 2018-12-24 엘지전자 주식회사 이동 단말기 및 그 제어방법
US20150058709A1 (en) * 2012-01-26 2015-02-26 Michael Edward Zaletel Method of creating a media composition and apparatus therefore
WO2013116163A1 (en) * 2012-01-26 2013-08-08 Zaletel Michael Edward Method of creating a media composition and apparatus therefore
US20170257414A1 (en) * 2012-01-26 2017-09-07 Michael Edward Zaletel Method of creating a media composition and apparatus therefore
JP2013172432A (ja) 2012-02-23 2013-09-02 Panasonic Corp 機器制御装置、機器制御方法、機器制御プログラム、及び集積回路
KR20130123506A (ko) * 2012-05-03 2013-11-13 삼성전자주식회사 모듈 식별 정보 운용 방법 및 시스템과 이를 지원하는 단말기
KR102088382B1 (ko) * 2012-09-07 2020-03-12 삼성전자주식회사 애플리케이션 실행 방법, 콘텐트 공유 제어 방법 및 디스플레이 장치
US8482527B1 (en) 2012-09-14 2013-07-09 Lg Electronics Inc. Apparatus and method of providing user interface on head mounted display and head mounted display thereof
KR101989893B1 (ko) * 2012-10-29 2019-09-30 엘지전자 주식회사 헤드 마운트 디스플레이 및 이를 이용한 오디오 신호 출력 방법
JP5517222B2 (ja) 2012-12-03 2014-06-11 Necカシオモバイルコミュニケーションズ株式会社 端末装置、及びプログラム
JP5664677B2 (ja) 2013-02-19 2015-02-04 ソニー株式会社 撮像表示装置、撮像表示方法
US9507426B2 (en) 2013-03-27 2016-11-29 Google Inc. Using the Z-axis in user interfaces for head mountable displays
CN105247466B (zh) * 2013-05-15 2019-07-26 索尼公司 显示控制装置,显示控制方法和记录介质
KR102056221B1 (ko) * 2013-07-12 2019-12-16 삼성전자주식회사 시선인식을 이용한 장치 연결 방법 및 장치
US20150062164A1 (en) * 2013-09-05 2015-03-05 Seiko Epson Corporation Head mounted display, method of controlling head mounted display, computer program, image display system, and information processing apparatus
US9536493B2 (en) * 2013-09-25 2017-01-03 Samsung Electronics Co., Ltd. Display apparatus and method of controlling display apparatus
US10451874B2 (en) 2013-09-25 2019-10-22 Seiko Epson Corporation Image display device, method of controlling image display device, computer program, and image display system
KR102248474B1 (ko) * 2014-04-30 2021-05-07 삼성전자 주식회사 음성 명령 제공 방법 및 장치
WO2016017945A1 (en) * 2014-07-29 2016-02-04 Samsung Electronics Co., Ltd. Mobile device and method of pairing the same with electronic device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH086708A (ja) * 1994-04-22 1996-01-12 Canon Inc 表示装置
JP2005172851A (ja) * 2003-12-05 2005-06-30 Sony Corp 画像表示装置
CN102244676A (zh) * 2010-05-14 2011-11-16 Lg电子株式会社 电子设备和与其他设备共享电子设备的内容的方法
JP2012198668A (ja) * 2011-03-18 2012-10-18 Ns Solutions Corp 情報処理装置、拡張現実感提供方法、及びプログラム
US20120302289A1 (en) * 2011-05-27 2012-11-29 Kang Heejoon Mobile terminal and method of controlling operation thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107019487A (zh) * 2016-02-02 2017-08-08 深圳市巨烽显示科技有限公司 医疗影像显示方法及装置

Also Published As

Publication number Publication date
US10451874B2 (en) 2019-10-22
US20150084857A1 (en) 2015-03-26
CN104469464B (zh) 2020-03-06

Similar Documents

Publication Publication Date Title
CN104469464A (zh) 图像显示装置、控制图像显示装置的方法、计算机程序以及图像显示系统
US10643400B2 (en) Head-mounted display device, method of controlling head-mounted display device, and computer program
CN105850148B (zh) 视频显示系统及连接方法
US9784976B2 (en) Head mounted display, information processing apparatus, image display apparatus, image display system, method for sharing display of head mounted display, and computer program
JP6209906B2 (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、画像表示システム
US20150062164A1 (en) Head mounted display, method of controlling head mounted display, computer program, image display system, and information processing apparatus
JP6476643B2 (ja) 頭部装着型表示装置、情報システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム
RU2643649C2 (ru) Устанавливаемое на голове устройство отображения и способ управления устанавливаемым на голове устройством отображения
US20150062158A1 (en) Integration of head mounted displays with public display devices
US20150193977A1 (en) Self-Describing Three-Dimensional (3D) Object Recognition and Control Descriptors for Augmented Reality Interfaces
CN104749778A (zh) 图像显示系统、头部佩戴型显示装置及其控制方法
CN104423584A (zh) 可佩戴的装置及其输出内容的方法
CN107076992A (zh) 适应于环境的头戴式显示装置
US11025855B2 (en) Controlling a display apparatus using a virtual UI provided by an electronic apparatus
CN109491496A (zh) 头部佩戴型显示装置和头部佩戴型显示装置的控制方法
JP6492419B2 (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム、画像表示システム、および、情報処理装置
US9799144B2 (en) Head mounted display, and control method for head mounted display
JP2016218547A (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
JP6488629B2 (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
JP2015227919A (ja) 画像表示装置、画像表示装置を制御する方法、コンピュータープログラム、および、画像表示システム
JP6229381B2 (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、画像表示システム、情報処理装置
JP2015064476A (ja) 画像表示装置、画像表示装置を制御する方法
JP6828235B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の表示を共有する方法、コンピュータープログラム
JP2016142966A (ja) 頭部装着型表示装置、情報処理装置、画像表示装置、画像表示システム、頭部装着型表示装置の表示を共有する方法、コンピュータープログラム
JP6394174B2 (ja) 頭部装着型表示装置、画像表示システム、頭部装着型表示装置を制御する方法、および、コンピュータープログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant