CN104049363A - 图像显示系统以及头部佩戴型显示装置 - Google Patents

图像显示系统以及头部佩戴型显示装置 Download PDF

Info

Publication number
CN104049363A
CN104049363A CN201410082942.9A CN201410082942A CN104049363A CN 104049363 A CN104049363 A CN 104049363A CN 201410082942 A CN201410082942 A CN 201410082942A CN 104049363 A CN104049363 A CN 104049363A
Authority
CN
China
Prior art keywords
image
visual direction
unit
display
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410082942.9A
Other languages
English (en)
Other versions
CN104049363B (zh
Inventor
小林伸一
津田敦也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN104049363A publication Critical patent/CN104049363A/zh
Application granted granted Critical
Publication of CN104049363B publication Critical patent/CN104049363B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35Details of game servers
    • A63F13/352Details of game servers involving special game server arrangements, e.g. regional servers connected to a national server or a plurality of servers managing partitions of the game world
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/26Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/98Accessories, i.e. detachable arrangements optional for the use of the video game device, e.g. grip supports of game controllers
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/203Image generating hardware
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/301Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device using an additional display connected to the game console, e.g. on the controller
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/303Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device for displaying additional data, e.g. simulating a Head Up Display
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/308Details of the user interface

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明提供一种能够放大图像的观察范围的图像显示系统以及头部佩戴型显示装置。图像显示系统具备:图像发送装置、第1显示装置,其显示第1图像;以及第2显示装置,其显示第2图像,第2显示装置具备:显示装置侧接收单元,其接收第2图像;显示单元,其显示第2图像;视觉方向获取单元,其获取使用者的当前视觉方向;以及显示装置侧发送单元,其发送当前视觉方向,图像发送装置具备:发送装置侧接收单元,其接收当前视觉方向;提取单元,其提取整个图像中的一部分区域的图像即第1图像、以及该整个图像中的与当前视觉方向对应的区域的图像即第2图像;以及发送装置侧发送单元,其发送第1以及第2图像。

Description

图像显示系统以及头部佩戴型显示装置
技术领域
本发明涉及图像显示系统以及头部佩戴型显示装置。
背景技术
以往,作为显示图像的图像显示装置,除了设置于规定位置的显示器之外,已知有佩戴于使用者的头部的头部佩戴型显示装置(头戴式显示器)(例如,参照专利文献1)。
该专利文献1记载的头戴式显示器构成为可观察外界的透视(seethrough)型的头戴式显示器。而且,在该头戴式显示器中,根据图像信息并通过液晶显示设备对从设置在框架的镜腿的背光灯射出的光进行调制,并经由透镜利用导光板将该光引导至使用者的眼睛。由此,图像被视觉确认。
专利文献1:日本特开2012-163639号公报
然而,在由PC(Personal Computer:个人电脑)或者游戏机等执行,并在单向滚动的画面内操作人物(character)来进行的视频游戏中,存在不随该画面的滚动的人物从该视频游戏被除去的情况。例如,在多个用户能够同时执行的视频游戏中,有在某个用户操作的人物使画面单向滚动的情况下,操作不随该画面的滚动的人物的用户结束游戏的情况。
与此相对,也提出一种根据用户的数量来分割显示器的显示区域,并显示各个用户的操作画面的构成。然而,在这样的构成中,存在若用户的数量增加,则各操作画面变小而难以操作这样的问题。
另外,也考虑将各用户佩戴的头戴式显示器与1台游戏机连接,分别独立地显示各个用户的操作画面。然而,在这样的情况下,存在与各自分别独立地实施视频游戏的情况没有大的差别这样的问题。
由于这样的问题,要求一种能够放大如视频游戏的游戏画面这样的一系列图像中各用户能够观察的范围的构成。
发明内容
本发明的目的之一在于,提供能够放大图像的观察范围的图像显示系统以及头部佩戴型显示装置。
本发明的第1方式的图像显示系统的特征在于,该图像显示系统具备:图像发送装置;第1显示装置,其显示从上述图像发送装置接收的第1图像;以及第2显示装置,其显示从上述图像发送装置接收的第2图像,上述第2显示装置具备:显示装置侧接收单元,其接收上述第2图像;显示单元,其显示接收到的上述第2图像;视觉方向获取单元,其获取使用者的当前的视觉方向即当前视觉方向;以及显示装置侧发送单元,其发送获取到的上述当前视觉方向,上述图像发送装置具备:发送装置侧接收单元,其从上述第2显示装置接收上述当前视觉方向;提取单元,其提取1帧份的图像所包含的整个图像中的一部分区域的图像即上述第1图像、以及该整个图像中的与上述当前视觉方向对应的区域的图像即上述第2图像;以及发送装置侧发送单元,其发送上述第1图像以及上述第2图像。
此外,整个图像既可以是1帧份的整个图像,也可以是该1帧份的图像中的规定区域内的图像。
根据上述第1方式,在作为1帧份的图像的整个图像中,利用第1显示装置显示一部分区域的图像即第1图像,利用第2显示装置显示与通过视觉方向获取单元所获取的使用者的当前视觉方向对应的区域的图像即第2图像。
据此,因为不仅利用第1显示装置显示该第1图像,也利用第2显示装置显示与使用者的当前视觉方向对应的第2图像,所以通过使用者改变当前视觉方向,能够观察整个图像中的广阔的范围。因此,能够放大在整个图像中使用者能够观察的范围。另外,在利用第1显示装置以及第2显示装置显示上述的视频游戏的游戏画面的情况下,利用第三者能够观察的第1显示装置显示第1图像,所以除了使用者(该情况为视频游戏的玩家)以外的第三者能够掌握该视频游戏的进行状况。
在上述第1方式中,优选上述视觉方向获取单元以上述使用者的视觉方向相对于朝向上述第1显示装置的方向即、基准视觉方向的角度来表示上述当前视觉方向。
根据上述第1方式,视觉方向获取单元将朝向显示第1图像的第1显示装置的方向作为基准视觉方向,将当前视觉方向表示为相对于基准视觉方向的角度。此处,在整个图像中被作为第1图像提取的区域成为从与使用者的位置对应的基准点朝向基准视觉方向的区域,所以能够根据以相对于该基准视觉方向的角度表示的当前视觉方向,容易地设定在整个图像中作为第2图像获取的区域。因此,能够容易且可靠地实施提取单元的第2图像的提取。
在上述第1方式中,优选上述第2显示装置具备检测上述使用者的视觉方向的位移的位移检测单元,上述视觉方向获取单元基于通过上述位移检测单元检测出的上述视觉方向从上述基准视觉方向的位移量来获取上述当前视觉方向。
根据上述第1方式,通过从位移检测单元的检测结果来获取来自使用者的视觉方向与基准视觉方向一致的状态下的视觉方向的位移量,从而视觉方向获取单元能够容易地获取使用者的当前视觉方向。因此,能够简单地进行视觉方向获取处理。
在上述第1方式中,优选上述第2显示装置具有检测上述第1显示装置的位置的位置检测单元,上述视觉方向获取单元将通过上述位置检测单元检测出上述第1显示装置的位置时的上述使用者的视觉方向作为上述基准视觉方向。
根据上述第1方式,因为视觉方向获取单元能够将位置检测单元检测出第1显示装置的位置时的使用者的视觉方向作为基准视觉方向,所以使用者无需实施基准视觉方向的设定操作。除此以外,能够适当并可靠地设定基准视觉方向,所以在当前视觉方向和基准视觉方向一致的情况下,能够抑制在由第1显示装置显示的图像的内容和由第2显示装置显示的图像的内容之间产生偏差。
在上述第1方式中,优选上述第2显示装置由佩戴于上述使用者的头部的透视型的头部佩戴型显示装置构成,上述显示单元具备:图像形成单元,其形成上述第2图像;透光性的导光部件,其将通过上述图像形成单元形成的上述第2图像引导至上述使用者的眼睛,并且使外部光透过;以及快门,其配置于上述导光部件的外侧,控制上述外部光对上述使用者的眼睛的入射,上述第2显示装置具有驱动控制单元,该驱动控制单元在上述当前视觉方向不是朝向上述第1显示装置的方向的情况下,使上述快门动作以遮挡上述外部光,在上述当前视觉方向是朝向上述第1显示装置的方向的情况下,使上述快门动作以透过上述外部光。
此处,透视型的头部佩戴型显示装置指不仅能够观察形成的图像也能够观察外界的头部佩戴型显示装置(头戴式显示器)。另一方面,封闭型的头部佩戴型显示装置是仅能观察形成的图像,而不能够观察外界的头戴式表示装置。另外,作为快门,能够采用可切换光的透过状态和遮光状态的液晶快门。
根据上述第1方式,在当前视觉方向是朝向第1显示装置的方向的情况下,驱动制御单元使快门成为透过状态,从而使用者能够经由第2显示装置观察在第1显示装置显示的第1图像。由此,例如,在能够在第1显示装置显示的图像的分辨率高于能够在第2显示装置显示的图像的分辨率的情况下,能够观察高精细的第1图像。
另外,在当前视觉方向不是朝向第1显示装置的方向的情况下,驱动控制单元使快门成为遮光状态。据此,能够使使用者对外界的可视性降低,所以能够鲜明地观察由显示单元显示的第2图像。因此,能够得到高没入感。
在上述第1方式中,优选上述第2显示装置具有图像处理单元,该图像处理单元将接收到的上述第2图像调整为与在上述当前视觉方向朝向上述第1显示装置时由上述使用者观察到的外观上的上述第1图像的尺寸大致相同的尺寸。
此处,在使用者观察到的第1图像的尺寸与第2图像的尺寸不同的情况下,难以得到这些第1图像以及第2图像是分别构成整个图像的一部分区域的图像的感觉。与此相对,在上述第1方式中,通过调整第2图像,能够使各个外观上的第1图像的尺寸与第2图像的尺寸大致相同。因此,在使用者的视野中,能够使观察第1图像的视场角范围与观察第2图像的视野角范围一致,所以能够减少分别观察第1图像以及第2图像时的不协调感,能够容易得到上述没入感。
在上述第1方式中,优选上述第1显示装置具有显示上述第1图像的图像显示区域,上述第2显示装置具备检测来自上述使用者的上述图像显示区域的外观上尺寸的尺寸检测单元,上述图像处理单元根据通过上述尺寸检测单元检测出的上述图像显示区域的外观上尺寸,来调整上述第2图像。
根据上述第1方式,能够以与实际被使用者观察到的第1图像的外观上尺寸一致的方式实施图像处理单元的第2图像的调整。因此,能够使各个外观上的第1图像的尺寸与第2图像的尺寸一致。
本发明的第2方式的头部佩戴型显示装置是佩戴于使用者的头部的头部佩戴型显示装置,其特征在于,具备:位移检测单元,其检测上述使用者的视觉方向的位移;图像获取单元,其在1帧份的图像所包含的整个图像中,以预先设定的区域为基准,来获取与通过上述位移检测单元检测出的上述视觉方向的位移对应的区域的图像;以及显示单元,其显示通过上述图像获取单元所获取的图像。
根据上述第2方式,不仅能够观察在整个图像中预先设定的区域的图像,还能够观察在该整个图像中与使用者的视觉方向对应的区域的图像。因此,能够放大整个图像的观察范围,并能够不缩小较大的尺寸的整个图像来观察。
附图说明
图1是表示本发明的第1实施方式的图像显示系统的整体构成的示意图。
图2是表示上述实施方式中的图像显示系统的构成的框图。
图3是表示上述实施方式中的整个图像的一个例子的图。
图4是表示上述实施方式中的显示器的示意图。
图5是表示在上述实施方式中的第2图像上重叠第1图像的一部分的状态的图。
图6是表示上述实施方式中的图像显示处理的流程图。
图7是表示本发明的第2实施方式的头戴式显示器的构成的框图。
图8是表示上述实施方式中的整个图像的一个例子的图。
具体实施方式
第1实施方式
以下,基于附图对本发明的第1实施方式进行说明。
图像显示系统的整体构成
图1是表示本实施方式的图像显示系统1的整体构成的示意图。
如图1所示,本实施方式的图像显示系统1具备图像发送装置2、分别与该图像发送装置2连接的设置型显示器(以下,有略称为显示器的情况)3、以及头戴式显示器(以下,有略称为HMD的情况)4(4A、4B),并且显示器3以及HMD4(4A、4B)分别显示与从该图像发送装置2发送过来的图像信息(包含图像数据以及图像信号)对应的图像。这种图像显示系统1的特征之一在于,按照每个使用者US设定以使用者US(USA、USB)的当前位置为中心的俯视圆形状的虚拟显示面VD,并将1帧份的图像即整个图像应用于该虚拟显示面VD,使该整个图像中的规定区域内的图像作为第1图像显示于显示器3,使在该整个图像中与佩戴了HMD4的使用者US的当前的视觉方向对应的区域内的图像显示于该HMD4。
此外,在本实施方式中,图像显示系统1为具备2台HMD4(4A、4B)的构成,但HMD4的数量能够适当地变更。
图像发送装置的构成
图2是表示图像显示系统1的构成的框图。
图像发送装置2描绘上述整个图像,将在该整个图像中在显示器3所显示的区域内的图像即、第1图像发送至该显示器3,并且将与使用者US的视觉方向对应的区域内的图像即、第2图像发送至HMD4。具体而言,图像发送装置2在本实施方式中由游戏机或者PC等构成,描绘包括与游戏的进行对应的图像、绘画以及风景等图像的整个图像,并将从该整个图像提取的第1图像以及第2图像分别发送至显示器3以及HMD4。
如图2所示,这样的图像发送装置2具备输入单元21、收发单元22、存储单元23、描绘提取单元24以及控制单元25。
输入单元21由键盘以及定位设备、或者控制器等构成,将与使用者的操作对应的操作信号输出至控制单元25。
收发单元22在控制单元25的控制下,在显示器3以及HMD4之间进行信息的收发。例如,收发单元22除了将上述第1图像的图像信息发送至显示器3以外,还将上述第2图像的图像信息发送至HMD4。另外,收发单元22从HMD4接收后述的观察状态信息。即,收发单元22具有作为本发明的发送装置侧接收单元以及发送装置侧发送单元的功能。
存储单元23在本实施方式中由HDD(Hard Disk Drive:硬盘驱动器)构成,存储图像发送装置2的动作所需的各种程序以及数据。存储单元23存储在后述的整个图像的描绘时所利用的背景以及字符等图像数据,作为这样的数据。此外,这样的图像数据可以记录于DVD(DigitalVersatile Disc:数字多功能光盘)等的磁盘型记录介质或者半导体存储器等各种记录介质。在利用记录在这样的记录介质的数据的情况下,图像发送装置2具备能够读出该数据的驱动器或者读取器即可。
描绘提取单元24基于存储在存储单元23中的图像数据在未图示的帧存储器中描绘1帧份的整个图像。
而且,描绘提取单元24具有作为本发明的提取单元的功能,在该整个图像中,在规定的位置设定基准区域,并提取该基准区域内的图像作为上述第1图像。该第1图像是在使用者的当前视觉方向与基准视觉方向(使用者的视觉方向朝向显示器3的后述的图像显示区域31的方向)一致的情况下观察到的图像。换言之,基准区域是在将整个图像应用于上述圆形状的虚拟显示面VD(参照图1)的情况下,在该整个图像中,在位于虚拟显示面VD的中心的使用者的视觉方向与基准视觉方向一致的情况下观察到的区域。
另外,描绘提取单元24在将整个图像应用于上述圆形状的虚拟显示面VD(参照图1)的情况下,从整个图像提取与由上述观察状态信息所示的当前视觉方向对应的区域内的图像,作为上述第2图像。该观察状态信息所包含的视觉方向信息利用使用者的当前视觉方向相对于基准视觉方向的相对角度来表示当前视觉方向,以后详细说明。
图3是表示由图像发送装置2描绘的整个图像P1的一个例子的图。
例如,描绘提取单元24描绘图3所示的游戏图像即、横宽的整个图像P1。而且,描绘提取单元24在该整个图像P1设定基准区域PA,并提取该基准区域PA内的图像作为第1图像。而且,描绘提取单元24将所提取的第1图像的图像信息经由收发单元22发送至显示器3。此外,基准区域PA的尺寸根据显示器3的后述的图像显示区域31(参照图4)的纵横比而设定。
另外,描绘提取单元24获取通过收发单元22从HMD4接收到的观察状态信息。而且,描绘提取单元24根据该观察状态信息获取表示利用相对于基准视觉方向(佩戴了HMD4的使用者朝向显示器3的方向)的角度所表示的当前视觉方向的视觉方向信息、和该HMD4以及图像显示区域31之间的相对距离。
之后,在整个图像P1应用于上述虚拟显示面VD,并且将该整个图像P1中的上述基准区域PA定位在与基准视觉方向对应的位置的情况下,描绘提取单元24从整个图像P1提取与上述当前视觉方向以及相对距离对应的区域(例如,图3中的区域PB)内的图像,即、以当前视觉方向为中心进入使用者的视野的区域内的图像,作为第2图像。之后,描绘提取单元24将所提取的第2图像P12的图像信息经由收发单元22向已发送上述观察状态信息的HMD4发送。
这样,描绘提取单元24不仅基于当前视觉方向还基于相对距离提取第2图像是因为,应用于虚拟显示面VD的整个图像P1中的使用者的观察范围,即、使用者的视场角根据HMD4(即使用者)与虚拟显示面VD的相对距离而改变。
此外,在本实施方式中,描绘提取单元24随着时间经过使整个图像P1中的上述基准区域PA向单方向(例如,沿着整个图像P1的长边方向的单方向。在图3的例子中是右方向)移动。因此,观察与基准区域PA对应的图像,且显示于显示器3的第1图像的观察者(包括佩戴了HMD4的使用者)观察到显示图像随着时间经过沿上述单方向滚动。
控制单元25控制图像发送装置2的动作。例如,控制单元25控制收发单元22与显示器3以及HMD4的通信。另外,控制单元25执行存储在存储单元23中的游戏程序(包括经由网络获取而存储在存储单元23中的游戏程序)、从上述的记录介质读出的游戏程序。而且,控制单元25在该游戏程序的执行时,使上述描绘提取单元24执行作为游戏图像的整个图像的描绘、和包括第1图像以及第2图像的提取以及发送的图像发送处理。
此外,第2图像的图像信息的发送在本实施方式中,在当前视觉方向与基准视觉方向一致的情况下不实施。这是因为在基准视觉方向与当前视觉方向一致的情况下,第1图像和第2图像为相同的图像,所以使佩戴透视型的HMD4的使用者观察显示器3所显示的第1图像,而省略不必要的处理。
因此,控制单元25判定当前视觉方向和基准视觉方向是否一致,在它们不同的情况下,使第2图像的提取处理以及该第2图像的发送处理执行,在它们一致的情况下,限制这些各处理的执行。
然而,并不局限于此,可以构成为图像发送装置2时常提取以及发送与当前视觉方向对应的第2图像,在接收到该第2图像的图像信息的HMD4侧实施判定基准视觉方向和当前视觉方向是否一致的判定处理,判定是否显示第2图像P12。
显示器的构成
图4是表示显示器3的示意图。
显示器3如上述,是在配置图像显示系统1的空间内的规定位置上设置的设置型的显示器,相当于本发明的第1显示装置。如图4所示,该显示器3具有显示与从图像发送装置2接收的图像信息对应的第1图像的长方形图像显示区域31。
作为这样的显示器3,能够例示液晶、等离子体、有机EL(Electroluminescence:电致发光)以及CRT(Cathode Ray Tube:电子射线管)等的各种显示器。另外,显示器3的尺寸能够适当地选择。
此外,显示器3具有设置于图像显示区域31的外侧且表示该图像显示区域31的位置的标记32。具体而言,标记32设置在图像显示区域31的外侧、且与该图像显示区域31的四角对应的位置。这些标记32被HMD4的后述的位置检测单元43检测,由此,检测出从该HMD4(即、佩戴HMD4的使用者)观察的情况下的图像显示区域31的位置、方向以及尺寸。作为这样的标记32,能够例示射出规定的色光(例如,红外光)的发光元件、标注规定的标识或者颜色的记号。
HMD的构成
HMD4相当于本发明的第2显示装置。如图1所示,该HMD4是佩戴于使用者US的头部,使形成的图像入射至该使用者US的眼睛,从而使视觉确认该图像的头部佩戴型图像显示装置(虚像显示装置),在本实施方式中,构成为透视型的头戴式显示器。该HMD4将观察状态信息发送至图像发送装置2,从图像发送装置2接收与使用者US的当前视觉方向对应的第2图像并显示。
如图2所示,这样的HMD4具备收发单元41、位移检测单元42、位置检测单元43、测距单元44、显示单元45、控制单元46、以及安装它们的框架(省略图示)。其中,框架具有如眼镜框一样的构成。
收发单元41在本实施方式中,以无线与图像发送装置2通信连接,利用规定的通信协议收发信息。具体而言,收发单元41除了从图像发送装置2接收第2图像P12的图像信息以外,还将基于各检测单元42~44的检测结果的观察状态信息发送至该图像发送装置2。即、收发单元41具有相当于本发明的显示装置侧接收单元以及显示装置侧发送单元的功能。此外,也可以构成为以有线与图像发送装置2通信连接。
位移检测单元42基于佩戴HMD4的使用者的姿势,来检测该使用者的视觉方向的位移量。具体而言,位移检测单元42具有安装于上述框架并检测使用者的头部的朝向的传感器、和检测身体的朝向的传感器,基于这些传感器的检测结果,来检测该使用者的视觉方向的位移方向以及位移量。而且,位移检测单元42将检测结果输出至控制单元46。作为这样的传感器,能够例示三维陀螺传感器等。
位置检测单元43检测上述图像显示区域31的位置。在本实施方式中,位置检测单元43具有安装于上述框架并检测上述的标记32的传感器,基于该传感器的检测结果,来检测从HMD4观察的情况下的图像显示区域31的位置以及方向。另外,在本实施方式中,由于上述标记32被设置在与图像显示领域31的四角对应的位置,所以通过检测该标记32的位置,从而位置检测单元43检测从HMD4观察的情况下的图像显示区域31的尺寸。而且,位置检测单元43将检测结果输出至控制单元46。
这样,位置检测单元43具有作为本发明的位置检测单元以及尺寸检测单元的功能。
此外,位置检测单元43所具有的上述传感器以该传感器的检测方向与使用者的当前视觉方向一致的方式配置,并且,由位置检测单元43检测的标记32的检测范围根据使用者的视野而设定。由此,除了能够适当地判定标记32是否位于该使用者的视野内,即,图像显示区域31是否位于该视野内,还能够检测在该视野内图像显示区域31位于的视场角。作为这样的传感器,在标记32是射出上述规定色光的构成的情况下,除了能够例举检测该色光的传感器之外,还能够例举具有CCD(Charge Coupled Device:电荷耦合元件)或者CMOS(ComplementaryMetal Oxide Semiconductor:互补金属氧化物半导体)设备等的拍摄元件的传感器。
此外,在位置检测单元43是具备具有该拍摄元件的传感器的构成的情况下,可以构成为基于该拍摄元件的拍摄图像,来检测图像显示区域31的位置等。
在通过位置检测单元43检测出标记32时,测距单元44测定佩戴HMD4的使用者与图像显示区域31的相对距离。这样的测距单元44能够成为具有通过射出红外线等而能够测定距离的测距传感器的构成,该测距单元44将检测结果输出至控制单元46。
显示单元45形成与从控制单元46输入的图像信号对应的图像,并以使用者能够视觉确认的方式显示该图像。该显示单元45具备形成与该图像信号对应的图像的图像形成装置451、将从该图像形成装置451入射的光引导至使用者的眼睛的导光部件452、以及快门453。
图像形成装置451相当于本发明的图像形成单元,虽然省略图示,但具备光源装置、对从该光源装置射出的光束进行调制的光调制装置、以及投射经过调制的光的投射光学装置。此外,作为光调制装置,能够例示透射型或者反射型的液晶面板、使用了微镜的设备。
在导光部件452中,在与使用者的眼睛对应的位置设置有半透半反镜,从图像形成装置451入射到导光部件452内的光在该导光部件452内一边反射一边前进,通过该半透半反镜朝向使用者的眼睛反射。因此,使用者除了能够观察由该光形成的图像以外,也能够观察外界。
快门453是构成为在控制单元46的控制下,能够切换外部光(外界像)透过的透过状态和遮挡该外部光的遮挡状态的遮光装置。该快门453设置于导光部件452的外侧,即、透过该导光部件452而入射至使用者的眼睛的外部光的光路上。因此,能够切换遮挡外部光而仅能够观察图像的状态和使外部光透过而能够观察外界的状态。作为这样的快门453,能够采用液晶快门,特别是能够采用能够按像素为单位切换透过状态和遮挡状态的液晶快门。
控制单元46构成为安装有控制HMD4的控制电路的电路基板。该控制单元46具有视觉方向获取部461、观察状态获取部462、图像处理部463以及驱动控制部464。
视觉方向获取部461相当于本发明的视觉方向获取单元,基于位移检测单元42以及位置检测单元43的检测结果,来获取表示使用者的当前视觉方向的视觉方向信息。
具体而言,首先,视觉方向获取部461将位置检测单元43检测出上述标记32(设置有多个标记32的情况下为全部的标记32)的状态判断为使用者的当前视觉方向是朝向图像显示区域31的状态(当前视觉方向与基准视觉方向一致的状态)。
而且,视觉方向获取部461从该状态基于位移检测单元42的检测结果,来获取当前视觉方向从基准视觉方向的位移方向以及位移量,获取利用以基准视觉方向为0度的情况下的相对的角度表示当前视觉方向的视觉方向信息。
此时,如上所述,因为本实施方式中的整个图像P1是左右方向长的横宽图像,所以,例如,利用正(+)值的角度表示从基准视觉方向向右侧移动的情况下的当前视觉方向,利用负(-)值的角度表示从基准视觉方向向左侧移动的情况下的当前视觉方向。这样,获取表示当前视觉方向的视觉方向信息。
而且,视觉方向获取部461将包括该视觉方向信息的观察状态信息经由收发单元41向图像发送装置2发送。此外,观察状态信息除了包含能够特定发送该观察状态信息的HMD4的固有信息(例如IP(Internet Protocol:网络协议)地址)以外,还包含通过测距单元44测定的相对距离。
观察状态获取部462基于位置检测单元43的检测结果,来获取从HMD4的图像显示区域31的外观上尺寸(被使用者观察到的图像显示区域31的外观上尺寸)。换言之,获取在使用者的视野内图像显示区域31位于的视场角(水平方向的视场角以及垂直方向的视场角)。
图像处理部463相当于本发明的图像处理单元,处理从图像发送装置2接收到的第2图像的图像信息。此时,图像处理部463调整第2图像,以使通过观察状态获取部462获取的尺寸与通过显示单元45显示并被使用者视觉确认的图像的尺寸一致。
此外,在以距离使用者2.5m的前面视觉确认40英寸的图像的方式构成显示单元45的情况下,如果图像显示区域31的尺寸为对角40英寸,该图像显示区域31和使用者的相对距离是2.5m,则图像显示区域31的外观上尺寸和通过HMD4显示的图像的外观上尺寸大致相同。因此,在这样的条件的情况下,也可以省略上述调整处理。
驱动控制部464控制收发单元41与图像发送装置2的通信状态。
此外,驱动控制部464将与由图像处理部463处理的图像信息对应的图像信号输出至显示单元45,并控制该显示单元45的动作。
例如,驱动控制部464使图像形成装置451形成与该图像信息对应的第2图像。另外,驱动控制部464在判定为通过视觉方向获取部461获取的当前视觉方向与基准视觉方向一致的情况下,使快门453成为透过状态,在判定为与基准视觉方向不一致的情况下,使该快门453成为遮挡状态。此时,在当前的使用者的视野中与上述虚拟显示面VD不位于的范围对应的快门453的区域可以作为透过状态以能够观察外界像,也可以作为遮挡状态以得到没入感。这样的驱动控制部464相当于本发明的驱动控制单元。
此外,在使用者的视野内包含有上述虚拟显示面VD的状态下,驱动控制部464在使显示单元45显示图像的情况下,在与整个图像的长边方向垂直的方向上,使该图像以图像显示区域31位于的视场角与显示的图像的视场角一致的方式显示。因此,在整个图像是左右方向长的横宽图像的情况下,使用者的视野中的观察显示器3的上下的视场角和观察通过HMD4显示的图像的上下的视场角一致,所以使当前视觉方向从观察显示器3时的视觉方向(基准视觉方向)沿左右移动,从而能够以与显示器3显示的图像相同的视场角观察被HMD4显示的图像。
另一方面,人类的辅助视野(感觉到刺激的存在的程度的区域)是以朝向正面时的视觉方向为中心,水平200度(右方100度,左方100度),垂直约125度(上方约50度,下方约75度)。然而,稳定注视视野(能够以眼球以及头部的运动合理地注视,能够进行有效的信息接受的区域)是水平60~90度以内,垂直45~70度以内。
与此相对,如果HMD4的显示单元45以显示的图像的中心与使用者的视野的中心大致一致的方式显示该图像,则能够容易在上述稳定注视视野内显示该图像。因此,能够容易使使用者视觉确认被HMD4显示的图像。
图5是表示在第2图像上重叠第1图像的一部分的状态的图。
此处,根据当前视觉方向的朝向,可以产生在整个图像P1中,与第2图像对应的区域的一部分和与第1图像对应的基准区域PA的一部分重叠的情况。例如,图5所示的第2图像P12是图3中的区域PC内的图像,但该第2图像P12中的以点线表示的区域AR内的图像是包含于上述基准区域PA的图像。这样的情况下,驱动控制部464使显示单元45显示接收到的第2图像P12,并且使上述快门453成为遮挡状态。由此,即使在第2图像P12中有与第1图像重叠的区域的情况下,该第2图像P12也被视觉确认为通过显示单元45显示的图像。
此外,驱动控制部464也可以使显示单元45仅显示在第2图像P12中不与基准区域PA重叠区域的图像,并且在上述快门453中使与该不重叠的区域对应的区域成为遮挡状态,使与重叠区域对应的区域成为透过状态。该情况下,该不重叠的区域的图像被显示单元45显示而能够视觉确认,重叠的区域的图像通过观察图像显示区域31而能够视觉确认。
图像显示系统的图像显示处理
图6是表示图像显示系统1中的图像显示处理的流程图。此外,在图6中,省略显示器3的处理。
在上述图像显示系统1中,图像发送装置2、显示器3以及HMD4共同执行图6所示的图像显示处理。
在该图像显示处理中,首先,HMD4的视觉方向获取部461基于位置检测单元43的检测结果来设定基准视觉方向(步骤SA1)。
另外,在HMD4中,观察状态获取部462获取包括基于位置检测单元43的检测结果的图像显示区域31的外观上尺寸、以及通过测距单元44测定的上述相对距离的观察状态(步骤SA2)。
之后,视觉方向获取部461基于位移检测单元42的检测结果,来获取表示当前视觉方向的视觉方向信息(步骤SA3)。
而且,驱动控制部464将包括所获取的视觉方向信息以及相对距离和HMD4的固有信息的观察状态信息经由收发单元41向图像发送装置2发送(步骤SA4)。之后,HMD4将处理移至步骤SA5。
另一方面,在图像发送装置2中,描绘提取单元24描绘整个图像P1(步骤SB1)。
而且,描绘提取单元24在该整个图像P1设定基准区域PA,并提取该基准领域PA内的图像作为第1图像。之后,描绘提取单元24将所提取的第1图像的图像信息经由收发单元22向显示器3发送(步骤SB2)。由此,在显示器3的图像显示区域31显示第1图像。
另外,控制单元25通过收发单元22获取从HMD4发送来的观察状态信息(步骤SB3)。
而且,控制单元25判定由该观察状态信息所包含的视觉方向信息表示的当前视觉方向是否与基准视觉方向一致(步骤SB4)。具体而言,制御单元25判定该当前视觉方向的角度是否是“0度”。
在步骤SB4的判定处理中,在判定为当前视觉方向与基准视觉方向一致的情况下,控制单元25限制第2图像的图像信息的发送。因此,不执行第2图像的提取以及发送,图像发送装置2将处理移至步骤SB1。
在步骤SB4的判定处理中,在判定为当前视觉方向与基准视觉方向不一致的情况下,控制单元25不限制第2图像的发送。因此,描绘提取单元24提取整个图像P1中与当前视觉方向以及相对距离对应的区域内的图像,作为第2图像提取,并将该第2图像的图像信息发送至通过观察状态信息所包含的固有信息特定的HMD4(步骤SB5)。
之后,图像发送装置2将处理移至步骤SB1,反复执行上述步骤SB1~SB5的处理。
在由HMD4执行的步骤SA5中,图像处理部463处理从图像发送装置2接收到的第2图像的图像信息,驱动控制部464使显示单元45显示该第2图像(步骤SA5)。此时,如上所述,除了图像处理部463根据需要调整第2图像P12以外,驱动控制部464还根据需要调整第2图像P12的显示位置(视场角),并且控制快门453的动作。由此,该第2图像被使用者视觉确认。
之后,HMD4将处理移至步骤SA3,反复执行上述步骤SA3~SA5的处理。
根据以上说明的本实施方式的图像显示系统1,有以下的效果。
在图像发送装置2描绘的1帧份的图像即、整个图像P1中,基准区域PA内的图像即、第1图像被设置型显示器3显示,与使用者US的当前视觉方向对应的区域的图像即、第2图像被HMD4显示。
据此,通过使用者US改变当前视觉方向,能够观察整个图像P1中的广阔的范围。因此,能够放大在整个图像P1中使用者US能够观察的范围。另外,由于利用第三者能够观察的显示器3显示第1图像,所以使用者US以外的第三者能够掌握游戏的进行状况。
视觉方向获取部461将朝向显示第1图像的显示器3的图像显示区域31的方向作为基准视觉方向,获取表示当前视觉方向的视觉方向信息,作为相对于该基准视觉方向的角度。此处,整个图像P1中的基准区域PA成为在虚拟显示面VD中从与使用者的位置对应的基准点朝向基准视觉方向的区域,所以通过以相对于该基准视觉方向的角度表示当前视觉方向,能够在整个图像中容易地设定作为第2图像获取的图像的区域。因此,能够容易且可靠地实施作为提取单元发挥作用的描绘提取单元24的第2图像的提取。
另外,视觉方向获取部461根据位移检测单元42的检测结果获取从使用者的视觉方向与基准视觉方向一致的状态的视觉方向的位移方向以及位移量。据此,视觉方向获取部461能够容易地获取表示以相对于基准视觉方向的角度表示的当前视觉方向的视觉方向信息。因此,能够简单地进行视觉方向信息的获取处理。
视觉方向获取部461将位置检测单元43检测出显示器3的图像显示区域31的位置时的使用者的视觉方向作为基准视觉方向。据此,除了在朝向该图像显示区域31时使用者无需实施输入规定的输入键等的设定操作以外,还能够适当且可靠地设定基准视觉方向。
在当前视觉方向和基准视觉方向一致的情况下,驱动控制部464使快门453成为透过状态。据此,使用者能够经由HMD4观察由显示器3显示的第1图像。因此,显示器3能够显示的图像的分辨率高于HMD4能够显示的图像的分辨率的情况下,能够观察高精细的第1图像。
另外,在当前视觉方向和基准视觉方向不一致的情况下,驱动控制部464使快门453成为遮光状态。据此,能够使使用者对外界的可视性降低,所以能够鲜明地观察显示单元45显示的第2图像。因此,能够得到高没入感。
此处,在使用者经由HMD4观察的第1图像的尺寸和被该HMD4显示并观察的第2图像的尺寸不同的情况下,难以得到这些第1图像以及第2图像是构成整个图像的一部分的连续的图像的感觉。
与此相对,通过图像处理部463基于位置检测单元43的检测结果,并根据外观上的第1图像尺寸来调整第2图像,从而能够使外观上的第1图像的尺寸以及第2图像的尺寸大致相同。因此,能够易于得到上述没入感。
图像处理部463根据由位置检测单元43检测出的设置于与图像显示区域31的四角对应的位置的标记32的检测结果,获取外观上的图像显示区域31的尺寸,根据该图像显示区域31的尺寸,实施第2图像的调整。据此,能够与实际被使用者观察的第1图像的外观上的尺寸相配合地实施第2图像的调整。因此,能够使各个外观上的第1图像的尺寸与第2图像的尺寸一致。
第2实施方式
以下,对本发明的第2实施方式进行说明。此外,在以下的说明中,对于与已经说明的部分相同或者大致相同的部分,标注相同的符号,省略说明。
图7是表示本实施方式的HMD5的构成的框图。
本实施方式的HMD5是通过具有上述的图像发送装置2所具有的功能的一部分而描绘整个图像,并显示在该整个图像中与使用者的当前视觉方向对应的区域内的图像的头部佩戴型显示装置。这样的HMD5与HMD4相同地由透视型的头戴式显示器构成,如图7所示,除了收发单元41、位移检测单元42、显示单元45以及框架(省略图示)以外,还具有输入单元47、存储单元48以及控制单元46A。
输入单元47具有多个输入键,将与按下的输入键对应的操作信号输出至控制单元46A。作为这样的输入键,输入单元47具有开∕关HMD5的电源的电源键、光标键以及确定键。另外,输入单元47具有设定基准视觉方向的基准视觉方向设定键、以及针对整个图像设定上述基准区域的位置的基准区域设定键。
存储单元48存储HMD5的动作所需的各种程序以及数据。此外,存储单元48与上述的存储单元23相同,存储用于描绘1帧份的整个图像的背景以及字符等的图像数据。另外,与上述的第1实施方式中所示的构成相同,该图像数据可以记录于上述的记录介质,该情况下,HMD5具备能够从该记录介质读出图像数据的驱动器或者读取器,或者与该HMD5连接即可。
控制单元46A与控制单元46相同,构成为安装有控制HMD5的控制电路的电路基板,并控制该HMD5的动作。该控制单元46A具有视觉方向获取部461A、观察状态获取部462、图像处理部463A以及驱动控制部464A。
视觉方向获取部461A与上述的视觉方向获取部461相同,基于位移检测单元42的检测结果,获取以相对于基准视觉方向的角度表示的使用者的当前视觉方向。
此处,在本实施方式中上述显示器3不是必须的,所以不进行基于位置检测单元43的检测结果的基准视觉方向的设定。因此,在HMD5中,将输入基准视觉方向设定键时的使用者的视觉方向作为基准视觉方向,基于通过位移检测单元42检测出的视觉方向的位移方向以及位移量,视觉方向获取部461A获取表示当前视觉方向的视觉方向信息。
此外,在本实施方式中,位移检测单元42检测的视觉方向的位移量不仅是水平方向的位移量,也检测垂直方向的位移量。因此,能够全方位获取使用者的视觉方向。
图8是表示图像处理部463A描绘的整个图像P2的一个例子的图。
图像处理部463A相当于发明的图像获取单元。该图像处理部463A基于上述图像数据在未图示的帧存储器描绘1帧份的整个图像。而且,图像处理部463A针对该整个图像P2在规定位置设定规定尺寸的上述基准区域PA。例如,在应用整个图像的虚拟显示面被设定为覆盖使用者的头上的半球状的情况下,如图8所示,图像处理部463A描绘沿着该虚拟显示面的圆形状的整个图像。该图8所示的整个图像P2是表示包含有各种星座的星空的整个图像。
而且,图像处理部463A基于通过视觉方向获取部461A获取的视觉方向信息,在应用于以使用者为中心的半球状的虚拟显示面的整个图像P2中,提取与以相对于基准视觉方向的角度表示、且由视觉方向信息所示的当前视觉方向对应的区域内的图像。
此外,设定于整个图像P2、且在当前视觉方向和基准视觉方向一致的情况下提取区域内的图像的基准区域PA的位置可以预先设定,但在本实施方式中,也可以根据针对输入单元47的输入操作来设定。
例如,也可以使显示单元45显示在缩小了图像尺寸的整个图像P2重叠表示基准区域PA的矩形区域的图像,根据上述光标键的输入操作使该矩形区域移动,将输入上述基准区域设定键时的该矩形区域的位置设定为整个图像P2中的基准区域PA的位置。
另外,在整个图像P2中设定与基准区域PA相同尺寸的矩形区域,使该矩形区域根据光标键的输入移动,并且使显示单元45显示该矩形区域内的图像。而且,也可以将输入上述基准区域设定键时的矩形区域的位置设定为基准区域PA的位置。
驱动控制部464A使显示单元45显示被图像处理部463A提取的图像。由此,在当前视觉方向与基准视觉方向一致的情况下,在整个图像P2中显示基准区域PA内的图像(第1图像),在当前视觉方向与基准视觉方向不一致的情况下,在整个图像P2中显示与当前视觉方向对应的图像(第2图像)。由此,使用者能够视觉确认整个图像P2的一部分区域内的图像。此时,第1图像的尺寸和第2图像的尺寸相同,所以能够使在使用者的视野中观察第1图像时的视场角与观察第2图像时的视场角大致一致。
此外,在根据当前视觉方向设定的区域包含在应用于虚拟显示面的整个图像的情况下,驱动控制部464A允许图像形成装置451的图像形成,并且使快门453成为遮挡状态,从而使显示图像的可视性提高。
另一方面,在根据当前视觉方向设定的区域未包含在整个图像的情况下,驱动控制部464A限制图像形成装置451的图像形成,并且将快门453切换为透过状态。由此,使用者能够观察外界(当前位于的场所的周围)。
根据以上说明的本实施方式的HMD5,除了能够起到与上述的图像显示系统1相同的效果以外,还有以下的效果。
利用使用者所佩戴的HMD5,能够单独显示整个图像中与该使用者的当前视觉方向对应的区域内的图像。据此,显示器3不是必须的,所以能够低成本地构成为1个使用者使用的显示装置。
实施方式的变形
本发明并不局限于上述的实施方式,能够实现本发明的目的的范围内的变形、改进等包含于本发明。
在上述第1实施方式中,将使用者US朝向显示器3的图像显示区域31的方向设定为基准视觉方向,但本发明并不局限于此。例如,也可以在将显示器3作为辅助的显示装置利用的情况下,将使用者的主要的视觉方向作为基准视觉方向。
在上述第1以及第2实施方式中,描绘提取单元24以及图像处理部463基于图像数据来描绘整个图像,但本发明并不局限于此。例如,可以构成为从存储单元23、48或者上述记录介质、或者网络上的服务器等获取整个图像,从该整个图像提取第1图像以及第2图像。即、本发明的提取单元也可以不具有描绘整个图像的描绘功能。另外,整个图像可以不是1帧份的图像整体,可以将该1帧份的图像所包含的图像(即、1帧份的图像中的规定区域内的图像)作为整个图像。
在上述各实施方式中,描绘提取单元24以及图像处理部463A描绘1帧份的图像作为整个图像P1、P2。该整个图像的内容可以按照分割该整个图像的多个区域的每一个而不同,也可以包含划分该各区域的线、记号。例如,也可以是基准区域PA内的图像是美术品的图像,该基准区域PA外设定有包含有该美术品的解说等信息的图像的整个图像。即、如上述那样,如果整个图像是1帧份的图像所包含的图像,则不管内容。另外,该整个图像也可以是动态图像数据所包含的1帧份的图像的一部分。该情况下,该整个图像的内容以帧为单位更新。
在上述第1实施方式中,在HMD4设置检测视觉方向的位移方向以及位移量的位移检测单元42、检测标记32来检测图像显示区域31的位置的位置检测单元43、以及测定与该图像显示区域31的相对距离的测距单元44,在上述第2实施方式中,在HMD5设置了位移检测单元42,但本发明并不局限于此。即、各检测单元可以成为与HMD4、5独立安装于使用者的构成,还可以成为不安装于使用者的构成。例如,测定图像显示区域31与HMD4的相对距离的测距单元44可以设置在显示器3,另外,可以通过检测从HMD发送的信号的强度,来检测使用者的位置,或者检测该相对距离。并且,如果能够适当地检测各个检测对象,则不管各单元42~44的构成。并且,如果构成为通过使用者的输入操作来设定基准视觉方向,则位置检测单元43不是必须的,另外,如果预先设定显示器3和使用者的距离,则测距单元44也不是必须的。基于位置检测单元43的检测结果,检测或者获取在使用者的视野中图像显示区域31位于的视场角的情况下,也可以没有测距单元44。
在上述第1实施方式中,在以使用者US为中心的俯视圆形状的虚拟显示面VD应用整个图像P1,以相对于基准视觉方向的正负的角度表示当前视觉方向,利用HMD4显示与该当前视觉方向对应的第2图像P12。此时,表示当前视觉方向的角度可以不是以0°为中心±180°的范围,而可以提取与超过该范围的当前视觉方向对应的第2图像P12。
例如,在上述图像显示系统1中,在使用者从当前视觉方向朝向基准视觉方向的状态向右方向旋转一圈的情况下,即、在该当前视觉方向在将朝向基准视觉方向的情况的当前视觉方向作为0°的情况下位移+360°的情况下,也可以提取比当前视觉方向为+180°时从整个图像P1提取的区域更远离基准区域PA的区域的图像,作为第2图像。当前视觉方向是负的角度的情况也相同,在上述第2实施方式的HMD5中也相同。由此,即使是具有无限宽度的整个图像,通过使用者变更视觉方向,能够观察该整个图像。
此外,在第1实施方式所示的图像显示系统1中,在根据当前视觉方向设定的区域偏离应用于虚拟显示面VD的整个图像的情况下,也可以与上述第2实施方式所示的HMD5相同,图像发送装置2不进行第2图像的提取以及发送,HMD4使快门453成为透过状态而能够观察外界。另一方面,在这样的情况下,也可以是图像发送装置2生成以及发送与整个图像不同的图像(例如,包含黑图像、规定的消息的图像),HMD4显示该图像。
在上述第1实施方式中,虚拟显示面VD从上方观察为圆形状,在上述第2实施方式中,使虚拟显示面成为覆盖使用者的头上的半球状,但本发明并不局限于此。例如,也可以设定平面状的虚拟显示面VD。该情况下,使在当前视觉方向与基准视觉方向一致的情况下显示的图像成为矩形状的图像,在当前视觉方向与基准视觉方向不同的情况下,对于从整个图像提取的图像,实施包含纵深感的形状修正处理。
例如,也可以随着当前视觉方向远离基准视觉方向,实施使与基准区域侧相反的一侧的边缘小于该基准区域侧的边缘的形状的图像的形状修正处理。根据这样的处理,能够表现在平面状的虚拟显示面显示连续的图像的状态。此外,可以构成为使用者能够选择这样的虚拟显示面。该情况下,在选择球面状的虚拟显示面的情况下,可以构成为能够选择或者输入该球面的曲率半径。此外,也可以构成为能够选择或者输入使用者和虚拟显示面的相对距离。
此外,虚拟显示面VD按照每个使用者设定,但并不局限于此,也可以设定各使用者共用的虚拟显示面VD。该情况下,也可以以将使用者位于的空间内的规定位置作为中心的方式设定该虚拟显示面VD。
在上述各实施方式中,HMD4、5是通过使由图像形成装置451形成的图像在导光部件452的内部反射而导向使用者的眼睛,从而视觉确认该图像的构成。然而,本发明并不局限于此。如果能够将该图像导向使用者的眼睛,则也可以不是使光在内部反射前行的导光部件。例如,也可以构成为利用根据使用者的眼睛配置的反射膜,使来自图像形成装置451的光直接反射,来使视觉确认由该光形成的图像。并且,也可以采用向视网膜直接投射图像光,来识别与该图像光对应的图像的视网膜投影型(激光视网膜投影型)的HMD。
在上述各实施方式中,构成显示单元45的图像形成装置451构成为具备光源装置、光调制装置以及投射光学装置。然而,本发明并不局限于此。例如,可以代替光源装置以及光调制装置,而采用由有机EL、等离子体等的自发光元件构成的面板。
在上述第1实施方式中,作为第2显示装置,采用了佩戴于使用者的头部的HMD4,但本发明并不局限于此。即、第2显示装置是追随使用者的姿势的变化的图像显示装置即可,例如,可以是固定在使用者的显示器、固定在使用者坐的椅子上的显示器。该情况下,通过位移检测单元检测身体的朝向的位移方向以及位移量,从而视觉方向获取部获取表示当前视觉方向的视觉方向信息即可。另外,作为第1显示装置,如上述那样,除了液晶、等离子体、有机EL以及CRT等的各种显示器以外,也能够采用向屏幕等被投射面投射图像来显示该图像的投影仪。
本发明能够优选利用于例如,佩戴于头部的图像显示装置、以及具有该图像显示装置的图像显示系统。
符号说明
1…图像显示系统,2…图像发送装置,3…显示器(第1显示装置),4…头戴式显示器(HMD、第2显示装置),5…头戴式显示器(HMD、头部佩戴型显示装置),22…收发单元(发送装置侧接收单元、发送装置侧发送单元),24…描绘提取单元(提取单元),31…图像显示区域,41…收发单元(显示装置侧接收单元、显示装置侧发送单元),42…位移检测单元,43…位置检测单元(位置检测单元、尺寸检测单元),45…显示单元,451…图像形成装置(图像形成单元),452…导光部件,453…快门,461…视觉方向获取部(视觉方向获取单元),463…图像处理部(图像处理单元),463A…图像处理部(图像获取单元),464…驱动控制部(驱动控制单元)。

Claims (8)

1.一种图像显示系统,其特征在于,具备:
图像发送装置;
第1显示装置,其显示从所述图像发送装置接收的第1图像;以及
第2显示装置,其显示从所述图像发送装置接收的第2图像,
所述第2显示装置具备:
显示装置侧接收单元,其接收所述第2图像;
显示单元,其显示接收到的所述第2图像;
视觉方向获取单元,其获取使用者的当前的视觉方向即当前视觉方向;以及
显示装置侧发送单元,其发送获取到的所述当前视觉方向,
所述图像发送装置具备:
发送装置侧接收单元,其从所述第2显示装置接收所述当前视觉方向;
提取单元,其提取1帧份的图像所包含的整个图像中的一部分区域的图像即所述第1图像、以及该整个图像中的与所述当前视觉方向对应的区域的图像即所述第2图像;以及
发送装置侧发送单元,其发送所述第1图像以及所述第2图像。
2.根据权利要求1所述的图像显示系统,其特征在于,
所述视觉方向获取单元以所述使用者的视觉方向相对于朝向所述第1显示装置的方向即基准视觉方向的角度来表示所述当前视觉方向。
3.根据权利要求2所述的图像显示系统,其特征在于,
所述第2显示装置具备检测所述使用者的视觉方向的位移的位移检测单元,
所述视觉方向获取单元基于通过所述位移检测单元检测出的所述视觉方向从所述基准视觉方向的位移量来获取所述当前视觉方向。
4.根据权利要求2或者3所述的图像显示系统,其特征在于,
所述第2显示装置具有检测所述第1显示装置的位置的位置检测单元,
所述视觉方向获取单元将通过所述位置检测单元检测出所述第1显示装置的位置时的所述使用者的视觉方向作为所述基准视觉方向。
5.根据权利要求1~4中的任意一项所述的图像显示系统,其特征在于,
所述第2显示装置由佩戴于所述使用者的头部的透视型的头部佩戴型显示装置构成,
所述显示单元具备:
图像形成单元,其形成所述第2图像;
透光性的导光部件,其将由所述图像形成单元形成的所述第2图像引导至所述使用者的眼睛,并且使外部光透过;以及
快门,其配置于所述导光部件的外侧,控制所述外部光对所述使用者的眼睛的入射,
所述第2显示装置具有驱动控制单元,
该驱动控制单元在所述当前视觉方向不是朝向所述第1显示装置的方向的情况下,使所述快门动作以遮挡所述外部光;
在所述当前视觉方向是朝向所述第1显示装置的方向的情况下,使所述快门动作以透过所述外部光。
6.根据权利要求5所述的图像显示系统,其特征在于,
所述第2显示装置具有图像处理单元,该图像处理单元将接收到的所述第2图像调整为与在所述当前视觉方向朝向所述第1显示装置时由所述使用者观察到的外观上的所述第1图像的尺寸大致相同的尺寸。
7.根据权利要求6所述的图像显示系统,其特征在于,
所述第1显示装置具有显示所述第1图像的图像显示区域,
所述第2显示装置具备尺寸检测单元,该尺寸检测单元检测来自所述使用者的所述图像显示区域的外观上的尺寸,
所述图像处理单元根据通过所述尺寸检测单元检测出的所述图像显示区域的外观上的尺寸,来调整所述第2图像。
8.一种头部佩戴型显示装置,其特征在于,是佩戴于使用者的头部的头部佩戴型显示装置,具备:
位移检测单元,其检测所述使用者的视觉方向的位移;
图像获取单元,其在1帧份的图像所包含的整个图像中,以预先设定的区域为基准,来获取与通过所述位移检测单元检测出的所述视觉方向的位移对应的区域的图像;以及
显示单元,其显示通过所述图像获取单元获取的图像。
CN201410082942.9A 2013-03-11 2014-03-07 图像显示系统以及头部佩戴型显示装置 Active CN104049363B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013048246A JP6123365B2 (ja) 2013-03-11 2013-03-11 画像表示システム及び頭部装着型表示装置
JP2013-048246 2013-03-11

Publications (2)

Publication Number Publication Date
CN104049363A true CN104049363A (zh) 2014-09-17
CN104049363B CN104049363B (zh) 2018-04-03

Family

ID=51488454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410082942.9A Active CN104049363B (zh) 2013-03-11 2014-03-07 图像显示系统以及头部佩戴型显示装置

Country Status (3)

Country Link
US (1) US9375639B2 (zh)
JP (1) JP6123365B2 (zh)
CN (1) CN104049363B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104635341A (zh) * 2015-02-11 2015-05-20 深圳市安华光电技术有限公司 一种单图像源双目近眼显示装置
WO2015149554A1 (en) * 2014-04-02 2015-10-08 Beijing Zhigu Rui Tuo Tech Co., Ltd Display control method and display control apparatus
CN108463767A (zh) * 2016-01-12 2018-08-28 奇跃公司 虚拟/增强现实系统中的光束角度传感器
CN111684516A (zh) * 2018-02-08 2020-09-18 株式会社索思未来 图像处理装置、图像处理方法以及图像显示系统
CN113625866A (zh) * 2020-05-08 2021-11-09 宏碁股份有限公司 增强现实系统以及利用增强现实眼镜显示虚拟屏幕的方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10001645B2 (en) * 2014-01-17 2018-06-19 Sony Interactive Entertainment America Llc Using a second screen as a private tracking heads-up display
US20150348322A1 (en) * 2014-06-02 2015-12-03 Dell Products L.P. Dynamically Composited Information Handling System Augmented Reality at a Primary Display
WO2016052061A1 (ja) * 2014-09-30 2016-04-07 コニカミノルタ株式会社 ヘッドマウントディスプレイ
US9933985B2 (en) * 2015-01-20 2018-04-03 Qualcomm Incorporated Systems and methods for managing content presentation involving a head mounted display and a presentation device
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
JP2017211766A (ja) * 2016-05-24 2017-11-30 株式会社Screenホールディングス 画像処理システム、画像処理プログラム、および画像処理方法
WO2018139073A1 (ja) * 2017-01-24 2018-08-02 シャープ株式会社 表示制御装置、第2の表示装置、表示制御装置の制御方法、および制御プログラム
US10410314B2 (en) * 2017-04-27 2019-09-10 Apple Inc. Systems and methods for crossfading image data
EP3787543A4 (en) 2018-05-02 2022-01-19 Augmedics Ltd. REGISTRATION OF A REFERENCE MARK FOR AN AUGMENTED REALITY SYSTEM
US10939977B2 (en) 2018-11-26 2021-03-09 Augmedics Ltd. Positioning marker
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
TWI790430B (zh) * 2020-04-13 2023-01-21 宏碁股份有限公司 擴增實境系統以及利用擴增實境眼鏡顯示虛擬螢幕的方法
US11389252B2 (en) 2020-06-15 2022-07-19 Augmedics Ltd. Rotating marker for image guided surgery
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0795498A (ja) * 1993-09-24 1995-04-07 Sony Corp 眼鏡型ディスプレイ
JPH11153987A (ja) * 1997-11-19 1999-06-08 Olympus Optical Co Ltd グラフィック表示装置
US20120176296A1 (en) * 2011-01-10 2012-07-12 John Norvold Border Monocular display apparatus
CN102628991A (zh) * 2011-02-04 2012-08-08 精工爱普生株式会社 头戴型显示装置和头戴型显示装置的控制方法
JP2012220602A (ja) * 2011-04-06 2012-11-12 Konica Minolta Holdings Inc 投影装置、制御装置、および制御方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3260867B2 (ja) * 1992-12-10 2002-02-25 オリンパス光学工業株式会社 頭部装着型ディスプレイ
US5579026A (en) * 1993-05-14 1996-11-26 Olympus Optical Co., Ltd. Image display apparatus of head mounted type
JPH0744227A (ja) 1993-07-29 1995-02-14 Toshiba Mach Co Ltd Nc装置における画面表示装置
US6377230B1 (en) * 1995-10-05 2002-04-23 Semiconductor Energy Laboratory Co., Ltd. Three dimensional display unit and display method
TW362207B (en) 1997-05-08 1999-06-21 Shimadzu Corp Display system
JP3928211B2 (ja) 1997-05-08 2007-06-13 株式会社島津製作所 表示システム
JPH1149991A (ja) 1997-07-31 1999-02-23 Pentel Kk 液状組成物
GB2348513B (en) * 1999-03-31 2003-02-19 Ibm Improved head-up display
US7046924B2 (en) * 2002-11-25 2006-05-16 Eastman Kodak Company Method and computer program product for determining an area of importance in an image using eye monitoring information
SE527257C2 (sv) * 2004-06-21 2006-01-31 Totalfoersvarets Forskningsins Anordning och metod för att presentera en omvärldsbild
JP2006277239A (ja) 2005-03-29 2006-10-12 Canon Inc 電子文書閲覧管理システム
US9229230B2 (en) * 2007-02-28 2016-01-05 Science Applications International Corporation System and method for video image registration and/or providing supplemental data in a heads up display
US20100240988A1 (en) * 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360 degree heads up display of safety/mission critical data
US9091851B2 (en) * 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US20120120103A1 (en) * 2010-02-28 2012-05-17 Osterhout Group, Inc. Alignment control in an augmented reality headpiece
US8908043B2 (en) * 2010-04-12 2014-12-09 Symbol Technologies, Inc. System and method for location-based operation of a head mounted display
US8884984B2 (en) * 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
US9348141B2 (en) * 2010-10-27 2016-05-24 Microsoft Technology Licensing, Llc Low-latency fusing of virtual and real content
US9292973B2 (en) * 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US8576276B2 (en) * 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
JP5803120B2 (ja) 2011-02-04 2015-11-04 セイコーエプソン株式会社 虚像表示装置
US8836771B2 (en) * 2011-04-26 2014-09-16 Echostar Technologies L.L.C. Apparatus, systems and methods for shared viewing experience using head mounted displays
US20130139082A1 (en) * 2011-11-30 2013-05-30 Google Inc. Graphical Interface Having Adjustable Borders
JP5938977B2 (ja) * 2012-03-23 2016-06-22 ソニー株式会社 ヘッドマウントディスプレイ及び手術システム
JP5351311B1 (ja) * 2012-06-29 2013-11-27 株式会社ソニー・コンピュータエンタテインメント 立体映像観察デバイスおよび透過率制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0795498A (ja) * 1993-09-24 1995-04-07 Sony Corp 眼鏡型ディスプレイ
JPH11153987A (ja) * 1997-11-19 1999-06-08 Olympus Optical Co Ltd グラフィック表示装置
US20120176296A1 (en) * 2011-01-10 2012-07-12 John Norvold Border Monocular display apparatus
CN102628991A (zh) * 2011-02-04 2012-08-08 精工爱普生株式会社 头戴型显示装置和头戴型显示装置的控制方法
JP2012220602A (ja) * 2011-04-06 2012-11-12 Konica Minolta Holdings Inc 投影装置、制御装置、および制御方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015149554A1 (en) * 2014-04-02 2015-10-08 Beijing Zhigu Rui Tuo Tech Co., Ltd Display control method and display control apparatus
US10082867B2 (en) 2014-04-02 2018-09-25 Beijing Zhigu Rui Tuo Tech Co., Ltd Display control method and display control apparatus
CN104635341A (zh) * 2015-02-11 2015-05-20 深圳市安华光电技术有限公司 一种单图像源双目近眼显示装置
CN104635341B (zh) * 2015-02-11 2017-08-22 深圳市安华光电技术有限公司 一种单图像源双目近眼显示装置
CN108463767A (zh) * 2016-01-12 2018-08-28 奇跃公司 虚拟/增强现实系统中的光束角度传感器
CN108463767B (zh) * 2016-01-12 2021-10-01 奇跃公司 虚拟/增强现实系统中的光束角度传感器
CN111684516A (zh) * 2018-02-08 2020-09-18 株式会社索思未来 图像处理装置、图像处理方法以及图像显示系统
CN111684516B (zh) * 2018-02-08 2023-11-17 株式会社索思未来 图像处理装置、图像处理方法以及图像显示系统
CN113625866A (zh) * 2020-05-08 2021-11-09 宏碁股份有限公司 增强现实系统以及利用增强现实眼镜显示虚拟屏幕的方法

Also Published As

Publication number Publication date
CN104049363B (zh) 2018-04-03
US20140256429A1 (en) 2014-09-11
JP6123365B2 (ja) 2017-05-10
JP2014174401A (ja) 2014-09-22
US9375639B2 (en) 2016-06-28

Similar Documents

Publication Publication Date Title
CN104049363A (zh) 图像显示系统以及头部佩戴型显示装置
US7221863B2 (en) Image processing apparatus and method, and program and recording medium used therewith
KR102410449B1 (ko) 가상 이미지 생성 시스템에서 텍스트를 더 효율적으로 디스플레이하기 위한 기법
US10591735B2 (en) Head-mounted display device and image display system
JP5646263B2 (ja) 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
CN103533340B (zh) 移动终端的裸眼3d播放方法和移动终端
CN108762492A (zh) 基于虚拟场景实现信息处理的方法、装置、设备及存储介质
CN104076512A (zh) 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
JP6378781B2 (ja) 頭部装着型表示装置、及び映像表示システム
US20100315414A1 (en) Display of 3-dimensional objects
CN105684074A (zh) 图像显示装置和图像显示方法、图像输出装置和图像输出方法与图像显示系统
AU2016262576A1 (en) Privacy-sensitive consumer cameras coupled to augmented reality systems
CN101589328A (zh) 图像显示装置及其显示方法、程序、集成电路、眼镜式头戴式显示器、汽车、双筒望远镜和台式显示器
CN103026388A (zh) 图像生成装置
EP2116919A1 (en) display of 3-dimensional objects
CN102970559A (zh) 立体图像显示装置
US20190369807A1 (en) Information processing device, information processing method, and program
US20220036779A1 (en) Information processing apparatus, information processing method, and recording medium
CN108021346A (zh) Vr头戴设备显示图像的方法、vr头戴设备和系统
US11619814B1 (en) Apparatus, system, and method for improving digital head-mounted displays
CN108028038A (zh) 显示装置
CN113589523B (zh) 一种具有高精度运动追踪定位功能的mr眼镜
CN107621881A (zh) 虚拟内容控制方法及控制设备
NZ738277B2 (en) Technique for more efficiently displaying text in virtual image generation system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant