CN109863443B - Hmd传送系统及方法 - Google Patents

Hmd传送系统及方法 Download PDF

Info

Publication number
CN109863443B
CN109863443B CN201780064133.7A CN201780064133A CN109863443B CN 109863443 B CN109863443 B CN 109863443B CN 201780064133 A CN201780064133 A CN 201780064133A CN 109863443 B CN109863443 B CN 109863443B
Authority
CN
China
Prior art keywords
image
delivery system
field
view
hmd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780064133.7A
Other languages
English (en)
Other versions
CN109863443A (zh
Inventor
J·埃尔·伊马德
J·霍米戈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Virtually Live Switzerland GmbH
Original Assignee
Virtually Live Switzerland GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Virtually Live Switzerland GmbH filed Critical Virtually Live Switzerland GmbH
Publication of CN109863443A publication Critical patent/CN109863443A/zh
Application granted granted Critical
Publication of CN109863443B publication Critical patent/CN109863443B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Databases & Information Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

头戴式显示图像传送系统与头戴式显示(HMD)装置的组合，图像传送系统和HMD装置彼此本地：HMD装置包括：一个或多个显示器；一个或多个传感器，其用于确定显示器的移动、位置和姿势；以及一个或多个图像输入，其被配置成从图像传送系统接收图像数据，以便直接显示在一个或多个显示器上，而无需HMD进行图像处理。所述图像传送系统被配置成将立体图像传送给所述HMD系统以将图像信息传送给佩戴者，其中，所述图像传送系统包括：一个或多个输入，其用于从所述传感器接收传感器数据；一个或多个图像输入，其用于接收预处理图像数据，用于在一个或多个显示器上直接显示视场，而无需图像传送系统进行图像处理；一个或多个图像输出，其用于传送图像数据，以便在一个或多个显示器上直接显示视场，而无需HMD系统进行图像处理。

Description

HMD传送系统及方法
技术领域
本发明涉及头戴式显示器以及涉及将特别是虚拟现实内容的内容传送至头戴式显示器的系统及方法。
背景技术
观看虚拟现实内容需要观众/参与者能够访问大量的硬件、软件和/ 或带宽。本发明的目的是减少硬件、软件及带宽要求，以使得能够观看和参与虚拟现实事件。
典型的虚拟现实设置包括：
头戴式显示器(HMD)，头戴式显示器以计算机图形、真实照片图形或者真实3D视频显示虚拟环境的立体3D图像；
在HMD上的传感器和远离HMD的传感器，其用于确定HMD在真实环境中的位置和姿势，并通过加速度计等测量HMD移动，例如通过HMD上安装的加速度计测量HMD的移动、位置和姿势(滚转、俯仰、偏航)，手持用户界面装置接收来自用户的命令，以及远程传感器阵列可以跟踪用户上的HMD在虚拟环境内由用户创建并对用户可见的“安全区域”中的位置；
计算机，所述计算机具有：强大的处理器和高端显卡显卡，所述强大的处理器生成图像以填充虚拟环境并确定用户在虚拟环境中的位置和反应，高端显卡显卡用于以立体3D形式将所述图像呈现在用户的HMD上。
还有电源要求和通信带宽要求。
头戴式显示器(HMD)以计算机图形、真实照片图形或者真实三维视频的形式显示虚拟环境的立体三维图像。当三维效果并不必要时，可以使用二维图像。HMD有多个传感器。
用户界面和HMD可以包括传感器以确定用户界面相对于HMD或者相对于远程传感器阵列的相对位置。诸如选择指示器之类的用户界面可以呈现在虚拟环境中。
典型的虚拟现实设置是计算密集型的，主要是因为在高规格的显卡上无延迟地渲染快速移动图像的处理能力。
在头戴式显示器上渲染图像的延迟会导致晕动病并且无法提供令人满意的用户体验。当用户与头戴式显示器进行虚拟现实交互时，可接受延迟阈值约为20毫秒。如果延迟超过20毫秒，会导致恶心和晕动病。
如果佩戴者与头戴式显示器不进行虚拟现实交互而只是观看视频，那么延迟就不是个问题。头戴式显示器应以至少60帧/秒(fps)的速度传送视频从而提供舒适的观看体验。优选地是，帧速率大于90fps。传统的虚拟现实头戴式显示图像传送系统是高功率和高规格的带有显卡的计算机；或者是专门为渲染高质量和快速移动的图形而设计的游戏控制台。
发明内容
本发明的一方面提供了一种头戴式显示图像传送系统，其被配置成将立体图像传输到头戴式显示(HMD)装置以将图像信息传送给佩戴者，图像传送系统和HMD系统彼此本地，HMD系统包括：一个或多个显示视场的显示器；一个或多个传感器；一个或多个图像输入，所述一个或多个图像输入被配置成从图像传送系统接收图像数据以便在一个或多个显示器上直接显示视场，而无需HMD系统进行图像处理，其中，图像传送系统包括：一个或多个输入，所述一个或多个输入用于接收来自传感器的传感器数据；一个或多个图像输入，所述一个或多个图像输入被配置成接收预处理的图像数据，以便在一个或多个显示器上直接显示视场，而无需图像传送系统进行图像处理；一个或多个图像输出，所述一个或多个图像输出用于传送图像数据而直接显示在视场的一个或多个显示器上，而无需HMD系统进行图像处理。
本发明的另一方面提供了一种系统，所述系统包括头戴式显示图像传送系统和头戴式显示(HMD)装置的组合，图像传送系统和HMD装置彼此本地，该组合还包括图形处理和计算资源，所述图形处理和计算资源远离图像传送系统和HMD装置并且通过通信总线连接到图像传送系统和 HMD装置：
HMD装置包括：
一个或多个显示器；
一个或多个传感器，所述一个或多个传感器用于确定所述显示器的移动、位置和姿势；以及
一个或多个图像输入，所述一个或多个图像输入被配置成从图像传送系统接收图像数据，以便在所述一个或多个显示器上直接显示，而无需HMD进行图像处理，
所述图像传送系统被配置成将立体图像传输至所述HMD系统以将图像信息传送给佩戴者，其中，所述图像传送系统包括：
一个或多个输入，所述一个或多个输入用于从传感器接收传感器数据；
一个或多个图像输入，所述一个或多个图像输入被配置成接收预处理的图像数据，以便在一个或多个显示器上直接显示视场，而无需图像传送系统进行图像处理；
一个或多个图像输出，所述一个或多个图像输出用于传送图像数据，以便在一个或多个显示器上直接显示视场，而无需HMD系统进行图像处理，其中：
图形处理和计算资源具有通过通信总线向图像传输系统进行图像处理和渲染的大部分的功能。
本发明的一方面提供了头戴式显示图像传送系统与头戴式显示(HMD) 装置的组合，图像传送系统和HMD装置彼此之间是本地的：
·HMD装置包括：一个或多个显示器；一个或多个传感器，其用于确定显示器的移动、位置和姿势；以及一个或多个图像输入，其被配置成从图像传送系统接收图像数据，以便直接显示在一个或多个显示器上，而不需要HMD进行图像处理，
·所述图像传送系统被配置成将立体图像传输给HMD系统以将图像信息传送给佩戴者，其中，所述图像传送系统包括：一个或多个输入，其用于从所述传感器接收传感器数据；一个或多个图像输入，其被配置成接收预处理图像数据，以便在一个或多个显示器上直接显示视场，而无需图像传送系统进行图像处理；一个或多个图像输出，其用于传送图像数据，以便在一个或多个显示器上直接显示视场，而无需HMD系统进行图像处理。
本发明的另一方面提供了头戴式显示图像传送系统与头戴式显示 (HMD)装置的组合，并且进一步包括计算机资源，所述计算机资源具有强大处理器和高端显卡，所述强大处理器用于生成图像来填充虚拟环境并确定用户在虚拟环境中的位置和反应，所述高端显卡用于以立体3D形式呈现图像并通过图像传送系统传送给用户的HMD。
本发明的另一方面提供了本发明的头戴式显示图像传送系统，而不包括头戴式显示装置。
本发明的另一方面提供了本发明的头戴式显示装置，而不 包括头戴式显示图像传送系统。
本发明的另一方面提供了一种操作头戴式显示图像传送系统的方法，所述头戴式显示图像传送系统被配置成将立体图像传送到头戴式显示 (HMD)装置。
附图说明
为了更容易理解本发明，现在将通过示例的方式参考附图对本发明的实施例进行描述，其中：
图1是具有外部传感器阵列的头部安装显示系统的示意图；
图2是本发明的实施例与远程处理和图形资源通信的示意图；
图3是本发明的实施例与远程处理和图形资源通信的示意图，并显示了头戴式显示屏的细节；
图4是用于本发明的实施例的图像数据阵列的示意图；
图5是本发明的实施例与远程处理和图形资源通信的示意图，并显示了头戴式显示屏的细节；
图6是本发明的实施例与远程处理和图形资源通信的示意图，并显示了头戴式显示屏的细节；
图7和图8示出了用于本发明实施例的视场；以及
图9至图12是用于本发明实施例的视场的示意图。
具体实施方式
参考图1，头戴式显示系统1被示意性地显示并且包括以下基本部件：包括一个或多个显示屏3(图1中未显示)的头戴式显示面罩2、移动和位置传感器4、眼球跟踪器5以及另一移动和位置传感器6。图1还示出了位于面罩2外部的传感器阵列7，用于检测位置标记6在XYZ坐标系中的位置。图1还示出了包括操纵杆式指示器的用户界面装置。指示器8可包括其自身的位置标记，以便可以根据头戴式显示面罩2和外部传感器阵列7确定其位置。
传感器4、传感器5、传感器6中的一些被安装在面罩2或HMD中，其他传感器7、传感器8远离HMD。一类传感器4、传感器6、传感器7 确定HMD在真实环境中的位置和姿势，并通过加速度计等测量HMD的移动，例如，通过安装在HMD上的加速度计测量HMD的移动、位置和姿势 (滚转、俯仰、偏航)。指示器8或者诸如操纵杆、指示器或手套之类的其他用户界面装置用于接收用户的命令。远程传感器阵列7可以跟踪用户上的HMD在虚拟环境内由用户所创建并对用户可见的“安全区域”中的位置。
用户戴着面罩2并且看到面罩2内的一个或多个显示器3上的图像，同时保持也可以出现在屏幕3上的图像中的用户界面8，优选地，显示器提供的图像是虚拟环境的立体图像。传送系统被配置成选择性地传送与图像或视频信号同步的音频信号。优选地，传送系统通过HDMI端口传送同步音频作为虚拟现实体验的一部分。
用户界面8可以是穿戴式元件，诸如手套、袜子或腕带，也可以是独立元件，例如操纵杆或指示器。
来自所有传感器的数据通过有线连接和/或无线连接传送至控制台 10，控制台10还负责将图像数据传送至面罩2中的一个或多个显示屏3。
如图2所示，控制台10被连接至外部监测器18，使得除了头戴式显示器2的佩戴者之外的管理员或操作员可以在外部监测器18上看到正在被显示在被佩戴的面罩2上的图像。
与传统系统不同，控制台10包括头戴式显示图像传送系统10，该系统具有至少一个输入100，所述至少一个输入被配置成接收预处理的图像数据，以便在一个或多个显示器3上直接显示视场50，而无需图像传送系统10进行图像处理。体现本发明的控制台10传送图像数据，用于在一个或多个显示器3上直接显示视场50，而无需头戴式显示装置1 进行图像处理。
优选地，控制台10和头戴式显示面罩2是彼此本地的，位于同一空间或者同一的房间内，且更优选地位于同一无线网络上，或者还优选地通过有线连接彼此通信。优选地，与用于显示图像的头戴式显示面罩2 的连接通过HDMI连接进行，以及从面罩到控制台10的数据连接通过USB 连接进行。
虚拟现实显示需要大量的图形处理和计算资源。在本发明的实施例中，图形处理和计算资源21被设置成远离头戴式显示器1和控制台10，但是通过低延迟通信总线20连接到这些本地元件。图形处理可以通过位于虚拟现实集群CUDA上的GPU计算云来进行。虚拟现实运营商提供了专有基础设施21，以协调低延迟通信总线20上的数据封装和分发，并且将专有基础设施21提供给图形处理和计算资源的远程元件。通信总线 20通过输入端口100连接至控制台10。
图形处理和计算资源21被设置成远离头戴式显示器1和控制台10。通过这种方式，控制台10仅提供非常简单的图像处理(如果有的话)。图形处理和计算资源21负责大多数(如果不是所有)图像处理并且渲染图像，以便通过总线20传输到控制台10。除了可能重新格式化图像以与HMD屏幕3设置兼容之外，控制台不需要或具有进一步重要的图像处理的功能。与控制台10相比，在远程图形处理和计算资源21上进行的图像处理更多，优选地，HMD 1上不进行图像处理。所有图像的渲染都可以在远程图形处理和计算资源21处进行。
现在转到图3，HMD屏幕3上显示的虚拟环境是阿尔卑斯山的全景。佩戴者/使用者直接向前看、直视并且与屏幕中间广阔的水平线平齐。体现本发明的控制台10要求通过通信总线20对图像进行离屏渲染，并且所述图像通过通信总线20被渲染并且作为图像I直接返回至屏幕3，该图像被尽可能直接报告，而无需通过控制台HDMI输出12对屏幕进行图形处理或预处理，屏幕3显示了图像I的视场50。
头戴式显示系统的传感器4、传感器5、传感器6和传感器7、传感器8正在监测佩戴者的活动，并确定佩戴者正在查看的位置，以确定将向佩戴者显示的下一个视场50。控制台10从头戴式显示器接收传感器数据4、传感器数据5、传感器数据6、传感器数据7、传感器数据8，并调用下一个视场图像，然后远程地准备和渲染下一个视场图像，并通过通信总线20将其传送到控制台10，然后在控制台10处将其传送到屏幕3，而无需控制台/图像传送系统10进行图像处理。从控制台10输出到头戴式显示系统1的图像I被发送，而无需头戴式显示图像传送系统 10进行图像处理。
由于图形处理计算资源21通过低延迟通信总线进行连接，因此控制台10本质上可以是在计算上基本的。延迟阈值应小于20微秒。
图4示出了视场(FOV 1)50(1)，即显示在屏幕3上的图像。在视场50(1)之外，图像在虚拟环境中继续，但没有显示图像I位于视场50(1)之外的区域51(2-9)。位于视场(FOV1)外的区域位于51 (2)之上、51(6)以下、51(8)左侧和1(4)右侧5以及51(3)右上角、51(5)右下角、51(7)左下角和51(9)左上角。图4显示的区域大体上是矩形的，但可以对这些区域进行不同的定义——参见图9 至图12，在图9和图10中，视场(fov1)50外的区域51显示为椭圆凸角51，图11中显示为矩形周边，图12中显示为侧杆。
图5示出了本发明的另一实施例，其中，HMD传感器数据4、HMD传感器数据5、HMD传感器数据6、HMD传感器数据7、HMD传感器数据8用于在远程图形处理和计算资源中心21处不仅返回总线20上的视场图像数据，还返回除至少部分地位于视场外部并且尚未显示在屏幕3上的图像的图像数据的视场之外的图像数据。在图5中的示例中，远程计算资源利用HMD传感器数据预测佩戴者接下来将查看视场的右侧以及呈现视场，远程计算资源还渲染图像数据并将其发送到视场右侧，然后通过低延迟通信总线20返回至控制台10。如果控制台10确定佩戴者确实将目光移到了显示视场的右侧，则选择器17可以选择修改后的视场的版本，以便将视场的右侧和图像数据的“右侧”区域一起显示到视场右侧。
现在参考图6，本发明的另一实施例将HMD传感器数据4、HMD传感器数据5、HMD传感器数据6、HMD传感器数据7、HMD传感器数据8直接发送至本地控制台10中的选择器17。在本实施例中，传感器数据不通过通信总线20传输到远程图形处理或计算资源。传感器数据保持在头戴式显示系统和控制台10的本地。
除了呈现视场之外，远程图形处理计算资源21还通过通信总线20 传输视场50(1)周围的所有区域51(2-9)，并将这些区域提供给本地控制台10，在控制台处，这些区域被预先存储并可供选择器17选择。选择器17在传感器数据的控制下可操作，并且响应于传感器数据，预测或识别佩戴者的视线下一个落在视场外的位置，并且，响应于佩戴者目光的方向变化时，选择器17选择视场外的预存区域，并将其直接传送至头戴式显示屏，而无需进一步的专业处理或者图形处理。将传感器数据和预测功能保持在控制台和头戴式显示器的本地使得控制台能够与远程定位的图形处理和计算资源独立。
图7显示了视场(FOV 1)和FOV 1外的右手区域，该右手区域缓存在控制台10中(即，右手区域被接收，但不在FOV中显示)，准备用于当佩戴者的视线转向FOV 1的右侧时进行立即传送。这种形式的缓存在本文档中称为“预存储”。同样，图8示出了FOV 1上方的外部区域，该外部区域缓存(或预存储)在控制台10中，准备立即传送到头戴式显示屏。
系统可用的传感器范围还包括眼睛追踪器(还称为目光追踪器)，其通过监测用户的注视来识别屏幕中用户正在观看或移动的部分——此类传感器是基于光学的非侵入式的并且被安装在耳机内。
当用在本说明书和权利要求书中时，术语“包括”及其变体意味着包括指定的特征、步骤或整件。这些术语不应当被解释为排除其他功能、步骤或组件的存在。
上述说明书或权利要求书或附图中所公开的特征，无论表达为他们特定的形式，或者表述为实现所公开功能的装置，或者表述为获得所公开结果的方法或过程，都可以根据情况单独地或者以上述特征的各种组合形式来用于以其不同形式实现本发明。

Claims (16)

1.一种图像传送系统，其与头戴式显示器装置即HMD装置组合，所述图像传送系统和所述HMD装置彼此本地：
·所述HMD装置包括：
一个或多个显示器；
一个或多个传感器，所述一个或多个传感器用于确定所述显示器的移动、位置和姿势；以及
一个或多个图像输入，所述一个或多个图像输入被配置成从所述图像传送系统接收图像数据以直接显示到所述一个或多个显示器上，而无需所述HMD装置进行图像处理，
·所述图像传送系统被配置成将立体图像传输至所述HMD装置以将图像信息传送至佩戴者，其中，所述图像传送系统包括：
一个或多个输入，所述一个或多个输入用于从传感器接收传感器数据；
一个或多个图像输入，所述一个或多个图像输入被配置成接收预处理的图像数据，用于在所述一个或多个显示器上直接显示视场，而无需所述图像传送系统进行图像处理，以及其中所述图像传送系统在使用中接收所述视场的预处理图像数据并且还在使用中接收图像的在所述视场外并且尚未显示在所述显示器上的附加预处理图像数据；以及
一个或多个图像输出，所述一个或多个图像输出传送图像数据，用于在所述一个或多个显示器上直接显示所述视场，而无需所述HMD装置进行图像处理。
2.根据权利要求1所述的系统，其中所述组合还包括图形处理和计算资源，所述图形处理和计算资源远离所述图像传送系统和所述HMD装置并且通过通信总线连接至所述图像传送系统和所述HMD装置，所述图形处理和计算资源具有通过所述通信总线对所述图像传送系统进行图像处理和图像渲染的大部分的功能。
3.根据权利要求2所述的系统，其中，所述HMD装置和所述图像传送系统无线地彼此连接在同一网络上或者通过近场通信方法彼此无线连接，或其中所述HMD装置和所述图像传送系统通过有线连接彼此连接。
4.根据权利要求3所述的系统，其中所述近场通信方法为蓝牙。
5.根据任一前述权利要求所述的系统，其中，所述图像传送系统包括缓冲器，所述缓冲器用于接收预处理的图像数据，用于在所述一个或多个显示器上直接显示所述视场，而无需所述图像传送系统进行图像处理。
6.根据权利要求1至4中任一项所述的系统，其中，所述附加预处理图像数据涉及在关于所述视场的一个或多个预定方向上位于所述视场外的一个或多个图像。
7.根据权利要求1至4中任一项所述的系统，其中，从所述传感器接收的传感器数据由一个或多个图像传送系统输出来输出，以将用于处理的传感器数据提供给处理资源，以确定所述视场能够移动到的一个或多个方向。
8.根据权利要求1至4中任一项所述的系统，其中，所述图像传送系统具有处理资源，并且从所述传感器接收的传感器数据被所述图像传送系统处理，以确定所述视场能够移动到的一个或多个方向。
9.根据权利要求1至4中任一项所述的系统，其中，所述图像传送系统存储视场图像数据，并且还存储位于所述视场外部的一个或多个图像区域的图像数据。
10.根据权利要求1至4中任一项所述的系统，其中，所述图像传送系统具有选择器以将预先存储的图像数据传送至所述HMD装置，选择基于所述视场能够移动到的预测方向；和/或，其中，存在本地数据循环，其中，所述图像传送系统接收来自所述HMD装置的传感器的传感器数据并且确定所述视场的方向并且在所确定的方向上传送位于所述视场外的图像区域的图像。
11.根据权利要求1至4中任一项所述的系统，其中，所述HMD装置的传感器中的一个或多个处于本地环路中，并且所述传感器数据不是全部远程发送的，以便通知哪个预处理的图像数据要传送。
12.根据权利要求1至4中任一项所述的系统，其中，远程传感器阵列能够跟踪用户上的HMD装置在虚拟环境内由用户创建并且对用户可见的“安全区”中的位置。
13.根据权利要求12所述的系统，其中，远离所述HMD装置和所述图像传送系统的计算机资源具有强大的处理器来生成图像以填充虚拟环境并且以立体3D的形式渲染所述图像以通过图像传送系统传送给所述用户的HMD装置。
14.根据权利要求13所述的系统，其中，所述计算机资源是图形处理和计算资源，所述图形处理和计算资源如果不负责进行图像处理和渲染图像中的全部，则负责图像处理和渲染图像中的大部分，以通过低延迟时间通信总线传送至图像传送系统，使得图像传送系统如果进行图像处理的话仅提供非常简单的图像处理。
15.根据权利要求1至4中任一项所述的系统，其中，除了重新格式化图像以与所述HMD装置上的屏幕设置兼容之外，所述图像传送系统不具有进行图像处理的功能。
16.根据权利要求2至4中任一项所述的系统，其中，所述图形处理和计算资源具有比所述图像传送系统更多的图像处理功能。
CN201780064133.7A 2016-10-18 2017-10-18 Hmd传送系统及方法 Active CN109863443B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1617595.2 2016-10-18
GB1617595.2A GB2555378B (en) 2016-10-18 2016-10-18 HMD delivery system and method
PCT/GB2017/053149 WO2018073584A1 (en) 2016-10-18 2017-10-18 Hmd delivery system and method

Publications (2)

Publication Number Publication Date
CN109863443A CN109863443A (zh) 2019-06-07
CN109863443B true CN109863443B (zh) 2022-04-01

Family

ID=57680911

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780064133.7A Active CN109863443B (zh) 2016-10-18 2017-10-18 Hmd传送系统及方法

Country Status (11)

Country Link
US (1) US10863161B2 (zh)
EP (1) EP3510437B1 (zh)
JP (2) JP7338941B2 (zh)
KR (1) KR102572528B1 (zh)
CN (1) CN109863443B (zh)
AU (1) AU2017346451B2 (zh)
ES (1) ES2881265T3 (zh)
GB (1) GB2555378B (zh)
RU (1) RU2760300C2 (zh)
SG (1) SG11201903245YA (zh)
WO (1) WO2018073584A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10341537B2 (en) 2017-09-29 2019-07-02 Sony Interactive Entertainment America Llc Spectator view into an interactive gaming world showcased in a live event held in a real-world venue
US11055056B1 (en) * 2018-09-25 2021-07-06 Facebook Technologies, Llc Split system for artificial reality
KR102579700B1 (ko) * 2019-06-03 2023-09-18 삼성전자주식회사 데이터를 처리하기 위한 방법 및 이를 지원하는 전자 장치
KR20220039113A (ko) * 2020-09-21 2022-03-29 삼성전자주식회사 엣지 컴퓨팅 서비스를 이용한 영상 컨텐츠 전송 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104094162A (zh) * 2011-12-02 2014-10-08 杰瑞·G·奥格伦 动态控制沉浸或抬头显示操作的宽视场3d立体视觉平台

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5841409A (en) * 1995-04-18 1998-11-24 Minolta Co., Ltd. Image display apparatus
US5703604A (en) * 1995-05-22 1997-12-30 Dodeca Llc Immersive dodecaherdral video viewing system
US8004558B2 (en) * 2005-04-07 2011-08-23 Axis Engineering Technologies, Inc. Stereoscopic wide field of view imaging system
JP5156571B2 (ja) * 2008-10-10 2013-03-06 キヤノン株式会社 画像処理装置、画像処理方法
EP2691935A1 (en) 2011-03-29 2014-02-05 Qualcomm Incorporated System for the rendering of shared digital interfaces relative to each user's point of view
US9288468B2 (en) * 2011-06-29 2016-03-15 Microsoft Technology Licensing, Llc Viewing windows for video streams
US9897805B2 (en) 2013-06-07 2018-02-20 Sony Interactive Entertainment Inc. Image rendering responsive to user actions in head mounted display
EP3258671B1 (en) 2011-10-28 2018-09-05 Magic Leap, Inc. System and method for augmented and virtual reality
US9219901B2 (en) * 2012-06-19 2015-12-22 Qualcomm Incorporated Reactive user interface for head-mounted display
JP5891131B2 (ja) 2012-07-11 2016-03-22 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
US20150212647A1 (en) * 2012-10-10 2015-07-30 Samsung Electronics Co., Ltd. Head mounted display apparatus and method for displaying a content
EP2967322A4 (en) 2013-03-11 2017-02-08 Magic Leap, Inc. System and method for augmented and virtual reality
JP6232763B2 (ja) * 2013-06-12 2017-11-22 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6353214B2 (ja) 2013-11-11 2018-07-04 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
US9699437B2 (en) * 2014-03-03 2017-07-04 Nextvr Inc. Methods and apparatus for streaming content
US9918136B2 (en) * 2014-05-29 2018-03-13 Nextvr Inc. Methods and apparatus for delivering content and/or playing back content
US10547825B2 (en) * 2014-09-22 2020-01-28 Samsung Electronics Company, Ltd. Transmission of three-dimensional video
US9824498B2 (en) * 2014-12-30 2017-11-21 Sony Interactive Entertainment Inc. Scanning display system in head-mounted display for virtual reality
US10127706B2 (en) * 2016-01-12 2018-11-13 Esight Corp. Language element vision augmentation methods and devices
CA3084546C (en) * 2017-12-03 2023-01-31 Frank Jones Enhancing the performance of near-to-eye vision systems
US11232532B2 (en) * 2018-05-30 2022-01-25 Sony Interactive Entertainment LLC Multi-server cloud virtual reality (VR) streaming

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104094162A (zh) * 2011-12-02 2014-10-08 杰瑞·G·奥格伦 动态控制沉浸或抬头显示操作的宽视场3d立体视觉平台

Also Published As

Publication number Publication date
RU2760300C2 (ru) 2021-11-23
JP7362796B2 (ja) 2023-10-17
US20190253692A1 (en) 2019-08-15
AU2017346451A1 (en) 2019-05-02
EP3510437B1 (en) 2021-04-21
EP3510437A1 (en) 2019-07-17
WO2018073584A1 (en) 2018-04-26
US10863161B2 (en) 2020-12-08
JP2022062039A (ja) 2022-04-19
GB2555378A (en) 2018-05-02
RU2019113515A3 (zh) 2021-02-10
KR102572528B1 (ko) 2023-08-30
CN109863443A (zh) 2019-06-07
ES2881265T3 (es) 2021-11-29
SG11201903245YA (en) 2019-05-30
KR20190065396A (ko) 2019-06-11
JP2020501465A (ja) 2020-01-16
GB2555378B (en) 2021-06-09
GB201617595D0 (en) 2016-11-30
AU2017346451B2 (en) 2022-03-03
RU2019113515A (ru) 2020-11-20
JP7338941B2 (ja) 2023-09-05

Similar Documents

Publication Publication Date Title
US11592668B2 (en) Image generation apparatus and image generation method using frequency lower than display frame rate
CN109863443B (zh) Hmd传送系统及方法
US11119319B2 (en) Rendering device, head-mounted display, image transmission method, and image correction method
WO2017208957A1 (ja) 画像生成装置、画像生成システム、および画像生成方法
US10999412B2 (en) Sharing mediated reality content
US10871822B2 (en) Image generation apparatus, image generation system, and image generation method
EP3683656A1 (en) Virtual reality (vr) interface generation method and apparatus
US11003408B2 (en) Image generating apparatus and image generating method
JP2020501465A5 (zh)
US11127208B2 (en) Method for providing virtual reality image and program using same
WO2022004130A1 (ja) 情報処理装置、情報処理方法、および記憶媒体
US11270673B2 (en) Image generation apparatus, image generation method, and program
CN108140357B (zh) 信息处理装置
JP6941715B2 (ja) 表示装置、表示プログラム、表示方法及び表示システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant