CN110537208B - 头戴式显示器和方法 - Google Patents

头戴式显示器和方法 Download PDF

Info

Publication number
CN110537208B
CN110537208B CN201880026404.4A CN201880026404A CN110537208B CN 110537208 B CN110537208 B CN 110537208B CN 201880026404 A CN201880026404 A CN 201880026404A CN 110537208 B CN110537208 B CN 110537208B
Authority
CN
China
Prior art keywords
screen
video image
region
mobile device
mounted display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880026404.4A
Other languages
English (en)
Other versions
CN110537208A (zh
Inventor
S.W.拉赫巴达贾尔
S.M.本森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of CN110537208A publication Critical patent/CN110537208A/zh
Application granted granted Critical
Publication of CN110537208B publication Critical patent/CN110537208B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/26Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/15Processing image signals for colour aspects of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay

Abstract

一种用于显示移动设备屏幕的系统,包括:用于向用户显示第一内容的头戴式显示器;安装在头戴式显示器上的摄像机,摄像机可操作以捕获用户前面的场景的视频图像;区域检测处理器,其可操作以检测包括移动设备屏幕的捕获的视频图像的区域;以及图像处理器,其可操作以将头戴式显示器中的显示的第一内容的对应区域替换为包括移动设备屏幕的捕获的视频图像的检测到的屏幕区域。

Description

头戴式显示器和方法
技术领域
本发明涉及头戴式显示器和方法。
背景技术
现代视频游戏可以提供非常沉浸式的体验,并且最近,诸如头戴式显示器(HMD)的虚拟现实系统的出现使这种体验得到了增强,该系统将立体显示器(例如,左眼和右眼显示屏)放置在用户眼前,以向他们呈现立体内容,并将HMD的当前方向传送回到内容源(诸如索尼PlayStation/>),以便可以更改显示的视点以跟踪用户的头部移动。主观的体验是用户沉浸在内容中并且可以自由地环顾。内容通常是视频游戏的虚拟环境,但同样地也可以是全景照片或视频,或者是诸如虚拟电影的虚拟环境和预录制内容的组合。
为了实现这一点,用户必须将HMD戴在他们的头部,以便阻挡他们对本地环境的正常视野,并且任选地需要进一步调整以便舒适地安放在他们的头部,使显示器与他们的眼睛适当地对齐。因此,希望在游戏期间避免不必要地移除和重新安装HMD。
然而,用户可能仍然希望进行真实世界的活动,这些活动通常需要他们移除HMD。其中一项这样的活动是检查他们的手机、平板电脑或其他移动设备的通话、文本和其他内容。
一种解决方案是将移动设备与同步(例如,通过/>或WiFi),以便将通知传送到/>并在其上传送到HMD。然而,为了这个目的,这可能需要在手机上安装可广泛访问手机内容的应用程序,这可能被视为是不可取的。此外,通信可能导致移动设备上的功率消耗增加。
因此,需要另一种解决方案。
发明内容
本发明旨在解决或缓解上述问题。
在第一方面,在权利要求1中提供了一种用于显示移动设备屏幕的系统。
在另一方面,在权利要求12中提供了一种用于显示移动设备屏幕的方法。
在所附权利要求中定义了本发明的其他各个方面和特征。
附图说明
现在将参照附图以示例的方式描述本发明的实施例,其中:
图1是根据本发明的实施例的头戴式显示器和视频游戏控制台的示意图。
图2是根据本发明的实施例的显示移动设备屏幕的方法的流程图。
具体实施方式
本发明公开了一种头戴式显示器和相应的方法。在下面的描述中,为了提供对本发明实施例的透彻理解,提出了许多具体细节。然而,对于本领域技术人员来说,显然不需要使用这些具体细节来实施本发明。相反地,为了清楚起见,在适当的情况下,省略了本领域技术人员已知的特定细节。
图1示意性地说明了PlayStation/>娱乐设备的总体系统结构。提供系统单元10,具有可连接到该系统单元的各种外围设备。
系统单元10包括加速处理单元(APU)20,该加速处理单元20是一个单芯片,其转而包括中央处理单元(CPU)20A和图形处理单元(GPU)20B。APU 20可以访问随机存取存储器(RAM)单元22。
APU 20任选地通过I/O桥24与总线40进行通信,I/O桥24可能是APU 20的独立部件或APU 20的一部分。
连接到总线40的是数据存储组件,例如硬盘驱动器37和蓝光驱动器36,可操作以访问兼容光盘36A上的数据。此外,RAM单元22可与总线40通信。
任选地,连接到总线40的还有辅助处理器38。可以提供辅助处理器38来运行或支持操作系统。
系统单元10通过音频/视频输入端口31、以太网端口32、蓝牙无线链路33、/>无线链路34或一个或多个通用串行总线(USB)端口35与外围设备进行适当的通信。音频和视频可以通过AV输出39(例如HDMI端口)输出。
外围设备可以包括单视场或立体相机41,例如PlayStation棒式视频游戏控制器42,例如PlayStation/>和传统的手持式视频游戏控制器43,例如便携式娱乐设备44,例如PlayStation/>和PlayStation/>键盘45和/或鼠标46;媒体控制器47,例如以远程控制的形式;以及耳机48。可以类似地考虑其他外围设备,例如打印机、或3D打印机(未示出)。
GPU 20B任选地与CPU 20A结合,生成视频图像和音频以经由AV输出39输出。任选地,可以与音频处理器(未显示)相结合生成音频,或者由音频处理器生成音频。
视频和音频(任选地)可以呈现给电视51。在电视的支持下,视频可以是立体的。音频可以诸如立体声、5.1环绕声或7.1环绕声的多种格式中的一种呈现给家庭影院系统52。视频和音频也可以呈现给用户60穿戴的头戴式显示器单元53。
关于输出,GPU通常向AV输出39生成1080p高清晰度图像。这些图像的帧速率可以变化。图像通常经过标准HDMI连接(任选地,经过AV接收器(未示出))传送到电视51。在电视支持立体显示的情况下,并且任选地响应于来自用户的命令,可以例如使用左右并排格式将1080p高清晰度图像格式化为立体图像。然后,电视将把图像分成两部分,并将每半部分插值到全宽度,以通过使用经过特殊调整的眼镜或通过使用来自自动立体显示器的定向光路分别呈现给用户的左眼和右眼。
任选地,结合辅助音频处理器(未示出),APU 20生成音频以通过AV输出39输出。音频信号通常是立体声格式或几种环绕声格式之一。同样,这通常通过HDMI标准连接传送到电视51。可选地,或者另外,它可以被传送到AV接收器(未示出),AV接收器解码音频信号格式并呈现给家庭影院系统52。也可以通过无线链路将音频提供给耳机48或手持控制器43。然后,手持控制器可以提供音频插孔以使耳机或耳麦能够连接到它。
最后,视频和(任选地)音频可以传送到诸如Sony Playstation显示器的头戴式显示器(HMD)53。头戴式显示器通常包括两个分别安装在用户眼前的小显示器单元,任选地与适当的光学元件结合以使用户能够聚焦于显示器单元。可选地,一个或多个显示源可以安装在用户头部的侧面,并且可操作地耦合到光导,以分别将显示图像或每个显示图像呈现给用户的眼睛。可选地,一个或多个显示源可以安装在用户眼睛的上方,并通过反射镜或半反射镜呈现给用户。在后一种情况下,显示源可以是移动电话或便携式娱乐设备44,任选地,用为用户的左眼和右眼显示各自图像的屏幕的左、右部分显示分区屏幕输出。他们的头戴式显示器可包括集成的耳机,或提供与耳机的连接。类似地,头戴式显示器可包括集成的麦克风或提供与麦克风的连接。
在操作中,娱乐设备默认为诸如freeBSD9.0的变体的操作系统。操作系统可以在CPU 20A、辅助处理器38或两者的混合体上运行。操作系统为用户提供图形用户界面,如PlayStation动态菜单。该菜单允许用户访问操作系统功能,并选择游戏和任选地其他内容。
Sony Playstation VR单元和Sony Playstation 4表示与本发明的实施例相关的本文中描述的HMD和控制台的非限制性示例。
因此,再次参考图1,在本发明的实施例中,提供了用于显示移动设备屏幕的系统。该系统包括用于向用户显示第一内容的头戴式显示器。第一内容可以是视频游戏、实时或预先录制的视频、视频会议或远程呈现馈送或适于由HMD显示的任何其他内容,诸如虚拟书。移动设备通常是具有屏幕的任何手持设备,诸如电话、平板电脑或笔记本电脑,或一些AV遥控器等。该系统包括头戴式显示器,其可单独操作以自己生成或接收内容(作为集成单元或通过插入/安装单独的移动计算设备),和/或其可包括在以某种形式将内容传送给HMD之前生成或接收内容的视频游戏控制台、个人计算机或云服务。因此,取决于系统(或系统的使用模式),HMD或远程设备(诸如视频游戏控制台或服务器)可以是第一内容的源。
该系统还包括安装在头戴式显示器上的摄像机,摄像机可操作以捕获用户前面的场景的视频图像。摄像机可以是单视场的或立体的,和/或可以使用超声波或红外线卷尺或通过结构光(预定模式,通常是近红外模式,其在捕获的场景中的表面上的投影比例指示该表面与相机的距离)的投影来实现深度检测。摄像机可以是任何合适的分辨率。默认情况下,相机可以水平安装在HMD上,或者可选地,当用户的手在正常使用中预计抓握移动设备时,相机可以朝下定向一个区域。相机也可以上/下和/或左/右旋转。任选地,指示旋转量的信号可以由传感器产生。
相机的输出(任选地,在压缩或其它编码之后)被提供给区域检测处理器,该区域检测处理器可操作以检测包括移动设备屏幕的捕获的视频图像的区域。
区域检测处理器可以是在适当的软件指令下操作的HMD的CPU,或者可选地是诸如视频游戏控制台、PC或服务器的远程设备的CPU(例如,其中这是第一内容的源),或者这类CPU的组合。
本文稍后描述用于检测包括移动设备屏幕的捕获的视频图像的区域的技术。
如果检测到这样的区域,则图像处理器可操作以将头戴式显示器中的显示的第一内容的对应区域替换为包括移动设备屏幕的捕获的视频图像的检测区域。
同样,图像处理器可以是HMD或者在适当的软件指令下操作的第一内容的其它源的CPU和/或图形处理器。
替换可以包括在第一内容的现有区域上的叠加(例如,如果第一内容是从与承载图像处理器的设备分离的源设备接收的,如果源是视频游戏控制台并且图像处理器在HMD中,则视情况而定),或者可以例如作为精灵(sprite)或纹理插入到渲染或二次影处理中,使得第一内容的原始区域不被渲染或重新渲染(例如,如果第一内容的源是承载图像处理器的设备,尽管在这种情况下可以理解的是叠加或插入都可以)。
无论如何,效果是与移动设备屏幕相对应的捕获的视频图像的区域被合并到HMD中的显示图像中。
因此,有利的是,用户能够仅仅通过“查看”其设备来查看在其移动设备的屏幕上呈现的信息(即,调整他们的头部定向使得摄像机的视野包括其移动设备的显示)。因此,为了查看其屏幕的内容,他们不需要移除他们的HMD或以某种方式将其移动设备与HMD或第一内容的远程源同步。
如本文先前所述,区域检测处理器可酌情顺序地或并行地采用一种技术或多种技术来检测包括移动设备屏幕的捕获的视频图像的区域。
在第一技术中,区域检测处理器响应于捕获的图像中屏幕的亮度来检测包括移动设备屏幕的捕获的视频图像的区域。
因此,例如,可以确定捕获的视频图像的平均亮度,并且可以选择具有高于该平均值的预定量或比例的亮度值的那些图像像素。可选地,或另外,也可以使用绝对亮度阈值。也可以应用仅选择形成连续区域的像素的约束,作为最小像素区域阈值。也可采用用于填充该区域内的选择间隙的技术(例如,泛光(bloom))来解释移动设备的显示文本可以是黑色的事实,并且因此捕获的图像中的对应像素可能不具有合格的亮度值。可选地,在已经识别了亮度区域的情况下,可以选择近似于该区域的像素的四边形,从而包围明亮区域内的所有可能内容。
无论如何,任选地,将检测到的区域在一个或多个方向上超出明亮区域扩展预定量。这使得在他们的手或手指接近屏幕时用户能够至少部分地看到他们的手或手指,这可有助于发短信或其他基于触摸的交互。任选地,用户能够在一个或多个方向上设置预定量,以便例如位于设备显示器下方的物理键盘(例如,在黑莓设备或一些功能电话的情况下)也被捕获在检测到的区域内。
在另一种技术中,系统包括距离检测处理器。同样,这可以是HMD或者在适当的软件指令下操作的远程设备(如果适用)的CPU。该处理器可以接收来自与相机相关联的IR或超声波卷尺的距离测量、或者在已知距离处将结构光模式的比例与参考模板进行比较、或者在来自相机的立体图像对(如果提供)上执行视差检测,以检测场景中的对象与相机的距离。可选的约束是检测到的区域在阈值公差范围内是平坦的。
在与第一技术结合操作的情况下,这种分析可以被限制在图像的明亮区域(任选地,用限制性较小的亮度标准来识别,例如较低的相对/绝对亮度阈值),或者反之亦然。
然后,基于距离检测处理器的结果,区域检测处理器响应于候选区域与摄像机的距离,可操作以检测包括屏幕的捕获的视频图像的区域。
因此,例如,任何被确定距离相机超过1米的明亮区域(或被选择为表示人口的代表部分的臂长的距离)可被排除在考虑为对应于移动设备屏幕的区域之外。
这有助于排除可能出现在捕获的视频图像内的诸如电视、窗户、灯泡等的可能误报。
结合这些技术中的任何一种,任选地,系统可以包括旨在移除图像的误报区域的特征,否则该图像的误报区域可以被认为是捕获的视频图像中的候选屏幕区域。
因此,任选地,系统可以包括图像相关器。同样,这可以是HMD或者在适当的软件指令下操作的第一内容的远程源的CPU和/或图形处理器。
图像相关器被布置以对捕获的视频图像内的候选屏幕区域进行折扣(discount),该候选屏幕区域对应于当前由第一内容的源输出到第二显示器的图像。
因此,例如,当视频游戏机将第一内容输出到HMD并且可能还将第一内容(或其他,通常是补充内容)输出到电视时(例如,使得朋友可以看到HMD的用户所看到的内容、或者以其他方式监视他们的进度/活动),第一内容的源知晓屏幕的内容。因此,如果图像相关器位于第一内容源设备中,则可以将捕获的图像的候选屏幕区域与电视的已知输出进行比较,并且如果存在高于预定阈值的相关性,则可以对该候选区域进行折扣。
同时,如果图像相关器位于HMD中,并且这不是正在电视上显示的图像的源,则任选地,对于类似的相关、阈值以及由HMD进行的条件折扣处理,可以将在电视上显示的图像的降低分辨率的代理图像(例如,作为元数据)传送到HMD。
以与图像相关器类似的方式,任选地,控制相关器可被布置以将具有从包括颜色和位置的列表中选择的一个或多个的光源作为候选屏幕区域进行折扣,所述颜色和位置与当前和第一内容源相关联的发光控制设备相对应。
因此,当结合上述任何技术操作时,如果候选区域(例如,由于亮度和/或位置而选择的)与控制器上的已知的光的颜色(例如,由PS4设置的PlayStation控制器或Dual Shock/>控制器上的光的颜色)相关,并且可能与已知的光的形状相关(特别是在球形移动控制器的情况下),则可对该区域进行折扣。可选地,或者另外,如果捕获的图像的区域被计算为与这样的控制器的计算位置相对应(例如,基于来自HMD和控制器的运动检测遥测和/或远程相机的图像分析),则可对该区域进行折扣。
同样任选地,系统可以包括校准处理器。同样,这可以是HMD或者在适当的软件指令下操作的第一内容的远程源的CPU和/或图形处理器。
任选地,校准处理器被布置以记录至少第一预定时间段中捕获的视频图像内光源相对于头戴式显示器的相对位置,并在随后捕获的视频图像中将这些光源作为候选屏幕区域进行折扣。
因此,例如,在对应于校准步骤的第一预定时间段内,可以生成用户本地的环境的光照图。这可以是正式的校准处理,其意义是通知用户并要求用户在其周围或在预定区域内环顾,并且然后基于将这些明亮区域与来自HMD的运动遥测和/或来自远程相机馈送的图像分析进行相关来存储在何处发现与HMD有关的明亮区域。可选地,第一预定时段可以是当合理地假设用户不是为了观看其屏幕而持有移动设备时。因此,例如,当检测到两个手持式控制器正在使用时(诸如左右移动控制器),或者检测到双手控制器(诸如Dualshock 4)正在使用。这样,可能在连续的时间段内,可以建立光照图。在可能的情况下,任选地还可以建立相应的距离地图。
随后,如果捕获的视频图像中的候选明亮区域与光照图的区域一致,则可以对其进行折扣,任选地,除了当捕获的视频图像中的候选区域的距离比光照图的明亮区域更近时(在该信息可用的情况下),因为这可指示移动设备被保持在背景明亮区域前。
同样任选地,系统可以包括定向检测器。通常,这可以是HMD的加速计和/或陀螺传感器,或者可以包括HMD或者在适当的软件指令下操作的第一内容的远程源的CPU和/或图形处理器,以使用光流技术或类似技术从捕获的视频图像确定定向。
无论如何,在这种情况下,任选地,区域检测处理器可操作以仅在头戴式显示器面向相对于水平面的预定角度以下时检测包括移动设备屏幕的捕获的视频图像的区域。
因此,这假设用户不会将屏幕保持到头部高度,而是朝下看向站立时通常保持在胸部和腰部高度之间、并且坐下时通常保持在颈部和腰部高度之间的屏幕。
有利的是,这可以将众多光源从考虑中消除,诸如天花板灯和大多数窗户。
类似地,当HMD在中心位置的阈值角度内(即,在直接面向的默认位置的左或右的+/-N度范围内)时,区域检测处理器可以仅检测捕获的视频图像的区域。这同样假设用户不会将屏幕保持在脸的左边或右边,而是通常将其保持在他们前面的中央。
自水平的阈值角度和阈值横向角度的组合可以在用户环境中形成直线围成的区域,在该直线区域中执行区域检测(或者同样地,在该直线区域之外对候选区域进行折扣),其将有利地排除移动设备屏幕之外的许多(如果不是全部)光源。
通过使用本文先前描述的检测技术和丢弃/折扣/排除方法的任何适当组合,然后可以选择捕获的图像的候选区域以显示给HMD。
显然,合并到HMD图像中的屏幕的图像也跟踪用户的头部运动是可取的。应当理解的是,这在捕获的视频图像中是自动发生的,因为当用户移动他的头和/或手时,HMD中的相机也相对于移动设备屏幕移动。
因此,在本发明的实施例中,图像处理器可操作以通过将捕获的视频图像内的选择的屏幕区域的位置置换到头戴式显示器的显示器内的对应位置,来选择将要叠加/替换为捕获的视频图像的对应区域的头戴式显示器中的显示的第一内容的区域。
任选地,可以执行反投影处理以将屏幕区域的任何平移映射到捕获的视频图像上,使得其与用户的眼睛的位置而不是相机的位置一致。然而,当用户的头部相对静止时,这种校正的效果是小的。
应当理解的是,HMD通常具有立体显示器对。因此,图像处理器可适于为每个显示器选择具有相对偏移的区域以生成预定视差。
优选地,视差对应于设备屏幕与HMD相机(或用户的眼睛,特别是如果如上所述使用了反投影)的距离,因为这有助于用户对屏幕和手相对于其头部/身体的位置的本体感觉和运动感觉。
因此,相对偏移可以是从由如本文先前所述的由距离检测处理器获得的距离值构成的列表中选择的,并且在其不可用的情况下,可以是与正常使用期间用户保持移动设备远离摄像机的平均距离相对应的预定偏移。
应当理解的是,如果摄像机是立体摄像机,则相对偏移可以是立体图像内的屏幕与摄像机的相对偏移的函数。
现在参照图2,显示移动设备屏幕的方法包括:
在第一步骤s210中,通过头戴式显示器向用户显示第一内容;
在第二步骤s220中,从安装在头戴式显示器上的摄像机捕获用户前面的场景;
在第三步骤s230中,检测包括移动设备屏幕的捕获的视频图像的区域;以及
在第四步骤s240中,将头戴式显示器中的显示的第一内容的对应区域替换为包括移动设备屏幕的捕获的视频图像的检测到的区域。
应当理解的是,上述方法的详细实现可以适当地对应于任何适当组合中的上述先前公开的技术和方法。
因此,检测步骤s230可以包括从列表中选择的一个或多个,该列表包括:响应于图像相对于视频图像的背景区域的相对亮度,选择视频图像的候选区域;响应于区域与摄像机的检测距离,选择视频图像的候选区域;对与来自第一内容的源的已知输出相关的视频图像的候选区域进行折扣;对具有与当前与第一内容源相关联的已知发光控制设备相对应的颜色和/或位置的视频图像的候选区域进行折扣;以及对具有与在校准步骤期间识别的光源相对应的位置的视频图像的候选区域进行折扣。
类似地,该方法可以包括:检测头戴式显示器的定向的步骤s225,并且检测可包括移动设备屏幕的捕获的视频图像的区域的步骤s230响应于头戴式显示器是否面向相对于水平面的预定角度以下。
应当理解的是,可在通过软件指令或通过包含或替换专用硬件(如适用)适当地适配的传统硬件上执行上述方法。
因此,对传统等效设备的现有部分的所需的适配可以以计算机程序产品的形式实现,所述计算机程序产品包括存储在非暂时性机器可读介质上的处理器可实现指令,非暂时性机器可读介质诸如软盘、光盘、硬盘、PROM、RAM、闪存或这些或其它存储介质的任何组合;或者在硬件中实现为ASIC(专用集成电路)或FPGA(现场可编程门阵列)或其他适合用于适配传统等效设备的可配置电路。另外,这种计算机程序可以通过数据信号在诸如以太网、无线网络、因特网或这些或其他网络的任何组合的网络上发送。

Claims (14)

1.一种用于显示移动设备屏幕的系统,包括:
用于向用户显示第一内容的头戴式显示器;
安装在所述头戴式显示器上的摄像机,所述摄像机可操作以捕获所述用户前面的场景的视频图像;
区域检测处理器,其可操作以检测所述捕获的视频图像的包括移动设备屏幕的屏幕区域;
图像处理器,其可操作以将所述头戴式显示器中的所述显示的第一内容的对应区域替换为所述捕获的视频图像的包括所述移动设备屏幕的检测到的屏幕区域;以及
距离检测处理器,并且其中所述区域检测处理器可操作以响应于候选屏幕区域与所述摄像机的距离小于距离所述头戴式显示器1米,检测所述捕获的视频图像的包括所述屏幕的所述屏幕区域。
2.根据权利要求1所述的系统,其中,所述区域检测处理器可操作以响应于所述捕获的图像中候选屏幕区域的亮度,检测所述捕获的视频图像的包括移动设备屏幕的所述屏幕区域。
3.根据权利要求1或2所述的系统,包括:
图像相关器,其被布置以将所述捕获的视频图像内与当前由所述第一内容的源输出到第二显示器的图像相对应的候选屏幕区域进行折扣。
4.根据权利要求1或2所述的系统,包括:
控制相关器,其被布置以将具有从列表中选择的一个或多个的任何光源作为候选屏幕区域进行折扣,所述列表包括:
i.颜色;以及
ii.位置,
所述颜色和位置与当前和所述第一内容的源相关联的发光控制设备相对应。
5.根据权利要求1或2所述的系统,包括:
校准处理器,其被布置以记录第一预定时间段中所述捕获的视频图像内光源相对于所述头戴式显示器的相对位置,并且在随后捕获的视频图像中将这些光源作为候选屏幕区域进行折扣。
6.根据权利要求1或2所述的系统,包括:
定向检测器,其中
所述区域检测处理器可操作以仅在所述头戴式显示器面向相对于水平面的预定角度以下时,检测所述捕获的视频图像的包括移动设备屏幕的屏幕区域。
7.根据权利要求1或2所述的系统,其中,
所述图像处理器可操作以通过将所述捕获的视频图像内的所述屏幕的位置置换到所述头戴式显示器的显示器内的对应位置,选择将要用所述捕获的视频图像的对应的屏幕区域替换的所述头戴式显示器中的所述显示的第一内容的区域。
8.根据权利要求7所述的系统,其中,
如果所述头戴式显示器具有立体显示器对,则所述图像处理器适于为每个显示器选择具有相对偏移的区域以生成预定视差。
9.根据权利要求8所述的系统,其中,
所述相对偏移是从列表中选择的一个,所述列表包括:
i.与正常使用期间用户保持移动设备远离所述摄像机的平均距离相对应的预定偏移;以及
ii.由距离检测处理器获得的距离值。
10.根据权利要求8所述的系统,其中,
所述摄像机是立体摄像机;并且
所述相对偏移是立体图像内的所述屏幕与所述摄像机的所述相对偏移的函数。
11.一种显示移动设备屏幕的方法,包括步骤:
通过头戴式显示器向用户显示第一内容;
从安装在所述头戴式显示器上的摄像机捕获所述用户前面的场景;
检测所述捕获的视频图像的包括移动设备屏幕的屏幕区域;以及
将所述头戴式显示器中的显示的第一内容的对应区域替换为所述捕获的视频图像的包括所述移动设备屏幕的检测到的屏幕区域,
其中,所述检测包括响应于候选屏幕区域与所述摄像机的距离小于距离所述头戴式显示器1米,检测所述捕获的视频图像的包括所述移动设备屏幕的所述屏幕区域。
12.根据权利要求11所述的方法,其中,检测步骤包括从列表中选择的一个或多个,所述列表包括:
i.响应于所述视频图像相对于所述视频图像的背景区域的相对亮度,选择所述视频图像的候选屏幕区域;
ii.响应于候选屏幕区域与所述摄像机的检测距离,选择所述视频图像的所述候选屏幕区域;
iii.对与来自所述第一内容的源的已知输出相关的所述视频图像的候选屏幕区域进行折扣;
iv.对具有与当前与所述第一内容源相关联的已知发光控制设备相对应的颜色和/或位置的所述视频图像的候选屏幕区域进行折扣;以及
v.对具有与在校准步骤期间识别的光源相对应的位置的所述视频图像的候选屏幕区域进行折扣。
13.根据权利要求11所述的方法,包括步骤:
检测所述头戴式显示器的定向;
并且其中,所述检测包括移动设备屏幕的所述捕获的视频图像的视频区域的步骤响应于所述头戴式显示器是否面向相对于水平面的预定角度以下。
14.一种具有计算机可执行指令的计算机可读介质,所述计算机可执行指令适于使计算机系统执行权利要求11至13中任一项所述的方法。
CN201880026404.4A 2017-05-04 2018-04-26 头戴式显示器和方法 Active CN110537208B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1707133.3 2017-05-04
GB1707133.3A GB2555501B (en) 2017-05-04 2017-05-04 Head mounted display and method
PCT/GB2018/051092 WO2018203037A1 (en) 2017-05-04 2018-04-26 Head mounted display and method

Publications (2)

Publication Number Publication Date
CN110537208A CN110537208A (zh) 2019-12-03
CN110537208B true CN110537208B (zh) 2024-01-09

Family

ID=59065465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880026404.4A Active CN110537208B (zh) 2017-05-04 2018-04-26 头戴式显示器和方法

Country Status (6)

Country Link
US (1) US11590415B2 (zh)
EP (1) EP3619685B1 (zh)
JP (1) JP7191853B2 (zh)
CN (1) CN110537208B (zh)
GB (1) GB2555501B (zh)
WO (1) WO2018203037A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019135634A1 (en) * 2018-01-05 2019-07-11 Samsung Electronics Co., Ltd. Method and apparatus to navigate a virtual content displayed by a virtual reality (vr) device
EP3588970A1 (en) * 2018-06-22 2020-01-01 Koninklijke Philips N.V. Apparatus and method for generating an image data stream
US11231827B2 (en) * 2019-08-03 2022-01-25 Qualcomm Incorporated Computing device and extended reality integration
KR20210145485A (ko) * 2020-05-25 2021-12-02 (주)이머시브캐스트 인카 클라우드 vr 장치 및 방법
JP6892960B1 (ja) * 2020-09-29 2021-06-23 Kddi株式会社 制御装置、情報処理システム、制御方法及びプログラム
CN113703704B (zh) * 2021-08-26 2024-01-02 杭州灵伴科技有限公司 界面显示方法、头戴式显示设备和计算机可读介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011186856A (ja) * 2010-03-09 2011-09-22 Nec Corp ヘッドマウントディスプレイを外部表示装置として使用する携帯端末
CN102333227A (zh) * 2010-07-12 2012-01-25 Lg电子株式会社 移动终端以及其中的3d图像控制方法
KR20160000627A (ko) * 2014-06-25 2016-01-05 엘지전자 주식회사 이동단말기 및 그 제어방법
WO2016021252A1 (ja) * 2014-08-05 2016-02-11 ソニー株式会社 情報処理装置及び情報処理方法、並びに画像表示システム
CN105393283A (zh) * 2013-06-28 2016-03-09 微软技术许可有限责任公司 增强现实体验的重投影oled显示
CN105992986A (zh) * 2014-01-23 2016-10-05 索尼公司 图像显示装置和图像显示方法
CN106255916A (zh) * 2014-03-14 2016-12-21 索尼互动娱乐股份有限公司 跟踪头戴式显示器(hmd)的方法和系统以及用于hmd头带调整的校准
CN106537909A (zh) * 2014-07-17 2017-03-22 索尼互动娱乐股份有限公司 立体图像呈现装置、立体图像呈现方法和头戴式显示器

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011084895A1 (en) * 2010-01-08 2011-07-14 Kopin Corporation Video eyewear for smart phone games
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
US8576276B2 (en) * 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
JPWO2012124250A1 (ja) * 2011-03-15 2014-07-17 パナソニック株式会社 オブジェクト制御装置、オブジェクト制御方法、オブジェクト制御プログラム、及び集積回路
KR101991133B1 (ko) * 2012-11-20 2019-06-19 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 헤드 마운트 디스플레이 및 그 제어 방법
CN105229720B (zh) * 2013-05-21 2018-05-15 索尼公司 显示控制装置、显示控制方法以及记录介质
US10019057B2 (en) * 2013-06-07 2018-07-10 Sony Interactive Entertainment Inc. Switching mode of operation in a head mounted display
KR102063076B1 (ko) * 2013-07-10 2020-01-07 엘지전자 주식회사 모바일 디바이스, 헤드 마운트 디스플레이 및 제어 방법
EP3109854A4 (en) * 2014-02-20 2017-07-26 Sony Corporation Display control device, display control method, and computer program
GB2527503A (en) * 2014-06-17 2015-12-30 Next Logic Pty Ltd Generating a sequence of stereoscopic images for a head-mounted display
EP2996017B1 (en) 2014-09-11 2022-05-11 Nokia Technologies Oy Method, apparatus and computer program for displaying an image of a physical keyboard on a head mountable display
JP6459380B2 (ja) * 2014-10-20 2019-01-30 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
US10102674B2 (en) * 2015-03-09 2018-10-16 Google Llc Virtual reality headset connected to a mobile computing device
WO2016194844A1 (ja) * 2015-05-29 2016-12-08 京セラ株式会社 ウェアラブル装置
JP2017004354A (ja) * 2015-06-12 2017-01-05 富士通株式会社 表示制御方法、表示制御プログラム、情報処理端末、及びウェアラブルデバイス
US10083544B2 (en) 2015-07-07 2018-09-25 Google Llc System for tracking a handheld device in virtual reality
US10338673B2 (en) * 2015-09-16 2019-07-02 Google Llc Touchscreen hover detection in an augmented and/or virtual reality environment
GB2544469B (en) * 2015-11-13 2020-05-27 Sony Interactive Entertainment Europe Ltd Communication method and device
JP5996814B1 (ja) 2016-02-08 2016-09-21 株式会社コロプラ 仮想空間の画像をヘッドマウントディスプレイに提供する方法及びプログラム
US10366536B2 (en) * 2016-06-28 2019-07-30 Microsoft Technology Licensing, Llc Infinite far-field depth perception for near-field objects in virtual environments

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011186856A (ja) * 2010-03-09 2011-09-22 Nec Corp ヘッドマウントディスプレイを外部表示装置として使用する携帯端末
CN102333227A (zh) * 2010-07-12 2012-01-25 Lg电子株式会社 移动终端以及其中的3d图像控制方法
CN105393283A (zh) * 2013-06-28 2016-03-09 微软技术许可有限责任公司 增强现实体验的重投影oled显示
CN105992986A (zh) * 2014-01-23 2016-10-05 索尼公司 图像显示装置和图像显示方法
CN106255916A (zh) * 2014-03-14 2016-12-21 索尼互动娱乐股份有限公司 跟踪头戴式显示器(hmd)的方法和系统以及用于hmd头带调整的校准
KR20160000627A (ko) * 2014-06-25 2016-01-05 엘지전자 주식회사 이동단말기 및 그 제어방법
CN106537909A (zh) * 2014-07-17 2017-03-22 索尼互动娱乐股份有限公司 立体图像呈现装置、立体图像呈现方法和头戴式显示器
WO2016021252A1 (ja) * 2014-08-05 2016-02-11 ソニー株式会社 情報処理装置及び情報処理方法、並びに画像表示システム

Also Published As

Publication number Publication date
WO2018203037A1 (en) 2018-11-08
US11590415B2 (en) 2023-02-28
US20200316462A1 (en) 2020-10-08
JP7191853B2 (ja) 2022-12-19
JP2020520494A (ja) 2020-07-09
EP3619685A1 (en) 2020-03-11
GB2555501A (en) 2018-05-02
GB201707133D0 (en) 2017-06-21
GB2555501B (en) 2019-08-28
EP3619685B1 (en) 2024-01-24
CN110537208A (zh) 2019-12-03

Similar Documents

Publication Publication Date Title
CN110537208B (zh) 头戴式显示器和方法
US11868675B2 (en) Methods and systems of automatic calibration for dynamic display configurations
US10861215B2 (en) Asynchronous time and space warp with determination of region of interest
US9804394B2 (en) Sedentary virtual reality method and systems
CN108292489B (zh) 信息处理装置和图像生成方法
US11024083B2 (en) Server, user terminal device, and control method therefor
US20160238852A1 (en) Head mounted display performing post render processing
US20230111408A1 (en) Techniques for capturing and rendering videos with simulated reality systems and for connecting services with service providers
US20220172440A1 (en) Extended field of view generation for split-rendering for virtual reality streaming
KR102140077B1 (ko) 서버, 사용자 단말 장치 및 그 제어 방법
US11187895B2 (en) Content generation apparatus and method
US11749141B2 (en) Information processing apparatus, information processing method, and recording medium
US20210058611A1 (en) Multiviewing virtual reality user interface
US20180247457A1 (en) System and method of providing a virtual environment
CN111630848A (zh) 图像处理装置、图像处理方法、程序和投影系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200519

Address after: Tokyo, Japan

Applicant after: Sony Interactive Entertainment Inc.

Address before: England Atsushi

Applicant before: Sony Interactive Entertainment Europe Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant