CN112308906A - 视角校正方法、虚拟实境显示系统与运算装置 - Google Patents

Abstract

本发明提供一种视角校正方法、虚拟实境显示系统与运算装置。利用配戴传感器检测头戴显示装置是否配戴于使用者的头部上。反应于头戴显示装置配戴于使用者的头部上，获取由头戴显示装置显示的当前视频画面，其中当前视频画面基于头戴显示装置的方位角定位参数而产生。判断当前视频画面的画面俯仰角。依据画面俯仰角校正头戴显示装置的方位角定位参数，致使头戴显示装置显示基于校正后的方位角定位参数产生下一视频画面。

Description

视角校正方法、虚拟实境显示系统与运算装置

技术领域

本发明涉及一种虚拟实境技术，尤其涉及一种视角校正方法、虚拟实境显示系统与运算装置。

背景技术

近年来，虚拟实境(virtual reality，VR)显示技术发展火热。VR显示装置是利用电脑模拟产生一个三维空间的虚拟世界，提供使用者关于视觉感官的模拟，让使用者感觉仿佛身历其境。一般而言，VR显示装置可以被实现为头戴显示装置(HMD)。VR显示装置可以让使用者及时、没有限制地观察三维空间内的事物。使用者动作时，电脑可以立即进行复杂的运算，将精确的三维世界图像传回VR显示装置，以便让使用者感受到临场感。

然而，当使用者穿戴VR显示装置观看虚拟实境内容时，VR显示装置所提供显示的画面视角可能与使用者预期的观看视角不一致，从而影响使用者体验。举例而言，当使用者头部直立且使用者水平地正向前方时，VR显示装置可能因为定位误差或其他相关因素显示出画面视角非为水平的图像内容。或者，当使用者欲以躺姿使用VR显示装置时，VR显示装置并不会立即地显示出对应于水平视角的画面，使用者往往需要执行额外的校正步骤来调整显示画面。

发明内容

有鉴于此，本发明提出一种视角校正方法、虚拟实境显示系统与运算装置，其可自动地将VR显示装置的画面视角校正回使用者预期的特定视角(例如水平视角)，从而提升使用便利性。

本发明实施例提供一种视角校正方法，适用于包括头戴显示装置的虚拟实境显示系统，所述方法包括下列步骤。利用配戴传感器检测头戴显示装置是否配戴于使用者的头部上。反应于头戴显示装置配戴于使用者的头部上，获取由头戴显示装置显示的当前视频画面，其中当前视频画面基于头戴显示装置的方位角定位参数而产生。判断当前视频画面的画面俯仰角。依据画面俯仰角校正头戴显示装置的方位角定位参数，致使头戴显示装置显示基于校正后的方位角定位参数产生下一视频画面。

本发明实施例提供一种虚拟实境显示系统，包括头戴显示装置与运算装置。头戴显示装置包括配戴传感器。配戴传感器检测头戴显示装置是否配戴于使用者的头部上。运算装置包括存储电路与耦接存储电路的处理器。处理器经配置以执行下列步骤。反应于头戴显示装置配戴于使用者的头部上，获取由头戴显示装置显示的当前视频画面，其中当前视频画面基于头戴显示装置的方位角定位参数而产生。判断当前视频画面的画面俯仰角。依据画面俯仰角校正头戴显示装置的方位角定位参数，致使头戴显示装置显示基于校正后的方位角定位参数产生下一视频画面。

本发明实施例提供一种运算装置，其包括存储电路与耦接存储电路的处理器。处理器经配置以执行下列步骤。反应于检测到头戴显示装置配戴于使用者的头部上，获取由头戴显示装置显示的当前视频画面，其中当前视频画面基于头戴显示装置的方位角定位参数而产生。判断当前视频画面的画面俯仰角。依据画面俯仰角校正头戴显示装置的方位角定位参数，致使头戴显示装置显示基于校正后的方位角定位参数产生下一视频画面。

基于上述，于本发明的实施例中，反应于头戴显示装置配戴于使用者的头部上，由头戴显示装置显示的当前视频画面被获取出来，并判断此当前视频画面的画面俯仰角。之后，方位角定位参数将基于画面俯仰角而被校正，使得依据校正后的方位角定位参数而产生的下一视频画面的画面视角符合使用者期待。藉此，头戴显示装置所显示的视频画面的画面视角可反应于使用者穿戴头戴显示装置而立即且自动化被校正，从而提升使用者体验。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。

附图说明

图1是依照本发明一实施例所示出的虚拟实境显示系统的示意图；

图2是依照本发明一实施例所示出的视角校正方法的示意图；

图3A与图3B是依照本发明一实施例所示出的情境示意图；

图4是依照本发明一实施例所示出的视角校正方法的流程图；

图5是依照本发明一实施例所示出的视角校正方法的流程图。

附图标记说明

10：虚拟实境显示系统

110：头戴显示装置

111：配戴传感器

112：惯性传感器

113：显示器

114：定位元件

120：运算装置

121：存储装置

122：处理器

201：头部姿态追踪模块

202：画面引擎处理模块

203：视角偏移计算模块

204：参数校正模块

PM1、PM2：定位测量数据

FA1、FA2：画面视角

P1、P2：方位角定位参数

OF1：视角偏移量

F1、F2：视频画面

S401～S404、S501～S510：步骤

具体实施方式

本发明的部分实施例接下来将会配合附图来详细描述，以下的描述所引用的元件符号，当不同附图出现相同的元件符号将视为相同或相似的元件。这些实施例只是本发明的一部分，并未揭示所有本发明的可实施方式。更确切的说，这些实施例只是本发明的权利要求中的方法、系统与装置的范例。

图1是依照本发明一实施例所示出的虚拟实境显示系统的示意图，但此仅是为了方便说明，并不用以限制本发明。请参照图1，虚拟实境显示系统10包括头戴显示装置110与运算装置120。

运算装置120可创造出具有立体视觉效果的真实环境或是虚构场景，并且可与头戴显示装置110进行沟通，以让使用者得以在虚拟世界中进行探索以及互动。运算装置120包括存储装置121与处理器122。

存储装置121用以存储虚拟实境图像内容、程序码、软件元件等等数据，其可以例如是任意型式的固定式或可移动式随机存取存储器(random access memory，RAM)、只读存储器(read-only memory，ROM)、快闪存储器(flash memory)、硬盘或其他类似装置、集成电路及其组合。

处理器122例如是中央处理单元(Central Processing Unit，CPU)，或是其他可程序化的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(DigitalSignal Processor，DSP)、可程序化控制器、特殊应用集成电路(Application SpecificIntegrated Circuits，ASIC)、可程序化逻辑装置(Programmable Logic Device，PLD)、图形处理器(Graphics Processing Unit，GPU或其他类似装置或这些装置的组合。处理器122可执行记录于存储装置121中的程序码、软件模块、指令等等，以实现本发明实施例的视角校正方法。

用于例示，运算装置120可与虚拟实境头戴装置120整合为一装置，或可与头戴显示装置110有线或无线连接。换言之，虚拟实境显示系统10可整合为单一头部穿戴装置而实现。或者，虚拟实境显示系统10可由多台相互连接的电子装置来实现。例如，运算装置120可以是游戏机、笔记本电脑、台式电脑或其他具有运算能力的电子装置，而头戴显示装置110可经由数据传输介面外接于运算装置120。

头戴显示装置110例如为VR头盔，其适于配戴于使用者的头部上。头戴显示装置110接收运算装置120提供的视频数据与音频数据，以显示与播放视频数据与音频数据给使用者，让使用者在视觉上有沉浸于虚拟世界的体验。于本实施例中，头戴显示装置110包括配戴传感器111、惯性传感器112、显示器113，以及定位元件114。

配戴传感器111检测头戴显示装置110是否配戴于使用者的头部上。配戴传感器111可以是近接传感器、红外线传感器或其他类型的传感器，本发明对此不限制。当配戴传感器111检测到使用者将头戴显示装置110配戴于头部上时，配戴传感器111可发出配戴信号通知处理器122。

惯性传感器112可以是加速度传感器、陀螺仪、磁力仪或任何可检测头戴显示装置110的运动状态的传感器。惯性传感器112所产生的感测数据可用以定位头戴显示装置110。

显示器113例如是液晶显示器(Liquid Crystal Display，LCD)、发光二极管(Light-Emitting Diode，LED)显示器、有机自发光二极管(Organic Light-EmittingDiode，OLED)显示器或其他种类的显示器，本发明并不限制于此。当使用者将头戴显示装置110配戴于头部上时，使用者的双眼可经由透镜看到显示器113所显示的视频画面。

定位元件114可基于虚拟实境显示系统10所使用的定位追踪技术而实现为不同的元件。虚拟实境显示系统10可应用需要依靠外部设备的外向内追踪技术(Outside-inTracking)或不需要任何外部设备的内向外追踪技术(Inside-out Tracking)，本发明对此不限制。若虚拟实境显示系统10应用外向内追踪技术进行头戴显示装置110的定位追踪，则定位元件114可以是布建于头戴显示装置110的外壳表面上的红外光/可见光发射器或激光接收器等等。若虚拟实境显示系统10应用内向外追踪技术进行头戴显示装置110的定位追踪，则定位元件114可以是彩色图像相机、深度相机、红外线相机或其他类型的相机。

于一实施例中，定位测量数据可包括惯性传感器112所提供的感测数据与关联于定位元件114的定位数据(例如深度图像、激光接收数据、红外光图像等等)。处理器122可依据定位测量数据与方位角定位参数进行头部姿态追踪而取得头戴显示装置110的画面视角，并依据此画面视角从3D环景图像中获取出头戴显示装置110需要显示的画面内容。于一实施例中，处理器122可先依据定位测量数据取得头戴显示装置110的现实方位角，现实方位角为头戴显示装置110于真实世界所呈现的姿态角度(其例如可包括俯仰角、偏航角、翻滚角)，在依据此现实方位角与方位角定位参数计算出画面视角。基此，虚拟实境显示系统10可反应于使用者的头部动作而提供对应视频画面，让使用者的视觉可产生沉浸于虚拟环境的感觉。

于一实施例中，当配戴传感器111检测到头戴显示装置110自未配戴于头部上的状态改变为配戴于头部上的状态，配戴传感器111发出配戴信号通知处理器122。于是，反应于检测到头戴显示装置110配戴于使用者的头部上，处理器122获取由头戴显示装置110显示的当前视频画面，而此当前视频画面是依据尚未校正的方向定位角参数而产生。处理器122可自画面缓冲器中获取出当前视频画面，此画面缓冲器用以存储将由显示器113显示的视频画面。如前述，关联于配戴信号的当前视频画面是基于头戴显示装置110的方位角定位参数而产生。

于一实施例中，处理器122可依据当前视频画面的画面内容判断当前视频画面的画面俯仰角。处理器122可依据当前视频画面的图像特征而估测出画面俯仰角。于一实施例中，处理器122可将当前视频画面输入至机器学习模型而预测当前视频画面的画面俯仰角。上述机器学习模型的机器学习算法可以为深度学习算法、类神经网络算法或其他机器学习算法等等，本发明对此不限制。换言之，依据训练画面与训练画面的实际俯仰角，用以预估画面俯仰角的机器学习模型或分类器可事先据以建立。处理器122可使用机器学习模型而预测出当前视频画面的画面俯仰角。举例而言，假设水平正视画面的画面俯仰角为90度，处理器122可能依据当前视频画面的图像特征而判断当前视频画面的画面俯仰角为100度。

于一实施例中，处理器122依据画面俯仰角校正头戴显示装置110的方位角定位参数，致使头戴显示装置110显示基于校正后的方位角定位参数产生下一视频画面。具体而言，处理器122可计算画面俯仰角与预设期望视角之间的差值而取得视角偏移量，再依据视角偏移量调整头戴显示装置110的方位角定位参数。于一实施例中，方位角定位参数可视为一种用以决定画面视角的视角基准，处理器122系依据此视角基准与头戴显示装置110的定位测量数据决定一画面视角。于此，在预设头戴显示装置110刚被戴上时的画面视角应为水平正视视角的情况下，预设期望视角可设置为水平视角，但本发明对于预设期望视角不限制。于一范例中，假设相对于水平正视角的视角偏移量为20度，则方位角定位参数将从A度调整为A+20度，以将下一视频画面的画面视角调整为水平正视视角。然而，于其他实施例中，方位角定位参数可以是任何用以决定画面视角的其他参数，只要是可以改变画面视角的参数皆可作为本发明实施例的方位角定位参数。基于此，头戴显示装置110可显示基于调整后的方位角定位参数产生下一视频画面，使得头戴显示装置110的下一视频画面的画面视角符合使用者期望。

图2是依照本发明一实施例所示出的视角校正方法的示意图。需先说明的是，图2所示的各功能模块可由运算装置120的处理器122与存储装置121中的软件元件实现。请参照图2，头部姿态追踪模块201可依据对应至第一时间点的定位测量数据PM1与方位角定位参数P1决定画面视角FA1，画面处理引擎模块202可依据画面视角FA1与虚拟实境内容V1计算出当前视频画面F1。显示器113将显示当前视频画面F1。

反应于配戴传感器111检测到使用者戴上头戴显示装置110所发出的配戴信号S1，视角偏移计算模块203获取当前视频画面F1并依据机器学习模型判断当前视频画面F1的画面俯仰角。视角偏移计算模块203可计算当前视频画面F1的画面俯仰角与水平视角之间的视角偏移量OF1，而参数校正模块204可依据视角偏移量OF1调整方位角定位参数P1而产生校正后的方位角定位参数P2。于是，头部姿态追踪模块201可依据对应至第二时间点的定位测量数据PM2与校正后的方位角定位参数P2决定画面视角FA2，画面处理引擎模块202可依据画面视角FA2与虚拟实境内容V1计算出下一视频画面F2。显示器113将显示下一视频画面F2。

需说明的是，本发明实施例中校正方位角定位参数而调整画面视角的时机为头戴显示装置110刚被戴上的时候，让使用者可无须额外的校正手续而将画面视角调整为水平正视视角。此外，在本发明实施例中，方位角定位参数在依据关联于配戴信号的当前视频画面而自动调整之后，可再依据后续的定位测量数据而继续调整至更理想状态。

图3A与图3B是依照本发明一实施例所示出的情境示意图。请先参照图3A，反应于使用者刚戴上头戴显示装置110，处理器112可基于头部姿态追踪技术而取得头戴显示装置110的姿态俯仰角θ_P1，而姿态俯仰角θ_P1可能因为使用者的姿势(例如躺姿)或定位误差而与水平面相差一角度差。处理器112依据姿态俯仰角θ_P1与方位角定位参数取得画面视角FA1，以依据画面视角FA1显示当前视频画面F1。接着，处理器112依据基于当前视频画面F1所估测的画面俯仰角与水平视角计算出视角偏移量，并依据视角偏移量调整方位角定位参数。之后，请再参照图3B，处理器112依据姿态俯仰角θ_P1与校正后的方位角定位参数取得画面视角FA2，以依据画面视角FA2显示下一视频画面F2。比较图3A与图3B，头戴显示装置110将自依据画面视角FA1显示画面而调整为依据画面视角FA2(即水平视角)显示画面。由图3A与图3B的范例可知，于使用者以躺姿戴上头戴显示装置110的使用情境中，即便头戴显示装置110并非水平置放，但本发明实施例的头戴显示装置110可自动调整为依据水平视角显示画面给使用者。

图4是依照本发明一实施例所示出的视角校正方法的流程图。于步骤S401，利用配戴传感器检测头戴显示装置是否配戴于使用者的头部上。于步骤S402，反应于头戴显示装置配戴于使用者的头部上，获取由头戴显示装置显示的当前视频画面。当前视频画面基于头戴显示装置的方位角定位参数而产生。于步骤S403，判断当前视频画面的画面俯仰角。于步骤S404，依据画面俯仰角校正头戴显示装置的方位角定位参数，致使头戴显示装置显示基于校正后的方位角定位参数产生下一视频画面。

图5是依照本发明一实施例所示出的视角校正方法的流程图。于步骤S501，利用配戴传感器检测头戴显示装置是否配戴于使用者的头部上。于步骤S502，依据方位角定位参数与定位测量数据取得画面视角。于步骤S503，依据画面视角产生当前视频画面。于步骤S504，反应于头戴显示装置配戴于使用者的头部上，获取由头戴显示装置显示的当前视频画面。当前视频画面基于头戴显示装置的方位角定位参数而产生。于步骤S505，依据机器学习模型判断当前视频画面的画面俯仰角。于步骤S506，计算画面俯仰角与预设期望视角之间的差值而取得视角偏移量。于步骤S507，依据视角偏移量调整头戴显示装置的方位角定位参数。于步骤S508，依据校正后的方位角定位参数与定位测量数据取得另一画面视角。于步骤S509，依据另一画面视角产生下一视频画面。于步骤S510，由头戴显示装置显示下一视频画面。

然而，图4与图5中各步骤已详细说明如上，在此便不再赘述。值得注意的是，图4与图5中各步骤可以实作为多个程序码或是电路，本发明不加以限制。此外，图4与图5的方法可以搭配以上实施例使用，也可以单独使用，本发明不加以限制。

综上所述，于本发明实施例中，当使用者将头戴显示装置穿戴于头部上时，通过预估当前视频画面的画面俯仰角，头戴显示装置可自动提供对应至预设期望视角的视频画面给使用者观看。藉此，使用者无需执行额外的校正手续而观看到对应至预设期望视角的视频画面，因而可大幅提升便利性与使用者体验。

虽然本发明已以实施例揭示如上，然其并非用以限定本发明，任何所属技术领域中技术人员，在不脱离本发明的精神和范围内，当可作些许的更改与润饰，故本发明的保护范围当视权利要求所界定的为准。

Claims (9)

1.一种视角校正方法，适用于包括头戴显示装置的虚拟实境显示系统，所述方法包括：

利用配戴传感器检测所述头戴显示装置是否配戴于使用者的头部上；

反应于所述头戴显示装置配戴于所述使用者的所述头部上，获取由所述头戴显示装置显示的当前视频画面，其中所述当前视频画面基于所述头戴显示装置的方位角定位参数而产生；

判断所述当前视频画面的画面俯仰角；以及

依据所述画面俯仰角校正所述头戴显示装置的所述方位角定位参数，致使所述头戴显示装置显示基于校正后的所述方位角定位参数产生下一视频画面。

2.根据权利要求1所述的视角校正方法，其中判断所述当前视频画面的画面俯仰角的步骤包括：

将所述当前视频画面输入至机器学习模型而预测所述当前视频画面的所述画面俯仰角。

3.根据权利要求1所述的视角校正方法，其中依据所述画面俯仰角校正所述头戴显示装置的所述方位角定位参数，致使所述头戴显示装置显示基于校正后的所述方位角定位参数产生所述下一视频画面的步骤包括：

计算所述画面俯仰角与预设期望视角之间的差值而取得视角偏移量；以及

依据所述视角偏移量调整所述头戴显示装置的所述方位角定位参数。

4.根据权利要求1所述的视角校正方法，在获取由所述头戴显示装置显示的所述当前视频画面的步骤之前，所述方法还包括：

依据所述方位角定位参数与定位测量数据取得画面视角；以及

依据所述画面视角产生所述当前视频画面。

5.一种虚拟实境显示系统，包括：

头戴显示装置，包括：

配戴传感器，检测所述头戴显示装置是否配戴于使用者的头部上；

运算装置，连接所述头戴显示装置，包括：

存储电路；以及

处理器，耦接所述存储电路，经配置以：

反应于所述头戴显示装置配戴于所述使用者的所述头部上，获取由所述头戴显示装置显示的当前视频画面，其中所述当前视频画面基于所述头戴显示装置的方位角定位参数而产生；

判断所述当前视频画面的画面俯仰角；以及

依据所述画面俯仰角校正所述头戴显示装置的所述方位角定位参数，致使所述头戴显示装置显示基于校正后的所述方位角定位参数产生下一视频画面。

6.根据权利要求5所述的虚拟实境显示系统，其中所述处理器经配置以：

将所述当前视频画面输入至机器学习模型而预测所述当前视频画面的所述画面俯仰角。

7.根据权利要求5所述的虚拟实境显示系统，其中所述处理器经配置以：

计算所述画面俯仰角与预设期望视角之间的差值而取得视角偏移量；以及

依据所述视角偏移量调整所述头戴显示装置的所述方位角定位参数。

8.根据权利要求5所述的虚拟实境显示系统，其中所述处理器经配置以：

依据所述方位角定位参数与定位测量数据取得画面视角；以及

依据所述画面视角产生所述当前视频画面。

9.一种运算装置，包括：

存储电路；以及

处理器，耦接所述存储电路，经配置以：

反应于检测到头戴显示装置配戴于使用者的头部上，获取由所述头戴显示装置显示的当前视频画面，其中所述当前视频画面基于所述头戴显示装置的方位角定位参数而产生；

判断所述当前视频画面的画面俯仰角；以及

依据所述画面俯仰角校正所述头戴显示装置的所述方位角定位参数，致使所述头戴显示装置显示基于校正后的所述方位角定位参数产生下一视频画面。

Images