CN111464808A - 立体显示装置及其参数校正方法 - Google Patents

Abstract

本发明提出一种参数校正方法，适用于包括摄影机的立体显示装置。所述参数校正方法包括以下步骤：显示校正用虚拟物体；利用摄影机取得观看校正用虚拟物体的双眼视角；根据双眼视角校正人眼参数，其中所述人眼参数包括瞳距参数与适眼距参数的至少其中之一；以及根据校正后的人眼参数设定立体显示装置，以使立体显示装置根据校正后的人眼参数进行显示。此外，一种使用上述参数校正方法的立体显示装置也被提出。

Description

立体显示装置及其参数校正方法

技术领域

本发明涉及一种立体显示技术，尤其涉及一种立体显示装置及其参数校正方法。

背景技术

虚拟实境(Virtual Reality，VR)是利用电脑模拟产生一个三维空间的虚拟世界，提供使用者关于视觉等感官的模拟，让使用者感觉仿佛身历其境，可以即时、没有限制地观察三维空间内的事物。然而，现今的虚拟实境技术仍然有许多的问题需要克服，例如使用者的晕眩反应便是其中最主要的问题之一。在过去的研究当中，许多原因都可能造成使用者在使用立体显示装置(例如，虚拟实境装置)时出现晕眩，且不同使用者的晕眩原因可能各不相同。

举例来说，一般立体显示装置会根据预设好的瞳距(Interpupillary Distance，IPD)参数以及适眼距(Eye Relief)参数来显示立体画面。但是，由于每个使用者的双眼距离不同，因此立体显示装置使用预设的瞳距参数显示时，使用者的瞳孔中心、透镜中心与画面中心可能不在同一条线上，而出现重影现象导致晕眩。另一方面，每个使用者在使用立体显示装置时的眼睛距离装置镜片的距离也不会相同，因此立体显示装置使用预设的适眼距参数显示时，画面中的景深与使用者认知常出现偏差，这样的情形也可能造成晕眩。虽然当前的立体显示装置都提供硬件调整的功能，但是由于调整误差大导致晕眩问题仍无法解决。

发明内容

有鉴于此，本发明实施例提供一种立体显示装置及其参数校正方法，能够根据立体显示装置的当前使用者来校正瞳距与适眼距等参数并且据以显示立体画面，提升使用者体验。

本发明实施例的参数校正方法适用于包括摄影机的立体显示装置，并且包括以下步骤：显示校正用虚拟物体；利用所述摄影机取得观看所述校正用虚拟物体的双眼视角；根据所述双眼视角校正多个人眼参数，其中所述多个人眼参数包括瞳距参数与适眼距参数的至少其中之一；以及根据校正后的所述多个人眼参数设定立体显示装置，以使立体显示装置根据校正后的所述多个人眼参数进行显示。

本发明实施例的立体显示装置包括立体显示器、摄影机以及处理器。立体显示器用以显示校正用虚拟物体。摄影机用以拍摄观看所述校正用虚拟物体的人眼图像。处理器耦接于所述立体显示器以及所述摄影机，并且用以：根据所述人眼图像取得观看所述校正用虚拟物体的双眼视角；根据所述双眼视角校正多个人眼参数，其中所述多个人眼参数包括瞳距参数与适眼距参数的至少其中之一；以及根据校正后的所述多个人眼参数来利用所述立体显示器进行显示。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附附图作详细说明如下。

附图说明

图1示出本发明一实施例的立体显示装置的概要方块图。

图2示出本发明一实施例的立体显示装置的示意图。

图3示出本发明一实施例的参数校正方法的流程图。

图4示出本发明一实施例的参数校正方法的示意图。

图5示出本发明一实施例的参数校正方法的流程图。

图6示出本发明一实施例中重新设定虚拟物体在虚拟距离上的虚拟位置的示意图。

图7示出本发明一实施例中重新设定虚拟物体的虚拟距离的示意图。

具体实施方式

本发明的部分实施例接下来将会配合附图来详细描述，以下的描述所引用的元件符号，当不同附图出现相同的元件符号将视为相同或相似的元件。这些实施例只是本发明的一部分，并未揭示所有本发明的可实施方式。更确切的说，这些实施例只是本发明的权利要求中装置与方法的范例。

图1示出本发明一实施例的立体显示装置的概要方块图；图2示出本发明一实施例的立体显示装置的示意图。

请先参照图1，立体显示装置100包括立体显示器110、摄影机120以及处理器130，其中立体显示器110与摄影机120皆耦接于处理器130。在本实施例中，立体显示装置100例如包括头戴式显示装置(Head Mounted Display，HMD)等虚拟实境(Virtual Reality，VR)显示装置，用以显示立体图像。然而，本发明并不在此限制立体显示装置100的具体结构与实作方式。

立体显示器110例如是由单一面板或多个面板所组成，可用以接收来自处理器130的显示信号以显示立体图像。在本实施例中，立体显示器110实作于头戴式显示装置中，用以分别提供具有视差的两图像至使用者双眼。如图2所示，立体显示器110包括左面板110_L、右面板110_R、左透镜140_L与右透镜140_R。左面板110_L用以提供左眼图像，以使左眼图像通过左透镜140_L在使用者的左眼成像，而右面板110_R用以提供右眼图像，以使右眼图像通过右透镜140_R在使用者的右眼成像。通过调整左眼图像与右眼图像的内容，使用者便能够感受到立体图像。然而，本发明并不在此限，所属领域技术人员当可依其立体显示的知识来实作立体显示器110。

摄影机120设置于邻近立体显示器110处，用以获取使用者的人眼图像。在本实施例中，如图2所示，摄影机120包括左摄影机120_L以及右摄影机120_R，分别对应于立体显示器110的左面板110_L与右面板110_R设置，以取得使用者的左眼图像以及右眼图像。在一些实施例中，摄影机120例如包括镜头以及感光元件。感光元件例如是电荷耦合元件(ChargeCoupled Device，CCD)、互补性氧化金属半导体(Complementary Metal-OxideSemiconductor，CMOS)元件或其他元件，摄影机120还可包括光圈等，在此皆不设限。在一些实施例中，摄影机120例如是以眼动仪来实作，但不限于此。

处理器130耦接于立体显示器110与摄影机120，用以根据瞳距参数与适眼距参数等人眼参数产生图像信号，并将图像信号发送至立体显示器110来进行显示。在本实施例中，处理器130会先执行本发明实施例的参数校正方法来校正人眼参数后，在根据校正后的人眼参数产生图像信号。在一些实施例中，处理器130例如是设置于头戴式显示装置内部或外部的图形处理器(Graphics Processing Unit，GPU)与图像信号处理器(Image SignalProcessor，ISP)的其中之一或其组合。然而，本发明并不在此设限。在其他实施例中，处理器130也可例如包括中央处理单元(Central Processing Unit，CPU)，或是其他可程序化的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(Digital SignalProcessor，DSP)、可程序化控制器、特殊应用集成电路(Application SpecificIntegrated Circuits，ASIC)、可程序化逻辑装置(Programmable Logic Device，PLD)或其他类似装置或这些装置的组合。

图3示出本发明一实施例的参数校正方法的流程图；图4示出本发明一实施例的参数校正方法的示意图。

本实施例的参数校正方法适用于图1与图2实施例中的立体显示装置100，故以下将参照图1与图2实施例中的各项元件来详细说明本发明实施例的参数校正方法。在本实施例中，参数校正方法例如是在每次使用者穿戴上头戴式显示器后自动执行，以在后续显示时能够使用校正后的人眼参数。然而，本发明并不在此设限。在一些实施例中，使用者也可例如依其需求在任何时候自行启动参数校正功能，以执行参数校正方法。

请先参照图3，在步骤S302中，立体显示器110会显示校正用虚拟物体。如图4所示，处理器130在通过立体显示器110显示校正用的虚拟物体O_VR时，例如是根据一组人眼参数(例如，预设人眼参数)来通过左面板110_L显示左物体图像O_L，并且通过右面板110_R显示右物体图像O_R。左物体图像O_L经左透镜140_L在使用者的左眼410_L成像，并且右物体图像O_R经右透镜140_R在使用者的右眼410_R成像后，使用者会感受到虚拟物体O_VR。由于透镜(包括左透镜140_L与右透镜140_R)与虚拟物体O_VR所在的平面的距离d_fx可以由左物体图像O_L与右物体图像O_R之间的视差来控制，因此使用者所感受到的虚拟物体O_VR的虚拟距离d_VR也就可以由左物体图像O_L与右物体图像O_R之间的视差来控制。当左物体图像O_L与右物体图像O_R之间的视差越小，虚拟距离d_VR越大，而当左物体图像O_L与右物体图像O_R之间的视差越大，虚拟距离d_VR则越小。

在步骤S304中，摄影机120被用来取得观看校正用虚拟物体的双眼视角。在本实施例中，双眼视角包括左眼视角与右眼视角。如图4所示，处理器130会利用对应左面板110_L设置的左摄影机120_L来拍摄使用者在观看虚拟物体O_VR时的左眼视角θ_L，并且利用对应右面板110_R设置的右摄影机120_R来拍摄使用者在观看虚拟物体O_VR时的右眼视角θ_R。

在步骤S306中，根据双眼视角校正多个人眼参数，其中所述多个人眼参数包括瞳距参数与适眼距参数的至少其中之一。如图4所示，由于虚拟物体O_VR的虚拟距离d_VR、双眼视角(包括左眼视角θ_L与右眼视角θ_R)以及使用者的实际瞳距P1之间存在特定的几何关系，因此利用摄影机120所取得的双眼视角，处理器130便能够校正瞳距参数与适眼距参数两者或两者其中之一。

在一些实施例中，在虚拟物体O_VR的虚拟距离d_VR已知的情形下，处理器130可以根据已知的虚拟距离d_VR以及双眼视角(包括左眼视角θ_L与右眼视角θ_R)来计算出瞳距P1以校正瞳距参数。举例来说，在假设实际适眼距p2与预设的适眼距参数或校正后的适眼距参数几乎相等的情形下，虚拟距离d_VR可以由预设的适眼距参数或校正后的适眼距参数加上已知的距离d_fx来计算，然后再根据虚拟物体O_VR的虚拟距离d_VR、双眼视角以及瞳距P1之间的几何关系来计算出瞳距P1。

另一方面，在实际瞳距P1已知的情形下，处理器130可以根据双眼视角以及已知的瞳距P1来计算虚拟距离d_VR。由于距离d_fx是由处理器130控制且为已知。据此，处理器130便能够进一步计算出适眼距P2以校正适眼距参数。举例来说，在假设实际瞳距P1与预设的瞳距参数或校正后的瞳距参数几乎相等的情形下，处理器130可以根据双眼视角以及预设的瞳距参数或校正后的瞳距参数来计算虚拟距离d_VR，然后再进一步计算出适眼距P2。

在一些实施例中，虚拟物体O_VR的虚拟距离d_VR、双眼视角(包括左眼视角θ_L与右眼视角θ_R)以及瞳距P1之间的几何关系例如用以下等式表示：

然而，只要是利用摄影机120取得的双眼视角来校正人眼参数，本发明并不在此限制校正时的具体方式。

在步骤S308中，处理器130会根据校正后的多个人眼参数设定立体显示装置100，以使立体显示装置100根据校正后的多个人眼参数进行显示。具体来说，处理器130在校正完人眼参数后，便能够根据校正后的人眼参数来产生图像信号，以使立体显示器110得以根据校正后的人眼参数来显示立体图像。举例来说，若校正后的适眼距参数比预设的适眼距参数大，表示使用者实际使用立体显示装置100时的适眼距比预设的适眼距参数大。为了让使用者能够感受到的正确的景深不产生偏差，若根据预设的适眼距参数显示某一特定距离的物体时，左物体图像与右物体图像之间的视差为第一视差，则处理器130在使用校正后的适眼距参数显示同一特定距离的该物体时，左物体图像与右物体图像之间的视差将会是比第一视差大的第二视差。

上述实施例所介绍的参数校正方法利用了硬件摄影机来拍摄使用者观看校正用的虚拟物体时的双眼视角，利用实际取得的双眼视角来校正瞳距参数与适眼距参数等人眼参数，再利用软件方式来根据校正后的人眼参数调整后续显示立体图像时的显示方式。相较于传统手动调整硬件瞳距与适眼距的方式，本发明实施例所介绍的参数校正方法更加便利也更加准确，增加使用者使用立体显示装置100时的舒适度，提升使用者体验。

以下举另一实施例来更详细地说明参数校正方法的细节。必须说明的是，以下实施例仅是为了说明而举出的参数校正方法的示范例，本发明并不限于以下介绍的细节，所属领域技术人员当可依其需求来作适当的更改或修改。

图5示出本发明另一实施例的参数校正方法的流程图。

本实施例的参数校正方法也适用于图1、图2与图4实施例中的立体显示装置100，故以下将参照图1、图2与图4实施例中的各项元件来详细说明本发明实施例的参数校正方法。

请参照图5，首先在步骤S502中，设定初始瞳距参数与初始适眼距参数。举例来说，处理器130可以设定初始瞳距参数与初始适眼距参数为预设的瞳距参数与预设的适眼距参数，或设定为前次校正后的瞳距参数与适眼距参数等，本发明不在此设限。

在步骤S504中，设定虚拟物体的虚拟距离；在步骤S506中，设定虚拟物体在所设定的虚拟距离上的虚拟位置。在一些实施例中，处理器130例如设定校正用的虚拟物体O_VR的虚拟距离d_VR为1米且位于画面中心。

在步骤S508中，处理器130会根据所设定的虚拟距离与虚拟位置来通过立体显示器110显示虚拟物体，并且利用摄影机120拍摄人眼图像。在一些实施例中，若初始适眼距参数是5厘米而所设定的虚拟距离d_VR为1米时，处理器130例如会控制左物体图像与右物体图像之间的视差与位置，以在显示虚拟物体O_VR时将距离d_fx控制在95厘米，并且使虚拟物体O_VR位于画面中心。

在步骤S510中，处理器130会根据人眼图像计算双眼视角，并且根据双眼视角估计瞳距参数。在一些实施例中，处理器130例如会通过图3实施例中所介绍的几何关系，来根据所设定的虚拟距离d_VR(例如，1米)以及双眼视角(包括左眼视角θ_L与右眼视角θ_R)，估计瞳距参数。所属领域技术人员当可基于眼动仪等相关文献而理解根据人眼图像计算双眼视角的方式，故在此不再赘述。

在步骤S512中，处理器130会判断所估计的瞳距参数与初始瞳距参数之间的误差是否小于瞳距误差阈值，或瞳距参数估计次数是否大于第一次数阈值。举例来说，若所估计的瞳距参数与初始的瞳距参数差异不大，表示初始瞳距参数已经足够准确而无须调整，也就是初始瞳距参数可以直接被指定为校正后的瞳距参数来使用。在本实施例中，处理器130会设定瞳距误差阈值。若所估计的瞳距参数与初始瞳距参数之间的误差小于瞳距误差阈值，直接进入步骤S514；反之，若所估计的瞳距参数与初始瞳距参数之间的误差不小于瞳距误差阈值，则会回到步骤S506，重新设定虚拟物体在所设定的虚拟距离上的虚拟位置。接着，重复上述的步骤S508～S512，直到进入步骤S514。

为了防止步骤S506～S512的回圈进行太多次而导致校正时间过长，处理器130还会设定第一次数阈值。一旦处理器130判断瞳距估计次数高于第一次数阈值，也就是步骤S510的执行次数超过第一次数阈值，处理器130在步骤S512中就会指定一个瞳距参数并且进入步骤S514。本发明并不在此限制指定瞳距参数的方式，所指定的瞳距参数可例如是所有曾经估计过的瞳距参数的平均值。

图6示出本发明一实施例中重新设定虚拟物体在虚拟距离上的虚拟位置的示意图。

请参照图6，在一些实施例中，在从步骤S512回到步骤S506时，处理器130例如将校正用的虚拟物体O_VR在虚拟距离d_VR维持不变(例如，维持为1米)下移动(例如，向右偏移5厘米)，以在步骤S508中显示位于同样距离但不同位置的虚拟物体O_VR’。换句话说，虚拟物体O_VR与虚拟物体O_VR’位于相同虚拟距离d_VR的平面IP上。

由于步骤S506～S512的回圈当中所显示的虚拟物体的虚拟距离不变，因此理想上根据每次取得的双眼视角所计算出的瞳距参数会相同。但是，现实中可能发生各种各样的误差，所以每次计算出的瞳距参数并不会完全相同。据此，在第一次数阈值之内计算出多个瞳距参数，再根据这些计算出来的瞳距参数来指定校正后瞳距参数，可以得到更加精准的结果。值得一提的是，第一次数阈值设定的越大，校正的结果也可能更加精准，但是所需花费的校正时间也就越长。

在步骤S514中，处理器130会根据双眼视角估计适眼距参数。在一些实施例中，处理器130例如会通过图3实施例中所介绍的几何关系，来根据双眼视角(包括左眼视角θ_L与右眼视角θ_R)以及步骤S512中所指定的瞳距参数，来估计虚拟物体O_VR的虚拟距离d_VR，进而估计适眼距参数。举例来说，处理器130会通过上述的几何关系，根据双眼视角以及步骤S512中所指定的瞳距参数估计虚拟距离d_VR后，减去距离d_fx(例如，95厘米)后，可以得到估计的适眼距参数。

在步骤S516中，处理器130会判断所估计的适眼距参数与初始适眼距参数之间的误差是否小于适眼距误差阈值，或适眼距参数估计次数是否大于第二次数阈值。举例来说，若所估计的适眼距参数与初始的适眼距参数差异不大，表示初始适眼距参数已经足够准确而无须调整，也就是初始适眼距参数可以直接被指定为校正后的适眼距参数来使用。在本实施例中，处理器130会设定适眼距误差阈值。若所估计的适眼距参数与初始适眼距参数之间的误差小于适眼距误差阈值，直接进入步骤S518；反之，若所估计的适眼距参数与初始适眼距参数之间的误差不小于适眼距误差阈值，则会回到步骤S504，重新设定虚拟物体的虚拟距离。接着，重复上述的步骤S506～S516，直到进入步骤S518。

类似地，为了防止步骤S504～S516的回圈进行太多次而导致校正时间过长，处理器130会设定第二次数阈值。一旦处理器130判断适眼距估计次数高于第二次数阈值，也就是步骤S514的执行次数超过第二次数阈值，处理器130在步骤S516中就会指定一个适眼距参数并且进入步骤S518。本发明并不在此限制指定适眼距参数的方式，所指定的适眼距参数可例如是所有曾经估计过的适眼距参数的平均值。

图7示出本发明一实施例中重新设定虚拟物体的虚拟距离的示意图。

请参照图7，在一些实施例中，在从步骤S516回到步骤S504时，处理器130例如将校正用的虚拟物体O_VR的虚拟距离d_VR调整为虚拟距离d_VR’(例如，将d_fx从95厘米调整为115厘米，也就是将1米的虚拟距离d_VR调整为1.2米的虚拟距离d_VR’)，以在步骤S508中显示位于不同距离的虚拟物体O_VR’。换句话说，虚拟物体O_VR与虚拟物体O_VR’分别位于虚拟距离d_VR的平面IP以及虚拟距离d_VR’的平面IP’上。

由于步骤S504～S516的回圈当中所使用的瞳距参数不会改变，因此理想上根据每个虚拟距离所取得的双眼视角所计算出的适眼距参数会相同。但是，现实中可能发生各种各样的误差，所以每次计算出的适眼距参数并不会完全相同。据此，在第二次数阈值之内计算出多个适眼距参数，再根据这些计算出来的适眼距参数来指定校正后适眼距参数，可以得到更加精准的结果。值得一提的是，第二次数阈值设定的越大，校正的结果也可能更加精准，但是所需花费的校正时间也就越长。

最后，在步骤S518中，处理器130会根据校正后的瞳距参数与适眼距参数设定立体显示装置100，以使立体显示装置100根据校正后的瞳距参数与适眼距参数进行显示。具体来说，处理器130取得校正后的瞳距参数与适眼距参数后，便能够根据校正后的瞳距参数与适眼距参数来产生图像信号，以使立体显示器110得以根据校正后的瞳距参数与适眼距参数来显示立体图像。在本实施例中，步骤S518是类似于图3实施例中的步骤S308，故重复的细节在此不加赘述。

综上所述，本发明实施例所提出的立体显示装置及其参数校正方法能够利用摄影机来取得使用者在观看校正用虚拟物体时的双眼视角，并据以校正包括诸如瞳距参数与适眼距参数等的人眼参数。在取得了校正后的人眼参数后，会根据此人眼参数来调整显示立体图像时的显示内容。据此，立体显示装置的参数校正变得更加便利也更加准确，增加了使用者使用立体显示装置时的舒适度，进而提升了使用者体验。

虽然本发明已以实施例揭示如上，然其并非用以限定本发明，任何所属技术领域中的技术人员，在不脱离本发明的精神和范围内，当可作些许的更改与润饰，故本发明的保护范围当视权利要求所界定的为准。

Claims (10)

1.一种参数校正方法，适用于包括摄影机的立体显示装置，所述参数校正方法包括：

显示校正用虚拟物体；

利用所述摄影机取得观看所述校正用虚拟物体的双眼视角；

根据所述双眼视角校正多个人眼参数，其中所述多个人眼参数包括瞳距参数与适眼距参数的至少其中之一；以及

根据校正后的所述多个人眼参数设定所述立体显示装置，以使所述立体显示装置根据校正后的所述多个人眼参数进行显示。

2.根据权利要求1所述的参数校正方法，还包括：

显示位于相同虚拟距离的至少一第一虚拟物体；

在显示所述至少一第一虚拟物体时拍摄至少一第一人眼图像；

根据所述至少一人眼图像计算至少一第一双眼视角；以及

根据所述至少一第一双眼视角校正所述瞳距参数。

3.根据权利要求2所述的参数校正方法，其中所述至少一第一虚拟物体包括多个第一虚拟物体，并且所述多个第一虚拟物体位于相同虚拟距离的不同虚拟位置。

4.根据权利要求2所述的参数校正方法，还包括：

显示至少一第二虚拟物体，其中所述至少一第二虚拟物体与所述至少一第一虚拟物体位于不同虚拟距离；

在显示所述至少一第二虚拟物体时拍摄至少一第二人眼图像；

根据所述至少一第二人眼图像计算至少一第二双眼视角；以及

根据所述至少一第二双眼视角校正所述适眼距参数。

5.根据权利要求4所述的参数校正方法，其中所述至少一第二虚拟物体包括多个第二虚拟物体，并且所述多个第二虚拟物体位于不同虚拟距离。

6.一种立体显示装置，包括：

立体显示器，用以显示校正用虚拟物体；

摄影机，用以拍摄观看所述校正用虚拟物体的人眼图像；以及

处理器，耦接于所述立体显示器以及所述摄影机，并且用以：

根据所述人眼图像取得观看所述校正用虚拟物体的双眼视角；

根据所述双眼视角校正多个人眼参数，其中所述多个人眼参数包括瞳距参数与适眼距参数的至少其中之一；以及

根据校正后的所述多个人眼参数来利用所述立体显示器进行显示。

7.根据权利要求6所述的立体显示装置，其中所述立体显示器显示位于相同虚拟距离的至少一第一虚拟物体，所述摄影机在所述立体显示器显示所述至少一第一虚拟物体时拍摄至少一第一人眼图像，并且所述处理器根据所述至少一人眼图像计算至少一第一双眼视角，以及根据所述至少一第一双眼视角校正所述瞳距参数。

8.根据权利要求7所述的立体显示装置，其中所述至少一第一虚拟物体包括多个第一虚拟物体，并且所述多个第一虚拟物体位于相同虚拟距离的不同虚拟位置。

9.根据权利要求7所述的立体显示装置，其中所述立体显示器显示至少一第二虚拟物体，所述摄影机在所述立体显示器显示所述至少一第二虚拟物体时拍摄至少一第二人眼图像，并且所述处理器根据所述至少一第二人眼图像计算至少一第二双眼视角，以及根据所述至少一第二双眼视角校正所述适眼距参数，其中所述至少一第二虚拟物体与所述至少一第一虚拟物体位于不同虚拟距离。

10.根据权利要求9所述的立体显示装置，其中所述至少一第二虚拟物体包括多个第二虚拟物体，并且所述多个第二虚拟物体位于不同虚拟距离。

Images