CN111857623A - 校准设备、校准系统和显示设备校准方法 - Google Patents

Abstract

本文公开的是一种校准设备，其对显示设备进行校准，所述显示设备包括显示面板和传输显示在所述显示面板上的图像的透镜，所述校准设备包括：观察图像获取部分，其被配置为获取观察图像，所述观察图像是通过捕获经过所述透镜传输显示在所述显示面板上的校准图案的图像获得的图像而获得的；对应信息获取部分，其被配置为获取所述观察图像中的位置坐标与所述显示面板的屏幕上的位置坐标之间的对应关系；以及参数获取部分，其被配置为基于所述对应关系获取用于校正要在所述显示面板上显示的图像的参数。

Description

校准设备、校准系统和显示设备校准方法

相关申请的交叉引用

本申请要求于2019年4月25日提交的日本优先权专利申请JP 2019-084447的权益，通过引用将其全部内容并入本文。

技术领域

本公开涉及用于实现包括光学系统的显示设备的校准的设备、系统和校准方法。

背景技术

在使用光学系统(诸如图像拾取设备)的设备中，为了消除图像畸变或以高精度执行图像分析，可能需要通过校准来获取设备特有的参数。“张”的方法作为一种校准技术是众所周知的，其中从多个视点捕获棋盘格图案的平面图并对参数进行优化，以使得特征点在捕获图像上的位置以及特征点在真实空间中的图的平面上的位置具有正确的对应关系(例如，参见“一种灵活的相机校准新技术”，张正友，微软研究技术报告，MSR-TR-98-71，1998年12月2日)。同样，在通过捕获通过投影仪投影对象而获得的图像来获取对象的三维信息的设备中，已经提出了一种通过校准相机和投影仪来提高三维测量精度的技术(例如，参见JP 2015-128242A)。

公开内容

同时，在允许人以视觉方式识别由诸如头戴式显示器或投影仪作为显示设备的透镜放大的图像的情况下，与捕获的图像不同，不容易定量地评估被视觉识别的状态。尽管可以单独校准透镜或通过使用设备的设计值来估计各种参数，但该方法不基于单个设备的条件(诸如制造中的安装误差)。结果，畸变图像可以被视觉地识别，或者图像质量可以取决于显示设备而变化。

本公开是针对这样的问题而做出的，并且希望提供能够实现包括光学系统的显示设备的高精度校准的技术。

本公开的一个实施例涉及校准设备。该校准设备是这样的校准设备，其对显示设备进行校准，所述显示设备包括显示面板和传输显示在所述显示面板上的图像的透镜，所述校准设备包括：观察图像获取部分，其被配置为获取观察图像，所述观察图像是通过捕获经过所述透镜传输显示在所述显示面板上的校准图案的图像获得的图像而获得的；对应信息获取部分，其被配置为获取所述观察图像中的位置坐标与所述显示面板的屏幕上的位置坐标之间的对应关系；以及参数获取部分，其被配置为基于所述对应关系获取用于校正要在所述显示面板上显示的图像的参数。

本公开的另一实施例涉及校准系统。该校准系统包括校准设备，其对显示设备进行校准，所述显示设备包括显示面板和传输显示在所述显示面板上的图像的透镜，所述校准设备包括：观察图像获取部分，其被配置为获取观察图像，所述观察图像是通过捕获经过所述透镜传输显示在所述显示面板上的校准图案的图像获得的图像而获得的；对应信息获取部分，其被配置为获取所述观察图像中的位置坐标与所述显示面板的屏幕上的位置坐标之间的对应关系；以及参数获取部分，其被配置为基于所述对应关系获取用于校正要在所述显示面板上显示的图像的参数。该校准系统还包括图像拾取设备，其在所述校准设备的控制下捕获所述观察图像。

本公开的又一实施例涉及校准方法。该校准方法是校准设备的方法，用于对显示设备进行校准，所述显示设备包括显示面板和传输显示在所述显示面板上的图像的透镜，所述方法包括：获取观察图像，所述观察图像是通过捕获经过所述透镜传输显示在所述显示面板上的校准图案的图像获得的图像而获得的；获取所述观察图像中的位置坐标与所述显示面板的屏幕上的位置坐标之间的对应关系；以及基于所述对应关系获取用于校正要在所述显示面板上显示的图像的参数。

此外，本公开的实施例有效地包括上述组件的任何组合，以及在方法、设备、系统、计算机程序、记录计算机程序的记录介质之间转换的本公开的任何表达式。

根据本公开的实施例，以高精度实现包括光学系统的显示设备的校准。

附图说明

图1是用于说明校正要在头戴式显示器上显示的图像的必要性的图；

图2是示出根据实施例的校准系统的配置示例的图；

图3是示出根据本实施例的校准设备的内部电路配置的图；

图4是示出根据本实施例的校准设备的功能块配置的图；

图5是示出由本实施例中的校准设备执行的校准处理过程的概要的图；

图6是示出本实施例中显示在显示面板的屏幕上的图像及其观察图像的图；

图7A和7B是用于说明将在本实施例中用作校准图案的格雷码的图；

图8是用于说明将在本实施例中用作校准图案的正弦波的相移的图；

图9A和9B是用于比较获取本实施例中使用格雷码图案和正弦波相位偏移的图案的情况之间的位置关系的结果的特性的图；

图10是用于说明本实施例中用于整合格雷码方法和相移方法的结果的处理的概念的图；

图11是示出图5的S10中用于校准的显示和图像捕获处理的过程的流程图；

图12A至12C是示出由图11所示的处理捕获的图像的示例的图；

图13是示出图5的S12中用于获取屏幕坐标与观察坐标之间的对应关系的处理过程的流程图；

图14是示出图13的S42中对应信息获取部分通过使用格雷码方法获取对应关系的处理过程的流程图；

图15是示出图13的S46中对应信息获取部分整合通过格雷码方法和相移方法获得的对应关系的处理过程的流程图；

图16是用于说明图5的S14中参数获取部分获取畸变参数的处理的图；

图17是用于说明本实施例中用于评估绘制在屏幕图上的点组的线性度的方法的示例的图；

图18是示出图5的S14中参数获取部分获取畸变参数的处理过程的流程图；

图19是示出根据本实施例执行校准的结果的图；

图20是示出仅使用格雷码的结果进行校正的结果的图用于对比；并且

图21是示出根据实施例的校准结果的另一示例的图。

具体实施方式

本实施例涉及显示设备的校准，该显示设备包括显示图像的显示面板和从显示面板传输光的透镜。显示设备的类型不受限制，并且可以考虑将通过透镜传输的图像投影到人眼上的头戴式显示器、将图像投影到屏幕上的投影仪等。在下文中，将主要描述头戴式显示器的校准，但可以类似地将本公开应用于使用光学系统的其它显示设备。

图1是用于说明校正要在头戴式显示器上显示的图像的必要性的图。为了便于理解，这些图示出了显示棋盘格图案的情况。头戴式显示器是一种当戴在用户头上时在位于用户眼前的显示面板上显示图像的设备。可应用本实施例的头戴式显示器具有在显示面板前面进一步设置目镜的结构。目镜允许用户在用户视野的大范围内观看图像。

首先，如图1的上部所示，当在头戴式显示器的显示面板上直接显示无畸变的输入图像20时，自然地显示类似于输入图像20的输出图像22。当通过透镜16观看图像时，用户从视觉上识别由于透镜16的畸变像差而畸变的图像24。相反，如图1的下部所示，如果显示通过基于透镜16的畸变像差对没有畸变的输入图像20进行校正而获得的输出图像26，则当通过透镜16观看时，可以视觉地识别没有畸变的图像28。由透镜引起的图像畸变通常用以下模型方程表示。

[数学.1]

x’＝(1+k₁r²+k₂r⁴+k₃r⁶)x+2p₁xy+p₂(r²+2x²)

y’＝(1+k₁r²+k₂r⁴+k₃r⁶)y+p₁(r²+2y²)+2p₂xy (方程1)

这里，(x，y)是无畸变图像中的位置坐标，r是从畸变中心到位置坐标的距离，并且(x'，y')是有畸变图像中的对应位置坐标。值k1、k2和k3是表示径向畸变的系数，并且p1和p2是表示切向畸变的系数。在下文中，将这些参数和畸变中心的位置坐标统称为“畸变参数”，然而，不意图将本实施例中使用的畸变的模型方程局限于上述，并且参数可以取决于模型方程而变化。如图1所示，为了在通过透镜观看时可以视觉地识别原始图像，可能需要精确地确定特定于透镜的畸变参数。

校正显示图像所需的畸变参数不仅取决于仅由透镜引起的畸变程度，而且还取决于显示面板和透镜之间的相对位置和姿势关系。如果基于设备等的设计值将畸变参数作为常数引入，则值得考虑的是，由于设备中的个体差异(诸如安装误差)，视觉识别图像的质量可能是变化的。此外，对于畸变参数未知的显示器，除非移除透镜以单独获取透镜的畸变程度或获得设计值，否则无法获得畸变参数。因此，在本实施例中，在安装了显示面板和透镜的状态下，用图像拾取设备捕获通过透镜传输的显示图像的产生的图像来精确地获得畸变参数。

图2示出了本实施例的校准系统的配置示例。校准系统8包括显示设备12、图像拾取设备14和校准设备10。显示设备12至少包括用于显示显示图像的显示面板30a和30b，以及用于传输显示图像的透镜32a和32b。所示的显示设备12被假定为能够实现立体视觉的头戴式显示器。

因此，示出了分别在用户的左眼和右眼前方显示左眼和右眼图像的显示面板30a和30b、以及用于左眼和右眼的两个透镜32a和32b。然而，显示面板和透镜的组数是不受限制的。如上所述，当执行校准时，显示面板30a和30b、以及透镜32a和32b在显示设备12中处于组装状态。因此，显示设备12具有用于在显示面板上显示输入图像的视频信号处理机构和面板驱动机构，但是图2中省略了这些机构。

图像拾取设备14捕获已经通过每组显示面板和透镜的透镜传输的图像。因此，尽管所示的图像拾取设备14是为左透镜和右透镜32a和32b中的每一个提供相机的立体相机，但是无意将图像拾取设备14限制为立体相机。校准设备10使显示设备12的显示面板30a和30b显示用于校准的图案，并且使图像拾取设备14捕获通过透镜32a和32b传输该图案而形成的图像。

然后，通过对捕获图像的数据进行分析得到畸变参数。这里，校准设备10顺序地向显示设备12发送多个校准图案的数据，并且随着时间改变显示图像。然后，通过向图像拾取设备14发送同步信号，在与每个图案的显示同步的时序处获得捕获图像。可在校准设备10和图像拾取设备14之间提供用于产生同步信号的微型计算机板等。

图3示出了校准设备10的内部电路配置。校准设备10包括中央处理单元(CPU)122、图形处理单元(GPU)124和主存储器126。CPU 122基于诸如操作系统和应用程序之类的程序来控制设备内部组件的处理和信号传输。GPU 124执行图像处理。主存储器126包括随机存取存储器(RAM)，并且存储处理所需的程序和数据。

这些组件通过总线130互连。输入/输出接口128进一步连接到总线130。诸如通用串行总线(USB)和电气与电子工程师协会(IEEE)1394的外围设备接口、包括有线或无线局域网(LAN)网络接口的通信单元132、诸如硬盘驱动器或非易失性存储器的存储单元134、输出数据和控制到显示设备12和图像拾取设备14的信号的输出单元136、从图像拾取设备14或输入设备(未示出)输入数据的输入单元138、以及驱动可移动记录介质(诸如磁盘、光盘或半导体存储器)的记录介质驱动单元140连接到输入/输出接口128。

CPU 122通过执行存储在存储单元134中的操作系统来控制整个设备。CPU 122还执行从可移动记录介质读取并加载到主存储器126或经由通信单元132下载的各种程序。GPU 124具有几何引擎和渲染处理器的功能，并且根据来自CPU 122的绘制命令执行图像绘制。

图4示出了校准设备10的功能块的配置。图4中所示的每个功能块可以由CPU 122、GPU 124、主存储器126等实现为图3中所示的硬件，并由从硬盘或记录介质加载到主存储器126中的计算机程序等实现为软件。因此，本领域技术人员应当理解，这些功能块可以以各种形式实现，如仅以硬件、仅以软件或以其组合的形式实现，而不限于其中任何一种。

校准设备10包括用于使显示设备12显示校准图案的显示控制部分40、用于存储校准图案的数据的校准图案存储部分42、和用于使图像拾取设备14在与显示同步的时序处捕获图像的图像捕获控制部分48、用于获取捕获的显示图像作为观察图像的观察图像获取部分50、用于获取观察图像中的位置坐标与显示面板屏幕上的位置坐标之间的对应关系的对应信息获取部分52、用于存储所获取的对应关系的对应信息存储部分44、用于基于对应关系获取畸变参数的参数获取部分54、用于存储所获取的畸变参数的畸变参数存储部分46。

显示控制部分40由图3的CPU 122、GPU 124、输出单元136等实现，并通过向显示设备12传输校准图案数据使其显示该图案。此时，如上所述，通过按设定的时间顺序传输多个校准图案而随时间改变显示。优选地，顺序显示多个系统的图案组。校准图案存储部分42由图3的主存储器126实现，并且存储多个校准图案的数据或图案的生成规则的数据。在后一种情况下，显示控制部分40可以根据存储的规则在内部生成校准图案。

图像捕获控制部分48由图3中的CPU 122、输出单元136等实现，并且向图像拾取设备14发送控制信号，以使该设备捕获校准图案的观察图像。具体地，如上所述，在与由显示控制部分40控制的多个校准图案的显示时序同步的时序处执行图像捕获。观察图像获取部分50由图3中的CPU 122、输入单元138、主存储器126等实现，并且顺序地获取由图像拾取设备14捕获的观察图像的数据。

对应信息获取部分52由图3中的CPU 122等实现，其分析观察图像，并获得显示面板的屏幕上的位置坐标(以下也称为“屏幕坐标”)和观察图像的平面上的位置坐标(以下也称为“观察坐标”)之间的对应关系。这里，对应信息获取部分52识别屏幕坐标，屏幕坐标是基于在每个观察坐标处观察到的亮度的时域变化在每个观察坐标处观察到的光的来源。

即使对每个校准图案重复简单的图形，也可以通过结合时域变化的因素，以精细的粒度获得位置坐标的对应关系。只要可以通过使用亮度的时域变化来获得位置的对应，则图案不被具体地限制，但是如后文所述，在本实施例中考虑引入格雷码的图案组和其中正弦波被相移的图案组。在这种情况下，对应信息获取部分52通过利用这些图案组的观察图像单独地获取对应关系，并将结果整合以获得最终的对应关系。

然而，要使用的图案不限于如上所述的图案，并且在某些情况下，具有规则特征点的图案(诸如棋盘格图案)的静止图像的观察图像可以与如上所述的改变亮度的图案组结合使用。此外，取决于期望的精度和分辨率，不需要多个系统的图案组合。对应信息存储部分44由图3中的主存储器126实现，并且存储关于在每个阶段中获取的位置坐标的对应关系的数据。

参数获取部分54由图3的CPU 122实现，并且基于存储在对应信息存储部分44中的屏幕坐标和观察坐标之间的对应关系来获取畸变参数。具体地，对畸变参数进行优化，使得屏幕上与在获得对应关系的观察图像上的点组(位置坐标组)之间形成直线的点组相对应的点组也形成直线。畸变参数存储部分46由图3中的主存储器126实现，并且存储由参数获取部分54获取的畸变参数。

可选地，畸变参数存储部分46可以是存储单元134或由图3中的记录介质驱动单元140驱动的记录介质。例如，这些设备记录的畸变参数最终存储在包括在显示设备12中的非易失性存储器中。在操作时，生成显示图像的内容处理设备读取数据，并根据数据畸变内容图像，然后使显示设备12显示图像。以这种方式通过透镜观看显示的图像，在视觉上识别出没有畸变的图像。

图5示出了由校准设备10执行的校准的处理过程的概要。首先，显示控制部分40从校准图案存储部分42读取校准图案60的数据，并使显示设备12顺序显示该图案。图像捕获控制部分48使图像拾取设备14以与显示同步的时序捕获通过透镜传输的图像(S10)。

当观察图像获取部分50获取具有畸变的捕获观察图像62时，对应信息获取部分52获取屏幕坐标与观察坐标之间的对应关系(S12)。例如，对应信息获取部分52创建对应图64，其中在观察图像平面上分别呈现对应于观察坐标的每个分量的屏幕坐标的x和y分量，并将图存储在对应信息存储部分44中。接着，参数获取部分54通过优化畸变参数，使得对应的点组在观察图像和显示面板的屏幕上都形成直线来获得最终结果(S14)。

图6示出了显示在显示面板的屏幕上的图像及其观察图像。在图6所示的显示图像70中，示出了由垂直条纹组成的图案，以获得与观察图像平面上的每个位置相对应的屏幕坐标的x分量。当通过透镜捕获图案的图像时，获得具有畸变条纹的观察图像72。对应信息获取部分52将显示图像70中的屏幕坐标(例如，屏幕坐标74)与通过捕获显示图像70的图像而获得的观察图像72中的观察坐标(例如，观察坐标76)相关联。

通过适当地执行图像拾取设备14的校准，在三维空间中来自显示图像70的观察图像72的投影由以下针孔模型表示。

[数学.2]

这里，m(u，v)是观察图像中的uv坐标，并且M(X，Y，Z)是显示面板的屏幕上的位置坐标。值R是旋转矩阵，并且t是平移向量。值A是与透镜有关的参数，并且其表示如下。

[数学.3]

这里，(fx，fy)表示以像素为基础的焦距，并且(Cx，Cy)表示主要点的位置坐标。如图6所示，在存在由透镜引起的畸变的状态下，将由方程1所示的透镜畸变模型引起的变换进一步添加到投影变换中。然而，在本实施例中，如上文所述，在观察图像72中的点组和显示图像70中的对应点组线性的平面上，通过几何方法分别导出方程1的畸变参数。

在图6所示的示例中，显示图像70和观察图像72的平面是标准化的，但是实际上，由于两个图像的放大率根据焦距而改变并且影响相应的位置坐标，因此可能需要设置适当的焦距值。如果焦距太小，则视野就变得太宽，并且方程式1中的rⁿ溢出。如果焦距太大，则视野就会变得太窄，并且畸变参数就会发散。通过将焦距设置在显示器分辨率的1/2到1/4范围内作为目标，可以适当地获得畸变参数。

图7A和7B是用于解释用作校准图案的格雷码的图。例如，将格雷码用作三维测量的结构光。具体地，通过将多个黑白二元光束投射到测量目标上，可以将二进制码与区域中的每个点相关联。在本实施例中，格雷码图案用于显示。例如，如图7A所示，由具有各种宽度的黑白垂直线(条纹)组成的图案系列按从左到右的顺序显示。

如图7A所示，靠近右端的图案具有更细的条纹，并且最细的条纹是用于识别位置坐标的最小单位。通过使由黑色(亮度值0)和白色(亮度值1)组成的亮度的时域变化图案在所有最小单位中不同，将不同的二进制码分别关联。例如，在中间部分提取的示例中，最左边的单元的亮度变化表示为[0，0，0]，因此表示为十进制的“0”。类似地，其右侧的单元也与十进制的标识数字“1”、“2”、“3”和“4”相关联。

如图6所示，在观察图像将条纹表示为具有畸变，但是由于亮度以与显示屏幕上的对应条纹相似的方式变化，因此确定具有畸变的条纹图像对应于显示屏幕上的哪个条纹。利用图7A所示的垂直条纹，观察图像上的每个点可以与屏幕坐标的x分量相关联。图7B示出了由水平条纹组成的图案系列，并且观察图像上的每个点可以通过与图7A相似的原理与屏幕坐标的y分量相关联。

根据该方法，原则上将最细条纹的宽度用作最小单位，可以唯一地确定观察坐标与屏幕坐标之间的对应关系。然而，由于观察图像中出现波纹和模糊，并且由于显示面板和图像拾取设备14等之间的分辨率的差异，特别是在具有窄条纹宽度的图像中，条纹的边界被模糊或变黑，因此在位置的确定中可能发生错误。

图8是用于解释用作校准图案的正弦波的相移的图。该图案系列78具有在屏幕的水平方向或垂直方向上以正弦波形式变化的亮度分布，并且包括相位随时间变化的图案。所示的图案系列78在屏幕的水平方向上以正弦波形状改变亮度，并且在预定的时间间隔Δt上具有90°的相移。

图8的下部示出了在t1、t2、t3和t4的每一时刻处的亮度的部分空域变化。这里，将在时间t1时亮度变为0.5的位置中的左端位置设置为x＝0。例如，在图案系列78的每个图案中所示的白色圆圈的位置对应于在下部区域中x＝xa的位置。由于每个位置处的亮度的时域变化也具有正弦波形，因此通过获取相位θ来确定相对于空域方向上的正弦波的位置的相位。

同样在观察图像中，通过获取亮度的时域变化指示相同相位的位置，可以将这些位置与屏幕坐标的x分量的坐标相关联。例如，由于将相位定义为0≤θ<2π，因此从观察图像的左侧执行位置关联，并且每当对应的屏幕坐标xa超过宽度xb时，通过将与正弦波的一个周期相对应的宽度xb加到与相位θ相对应的宽度，将该位置与屏幕坐标的x轴方向上的连续值xa相关联，如以下方程所示。

xa＝(θ/2π)·xb+xb·n,n＝[xa/xb] (方程4)

类似地，通过使用亮度在屏幕的垂直方向上以正弦波形状改变的图案，将位置与屏幕坐标的y分量的坐标相关联。由于获得亮度的时域变化的位置不受限制，因此可以在精细的单位级别(诸如显示图像的像素单位级别)中获得位置的对应。然而，通过这种方法可以直接得到的只有相位θ，并且只有当获得了诸如x＝0的参考位置的对应时，屏幕上相应位置坐标(例如，位置xa)的绝对值才是唯一确定的。

图9A和9B比较使用格雷码图案的情况和使用偏移正弦波的相位的图案的情况之间的位置关系的获取结果的特性。在下文中，前一种方法被称为“格雷码方法”，并且后一种方法被称为“相移方法”。在图9A所示的格雷码方法的结果中左侧所示的理想状态下，相对于以最细条纹的宽度为单位的屏幕坐标xd中的每一个，以相同的单位获得观察坐标xp。同时，如上所述，当条纹边界由于波纹图案或模糊的影响变得不清晰或被破坏时，捕获图像上的位置的分辨率降低。

结果，如右侧所示，观察坐标xp与观察图像上每个单位的屏幕坐标xd相关联，该单位大于定义屏幕坐标xd的最小单位。相反，在图9B所示的通过相移方法获得的结果的左侧所示的理想状态下，在观察图像上出现在屏幕上显示图案的整个范围(图9B中的屏幕坐标的0到1440)。在这种情况下，可以通过以端点为基准的仿射变换从每个观察坐标的相位θ获得屏幕坐标的绝对值。

此外，如上所述，根据相移方法，可以以更细的粒度进行对应，因此，对应关系形成图9B中的曲线形状。同时，如图9B的右侧所示，如果显示面板上显示的图案的末端在观察图像的视野之外，则无法获得作为参考的对应关系，因此，即使找到了每个观察坐标的相位θ，对应屏幕坐标的绝对值也是未定义的。因此，通过将相移方法的结果与格雷码方法的结果相结合，明确了相移方法的结果。

图10是用于说明用于整合格雷码方法和相移方法的结果的处理的概念的图。该处理的目的是表达相移方法的结果，其中，通过使用即使以粗粒度提供屏幕坐标和观察坐标之间的对应关系的绝对值的格雷码方法的结果，也可以精细的粒度获得相对对应关系，作为坐标绝对值的对应关系。基本上，指示相移方法的结果的曲线84被变换，以便被视为表示与指示格雷码方法的结果的锯齿线82相同变化的线。

例如，通过使用随机样本一致性(RANSAC)的算法，获取包括由箭头86表示的缩放参数和由箭头88表示的平移参数的仿射变换参数的最优值。RANSAC是一种对一组点进行建模的方法，并且计算随机选择的采样点的模型参数，并在应用该参数的情况下重复评估确定性的处理，从而得到最终的模型。

将通过使用由该方法得到的仿射变换参数对曲线84进行变换的结果用作关于位置坐标对应关系的最终信息。然而，事实上，例如，由于观察坐标和屏幕坐标都是二维的，因此相对于观察坐标的两个维度，在表示屏幕坐标的每个分量的三维空间中的平面上执行变换处理。

图11是示出图5的S10中用于校准的显示和图像捕获处理的过程的流程图。注意，该流程图说明了考虑到透镜的色差，使用红色、绿色和蓝色校准图案单独执行校准的示例。在这种情况下，将图7A、7B和8中所示的“白色”替换为由最大亮度表示的每个颜色分量。首先，显示控制部分40和图像捕获控制部分48各自执行要在显示设备12上显示的校准图案的初始设置和图像拾取设备14中的捕获条件的初始设置(S30)。

具体地，显示控制部分40从校准图案存储部分42读取要显示的图案的数据。图像捕获控制部分48设置捕获条件(诸如曝光时间和光圈值)，使得在观察图像中获得适于分析的图像。接着，显示控制部分40使显示设备12显示其整个表面为白色的图像，并且图像捕获控制部分48使图像拾取设备14捕获图像(S32)。由此，预先识别与观察图像中的显示面板的屏幕相对应的区域。

然后，显示控制部分40从作为显示面板的原色的红色、绿色和蓝色中选择一种对比颜色(S33)，使显示设备12显示该对比颜色的校准图案，并且图像捕获控制部分48使图像拾取设备14捕获图像(S34)。此后，观察图像获取部分50从图像拾取设备14依次获取捕获图像的数据，并将该数据存储在主存储器126中。在完成对比颜色的所有校准图案的图像捕获之前，依次重复该图案的显示和图像捕获(S36中的否，S34)。

这里，在上述示例中，所有校准图案都是垂直/水平双向格雷码图案系列和垂直/水平双向正弦波图案系列。然而，不意图将本实施例中使用的图案限制为这些图案。当对比颜色中的所有图案的图像捕获都完成时(S36中的是)，使用另一原色作为对比颜色来重复校准图案的显示和图像捕获(S38中的否，S33、S34和S36)。

注意，取决于在某些情况下要显示的图案的颜色，观察图像的亮度可能不足或过大，因此，预先为每种颜色获取图像捕获条件的最优值。图像捕获控制部分48在切换对比颜色时根据需要切换捕获条件。当所有原色的所有校准图案的图像捕获完成时，处理结束(S38中的是)。

图12A至12C示出了由图11所示的处理捕获的图像的示例。图12A是在图11的S32中获取的白色图像的捕获图像。并且，图12B和12C是在图11的S34中获取的特定格雷码图案和特定正弦波图案的观察图像。如图12A所示，通过识别捕获图像平面中的白色区域(具有预定值或更高亮度的区域)，可以在图12B和12C中限制观察图像中存在图案的区域。因此，可以提高获取观察坐标和屏幕坐标之间的对应关系的处理的效率，并且防止将不存在图案的外围区域错误地识别为图案的一部分。

图13是示出图5的S12中获取屏幕坐标与观察坐标之间的对应关系的处理过程的流程图。首先，对应信息获取部分52从主存储器126读取白色图像的捕获图像，并生成用于从分析目标中排除图像平面上的白色区域以外的区域的掩模数据(S40)。接着，对应信息获取部分52从主存储器126读取观察图像数据，并根据其图像被捕获的图案系列、通过分析方法获取观察图像和显示图像之间的位置对应关系(S42)。

也就是说，通过获取多个观察坐标处的亮度变化，识别与每个坐标或相位相对应的显示面板屏幕上的位置。由于观察图像是针对每种原色获得的，因此也针对每种颜色获得对应关系。在使用一个图案系列的情况下(S44中的否)，通信信息获取部分52将在S42中获得的对应关系信息存储在对应信息存储部分44中以完成处理(S48)。例如，从所需精度的角度来看，只要格雷码方法的结果足够，就通过忽略相移方法的分析而不需要结果的整合处理。

在用多个图案系列获得对应关系的结果的情况下(S44中的是)，对应信息获取部分52通过整合这些结果来获取关于最终对应关系的信息(S46)。然后，将关于对应关系的信息存储在对应信息存储部分44中，并且处理终止(S48)。例如，通过该处理获得的对应关系以二维图的形式表示与观察图像平面上的各个坐标相对应的屏幕坐标的值。

图14是示出图13的S42中对应信息获取部分52通过使用格雷码方法获取对应关系的处理过程的流程图。首先，对应信息获取部分52从图像平面的x轴方向和y轴方向之中确定目标方向(S50)。接着，对应信息获取部分52从用于识别目标方向上的对应关系的图案系列中提取亮度彼此相反的图案对的观察图像，并生成图案对的差分图像(S52)。例如，在图7A中，从左侧开始的第一和第二图案的亮度分布具有相反的关系。

对应信息获取部分52从主存储器126读取通过捕获获得的观察图像对，并通过从第一图像的像素值减去第二图像的像素值来生成差分图像。根据图7A和7B所示的图案的布置，两个连续的图案形成亮度分布彼此相反的一对，因此可以通过从先前图像减去后续图像来生成差分图像。差分图像是其中像素值的正负号在图案中的条纹的边界处反转的图像。

因此，对应信息获取部分52通过将0设置为边界值来对差分图像进行二值化(S54)。结果，能以高精度地识别出观察图像中条纹的边界。对亮度分布彼此相反的图案对的所有观察图像重复S52和S54的处理(S56的否)。当对所有的对完成观察图像的二值化时(S56中的是)，通过以预定间隔获取每个观察坐标的亮度变化来获取对应的屏幕坐标，并存储在对应信息存储部分44中(S58)。

这些数据段是其中二维屏幕坐标的一个分量的坐标与二维观察坐标相关联的数据段。随后，对应信息获取部分52切换目标方向并且重复从S50到S58的处理(S60中的否)。结果，获得了其中屏幕坐标的其余分量的坐标与观察坐标相关联的数据，因此，对应信息获取部52将数据整合以生成二维图，并将该图存储在对应信息存储部分44中，作为格雷码方法的最终结果(S60中的是，S62)。

图15是示出图13的S46中的处理过程的流程图，其中对应信息获取部分52整合通过格雷码方法和相移方法获得的对应关系。该处理使用上述RANSAC算法。首先，对应信息获取部分52从对应信息存储部分44读取关于通过相移方法获得的对应关系的信息，并随机提取其中的对应观察坐标和屏幕坐标的组合(S70)。该处理对应于从表示与观察图像平面上的各个坐标相对应的屏幕坐标的图中随机提取点。

附带地，对于通过相移方法获得的对应关系，存在如上文所述未获得对应位置坐标的绝对值的情况。在这种情况下，对应信息获取部分52临时确定位置坐标的绝对值。接着，对应信息获取部分52从对应信息存储部44中读取用格雷码方法获得的关于对应关系的信息，并且获取与S70中提取的观察坐标相同的观察坐标对应的屏幕坐标(S72)。然后，用最小二乘法计算从S70中提取的通过相移方法得到的屏幕坐标到S72中通过格雷码方法获得的屏幕坐标的仿射变换参数(S74)。这里获得的参数是如上所述的缩放参数和平移参数。

接着，对应信息获取部分52通过使用所获取的参数对由相移方法的结果指示的所有屏幕坐标执行仿射变换(S76)，然后从由格雷码方法的结果指示的屏幕坐标获取误差的评估值(S78)。例如，作为误差的评估值，可以使用回归分析中使用的一般评估值，例如均方根误差(RMSE)或平均绝对误差。此外，当S76的处理中的仿射变换后的屏幕坐标与由格雷码的结果指示的屏幕坐标之间的误差小于预定值的点数小于阈值时，可以在不获取误差评估值的情况下丢弃仿射变换参数。

重复从S70到S78的处理(S80的否)，并且当重复次数达到预定数目(S80的是)时，选择提供指示误差最小的评估值的仿射变换参数(S82)。然后，对应信息获取部分52使用所选择的仿射变换参数来变换由相移方法的结果指示的屏幕坐标，并获取位置坐标的最终对应关系，从而将对应关系存储在对应信息存储部分44中(S84)。如果即使从S70到S78的处理被重复预定次数但该误差通常大于参考，并且未获得误差评估值，则该处理可以作为错误而终止。

这些处理过程基于这样的假设，即能够获得与观察坐标相对应的屏幕坐标的绝对值的格雷码方法的结果和能够获得对应关系中的变化状态的相移方法的结果被整合。然而，这些方法不限于格雷码方法或相移方法，并且只要一种是用于获得坐标绝对值之间的对应关系的方法，并且另一种是用于获得坐标之间的相对关系的方法，就可以在类似的过程中进行整合。作为修改示例，可以通过多种方法获得坐标绝对值之间的对应，并且可以整合结果。

例如，可以设想将包括具有特征形状或颜色的一个或多个标记的图案(诸如棋盘格图案或圆圈网格)引入到重复图案中。在这种情况下，当图案被显示时，静止图像被视为观察图像。然后，通过将观察图像上的标记图像用作基点，获得特征点的位置坐标与屏幕坐标的绝对值之间的关系。在整合由这种方法或格雷码方法获得的结果的情况下，可以通过取与相同观察坐标对应的屏幕坐标的平均值来获得最终的对应关系。

图16是用于说明图5的S14中参数获取部分54获取畸变参数的处理的图。在图16中，观察图像图90包括屏幕坐标的y分量的坐标与观察图像平面上的坐标相关联的图、以及x分量的坐标与观察图像平面上的坐标相关联的图。屏幕图92包括观察坐标的y分量的坐标与显示面板的屏幕上的坐标相关联的图、以及x分量的坐标与显示面板的屏幕上的坐标相关联的图。在观察图像图90中，在垂直方向或水平方向上的直线上的点组具有相同的观察坐标的x分量或y分量。在所示示例中，y分量指示点组Y1。

在存在透镜畸变的状态下，当点组指示的屏幕坐标[y1，x1]，[y2，x2]，[y3，x3]，…被绘制在屏幕图92中时，在观察图像中指示相同Y1的点组位于曲线上，而在屏幕坐标中不指示相同的y坐标。类似地，具有相同x分量的直线上的点组在屏幕图92上绘制时也被定位在曲线上。因此，参数获取部分54优化校正参数，使得绘制在屏幕图92上的点组形成直线。

图17是用于说明用于评估绘制在屏幕图上的点组的线性度的方法的示例的图。图17中的x轴和y轴是屏幕图(即屏幕)的水平和垂直轴，并且绘制在观察图像图中线性排列的点组。从绘制的点组中以预定的间隔(诸如[y1，x1]、[y4，x4]、[y7，x7])提取采样点，并以三个采样点为一组计算穿过中心点和两个端点的两条直线的倾斜度。

通过所示的三点，得到直线94a和94b的倾斜度。在实践中，通过所有提取的采样点形成三点的组，并以类似的方式获得两条直线的倾斜度。在绘制点形成直线的情况下，两条直线的倾斜度之间的差变为零。因此，对于每个三点的组，计算两条直线的倾斜度的差diff，并将其和用作评估值。假设由所示的三个点确定的两条直线94a和94b的倾斜度分别为k1和k2，则得到如下的倾斜度的差diff。

diff＝k1-k2＝(Y1-y4)/(x1-x4)-(y4-y7)/(x4-x7) (方程5)

图18是示出图5的S14中参数获取部分54获取畸变参数的处理过程的流程图。首先，参数获取部分54提取位于观察图像图中的直线上的点组(S90)。例如，通过以预定间隔提取点，使得处理更加有效，并且同时降低噪声的影响。接着，将提取的点绘制在屏幕图上(S92)，并将从中提取的采样点中的三个连续点作为一组，并且依次获得点之间的两条直线之间的倾斜度的差diff(S94)。

接着，参数获取部分54从为多个组获得的倾斜度的差diff中排除偏离平均值预定参考或更多的值(S96)。例如，排除不在平均值2σ范围内的值。接着，参数获取部分54将差diff的和用作评估值，并且在降低评估值的方向上置换畸变参数(S98)。然后，使用置换后的畸变参数，用方程1校正S92中绘制的点组(S100的否，S102)。

此外，针对校正后的每个三点组，依次获取倾斜度的差diff(S94)，去除异常值，并且置换畸变参数(S96、S98)。此后，将S102、S92到S98的处理重复预定次数(S100的否)。实际上可以使用非线性优化算法来执行这种处理，诸如Levenberg-Marquardt方法(LM方法)。当搜索处理重复了预定次数时(S100中的是)，参数获取部分54将最终获得的畸变参数作为最终结果存储在畸变参数存储部分46中(S104)。在为显示面板的每种原色获取对应关系的情况下，对每种颜色执行所示的处理过程。从而针对每种颜色获得考虑色差的畸变参数。

图19示出了根据本实施例执行校准的结果。图19示出了用立体相机通过透镜捕获显示在头戴式显示器的左眼和右眼区域中的图像的结果。显示目标被设置为棋盘格图案。左端的观察图像是原样显示棋盘格图案的情况，并且由于透镜而观察到线轴形畸变。中间行是使用基于设计值的畸变参数进行畸变的显示图像的观察结果以用于对比，但在未考虑诸如透镜未对准的装配误差的情况下，在图案的外周出现了一些畸变。

右端图像示出了使用本实施例的校准所获取的畸变参数进行畸变的显示图像的观察结果，并且与基于设计值的校正结果相比，抑制了外周的畸变，并且图像整体畸变较小。图20示出了仅使用格雷码的结果进行校正的结果用于对比。左侧的观察图像96是图像的观察结果，在该图像中，按原样显示格雷码图案中的一个。右侧的观察图像98是通过使用仅使用格雷码进行校准获得的畸变参数校正显示图像的结果，但是条纹畸变没有被完全消除。

这是因为在用格雷码方法进行处理时，由于如上所述的波纹等的出现，在获得的观察坐标中发生了误差。与图19所示的根据本实施例的校正结果相比，显而易见，通过将相移方法与格雷码方法相结合，提高了畸变参数的精度。

图21示出了根据本实施例执行校准所导致的结果的另一示例。本示例示出了用立体相机通过透镜捕获显示在头戴式显示器的左眼和右眼区域中的图像所导致的结果，如图19所示。然而，该结果是在右透镜与保持架分离且透镜和显示器不面对彼此的状态下的结果。左端图像是校正前的观察图像，其中由于透镜而观察到畸变。

中间行中的三个是根据本实施例通过使用为每个分量获取的畸变参数来校正红色、绿色和蓝色分量所获得的显示图像的观察结果。不管透镜的姿势如何，对任何颜色都可以观察到畸变很小的图像。当基于透镜等的姿势对以这种方式捕获的没有畸变的立体图像进行平行化时，获得在核线上偏差很小的立体图像，诸如右端图像。

根据上述本实施例，在包括光学系统的显示设备中，通过实际捕获显示校准图案的图像，来获取将用于畸变显示图像、使得视觉上识别出没有畸变的图像的畸变参数。具体地，获取显示面板的屏幕上的位置坐标与捕获的观察图像上的位置坐标之间的对应关系，并优化校正参数使得对应的点组在两侧都形成直线。因此，可以在装配透镜的状态下进行校准，并且可以确保在用户视觉上实际识别图像的状态下的最优条件。此外，由于将注意力放在了两个平面上对应点的线性度上，因此可以执行专注于透镜畸变因子的有效校准。

在对应位置坐标的识别中，通过使用多个系统的校准图案组来获得对应关系，并且通过对这些关系进行整合来提高畸变参数的精度。例如，通过将通过使用能够提供位置坐标的绝对值之间的对应的格雷码图案系列获得的结果、与通过使用能够提供具有精细粒度的对应关系中的变化的正弦波的相位偏移图案系列获得的结果进行整合，可以以精细粒度获得位置坐标的绝对值的对应。结果，最终获取的畸变参数的精度可以得到提高。

在实施例的基础上描述了本公开。上述实施例是示例，并且本领域技术人员应当理解，可以对每个组件和每个处理过程的组合进行各种修改，并且这种修改也在本公开的范围内。

例如，在本实施例中获得的畸变参数不限于存储在校准目标的头戴显示器或投影仪的存储器中，用于在操作期间校正显示图像。例如，在制造这些显示设备时获得畸变参数、并且该值偏离正常值的范围的情况下，也可将该技术用于诸如从装运对象中移除缺陷产品的检查。根据本实施例的校准，可以获得显示面板和透镜组装状态下的参数，从而可以通过将畸变参数用作评估值，来高精度地检测组装工作中发生的缺陷。

Claims (12)

1.一种校准设备，其对显示设备进行校准，所述显示设备包括显示面板和传输显示在所述显示面板上的图像的透镜，所述校准设备包括：

观察图像获取部分，其被配置为获取观察图像，所述观察图像是通过捕获经过所述透镜传输显示在所述显示面板上的校准图案的图像获得的图像而获得的；

对应信息获取部分，其被配置为获取所述观察图像中的位置坐标与所述显示面板的屏幕上的位置坐标之间的对应关系；以及

参数获取部分，其被配置为基于所述对应关系，获取用于校正要在所述显示面板上显示的图像的参数。

2.根据权利要求1所述的校准设备，还包括：

显示控制部分，其被配置为随时间改变所述校准图案的显示图像，

其中，所述对应信息获取部分基于所述观察图像中多个位置处的亮度的时域变化，获取所述对应关系。

3.根据权利要求1或2所述的校准设备，其中，

所述观察图像获取部分获取多个系统中的每个的所述校准图案的所述观察图像，并且

所述对应信息获取部分获取所述多个系统中的每个的所述对应关系，并且整合所获取的结果，以便获取最终的所述对应关系。

4.根据权利要求2所述的校准设备，其中，

所述显示控制部分通过使用对所述显示图像中预定尺寸的每个区域不同的图案，随时间改变所述亮度，并且

所述对应信息获取部分基于所述观察图像中所述多个位置处的所述亮度的所述时域变化，以所述预定尺寸的所述每个区域为单位，将所述观察图像中的所述位置坐标与所述屏幕上的所述位置坐标相关联。

5.根据权利要求4所述的校准设备，其中，

所述显示控制部分还随时间改变通过在所述显示图像的预定方向上改变亮度而产生的正弦波形的相位，并且

所述对应信息获取部分基于所述观察图像中所述多个位置处的所述亮度的所述时域变化，获得所述观察图像中所述多个位置中的每个的所述相位，以便将所述观察图像中所述多个位置中的每个的所述相位与屏幕上的所述相位相关联，并且将关于所述关联相位的信息与关于以所述预定尺寸的所述每个区域为单位相关联的所述屏幕上的所述位置坐标的信息整合，以便获得最终的所述对应关系。

6.根据权利要求5所述的校准设备，其中，

所述对应信息获取部分基于评估值，通过使用所获得的仿射变换参数，通过将基于所述相位表示对应关系的图形状进行变换来获取所述最终对应关系，所述评估值与基于所述观察图像的平面上的所述相位表示所述对应关系的图形状和以所述观察图像的所述平面上的所述预定尺寸的每个区域为单位表示对应关系的图形状之间的差相关。

7.根据权利要求1至6中任一项所述的校准设备，其中，

所述参数获取部分获取与在所述观察图像中形成直线的位置坐标组相对应的所述屏幕上的位置坐标组，并且获得在使所述屏幕上的所述位置坐标组形成直线的方向上校正的所述参数。

8.根据权利要求7所述的校准设备，其中，

所述参数获取部分通过非线性优化算法获取所述参数，所述非线性优化算法将从所述屏幕上的所述位置坐标组中提取的每三个采样点之间的线倾斜度的差的总和用作评估值。

9.根据权利要求1至8中任一项所述的校准设备，其中，

所述观察图像获取部分获取以所述显示面板的原色的每个表示的所述校准图案的所述观察图像，并且

所述参数获取部分获取每个颜色的所述参数。

10.一种校准系统，包括：

校准设备，其对显示设备进行校准，所述显示设备包括显示面板和传输显示在所述显示面板上的图像的透镜，所述校准设备包括：

观察图像获取部分，其被配置为获取观察图像，所述观察图像是通过捕获经过所述透镜传输显示在所述显示面板上的校准图案的图像获得的图像而获得的；

对应信息获取部分，其被配置为获取所述观察图像中的位置坐标与所述显示面板的屏幕上的位置坐标之间的对应关系；以及

参数获取部分，其被配置为基于所述对应关系获取用于校正要在所述显示面板上显示的图像的参数；以及

图像拾取设备，其在所述校准设备的控制下捕获所述观察图像。

11.一种校准设备的方法，用于对显示设备进行校准，所述显示设备包括显示面板和传输显示在所述显示面板上的图像的透镜，所述方法包括：

获取观察图像，所述观察图像是通过捕获经过所述透镜传输显示在所述显示面板上的校准图案的图像获得的图像而获得的；

获取所述观察图像中的位置坐标与所述显示面板的屏幕上的位置坐标之间的对应关系；以及

基于所述对应关系获取用于校正要在所述显示面板上显示的图像的参数。

12.一种用于计算机的计算机程序，其对显示设备进行校准，所述显示设备包括显示面板和传输显示在所述显示面板上的图像的透镜，所述计算机程序包括：

通过观察图像获取部分获取观察图像，所述观察图像是通过捕获经过所述透镜传输显示在所述显示面板上的校准图案的图像获得的图像而获得的；

通过对应信息获取部分获取所述观察图像中的位置坐标与所述显示面板的屏幕上的位置坐标之间的对应关系；以及

通过参数获取部分基于所述对应关系获取用于校正要在所述显示面板上显示的图像的参数。

Images