CN112365547B - 基于多深度光栅可视点的相机矫正方法及系统 - Google Patents

Abstract

本发明揭示了一种基于多深度光栅可视点的相机矫正方法及系统，所述方法包括：获取光栅在白板上的不同颜色的交界点作为特征点；选取不同深度的多个特征点，估计相机矫正前后匹配点的最优变换矩阵[R|t]；通过重投影误差迭代优化旋转变化矩阵，直到重投影误差值小于阈值ε；保存矫正矩阵，对每次检测到的人眼位置做矫正，并根据定标数据做参数计算。本发明提出的基于多深度光栅可视点的相机矫正方法及系统，可提高光栅可视区位置定标的准确性，满足裸眼3D显示器的要求。

Description

基于多深度光栅可视点的相机矫正方法及系统

技术领域

本发明属于裸眼3D显示技术领域，涉及一种相机矫正方法，尤其涉及一种基于多深度光栅可视点的相机矫正方法及系统。

背景技术

随着结合人眼跟踪的裸眼3D显示器技术逐渐成熟，提高摄像头获取的人眼位置与光栅参数映射关系的定标数据的准确性成为亟待解决的问题。通过检测人眼的位置，改变光栅的参数，将三维内容呈现给观看者是基于人眼检测裸眼3D显示器的显示方式。这种显示方式可以给观看者更高的分辨率体验，但需要准确的人眼位置以及人眼位置与光栅参数映射的定标数据。

针对相机视锥体相对光栅面会出现旋转平移，影响定标数据的准确性的情况，对相机进行矫正，使定标出的可视点数据在同一深度面规则分布。通过矫正相机的方法避免了在相近深度情况下的光栅参数计算有偏差，保证了检测出的观看者有最优的观看体验。

有鉴于此，设计一种基于多深度光栅可视点的相机矫正方法，满足准确计算摄像头获取的世界坐标系位置与光栅参数映射关系的要求。

发明内容

本发明提供一种基于多深度光栅可视点的相机矫正方法及系统，可提高光栅可视区位置定标的准确性，满足裸眼3D显示器的要求。

为解决上述技术问题，根据本发明的一个方面，采用如下技术方案：

一种基于多深度光栅可视点的相机矫正方法，所述方法包括：

获取光栅在白板上的不同颜色的交界点作为特征点；

选取不同深度的多个特征点，估计相机矫正前后匹配点的最优变换矩阵[R|t]；

通过重投影误差迭代优化旋转变化矩阵，直到重投影误差值小于阈值ε；

保存矫正矩阵，对每次检测到的人眼位置做矫正，并根据定标数据做参数计算。

作为本发明的一种实施方式，选择红绿颜色作为定标的颜色。

作为本发明的一种实施方式，所述获取光栅在白板上的不同颜色的交界点作为特征点步骤中，根据目前的基于方波拟合的定标方法确定红绿图中的可视区位置作为特征点，并且各个深度的可视点都是以已知的内参矩阵的中心点位置为原点；

对应的旋转平移后的3D点设置为其中，RG_Width为定标出的红绿光宽度，按照定标的RG_Width计算出3D点的x方向值，y值与矫正前的特征点y值一致，depth值取矫正前中心点位置的深度值为矫正后的深度值。

作为本发明的一种实施方式，通过最小二乘法估计相机矫正前后匹配点的最优变换矩阵[R|t]。

作为本发明的一种实施方式，选取不同深度中的多个特征点、通过最小二乘法拟合出符合当前匹配点的旋转平移矩阵[R|t]步骤中，目标函数如下：

式中，p_i表示变换后的匹配点，p_i'表示变换前的特征点。

作为本发明的一种实施方式，通过重投影误差迭代优化旋转变化矩阵、直到重投影误差值小于阈值ε步骤中，公式如下：

式中，p_i表示变换后的匹配点，p_i'表示变换前的特征点；ε为设置的迭代结束条件，即当重投影误差值小于阈值ε时结束迭代。

作为本发明的一种实施方式，将矫正矩阵保存、对每次检测到的人眼位置做矫正、并根据定标数据做参数计算步骤中，通过对相机获取的3D点位置做矫正，使光栅的可视点的位置参数在相机中的位置成规则的扇形，避免不同深度之间因为相机旋转导致的光栅参数计算偏差。

作为本发明的一种实施方式，所述矫正方法进一步包括：固定显示器与白板，保证显示器与白板互相平行。

根据本发明的另一个方面，采用如下技术方案：一种基于多深度光栅可视点的相机矫正系统，其特征在于，所述系统包括：

特征点获取模块，用以获取光栅在白板上的不同颜色的交界点作为特征点；

最优变换矩阵估计模块，用以选取不同深度的多个特征点，估计相机矫正前后匹配点的最优变换矩阵[R|t]；

矩阵优化模块，用以通过重投影误差迭代优化旋转变化矩阵，直到重投影误差值小于阈值ε；

矫正模块，用以保存矫正矩阵，对每次检测到的人眼位置做矫正，并根据定标数据做参数计算。

作为本发明的一种实施方式，选择红绿颜色作为定标的颜色。

所述特征点获取模块用以根据目前的基于方波拟合的定标方法确定红绿图中的可视区位置作为特征点，并且各个深度的可视点都是以已知的内参矩阵的中心点位置为原点；对应的旋转平移后的3D点设置为其中，RG_Width为定标出的红绿光宽度，按照定标的RG_Width计算出3D点的x方向值，y值与矫正前的特征点y值一致，depth值取矫正前中心点位置的深度值为矫正后的深度值；

所述最优变换矩阵估计模块用以选取不同深度中的多个特征点、通过最小二乘法拟合出符合当前匹配点的旋转平移矩阵[R|t]步骤中，目标函数如下：其中，p_i表示变换后的匹配点，p_i'表示变换前的特征点；

所述矩阵优化模块用以通过重投影误差迭代优化旋转变化矩阵、直到重投影误差值小于阈值ε，公式如下：其中，p_i表示变换后的匹配点，p_i'表示变换前的特征点；ε为设置的迭代结束条件，即当重投影误差值小于阈值ε时结束迭代；

所述矫正模块用以将矫正矩阵保存、对每次检测到的人眼位置做矫正、并根据定标数据做参数计算步骤中，通过对相机获取的3D点位置做矫正，使光栅的可视点的位置参数在相机中的位置成规则的扇形，避免不同深度之间因为相机旋转导致的光栅参数计算偏差。

本发明的有益效果在于：本发明提出的基于多深度光栅可视点的相机矫正方法及系统，可提高光栅可视区位置定标的准确性，满足裸眼3D显示器的要求。

附图说明

图1为本发明一实施例中基于多深度光栅可视点的相机矫正方法的流程图。

图2为本发明一实施例中基于多深度光栅可视点的相机矫正方法的原理图。

具体实施方式

下面结合附图详细说明本发明的优选实施例。

为了进一步理解本发明，下面结合实施例对本发明优选实施方案进行描述，但是应当理解，这些描述只是为进一步说明本发明的特征和优点，而不是对本发明权利要求的限制。

该部分的描述只针对几个典型的实施例，本发明并不仅局限于实施例描述的范围。相同或相近的现有技术手段与实施例中的一些技术特征进行相互替换也在本发明描述和保护的范围内。

说明书中各个实施例中的步骤的表述只是为了方便说明，本申请的实现方式不受步骤实现的顺序限制。说明书中的“连接”既包含直接连接，也包含间接连接。

本发明揭示了一种基于多深度光栅可视点的相机矫正方法，所述方法包括：获取光栅在白板上的不同颜色的交界点作为特征点；选取不同深度的多个特征点，估计相机矫正前后匹配点的最优变换矩阵[R|t]；通过重投影误差迭代优化旋转变化矩阵，直到重投影误差值小于阈值ε；保存矫正矩阵，对每次检测到的人眼位置做矫正，并根据定标数据做参数计算。

图1为本发明一实施例中基于多深度光栅可视点的相机矫正方法的流程图；请参阅图1，所述方法包括：

【步骤S1】固定显示器与白板，保证显示器与白板互相平行。

【步骤S2】获取光栅在白板上的不同颜色的交界点作为特征点。

在一实施例中，选择红绿颜色作为定标的颜色，但不局限于红绿颜色。

在本发明的一实施例中，根据目前的基于方波拟合的定标方法确定红绿图中的可视区位置作为特征点，并且各个深度的可视点都是以已知的内参矩阵的中心点位置为原点。对应的旋转平移后的3D点设置为其中的RG_Width为定标出的红绿光宽度，按照定标的RG_Width计算出3D点的x方向值，y值与矫正前的特征点y值一致，depth值取矫正前中心点位置的深度值为矫正后的深度值。

【步骤S3】选取不同深度的多个特征点，通过最小二乘法估计相机矫正前后匹配点的最优变换矩阵[R|t]。

在本发明的一实施例中，选取不同深度中的多个特征点，通过最小二乘法拟合出符合当前匹配点的旋转平移矩阵[R|t]。目标函数如下：

式中，p_i表示变换后的匹配点，p_i'表示变换前的特征点。

【步骤S4】通过重投影误差迭代优化旋转变化矩阵，直到重投影误差值小于阈值ε。

在本发明的一实施例中，通过重投影误差迭代优化旋转变化矩阵、直到重投影误差值小于阈值ε的步骤中，公式如下：

式中，p_i表示变换后的匹配点，p_i'表示变换前的特征点。ε为设置的迭代结束条件，即当重投影误差值小于阈值ε时结束迭代。

【步骤S5】保存矫正矩阵，对每次检测到的人眼位置做矫正，并根据定标数据做参数计算。

在本发明的一实施例中，将矫正矩阵保存，对每次检测到的人眼位置做矫正，并根据定标数据做参数计算计算。通过对相机获取的3D点位置做矫正，使光栅的可视点的位置参数在相机中的位置成规则的扇形，避免不同深度之间因为相机旋转导致的光栅参数计算偏差。

图2为本发明一实施例中一种基于多深度光栅可视点的相机矫正方法的原理图；请参阅图2，在本发明的一实施例中，所述方法包括：

获取红绿可视区特征点作为匹配点，红绿可视区即为相机抓取的光栅在白板上形成的红绿过渡区。

计算相机的旋转平移矩阵，实现将相机的视锥体从倾斜变换为与光栅面平行，如图中箭头的矫正方向所示。

通过矫正相机位置，优化人眼位置与光栅变化参数之间映射关系，避免相机旋转导致的光栅在相近深度的参数计算有偏差问题。

本发明还揭示一种基于多深度光栅可视点的相机矫正系统，所述系统包括：特征点获取模块、最优变换矩阵估计模块、矩阵优化模块及矫正模块。

特征点获取模块用以获取光栅在白板上的不同颜色的交界点作为特征点；最优变换矩阵估计模块用以选取不同深度的多个特征点，估计相机矫正前后匹配点的最优变换矩阵[R|t]；矩阵优化模块用以通过重投影误差迭代优化旋转变化矩阵，直到重投影误差值小于阈值ε；矫正模块用以保存矫正矩阵，对每次检测到的人眼位置做矫正，并根据定标数据做参数计算。

在本发明的一实施例中，选择红绿颜色作为定标的颜色。

所述特征点获取模块用以根据目前的基于方波拟合的定标方法确定红绿图中的可视区位置作为特征点，并且各个深度的可视点都是以已知的内参矩阵的中心点位置为原点；对应的旋转平移后的3D点设置为其中，RG_Width为定标出的红绿光宽度，按照定标的RG_Width计算出3D点的x方向值，y值与矫正前的特征点y值一致，depth值取矫正前中心点位置的深度值为矫正后的深度值。

所述最优变换矩阵估计模块用以选取不同深度中的多个特征点、通过最小二乘法拟合出符合当前匹配点的旋转平移矩阵[R|t]步骤中，目标函数如下：其中，p_i表示变换后的匹配点，p_i'表示变换前的特征点。

所述矩阵优化模块用以通过重投影误差迭代优化旋转变化矩阵、直到重投影误差值小于阈值ε，公式如下：其中，p_i表示变换后的匹配点，p_i'表示变换前的特征点；ε为设置的迭代结束条件，即当重投影误差值小于阈值ε时结束迭代。

所述矫正模块用以将矫正矩阵保存、对每次检测到的人眼位置做矫正、并根据定标数据做参数计算步骤中，通过对相机获取的3D点位置做矫正，使光栅的可视点的位置参数在相机中的位置成规则的扇形，避免不同深度之间因为相机旋转导致的光栅参数计算偏差。

综上所述，本发明提出的基于多深度光栅可视点的相机矫正方法及系统，可提高光栅可视区位置定标的准确性，满足裸眼3D显示器的要求。

需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施；例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一些实施例中，本申请的软件程序可以通过处理器执行以实现上文步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中；例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现；例如，作为与处理器配合从而执行各个步骤或功能的电路。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

这里本发明的描述和应用是说明性的，并非想将本发明的范围限制在上述实施例中。实施例中所涉及的效果或优点可因多种因素干扰而可能不能在实施例中体现，对于效果或优点的描述不用于对实施例进行限制。这里所披露的实施例的变形和改变是可能的，对于那些本领域的普通技术人员来说实施例的替换和等效的各种部件是公知的。本领域技术人员应该清楚的是，在不脱离本发明的精神或本质特征的情况下，本发明可以以其它形式、结构、布置、比例，以及用其它组件、材料和部件来实现。在不脱离本发明范围和精神的情况下，可以对这里所披露的实施例进行其它变形和改变。

Claims (8)

1.一种基于多深度光栅可视点的相机矫正方法，其特征在于，所述方法包括：

获取光栅在白板上的不同颜色的交界点作为特征点；

按照定标数据所选取的特征点旋转平移后的3D点设置为其中，RG_Width为定标出的红绿光宽度，按照定标的RG_Width计算出3D点的x方向值，y值与矫正前的特征点y值一致，depth值取矫正前中心点位置的深度值为矫正后的深度值；

选取不同深度的多个特征点，通过最小二乘法估计相机矫正前后匹配点的最优变换矩阵[R|t]；

通过重投影误差迭代优化旋转变化矩阵，直到重投影误差值小于阈值ε；

保存矫正矩阵，对每次检测到的人眼位置做矫正，并根据矫正人眼位置和定标数据做光栅参数计算；通过对相机获取的3D点位置做矫正，使光栅的可视点的位置参数在相机中的位置成规则的扇形。

2.根据权利要求1所述的基于多深度光栅可视点的相机矫正方法，其特征在于：

选择红绿颜色作为定标的颜色。

3.根据权利要求2所述的基于多深度光栅可视点的相机矫正方法，其特征在于：

所述获取光栅在白板上的不同颜色的交界点作为特征点步骤中，根据基于方波拟合的定标方法确定红绿图中的可视区位置作为特征点，并且各个深度的可视点都是以已知的内参矩阵的中心点位置为原点。

4.根据权利要求1所述的基于多深度光栅可视点的相机矫正方法，其特征在于：

选取不同深度中的多个特征点、通过最小二乘法拟合出符合当前匹配点的旋转平移矩阵[R|t]步骤中，目标函数如下：

式中，p_i表示变换后的匹配点，p_i'表示变换前的特征点。

5.根据权利要求1所述的基于多深度光栅可视点的相机矫正方法，其特征在于：

通过重投影误差迭代优化旋转变化矩阵、直到重投影误差值小于阈值ε步骤中，公式如下：

式中，p_i表示变换后的匹配点，p_i'表示变换前的特征点；ε为设置的迭代结束条件，即当重投影误差值小于阈值ε时结束迭代。

6.根据权利要求1所述的基于多深度光栅可视点的相机矫正方法，其特征在于：

所述矫正方法进一步包括：固定显示器与白板，保证显示器与白板互相平行。

7.一种基于多深度光栅可视点的相机矫正系统，其特征在于，所述系统包括：

特征点获取模块，用以获取光栅在白板上的不同颜色的交界点作为特征点；按照定标数据所选取的特征点旋转平移后的3D点设置为其中，RG_Width为定标出的红绿光宽度，按照定标的RG_Width计算出3D点的x方向值，y值与矫正前的特征点y值一致，depth值取矫正前中心点位置的深度值为矫正后的深度值；

最优变换矩阵估计模块，用以选取不同深度的多个特征点，通过最小二乘法估计相机矫正前后匹配点的最优变换矩阵[R|t]；

矩阵优化模块，用以通过重投影误差迭代优化旋转变化矩阵，直到重投影误差值小于阈值ε；

矫正模块，用以保存矫正矩阵，对每次检测到的人眼位置做矫正，并根据矫正人眼位置和定标数据做光栅参数计算；通过对相机获取的3D点位置做矫正，使光栅的可视点的位置参数在相机中的位置成规则的扇形。

8.根据权利要求7所述的基于多深度光栅可视点的相机矫正系统，其特征在于：

选择红绿颜色作为定标的颜色；

所述特征点获取模块用以根据基于方波拟合的定标方法确定红绿图中的可视区位置作为特征点，并且各个深度的可视点都是以已知的内参矩阵的中心点位置为原点；

所述最优变换矩阵估计模块用以选取不同深度中的多个特征点、通过最小二乘法拟合出符合当前匹配点的旋转平移矩阵[R|t]步骤中，目标函数如下：其中，p_i表示变换后的匹配点，p_i'表示变换前的特征点；

所述矩阵优化模块用以通过重投影误差迭代优化旋转变化矩阵、直到重投影误差值小于阈值ε，公式如下：其中，p_i表示变换后的匹配点，p_i'表示变换前的特征点；ε为设置的迭代结束条件，即当重投影误差值小于阈值ε时结束迭代。