CN106162124B - 投影机输出图像的校准方法 - Google Patents

Abstract

本发明提供了一种投影机输出图像的校准方法，包括如下步骤：在屏幕上形成多个标记图形；采用成像装置采集到标记图形，并计算出对应的标记点，以及由标记点在成像装置像平面上构成的一标准几何图形；采用一投影机在所述屏幕上投射多个特征模式图形；记录投射的多个所述特征模式图形在投影机像平面和成像装置像平面下的位置；利用记录下来的每个特征模式图形在两个像平面下的位置进行对比，计算这两个像平面的映射规则；根据所述特征模式图形在成像装置像平面下的位置以及映射规则，计算出投影机的最大有效投影区域；根据映射规则和最大有效投影区域对投影画面进行畸变调整。

Description

投影机输出图像的校准方法

技术领域

本发明涉及多媒体技术领域，尤其涉及一种投影机输出图像的校准方法。

背景技术

投影机在投影的时候出现画面畸变是由来已久的技术难题。投影机通常要配合投影屏幕(墙面、幕布等)使用，且要求投影机的安放位置、投影角度要满足一定条件，如正对屏幕，才能使投影出无畸变的矩形画面。对于固定安装的投影机，安装时需要对投影机安装位置、角度进行精确调整，耗费时间和人力；且随着固定装置的老化、松动，投影机需要定期进行安装维护，否则会导致投影出来的画面发生越来越严重的偏歪畸变，影响观感。对于移动使用的投影机，使用前也需要对投影机摆放位置、角度进行多次繁琐的调整，才能投影出理想的无畸变画面。

根据投影机与屏幕之间的位置关系，投影机又分为正对屏幕的投影机和侧对屏幕的投影机。正对屏幕的投影机会导致使用者容易受到投影机的强光刺激，造成眼部不适或者视力损伤，并且使用者更容易遮挡投射出来的光线，影响了投影画面的观感。而侧对屏幕的投影机，需要根据投影机与屏幕的相对位置对输出画面做出调整才可以保证投影出的画面是正常无畸变的，这增加了投影机的制造难度。

现有技术是通过下列几种方式来解决投影画面畸变的问题：

第一种方式：手动水平、竖直校正。在投影机内部设置水平校正和竖直校正的功能，调整光学透镜组件或成像传感器的方式，将投影画面调整到无畸变状态。

第二种方式：将投影机放置在中心位置(上下居中、左右居中)，九十度正对投影幕布，以此获得无畸变画面；

第三种方式：偏轴投影。光机的光路故意偏移一定角度，若投影机刚好偏移这个角度进行投影，则投影出来的画面刚好无畸变。

现有的各种校正投影画面畸变的技术都有缺陷：

第一种方式的缺陷在于操作繁琐，往往要十几分钟才能调整好。而且调好之后不能移动投影机的位置和角度，否则画面又会畸变。此方式一般仅能够调整畸变幅度较小的梯形画面；对于复杂的四边形畸变，则无法通过此方法调整。

第二种方式缺点在于投影机处于整个场景中心的“皇帝位”，而观看投影画面的人都只能尴尬地围绕在投影机周围。此外，投影机需要悬挂安装，或采用额外设备进行支撑。

第三种方式的偏轴投影只能解决垂直梯形畸变，而不能解决水平梯形畸变，因此投影机仍然必须放在人群的中间位置。偏轴投影技术也不能解决枕形畸变。即使是垂直畸变，也只能解决固定角度的畸变，如果投影机的俯仰角与预设的偏轴角度不一致，那么仍然会产生画面畸变。

更关键的是，现有技术都不具备智能自动定位投影幕布和自动调整画面畸变的能力。

发明内容

本发明所要解决的技术问题是，提供一种能够自动校准图像的投影机输出图像的校准方法。

为了解决上述问题，本发明提供了一种投影机输出图像的校准方法，包括如下步骤：在屏幕上形成多个标记图形；采用成像装置采集到标记图形，并计算出对应的标记点，以及由标记点在成像装置像平面上构成的一标准几何图形；采用一投影机在所述屏幕上投射多个特征模式图形；记录投射的多个所述特征模式图形在投影机像平面和成像装置像平面下的位置；利用记录下来的每个特征模式图形在两个像平面下的位置进行对比，计算这两个像平面的映射规则；根据所述特征模式图形在成像装置像平面下的位置以及映射规则，计算出投影机的最大有效投影区域；根据映射规则和最大有效投影区域对投影画面进行畸变调整。

可选的，所述标记点是所述标记图形中的特征点；所述标记图形选自于边框、半框、线条、圆点、对角点、对角半框，也可以是其他不易混淆的特征图形。

可选的，所述标记点形成的标准几何图形是四边形。

可选的，所述特征模式图形在投影机相平面上的形状选自于圆斑阵列、网格线、十字线、黑白棋盘格，或其他可提取特征点的图形。

可选的，采用一投影机投射不同亮度的光线来照明屏幕上的多个标记图形，所述成像装置采集标记图形的步骤进一步包括如下步骤：设定投影机初始照明亮度等级；采用成像装置拍摄一幅图像；对所拍摄图像进行高斯下采样，获得高斯金字塔图像序列；从图像序列中的尺寸最小的图像开始，逐一对其轮廓进行识别，寻找到标记图形并记录标记的坐标信息，若无法找到标记图形则增加投影机照明亮度重新进行高斯采样和轮廓识别。

可选的，记录所述特征模式图形在成像装置像平面下的坐标的步骤，进一步包括识别特征模式图形的步骤，所述识别特征模式图形的步骤包括：采用成像装置记录屏幕区域的背景图像；投影机投射特征模式图形；摄像机记录下当前图像；获取差异图像，从而提取出特征模式图形。

可选的，所述计算出屏幕上的最大有效投影区域的步骤进一步包括：计算投影机在成像装置平面内的最大覆盖区域；计算标准几何图形与最大覆盖区域在成像装置像平面内的成像交集区域；采用映射规则把成像交集区域映射到屏幕所处的平面内，并求其最大内接矩形；采用映射规则把最大内接矩形映射回投影机像平面，得到投影机的最大有效投影区域。

可选的，选取不同形状的图形实施在所述屏幕上投射多个特征模式图形的步骤。

本发明通过成像装置像平面上的标准几何图形与特征模式图形对比而定量计算出投影图像的畸变程度并记录形成了一个映射规则。因此，在投影机像平面上使用该映射规则形成一个有畸变的图像，也即是将待投射图像进行预畸变，最后将预畸变图像投射到有效投影区域，即可以在成像装置像平面上形成一个无畸变的图像。

附图说明

附图1所示是本发明所述投影机输出图像的校准方法的实施步骤示意图。

附图2所示是附图1中步骤S11的一种可选具体实施方式的实施步骤示意图。

附图3所示是附图1中步骤S13进一步包括的识别特征模式图形步骤的一种可选具体实施方式的实施步骤示意图。

附图4所示是附图1中步骤S15进一步包括的计算出投影机的最大有效投影区域步骤的一种可选具体实施方式的实施步骤示意图。

附图5A至附图5D是本发明一实施例在实施过程中的屏幕图形变化。

具体实施方式

下面结合附图对本发明提供的投影机输出图像的校准方法的具体实施方式做详细说明。

附图1所示是本发明所述投影机输出图像的校准方法的实施步骤示意图，包括：步骤S10，在屏幕上形成多个标记图形；步骤S11，采用成像装置采集到标记图形，并计算出对应的标记点，以及由标记点在成像装置像平面上构成的一标准几何图形；步骤S12，采用投影机在所述屏幕上投射多个特征模式图形；步骤S13，记录投射的多个所述特征模式图形在投影机像平面和成像装置像平面下的位置；步骤S14，利用记录下来的每个特征模式图形在两个像平面下的位置进行对比，计算这两个像平面的映射规则；步骤S15，根据所述特征模式图形在成像装置像平面下的位置计算以及映射规则，出投影机的最大有效投影区域；步骤S16，根据映射规则和最大有效投影区域对投影画面进行畸变调整。

步骤S10，在屏幕上形成多个标记图形。所述屏幕是任意一种能够满足投影机投影要求的装置，例如投影幕布或者颜色均匀的平坦墙面等。标记图形可以是任意一种自定义的图形，包括但不限于边框、半框、线条、圆点中的任意一种。对于边框和半框等图形，可以仅形成一个标记图形，而对于线条或者圆点等则需要形成多个标记图形。标记图形可以是采用一投影机或其他能够在屏幕上形成图形的设备形成的，也可以是采用喷涂或者粘帖等方式形成在屏幕的表面的。在采用一投影机或其他能够在屏幕上形成图形的设备形成标记图形的具体实施方式中，投影机或其他设备是采用正投影的方式形成标记图形的。在采用喷涂或者粘帖等方式形成标记图形的具体实施方式中，标记之间的横向和纵向是对准的。因此本步骤所形成的标记图形是无畸变的。

步骤S11，采用成像装置采集到标记图形，并计算出对应的标记点，以及由标记点在成像装置像平面上构成的一标准几何图形。

标记点是所述标记图形中的特征点。例如对于边框或者半框图形，特征点可以是四个顶点；对于线条图形，可以是两个线条的焦点；对于圆点图形，可以是圆点的圆心。对于边框和半框等一个标记图形的具体实施方式中，四个顶点构成的四边形即为标准几何图形。而对于线条或者圆点等则多个标记图形的组合的具体实施方式中，多个标记点所限定的多边形或者即为标准几何图形。

参考附图2所示是步骤S11中的一种可选具体实施方式的实施步骤示意图。为了更准确的捕捉标记图形，在采用投影机或其他能够在屏幕上形成图形的设备形成标记图形的具体实施方式中，本步骤进一步包括如下步骤：步骤S111，设定投影机照明亮度等级；步骤S112，采用成像装置拍摄一幅图像；步骤S113，对所拍摄图像进行高斯下采样，获得高斯金字塔图像序列；步骤S114，从图像序列中的尺寸最小的图像开始，逐一对其轮廓进行识别，寻找到标记图形并记录标记的坐标信息，若无法找到标记图形则增加标记灰度重新进行高斯采样和轮廓识别。

步骤S12，采用投影机在所述屏幕上投射多个特征模式图形。

所述特征模式图形在投影机相平面上的形状包括但不限于圆斑阵列、网格线、十字线、黑白棋盘格。

在采用投影机或其他能够在屏幕上形成图形的设备形成标记图形的具体实施方式中，本步骤的投影机与步骤S11中采用的投影机可以是相同或者不同的投影机。

步骤S13，记录投射的多个所述特征模式图形在投影机像平面和成像装置像平面下的位置。

在具体实施方式中，步骤S13应当进一步包括识别特征模式图形的步骤。附图3所示是步骤S13中进一步包括的识别特征模式图形步骤的一种可选具体实施方式的实施步骤示意图，包括：步骤S131，采用成像装置记录投影机投射的背景图像；步骤S132，投影机投射特征模式图形；步骤S133，采用成像装置记录下当前图像；步骤S134，比对背景图像和当前图像，从两者的差异图像中提取出特征模式图形。上述步骤S131也可以选择在步骤S12之前执行。

所述特征模式图形在成像装置像平面的位置可以采取图像处理的方法，提取出特征模式图形在成像装置像平面内的特征点，其坐标值即为所求的位置；而所述特征模式图形是经由投影机投射出去的，其在投影机像平面的位置为已知值。

步骤S14，利用记录下来的每个特征模式图形在两个像平面下的位置进行对比，计算这两个像平面的映射规则。无论投影机形成的特征模式图形是否发生畸变，屏幕上的标记图形是无畸变的。因此以该标记图形为基准，就能够在屏幕内构建出一幅无畸变的图形。

步骤S15，根据所述特征模式图形在成像装置像平面下的位置以及映射规则，计算出投影机的最大有效投影区域。虽然标记图形所确定的标准几何图形可以将相对位置的计算规则外推到标准几何图形的边界以外，但是在该边界以外的区域可能不再是理想的平面或者是反光区域等不适合成像的平面。因此需要计算出一个有效的投影区域。在一个可选的具体实施方式中，本步骤继续包括如下步骤。附图4所示是步骤S15中进一步包括的计算出投影机的最大有效投影区域步骤的一种可选具体实施方式的实施步骤示意图，包括：步骤S151，计算投影机在成像装置像平面内的最大覆盖区域；步骤S152，计算标准几何图形与最大覆盖区域在成像装置像平面的成像交集区域；步骤S153，采用映射规则把成像交集区域映射到屏幕所处平面，并计算最大内接矩形；步骤S154，采用映射规则把最大内接矩形映射回投影机像平面，得到投影机的最大投影区域。上述步骤中，投影机在成像装置像平面内的最大覆盖区域由投影机在屏幕所处平面上的最大覆盖区域。计算最大内接矩形的一种方法可以是限定一初始位置作为中心绘制矩形并外扩至接触投影交集区域的边界为止。外扩至上、下、左、右、左上、左下、右上、右下8个方向均不能再扩展时，该矩形即为最大内接矩形。

步骤S16，根据映射规则和最大有效投影区域对投影画面进行畸变调整。

上述映射规则是利用投影机像平面上一组无畸变的特征模式图形投影在屏幕上形成了一个在成像装置像平面上有畸变的图像形成的。通过成像装置像平面上的标准几何图形与特征模式图形对比，并以屏幕上的标记图形为基准而定量计算出畸变程度并记录形成了所述映射规则。因此，在投影机像平面上使用该映射规则形成一个有畸变的图像，即可以在屏幕内形成一个无畸变的图像。

为了防止投影机被人为移动或收到外界震动的干扰，因此在投影机实施投影的过程中可以反复实施步骤S11-步骤S16，做到在使用的过程中动态调整屏幕上投影图形的畸变，使整系统可以跟踪投射，以适应投影区域位置在不断移动，或投影区域形状在不断改变的复杂工作状态。

以下结合附图给出上述方法的一个实施例。附图5A至附图5D是本实施例实施过程中的屏幕图形变化。

步骤一，参考附图5A，在屏幕上采用投影机形成四个半角方块作为标记图形。

步骤二，参考附图5B，利用四个半角方块的顶点形成一矩形作为标准几何图形。在本步骤中，需要利用摄像机获取标记图形，具体方法是：

(0)设定投影机初始照明等级illuminationLevel；

(1)增加illuminationLevel；

(2)摄像机拍摄一幅图像frameImage；

(3)对frameImage进行高斯下采样，获得高斯金字塔图像序列pyImages[0..N]；

(4)从pyImage[0..N]中的最大尺度图像(即尺寸最小的图像)开始，即pyImage[i],i:＝0..N,逐一进行如下操作：

a)对pyImage[i]依次进行灰度化、平滑、黑白两色阈值化、中值滤波等预处理；

b)对pyImage[i]进行Canny边缘检测，获取全部闭合轮廓；

c)对轮廓进行识别分析，确定是否为标记图形；若是则返回标记的坐标信息，并转到(6)；若否,则i:＝i+1,继续执行(4.a)。本步骤的识别分析方法如下：

i.剔除周长过短的轮廓；

ii.剔除包围面积过小的轮廓；

iii.对剩余轮廓进行四边形拟合，剔除无法拟合的轮廓；

iv.剔除不符合特征标记的几何分布特性的轮廓，如圆度、离散度、包围面积差异等；

v.返回合理的轮廓作为屏幕特征标记信息；

(5)若illuminationLevel已是最高等级，则返回失败信息，并结束算法；否则返回至(1)；

(6)由屏幕上的标记图形得到屏幕在摄像机像平面内对应的四边形QUAD。

步骤三，参考附图5C，在屏幕上采用投影机投射一组网格线作为特征模式图形。在本步骤中，需要利用摄像机获取特征模式图形，具体方法是：

(0)投影机illuminationLevel设置为最低等级；

(1)摄像机记录下当前屏幕区域的背景BG图像(未图示)；

(2)随机设置特征模式P在投影机像平面内的坐标，执行以下步骤：

a)投影机投射特征模式P,摄像机记录下当前图像frameImage；

b)获取差异图像diffImage:＝abs(frameImage-BG)；

c)对差异图像进行对比度增强、自适应阈值化处理；

d)检测P的位置：若检测到P则转到(3),否则转到(2)；

(3)若P在QUAD内，则记录下P在摄像机像平面和投影机像平面内的坐标；若记录下的坐标队列长度已经达到指定阈值，则退出算法，否则转到(2)。

步骤四，记录标准几何图形和特征模式图形两者的位置。

步骤五，根据标准几何图形与其在成像装置像平面间的位置关系计算出映射规则H_{screen->camera}；根据投影机投影出来的特征模式与其在成像装置像平面间的位置关系计算出映射规则H_{projector->camera}。

步骤六，参考附图5D，计算出投影机的最大有效投影区域。本步骤进一步包括：

(0)根据H_{projector->camera}计算投影机在摄像机像平面内的最大覆盖范围ProjRegion；

(1)计算QUAD与ProjRegion的交集区域Intersection；

(2)采用映射规则H_{screen->camera}把Intersection映射到屏幕所处的平面内，得到Intersection_screen；

(3)计算Intersection_screen的最大内接矩形；该矩形应满足指定的长宽比ratio.本算法采用种子生长法进行确定，过程如下：

a)以Intersection_screen的中心或重心位置为初始位置，创建种子矩形；该矩形的长宽比为ratio，且种子矩形尽可能小。

b)持续等比例增加种子矩形的长和宽(该动作称为种子矩形的“扩展”)，使种子矩形面积增大的同时维持长宽比仍为ratio；若扩展后的矩形超出Intersection_screen的范围，则取消此次扩展，否则继续执行本步骤。

向上、下、左、右、左上、左下、右上、右下8个方向试探性平移矩形，当满足往某个方向平移后仍能至少进行一次“扩展”且矩形不超出Intersection_screen时，则向该方向平移。若任何方向均不能平移时，得到最大内接矩形，转到(4)；否则转到(3.b)。

(4)采用映射规则H_{screen->camera}和H_{projector->camera}，把最大内接矩形映射回投影机像平面，即得到投影机的最大投影区域。

上述附图5D中的内接矩形的情况是标准几何图形和投影机投射特征模式图形的投影区域有重叠的情况。

步骤七，根据映射规则和最大有效投影区域对投影画面进行畸变调整。映射规则由投影机画面和最大投影区域间的坐标对应关系确定。畸变调整的过程就是根据上述坐标对应关系把投影画面变形到最大投影区域

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (11)

1.一种投影机输出图像的校准方法，其特征在于，包括如下步骤：

在屏幕上形成多个无畸变的标记图形；

采用成像装置采集到标记图形，并计算出对应的标记点，以及由标记点在成像装置像平面上构成的一标准几何图形；

采用一投影机在所述屏幕上投射多个特征模式图形；

记录投射的多个所述特征模式图形在投影机像平面和成像装置像平面下的位置；

利用记录下来的每个特征模式图形在两个像平面下的位置进行对比，计算这两个像平面的映射规则；

根据所述标准几何图形、所述特征模式图形在成像装置像平面下的位置以及映射规则，计算出投影机的最大有效投影区域；

根据映射规则和最大有效投影区域对投影画面进行畸变调整，以在所述屏幕内形成一个无畸变的图像。

2.根据权利要求1所述的方法，其特征在于，所述标记点是所述标记图形中的特征点。

3.根据权利要求2所述的方法，其特征在于，所述标记是图形边框、半框、线条、圆点、对角点、以及对角半框中的一种。

4.根据权利要求1所述的方法，其特征在于，所述标记点所形成的标准几何图形是四边形。

5.根据权利要求1所述的方法，其特征在于，所述特征模式图形在投影机像平面上的形状是圆斑阵列、网格线、十字线、以及黑白棋盘格中的任意一种。

6.根据权利要求1所述的方法，其特征在于，采用一投影机投射不同亮度的光线来照明屏幕上的多个标记图形，所述成像装置采集标记图形的步骤进一步包括如下步骤：

设定投影机初始照明亮度等级；

采用成像装置拍摄一幅图像；

对所拍摄图像进行高斯下采样，获得高斯金字塔图像序列；

从图像序列中的尺寸最小的图像开始，逐一对其轮廓进行识别，寻找到标记图形并记录标记的坐标信息，若无法找到标记图形则增加投影机照明亮度重新进行高斯采样和轮廓识别。

7.根据权利要求1所述的方法，其特征在于，记录所述特征模式图形在成像装置像平面下的坐标的步骤，进一步包括识别特征模式图形的步骤，所述识别特征模式图形的步骤包括：

采用成像装置记录投影机投射的背景图像；

投影机投射特征模式图形；

采用成像装置记录下当前图像；

比对背景图像和当前图像，从两者的差异图像中提取出特征模式图形。

8.根据权利要求1所述的方法，其特征在于，所述计算出投影机的最大有效投影区域的步骤进一步包括：

计算投影机在成像装置平面内的最大覆盖区域；

计算标准几何图形与最大覆盖区域在成像装置像平面内的成像交集区域；

采用映射规则把成像交集区域映射到屏幕所处的平面内，并求其最大内接矩形；

采用映射规则把最大内接矩形映射回投影机像平面，得到投影机的最大有效投影区域。

9.根据权利要求1所述的方法，其特征在于，选取不同形状的图形实施在所述屏幕上投射多个特征模式图形的步骤。

10.根据权利要求1所述的方法，其特征在于，图像畸变调整的方法是使用所述映射规则，将待投影图像进行预畸变，最后将预畸变图像投射到有效投影区域后即可获得无畸变的图像。

11.根据权利要求1所述的方法，循环实施所述步骤，以实现跟踪投射，适应投影区域位置在不断移动，或投影区域形状在不断改变的复杂工作状态。