CN111311686A - 一种基于边缘感知的投影仪失焦校正方法 - Google Patents

Abstract

本发明公开了一种基于边缘感知的投影仪失焦校正方法。方法采用投影仪‑相机系统，投影仪的镜头和相机的镜头均朝向投影表面；将特殊输入图像输入投影仪投影照射至投影表面上，相机采集投影仪投影照射至投影表面后的投影结果作为输出图像；利用特殊输入图像和输出图像进行失焦卷积核标定等步骤获得补偿图片，将补偿图片作为投影仪的输入对投影仪待投影图片进行校正补偿，获得失焦补偿后清晰的投影结果。本发明无需调节投影仪物理焦距，仅通过对输入投影仪的原始图片进行处理，即可实现投影仪失焦投影结果的清晰化，可满足投影仪在存在热失焦、投影表面存在大幅高度变化等复杂应用场景下使用投影仪的需求，一定程度地扩大了投影仪设备的适用性。

Description

一种基于边缘感知的投影仪失焦校正方法

技术领域

本发明涉及投影设备领域，主要涉及一种提高投影仪成像质量的方法，尤其涉及一种基于边缘感知的投影仪失焦校正方法。

背景技术

投影设备在视频放映、幻灯片演示、虚拟现实等领域具有广泛的应用。在上述应用中，投影仪在投影表面上的成像往往会出现模糊现象，影响用户体验，出现模糊现象的原因主要包括如下两方面：第一，当投影表面为平面且投影表面与投影方向垂直时，模糊现象主要由热失焦引发。具体地，由于投影仪光源属于大功率器件，产热量高，包括投影仪镜头在内的成像元件受热胀冷缩的影响会改变成像系统的光学特性，导致光源在投影表面无法汇聚，导致模糊现象。第二，当投影表面为存在大幅高度变化的非平面时，由于投影仪景深浅且只能具有单一焦距，投影仪不可能同时在存在大幅高度变化的投影表面处处聚焦，因此，此时投影仪不可避免地会出现成像模糊。随着虚拟现实技术的发展，投影表面为非平面的应用场景越来越普遍。综合以上，解决投影仪失焦导致的成像模糊问题，对提高投影仪的应用范围和适应性具有重要意义。

在现有研究中，对投影失焦问题主要有以下两种解决方案：第一，利用电机实现投影仪焦距的自动调节。王全强以投影仪成像的清晰度作为反馈，利用爬山算法确定电机的运动规律；那庆林等人以投影镜头的温度作为反馈，根据温度判断投影仪是否出现失焦现象并确定失焦的程度，并电机发出驱动命令。因此，第二，对输入投影仪的输入图片进行处理，重新生成一幅用于投影的补偿图片，用于抑制投影仪成像时的模糊现象。Zhang和Nayar根据投影仪失焦模型，对失焦模型中的失焦卷积核进行参数标定，并将补偿图片的计算处理为优化问题，采用最速下降法寻找优化问题的最优解。

上述方法主要存在如下问题：第一种调节焦距的方法主要用于解决投影仪的热失焦现象，由于投影仪景深前且只能具有单一焦距，仅通过简单地焦距调节无法解决投影表面为存在大幅高度变化的非平面时的模糊现象。第二种基于补偿图片的方法不仅适用于投影仪热失焦的校正，也适用于由非平面的投影表面所导致的投影仪失焦。然而，补偿图片的计算通过迭代算法实现，效率较低，远不能满足失焦实时校正的需求，限制了这种方法的应用。此外，作为计算补偿图片的前置步骤，现有失焦卷积核标定的方法只能适用于平滑曲面等简单的、特定形状的非平面投影表面，对于复杂的非平面投影表面，这种方法会产生较大的失焦卷积核标定误差，降低失焦补偿的效果，进一步限制了基于补偿图片的投影仪失焦校正方法应用范围。

发明内容

针对上述问题，基于此，本发明提出了一种基于畸变全局修正的数字投影光栅图像拟合校正方法。

本发明所采用的技术方案是：

方法采用投影仪-相机系统，采集投影仪的投影结果，投影仪-相机系统包括：相机、投影仪和投影表面，投影仪的镜头和相机的镜头均朝向投影表面；将特殊输入图像输入投影仪投影照射至投影表面上，相机采集投影仪投影照射至投影表面后的投影结果作为输出图像；利用特殊输入图像和输出图像进行失焦卷积核标定等步骤获得补偿图片，将补偿图片作为投影仪的输入对投影仪待投影图片进行校正补偿，进行投影照射获得失焦补偿后清晰的投影结果。

所述特殊输入图像，包括稀疏点图和正弦条纹图序列；所述稀疏点图由若干长度和宽度均相等的正方形的发光像素点构成，每个发光像素点在稀疏点图中沿水平方向和竖直方向等距离矩形阵列分布，并且发光像素点以矩形阵列方式充满整个稀疏点图；所述正弦条纹图序列由若干沿水平方向/竖直方向偏移错位的正弦条纹图组成，每个正弦条纹图由沿竖直方向/水平方向分布的条纹构成，各条条纹沿水平方向/竖直方向的灰度呈现正弦性周期分布。

作为优选，本发明对投影仪的失焦过程建立如下数学模型：

其中，*为卷积操作符；(x_p,y_p)和(x_p-i,y_p-j)均为投影仪成像平面坐标系中的坐标；P为输入图像；I₀为像素匹配后的输出图像；f为失焦卷积核，表征投影仪成像平面上某坐标处的光源照射至投影表面的失焦程度；r为失焦卷积核的半径。

上式中，I₀为像素匹配后的输出图像，区别于输入图像。所述输入图像，是输入投影仪的、位于投影仪成像平面坐标系下的图像；所述输出图像，是通过相机直接采集投影仪所产生的光源照射至投影表面后的投影结果所获得的。因此，输出图像，是位于相机成像平面坐标系下的图像反馈；像素匹配后的输出图像，是通过像素匹配，将位于相机成像平面坐标系下的输出图像，通过空间变换关系，变换至投影仪成像平面坐标系下所得的图像。所述像素匹配，通过投影仪投影正弦条纹图序列实现。

本发明为了实现失焦卷积核标定，将稀疏点图输入投影仪中并进行投影。对于稀疏点图中的每一个发光像素点，在投影仪成像平面中均有唯一的光源与之对应，该光源发出光束照射至投影表面。由于失焦现象的存在，该光源所发出的光束在投影表面无法汇聚于一点，而是在投影表面形成了具有一定直径的圆盘区域，该圆盘区域又称为弥散圆。根据上述分析，该弥散圆反映了投影仪光源在投影表面的失焦程度，可以作为失焦卷积核标定的依据。

作为优选，本发明通过相机采集投影仪光源在投影表面所产生的弥散圆的信息。由于相机采集的弥散圆位于相机成像平面坐标系中，为了获得相机采集的弥散圆与稀疏点图中的每一个发光像素点之间的一一对应关系，将像素匹配后的输出图像中的弥散圆作为失焦卷积核标定的依据。

所述失焦卷积核标定，包括如下步骤：

步骤1.1：将正弦条纹图序列的特殊输入图像输入投影仪(2)，投影仪(2)将正弦条纹图序列中各个正弦条纹图依次投影照射至投影表面(3)，相机(1)依次采集各个正弦条纹图的投影结果作为输出图像；

步骤1.2：根据正弦条纹图序列对应获得的各个输出图像，求解空间变换关系；

步骤1.3：将稀疏点图的特殊输入图像输入投影仪(2)，投影仪(2)将稀疏点图投影照射至投影表面(3)，相机(1)依次采集稀疏点图的投影结果作为输出图像；

然后利用空间变换关系将稀疏点图的输出图像进行变换获得像素匹配后的输出图像，与输入投影仪的稀疏点图进行像素匹配；

所述空间变换关系，是位于相机成像平面坐标系下的输出图像，与位于投影仪成像平面坐标系下的输入图像之间的一一对应关系。像素匹配，是将位于相机成像平面坐标系下的输出图像，根据空间变换关系，变换至位于投影仪成像平面坐标系下的像素匹配后的输出图像的过程。

步骤1.4：对于稀疏点图中的每一个发光像素点，在像素匹配后的输出图像中以与该发光像素点的相同位置的点为圆心建立圆形邻域，由此获得与该发光像素点一一对应的弥散圆并进行归一化，归一化后的弥散圆作为投影仪坐标系中发光像素点所在位置的失焦卷积核的标定图；

步骤1.5：对于位于稀疏点图中的每一个不发光的像素点，寻找与其距离最近、且围成矩形区域的4个发光像素点，该矩形区域将该不发光的像素点包围在内；若找到满足上述要求的4个发光像素点，则结合步骤1.4中所获得的上述4个发光像素点所在位置的失焦卷积核标定图，通过双线性插值的方式，获得不发光的像素点所在位置的失焦卷积核的标定图；在进行上述双线性插值之前，寻找上述4个发光像素点所在位置的失焦卷积核的标定图中的最大半径；并将上述4个失焦卷积核中小于该最大半径的失焦卷积核扩充至该最大半径，扩充的部分的像素点补以零灰度值，使得上述4个失焦卷积核具有相同大小，即具有相同的行数和列数，这样能很好地进行上述双线性插值的操作；

步骤1.6：对于位于稀疏点图中的每一个不发光的像素点，若不能找到满足步骤1.5中要求的4个发光像素点，则说明该像素点位于投影仪成像坐标系的边缘处，则找到与该不发光像素点距离最近的、已获得失焦卷积核标定图的像素点，以该失焦卷积核标定图作为该不发光的像素点所在位置的失焦卷积核的标定图；至此，对于投影仪成像平面坐标系中的每一个像素点，均有与之一一对应的失焦卷积核的标定图，完成失焦卷积核标定步骤。

所述弥散圆，由若干不同灰度值的两两相邻的像素点组成。

所述归一化后的弥散圆，是将弥散圆中的每一个灰度值，与该弥散圆中的最大灰度值相除后所得的结果。

采用分块扫描的方式对用于失焦卷积核标定的特殊输入图像进行投影；分块扫描是将特殊输入图像分割为若干大小相等且相互不重叠的小矩形区域，每次逐一投影和采集特殊输入图像在一个小矩形区域的内容，并获得该小矩形区域内的部分失焦卷积核的标定图；对小矩形区域进行遍历，获得失焦卷积核的标定图。这样不影响投影仪的正常投影内容，最大程度地提高用户体验。

所述弥散圆的圆形邻域半径r，按照以下方式处理获得：

步骤1.4.1：在以稀疏点图中发光像素点的所在位置为圆心、以1个像素为初始半径的圆形邻域内，计算稀疏点图所对应的像素匹配后的输出图像中位于该圆形邻域内所有像素点的灰度值之和，计算公式如下：

其中，sum^k表示第k次迭代中、以r^k作为弥散圆的半径时，位于该弥散圆中所有像素点的灰度值之和为sum^k；根据步骤1.4.1中的分析，第一次迭代中，弥散圆的初始半径为r¹＝1；

步骤1.4.2：将圆形邻域的半径以1个像素为增量进行递增，重复步骤1.4.1中计算圆形邻域内所有像素点的灰度值之和的过程；比较第k次迭代所得弥散圆内所有像素点的灰度值之和，与第k+1次迭代所得弥散圆内所有像素点的灰度值之和；

步骤1.4.3：重复步骤1.4.2不断迭代处理，直到半径递增前后灰度值之和的差值小于某一阈值，停止迭代，将停止迭代时的圆形邻域的半径作为弥散圆的半径；迭代的终止条件如下：

sum^k+1-sum^k<ε

其中ε表示迭代精度，当第k+1次迭代满足上述终止条件时，第k+1次迭代中的半径r^k+1即为所求弥散圆的半径。

所述将补偿图片作为投影仪(2)的输入对投影仪(2)待投影图片进行校正补偿，具体为：

步骤2.1：对于输入投影仪中的、等待被投影的输入图片，将输入图片与失焦卷积核的标定图进行卷积，获得预模糊的输入图片；表示如下：

步骤2.2：将输入图片与预模糊的输入图片相除，获得边缘感知矩阵；具体地，上述相除操作是将输入图片中每一个像素点的灰度值，除以预模糊的输入图片中相同位置的像素点的灰度值；计算方式如下：

其中，E是边缘感知矩阵，E(x_p,y_p)是边缘感知矩阵在坐标(x_p,y_p)处的元素值。

步骤2.3：将输入图片与边缘感知矩阵相乘，获得补偿图片。具体地，上述相乘操作是将输入图片中每一个像素点的灰度值，乘以预模糊的输入图片中相同位置的像素点的灰度值。

补偿图片的计算方式如下：

其中，

为补偿图片。上式通过边缘感知矩阵计算补偿图片，计算补偿图片的过程称为边缘感知。将上式计算所得的补偿图片

替换原本输入投影仪中的、会导致投影结果模糊的输入图片P，通过投影仪投影补偿图片

即可获得失焦补偿后的清晰的投影结果。

所述步骤1.2中，根据正弦条纹图序列对应获得的各个输出图像，求解空间变换关系，具体为：

每个正弦条纹图对应的输出图像中某一像素点处的灰度值为：

其中，(x_c,y_c)为相机成像平面坐标系中的坐标点；I_kn(x_c,y_c)是正弦条纹序列投影到投影表面后被相机采集的图像中位于像素点(x_c,y_c)处的灰度值，其中，下标kn表示以为f_k频率的正弦条纹图的第n次投影，A(x_c,y_c)是像素点(x_c,y_c)处的背景光强；B(x_c,y_c)是像素点(x_c,y_c)处的调制幅度；φ(x_c,y_c)是像素点(x_c,y_c)处所对应的相位值；

各个正弦条纹图依次投影后通过四步相移法求解获得位于每个像素点(x_c,y_c)处的相位值φ(x_c,y_c)，然后采用以下公式获得投影仪坐标系中和像素点(x_c,y_c)对应的坐标(x_p,y_p)，计算方式如下：

T(x_c,y_c)＝(x_p,y_p),其中，

上式中，T表示空间变换关系，即从相机成像平面坐标系到投影仪成像平面坐标系之间的一一对应关系；T(x_c,y_c)表示与相机成像平面坐标系中(x_c,y_c)对应的、位于投影仪成像平面坐标系中的坐标点是(x_p,y_p)；f_k是正弦条纹图中条纹沿水平方向/竖直方向的灰度变化的频率，下标k表示第k个频率。

本发明根据失焦卷积核标定图对原始图片进行边缘感知，强化原始图片中的高频细节，并生成补偿图片；将补偿图片输入投影仪并进行投影，即可获得失焦补偿后的清晰的投影结果。

本发明的技术效果如下：

本发明仅通过对输入投影仪的原始图片进行处理，即可实现投影仪失焦校正，无需调节投影仪物理焦距，解决了传统的投影仪失焦校正方法需要通过安装电机调节投影仪镜头改变物理焦距的不便，降低了对投影仪实现失焦校正的硬件要求，提高了投影仪失焦校正的便利性和可操作性。

本发明通过边缘感知计算补偿图片，解决了现有的基于补偿图片的失焦校正技术中普遍未考虑的计算效率问题，避免了传统的补偿图片计算方法所需的复杂、耗时的迭代过程，既提高了计算补偿图片的效率，又保证了补偿图片计算的质量，使实时的投影仪失焦校正成为了可能，扩大了投影仪失焦校正方法的适用性。

本发明通过投影稀疏点图和正弦条纹图序列实现失焦卷积核标定，可实现失焦卷积核在任意形状的投影表面的高精度标定，解决了传统失焦卷积核标定方法只能用于特定形状的投影表面、在复杂投影表面存在较大标定误差的局限性，保证了后续补偿图片计算以及失焦校正过程的准确性。

本发明可以通过将特殊输入图案分割为小矩形区域的并进行逐一扫描式投影的方式，实现失焦卷积核的分块标定，并通过整合所有分块标定的结果获得所需的失焦卷积核的全局标定图，既避免了失焦卷积核标定对用户正常投影内容的干扰、提高用户了使用体验，又扩大了失焦卷积核的取样范围、实现全局标定，避免了采用某一局部区域作为失焦校正的整体依据，提高了失焦校正的效果。

本发明方法可有效地改善投影仪失焦模糊的现象，满足投影仪在存在热失焦、投影表面存在大幅高度变化等复杂应用场景下使用投影仪的需求，一定程度地扩大了投影仪设备的适应性。

附图说明

图1为本发明投影仪-相机系统布置连接以及本发明所实现效果的示意图；

图2为本发明方法流程图；

图3为图2所述方法中卷积核标定步骤的示意图；

图4为实施例中采用分块扫描的方式实现图3中卷积核标定步骤的示意图；

图5为图2所述方法中补偿图片计算步骤的示意图；

图6为实施例中失焦校正前的投影仪的投影结果；

图7为实施例中采用本发明方法进行失焦校正后的投影仪的投影结果。

图中：相机1、投影仪2、投影表面3。

具体实施方式

下面结合图及具体实例对本发明作进一步说明。

具体实施采用投影仪-相机系统采集投影仪的投影结果，如图1所示，投影仪-相机系统包括：相机1、投影仪2、投影表面3；投影仪2的镜头和相机1的镜头均朝向投影表面3；将特殊输入图像输入投影仪2产生光源照射至投影表面3上，相机1采集投影仪2所产生的光源照射至投影表面3后的投影结果作为输出图像；结合特殊输入图像和输出图像依次进行失焦卷积核标定、补偿图片计算两个步骤，如图2所示；将计算所得的补偿图片作为投影仪2的输入，获得失焦补偿后的清晰的投影结果。

本发明实施例如下：

在本实施例中，采用DLP投影仪投影输入图像，采用普通CMOS相机采集输入图像在投影表面的投影结果作为输出图像。受到投影仪热失焦，以及投影表面存在大幅的高度变化等影响，投影结果中存在失焦模糊的现象。为了对上述失焦模糊的现象进行校正，将投影仪失焦模糊的数学模型建立如下：

其中，*为卷积操作符；(x_p,y_p)和(x_p-i,y_p-j)均为投影仪成像平面坐标系中的坐标；P为输入图像，P(x_p,y_p)表示输入图像中的坐标(x_p,y_p)的像素点；I₀为像素匹配后的输出图像；f为失焦卷积核，表征投影仪成像平面上某坐标处的光源照射至投影表面的失焦程度；r为失焦卷积核的半径。

根据上式，投影仪失焦校正的任务，等同于求解一个特殊的输入图像

该特殊的输入图像

应满足如下条件：

上述特殊的输入图像

又称为补偿图像。由于输入图像P是已知的，为了求解补偿图片

需要对失焦卷积核f进行标定。

1)失焦卷积核标定包括如下步骤：

步骤1.1：将正弦条纹图序列的特殊输入图像输入投影仪(2)，投影仪(2)将正弦条纹图序列中各个正弦条纹图依次投影照射至投影表面(3)，相机(1)依次采集各个正弦条纹图的投影结果作为输出图像。正弦条纹图序列所读应的由相机采集的输出图像如图3(d)所示。

步骤1.2：根据正弦条纹图序列所对应的输出图像，求解空间变换关系。空间变换的求解结果如图3(e)所示。

通过投影正弦条纹图序列求解空间变换关系，实现像素匹配。每个正弦条纹图对应的输出图像中某一像素点处的灰度值为：

其中，(x_c,y_c)为相机成像平面坐标系中的坐标点；I_kn(x_c,y_c)是正弦条纹序列投影到投影表面后被相机采集的图像中位于(x_c,y_c)处的灰度值，其中，下标kn表示以为f_k频率的正弦条纹图的第n次投影，f_k是正弦条纹图中条纹沿水平方向/竖直方向的灰度变化的频率，下标k表示第k个频率，下标n表示第n次；A(x_c,y_c)是(x_c,y_c)处的背景光强；B(x_c,y_c)是(x_c,y_c)处的调制幅度；φ(x_c,y_c)是(x_c,y_c)处所对应的相位值。

各个正弦条纹图依次投影后通过四步相移法求解获得位于每个像素点(x_c,y_c)处的相位值φ(x_c,y_c)。所述相位值φ(x_c,y_c)与投影仪成像平面中的坐标(x_p,y_p)满足如下关系：

其中，水平正弦条纹图是条纹沿水平方向分布的正弦条纹图；竖直正弦条纹图是条纹沿竖直方向分布的正弦条纹图；f_k是正弦条纹图中条纹沿水平方向/竖直方向的灰度变化的频率。由上式可以看出，通过投影水平/竖直正弦条纹图，并求解位于(x_c,y_c)处的相位值φ(x_c,y_c)，确定位于相机坐标系中的坐标(x_c,y_c)与投影仪坐标系中的坐标(x_p,y_p)之间的一一对应关系，也确定了用于像素匹配的空间变换关系，计算方式如下：

T(x_c,y_c)＝(x_p,y_p),其中，

上式中，T表示空间变换关系，即从相机成像平面坐标系到投影仪成像平面坐标系之间的一一对应关系；T(x_c,y_c)表示与相机成像平面坐标系中(x_c,y_c)对应的、位于投影仪成像平面坐标系中的坐标点是(x_p,y_p)；其中，x_p通过投影竖直正弦条纹图求解，y_p通过投影水平正弦条纹图求解。竖直正弦条纹图如图3(d)左图所示，水平正弦条纹图如图3(d)右图所示。求解所得的空间变换关系T如图3(e)所示。

在图3(e)中，对于竖直正弦条纹图所得的空间变换关系，揭示输出图像中的坐标点(x_c,y_c)与投影仪成像平面坐标系中y_p之间的一一对应关系；对于水平正弦条纹图所得的空间变换关系，揭示输出图像中的坐标点(x_c,y_c)与投影仪成像平面坐标系中x_p之间的一一对应关系。

对于输出图像中的每一个坐标点(x_c,y_c)，根据空间变换关系T，将输出图像中位于(x_c,y_c)处的内容，变换至(x_p,y_p)处，即可获得像素匹配后的输出图像，如图3(c)所示。

步骤1.3：将稀疏点图的特殊输入图像输入投影仪(2)，投影仪(2)将稀疏点图投影照射至投影表面(3)，相机(1)依次采集稀疏点图的投影结果作为输出图像。稀疏点图如图3(a)所示，稀疏点图所对应的由相机采集的输出图像如图3(b)所示。

然后利用空间变换关系将稀疏点图的输出图像进行变换获得像素匹配后的输出图像，与输入投影仪的稀疏点图进行像素匹配，如图3(c)所示。

本发明利用稀疏点图中的发光像素点(如图3(a)右上方所示)，在输出图案中所呈现的弥散圆(如图3(c)所示)，实现失焦卷积核的标定。由于输入图像位于投影仪成像平面坐标系，输出图像位于相机成像平面坐标系，为了方便地获得弥散圆与发光像素点之间的一一对应关系，本发明利用空间变换关系，将输出图案变换至与输入图案相同的坐标系下，并将变换后的输出图案称为像素匹配后的输出图像，如图3(c)所示。

步骤1.4：对于位于稀疏点图中的每一个发光像素点，在稀疏点图所对应的像素匹配后的输出图像中的相同位置、以及以该位置为圆心的圆形邻域内，可以获得与该发光像素点一一对应的弥散圆；上述圆形邻域的半径作为圆形邻域的半径；所述弥散圆，由若干不同灰度值的两两相邻的像素点组成；所述归一化后的弥散圆，是将弥散圆中的每一个灰度值，与该弥散圆中的最大灰度值相除后所得的结果。

不妨设稀疏点图所对应地像素匹配后的输出图像为I_M，弥散圆的半径为r，弥散圆可以通过矩阵表示如下：

其中，M(x_p,y_p)是位于(x_p,y_p)处的弥散圆；I_M(x_p-i,y_p-j)是像素匹配后的输出图像中位于(x_p-i,y_p-j)处的灰度值；r为弥散圆的半径。由上式可以看出，由于I_M是已知的，M(x_p,y_p)取决于弥散圆的半径r。

所述弥散圆的半径r，根据如下迭代步骤进行确定：

步骤1.4.1：在以稀疏点图中发光像素点的所在位置为圆心、以1个像素为初始半径的圆形邻域内，计算稀疏点图所对应的像素匹配后的输出图像中位于该圆形邻域内所有像素点的灰度值之和，计算公式如下：

其中，sum^k表示第k次迭代中、以r^k作为弥散圆的半径时，位于该弥散圆中所有像素点的灰度值之和为sum^k。根据步骤1.4.1中的分析，第一次迭代中，弥散圆的初始半径为r¹＝1。

步骤1.4.2：将圆形邻域的半径以1个像素为增量进行递增，重复步骤1.4.1中计算圆形邻域内所有像素点的灰度值之和的过程；比较第k次迭代所得弥散圆内所有像素点的灰度值之和，与第k+1次迭代所得弥散圆内所有像素点的灰度值之和；

步骤1.4.3：重复步骤1.4.2不断迭代处理，直到半径递增前后灰度值之和的差值小于某一阈值，停止迭代，将停止迭代时的圆形邻域的半径作为弥散圆的半径。迭代的终止条件如下：

sum^k+1-sum^k<ε

其中ε表示迭代精度，当第k+1次迭代满足上述终止条件时，第k+1次迭代中的半径r^k+1即为所求弥散圆的半径。

将归一化后的弥散圆作为投影仪坐标系中发光像素点所在位置的失焦卷积核的标定图，计算公式如下：

其中f(x_p,y_p)是位于(x_p,y_p)处的卷积核标定图，M(x_p,y_p)是位于(x_p,y_p)处的弥散圆，max[M(x_p,y_p)]是弥散圆M(x_p,y_p)中的最大元素值。

图3(c)右图所示为失焦卷积核标定图的示例。图3(c)中的卷积核标定图表现出中心亮、边缘暗的类似于高斯分布的分布特征。

步骤1.5：对于位于稀疏点图中的每一个不发光的像素点，寻找与其距离最近、且可以围成矩形区域的4个发光像素点，该矩形区域将该不发光的像素点包围在内；若可以找到满足上述要求的4个发光像素点，则结合步骤1.4中所获得的上述4个发光像素点所在位置的失焦卷积核标定图，通过双线性插值的方式，获得不发光的像素点所在位置的失焦卷积核的标定图。

不妨设稀疏点图中某一个不发光的像素点位于(x_p,y_p)，满足步骤1.5中条件的4个发光像素点在投影仪成像平面坐标系中由左至右、由上至下的坐标分别为(x₁,y₁)、(x₁,y₂)、(x₂,y₁)、(x₂,y₂)，且上述4个发光像素点处所对应的失焦卷积核的标定图分别为f₁、f₂、f₃、f₄。

在进行上述双线性插值之前，寻找上述4个发光像素点所在位置的失焦卷积核的标定图中的最大半径；并将上述4个失焦卷积核中小于该最大半径的失焦卷积核扩充至该最大半径，扩充的部分的像素点补以零灰度值，保证失焦卷积核f₁、f、f、fj具有相同大小，即具有相同的行数和列数，以便于进行上述双线性插值的操作。

根据双线性差值的原理，上述不发光的像素点所在位置(x_p,y_p)处的失焦卷积核的标定图为：

步骤1.6：对于位于稀疏点图中的每一个不发光的像素点，若不能找到满足步骤1.5中要求的4个发光像素点，则说明该像素点位于投影仪成像坐标系的边缘处，则找到与该不发光像素点距离最近的、已获得失焦卷积核标定图的像素点，以该失焦卷积核标定图作为该不发光的像素点所在位置的失焦卷积核的标定图；至此，对于投影仪成像平面坐标系中的每一个像素点，均有与之一一对应的失焦卷积核的标定图。

作为优选，本发明在上述卷积核标定过程中，为了不影响投影仪的正常投影内容，最大程度地提高用户体验，可以采用分块扫描的方式对用于失焦卷积核标定的特殊投影图案进行投影，如图4所示。所述分块扫描是将特殊投影图案分割为若干大小相等且相互不重叠的小矩形区域，每次逐一投影和采集特殊投影图案在一个小矩形区域的内容，并获得该小矩形区域内的部分失焦卷积核的标定图；对所有小矩形区域进行遍历，即可获得失焦卷积核的标定图。

图4中以将特殊输入图案划分成16个大小相等且互不重叠的小矩形区域为例，对分块扫描的具体实现方式进行揭示。在每帧正常投影图案中，按照编号顺序依次将小矩形区域叠加在正常投影图案的相应位置，16个小矩形区域依托16帧被叠加的正常投影图案被输入投影仪并投影至投影表面、并被相机采集，每帧被叠加的正常投影图案实现失焦卷积核在对应小矩形区域内的标定。将所有小矩形区域内的失焦卷积核的标定图进行整合，即可获得全局的失焦卷积核标定图。在上述每帧输入投影仪的图像中，正常投影图案仅有小部分区域被遮挡，保证最大程度地降低对正常投影图案地干扰。

1)补偿图片计算包括如下步骤：

步骤2.1：根据本发明对投影仪的失焦过程所建立的数学模型，对于输入投影仪中的、等待被投影的输入图片P，将其1)中所获得的失焦卷积核的标定图f进行卷积，获得预模糊的输入图片如下。预模糊的输入图片如图5(a)所示。在图5(a)中，与输入图片相比，预模糊的输入图片中细节处表现出模糊和钝化，符合模糊图片应该具有的特征。

步骤2.2：将输入图片与预模糊的输入图片相除，获得边缘感知矩阵，如图5(a)所示。从图5(a)可以直观地观察到，边缘感知矩阵反映输入图片中边缘区域的轮廓。具体地，上述相除操作是将输入图片中每一个像素点的灰度值，除以预模糊的输入图片中相同位置的像素点的灰度值，计算方式如下：

其中，E是边缘感知矩阵，E(x_p,y_p)是边缘感知矩阵在坐标(x_p,y_p)处的元素值。

步骤2.3：将输入图片与边缘感知矩阵相乘，获得补偿图片，如图5(b)所示。在图5(b)中，与输入图片相比，补偿图片中细节处表现出锐化和加强的特点，即补偿图片加强了位于输入图片中边缘区域的高频信息，这也是所希望的，因为补偿图片通过加强高频特征来减少失焦过程中图片中高频信息的损失，使得投影结果变得清晰。具体地，上述相乘操作是将输入图片中每一个像素点的灰度值，乘以预模糊的输入图片中相同位置的像素点的灰度值。补偿图片的计算方式如下：

其中，

为补偿图片。上式通过边缘感知矩阵计算补偿图片，计算补偿图片的过程称为边缘感知。

将上式计算所得的补偿图片

替换原本输入投影仪中的、会导致投影结果模糊的输入图片P，通过投影仪投影补偿图片

即可获得失焦补偿后的清晰的投影结果。

为表明本发明所实现的投影仪失焦校正的效果，在根据上述所发所进行的一个实例中，失焦校正前的投影结果如图6所示，失焦校正后的投影结果如图7所示。

失焦校正前，图6中，投影结果出现明显的失焦现象，具体地，在狮子的胡须、遍布狮子全身的绒毛、狮子右眼睛等部位的细节特征均表现出明显的模糊，上述细节特征的边缘未表现出清晰、明显的分界；与图6相比，失焦校正后，在图7中，狮子的胡须、绒毛、右眼睛等部位的细节特征均可以被很好地分辨，上述细节特征的边缘也表现出清晰、明显的分界，投影结果有明显的改善，投影结果更加清晰。

Claims (8)

1.一种基于边缘感知的投影仪失焦校正方法，其特征在于：方法采用投影仪-相机系统，投影仪-相机系统包括：相机(1)、投影仪(2)和投影表面(3)，投影仪(2)的镜头和相机(1)的镜头均朝向投影表面(3)；将特殊输入图像输入投影仪(2)投影照射至投影表面(3)上，相机(1)采集投影仪(2)投影照射至投影表面(3)后的投影结果作为输出图像；利用特殊输入图像和输出图像进行失焦卷积核标定等步骤获得补偿图片，将补偿图片作为投影仪(2)的输入对投影仪(2)待投影图片进行校正补偿，进行投影照射获得失焦补偿后清晰的投影结果。

2.如权利要求1所述的一种基于边缘感知的投影仪失焦校正方法，其特征在于：所述特殊输入图像，包括稀疏点图和正弦条纹图序列；所述稀疏点图由若干长度和宽度均相等的正方形的发光像素点构成，每个发光像素点在稀疏点图中沿水平方向和竖直方向等距离矩形阵列分布；所述正弦条纹图序列由若干沿水平方向/竖直方向偏移错位的正弦条纹图组成，每个正弦条纹图由沿竖直方向/水平方向分布的条纹构成。

3.如权利要求1所述的一种基于边缘感知的投影仪失焦校正方法，其特征在于：所述失焦卷积核标定，包括如下步骤：

步骤1.1：将正弦条纹图序列的特殊输入图像输入投影仪(2)，投影仪(2)将正弦条纹图序列中各个正弦条纹图依次投影照射至投影表面(3)，相机(1)依次采集各个正弦条纹图的投影结果作为输出图像；

步骤1.2：根据正弦条纹图序列对应获得的各个输出图像，求解空间变换关系；

步骤1.3：将稀疏点图的特殊输入图像输入投影仪(2)，投影仪(2)将稀疏点图投影照射至投影表面(3)，相机(1)依次采集稀疏点图的投影结果作为输出图像；

然后利用空间变换关系将稀疏点图的输出图像进行变换获得像素匹配后的输出图像；

步骤1.4：对于稀疏点图中的每一个发光像素点，在像素匹配后的输出图像中以与该发光像素点的相同位置的点为圆心建立圆形邻域，由此获得与该发光像素点一一对应的弥散圆并进行归一化，归一化后的弥散圆作为投影仪坐标系中发光像素点所在位置的失焦卷积核的标定图；

步骤1.5：对于位于稀疏点图中的每一个不发光的像素点，寻找与其距离最近、且围成矩形区域的4个发光像素点，该矩形区域将该不发光的像素点包围在内；若找到满足上述要求的4个发光像素点，则结合步骤1.4中所获得的上述4个发光像素点所在位置的失焦卷积核标定图，通过双线性插值的方式，获得不发光的像素点所在位置的失焦卷积核的标定图；

在进行上述双线性插值之前，寻找上述4个发光像素点所在位置的失焦卷积核的标定图中的最大半径；并将上述4个失焦卷积核中小于该最大半径的失焦卷积核扩充至该最大半径，扩充的部分的像素点补以零灰度值，使得上述4个失焦卷积核具有相同大小；

步骤1.6：对于位于稀疏点图中的每一个不发光的像素点，若不能找到满足步骤1.5中要求的4个发光像素点，则说明该像素点位于投影仪成像坐标系的边缘处，则找到与该不发光像素点距离最近的、已获得失焦卷积核标定图的像素点，以该失焦卷积核标定图作为该不发光的像素点所在位置的失焦卷积核的标定图；至此，对于投影仪成像平面坐标系中的每一个像素点，均有与之一一对应的失焦卷积核的标定图。

4.如权利要求3所述的一种基于边缘感知的投影仪失焦校正方法，其特征在于：所述归一化后的弥散圆，是将弥散圆中的每一个灰度值，与该弥散圆中的最大灰度值相除后所得的结果。

5.如权利要求1所述的一种基于边缘感知的投影仪失焦校正方法，其特征在于：采用分块扫描的方式对用于失焦卷积核标定的特殊输入图像进行投影；分块扫描是将特殊输入图像分割为若干大小相等且相互不重叠的小矩形区域，每次逐一投影和采集特殊输入图像在一个小矩形区域的内容，并获得该小矩形区域内的部分失焦卷积核的标定图；对小矩形区域进行遍历，获得失焦卷积核的标定图。

6.如权利要求1所述的一种基于边缘感知的投影仪失焦校正方法，其特征在于：所述弥散圆的圆形邻域半径r，按照以下方式处理获得：

步骤1.4.1：在以稀疏点图中发光像素点的所在位置为圆心、以1个像素为初始半径的圆形邻域内，计算稀疏点图所对应的像素匹配后的输出图像中位于该圆形邻域内所有像素点的灰度值之和，计算公式如下：

其中，sum^k表示第k次迭代中、以r^k作为弥散圆的半径时，位于该弥散圆中所有像素点的灰度值之和为sum^k；

步骤1.4.2：将圆形邻域的半径以1个像素为增量进行递增，重复步骤1.4.1中计算圆形邻域内所有像素点的灰度值之和的过程；比较第k次迭代所得弥散圆内所有像素点的灰度值之和，与第k+1次迭代所得弥散圆内所有像素点的灰度值之和；

步骤1.4.3：重复步骤1.4.2不断迭代处理，直到半径递增前后灰度值之和的差值小于某一阈值，停止迭代，将停止迭代时的圆形邻域的半径作为弥散圆的半径；迭代的终止条件如下：

sum^k+1-sum^k<ε

其中ε表示迭代精度，当第k+1次迭代满足上述终止条件时，第k+1次迭代中的半径r^k+1即为所求弥散圆的半径。

7.如权利要求1所述的一种基于边缘感知的投影仪失焦校正方法，其特征在于：所述将补偿图片作为投影仪(2)的输入对投影仪(2)待投影图片进行校正补偿，具体为：

步骤2.1：对于输入投影仪中的、等待被投影的输入图片，将输入图片与失焦卷积核的标定图进行卷积，获得预模糊的输入图片；

步骤2.2：将输入图片与预模糊的输入图片相除，获得边缘感知矩阵；具体地，上述相除操作是将输入图片中每一个像素点的灰度值，除以预模糊的输入图片中相同位置的像素点的灰度值；

步骤2.3：将输入图片与边缘感知矩阵相乘，获得补偿图片。

8.如权利要求1所述的一种基于边缘感知的投影仪失焦校正方法，其特征在于：所述步骤1.2中，根据正弦条纹图序列对应获得的各个输出图像，求解空间变换关系，具体为：

每个正弦条纹图对应的输出图像中某一像素点处的灰度值为：

其中，(x_c,y_c)为相机成像平面坐标系中的坐标点；I_kn(x_c,y_c)是正弦条纹序列投影到投影表面后被相机采集的图像中位于像素点(x_c,y_c)处的灰度值，其中，下标kn表示以为f_k频率的正弦条纹图的第n次投影，A(x_c,y_c)是像素点(x_c,y_c)处的背景光强；B(x_c,y_c)是像素点(x_c,y_c)处的调制幅度；φ(x_c,y_c)是像素点(x_c,y_c)处所对应的相位值；

各个正弦条纹图依次投影后通过四步相移法求解获得位于每个像素点(x_c,y_c)处的相位值φ(x_c,y_c)，然后采用以下公式获得投影仪坐标系中和像素点(x_c,y_c)对应的坐标(x_p,y_p)，计算方式如下：

T(x_c,y_c)＝(x_p,y_p),其中，

上式中，T表示空间变换关系，即从相机成像平面坐标系到投影仪成像平面坐标系之间的一一对应关系；T(x_c,y_c)表示与相机成像平面坐标系中(x_c,y_c)对应的、位于投影仪成像平面坐标系中的坐标点是(x_p,y_p)；f_k是正弦条纹图中条纹沿水平方向/竖直方向的灰度变化的频率，下标k表示第k个频率。

Images