CN105554486A

CN105554486A - 一种投影校正方法和装置

Info

Publication number: CN105554486A
Application number: CN201510981686.1A
Authority: CN
Inventors: 罗海风
Original assignee: TCL Corp
Current assignee: TCL Corp
Priority date: 2015-12-22
Filing date: 2015-12-22
Publication date: 2016-05-04

Abstract

本发明提供了一种投影校正方法，所述方法包括：通过摄像头拍摄投影仪在投影平面生成的投影图像，提取拍摄的所述投影图像的特征点；将所述投影图像的特征点与源图像的特征点进行匹配；根据所述匹配结果计算源图像与所述投影图像对应的单应矩阵；以及根据所述单应矩阵对投影内容进行透视变换，将变换后的投影内容投影。和现有技术相比，本发明所述投影校正方法的校正精度和校正效率高。

Description

一种投影校正方法和装置

技术领域

本发明属于投影领域，尤其涉及一种投影校正方法和装置。

背景技术

投影仪是一种可以将图像或视频投射到幕布上的设备，通过其接口可以连接至台式电脑、笔记本或者其它电子设备等终端。当终端中的内容需要通过投影仪进行投影显示时，只需要将设备设置为投影模式，将数据发送至投影仪，由投影仪转化为对应的光信号投射显示。

在使用投影仪的过程中，一般需要先将投影仪对准用于投影显示的投影平面，比如墙壁或者投影幕布，这样才能够得到较为真实的显示效果。如果投影仪没有对正投影平面，则会使得投影画面产生变形，影响观看效果。

目前在使用投影仪过程中，一般都是由人工进行投影的调节校正，校正的效率较低，而且精确度不高。

发明内容

本发明的目的在于提供一种投影校正方法和装置，以解决现有技术通过人工进行投影仪的调节校正，校正的效率较低，而且精确度不高的问题。

第一方面，本发明实施例提供了一种投影校正方法，所述方法包括：

通过摄像头拍摄投影仪在投影平面生成的投影图像，提取拍摄的所述投影图像的特征点；

将所述投影图像的特征点与源图像的特征点进行匹配，所述源图像为投影仪播放的、与所述投影图像对应的图像；

根据所述匹配结果计算源图像与所述投影图像对应的单应矩阵；以及

根据所述单应矩阵对投影内容进行透视变换，将变换后的投影内容投影。

结合第一方面，在第一方面的第一种可能实现方式中，所述提取拍摄的所述投影图像的特征点包括通过SURF特征点检测方法、SIFT特征点检测方法、Harris特征点检测方法中的一种或者多种提取。

结合第一方面的第一种可能实现方式，在第一方面的第二种可能实现方式中，通过Harris特征点检测方法提取拍摄的所述投影图像的特征点具体包括：

根据窗口能量计算公式：检测窗口的能量，并监测窗口的平均能量的变化值；

如果所述能量的变化值超过预定的阈值，则选取窗口中心的像素点为特征点；

其中，w(x,y)为窗函数，[I(x+u,y+v)-I(x,y)]²为图像灰度的梯度值，w(x,y)可为矩形窗或高斯窗，E(u,v)为窗口的平均能量。

结合第一方面，在第一方面的第三种可能实现方式中，所述将所述投影图像的特征点与源图像的特征点进行匹配步骤包括：

将所述投影图像的特征点集中的所有特征点分别与所述源图像的特征点集中的特征点比较，查找是否有相同的特征点，如果有相同的特征点，则该特征点完成匹配。

结合第一方面，在第一方面的第四种可能实现方式中，所述根据所述匹配结果计算源图像与所述投影图像对应的单应矩阵步骤具体为：

获取投影图像中匹配的特征点的第一坐标集，以及源图像中匹配的特征点的第二坐标集；

根据所述第一坐标集和第二坐标集计算得到关联矩阵；

根据所述关联矩阵以及摄像头的内参数矩阵计算得到单应矩阵。

第二方面，本发明实施例提供了一种投影校正装置，所述装置包括：

特征点提取单元，用于通过摄像头拍摄投影仪在投影平面生成的投影图像，提取拍摄的所述投影图像的特征点；

匹配单元，用于将所述投影图像的特征点与源图像的特征点进行匹配，所述源图像为投影仪播放的、与所述投影图像对应的图像；

单应矩阵计算单元，用于根据所述匹配结果计算源图像与所述投影图像对应的单应矩阵；以及

内容变换单元，用于根据所述单应矩阵对投影内容进行透视变换，将变换后的投影内容投影。

结合第二方面，在第二方面的第一种可能实现方式中，所述提取拍摄的所述投影图像的特征点包括通过SURF特征点检测方法、SIFT特征点检测方法、Harris特征点检测方法中的一种或者多种提取。

结合第二方面的第一种可能实现方式，在第二方面的第二种可能实现方式中，所述特征点提取单元包括：

平均能量计算单元，用于根据窗口能量计算公式：检测窗口的能量，并监测窗口的平均能量的变化值；

特征点选取单元，用于如果所述能量的变化值超过预定的阈值，则选取窗口中心的像素点为特征点；

结合第二方面，在第二方面的第三种可能实现方式中，所述匹配单元具体用于：

结合第二方面，在第二方面的第四种可能实现方式中，所述单应矩阵计算单元包括：坐标集获取子单元，用于获取投影图像中匹配的特征点的第一坐标集，以及源图像中匹配的特征点的第二坐标集；

关联矩阵计算子单元，用于根据所述第一坐标集和第二坐标集计算得到关联矩阵；

单应矩阵计算子单元，用于根据所述关联矩阵以及摄像头的内参数矩阵计算得到单应矩阵。

在本发明中，由投影仪播放预先存储的源图像，摄像头拍摄得到投影后的投影图像，提取源图像和投影图像的特征点，并将两个图像的特征点进行匹配后，计算对应的单应矩阵，根据所述单应矩阵对投影内容进行透视变换，从而使投影仪播放显示校正后的图像。和现有技术相比，本发明所述投影校正方法的校正精度和校正效率高。

附图说明

图1是本发明实施例提供的正投影和倾斜投影的图像显示效果示意图；

图2是本发明实施例提供的投影校正方法的实现流程图；

图3是本发明实施例提供的特征点提取的效果示意图；

图4是本发明实施例提供的特征点匹配的效果示意图；

图5为本发明实施例提供的投影校正前后的效果对比示意图；

图6为本发明实施例提供的投影校正装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的主要目的在于提供一种投影校正方法，以解决现有技术中使用投影仪时，由于受到室内结构的限制，或者使用安装的缺陷，使得投影仪与投影平面不能够有效的对正，从而使得投影显示的内容产生变形，影响观看效果的问题。比如对于固定的投影仪，在安装的时候由于工作人员安装水平的限制，投影仪与投影平面可能没有完全对正，或者对于可移动的投影仪，在使用过程中，用户调整投影仪水平受限，使得投影在画面产生变形，如图1所示为正对投影平面，以及与投影平面有一定倾斜时的投影效果示意图，右图明显在与投影平面倾斜时，投影画面也产生了变形。为解决该问题，下面结合本发明实施例的附图具体进行说明。

图2示出了本发明第一实施例提供的投影校正方法的实现流程，详述如下：

在步骤S201中，通过摄像头拍摄投影仪在投影平面生成的投影图像，提取拍摄的所述投影图像的特征点。

具体的，本发明实施例所述投影仪，可在投影仪中设置摄像头(摄像头固定设置在投影的机体上)，当然也可以通过附加设备的形式为投影仪配置可连接摄像头的位置。当通过附加设备配置摄像头时，可在投影仪上设置固定的连接结构，方便摄像头获取投影仪所投影的图像。

所述源图像，是指预先存储在设备中用于校验的图像，所述投影仪可以在生产时将用于校正的源图像存储在投影仪的存储设备中，比如可以预先设置一张或者多张用于校正的源图像，源图像中的特征点可预先计算得出，但不局限于预先计算的方式。

本发明实施例中所述投影图像，与所述源图像相对应，是指将源图像经过投影仪播放后，在投影平面显示，并且经过摄像头拍摄得到的图像。

所述投影平面，可以为投影的平面墙壁，也可以为专用的投影幕布等。本发明投影校正方法是用于校正投影仪投影的投射方向与投影平面不垂直时，投影画面产生变形的缺陷，因此，在本发明后续步骤中对投影图像进行校正过程中，如果根据计算的单应矩阵判断当前投影仪的投向方向与投影平面垂直时，则可不需要进行投影内容的变换。

在本发明实施例中，提取拍摄的所述投影图像的特征点，可以通过SURF特征点提取方法、SIFT特征点提取方法或者Harris特征点提取方法等方法进行提取。

其中，对于Harris特征点提取方法简要介绍如下：

Harris特征点检测方法是一种基于信号的点特征提取算子，该检测方法在图像中设计一个局部检测窗口，当该窗口沿各个方向作微小移动时，检测窗口的平均能量变化，当窗口的平均能量变化值超过预先设定的阈值时，就将窗口的中心像素点提取为角点。

其中，Harris特征点检测公式为：w(x,y)为窗函数，[I(x+u,y+v)-I(x,y)]²为图像灰度的梯度值。w(x,y)可为矩形窗或高斯窗。对于每个小的位移量(u,v)，检测公式可双线性近似表示为：

E (u, v) = [u, v] M [\begin{matrix} u \\ v \end{matrix}],

其中

M = \underset{x, y}{Σ} w (x, y) [\begin{matrix} I_{x}^{2} & I_{x} I_{y} \\ I_{x} I_{y} & I_{y}^{2} \end{matrix}] .

设k1，k2是矩阵M的两个特征值，则可表示局部自相关函数的曲率。实际运用中用来计算特征点的响应函数可以写成：R＝det(M)-coef·trace²(M)，其中det(M)＝k1*k2,trace(M)＝k1+k2。当某个区域矩阵M的行列式很大时，则表明这是一条边或一个角点，coef一般取经验值0.04。特征点检测效果如图3所示，左图为正常播放的图像显示效果示意图，右图为投影仪没有正交对准屏幕时图像发生变形的显示效果示意图，在两个图中分别采用Harris特征点检测，得到的特征点在图中通过带叉的点标识，由图中显示的特征点可知，图像中的特征点的位置与图像的内容是相匹配的。

在步骤S202中，将所述投影图像的特征点与源图像的特征点进行匹配，所述源图像为投影仪播放的、与所述投影图像对应的图像。

具体的，本发明实施例中将投影图像与源图像的特征点进行匹配，可以采用Brute-force算法，Hausdorff距离法等，下面对Brute-force算法简要介绍如下：

Brute-Force算法简称为BF算法，亦称为简单匹配算法，其基本思路是：将所述投影图像的特征点集中的所有特征点分别与所述源图像的特征点集中的特征点比较，查找是否有相同的特征点，如果有相同的特征点，则该特征点完成匹配。

即：从特征点集A中第一个特征点a1开始和特征点集B中的第一个特征点b1比较，若相等，则继续逐个比较后续的特征点；否则从特征点集B的第二个特征点开始重新与特征点集A的第一个特征点进行比较。以此类推，若从特征点集B的第i个特征点开始，每个特征点依次和特征点集A中的对应特征点相等，则特征点集A的该特征点匹配成功；否则，特征点集A的该特征点匹配失败。

匹配评价函数常用欧氏距离来计算。若特征子为n维向量，特征子a与特征子b的欧式距离为：特征点匹配后效果如图4所示。

在步骤S203中，根据所述匹配结果计算源图像与所述投影图像对应的单应矩阵。

在本发明实施例中，得到投影图像中的特征点与源图像中匹配的特征点后，需要进一步计算源图像与目标图像的单矩阵。

在不同位置和角度上，摄像头对于目标特征点O_i，分别以

p_{i}^{A} = {[\begin{matrix} 1 & u_{i}^{A} & v_{i}^{A} \end{matrix}]}^{T}

和

p_{i}^{B} = {[\begin{matrix} 1 & u_{i}^{B} & v_{i}^{B} \end{matrix}]}^{T}

表示其在位姿A和位姿B处的投影像素坐标，其中位姿A可以为当前投影仪投影的位姿，位姿B可以为投影仪正投影时对应的位姿，那么正投影的位姿B对应的图像可认为是源图像。

其中，和分别为从投影图像和源图像中获得的像素坐标。经过几何分析可以得知，两者之间通过如下关联矩阵G∈□^3×3相关联：其中，α_i代表未知的深度比信号。上式展开整理后得到：

\{\begin{matrix} u_{i}^{A} G_{n 11} + u_{i}^{A} u_{i}^{B} G_{n 12} + u_{i}^{A} v_{i}^{B} G_{n 13} - G_{n 21} - u_{i}^{B} G_{n 22} - v_{i}^{B} G_{n 23} = 0 \\ v_{i}^{A} G_{n 11} + v_{i}^{A} u_{i}^{B} G_{n 12} + v_{i}^{A} v_{i}^{B} G_{n 13} - G_{n 31} - u_{i}^{B} G_{n 32} - v_{i}^{B} G_{n 33} = 0 \end{matrix}

对于每个参考点而言，根据上述表达式，利用其对应的像素坐标，可以确定关联矩阵G_n的值。进一步，利用摄像机的内参数矩阵可以计算得到如下矩阵H_n∈□^3×3，H_n＝A^-1G_nA；

其中，H_n33＝1，并且H_n和单应矩阵H满足H＝G₃₃H_n。

在步骤S204中，根据所述单应矩阵对投影内容进行透视变换，将变换后的投影内容投影。

通过计算得到单应矩阵H，从而可以对待投影的图像进行图像变换，根据单应矩阵对投影图像进行透视变换；其中，透视变换公式为：X’＝HX,其中X’为校正后像素坐标，X为校正前像素坐标。校正前后的对比示意图如图5所示。

本发明通过投影仪播放预先存储的源图像，摄像头拍摄得到投影后的投影图像，提取源图像和投影图像的特征点，并将两个图像的特征点进行匹配后，计算对应的单应矩阵，根据所述单应矩阵对投影内容进行透视变换，从而使投影仪播放显示校正后的图像。和现有技术相比，本发明所述投影校正方法的校正精度和校正效率高。

图6为本发明实施例提供的投影校正装置结构示意图，详述如下：

本发明实施例所述投影校正装置包括：

特征点提取单元601，用于通过摄像头拍摄投影仪在投影平面生成的投影图像，提取拍摄的所述投影图像的特征点；匹配单元602，用于将所述投影图像的特征点与源图像的特征点进行匹配，所述源图像为投影仪播放的、与所述投影图像对应的图像；

单应矩阵计算单元603，用于根据所述匹配结果计算源图像与所述投影图像对应的单应矩阵；以及

内容变换单元604，用于根据所述单应矩阵对投影内容进行透视变换，将变换后的投影内容投影。

优选的，所述提取拍摄的所述投影图像的特征点包括通过SURF特征点检测方法、SIFT特征点检测方法、Harris特征点检测方法中的一种或者多种提取。

优选的，所述特征点提取单元601包括：

优选的，所述匹配单元602具体用于：

优选的，所述单应矩阵计算单元603包括：

坐标集获取子单元，用于获取投影图像中匹配的特征点的第一坐标集，以及源图像中匹配的特征点的第二坐标集；

优选的，所述单应矩阵计算子单元具体用于根据第一坐标集和第二坐标集代入公式：计算得到关联矩阵G，其中α_i代表未知的深度比信号；

所述根据所述关联矩阵以及摄像头的内参数矩阵计算得到单应矩阵具体为：

通过公式：H＝G₃₃H_n计算得到单应矩阵H，其中：H_n＝A^-1G_nA，H_n33＝1。

本发明实施例中所述投影校正装置，与图2-5所述投影校正方法对应，在此不作重复赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种投影校正方法，其特征在于，所述方法包括：

2.根据权利要求1所述方法，其特征在于，所述提取拍摄的所述投影图像的特征点包括通过SURF特征点检测方法、SIFT特征点检测方法、Harris特征点检测方法中的一种或者多种提取。

3.根据权利要求2所述方法，其特征在于，通过Harris特征点检测方法提取拍摄的所述投影图像的特征点具体包括：

根据窗口能量计算公式：

E (u, v) = \underset{x, y}{Σ} w (x, y) {[I (x + u, y + v) - I (x, y)]}^{2}

检测窗口的能量，并监测窗口的平均能量的变化值；

4.根据权利要求1所述方法，其特征在于，所述将所述投影图像的特征点与源图像的特征点进行匹配步骤包括：

5.根据权利要求1所述方法，其特征在于，所述根据所述匹配结果计算源图像与所述投影图像对应的单应矩阵步骤具体为：

根据所述第一坐标集和第二坐标集计算得到关联矩阵；

6.一种投影校正装置，其特征在于，所述装置包括：

7.根据权利要求6所述装置，其特征在于，所述提取拍摄的所述投影图像的特征点包括通过SURF特征点检测方法、SIFT特征点检测方法、Harris特征点检测方法中的一种或者多种提取。

8.根据权利要求7所述装置，其特征在于，所述特征点提取单元包括：

9.根据权利要求6所述装置，其特征在于，所述匹配单元具体用于：

10.根据权利要求6所述装置，其特征在于，所述单应矩阵计算单元包括：坐标集获取子单元，用于获取投影图像中匹配的特征点的第一坐标集，以及源图像中匹配的特征点的第二坐标集；