CN110677634B

CN110677634B - 投影仪的梯形校正方法、装置、系统及可读存储介质

Info

Publication number: CN110677634B
Application number: CN201911182586.7A
Authority: CN
Inventors: 钟波; 肖适; 王鑫; 余金清
Original assignee: Chengdu Jimi Technology Co Ltd
Current assignee: Jimi Technology Co ltd
Priority date: 2019-11-27
Filing date: 2019-11-27
Publication date: 2021-06-29
Anticipated expiration: 2039-11-27
Also published as: EP3937486A1; CN110677634A; WO2021103347A1; JP2022528659A; JP7291244B2; US20220286654A1; EP3937486A4

Abstract

本发明公开了一种投影仪的梯形校正方法，包括：通过RGBD相机获得投影面中的多个位置点在第一坐标系中的第一坐标值；根据预先确定的转换关系与第一坐标值，确定位置点在第二坐标系中的第二坐标值；利用根据多个位置点的第二坐标值拟合获得的拟合平面，与第二坐标系的坐标轴平面之间的夹角，实现梯形校正。本申请中利用了RGBD相机可获得投影区域中各个点和该RGBD相机的相对位置信息，以及投影光机与RGBD相机之间的相对姿态不发生改变这原理，对该投影仪进行梯形校正，能够准确高效率的实现投影仪的梯形校正。本申请还公开了一种投影仪的梯形校正装置、系统以及计算机可读存储介质，具有上述有益效果。

Description

投影仪的梯形校正方法、装置、系统及可读存储介质

技术领域

本发明涉及光学器材技术领域，特别是涉及一种投影仪的梯形校正方法、装置、系统及计算机可读存储介质。

背景技术

随着多媒体技术的发展，投影仪在教育培训、公司会议以及家庭影院等各种不同的场所得到广泛的应用。但是因为投影仪投射画面时，投射环境中存在较多的不确定性因素，往往会出现投影的画面出现畸变，例如正常情况下投影仪投射出的画面为矩形，但因投影仪摆放位置倾斜、投影方向不能完全和投影面垂直等等因素，导致投影出的画面变成梯形等非矩形的四边形，严重影响了用户的观看效果。

为此，在使用投影仪之前，不可避免的需要对投影仪的投影画面进行校正。目前对投影仪进行梯形校正的大多数方式均需要经过复杂的几何运算，获得投影仪相对于投影面的偏转情况，进而实现梯形校正。

发明内容

本发明的目的是提供一种投影仪的梯形校正方法、装置、系统以及计算机可读存储介质，能够简单快速的实现对投影仪的投影画面的校正，为用户提供良好的投影画面。

为解决上述技术问题，本发明提供一种投影仪的梯形校正方法，包括：

通过RGBD相机拍摄获得投影光机的投影面上多个位置点在第一坐标系中的第一坐标值；其中，所述第一坐标系为在所述RGBD相机的光学系统中的空间三维直角坐标系；

根据预先确定的所述第一坐标系和所述第二坐标系之间的转换关系与所述第一坐标值，确定所述位置点在所述第二坐标系中的第二坐标值；其中，所述第二坐标系为在所述投影光机的光学系统中的空间三维直角坐标系；

将多个所述位置点的所述第二坐标值进行平面拟合，获得拟合平面；

根据所述拟合平面与所述第二坐标系的坐标轴平面之间的夹角，对所述投影光机进行梯形校正。

本申请中充分利用了RGBD相机可获得拍摄的图像中各个点和该RGBD相机之间距离这一技术，通过RGBD相机拍摄投影光机需要进行投影的投影面上的图像，并获得投影面上多个位置点相对于RGBD相机的位置信息；结合投影光机投入使用后，投影光机与RGBD相机之间的相对姿态不发生改变这一原理，获得该位置点相对于投影光机的位置信息，也即是位置点在投影光机的坐标系下的坐标信息，进而确定该投影光机的偏转情况，在利用该偏转情况对该投影光机进行梯形校正；整个过程简单快捷，能够准确高效率的实现投影光机的梯形校正。

在本申请的另一可选的实施例中，预先确定的所述转换关系的过程，包括：

预先通过所述投影光机将带有特征点的原图像投影至投影屏幕上，获得所述特征点在所述投影屏幕上的投影点；

通过所述RGBD相机拍摄获得所述投影点在所述第一坐标系中投影点第一坐标值；

根据所述投影点和所述特征点之间满足的小孔成像原理，结合所述投影点分别在所述第一坐标系和所述第二坐标系中的坐标值之间满足的转换关系，确定所述投影点第一坐标值和所述特征点坐标值之间满足的对应关系：(u,v)^T＝F(R,t,f_x,f_y,c_x,c_y)·(x,y,z)^T；其中，(u,v)^T为所述特征点在所述投影光机的像素坐标系中的特征点坐标值的列向量，(x,y,z)^T为投影点第一坐标值的列向量，F(R,t,f_x,f_y,c_x,c_y)为关于R,t,f_x,f_y,c_x,c_y的函数，R和t为所述转换关系的转换参数；f_x和f_y分别为所述投影光机的在x轴方向以像素为单位表示的焦距参量和y轴方向以像素为单位表示的焦距参量；c_x和c_y分别为所述投影光机的在x轴方向的光心参量和y轴方向的光心参量；

根据所述对应关系，结合多组所述投影点第一坐标值和所述特征点坐标值，获得参数R,t,f_x,f_y,c_x,c_y。

本实施例中通过投影光机投影具有大量特征点的图案，并利用投影光机中原图像上的特征点和投影画面上的投影点之间满足的小孔成像原理，以及投影点在RGBD相机的第一坐标系中的坐标和投影光机的第二坐标系中的坐标值满足的转换关系，建立了RGBD相机拍摄的投影点获得的投影点第一坐标值和原图像中的特征点在像素坐标系中的特征点坐标值之间的对应关系，并利用这一对应关系可解算出投影光机的内参数以及投影光机和RGBD相机之间的外参数，进而确定根据预先确定的所述第一坐标系和所述第二坐标系之间的转换关系。

通过在投影光机投入使用前，建立更为简单易操作的特定的投影环境，并利用相机标定原理实现各种参数解算的过程，为后续投影光机的使用提供有效的参数数据，简化了后续投影光机应用过程中的运算过程，加快投影光机梯形校正过程。

在本申请的另一可选的实施例中，在确定所述位置点在所述第二坐标系中的第二坐标值之后，还包括：

基于小孔成像原理和多个所述第二坐标值，确定所述投影光机的投影区域；

通过所述RGBD相机拍摄获得的投影面图像中识别出最大纯色区域或幕布区域，并确定所述投影光机的目标投影区域，再执行所述将多个所述位置点的所述第二坐标值进行平面拟合的步骤；

所述根据所述拟合平面与所述第二坐标系的坐标轴平面之间的夹角，对所述投影光机进行梯形校正包括：

根据对所述投影光机进行梯形校正，且使得所述投影光机的实际投影区域完全落入所述目标投影区域内。

本实施例中在进行梯形校正之前还进行了目标投影区域的划定，使得投影光机在梯形校正过程中可以自适应的选择合适的投影区域，进一步地将环境影响降低。

在本申请的另一可选的实施例中，所述将多个所述位置点的所述第二坐标值进行平面拟合包括：

剔除所述目标投影区域之外的位置点；

根据位于所述目标投影区域之内的位置点的第二坐标值进行平面拟合。

考虑到目标区域是基于RGBD相机识别出的纯色区域或者幕布所在区域确定出来的，也即是投影光机最终需要投影的区域，也即是说目标投影区域是不存在环境干扰适合投影的区域，那么以该目标投影区域内的位置点拟合出的拟合平面可排除外界环境的干扰，避免遮挡部位的位置点也参与平面拟合，使得最终获得的拟合平面精度较低的问题。

在本申请的另一可选地实施例中，在根据所述拟合平面与所述第二坐标系的坐标轴平面之间的夹角，对所述投影光机进行梯形校正之后，还可以包括：

通过所述投影光机内置的陀螺仪检测的加速度方向和所述投影光机投影方向的夹角，对所述投影光机沿光轴方向的旋转角进行调整。

除了对投影区域的形状进行校正，还利用陀螺仪对投影光机的俯仰角进行调整，进而实现投影光机投影过程中对投影画面更为完善的调节，为投影光机的投影效果提供保障，提升投影光机的投影效果。

本申请还提供了一种投影仪的梯形校正装置，包括：

第一坐标模块，用于通过RGBD相机拍摄获得投影光机的投影面上多个位置点在第一坐标系中的第一坐标值；其中，所述第一坐标系为在所述RGBD相机的光学系统中的空间三维直角坐标系；

第二坐标模块，用于根据预先确定的所述第一坐标系和所述第二坐标系之间的转换关系与所述第一坐标值，确定所述位置点在所述第二坐标系中的第二坐标值；其中，所述第二坐标系为在所述投影光机的光学系统中的空间三维直角坐标系；

平面拟合模块，用于将多个所述位置点的所述第二坐标值进行平面拟合，获得拟合平面；

梯形校正模块，用于根据所述拟合平面与所述第二坐标系的坐标轴平面之间的夹角，对所述投影光机进行梯形校正。

本实施例是上述投影仪的梯形校正方法对应的软件模块的实施例，其技术效果和上述梯形校正方法的技术方案以及技术效果类似，在此不再赘述。

本申请还提供了一种投影仪的梯形校正系统，包括投影光机、RGBD相机以及处理器；

所述投影光机用于投射投影画面；

所述RGBD相机用于对所述投影画面所在的平面进行拍摄；

所述处理器分别和所述投影光机以及所述RGBD相机相连接，用于根据所述RGBD相机拍摄到的画面执行如权利要求1至5任一项所述的投影仪的梯形校正方法的操作步骤。

本实施例中的RGBD相机、投影光机以及处理器相互配合，RGBD相机拍摄投影光机投影的投影画面，处理器基于RGBD相机拍摄投影画面话的的位置点的深度信息，用于执行上述投影仪的梯形校正方法的操作步骤，简单准确的实现投影光机的梯形校正，给用户提供良好的观看效果。

在本申请的另一可选的实施例中，所述RGBD相机为结构光相机、tof相机或双目相机中的任意一种相机。

在本申请的另一可选的实施例中，所述投影仪内置有陀螺仪。

通过陀螺仪实现投影光机沿光轴方向的旋转角的调整，进一步地提高投影光机的调整效果。

本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储的计算机程序，可实现如上任一项所述的投影仪的梯形校正方法的操作步骤。

本实施例中提供的计算机可读存储介质中的计算机程序被执行时，能够准确高效率的实现投影光机的梯形校正。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的投影仪的梯形校正方法的流程示意图；

图2为本申请实施例提供的确定转换关系的流程示意图；

图3为相机标定原理的光路原理示意图；

图4为本申请实施例提供的原图像的示意图；

图5为图4中的原图像的畸变图像的示意图；

图6a为本申请实施例提供的目标投影区域的示意图；

图6b为本申请实施例提供的另一种目标投影区域的示意图

图7为本申请另一实施例提供的投影仪的梯形校正方法的流程示意图；

图8为本发明实施例提供的投影仪的梯形校正装置的结构框图。

具体实施方式

本发明的核心是提供一种投影仪的梯形校正方法、装置、系统以及计算机可读存储介质，无需通过复杂的几何运算，即可实现投影仪的梯形校正。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，图1为本申请实施例提供的投影仪的梯形校正方法的流程示意图，该方法可以包括：

步骤S11：RGBD相机拍摄投影光机的投影面的图像，获得投影面上多个位置点在第一坐标系中的第一坐标值。

需要说明的是，对于RGBD相机而沿其光轴方向和投影光机的光轴方向大体上一致，当投影光机向投影面投影出投影画面时，该投影画面应当在RGBD相机拍摄的图像内。

具体地，投影面是指投影光机用于投射画面的面，本实施例中RGBD相机在拍摄图像时，投影光机可以向投影面投影，也可以不投影，都不影响本申请的实现，只要RGBD相机拍摄的图像是投影光机需要投射画面的面上的图像即可。

另外，第一坐标系为在RGBD相机的光学系统中的空间三维直角坐标系。也即是说第一坐标值为投影面上的位置点在RGBD相机的空间三维直角坐标系中的坐标值。该RGBD相机的三维直角坐标系也即是第一坐标系中，X轴和Y轴均和RGBD相机的成像平面边长相平行，Z轴方向即为该RGBD相机的光轴，原点为RGBD相机的镜片光心位置。

步骤S12：根据预先确定的第一坐标系和第二坐标系之间的转换关系与第一坐标值，确定位置点在第二坐标系中的第二坐标值。

需要说明的是，第一坐标系和第二坐标系之间的转换关系，也就是空间中的一点在第一坐标系和第二坐标系两个坐标系中的两个坐标值之间的转换关系。

另外，第二坐标系为投影光机的光学系统中的空间三维直角坐标系，Z轴沿投影光机的投射方向，原点为投影光机镜片的光心。

在投影光机实际投入应用后，投影光机和RGBD相机之间的相对位置及姿态就不再发生改变，也即是说二者的相对位置关系固定，进而第一坐标系和第二坐标系之间的转换关系固定。由此即可提前获得投影光机的对应的第二坐标系和RGBD相机对应的第一坐标系之间的转换关系；根据该转换关系，对于投影面上的任意一个位置点，已知其在第一坐标系下的坐标值后，即可确定该位置点在第二坐标系中的坐标值。

步骤S13：将多个位置点的第二坐标值进行平面拟合，获得拟合平面。

正常情况下投影面是一个平面，在获得该平面上的多个位置点在第二坐标系中的坐标后，即可在该第二坐标系中拟合出该投影面，而该投影面和投影光机之间的角度关系也就可以确定。

步骤S14：根据拟合平面与第二坐标系的坐标轴平面之间的夹角，对投影光机进行梯形校正。

因为第二坐标系的Z轴和投影光机的光轴重合，确定出拟合平面和第二坐标系中的坐标轴之后，即可确定出该投影面相对于第二坐标系的沿X轴的旋转角和沿Y轴的旋转角，由此即可实现投影光机的梯形校正。

常规的梯形校正过程中，一般需要投影光机向投射面上投射具有特定图案的投影画面，并通过相机拍摄获得投影画面上特定的特征点之间的相对位置信息，再经过复杂的几何运算，确定出投影画面相对于投影光机的偏转角度，进而实现梯形校正。但是这种方式需要投影光机投射的图案需要具有特定的特征点，并基于该特征点进行梯形校正，一旦特征点出现局部遮挡，则会造成校正精度低甚至校正失败。

因此，本申请中的RGBD相机拍摄投影面时，并不需要识别某几个特定位置点，而只需获得投影面上大量的位置点的相对于RGBD相机的位置信息；因为采用RGBD相机可以获得位置点的深度信息，因此该位置点是任何形式的点甚至包括无识别性的纯色区域的点。也就是说本申请中的梯形校正不依赖于投影光机投射的画面，甚至在投影光机不投射画面时都能够实现投影光机的梯形校正，也就完全可以避免投影遮挡的问题。在确定投影面上各个位置点相对于投影光机的位置坐标后，将各个位置点进行平面拟合获得的拟合平面，因为该拟合平面是基于位置点在投影光机对应的第二坐标系中的坐标值拟合获得的，那么拟合平面和第二坐标系的坐标轴平面，如xoy面之间的相对位置关系即可确定。如前所述，第二坐标系的Z轴方向即是投影光机的投影光轴方向，因此即可确定拟合平面相对于投影光机的投射方向的偏转角度和方向，进一步地根据该偏转角度和方向，即可实现投影光机的梯形校正。

需要说明的是，本申请中提供的投影仪的梯形校正方法，可以广泛应用于长焦距投影仪、短焦距投影仪、激光电视等等涉及到图像投影的设备的梯形校正，对此本申请中不做具体限定。

本申请中利用了RGBD相机可获得拍摄的投影面中的位置点的深度信息的优点，结合RGBD相机和投影光机之间的相对姿态不变的原理，确定各个位置点在投影光机的空间三维直角坐标系中的坐标值，也即相当于确定了各个位置点和投影光机之间的相对位置关系，并通过拟合平面的方式确定各个位置点所在平面和投影光机的投射方向之间的相对位置关系，无需进行几何运算，更不需要投影光机投影特定的图案，能够快速有效的完成投影仪的梯形校正。

如前所述，本申请中需要预先确定RGBD相机和投影光机之间的相对位置和姿态，以确定第一坐标系和第二坐标系之间的转换关系。下面就以具体实施例介绍本申请中确定上述步骤S13中的转换关系的过程，如图2所示，图2为本申请实施例提供的确定转换关系的流程示意图，该过程可以包括：

步骤S21：通过投影光机将带有特征点的原图像投影至投影屏幕上。

需要说明的是，本实施例中提供的确定转换关系的过程，可以是在投影光机投入使用之前，在工厂内进行完成的。

对于带有特征点的原图像，可以采用棋盘格图像，或者其他具有大量特征点的阵列图像，对此本申请中不做具体限定。

步骤S22：通过RGBD相机拍摄获得投影点在第一坐标系中投影点第一坐标值。

步骤S23：根据投影点和特征点之间满足的小孔成像原理，结合投影点分别在第一坐标系和第二坐标系中的坐标值之间满足的转换关系，确定投影点第一坐标值和特征点坐标值之间满足的对应关系。

具体地，特征点坐标值为原图像中的特征在在投影光机的像素坐标系中的坐标值。

步骤S24：根据对应关系，结合多组投影点第一坐标值和特征点坐标值，解算出转换关系的相关参数。

具体地，图3为小孔成像原理的光路原理示意图。如3图所示，基于小孔成像原理，在相机坐标系下点P经过相机的光心，并在相机的成像平面成像P’点，那么P’在相机的像素坐标系中的坐标值，和P点在相机坐标系中的坐标值即满足相似三角形的几何原理，也就是说P点的x轴值坐标和y轴坐标值与P’点x轴值坐标和y轴坐标值之间满足一定的比例关系。因为小孔成像原理是光学器件中较为成熟的光学模型技术，对于P点和P’点的在两个坐标系中满足的坐标关系在此就不做详细推导。

本实施例中投影光机的原图像中的特征点在投影光机的像素坐标系中的坐标值为特征点坐标值，而该原图像中的特征点在投影画面中投影成像形成的投影点在投影光机的第二坐标系中的坐标为投影点第二坐标值。显然，特征点和投影点是基于投影光机的镜片光心相互投射的，相应地，特征点坐标值和投影点第二坐标值之间也满足小孔成像原理。

在实际选取设定原图像时，可以选择如图4所示的棋盘格图像，图4为本申请实施例提供的原图像的示意图，以棋盘格中的角点作为特征点，既具有较高的分别率，特征点的数量又足够的多。

设定原图像中的某一个特征点为A点，因为投影光机的像素坐标系为平面直角坐标系，为此设定A点的特征点坐标值为(u,v)，投影点A_c的投影点第二坐标值为(x_c,y_c,z_c)。

因为A_c的投影点坐标值为(x_c,y_c,z_c)为三维直角坐标系中的坐标值，A点的特征点坐标值为(u,v)为二维直角坐标系中的坐标值，因此需要将A_c的投影点坐标值转换为二维直角坐标系中的坐标，转换公式如下：

转换后的A_c的投影点二维坐标值为(x',y')。

进一步地考虑到在投影光机的投影过程中由A点到A_c点存在畸变，如图5所示，图5为图4中的原图像的畸变图像的示意图。为此对A_c的投影点二维坐标值进行畸变校正，具体校正公式如下：

由此获得A_c的进行畸变校正后的投影点二维坐标值(x",y")；其中，r²＝x'²+y'²，k₁、k₂、k₃、k₄、k₅、k₆、p₁、p₂、s₁、s₂、s₃以及s₄均为和投影光机相关的常数参数。

进一步地，依据如前所述的小孔成像原理，特征点A和投影点A_c的坐标值之间满足的几何关系，即可得到：

其中，f_x和f_y分别为所述投影光机的x轴方向以像素为单位表示的焦距参量和y轴方向以像素为单位表示的焦距参量；c_x和c_y分别为所述投影光机的x轴方向的光心参量和y轴方向的光心参量。

令RGBD相机拍摄投影点A_c确定的A_c点在RGBD相机的对应的第一坐标系中的坐标值为投影点第一坐标值(x,y,z)；设定投影点A_c的投影点第一坐标值和投影点第二坐标值之间满足转换关系：

(x,y,z)^T＝R·(x_c,y_c,z_c)^T+t；其中，(x,y,z)^T为投影点第一坐标值的列向量；(x_c,y_c,z_c)^T为投影点第二坐标值的列向量；R和t为所述转换关系的转换参数，该转换关系也即是第一坐标系和第二坐标系之间的转换关系。

进一步地，将该转换关系和上述推导公式结合，即可获得对于投影点A_c在RGBD相机中的投影点第一坐标值和原图像中的特征点在RGBD相机的像素坐标系中的特征点坐标值之间满足：

(u,v)^T＝F(R,t,f_x,f_y,c_x,c_y)·(x,y,z)^T；其中，(u,v)^T为所述特征点坐标值的列向量，F(R,t,f_x,f_y,c_x,c_y)为关于R,t,f_x,f_y,c_x,c_y的函数。

因为原图像中存在大量的特征点，且特征点在像素坐标系中的特征点坐标值是已知的，根据图像中特征点匹配原理，可以确定各个特征点在投影图像中对应的投影点，而各个投影点在第一坐标系中的投影点第一坐标值可通过RGBD相机获得，由此，即可多组(u,v)^T以及(x,y,z)^T，结合上述推导公式，即可解算出k₁、k₂、k₃、k₄、k₅、k₆、p₁、p₂、s₁、s₂、s₃、s₄以及R,t,f_x,f_y,c_x,c_y等参数。

因为R和t为转换关系的转换参数，由此在解算出R和t之后，即可确定出第一坐标系和第二坐标系之间的转换关系，也即是空间中的一点在两个坐标系中的坐标值的转换关系。

本实施例中通过投影光机投影具有大量特征点的图案，并利用投影光机中原图像上的特征点和投影画面上的投影点之间满足的小孔成像原理的关系，以及投影点在RGBD相机的第一坐标系中的坐标和投影光机的第二坐标系中的坐标之间的联系，建立了RGBD相机拍摄的投影点获得的投影点第一坐标值和原图像中的特征点在像素坐标系中的特征点坐标值之间的对应关系，并利用这一对应关系可解算出投影光机的内参数以及投影光机和RGBD相机之间的外参数，进而确定根据预先确定的所述第一坐标系和所述第二坐标系之间的转换关系。

通过在投影仪投入使用前，建立更为简单易操作的特定的投影环境，并利用相机标定原理实现各种参数解算的过程，为后续投影仪的使用提供有效的参数数据，简化了后续投影仪应用过程中的运算过程，加快投影仪梯形校正过程。

基于上述任意实施例，可知对于投影仪而言，其投射到投影面上的各个成像的位置点，和投影光机中已有的原图像中的点也就是满足小孔成像原理的。

若将原图像中的点投影至投影面上视为一种投影映射关系，那么投影光机的投影区域内各个位置点，对应的原图像中投影映射点，应当都集中于原图像所在平面上的一个小的像素区域内；该像素区域也即是原图像所在区域，且位于该像素区域的投影映射点的像素坐标值也应当落入该像素区域内。

而RGBD相机在拍摄投影面的图像时，所拍摄的图像区域是稍大于投影光机的投影区域。为此，如果RGBD相机拍摄的投影面上的位置点对应的投影映射点并不位于像素区域内，则说明该位置点并不位于投影光机的投影区域内。

为此，在本申请的另一具体实施例中，上述步骤S12之后，步骤S13之前，也即是通过RGBD相机获得投影面上各个位置点的第一坐标值确定相应的第二坐标值之后，根据多个第二坐标值进行平面拟合之前，还可以进一步地包括：

基于小孔成像原理和多个第二坐标值，确定投影光机的投影区域；

通过RGBD相机拍摄获得的投影面图像中识别出最大纯色区域或幕布区域，并确定投影光机的目标投影区域，再执行将多个位置点的第二坐标值进行平面拟合的步骤；

根据拟合平面与第二坐标系的坐标轴平面之间的夹角，对投影光机进行梯形校正包括：

根据对投影光机进行梯形校正，且使得投影光机的实际投影区域完全落入目标投影区域内。

与上一实施例同理，本实施例中基于平面上的位置点和投影光机的像素区域中的点满足的小孔成像原理，即可确定出RGBD相机拍摄的投影面上那一部分区域是属于投影区域。

考虑到投影环境中可能存在遮挡，或者投影区域偏移出幕布等情况，在进行梯形校正之前，可以先通过RGBD相机拍摄包括投影区域在内的区域的图像，并在图像中识别出最适宜投影的目标投影区域。

对于目标投影区域，可以参考图6a和图6b，图6a为本申请实施例提供的目标投影区域的示意图，图6b为本申请实施例提供的另一种目标投影区域的示意图。

在图6a中，在RGBD相机拍摄的图像1中，纯色区域3即为目标投影区域，而梯形的投影区域2即为当前投影光机能够投射画面的区域。一般情况下，投影区域2和纯色区域2之间存在重合区域，在进行梯形校正时，可以使得投影光机投射到目标投影区域之外的部分的像素失效；投影光机最终可投射的区域也只能是目标投影区域和投影区域2之间重合的区域，也即是说使得投影画面最终只落到目标投影区域和投影区域2重合的区域，并在该区域内投射矩形画面。

在图6b中，图像1中的纯色区域3与梯形的投影区域3的重合区域划分为目标投影区域4，在进行梯形校正时，同样是将投影画面全部落到目标投影区域4内，并投射矩形画面。

对于图6a和图6b中进行梯形校正的方式完全相同，仅仅是在目标投影区域的区域划分略有不同，而实现梯形校正过程是完全相同的。

需要说明的是，对于投影光机而言，其投射画面的区域调整方式存在两种，一种是将投影光机的位置、光轴等进行调整，进而实现投影光机投射的画面在幕布等投影面上实现位置移动；另一种是将投影光机中的原图像进行调整，例如，投影光机的投影区域为梯形，可以通过将原图像调整为梯形，经过投影光机投射后，即可在投影平面上显示出矩形画面，与此同时也就无需调整投影光机的光轴。

在不改变投影光机的位置和光轴的情况下，投影光机能够投射的区域范围是确定的，也即是上述步骤中通过小孔成像原理获得的投影区域。在通过对原图像进行一定的调整，也即是使得投影光机原图像中部分像素区域失效，可以实现实际投影区域相对于该投影区域在一定程度的收缩，最终形成矩形的实际投影区域。

本实施例中在对投影仪进行梯形校正时，将投影光机的实际投影区域收缩到投影区域和纯色区域(或幕布)的重合区域，避免了投影环境中遮挡物的干扰，提升投影仪的投影效果。

进一步地，在本申请的另一具体实施例中，在确定目标投影区域后，在进行平面拟合时，具体可以包括：

剔除目标投影区域之外的位置点；

根据位于目标投影区域之内的位置点的第二坐标值进行平面拟合。

如前所述，本申请中的位置点，实际上时RGBD相机能够拍摄到的图像中的位置点，在RGBD相机拍摄图像中的各个位置点均位于同一个平面上时，根据位置点拟合出的平面则必然是投影区域所在的平面，但是若是边角区域存在遮挡，或者是部分区域为幕布边框区域。那么拍摄到的图像中的位置点则并不都是投影面上的位置点，RGBD相机拍摄到的所有位置点的第二位置坐标均参与平面拟合，拟合的平面也就不能代表投影区域所在平面，以该位置点拟合得到的平面进行梯形校正，显然会降低梯形校正的精度。

并且，投影光机当前投影区域中可用的位置点，是和目标投影区域重合部分的位置点，投影光机最终需要投射的画面也必然需要位于目标投影区域内，因此，可将目标投影区域内的位置点作为拟合依据，进一步排除外界环境对梯形校正的影响。

基于上述任意实施例，在本申请的另一具体实施例中，如图6所示，图7为本申请另一实施例提供的投影仪的梯形校正方法的流程示意图，该方法可以包括：

步骤S31：RGBD相机拍摄投影面所在平面的投影图像，获得投影图像中的多个位置点在第一坐标系中的第一坐标值。

步骤S32：根据预先确定的第一坐标系和第二坐标系之间的转换关系与第一坐标值，确定位置点在第二坐标系中的第二坐标值。

步骤S33：根据各个位置点的第二坐标值和对应的源位置点的源位置点坐标之间的投影映射关系，确定源位置点位于预设区域对应的位置点。

预设区域为在投影光机的像素坐标系中原图案所在的区域。

步骤S34：根据投影映射点位于预设像素点对应的位置点的第二坐标值，确定RGBD相机拍摄的投影图像中的投影区域。

步骤S35：通过RGBD相机拍摄投影面获得的投影图像中识别出纯色区域或幕布区域，并结合投影区域确定出目标投影区域。

本实施例中的投影区域为图6b中的目标投影区域。

步骤S36：将位于目标投影区域之外的位置点剔除。

步骤S37：根据位于目标投影区域之内的位置点的第二坐标值拟合获得拟合平面。

步骤S38：根据拟合平面和第二坐标系的坐标轴平面之间的夹角，对投影光机进行梯形校正，并使得进行梯形校正后的投影光机的投影区域完全落入目标区域内。

步骤S39：通过投影光机内置的陀螺仪检测的加速度方向和投影光机投影方向的夹角，对投影光机沿光轴方向的旋转角进行调整。

需要说明的是，通过RGBD相机拍摄投影平面的图像对投影光机进行校正，仅能保证投影光机投射的投影区域为矩形，并不能确定投影光机投射的画面是否以光轴为中心发生旋转。

为此，本实施例中进一步地通过陀螺仪检测投影光机的光轴方向，该陀螺仪的一条直角坐标轴可以和投影光机的光轴垂直或者其他固定夹角，且始终保持不变。那么，如果投影光机以光轴为中心发生了旋转，相应的陀螺仪也发生旋转，通过陀螺仪检测的重力方向，即可确定该投影光机的旋转角度。

例如，目前大多数投影光机均是向竖直平面投射画面，若正常情况下，光轴和陀螺仪的z轴方向平行，而重力方向和x轴方向平行，那么，当陀螺仪测得重力方向和x轴方向存在45度夹角，那么即可确定该投影光机发生了旋转，由此可以对投影光机进行调整。

下面对本发明实施例提供的投影仪的梯形校正装置进行介绍，下文描述的投影仪的梯形校正装置与上文描述的投影仪的梯形校正方法可相互对应参照。

图8为本发明实施例提供的投影仪的梯形校正装置的结构框图，参照图8的投影仪的梯形校正装置可以包括：

第一坐标模块100，用于通过RGBD相机拍摄获得投影光机的投影面上多个位置点，在第一坐标系中的第一坐标值；其中，所述第一坐标系为在所述RGBD相机的光学系统中的空间三维直角坐标系；

第二坐标模块200，用于根据预先确定的所述第一坐标系和所述第二坐标系之间的转换关系与所述第一坐标值，确定所述位置点在所述第二坐标系中的第二坐标值；其中，所述第二坐标系为在所述投影光机的光学系统中的空间三维直角坐标系；

平面拟合模块300，用于将多个所述位置点的所述第二坐标值进行平面拟合，获得拟合平面；

梯形校正模块400，用于根据所述拟合平面与所述第二坐标系的坐标轴平面之间的夹角，对所述投影光机进行梯形校正。

可选地，在本申请的另一具体实施例中，还可以进一步地包括转换关系模块，用于预先确定的所述转换关系的过程，具体包括：

投影点单元，用于预先通过所述投影光机将带有特征点的原图像投影至投影屏幕上，获得所述特征点在所述投影屏幕上的投影点；

坐标单元，用于通过所述RGBD相机拍摄获得所述投影点在所述第一坐标系中投影点第一坐标值；

对应关系单元，用于根据所述投影点和所述特征点之间满足的小孔成像原理，结合所述投影点分别在所述第一坐标系和所述第二坐标系中的坐标值之间满足的转换关系，确定所述投影点第一坐标值和所述特征点坐标值之间满足的对应关系：(u,v)^T＝F(R,t,f_x,f_y,c_x,c_y)(x,y,z)^T；其中，(u,v)^T为所述特征点在所述投影光机的像素坐标系中的特征点坐标值的列向量，(x,y,z)^T为所述投影点第一坐标值的列向量，F(R,t,f_x,f_y,c_x,c_y)为关于R,t,f_x,f_y,c_x,c_y的函数，R和t为所述转换关系的转换参数；f_x和f_y分别为所述投影光机的x轴方向以像素为单位表示的焦距参量和y轴方向以像素为单位表示的焦距参量；c_x和c_y分别为所述投影光机的x轴方向的光心参量和y轴方向的光心参量；

参数单元，用于根据所述对应关系，结合多组所述投影点第一坐标值和所述特征点坐标值，获得参数R,t,f_x,f_y,c_x,c_y。

可选地，在本申请的另一具体实施例中，还可以进一步地包括：

目标区域模块，用于基于小孔成像原理和多个所述第二坐标值，确定所述投影光机的投影区域；通过所述RGBD相机拍摄获得的投影面图像中识别出最大纯色区域或幕布区域，并确定所述投影光机的目标投影区域，再执行所述将多个所述位置点的所述第二坐标值进行平面拟合的步骤；

梯形校正模块400具体用于根据对所述投影光机进行梯形校正，且使得所述投影光机的实际投影区域完全落入所述目标投影区域内。

可选地，在本申请的另一具体实施例中，平面拟合模块300具体用于剔除所述目标投影区域之外的位置点；

旋转校正模块，用于在根据所述拟合平面与所述第二坐标系的坐标轴平面之间的夹角，对所述投影光机进行梯形校正之后，通过所述投影光机内置的陀螺仪检测的加速度方向和所述投影光机投影方向的夹角，对所述投影光机沿光轴方向的旋转角进行调整。

本实施例的投影仪的梯形校正装置用于实现前述的投影仪的梯形校正方法，因此投影仪的梯形校正装置中的具体实施方式可见前文中的投影仪的梯形校正方法的实施例部分，例如，第一坐标模块100，第二坐标模块200，平面拟合模块300，梯形校正模块400，分别用于实现上述投影仪的梯形校正方法中步骤S11，S12，S13和S14，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。

本申请中还提供了一种投影仪的梯形校正系统，包括投影光机、RGBD相机以及处理器；

投影光机用于投射投影画面；

RGBD相机用于对投影画面所在的平面进行拍摄；

处理器分别和投影光机以及RGBD相机相连接，用于根据RGBD相机拍摄到的画面执行如上任意实施例的投影仪的梯形校正方法的操作步骤。

本实施例中通过RGBD相机和可进行程序运算的处理器进行配合作用，对投影仪进行梯形校正，运算程序简单易行，且梯形校正的精度高，不易受环境影响。

所述RGBD相机为结构光相机、tof相机或双目相机中的任意一种相机。

所述投影仪内置有陀螺仪。

通过陀螺仪检测投影光机在垂直于光轴方向的旋转角，进一步提高投影画面的质量。

本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储的计算机程序，可实现如上任意实施例所述的投影仪的梯形校正方法的操作步骤。

具体地，该计算机可读存储介质具体可以为随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

Claims

1.一种投影仪的梯形校正方法，其特征在于，包括：

通过RGBD相机拍摄获得投影光机的投影面上多个位置点，在第一坐标系中的第一坐标值；其中，所述第一坐标系为在所述RGBD相机的光学系统中的空间三维直角坐标系；所述RGBD相机拍摄图像的画面包括所述投影光机投影的画面和非所述投影光机投影的画面在内的任意画面；

根据预先确定的所述第一坐标系和第二坐标系之间的转换关系与所述第一坐标值，确定所述位置点在所述第二坐标系中的第二坐标值；其中，所述第二坐标系为在所述投影光机的光学系统中的空间三维直角坐标系；

2.如权利要求1所述的投影仪的梯形校正方法，其特征在于，预先确定的所述转换关系的过程，包括：

3.如权利要求1或2所述的投影仪的梯形校正方法，其特征在于，在确定所述位置点在所述第二坐标系中的第二坐标值之后，还包括：

4.如权利要求3所述的投影仪的梯形校正方法，其特征在于，所述将多个所述位置点的所述第二坐标值进行平面拟合包括：

剔除所述目标投影区域之外的位置点；

5.如权利要求1所述的投影仪的梯形校正方法，其特征在于，在根据所述拟合平面与所述第二坐标系的坐标轴平面之间的夹角，对所述投影光机进行梯形校正之后，还包括：

6.一种投影仪的梯形校正装置，其特征在于，包括：

第一坐标模块，用于通过RGBD相机拍摄获得投影光机的投影面上多个位置点在第一坐标系中的第一坐标值；其中，所述第一坐标系为在所述RGBD相机的光学系统中的空间三维直角坐标系；所述RGBD相机拍摄图像的画面包括所述投影光机投影的画面和非所述投影光机投影的画面在内的任意画面；

第二坐标模块，用于根据预先确定的所述第一坐标系和第二坐标系之间的转换关系与所述第一坐标值，确定所述位置点在所述第二坐标系中的第二坐标值；其中，所述第二坐标系为在所述投影光机的光学系统中的空间三维直角坐标系；

7.一种投影仪的梯形校正系统，其特征在于，包括投影光机、RGBD相机以及处理器；

所述投影光机用于投射投影画面；

所述RGBD相机用于对所述投影画面所在的平面进行拍摄；

8.如权利要求7所述的投影仪的梯形校正系统，其特征在于，所述RGBD相机为结构光相机、tof相机或双目相机中的任意一种相机。

9.如权利要求7所述的投影仪的梯形校正系统，其特征在于，所述投影仪内置有陀螺仪。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储的计算机程序，可实现如权利要求1至5任一项所述的投影仪的梯形校正方法的操作步骤。