CN114071103A - 一种用于投影仪的自适应左右梯形校正方法 - Google Patents

Abstract

本发明提供了一种用于投影仪的自适应左右梯形校正方法，包括：通过实际测量投影校正图像，计算得出预设标定点被投影机投射出的光线的方向向量；向投影显示面投影带有特征点检测图案的校正图像，利用图像特征检测算法得到预设标定点的坐标位置；预设标定点为中心点和四角点；根据坐标位置得到摄像头所拍摄到投影仪投射出标定点的方向向量；并根据该方向向量得到标定点在投影镜头坐标系下的向量参数方程；计算出标定点在投影仪坐标系下的坐标；计算出投影显示面屏幕与投影镜头光轴的夹角θ。

Description

一种用于投影仪的自适应左右梯形校正方法

技术领域

本发明涉及投影技术领域，具体涉及一种用于投影仪的自适应左右梯形校正方法。

背景技术

投影仪在投影时常常因幕布的位置差异和机器本身位置角度的差异，导致投影时画面会出现畸变，影响用户观影。因此投影仪都会自带显示图像校正功能。目前梯形校正功能分为手动和自动校正。手动校正有4点、8点校正方式，即对图像显示的4个或8个交点进行手动的上下左右移动调整。自动校正是近几年新兴的校正方式，利用一定的传感器设备捕获幕布和投影仪的位置角度信息，自动为用户校正图像显示。传感器设备采用摄像头、tof距离传感器等设备进行信息采集。

利用摄像头采集信息的自动梯形校正技术，是通过投影仪向幕布投射目标画面，通过摄像头拍摄到的图像检测目标画面中的特征点，利用特征点信息和摄像头成像原理，计算出投影仪和幕布的相对位置角度信息，以此来自动调整显示图像。

而利用tof距离传感器的自动梯形校正技术，通过多光点tof传感器获取幕布的整个深度信息，最后得到投影仪的偏移信息，以此来自动调整显示图像。完全利用摄像头技术的自动梯形校正技术，必须要提前计算出摄像头的畸变参数，因为每个摄像头的畸变参数是不同的，不同的参数会导致同一流程的计算结果不同，使得生产出的投影仪每台机器均存在较大的精度误差，直接影响用户体验。对每台投影仪的摄像头计算畸变参数，生产工艺成本是较大的。而tof距离传感器，分有单点和多点tof传感器，其中单点tof传感器的价格便宜，而多点tof传感器的价格较贵，硬件成本较高，实用价值低。且仅依靠tof传感器进行梯形校正，是很难判断遮挡情况的。

发明内容

本专利解决利用摄像头进行梯形校正时，因摄像头的装配差异导致不同投影仪的图像校正精度差的问题。提供了一种用于投影仪的自适应左右梯形校正方法，利用单点tof传感器来校正摄像头参数，来达到每台投影仪使用同一套计算参数均能精准梯形校正的目的。

为了实现上述目的，本发明采用以下技术方案：

一种用于投影仪的自适应左右梯形校正方法，包括：

通过实际测量投影校正图像，计算得出预设标定点被投影机投射出的光线的方向向量；

向投影显示面投影带有特征点检测图案的校正图像，利用图像特征检测算法得到预设标定点的坐标位置；预设标定点为中心点和四角点；根据坐标位置得到摄像头所拍摄到投影仪投射出标定点的方向向量；并根据该方向向量得到标定点在投影镜头坐标系下的向量参数方程；

计算出标定点在投影仪坐标系下的坐标；

计算出投影显示面屏幕与投影镜头光轴的夹角θ。

在一些实施例中，所述通过实际测量投影校正图像，计算得出预设标定点被投影机投射出的光线的方向向量，包括：设投影仪将预设标定点投射到距离投影机点P处，点P实测在投影仪坐标系下的坐标为(x,y,z)，则方向向量为(x/z,y/z,1)，记为(x'_p，y'_p，1)。

在一些实施例中，所述向投影显示面投影带有特征点检测图案的校正图像，利用图像特征检测算法得到预设标定点的坐标位置；预设标定点为中心点和四角点；根据坐标位置得到摄像头所拍摄到投影仪投射出标定点的方向向量；并根据该方向向量得到标定点在投影镜头坐标系下的向量参数方程，具体步骤为：

标定点P1在摄像头成像芯片上的位置为Pc，图像采集到其坐标为(u_c,v_c)，已知镜头的内参矩阵camera_matrix：

根据公式(1)可计算出投影仪投射标定点的光线在摄像头坐标系下的方向向量(x_c,y_c,1)；

式中，(f_xc，f_yc)为摄像头成像芯片在U、V轴上的像素大小，(C_xc，C_yc)为摄像头成像芯片坐标原点相较于光轴的偏移量；(u_c,v_c)为摄像头采集到的标定点在摄像头图像像素坐标系中的位置。

在一些实施例中，由于摄像头存在径向畸变和切向畸变，摄像头存在径向和切向畸变时的畸变公式如下：

式中，(x_c,y_c)为某个标定点在摄像头坐标系下的方向向量，r为该坐标方向向量距离摄像头坐标系原点的距离；(k_1C,k_2C,k_3C)为径向畸变参数，(p₁,p₂)为切向畸变参数。

根据上述方向向量及公式(3)可得到经过畸变后投影仪投射标定点的光线在摄像头坐标系下的方向向量(x’_c，y’_c，1)；

根据摄像头镜头中心和投影镜头中心的相对位置(X_c,Y_c,Z_c)，摄像头拍摄到真实光线上任意点在投影镜头坐标系下的坐标可以表示为(D·x'_c+X_c,D·y'_c+Y_c,D+Z_c)；D为摄像头到投屏区域上标定点的深度距离。

在一些实施例中，所述计算出标定点在投影仪坐标系下的坐标，包括：

将得到向量参数方程，根据联立所得数学关系式求出标定点在投影仪坐标系下的坐标；

预设标定点为投影镜头所投射的光线与摄像头采集到透射光线两者的交点，对于投影镜头坐标系中的同一预设标定点，由于一旦校正图像确认，这个方向向量在投影仪坐标系下是不会变化的；且所有机器的(x’_p，y’_p)都一样；即(D·x'_c+X_c,D·y'_c+Y_c,D+Z_c)＝(x'_p·L,y'_p·L,L)，其中D,L均为待确定的数值，由该式解出

式中，(X_c,Y_c,Z_c)为可直接测量的摄像头镜头中心和投影镜头中心的相对位置，(x’_c，y’_c，1)为经过畸变后投影仪投射标定点的光线在摄像头坐标系下的方向向量，(x'_p，y'_p，1)为投影仪投射标定点的光线在投影仪坐标系中的方向向量；得到该标定点在投影仪坐标系下的坐标(x'_pL,y'_pL,L)；同理可以得到另一个预设标定点在投影仪坐标系下的坐标，记为(x'_prR,y'_prR,R)。

在一些实施例中，所述计算出投影显示面屏幕与投影镜头光轴的夹角θ，包括：

式中，L、R分别是摄像头到投屏区域上两个预设标定点的深度距离；(x'_p，y'_p，1)和(x'_pr,y'_pr,1)为投影仪投射两个标定点的光线在投影仪坐标系中的方向向量。

在一些实施例中，同一个型号不同机器的θ角取决于切向畸变的p1和p2，在另一台机器上初始化一套参数后，通过步骤1-3步计算出投影校正图像中心标定点的L值；此时获取单点tof传感器所获取中心标定点的L’值，来查看摄像头的参数是否正确；如果L’与L值相差较大，就需要校正参数；

已知摄像头内参(f,C)、径向畸变参数(k1C,k2C,k3C)和图像采集到的中心点坐标(u_c,v_c)；通过公式(2)和公式(3)，得到一个关于(p1,p2)的一元一次多项式函数；当获取到两个不同的中心点L’值时，求解出关于(p1,p2)的一元一次多项式函数。

有益效果

本专利结合摄像头和单点tof传感器各自的优点，利用摄像头采集的图像信息进行偏移角度的计算，可处理遮挡情况。同时通过单点tof传感器可校正摄像头的参数信息。达到既能精准校正显示图像，也可降低生产成本的目的。在用户使用带自动梯形校正功能的投影仪时，根据投影仪和幕布的位置角度，自动为用户调节合适的投影显示区域，让投影仪更加智能，更能增加用户使用的便利性。

附图说明

图1为一种用于投影仪的自适应左右梯形校正方法的流程图。

图2为不同坐标系下点的关系图。

图3为显示校正图像。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

相反，本申请涵盖任何由权利要求定义的在本申请的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本申请有更好的了解，在下文对本申请的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本申请。

本发明公开的一种用于投影仪的自适应左右梯形校正方法，是利用摄像头捕捉校正画面，检测出特征点，计算出投影仪和投影显示面的距离信息，再利用单点tof传感器获取的距离值，对摄像头参数进行校正，对距离信息再次进行校正。利用校正后的多点距离信息计算出投影仪和投影显示面的左右偏移角度，来校正显示画面。图1为该方法的流程图。图2为不同坐标系下点P的位置关系图。

所述方法包括以下步骤：

步骤1：首先在校正前，通过实际测量投影校正图像(见图3)，计算得出预设标定点(如棋盘格、ArUco码等)被投影机投射出的光线的方向向量。假设投影仪将预设标定点投射到距离投影机点P处，点P实测在投影仪坐标系下的坐标为(x,y,z)，则方向向量为(x/z,y/z,1)，记为(x'_p，y'_p，1)。

一旦校正图像确认，这个方向向量在投影仪坐标系下是不会变化的。且所有机器的(x'_p，y'_p)都一样。因此只要提前计算好参数，保存好即可。

步骤2：向投影显示面投影带有特征点检测图案(如棋盘格、ArUco码)的校正图像，利用图像特征检测算法得到预设标定点的坐标位置。预设标定点为中心点和四角点。再根据坐标位置得到摄像头所拍摄到投影仪投射出标定点的方向向量，并根据该方向向量得到标定点在投影镜头坐标系下的向量参数方程。

Pc为标定点P1在摄像头成像芯片上的位置，图像采集到其坐标为(u_c,v_c)，已知镜头的内参矩阵camera_matrix：

根据公式(1)可计算出投影仪投射标定点的光线在摄像头坐标系下的方向向量(x_c,y_c,1)。

式中，(f_xc，f_yc)为摄像头成像芯片在U、V轴上的像素大小，(C_xc，C_yc)为摄像头成像芯片坐标原点相较于光轴的偏移量。(u_c,v_c)为摄像头采集到的标定点在摄像头图像像素坐标系中的位置。

但实际上摄像头存在畸变，包括径向畸变和切向畸变。公式(3)为摄像头存在径向和切向畸变时的畸变公式。

式中，(x_c,y_c)为某个标定点在摄像头坐标系下的方向向量，r为该坐标方向向量距离摄像头坐标系原点的距离。(k_1C,k_2C,k_3C)为径向畸变参数，(p₁,p₂)为切向畸变参数。

根据上述方向向量及公式(3)可得到经过畸变后投影仪投射标定点的光线在摄像头坐标系下的方向向量(x’_c，y’_c，1)。

因投影镜头和摄像头直接的相对旋转关系可忽略，可不计入计算中。

根据摄像头镜头中心和投影镜头中心的相对位置(X_c,Y_c,Z_c)，摄像头拍摄到真实光线上任意点在投影镜头坐标系下的坐标可以表示为(D·x'_c+X_c,D·y'_c+Y_c,D+Z_c)。D为摄像头到投屏区域上标定点的深度距离。

步骤3：将步骤1、步骤2中所得到向量参数方程，根据联立所得数学关系式求出标定点坐标。

预设标定点为投影镜头所投射的光线与摄像头采集到透射光线两者的交点，对于投影镜头坐标系中的同一预设标定点，根据1所获得的坐标与根据2所获得的坐标应当一致，因此：(D·x'_c+X_c,D·y'_c+Y_c,D+Z_c)＝(x'_p·L,y'_p·L,L)，其中D,L均为待确定的数值，由该式解出

式中，(X_c,Y_c,Z_c)为可直接测量的摄像头镜头中心和投影镜头中心的相对位置，(x’_c，y’_c，1)为经过畸变后投影仪投射标定点的光线在摄像头坐标系下的方向向量，(x'_p，y'_p，1)为投影仪投射标定点的光线在投影仪坐标系中的方向向量。

进一步可得到该标定点在投影仪坐标系下的坐标(x'_pL,y'_pL,L)。

同理可以得到另一个预设标定点在投影仪坐标系下的坐标，记为(x'_prR,y'_prR,R)。

步骤4：根据上述两标定点的坐标，可以计算出投影显示面屏幕与投影镜头光轴的夹角。

式中，L、R分别是摄像头到投屏区域上两个预设标定点的深度距离。(x'_p，y'_p，1)和(x'_pr,y'_pr,1)为投影仪投射两个标定点的光线在投影仪坐标系中的方向向量。

但在实际使用时，我们会求解投影仪坐标系中同一x坐标的多个标定点的L值和R值，取平均

和

来计算θ。一能提高计算精度，二能避免当某些投影区域被遮挡的时候，无法校正的问题。即遇到遮挡，本专利仍可以继续校正。

步骤5：得到θ后，根据投射比和透视变换公式，可投影图像几何变形后的4个顶点在投影显示芯片上的坐标位置，再根据这四个坐标位置进行校正。

因步骤5与本专利要解决的技术问题相关性不大，故简单描述。在本专利中，重要是如何求解同一个型号不同机器的θ角。从2中可得出摄像头的畸变会影响θ角的求解。

同一个型号的机器所选取的摄像头也是同一个型号，那么摄像头的内参和径向畸变通常是不会变的，但因生产装配工艺的问题，切向畸变可能是不同的。那么求出切向畸变的p1和p2即可。

在另一台机器上初始化一套参数后，通过步骤1-3可以计算出投影校正图像中心标定点的L值。此时获取单点tof传感器所获取中心标定点的L’值，来查看摄像头的参数是否正确。如果L’与L值相差较大的话，就需要校正参数。

已知摄像头内参(f,C)、径向畸变参数(k_1C,k_2C,k_3C)和图像采集到的中心点坐标(u_c,v_c)。通过公式(2)和公式(3)，就可以得到一个关于(p₁,p₂)的一元一次多项式函数。当获取到两个不同的中心点L’值时，就可以求解出关于(p₁,p₂)的一元一次多项式函数了。

一台机器只需计算出一次(p₁,p₂)值，后续便无需再计算。保存好参数，就可以用于后续的计算。每次计算，重复步骤2-5即可。

根据上述技术方案，参照图1的自适应左右梯形校正方法的流程图，所述方法具体实施例如下：

步骤1：通过实际测量手段、已知的硬件资料和摄像头标定技术，可以提前采集到一些计算参数，包括摄像头内参、预设标定点在投影仪坐标系下的方向向量。本专利实施过程中，所选取的摄像头的焦距f＝1.81mm,分辨率是640*480，像元尺寸dx*dy:2.2μm*2.2μm,那么内参f_xc＝dx/f＝0.00121,f_yc＝dy/f＝0.00121,C_xc＝C_x*dx/f＝640/2*0.00121＝0.3872,C_yc＝C_y*dy/f＝480/2*0.00121＝0.2904。

而投影仪投射镜头的内参可通过实际测量预定坐标点和公式(1～3)的反向推导，得到f_xp＝0.000428,f_yp＝0.000437,C_xp＝0.411,C_yp＝0.235。

以上摄像头和投射镜头的内参在同一个型号机器上，是不会有变化的。径向畸变参数(k_1C,k_2C,k_3C)也基本上不会有变化。变化的有可能是切向畸变参数(p₁,p₂)。

通过摄像头标定技术计算样机A摄像头的畸变参数，得到k_1C＝-45.2245、k_2C＝2022.927、k_3C＝-14490.367、p₁＝6.018988、p₂＝2.16042。

摄像头镜头中心和投影镜头中心的相对位置(X_c,Y_c,Z_c),通过实际测量为(3.52cm，2.99cm，0)。

假设投影图像为1920*1080像素的图像，预选特征点为P1(400，580)和P2(1520，580)两个点，利用投影仪的焦距等参数进行公式(2)的计算，得到(x'_p1,y'_p1,1)＝(-0.24,0.018,1)，(x'_p2,y'_p2,1)＝(0.24,0.018,1)。

步骤2：在1m处向投影显示面投影校正图像，利用图像特征检测算法得到预设标定点P1和P2在摄像头采集图像的坐标位置(u_c1，v_c1)＝(76,241),(u_c2，v_c2)＝(427,240)。

将以上获取到的参数带入到公式(2、3)中，那么得到P1的(x'_c1,y'_c1)＝(-0.275，-0.0602)，P2的(x'_c2,y'_c2)＝(0.204，-0.01177)。

步骤3：将步骤1、2中的参数代入到公式4中，得到L＝99.863cm，R＝99.776cm。

步骤4：最后将1、3中的参数代入公式5，得到θ＝0.2°。实际操作中，会计算多个标定点的L值和R值，取平均

和

来计算。此次左右暂取一个标定点来求θ角。

步骤5：得到θ后，根据投射比T＝1/1.88和透视变换公式，来计算投影图像几何变形后的4个顶点在投影显示芯片上的坐标位置，再根据这四个坐标位置进行校正。因θ＝0.2°，变化很小，故实际上不会再进行校正。通常θ角大于3°，就需要重新计算顶点位置，进行校正了。

如果我们拿到另外一台样机B，对获取到的中心标定点用样机A的参数重复1～3的计算，得到L＝150cm。此时我们从单点tof测量仪中获取到距离L’＝100cm。L与L’距离不同。需要根据实际距离去调整参数。

通过两次调整样机B的位置，得到预设中心标定点P分别在1m和2m时，样机B的摄像头采集图像的中心点的坐标位置P_1m(U_{c_1m}，V_{c_1m})＝(347,216),P_2m(U_{c_2m}，V_{c_2m})＝(324,217)。

而中心点的投影仪坐标系下的方向向量(x'_pm,y'_pm,1)参照步骤1，可计算出(x'_pm,y'_pm,1)＝(0，0，1)。

通过公式(2、3、4)的联合运算，已知L、(x'_p，y'_p)、(u_c,v_c)、(k_1C,k_2C,k_3C)等参数，求解未知参数(p₁,p₂)。可解出(p₁,p₂)＝(4.99，-0.969)。

将新的参数代入到样机B的测量中，即可根据样机B采集的数据，计算正确的θ角。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种用于投影仪的自适应左右梯形校正方法，其特征在于，包括：

通过实际测量投影校正图像，计算得出预设标定点被投影机投射出的光线的方向向量；

向投影显示面投影带有特征点检测图案的校正图像，利用图像特征检测算法得到预设标定点的坐标位置；预设标定点为中心点和四角点；根据坐标位置得到摄像头所拍摄到投影仪投射出标定点的方向向量；并根据该方向向量得到标定点在投影镜头坐标系下的向量参数方程；

计算出标定点在投影仪坐标系下的坐标；

计算出投影显示面屏幕与投影镜头光轴的夹角θ。

2.根据权利要求1所述的一种用于投影仪的自适应左右梯形校正方法，其特征在于，所述通过实际测量投影校正图像，计算得出预设标定点被投影机投射出的光线的方向向量，包括：设投影仪将预设标定点投射到距离投影机点P处，点P实测在投影仪坐标系下的坐标为(x,y,z)，则方向向量为(x/z,y/z,1)，记为(x'_p，y'_p，1)。

3.根据权利要求2所述的一种用于投影仪的自适应左右梯形校正方法，其特征在于，所述向投影显示面投影带有特征点检测图案的校正图像，利用图像特征检测算法得到预设标定点的坐标位置；预设标定点为中心点和四角点；根据坐标位置得到摄像头所拍摄到投影仪投射出标定点的方向向量；并根据该方向向量得到标定点在投影镜头坐标系下的向量参数方程，具体步骤为：

标定点P1在摄像头成像芯片上的位置为Pc，图像采集到其坐标为(u_c,v_c)，已知镜头的内参矩阵camera_matrix：

根据公式(1)可计算出投影仪投射标定点的光线在摄像头坐标系下的方向向量(x_c,y_c,1)；

式中，(f_xc，f_yc)为摄像头成像芯片在U、V轴上的像素大小，(C_xc，C_yc)为摄像头成像芯片坐标原点相较于光轴的偏移量；(u_c,v_c)为摄像头采集到的标定点在摄像头图像像素坐标系中的位置。

4.根据权利要求3所述的一种用于投影仪的自适应左右梯形校正方法，其特征在于，由于摄像头存在径向畸变和切向畸变，摄像头存在径向和切向畸变时的畸变公式如下：

式中，(x_c,y_c)为某个标定点在摄像头坐标系下的方向向量，r为该坐标方向向量距离摄像头坐标系原点的距离；(k_1C,k_2C,k_3C)为径向畸变参数，(p₁,p₂)为切向畸变参数。

根据上述方向向量及公式(3)可得到经过畸变后投影仪投射标定点的光线在摄像头坐标系下的方向向量(x’_c，y’_c，1)；

根据摄像头镜头中心和投影镜头中心的相对位置(X_c,Y_c,Z_c)，摄像头拍摄到真实光线上任意点在投影镜头坐标系下的坐标可以表示为(D·x'_c+X_c,D·y'_c+Y_c,D+Z_c)；D为摄像头到投屏区域上标定点的深度距离。

5.根据权利要求4所述的一种用于投影仪的自适应左右梯形校正方法，其特征在于，所述计算出标定点在投影仪坐标系下的坐标，包括：

将得到向量参数方程，根据联立所得数学关系式求出标定点在投影仪坐标系下的坐标；

预设标定点为投影镜头所投射的光线与摄像头采集到透射光线两者的交点，对于投影镜头坐标系中的同一预设标定点，由于一旦校正图像确认，这个方向向量在投影仪坐标系下是不会变化的；且所有机器的(x’_p，y’_p)都一样；即(D·x'_c+X_c,D·y'_c+Y_c,D+Z_c)＝(x'_p·L,y'_p·L,L)，其中D,L均为待确定的数值，由该式解出

式中，(X_c,Y_c,Z_c)为可直接测量的摄像头镜头中心和投影镜头中心的相对位置，(x’_c，y’_c，1)为经过畸变后投影仪投射标定点的光线在摄像头坐标系下的方向向量，(x'_p，y'_p，1)为投影仪投射标定点的光线在投影仪坐标系中的方向向量；得到该标定点在投影仪坐标系下的坐标(x'_pL,y'_pL,L)；同理可以得到另一个预设标定点在投影仪坐标系下的坐标，记为(x'_prR,y'_prR,R)。

6.根据权利要求5所述的一种用于投影仪的自适应左右梯形校正方法，其特征在于，所述计算出投影显示面屏幕与投影镜头光轴的夹角θ，包括：

式中，L、R分别是摄像头到投屏区域上两个预设标定点的深度距离；(x'_p，y'_p，1)和(x'_pr,y'_pr,1)为投影仪投射两个标定点的光线在投影仪坐标系中的方向向量。

7.根据权利要求6所述的一种用于投影仪的自适应左右梯形校正方法，其特征在于，同一个型号不同机器的θ角取决于切向畸变的p1和p2，在另一台机器上初始化一套参数后，通过步骤1-3步计算出投影校正图像中心标定点的L值；此时获取单点tof传感器所获取中心标定点的L’值，来查看摄像头的参数是否正确；如果L’与L值相差较大，就需要校正参数；

已知摄像头内参(f,C)、径向畸变参数(k1C,k2C,k3C)和图像采集到的中心点坐标(u_c,v_c)；通过公式(2)和公式(3)，得到一个关于(p1,p2)的一元一次多项式函数；当获取到两个不同的中心点L’值时，求解出关于(p1,p2)的一元一次多项式函数。

Images