CN112399158B - 投影图像校准方法、装置及投影设备 - Google Patents

Abstract

本申请实施例公开了一种投影图像校准方法、装置及投影设备。该方法包括：获取位于出射平面的三个或三个以上的测距传感器采集的待校准投影图像的空间深度信息；基于空间深度信息以及测距传感器之间的相对位置关系确定投影平面信息；基于出射平面信息以及投影平面信息获取投影平面相对于出射平面的旋转矩阵；根据旋转矩阵对待校准投影图像的投影画面进行透视变换，以将投影画面调整为目标形状。本方法基于测距传感器所在出射平面的出射平面信息以及投影平面信息获取投影平面相对于出射平面的旋转矩阵，继而在获取了该旋转矩阵的情况下，根据旋转矩阵对待校准投影图像的投影画面进行透视变换，使得快速的完成投影图像自动校正，增强用户体验。

Description

投影图像校准方法、装置及投影设备

技术领域

本申请涉及图像处理技术领域，更具体地，涉及一种投影图像校准方法、装置、投影设备以及存储介质。

背景技术

随着显示技术的发展，投影设备的应用越来越广泛，包括教育投影机、家庭投影机和工程投影机等，投影技术给人们的生活、学习及工作带来了极大的改变。而为了保证投影机的投影画面显示效果，每次重新放置后都需要对投影机的投影图像进行畸变校准，严重影响了用户的观看体验。

发明内容

鉴于上述问题，本申请提出了一种投影图像校准方法、装置、投影设备以及存储介质，以改善上述问题。

第一方面，本申请实施例提供了一种投影图像校准方法，所述方法包括：获取位于出射平面的三个或三个以上的测距传感器采集的待校准投影图像的空间深度信息，空间深度信息为测距传感器构成的出射平面到投影平面的距离信息；基于空间深度信息以及测距传感器之间的相对位置关系确定投影平面信息；基于出射平面信息以及投影平面信息获取投影平面相对于出射平面的旋转矩阵；根据旋转矩阵对待校准投影图像的投影画面进行透视变换，以将投影画面调整为目标形状。

第二方面，本申请实施例提供了一种投影图像校准装置，运行于投影设备，所述装置包括：数据采集单元，用于获取位于出射平面的三个或三个以上的测距传感器采集的待校准投影图像的空间深度信息，空间深度信息为测距传感器构成的出射平面到投影平面的距离信息；数据处理单元，用于基于空间深度信息以及测距传感器之间的相对位置关系确定投影平面信息；数据处理单元，还用于基于出射平面信息以及投影平面信息获取投影平面相对于出射平面的旋转矩阵；投影单元，用于根据旋转矩阵对待校准投影图像的投影画面进行透视变换，以将投影画面调整为目标形状。

第三方面，本申请实施例提供了一种投影设备，包括数据采集模块、投影模块、一个或多个处理器以及存储器；一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述第一方面所述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码运行时执行上述第一方面所述的方法。

本申请提供的一种投影图像校准方法、装置、投影设备以及存储介质，通过获取位于出射平面的三个或三个以上的测距传感器采集的待校准投影图像的空间深度信息，空间深度信息为测距传感器构成的出射平面到投影平面的距离信息；继而基于空间深度信息以及测距传感器之间的相对位置关系确定投影平面信息；再基于出射平面信息以及投影平面信息获取投影平面相对于出射平面的旋转矩阵；然后根据旋转矩阵对待校准投影图像的投影画面进行透视变换，以将投影画面调整为目标形状。从而通过上述方式实现了基于测距传感器所在出射平面的出射平面信息以及投影平面信息获取投影平面相对于出射平面的旋转矩阵，继而在获取了该旋转矩阵的情况下，根据旋转矩阵对待校准投影图像的投影画面进行透视变换，使得快速的完成投影图像自动校正，增强用户体验。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请一实施例提出的一种投影图像校准方法的方法流程图。

图2示出了本申请另一实施例提出的一种投影图像校准方法的方法流程图。

图3示出了本申请实施例提供的投影设备的一投影示例图。

图4示出了本申请实施例提供的投影设备的一种投影方式的示例图。

图5示出了本申请实施例提供的投影设备的另一种投影方式的示例图。

图6示出了图2的步骤S260的方法的方法流程图。

图7示出了图3的步骤S263的方法的方法流程图。

图8示出了本申请实施例提供的投影设备的投影光的出射平面与投影区域所在平面的旋转角度示意图。

图9示出了本申请实施例提出的一种投影图像校准装置的结构框图。

图10示出了本申请的用于执行根据本申请实施例的一种投影图像校准方法的投影设备的结构框图。

图11示出了本申请实施例的用于保存或者携带实现根据本申请实施例的一种投影图像校准方法的程序代码的存储单元。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

随着显示技术的发展，投影设备的应用越来越广泛，包括教育投影机、家庭投影机和工程投影机等，投影技术给人们的生活、学习及工作带来了极大的改变。然而发明人在研究中发现，由于投影机摆放位置很难与投影屏幕所在平面完全平行，呈现完美的矩形投影画面，因而为了保证投影机的投影画面显示效果，每次重新放置后都需要对投影机的投影图像进行畸变校准。其中，畸变校准主要分为人工校准和自动校准两大类。

作为一种方式，可以通过完全手动调节的方式实现投影图像的垂直方向的梯形矫正，然而这种方式带有随机性和偶然性，影响投影图像的校准效率。进一步的，可以通过陀螺仪获取倾斜角度，然后进行投影图像的自动垂直方向上的梯形校正，这种方式相对手动校准方法使用体验提高较多，但是仍无法做到左右水平方向的校准。随着计算机图像处理技术的快速发展，作为另一种方式，可以使用四点梯形校正对投影图像进行畸变校准，这种方法可以通过手动调整投影图像的四个顶点到正确位置进行校正，可以进行上下左右的全方位调整，然而却依然需要一定的人工辅助。或者也有一些投影机产品通过大量数据和复杂的算法，使得开机后可以一键自动完成对投影图像的上下左右的梯形校正，这种智能自动校准的方式大大减小了用户操作难度，但是由于大量的数据和复杂的算法，导致校准速度慢且成本较高，目前可以实现该功能的产品有限。

因此，为了改善上述问题，发明人提出了本申请提供的可以使得在获取了空间深度信息的情况下，基于空间深度信息以及测距传感器之间的相对位置关系确定投影平面信息，再基于测距传感器所在出射平面的出射平面信息以及投影平面信息获取投影平面相对于出射平面的旋转矩阵，继而在获取了该旋转矩阵的情况下，根据旋转矩阵对待校准投影图像的投影画面进行透视变换，使得快速的完成投影图像自动校正，增强用户体验。

下面先对本申请实施例提供的投影图像校准方法以及装置所涉及的投影图像校准系统进行介绍。

下面将结合附图具体描述本申请的各实施例。

请参阅图1，为本申请一实施例提供的一种投影图像校准方法的方法流程图。本实施例的方法可以由校准投影图像的装置来执行，该装置可以通过硬件和/或软件的方式实现，并一般可以集成于设置有处于同一平面的至少3个测距传感器的投影设备中，该投影设备可以包括激光电视、投影机、微投等具备投影功能的设备,也可以是连接具备投影功能的设备,并利用该设备的测距传感器的计算机系统,例如连接投影设备的个人电脑、笔记本电脑、平板、智能手机等。本方法的执行依赖于计算机程序，该计算机程序可以运行于计算机系统，该计算机系统可以是投影设备的一个操作系统。需要说明的是，本申请实施例中的投影设备的投影方向不作限定，可以是背投或前投，所述方法包括：

步骤S110：获取位于出射平面的三个或三个以上的测距传感器采集的待校准投影图像的空间深度信息。

其中，本申请实施例的空间深度信息可以理解为投影设备距离沿投影设备的投影方向所对应的投影区域的空间距离信息。可选的，例如，该空间距离信息可以包括投影设备与投影区域之间的距离、方向、倾斜角度差异等。可选的，投影设备可以是投影仪或者是激光投影机等具备投影功能的设备，在此不作限定。

作为一种方式，空间深度信息可以包括用于显示待校准投影图像的投影区域与投影设备的距离。其中，待校准投影图像可以理解为由投影设备投影至投影区域后存在图像畸变的图像。

为了消除待校准投影图像的畸变，作为一种方式，投影设备可以获取所投影图像的像素点的变化规则。可选的，对于需要进行投影的图像数据，投影设备可以获取该图像数据对应的投影图像，继而根据投影图像确定每一像素行的位置，再获取投影图像中每一像素行的横向行长和横向畸变长度，然后可以根据横向畸变长度及横向行长计算投影图像的矫正像素量，进而可以确定投影图像是否存在像素点畸变。

其中，该图像数据可以是预先存储(例如，预先将需要投影的音视频数据拷贝至投影设备中存储)或者是即时存储(例如，将存储有需要投影的音视频数据的移动硬盘插在投影设备上)，具体存储方式不作限定。可以理解的是，若检测到存在图像畸变，那么可以将这些存在图像畸变的投影图像作为待校准投影图像。

可选的，在检测到投影图像存在畸变的情况下，投影设备可以获取位于出射平面的三个或三个以上的测距传感器采集的待校准投影图像的空间深度信息。其中，测距传感器可以是配置于投影设备中(例如，安装在投影设备出光面，出光面可以理解为投影设备的投影光的出射平面)用于测量待校准投影图像的投影区域与投影设备的距离的各种距离传感器，例如ToF(Time of flight，空间飞行时间)激光测距传感器、红外距离传感器、超声波测距传感器等。其中，ToF激光测距传感器可以通过发射并接收波长为940nm的激光，测量空间飞行时间差进而获取目标距离，具有杰出的抗环境光干扰的能力，并能够适用于明亮环境。需要说明的是，本申请实施例对测距传感器的具体类型不作为限定，例如可以是现有的或未来技术可以实现的具有深度信息测量功能的(激光)测距传感器，满足可以采集待校准投影图像的空间深度信息即可。本申请后续实施例将采用ToF激光测距传感器为例进行说明。

在一种实现方式中，若上述测距传感器为ToF激光测距传感器，那么可以将ToF激光测距传感器面向投影设备的方向进行安装(即前向安装)，以便于可以通过ToF激光测距传感器采集待校准投影图像的空间深度信息。

通过将具备深度(距离)信息测量功能的测距传感器与投影设备结合，可以实现对基于距离信息的投影图像进行畸变校准，降低校准成本。

步骤S120：基于所述空间深度信息以及所述测距传感器之间的相对位置关系确定投影平面信息。

其中，投影平面指的是投影设备所投放影像(或图像)的区域所在的平面。例如，会议室的投影仪将PPT演讲稿投放在投影屏幕上，那么此时投影屏幕(即投影区域)所在的平面就是投影平面。可以理解的是，为了便于校准投影图像的像素畸变，在获取了测距传感器采集的待校准投影图像的空间深度信息之后，可以基于该空间深度信息以及多个(即三个或三个以上)测距传感器之间的相对位置关系获取投影区域所在平面的投影平面信息。

作为一种方式，该投影平面信息可以用投影平面方程进行表示。可选的，测距传感器的安装位置是固定的，那么可以获得多个测距传感器各自的位置坐标，再根据空间深度信息以及测距传感器的位置坐标可以求出表示投影平面信息的投影平面方程。需要说明的是，投影平面包括投影区域，投影区域通常贴合于投影平面，即投影区域与投影平面之间的距离(可以是垂直距离)可以忽略不计，因此可以将所求得的投影平面方程作为投影平面的方程。

需要说明的是，投影平面方程为表征处于指定坐标系下的投影区域所在平面的方程。可选的，指定坐标系表示的是投影设备的坐标系。可以理解的是，对于安装于投影设备中的测距传感器，例如，对于前向安装于投影设备的ToF激光测距传感器，可以将投影设备安装ToF激光测距传感器的平面作为起始坐标平面。可选的，可以将投影设备安装ToF激光测距传感器的平面作为OXY平面，即Z＝0，将投影设备面向投影方向作为Z轴正方向。那么，由于对投影图像校正实际上是去除待校准投影图像的像素畸变，且待校准投影图像的空间深度信息是投影设备的投影光出射平面(例如Z＝0的OXY平面，需要说明的是，此处的坐标系是参考坐标系，可以根据具体实施情况进行调整，且Z的具体数值可以根据实际情况进行调整，例如Z＝1，2，3......)到投影区域(例如投影屏幕或者是其他可以投影的区域)所在平面的距离，也就是说，投影设备的投影光出射平面与投影设备安装ToF激光测距传感器的平面可以是同一个平面，也可以是不同的平面，那么可以理解的是，投影平面方程为表征处于指定坐标系下的投影区域所在平面的方程。

在一种实现方式中，可以根据投影设备安装多个ToF测距传感器的位置以及所获得的3个及以上的投影设备的投影光出射平面到投影区域所在平面(即投影平面)的距离确定投影平面方程。通过获取投影平面方程，可以便于后续计算投影区域所在平面(投影平面)相对于投影设备的投影光出射平面之间的旋转矩阵。

步骤S130：基于出射平面信息以及所述投影平面信息获取所述投影平面相对于所述出射平面的旋转矩阵。

其中，出射平面信息包括出射平面方程。可选的，由于投影设备安装ToF激光测距传感器的平面以及ToF激光测距传感器的位置是已知的，且ToF激光测距传感器所在平面的坐标系并不是固定的，也就是说，ToF激光测距传感器所在平面的坐标系是参考坐标系。

那么，可以理解的是，由于安装ToF激光测距传感器的平面和投影设备的投影光的出射平面是平行的，那么作为一种实现方式，可以将安装ToF激光测距传感器的平面(此时不同的ToF激光测距传感器位于同一平面上)作为投影设备的投影光的出射平面，那么可以根据ToF激光测距传感器的位置预先获取出射平面方程。而作为另一种实现方式，可以根据安装ToF激光测距传感器的位置先求出ToF激光测距传感器的所在平面(类似的，此时不同的ToF激光测距传感器位于同一平面上)的方程，继而再根据该方程以及安装ToF激光测距传感器的平面距离投影设备的投影光的出射平面的垂直距离求出投影设备的投影光的出射平面的出射平面方程。

可以理解的是，对于图像从投影设备投放至投影区域的过程中，由于投影设备(或者说投影设备的摆放位置)无法与投影区域所在平面完全平行，使得投影图像存在像素点位移，导致投影图像存在像素畸变，因而，为了消除这种像素畸变带来的投影误差，以及增强投影图像的视觉效果，可以基于出射平面信息以及投影平面信息获取投影平面相对于出射平面的旋转矩阵，也就是说，该旋转矩阵可以用于消除投影图像的像素点位移带来的像素畸变。

作为一种方式，可以基于出射平面方程以及投影平面方程计算投影平面相对于出射平面的旋转矩阵，以便于可以根据该旋转矩阵对待校准投影图像进行自动畸变校准。

步骤S140：根据所述旋转矩阵对所述待校准投影图像的投影画面进行透视变换，以将所述投影画面调整为目标形状。

作为一种方式，可以通过根据上述旋转矩阵对待校准投影图像的投影画面进行透视变换的方式实现自动畸变校准。其中，透视变换可以理解为对待校准投影图像的投影画面的像素点位移进行校正，通过透视变换，可以将待校准投影图像的投影画面调整为目标形状。例如，调整为方正的矩形。需要说明的是，此处目标形状的具体形状不作限定，可以是任意需要的形状，例如，方正的矩形、正方向或是圆形等，可以根据实际情况进行设定。

本申请提供的一种投影图像校准方法，通过获取位于出射平面的三个或三个以上的测距传感器采集的待校准投影图像的空间深度信息，继而基于空间深度信息以及测距传感器之间的相对位置关系确定投影平面信息，再基于出射平面信息以及投影平面信息获取投影平面相对于出射平面的旋转矩阵，然后根据旋转矩阵对待校准投影图像的投影画面进行透视变换，以将投影画面调整为目标形状。实现了基于测距传感器所在出射平面的出射平面信息以及投影平面信息获取投影平面相对于出射平面的旋转矩阵，继而在获取了该旋转矩阵的情况下，根据旋转矩阵对待校准投影图像的投影画面进行透视变换，使得快速的完成投影图像自动校正，增强用户体验。

请参阅图2，为本申请另一实施例提供的一种投影图像校准方法的方法流程图。本实施例的方法可以由校准投影图像的装置来执行，该装置可以通过硬件和/或软件的方式实现，并一般可以集成于投影设备中，该投影设备可以包括激光电视、投影机、微投等具备投影功能的设备。本方法的执行依赖于计算机程序，该计算机程序可以运行于计算机系统，该计算机系统可以是投影设备的一个操作系统。需要说明的是，本申请实施例中的投影设备的投影方向不作限定，可以是背投或前投，所述方法包括：

步骤S210：获取位于出射平面的三个或三个以上的测距传感器采集的待校准投影图像的空间深度信息。

步骤S220：获取设置于所述投影设备的预设数量的所述测距传感器的位置坐标。

其中，本申请实施例中的预设数量可以是3个及以上，预设数量的测距传感器放置的位置不处于同一直线上。可选的，若在投影设备的前方的同一平面上放置3个或者3个以上的ToF激光测距传感器，那么可以获取多个投影设备的投影光的出射平面到投影区域所在平面(投影平面)的距离。具体的，在一种实现方式中，可以构建三维坐标系，以投影设备的投影点为原点构建三维坐标系；在另一种实现方式中，也可以以放置ToF激光测距传感器的平面的任一点为原点构建三维坐标系，再获取每个ToF激光测距传感器在构建好的三维坐标系下的位置坐标。

例如，在一个具体的应用场景中，如图3所示，前向安装于投影设备100的ToF激光测距传感器103(这里ToF激光测距传感器的数量不作限定，可以是3个或者3个以上，图3中示出了3个)的安装位置是已知的，那么作为一种方式，可以将投影设备安装ToF激光测距传感器的平面作为OXY平面，即Z＝0，面向投影的方向作为Z轴正方向，那么ToF激光测距传感器的位置坐标可以分别为(x1，y1，0)、(x2，y2，0)，……(xn，yn，0)。

值得注意的是，上述OXY平面并不是固定不变的，而是参考平面。那么，若Z的数值变化时，例如若Z＝1，那么ToF激光测距传感器的位置坐标将可以分别变化为(x1，y1，1)、(x2，y2，1)，……(xn，yn，1)，因此，本实施例对OXY平面的选取以及Z的具体数值并不作为限定。

需要说明的是，本申请实施例中的投影设备的摆放位置可以是不同的，也就是说，投影设备的投影光的出射平面与投影区域所在平面(投影平面)的关系可以不同。例如，在一种实现方式中，如图4所示，投影设备100可以以正对投影区域所在平面(投影平面)的方向进行投影，在这种情况下，投影设备100的镜头的法线与投影区域所在平面101是垂直的。在另一种实现方式中，如图5所示，投影设备100的投影方向也可以与投影区域所在平面101存在一定的倾斜角度，在这种情况下，投影设备100的镜头的法线与投影区域所在平面101可以是不垂直的，例如，该种投影模式可以应用于超短距激光电视中。

具体的，在如图5所示的投影模式下，相对于图4所示的投影模式，图5所示的投影模式在构建投影设备的投影光的出射平面的参考坐标系时有所不同，且通过ToF激光测距传感器测得的投影设备的投影光的出射平面距离投影区域所在平面的距离也会有所不同。可选的，在通过ToF激光测距传感器进行距离测定的过程中，因投影设备的摆放位置是倾斜的，那么可以将投影设备的投影光的出射平面到投影区域所在平面的垂线距离作为投影设备的投影光的出射平面与投影区域所在平面之间的距离。那么对于图5所示的投影模式，可以根据投影设备的投影光的出射平面到投影区域所在平面的垂线距离以及ToF激光测距传感器(相应的，此种情况下ToF激光测距传感器的数量依然为3个及以上且设置为不处于同一直线上)的位置坐标求出投影区域所在平面的方程，即投影平面方程，以便于后续对如图5所示的投影模式下的图影图像进行畸变自动校准。

步骤S230：基于所述位置坐标确定与所述投影设备对应的出射平面。

作为一种方式，由于3点可以确定一个平面，因此可以基于ToF激光测距传感器的位置坐标确定与投影设备对应的出射平面，即确定投影设备的投影光的出射平面。例如，可选的，若获得了ToF激光测距传感器的位置坐标分别为(x1，y1，0)、(x2，y2，0)、(x3，y3，0)，那么可以确定与投影设备对应的出射平面的方程为ax+by＝0。可选的，若获得了ToF激光测距传感器的位置坐标分别为(x1，y1，1)、(x2，y2，1)、(x3，y3，1)，那么可以确定距离安装ToF激光测距传感器的平面为Z＝1的平面为投影设备的投影光的出射平面，该出射平面的方程可以表示为ax+by+1＝0。

步骤S240：基于所述出射平面以及所述空间深度信息获取投影平面信息。

作为一种方式，可以根据多个投影设备的投影光的出射平面到投影区域所在平面的距离以及多个ToF激光测距传感器的位置坐标计算出投影区域所在平面的方程(即投影平面方程)。

例如，在一个具体的应用场景中，假设ToF激光测距传感器获得的投影设备的投影光的出射平面到投影区域所在平面的距离分别为d1、d2、d3，……dn，那么，则可以确定在同一坐标系下的位于投影区域所在平面的投影点的z坐标分别为d1，d2，d3，……dn，那么可以获得上述投影点的坐标分别为(x1，y1，z1)、(x2，y2，z2)，(x3，y3，z3)，……(xn，yn，zn)。

可选的，为了便于获得更为准确的投影区域的投影平面方程，本实施例可以采用最小二乘法来拟合投影区域所在平面的投影平面方程。具体的，可以将投影区域的方程用Ax+By+Cz+1＝0来表示，那么将所有投影点的坐标(x1，y1，z1)、(x2，y2，z2)，(x3，y3，z3)，……(xn，yn，zn)带入方程可以得到：

两边相乘：

可以得到：

进一步的，化简后可以得到：

再化简成：

然后可以得出：

其中，系数A、B、C即为所求得的拟合平面参数，因而可以求得位于投影设备的坐标系下的投影区域所在平面的投影平面方程为：

Ax+By+Cz+1＝0，

其法向量可以确定为N(A，B，C)。

步骤S250：基于出射平面信息以及所述投影平面信息获取所述投影平面相对于所述出射平面之间的旋转角度。

可选的，由前述描述可知，ToF激光测距传感器的安装位置是已知的，且可以将安装ToF激光测距传感器的平面作为O-XYZ平面，其中，Z＝0，将投影设备面向投影的方向作为Z轴正方向，其法向量可以确定为n(0，0，1)。在这种情况下，可以基于出射平面方程以及投影平面方程获取投影平面相对于出射平面之间的旋转角度，以便于可以根据该旋转角度求出投影平面相对于出射平面的旋转矩阵，进而实现对投影图像的自动校准。

步骤S260：基于所述旋转角度计算所述投影平面相对于所述出射平面的旋转矩阵。

如图6所示，作为一种方式，步骤S260可以包括：

步骤S261：获取所述投影平面的法向量。

作为一种方式，投影平面的法向量为投影区域所在平面的法向量。可选的，可以通过获取两个平面的法向量之间的旋转矩阵来获取两个平面之间的旋转矩阵，因而可以获取投影平面的法向量。作为一种实现方式，以上述示例为例，投影平面的法向量可以为N(A，B，C)。

步骤S262：获取所述出射平面的法向量。

相应的，结合上述示例，出射平面的法向量可以为n(0，0，1)。

步骤S263：获取所述出射平面的法向量变换至所述投影平面的法向量的旋转角度。

如图7所示，作为一种方式，步骤S263可以包括：

步骤S2631：获取所述投影平面的法向量在二维平面上的投影向量与对应坐标轴的正方向的夹角。

其中，二维平面指的是法向量N(A，B，C)所投影的面，对应坐标轴可以理解为N(A，B，C)所投影的面的起始坐标轴，例如，假设法向量N(A，B，C)所投影的面为XOY平面，那么可以将X轴作为法向量N(A，B，C)在二维平面(XOY平面)上的投影向量的对应坐标轴。那么，可以理解的是，对应坐标轴的正方向可以理解为起始坐标轴的正方向，例如，这里可以将X轴的正方向作为对应坐标轴的正方向。

例如，在一个具体的应用场景中，假设法向量N(A，B，C)是通过绕X轴旋转θx，绕Y轴旋转θy，绕Z轴旋转θz。那么，则可以根据法向量N(A，B，C)计算出绕三个轴(即X轴、Y轴、Z轴)的旋转角。可选的，可以定义绕Z轴的旋转角θz为法向量N(A，B，C)在XOY平面上的投影向量与X轴正方向的夹角，绕Y轴的旋转角θy为法向量N(A，B，C)在ZOX平面上的投影向量与Z轴正方向的夹角，绕X轴的旋转角θx为法向量N(A，B，C)在YOZ平面上的投影向量与Y轴正方向的夹角。

步骤S2632：将基于三维坐标轴的不同坐标轴对应的所述夹角作为所述出射平面的法向量变换至所述投影平面的法向量的旋转角度。

可选的，在获取了法向量N(A，B，C)在三维坐标轴的不同坐标轴的投影向量与不同坐标轴对应的夹角的情况下，可以将基于三维坐标轴的不同坐标轴对应的夹角作为出射平面的法向量变换至投影平面的法向量的旋转角度。

具体的，如图8所示，若θz为法向量N(A，B，C)在XOY平面上的投影向量与X轴正方向的夹角，那么法向量N(A，B，C)在XOY平面上的投影向量可以确定为Nz(A，B，0)，可选的，X轴正方向向量可以为Vx(1，0，0)，那么：

类似的，若θy为法向量N(A，B，C)在ZOX平面上的投影向量与Z轴正方向的夹角，那么法向量N(A，B，C)在ZOX平面上的投影向量可以确定为Ny(A，0，C)(如图8所示)，可选的，Z轴正方向向量可以为Vz(0，0，1)，那么：

类似的，若θx为法向量N(A，B，C)在YOZ平面上的投影向量与Y轴正方向的夹角，那么法向量N(A，B，C)在YOZ平面上的投影向量可以确定为Nx(0，B，C)(如图8所示)，可选的，Y轴正方向向量可以为Vy(0，1，0)，那么：

即可以将夹角θx、θy以及θz作为出射平面的法向量变换至投影平面的法向量的旋转角度。

步骤S264：基于所述旋转角度计算所述出射平面的法向量与所述投影平面的法向量之间的旋转矩阵。

可选的，如图8所示，投影区域的投影平面的法向量为N(A，B，C)，若其在YOZ平面的投影向量为Nx，那么根据Nx与Y轴正方向的夹角可以求得为θx。可选的，可以将法向量N(A，B，C)绕X轴旋转α＝90°-θx可以使得法向量N(A，B，C)旋转到ZOX平面，进而得到Nz，其中，α角即为投影设备在竖直方向上的偏转角度。

相应的，若法向量N(A，B，C)在ZOX平面的投影向量为Nz，那么根据Nz与Z轴正方向的夹角可以求得为θy。可选的，可以将这个角度看成是法向量N(A，B，C)绕Y轴旋转的角度，通过这次旋转可以使得向量Nz旋转到与Z轴正方向重合，θy为投影设备在水平方向上的偏转角度。类似的，可以将法向量N(A，B，C)通过绕X轴旋转α＝90°-θx，调整竖直方向上的偏转角度。通过将法向量N(A，B，C)绕Y轴旋转θy，可以调整水平方向上的偏转角度，使得与投影设备的投影光的出射平面的法向量n方向(Z轴正方向)重合。

具体的，在一个具体的应用场景中，可以将出射平面的法向量与投影平面的法向量之间的旋转矩阵表示为：

步骤S265：将所述旋转矩阵作为所述投影平面相对于所述出射平面的旋转矩阵。

可以理解的是，可以将上述求得的投影区域所在平面的法向量与投影设备的投影光的出射平面的法向量之间的旋转矩阵作为投影区域所在平面与投影设备的投影光的出射平面之间的旋转矩阵，以便于实现对投影图像的畸变校准。

步骤S270：根据所述旋转矩阵对所述待校准投影图像的投影画面进行透视变换，以将所述投影画面调整为目标形状。

通过上述旋转矩阵，可以对投影区域的投影画面的图像进行坐标变换，具体的，可以对投影画面的所有像素进行透视变换，进而实现投影设备的自动畸变校准，以将投影画面调整为一个方正的矩形，或者是其他任意形状，需要说明的是，本身实施例对投影画面的形状或者以后可能有的形状不作限定。

步骤S280：对所述进行透视变换后的投影画面进行双线性插值处理。

作为一种方式，为了呈现投影画面更优质的显示效果，可以对畸变校准后的投影画面(即投影图像)进行双线性插值等后处理操作，以优化投影设备的投影效果。

本申请提供的一种投影图像校准方法，通过获取投影平面的法向量与出射平面的法向量，继而获取出射平面的法向量变换至投影平面的法向量的旋转角度，再基于旋转角度计算出射平面的法向量与投影平面的法向量之间的旋转矩阵，然后根据旋转矩阵对待校准投影图像的投影画面进行透视变换，再对进行透视变换后的投影画面进行双线性插值处理。实现了基于测距传感器所在出射平面的出射平面信息以及投影平面信息获取投影平面相对于出射平面的旋转矩阵，继而在获取了该旋转矩阵的情况下，根据旋转矩阵对待校准投影图像的投影画面进行透视变换，使得快速的完成投影图像自动校正，增强用户体验。

请参阅图9，本申请实施例提供的一种投影图像校准装置300，运行于投影设备，所述装置300包括：

数据采集单元310，用于获取位于出射平面的三个或三个以上的测距传感器采集的待校准投影图像的空间深度信息，所述空间深度信息为所述测距传感器构成的出射平面到投影平面的距离信息。

数据处理单元320，用于基于所述空间深度信息以及所述测距传感器之间的相对位置关系确定投影平面信息。

具体的，作为一种实施方式，数据处理单元320可以用于获取设置于投影设备的预设数量的测距传感器的位置坐标；基于位置坐标确定与投影设备对应的出射平面；基于出射平面以及空间深度信息获取投影平面信息。其中，需要说明的是，预设数量可以包括3个及以上，且所述预设数量的测距传感器不处于同一直线上。

作为一种方式，数据处理单元320，还用于基于出射平面信息以及所述投影平面信息获取所述投影平面相对于所述出射平面的旋转矩阵。

在一种实现方式中，数据处理单元320具体可以用于基于出射平面信息以及投影平面信息获取投影平面相对于出射平面之间的旋转角度，再基于旋转角度计算投影平面相对于出射平面的旋转矩阵。

其中，作为一种实施方式，基于旋转角度计算投影平面相对于出射平面的旋转矩阵的步骤可以包括：获取投影平面的法向量，获取出射平面的法向量；获取出射平面的法向量变换至投影平面的法向量的旋转角度；基于旋转角度计算出射平面的法向量与投影平面的法向量之间的旋转矩阵；将旋转矩阵作为投影平面相对于出射平面的旋转矩阵。

可选的，作为一种方式，上述获取出射平面的法向量变换至投影平面的法向量的旋转角度的步骤可以包括：获取出射平面的法向量在二维平面上的投影向量与对应坐标轴的正方向的夹角；将基于三维坐标轴的不同坐标轴对应的夹角作为出射平面的法向量变换至投影平面的法向量的旋转角度。

投影单元330，用于根据所述旋转矩阵对所述待校准投影图像的投影画面进行透视变换，以将所述投影画面调整为目标形状。

作为一种方式，投影单元330可以用于根据所述旋转矩阵对所述待校准投影图像的投影画面的像素进行透视变换。

可选的，作为一种方式，装置300还可以包括后处理单元，该后处理单元用于对所述进行透视变换后的投影画面进行双线性插值处理，以便于优化投影显示效果。

需要说明的是，本申请中装置实施例与前述方法实施例是相互对应的，装置实施例中具体的原理可以参见前述方法实施例中的内容，此处不再赘述。

下面将结合图10对本申请提供的一种投影设备进行说明。

请参阅图10，基于上述的投影图像校准方法、系统、装置，本申请实施例还提供的另一种可以执行前述投影图像校准方法的投影设备100。投影设备100包括相互耦合的一个或多个(图中仅示出一个)处理器102、存储器104、数据采集模块11以及投影模块12。其中，该存储器104中存储有可以执行前述实施例中内容的程序，而处理器102可以执行该存储器104中存储的程序，存储器104包括前述实施例中所描述的装置300。

其中，处理器102可以包括一个或者多个处理核。处理器102利用各种接口和线路连接整个投影设备100内的各个部分，通过运行或执行存储在存储器104内的指令、程序、代码集或指令集，以及调用存储在存储器104内的数据，执行投影设备100的各种功能和处理数据。可选地，处理器102可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器102可集成中央处理器(CentralProcessing Unit，CPU)、视频图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器102中，单独通过一块通信芯片进行实现。

存储器104可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器104可用于存储指令、程序、代码、代码集或指令集。存储器104可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、视频图像播放功能等)、用于实现上述各个方法实施例的指令等。存储数据区还可以存储投影设备100在使用中所创建的数据(例如音视频数据)等。

所述数据采集模块11用于获取待校准投影图像的空间深度信息，可选的，空间深度信息可以包括用于显示待校准投影图像的投影区域与投影设备的距离。

该投影模块12可以用于根据旋转矩阵对待校准投影图像的投影画面进行透视变换，以将投影画面调整为目标形状，例如，调整为方正的矩形等。

请参考图11，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质400中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质400可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质400包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质400具有执行上述方法中的任何方法步骤的程序代码410的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码410可以例如以适当形式进行压缩。

综上所述，本申请提供的一种投影图像校准方法、装置、投影设备以及存储介质，通过获取位于出射平面的三个或三个以上的测距传感器采集的待校准投影图像的空间深度信息，空间深度信息为测距传感器构成的出射平面到投影平面的距离信息；继而基于空间深度信息以及测距传感器之间的相对位置关系确定投影平面信息；再基于出射平面信息以及投影平面信息获取投影平面相对于出射平面的旋转矩阵；然后根据旋转矩阵对待校准投影图像的投影画面进行透视变换，以将投影画面调整为目标形状。从而通过上述方式实现了基于测距传感器所在出射平面的出射平面信息以及投影平面信息获取投影平面相对于出射平面的旋转矩阵，继而在获取了该旋转矩阵的情况下，根据旋转矩阵对待校准投影图像的投影画面进行透视变换，使得快速的完成投影图像自动校正，增强用户体验。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (11)

1.一种投影图像校准方法，其特征在于，所述方法包括：

获取位于出射平面的三个或三个以上的测距传感器采集的待校准投影图像的空间深度信息，所述空间深度信息为所述测距传感器构成的出射平面到投影平面的距离信息；

基于所述空间深度信息以及所述测距传感器之间的相对位置关系确定投影平面信息；

基于出射平面信息以及所述投影平面信息获取所述投影平面相对于所述出射平面的旋转矩阵；

根据所述旋转矩阵对所述待校准投影图像的投影画面进行透视变换，以将所述投影画面调整为目标形状。

2.根据权利要求1所述的方法，其特征在于，所述基于出射平面信息以及所述投影平面信息获取所述投影平面相对于所述出射平面的旋转矩阵的步骤包括：

基于出射平面信息以及所述投影平面信息获取所述投影平面相对于所述出射平面之间的旋转角度；

基于所述旋转角度计算所述投影平面相对于所述出射平面的旋转矩阵。

3.根据权利要求2所述的方法，其特征在于，所述基于所述旋转角度计算所述投影平面相对于所述出射平面的旋转矩阵的步骤包括：

获取所述投影平面的法向量；

获取所述出射平面的法向量；

获取所述出射平面的法向量变换至所述投影平面的法向量的旋转角度；

基于所述旋转角度计算所述出射平面的法向量与所述投影平面的法向量之间的旋转矩阵；

将所述旋转矩阵作为所述投影平面相对于所述出射平面的旋转矩阵。

4.根据权利要求3所述的方法，其特征在于，所述获取所述出射平面的法向量变换至所述投影平面的法向量的旋转角度的步骤包括：

获取所述出射平面的法向量在二维平面上的投影向量与对应坐标轴的正方向的夹角；

将基于三维坐标轴的不同坐标轴对应的所述夹角作为所述出射平面的法向量变换至所述投影平面的法向量的旋转角度。

5.根据权利要求3所述的方法，其特征在于，所述根据所述旋转矩阵对所述待校准投影图像的投影画面进行透视变换的步骤包括：

根据所述旋转矩阵对所述待校准投影图像的投影画面的像素进行透视变换。

6.根据权利要求1所述的方法，其特征在于，所述基于所述空间深度信息以及所述测距传感器之间的相对位置关系确定投影平面信息的步骤包括：

获取设置于投影设备的预设数量的所述测距传感器的位置坐标；

基于所述位置坐标确定与所述投影设备对应的出射平面；

基于所述出射平面以及所述空间深度信息获取投影平面信息。

7.根据权利要求6所述的方法，其特征在于，所述预设数量包括3个及以上，所述预设数量的测距传感器不处于同一直线上。

8.根据权利要求1-7任一所述的方法，其特征在于，所述方法还包括：

对所述进行透视变换后的投影画面进行双线性插值处理。

9.一种投影图像校准装置，其特征在于，运行于投影设备，所述装置包括：

数据采集单元，用于获取位于出射平面的三个或三个以上的测距传感器采集的待校准投影图像的空间深度信息，所述空间深度信息为所述测距传感器构成的出射平面到投影平面的距离信息；

数据处理单元，用于基于所述空间深度信息以及所述测距传感器之间的相对位置关系确定投影平面信息；

所述数据处理单元，还用于基于出射平面信息以及所述投影平面信息获取所述投影平面相对于所述出射平面的旋转矩阵；

投影单元，用于根据所述旋转矩阵对所述待校准投影图像的投影画面进行透视变换，以将所述投影画面调整为目标形状。

10.一种投影设备，其特征在于，包括数据采集模块、投影模块、一个或多个处理器以及存储器；

一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行权利要求1-8任一所述的方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码被处理器运行时执行权利要求1-8任一所述的方法。

Images