CN116264612A - 投影校正方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种投影校正方法、装置、电子设备及存储介质。本申请实施例的投影校正方法、装置、电子设备及存储介质，通过获取摄像头采集到的包括投影设备和投影设备投影出的投影画面，可以在投影场景图像中识别投影设备和投影画面，并结合投影设备的已知三维信息，计算摄像头与投影设备的相对位置关系，进而结合相对位置关系，计算投影画面的三维信息，这样，可以根据投影画面的三维信息，生成对投射图像的校正参数，然后，控制投影设备根据校正参数投射变形后的投射图像，可以使投影设备根据校正参数将投影画面的边缘轮廓校正至预设形状，从而实现了对投影画面的校正，不需要对投影设备额外增加摄像头等器件，降低了投影校正的成本。

Description

投影校正方法、装置、电子设备及存储介质

技术领域

本申请属于投影技术领域，尤其涉及一种投影校正方法、装置、电子设备及存储介质。

背景技术

投影设备的投影画面受投影设备的摆放位置影响，投影画面的形状可能是梯形，为了将投影画面校正为矩形，现有技术中通常采用手动梯形校正或自动梯形校正的方法。手动梯形校正是用户对投影设备进行手动的调整，通过手动输入投影倾斜角度，或者手动调整最终显示画面形状完成校准，调教复杂。现有技术中的自动梯形校正，通常是在投影设备在投影设备上增加TOF(Time of flight，飞行时间法)相机等、投影光结构等器件，通过投影光进行三维重建，自动测量投影画面的倾斜角度，实现自动梯形校正功能，但是，这种方法需要增加器件，生产过程复杂，成本较高。因此，亟需一种成本较低的投影画面校正方法。

发明内容

本申请实施例提供一种投影画面校正方法、装置、设备及存储介质，能够降低投影校正的成本。

一方面，本申请实施例提供一种投影校正方法，该方法包括：

获取摄像头采集到的投影场景图像；其中，投影场景图像中包括投影设备和投影设备将投射图像投影至投影平面上所显示出的投影画面；

在投影场景图像中识别投影设备；

结合投影设备的已知三维信息，计算摄像头与投影设备的相对位置关系；

在投影场景图像中识别投影画面；

结合相对位置关系，计算投影画面的三维信息；

根据投影画面的三维信息，生成对投射图像的校正参数；其中，校正参数用于对投射图像进行变形，以使得投影画面的边缘轮廓校正至预设形状；

控制投影设备根据校正参数投射变形后的投射图像。

可选地，在投影场景图像中识别投影设备，包括：

获取投影设备的三维模型；

分别在三维模型和投影场景图像中提取外观特征；

对三维模型和投影场景图像中提取出的外观特征执行特征匹配，得到特征匹配结果；

根据特征匹配结果，在投影场景图像中确定与三维模型中提取的外观特征相匹配的投影设备的外观特征。

可选地，在三维模型中提取外观特征，包括：

将三维模型旋转至不同角度，得到对应角度下的二维图像；

分别在每个角度下的二维图像中提取外观特征；

对三维模型和投影场景图像中提取出的外观特征执行特征匹配，包括：

对每个角度下的二维图像中提取出的外观特征和在投影场景图像中提取出的外观特征执行特征匹配。

可选地，在结合投影设备的已知三维信息，计算摄像头与投影设备的相对位置关系之前，该方法还包括：

根据三维模型的已知三维坐标，获取三维模型中与投影场景图像相匹配的外观特征的三维坐标；

结合投影设备的已知三维信息，计算摄像头与投影设备的相对位置关系，包括：

结合三维模型中与投影场景图像相匹配的外观特征的三维坐标，计算摄像头相对于投影设备的相机外参数。

可选地，投影图像包括预设图案特征，在投影场景图像中识别投影画面，包括：

在投影场景图像中识别预设图案特征；

结合相对位置关系，计算投影画面的三维信息，包括：

结合相对位置关系，计算预设图案特征的三维坐标；

根据预设图案特征的三维坐标和预设图案特征在投射图像中的位置，计算投影画面的四个角点的三维坐标。

可选地，根据投影画面的三维信息，生成对投射图像的校正参数，包括：

计算投影画面的四个角点的最大内接矩形，得到投影画面校正后的投影区域；

根据将投影画面的四个角点变换至投影区域的四个角点的变换关系，计算对投射图像进行变形的校正参数。

另一方面，本申请实施例提供了一种投影校正装置，该装置包括：

获取单元，用于获取摄像头采集到的投影场景图像；其中，投影场景图像中包括投影设备和投影设备将投射图像投影至投影平面上所显示出的投影画面；

第一识别单元，用于在投影场景图像中识别投影设备；

第一计算单元，用于结合投影设备的已知三维信息，计算摄像头与投影设备的相对位置关系；

第二识别单元，用于在投影场景图像中识别投影画面；

第二计算单元，用于结合相对位置关系，计算投影画面的三维信息；

生成单元，用于根据投影画面的三维信息，生成对投射图像的校正参数；其中，校正参数用于对投射图像进行变形，以使得投影画面的边缘轮廓校正至预设形状；

控制单元，用于控制投影设备根据校正参数投射变形后的投射图像。

可选地，第一识别单元包括：

获取子单元，用于获取投影设备的三维模型；

第一提取子单元，用于分别在三维模型和投影场景图像中提取外观特征；

特征匹配子单元，用于对三维模型和投影场景图像中提取出的外观特征执行特征匹配，得到特征匹配结果；

确定子单元，用于根据特征匹配结果，在投影场景图像中确定与三维模型中提取的外观特征相匹配的投影设备的外观特征。

可选地，第一提取子单元包括：

旋转子单元，用于将三维模型旋转至不同角度，得到对应角度下的二维图像；

第二提取子单元，用于分别在每个角度下的二维图像中提取特征；

特征匹配子单元还用于对每个角度下的二维图像中提取出的外观特征和在投影场景图像中提取出的外观特征执行特征匹配。

可选地，获取单元还用于在结合投影设备的已知三维信息，计算摄像头与投影设备的相对位置关系之前，根据三维模型的已知三维坐标，获取三维模型中与投影场景图像相匹配的外观特征的三维坐标；

第一计算单元还用于结合三维模型中与投影场景图像相匹配的外观特征的三维坐标，计算摄像头相对于投影设备的相机外参数。

可选地，投影图像包括预设图案特征，第二识别单元还用于在投影场景图像中识别预设图案特征；

第二计算单元还用于结合相对位置关系，计算预设图案特征的三维坐标；以及，根据预设图案特征的三维坐标和预设图案特征在投射图像中的位置，计算投影画面的四个角点的三维坐标。

可选地，生成单元包括：

第一计算子单元，用于计算投影画面的四个角点的最大内接矩形，得到投影画面校正后的投影区域；

第二计算子单元，用于根据将投影画面的四个角点变换至投影区域的四个角点的变换关系，计算对投射图像进行变形的校正参数。

再一方面，本申请实施例提供了一种电子设备，该电子设备包括：处理器以及存储有计算机程序指令的存储器；处理器执行计算机程序指令时实现如本申请实施例提供的投影校正方法。

再一方面，本申请实施例提供了一种存储介质，存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现如本申请实施例提供的投影校正方法。

本申请实施例的投影校正方法、装置、电子设备及存储介质，通过获取摄像头采集到的包括投影设备和投影设备投影出的投影画面，可以在投影场景图像中识别投影设备和投影画面，并结合投影设备的已知三维信息，计算摄像头与投影设备的相对位置关系，进而结合相对位置关系，计算投影画面的三维信息，这样，可以根据投影画面的三维信息，生成对投射图像的校正参数，然后，控制投影设备根据校正参数投射变形后的投射图像，可以使投影设备根据校正参数将投影画面的边缘轮廓校正至预设形状，从而实现了对投影画面的校正，不需要对投影设备额外增加摄像头等器件，降低了投影校正的成本。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一个实施例提供的投影校正方法的流程示意图；

图2是本申请一个实施例提供的投影校正方法的场景示意图；

图3是本申请一个实施例提供的投影校正方法的投影画面示意图；

图4是本申请另一个实施例提供的投影校正装置的结构示意图；

图5是本申请又一个实施例提供的电子设备的结构示意图。

具体实施方式

下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本申请，而不是限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

为了解决现有技术问题，本申请实施例提供了一种投影校正方法、装置、电子设备及存储介质。下面首先对本申请实施例所提供的投影校正方法进行介绍。

图1示出了本申请一个实施例提供的投影校正方法的流程示意图。如图1所示，包括如下步骤：

步骤101，获取摄像头采集到的投影场景图像。

摄像头是本申请实施例的执行方配置的摄像头，或者是能够与本申请实施例的执行方通讯的摄像头，摄像头拍摄到的投影场景图像中包括投影设备和投影设备将投射图像投影至投影平面上所显示出的投影画面。例如，该摄像头可以为手机自带的摄像头，该手机中运行有可控制投影设备的应用程序，用户通过操作应用程序的页面触发投影设备进行梯形校正。示例性地，用户可以在应用程序的页面中，依照指示拍摄用于梯形校正的投影场景图像，拍摄完成后，通过与投影设备的通讯触发投射设备进行梯形校正。

示例性地，如图2所示，摄像头203能够拍摄到投影设备202本身，以及投影设备202投射的投射图像在墙面201上的投影画面。

步骤102，在投影场景图像中识别投影设备。

识别投影设备可以通过投影设备的已知外观特征进行识别，例如颜色、形状等外观特征。示例性地，可以通过提取直线、圆、角点等方式，结合投影设备的颜色，在投影场景图像中识别出投影设备的某几条边、按钮、角点等外观特征。

步骤103，结合投影设备的已知三维信息，计算摄像头与投影设备的相对位置关系。

投影设备的三维信息是已知的，投影设备在三维空间中的三维信息是基于投影设备的世界坐标系下的坐标。一个示例中，投影设备的三维信息可以是投影设备外观的尺寸设计参数，具体可以通过投影设备的三维模型获得。

投影场景图像包括从摄像头的角度拍摄到的投影设备，在投影场景图像中，识别出的投影设备的图像像素点坐标之后，结合投影设备基于投影设备的世界坐标系下的已知三维信息，可以计算出摄像头与投影设备之间的相对位置关系。

具体来说，摄像头与投影设备之间的相对位置关系可以包括摄像头相对于投影设备坐标系下的坐标矩阵T和姿态矩阵R，其中，坐标矩阵T和姿态矩阵R为摄像头的相机外参数。在摄像头内部参数(即相机内参数)预先已标定(已知)的情况下，根据图像像素点坐标和投影设备的已知三维信息建立方程，可以求解出摄像头的相机外参数。

其中，摄像头的内部参数包括焦距Fx、Fy，主点位置Cx,Cy，畸变参数等，可以在工厂阶段进行标定，或者根据光学器件的理论设计值直接给出焦距，主点位置，与畸变参数，或者出厂之后再标定，具体的，标定可以通过对环境中的标定物在不同角度进行拍照，并计算得到，其中，标定物中可以包括多个已知相对位置关系的标定特征点，例如，标定物可以是经典的黑白棋盘格标定板。

示例性地，可以通过opencv中的solvePnP算法函数来实现，其输入是投影设备在二维图像(投影场景图像)中的每个特征点的图像像素点坐标，以及投影设备每个特征点的三维坐标，计算结果为摄像头相对于投影设备坐标系下的坐标矩阵T和姿态矩阵R，其中，坐标矩阵T和姿态矩阵R为摄像头的相机外参数。

为了将投影场景图像中识别出的投影设备的外观特征与投影设备的已知三维信息进行对应，可以将投影场景图像中识别出的外观特征与投影设备的二维图像执行特征匹配，确定投影场景图像中的外观特征(例如特征点)与二维图像中的哪个外观特征匹配，那么，二维图像中匹配到的外观特征的已知三维坐标，就是投影场景图像中对应外观特征的三维坐标。

可选地，投影设备的二维图像可以预先标定和保存好外观特征的三维信息，或者，也可以是基于投影设备的三维模型生成的二维图像。示例性地，可以获取投影设备的三维CAD模型，该三维CAD模型中的各个点三维坐标已知，将三维CAD模型旋转至不同角度，就可以得到不同角度下的投影设备的二维图像，且二维图像中显示出的每个外观特征的三维坐标已知。

一个示例中，在投影场景图像中识别出的投影设备的外观特征可以是特征点，那么，投影场景图像中的特征点与投影设备的已知三维坐标的特征点之间的对应关系，可以是通过特征点匹配的方式执行的。其中，特征点匹配可以使用SIFT算法、SURF算法等特征点匹配算法；或者，特征点匹配也可以使用深度学习算法，通过训练好的神经网络模型，基于输入的两幅图像、提取出的特征点的描述子、以及特征点的三维坐标，输出特征点匹配的结果。

进一步可选地，深度学习算法还可以用于直接计算出相机外参数，也即，通过训练好的神经网络模型，基于输入的两幅图像、提取出的特征的描述子、以及特征的三维坐标，输出摄像头的相机外参数。

步骤104，在投影场景图像中识别投影画面。

投影画面与周围场景通常具有一定的边界，例如，投影到投影平面上的投影画面可以是不规则的四边形，如图3所示，这时，可以通过在投影场景图像中识别四边形所在位置，从而确定投影画面。例如，通过在投影场景图像中提取直线特征的方式，获取到四条能够围成闭合四边形的直线，从而确定投影画面的区域。

或者，由于投影画面内的亮度通常与周围的亮度有差异，因此，可以通过设置像素阈值的方式对投影场景图像进行二维阈值分割，确定投影画面的区域。

另一个示例中，识别投影画面也可以是识别投影画面中的预设图案特征。由于投影画面是投影设备投射的投射图像在投影平面上的成像，在投射图像包括预设图案特征的情况下，投影画面中也包括投射图像中预设图案特征的投影。

示例性地，投射画面可以如图3所示，可以看出投射图像中包括两个十字，那么，可以通过提取直线、角点等特征提取出图像中的预设图案特征，进而，确定能够组合成十字的多个预设图案特征，得到投影画面的定位。

需要说明的是，步骤104可以在执行步骤103之前执行，而不必要在步骤103之后执行。

步骤105，结合相对位置关系，计算投影画面的三维信息。

根据相对位置关系可知摄像头的相机外参数，摄像头的内部参数是已标定的，由于摄像头的内外参数已知，基于内外参数，利用三角测距法就可以由图像中的像素坐标三维重建得到三维坐标，从而，可以基于投影场景图像中投影画面的像素坐标计算出投影画面的三维信息。

步骤106，根据投影画面的三维信息，生成对投射图像的校正参数。

在本申请实施例中，待校正投影画面的投影设备是通过对投射图像的仿射变换实现对投影画面的校正。也即，投影设备通过数字方式校正投影画面。校正参数用于对投射图像进行变形，以使得投影画面的边缘轮廓校正至预设形状。

预设形状通常为矩形，由于投影设备未经校正，投影画面通常为不规则的四边形，因此，需要将投影画面从不规则四边形校正为矩形。校正参数是用于对投影设备投射的投射图像进行变形，从而使得投影画面的轮廓校正至预设形状的参数。

在根据投影画面的归一化三维信息，生成对投射图像的校正参数时，具体可以通过投影画面的归一化三维信息，确定出投影画面所在的投影平面在物理空间(物理空间的坐标系是拍摄的电子设备的物理坐标系)中的角度，具体的，角度可以通过法向量来表示。进而，根据投影平面在物理空间中的角度，可以将投影平面的四个角点的归一化三维信息转换为投影画面的四个角点的归一化二维信息。

然后，根据投影画面的四个角点的归一化二维信息，可以计算投影画面的最大内接矩形的四个角点的归一化二维信息，从而根据投影画面的四个角点的归一化二维信息和最大内接矩形的四个角点的归一化二维信息，生成使得投影画面的四个角点变换至最大内接矩形的四个角点的投射图像的仿射变换参数，得到对投射图像的校正参数。

以上为计算校正参数的一个可选的具体实施方式。在另一些实施方式中，也可以采用不同的做法。

例如，校正参数可以是投影画面所在平面相对于投影设备的倾斜角度(或者投影设备相对于投影画面所在平面的倾斜角度)，这样，投影设备可以基于投影画面所在平面相对于投影设备的倾斜角度，将投射图像倾斜相同的角度，投射倾斜角度后变形的投射图像，从而弥补投影设备与平面之间的倾斜角度，使得投影到平面上的投影画面是矩形。或者，发送给投影设备的校正参数也可以是基于投影画面相对于投影设备的倾斜角度计算出的三角函数等。计算校正参数的执行方为本申请实施例的执行方，在本申请实施例的执行方并非投影设备的情况下，计算出的校正参数可以通过有线或无线的通讯手段发送给投影设备，使得投影设备可以基于校正参数投射出变形后的投射图像。在本申请实施例的执行方是投影设备的情况下，校正参数的计算是由投影设备执行。

又如，校正参数可以是使投影设备能够确定当前投影画面轮廓的参数。例如，可以是投影画面的四条边的坐标，或者，投影画面四个角点的坐标。这样，投影设备可以基于此计算如何将当前的投影画面调整至预设形状。举例而言，投影设备可以在当前的投影画面内部(基于四条边或四个角点能够确定投影画面的边界)计算一个最大内接矩形，基于投影画面和最大内接矩形之间的变形，计算出投射图像需要做如何的变形。具体的，可以通过仿射变换将投射图像进行变形，根据投影画面转换为最大内接矩形的仿射变换计算出投射图像的仿射变换参数，使得投影设备在投射根据仿射变换参数变形后的投射图像之后，在投影平面上形成的投影画面为矩形。具体的实现方式可以是，在投射图像中的预设图案特征和投影画面上的预设图案特征是具有对应关系的，每个特征点一一对应，且投射图像中预设图案特征的位置(坐标)已知，投影画面中预设图案特征的坐标也是已知的，基于相同图案特征的坐标对应关系，可以计算得到投射图像和投影画面所在坐标系之间的仿射变换关系H(其实质为矩阵)。在本申请实施例的一个可选的实施方式中，仿射变换参数可以是指上述的仿射变换关系H(即一个矩阵)。根据投影画面内部计算出的最大内接矩形(的四个顶点坐标)，结合仿射变换关系H，可知从投影画面的坐标系转换到投射图像的坐标系之后的变形投射图像(的四个顶点坐标)，从而，投影设备可以将原来的投射图像变形为上述的变形投射图像，这样，投影设备投射变形投射图像之后，就可以在投影平面上得到矩形的投影画面。可选的，在本申请实施例的另一个可选的实施方式中，仿射变换参数也可以是指上述的变形后投射图像的四个顶点坐标。具体的，以上述仿射变换关系H或变形投射图像的四个顶点坐标等作为仿射变换参数都可以被包括在本申请实施例提供的可选实施方式中，只要使得投影设备能够根据仿射变换参数确定变形后的投射图像即可。

再如，校正参数可以是使投影设备能够确定当前投影画面的轮廓与预设形状的轮廓之间差距的参数。示例性地，以调整目标的预设形状为矩形为例，校正参数可以是投影画面四个角点的三维坐标以及预设形状四个角点的三维坐标。预设形状四个角点的三维坐标可以通过计算投影画面的最大内接矩形得到。

步骤107，控制投影设备根据校正参数投射变形后的投射图像。

一个示例中，本申请实施例提供的投影校正方法可以是由拍摄图像的电子设备(例如手机、平板电脑等终端)执行，这样，计算出的校正参数可以通过与投影设备之间的通信(例如蓝牙、移动蜂窝网络、WIFI等无线通讯，或USB数据线直连等有线通信方式)进行发送，将校正参数发送至投影设备，以使投影设备根据校正参数投射变形后的投射图像，从而将投影画面的边缘轮廓校正至预设形状。

另一个示例中，本申请实施例提供的投影校正方法可以是由投影设备执行的，这样，在计算得到校正参数之后，可以直接对投射图像进行变形。可选地，本申请实施例提供的投影校正方法可以集成于移动终端的应用程序APP中，这样，可以通过移动终端的摄像头拍摄图像，运行APP，通过移动终端的通讯模块与投影设备建立通讯连接，在得到校正参数之后发送至投影设备。

本申请实施例的投影校正方法，通过获取摄像头采集到的包括投影设备和投影设备的投影画面，可以在投影场景图像中识别投影设备和投影画面，并结合投影设备的已知三维信息，计算摄像头与投影设备的相对位置关系，进而结合相对位置关系，计算投影画面的三维信息，这样，可以根据投影画面的三维信息，生成对投射图像的校正参数，然后，控制投影设备根据校正参数投射变形后的投射图像，可以使投影设备根据校正参数将投影画面的边缘轮廓校正至预设形状，从而实现了对投影画面的校正，不需要对投影设备额外增加摄像头等器件，降低了投影校正的成本。

可选地，在执行步骤102投影场景图像中识别投影设备时，可以包括执行如下步骤：

步骤1021，获取投影设备的三维模型。

投影设备的三维模型是已知的，且三维模型的三维坐标是已知的。示例性地，三维模型可以是三维CAD模型。

步骤1022，分别在三维模型和投影场景图像中提取外观特征。

外观特征是指投影设备的外观特征。外观特征可以是投影设备的颜色、边、顶点等。在图像中，提取外观特征可以通过提取图像特征的方式实现，例如，通过提取直线、角点的方式来提取投影设备的边和顶点。

提取图像特征可以采用相关技术中的图像处理算法，示例性的，以提取角点特征为例，可以通过Harris角点检测算法进行提取，得到图像中的所有识别出的角点。

进一步地，在三维模型中提取外观特征时，可以将三维模型旋转至不同角度，得到对应角度下的二维图像，进而，分别在每个角度下的二维图像中提取外观特征。

步骤1023，对三维模型和投影场景图像中提取出的外观特征执行特征匹配，得到特征匹配结果。

在计算机视觉领域中，图像的特征匹配是以图像特征点为基础而进行的，也即特征点匹配。特征点匹配可以使用SIFT算法、SURF算法等特征点匹配算法；或者，特征点匹配也可以使用深度学习算法，通过训练好的神经网络模型，基于输入的两幅图像、提取出的特征的描述子、以及特征的三维坐标，输出特征点匹配的结果。

步骤1024，根据特征匹配结果，在投影场景图像中确定与三维模型中提取的外观特征相匹配的投影设备的外观特征。

特征匹配结果中包括投影场景图像中提取出的外观特征与三维模型中提取的外观特征的对应关系，因此，可以根据特征匹配结果，在投影场景图像中确定与三维模型中提取的外观特征相匹配的投影设备的外观特征。识别出投影设备的外观特征之后，可以确定每个外观特征在图像中的位置，而根据三维模型可知相对应的外观特征的三维尺寸/坐标信息，这样，可以实现投影设备在图像中的二维信息与三维信息的对应，从而建立方程，求解相机外参数。

可选地，在采用多个不同角度下三维模型的二维图像与投影场景图像进行特征匹配时，可以分别根据在每个角度下的二维图像和投影场景图像中提取的外观特征，对对应角度下的二维图像与投影场景图像执行特征匹配，得到每个角度的二维图像与投影场景图像的特征匹配结果。

需要说明的是，本申请实施例提供的投影校正方法，执行主体可以为投影校正装置，或者该投影校正装置中的用于执行投影校正的方法的控制模块。本申请实施例中以投影校正装置执行投影校正的方法为例，说明本申请实施例提供的投影校正的装置。

如图4所示，本申请实施例提供的投影校正装置包括获取单元41，第一识别单元42，第一计算单元43，第二识别单元44，第二计算单元45，生成单元46和控制单元47。

获取单元41用于获取摄像头采集到的投影场景图像；其中，投影场景图像中包括投影设备和投影设备将投射图像投影至投影平面上所显示出的投影画面；

第一识别单元42用于在投影场景图像中识别投影设备；

第一计算单元43用于结合投影设备的已知三维信息，计算摄像头与投影设备的相对位置关系；

第二识别单元44用于在投影场景图像中识别投影画面；

第二计算单元45用于结合相对位置关系，计算投影画面的三维信息；

生成单元46用于根据投影画面的三维信息，生成对投射图像的校正参数；其中，校正参数用于对投射图像进行变形，以使得投影画面的边缘轮廓校正至预设形状；

控制单元47用于控制投影设备根据校正参数投射变形后的投射图像。

本申请实施例的投影校正装置，通过获取摄像头采集到的包括投影设备和投影设备的投影画面，可以在投影场景图像中识别投影设备和投影画面，并结合投影设备的已知三维信息，计算摄像头与投影设备的相对位置关系，进而结合相对位置关系，计算投影画面的三维信息，这样，可以根据投影画面的三维信息，生成对投射图像的校正参数，然后，控制投影设备根据校正参数投射变形后的投射图像，可以使投影设备根据校正参数将投影画面的边缘轮廓校正至预设形状，从而实现了对投影画面的校正，不需要对投影设备额外增加摄像头等器件，降低了投影校正的成本。

可选地，第一识别单元42包括：

获取子单元，用于获取投影设备的三维模型；

第一提取子单元，用于分别在三维模型和投影场景图像中提取外观特征；

特征匹配子单元，用于对三维模型和投影场景图像中提取出的外观特征执行特征匹配，得到特征匹配结果；

确定子单元，用于根据特征匹配结果，在投影场景图像中确定与三维模型中提取的外观特征相匹配的投影设备的外观特征。

可选地，第一提取子单元包括：

旋转子单元，用于将三维模型旋转至不同角度，得到对应角度下的二维图像；

第二提取子单元，用于分别在每个角度下的二维图像中提取特征；

特征匹配子单元还用于对每个角度下的二维图像中提取出的外观特征和在投影场景图像中提取出的外观特征执行特征匹配。

可选地，获取单元41还用于在结合投影设备的已知三维信息，计算摄像头与投影设备的相对位置关系之前，根据三维模型的已知三维坐标，获取三维模型中与投影场景图像相匹配的外观特征的三维坐标；

第一计算单元43还用于结合三维模型中与投影场景图像相匹配的外观特征的三维坐标，计算摄像头相对于投影设备的相机外参数。

可选地，投影图像包括预设图案特征，第二识别单元44还用于在投影场景图像中识别预设图案特征；

第二计算单元45还用于结合相对位置关系，计算预设图案特征的三维坐标；以及，根据预设图案特征的三维坐标和预设图案特征在投射图像中的位置，计算投影画面的四个角点的三维坐标。

可选地，生成单元46包括：

第一计算子单元，用于计算投影画面的四个角点的最大内接矩形，得到投影画面校正后的投影区域；

第二计算子单元，用于根据将投影画面的四个角点变换至投影区域的四个角点的变换关系，计算对投射图像进行变形的校正参数。

本申请实施例还提供了一种电子设备。该电子设备可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、或者个人数字助理等，非移动电子设备可以为服务器、个人计算机、电视机等，本申请实施例不作具体限定。

图5示出了本申请实施例提供的电子设备的硬件结构示意图。

在电子设备可以包括处理器301以及存储有计算机程序指令的存储器302。

具体地，上述处理器301可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。

存储器302可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器302可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多数量以上这些的组合。在合适的情况下，存储器302可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器302可在综合网关容灾设备的内部或外部。在特定实施例中，存储器302是非易失性固态存储器。

存储器可包括只读存储器(ROM)，随机存取存储器(RAM)，磁盘存储介质设备，光存储介质设备，闪存设备，电气、光学或其他物理/有形的存储器存储设备。因此，通常，存储器包括一个或多个编码有包括计算机可执行指令的软件的有形(非暂态)计算机可读存储介质(例如，存储器设备)，并且当该软件被执行(例如，由一个或多个处理器)时，其可操作来执行参考根据本申请的一方面的方法所描述的操作。

处理器301通过读取并执行存储器302中存储的计算机程序指令，以实现上述实施例中的任意一种投影校正方法。

在一个示例中，电子设备还可包括通信接口303和总线310。其中，如图5所示，处理器301、存储器302、通信接口303通过总线310连接并完成相互间的通信。

通信接口303，主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。

总线310包括硬件、软件或两者，将在线数据流量计费设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多数量以上这些的组合。在合适的情况下，总线310可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。

需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，做出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

上面参考根据本申请的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本申请的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。

以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (14)

1.一种投影校正方法，其特征在于，包括：

获取摄像头采集到的投影场景图像；其中，所述投影场景图像中包括投影设备和所述投影设备将投射图像投影至投影平面上所显示出的投影画面；

在所述投影场景图像中识别所述投影设备；

结合所述投影设备的已知三维信息，计算所述摄像头与所述投影设备的相对位置关系；

在所述投影场景图像中识别所述投影画面；

结合所述相对位置关系，计算所述投影画面的三维信息；

根据所述投影画面的三维信息，生成对所述投射图像的校正参数；其中，所述校正参数用于对所述投射图像进行变形，以使得所述投影画面的边缘轮廓校正至预设形状；

控制所述投影设备根据所述校正参数投射变形后的所述投射图像。

2.根据权利要求1所述的投影校正方法，其特征在于，所述在所述投影场景图像中识别所述投影设备，包括：

获取所述投影设备的三维模型；

分别在所述三维模型和所述投影场景图像中提取外观特征；

对所述三维模型和所述投影场景图像中提取出的外观特征执行特征匹配，得到特征匹配结果；

根据所述特征匹配结果，在所述投影场景图像中确定与所述三维模型中提取的外观特征相匹配的所述投影设备的外观特征。

3.根据权利要求2所述的投影校正方法，其特征在于，所述在所述三维模型中提取外观特征，包括：

将所述三维模型旋转至不同角度，得到对应角度下的二维图像；

分别在每个角度下的二维图像中提取外观特征；

所述对所述三维模型和所述投影场景图像中提取出的外观特征执行特征匹配，包括：

对每个角度下的二维图像中提取出的外观特征和在所述投影场景图像中提取出的外观特征执行特征匹配。

4.根据权利要求2所述的投影校正方法，其特征在于，在结合所述投影设备的已知三维信息，计算所述摄像头与所述投影设备的相对位置关系之前，所述方法还包括：

根据所述三维模型的已知三维坐标，获取所述三维模型中与所述投影场景图像相匹配的外观特征的三维坐标；

所述结合所述投影设备的已知三维信息，计算所述摄像头与所述投影设备的相对位置关系，包括：

结合所述三维模型中与所述投影场景图像相匹配的外观特征的三维坐标，计算所述摄像头相对于所述投影设备的相机外参数。

5.根据权利要求1所述的投影校正方法，其特征在于，所述投影图像包括预设图案特征，所述在所述投影场景图像中识别所述投影画面，包括：

在所述投影场景图像中识别所述预设图案特征；

所述结合所述相对位置关系，计算所述投影画面的三维信息，包括：

结合所述相对位置关系，计算所述预设图案特征的三维坐标；

根据所述预设图案特征的三维坐标和所述预设图案特征在所述投射图像中的位置，计算所述投影画面的四个角点的三维坐标。

6.根据权利要求5所述的投影校正方法，其特征在于，所述根据所述投影画面的三维信息，生成对所述投射图像的校正参数，包括：

计算所述投影画面的四个角点的最大内接矩形，得到所述投影画面校正后的投影区域；

根据将所述投影画面的四个角点变换至所述投影区域的四个角点的变换关系，计算对所述投射图像进行变形的校正参数。

7.一种投影校正装置，其特征在于，包括：

获取单元，用于获取摄像头采集到的投影场景图像；其中，所述投影场景图像中包括投影设备和所述投影设备将投射图像投影至投影平面上所显示出的投影画面；

第一识别单元，用于在所述投影场景图像中识别所述投影设备；

第一计算单元，用于结合所述投影设备的已知三维信息，计算所述摄像头与所述投影设备的相对位置关系；

第二识别单元，用于在所述投影场景图像中识别所述投影画面；

第二计算单元，用于结合所述相对位置关系，计算所述投影画面的三维信息；

生成单元，用于根据所述投影画面的三维信息，生成对所述投射图像的校正参数；其中，所述校正参数用于对所述投射图像进行变形，以使得所述投影画面的边缘轮廓校正至预设形状；

控制单元，用于控制所述投影设备根据所述校正参数投射变形后的所述投射图像。

8.根据权利要求7所述的投影校正装置，其特征在于，所述第一识别单元包括：

获取子单元，用于获取所述投影设备的三维模型；

第一提取子单元，用于分别在所述三维模型和所述投影场景图像中提取外观特征；

特征匹配子单元，用于对所述三维模型和所述投影场景图像中提取出的外观特征执行特征匹配，得到特征匹配结果；

确定子单元，用于根据所述特征匹配结果，在所述投影场景图像中确定与所述三维模型中提取的外观特征相匹配的所述投影设备的外观特征。

9.根据权利要求8所述的投影校正装置，其特征在于，所述第一提取子单元包括：

旋转子单元，用于将所述三维模型旋转至不同角度，得到对应角度下的二维图像；

第二提取子单元，用于分别在每个角度下的二维图像中提取特征；

所述特征匹配子单元还用于对每个角度下的二维图像中提取出的外观特征和在所述投影场景图像中提取出的外观特征执行特征匹配。

10.根据权利要求8所述的投影校正装置，其特征在于，所述获取单元还用于在结合所述投影设备的已知三维信息，计算所述摄像头与所述投影设备的相对位置关系之前，根据所述三维模型的已知三维坐标，获取所述三维模型中与所述投影场景图像相匹配的外观特征的三维坐标；

所述第一计算单元还用于结合所述三维模型中与所述投影场景图像相匹配的外观特征的三维坐标，计算所述摄像头相对于所述投影设备的相机外参数。

11.根据权利要求7所述的投影校正装置，其特征在于，所述投影图像包括预设图案特征，所述第二识别单元还用于在所述投影场景图像中识别所述预设图案特征；

所述第二计算单元还用于结合所述相对位置关系，计算所述预设图案特征的三维坐标；以及，根据所述预设图案特征的三维坐标和所述预设图案特征在所述投射图像中的位置，计算所述投影画面的四个角点的三维坐标。

12.根据权利要求11所述的投影校正装置，其特征在于，所述生成单元包括：

第一计算子单元，用于计算所述投影画面的四个角点的最大内接矩形，得到所述投影画面校正后的投影区域；

第二计算子单元，用于根据将所述投影画面的四个角点变换至所述投影区域的四个角点的变换关系，计算对所述投射图像进行变形的校正参数。

13.一种电子设备，其特征在于，所述电子设备包括：处理器以及存储有计算机程序指令的存储器；

所述处理器执行所述计算机程序指令时实现如权利要求1-6任意一项所述的投影校正方法。

14.一种存储介质，其特征在于，所述存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-6任意一项所述的投影校正方法。

Images