CN114245089B - 几何校正方法、装置、激光投影设备 - Google Patents

Abstract

本申请公开了一种几何校正方法、装置、激光投影设备，方法包括：获取待投影的图像帧序列；响应于图像处理开始指令和图像处理结束指令，将校正标识添加至图像帧序列中图像处理开始指令和图像处理结束指令对应的时间范围内的图像帧子序列，得到处理后图像帧子序列；通过主机将处理后图像帧子序列投影到屏幕，并响应于图像处理开始指令，触发摄像机捕获激光投影设备的投影区域，得到处理后图像帧子序列对应的拍摄图像；响应于图像处理结束指令，基于校正标识在拍摄图像的位置，对处理后图像帧子序列的后续待投影的原始图像进行几何校正。本申请实施例在用户无感知条件下完成几何校正，提升用户体验。

Description

几何校正方法、装置、激光投影设备

技术领域

本申请涉及激光投影技术领域，尤其涉及一种几何校正方法、装置、激光投影设备。

背景技术

激光电视及微投影产品采用激光光源和超短焦投影技术成像，激光电视配备专用投影幕，可接收广播电视节目或互联网电视节目的投影显示设备，微投影产品体积小，便于携带，快捷地投影图像，被广泛使用。

安装激光电视过程中主机和屏幕位置不匹配或者使用激光电视过程中主机被动移位，可能导致投影画面与屏幕不能完全吻合。激光电视机中通常采用自动几何校正功能解决以上问题，但相关几何校正方案中，需要用户在特定功能页面进行校正操作，可能会中断视频的播放，影响用户体验。

发明内容

本申请的实施例提供了一种几何校正方法、装置、激光投影设备，解决相关几何校正需要在特定功能页面进行的问题，不中断待投影图像序列的播放，提升用户体验。

本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

根据本申请实施例的第一方面，提供了一种几何校正方法，应用于激光投影设备，所述激光投影设备包括摄像机、主机以及屏幕，所述方法包括：

获取待投影的图像帧序列；

响应于图像处理开始指令和图像处理结束指令，将校正标识添加至所述图像帧序列中所述图像处理开始指令和所述图像处理结束指令对应的时间范围内的图像帧子序列，得到处理后图像帧子序列；

通过所述主机将所述处理后图像帧子序列投影到所述屏幕，并响应于所述图像处理开始指令，触发所述摄像机捕获所述激光投影设备的投影区域，得到所述处理后图像帧子序列对应的拍摄图像；

响应于所述图像处理结束指令，基于所述校正标识在所述拍摄图像的位置，对所述处理后图像帧子序列的后续待投影的原始图像进行几何校正。

在本申请的一些实施例中，基于前述方案，所述方法还包括：

以第一预设周期生成所述图像处理开始指令和所述图像处理结束指令，以实现对所述图像帧序列进行周期性几何校正；其中，每个周期内所述图像处理开始指令与所述图像处理结束指令间隔第一预设时长。

在本申请的一些实施例中，基于前述方案，所述将校正标识添加至所述图像帧序列中所述图像处理开始指令和所述图像处理结束指令对应的时间范围内的图像帧子序列，得到处理后图像帧子序列，包括：

将所述图像帧子序列中的多帧图像替换为包括所述校正标识的第一校正图卡，得到所述处理后图像帧子序列。

在本申请的一些实施例中，基于前述方案，所述将所述图像帧子序列中的多帧图像替换为包括所述校正标识的第一校正图卡，得到所述处理后图像帧子序列，包括：

从所述图像帧子序列中选取周期性分布的多帧图像作为待替换图像；

在各帧所述待替换图像中分别添加至少一个所述校正标识，得到对应的多帧所述第一校正图卡，其中，添加的校正标识分布于各帧所述待替换图像的不同位置。

在本申请的一些实施例中，基于前述方案，所述将校正标识添加至所述图像帧序列中所述图像处理开始指令和所述图像处理结束指令对应的时间范围内的图像帧子序列，得到处理后图像帧子序列，包括：

在所述图像帧子序列中插入包括所述校正标识的第二校正图卡，得到所述处理后图像帧子序列。

在本申请的一些实施例中，基于前述方案，所述方法还包括：

从所述图像帧子序列中选取周期性分布的多帧图像作为待复制图像；

在各帧所述待复制图像中分别添加多个所述校正标识，得到对应的多帧所述第二校正图卡。

在本申请的一些实施例中，基于前述方案，所述在所述图像帧子序列中插入包括所述校正标识的第二校正图卡，得到所述处理后图像帧子序列，包括：

将所述第二校正图卡作为对应的所述待复制图像的后一帧图像，插入所述图像帧子序列中。

在本申请的一些实施例中，基于前述方案，所述基于所述校正标识在所述拍摄图像的位置，对所述处理后图像帧子序列的后续待投影的原始图像进行几何校正，包括：

获取初始校正拍摄图像中所述校正标识的初始坐标，所述初始校正拍摄图像为所述主机的投影区域与所述屏幕重合匹配时，通过所述摄像机捕获的初始拍摄图像；

根据所述拍摄图像中所述校正标识的坐标与所述初始拍摄图像中所述校正标识的初始坐标的变换关系，获取几何校正参数；

根据所述几何校正参数，对所述处理后图像帧子序列的后续待投影的原始图像进行几何校正。

根据本申请实施例的第二方面，提供了一种几何校正装置，应用于激光投影设备，所述激光投影设备包括摄像机、主机以及屏幕，所述装置包括：

图像获取单元，用于获取待投影的图像帧序列；

图像处理单元，用于响应于图像处理开始指令和图像处理结束指令，将校正标识添加至所述图像帧序列中所述图像处理开始指令和所述图像处理结束指令对应的时间范围内的图像帧子序列，得到处理后图像帧子序列；

控制单元，用于通过所述主机将所述处理后图像帧子序列投影到所述屏幕，并响应于所述图像处理开始指令，触发所述摄像机捕获所述激光投影设备的投影区域，得到所述处理后图像帧子序列对应的拍摄图像；

几何校正单元，用于响应于所述图像处理结束指令，基于所述校正标识在所述拍摄图像的位置，对所述处理后图像帧子序列的后续待投影的原始图像进行几何校正。

根据本申请实施例的第三方面，提供了一种激光投影设备，所述激光投影设备包括：

主机，用于投射待投影的图像帧序列；

屏幕，用于显示所述待投影的图像帧序列；

摄像机，用于捕获所述主机的投影区域；以及

如上述第二方面所述的几何校正装置。

本申请实施例在待投影图像序列中添加校正标识，通过校正标识对后续待投影图像序列实现几何校正，不中断待投影图像序列的播放，在用户无感知条件下完成几何校正，提升用户体验。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

在附图中：

图1为本申请实施例提供的一种几何校正方法的流程示意图。

图2为本申请实施例提供的一种在待投影图像序列中替换帧的示意图。

图3为本申请实施例提供的一种在待投影图像序列中插帧的示意图。

图4为本申请实施例提供的另一种几何校正方法的流程示意图。

图5为本申请实施例提供的一种几何校正装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

在本申请的描述中，需要理解的是，术语“第二”、“第一”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第二”、“第一”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。

图1为本申请实施例提供的一种几何校正方法的流程示意图。该方法应用于激光投影设备，激光投影设备包括摄像机、主机以及屏幕，如图1所示，该方法至少包括以下步骤。

步骤110：获取待投影的图像帧序列。

在具体实施中，待投影的图像帧序列可以是正在播放的视频或者是正在播放的UI界面。如果在用户进行视频点播或者UI交互操作过程，跳转到特定界面去执行几何校正，用户的视频或UI被中断，用户体验受到影响。

步骤120：响应于图像处理开始指令和图像处理结束指令，将校正标识添加至图像帧序列中图像处理开始指令和图像处理结束指令对应的时间范围内的图像帧子序列，得到处理后图像帧子序列。

校正标识用于后续的几何校正，几何校正的校正标识数量不少于四个。在具体实施中可以通过将图像帧中直接添加校正标识，或者将图像帧序列中部分帧替换为包括校正标识的图像帧或者在图像序列中插入包括校正标识的图像帧等方式，将校正标识添加到图像帧序列中，使得处理后图像帧序列中包括校正标识，以便后续几何校正。

图像处理开始指令和图像处理结束指令是为了触发将校正标识添加到一段时间范围内的图像帧子序列中。需要说明的是，图像处理开始指令和图像处理结束指令可以是系统周期性生成的也可以是用户触发的，相应的，在具体实施中，可以在系统设置中提供周期性几何校正开关以对视频或者待播放UI界面周期性添加校正标识，以实现周期性几何校正；也可以在视频播放界面或者UI交互界面提供几何校正开关，由用户触发单次几何校正。

步骤130：通过主机将处理后图像帧子序列投影到屏幕，并响应于图像处理开始指令，触发摄像机捕获激光投影设备的投影区域，得到处理后图像帧子序列对应的拍摄图像。

当投影设备的安装过程中，屏幕固定安装在墙面后，主机会进行几何校正，使得主机的投影区域与屏幕重合匹配。在后续使用过程中，如果主机的位置发生偏移，那么投影画面可能呈规则的梯形形变。在投影画面形变的情况下，处理后图像帧序列中的校正标识虽然在主机的投影区域中，但是可能偏离屏幕，落在墙面上。

需要说明的是，本申请实施例中，摄像机在接收到图像处理开始指令后开始捕获投影区域的图像，并在接收到图像处理结束指令后，停止捕获投影区域的图像，避免摄像机长时间捕获图像，造成资源浪费。

步骤140：响应于图像处理结束指令，基于校正标识在拍摄图像的位置，对处理后图像帧子序列的后续待投影的原始图像进行几何校正。

在具体实施中，可根据主机的结构在合适的位置安装摄像机，并可以调整摄像机的广角，使得拍摄图像能够涵盖主机的投影区域，进而涵盖校正标识。通过观测拍摄图像中校正标识的位置的畸变情况，生成反畸变参数，进而实现对后续待投影图像进行几何校正。

需要说明的是，在具体实施中，主机中包含自动几何校正模块，几何校正模块在接收到图像处理结束指令后，并且摄像机将拍摄图像发送至几何校正模块后，几何校正模块才进行几何校正。

本申请实施例在待投影图像序列中添加校正标识，通过校正标识对后续待投影图像序列实现几何校正，不中断待投影图像序列的播放，在用户无感知条件下完成几何校正，提升用户体验。

在本申请的一些实施例中，基于前述方案，以第一预设周期生成图像处理开始指令和图像处理结束指令，以实现对图像帧序列进行周期性几何校正；其中，每个周期内图像处理开始指令与图像处理结束指令间隔第一预设时长。

第一预设周期相当于几何校正的周期。例如，第一预设周期为10分钟，那么可以实现每10分钟进行一次几何校正，图像处理开始指令和图像处理结束指令间隔5秒，那么可以对5秒内的图像添加校正标识，用于该周期内后续图像的几何校正。

在本申请的一些实施例中，基于前述方案，将将校正标识添加至图像帧序列中图像处理开始指令和图像处理结束指令对应的时间范围内的图像帧子序列，得到处理后图像帧子序列，包括：

将图像帧子序列中的多帧图像替换为包括校正标识的第一校正图卡，得到处理后图像帧子序列。

需要说明的是，校正标识的形状包括但不限于菱形、星形、十字形等；为满足几何校正需求，所需校正标识的数量大于等于四个，并可以对称分布在第一校正图卡上。例如，四个校正标识分布于校正图卡的四个顶点位置，或者分布于第一校正图卡各边的中点位置；或者九个校正标识构成3x3的矩阵形式对称分布于第一校正图卡上。

第一校正图卡的背景图片可以选取单独的图片作为背景图片，也可以直接选取待投影图像帧序列中的图像作为背景图片。选取待投影图像帧序列中的图像作为背景图片，对待投影图像帧序列的影响更小，第一校正图卡不易被用户感知到视频的变化，可以在用户无感知的情况下实现几何校正。

校正所需的校正标识可以集中分布于一帧第一校正图卡中，也可以分散分布于多帧第一校正图卡中，相应的，可以通过一帧第一校正图卡的校正标识的位置或者整合多帧第一校正图卡上的校正标识的位置进行几何校正。所需第一校正图卡的帧数与所需校正标识的数量和分布相关。例如校正所需的四个校正标识分布于一帧第一校正图卡的四个顶点位置，或者分别分布于四帧第一校正图卡的不同顶点位置。

第一校正图卡可以在图像帧序列中连续或者非连续的分布，例如上述的四帧第一校正图卡连续分布或者间隔分布于图像帧序列中。

在本申请的一些实施例中，基于前述方案，将图像帧子序列中的多帧图像替换为包括校正标识的第一校正图卡，得到处理后图像帧子序列，包括：

从图像帧子序列中选取周期性分布的多帧图像作为待替换图像；

在各帧待替换图像中分别添加至少一个校正标识，得到对应的多帧第一校正图卡，其中，添加的校正标识分布于各帧待替换图像的不同位置。

在该实施例中，校正标识周期性分散分布于各帧校正图卡，相应的，需要整合多帧校正图卡上的校正标识进行几何校正。例如，校正所需的九个校正标识分布于三帧第一校正图卡上，三帧第一校正图卡连续分布。

需要说明的是，在具体实施中，可以将在正在播放的视频流或者UI交互界面周期性替换为校正所需的一帧第一校正图卡或者多帧第一校正图卡，以实现激光投影设备定时几何校正。例如，为实现激光投影设备每10分钟进行一次几何校正，可以将每个周期内前5秒的视频流或者UI交互界面中的部分图像替换为校正图卡。相应的，摄像机可以响应于图像处理开始指令和图像处理结束指令在每个周期内前5秒捕获图像，摄像机的相关参数可以根据几何校正的周期和图像处理开始指令和图像处理结束指令的间隔时长设定，使得摄像机可以捕获多帧包含校正图卡的画面。由于将图像帧序列中部分帧直接加载校正标识或者将部分帧替换为第一校正图卡，对于用户来说，由于校正图卡对视频流或者UI交互界面的影响很小，用户肉眼对于视频流或者UI交互界面的变化是无感知的，但是摄像机可以捕获到包含校正标识的画面。

图2为本申请实施例提供的一种在待投影图像序列中替换帧的示意图。如图2所示，在连续分布的四帧图像中按照顺时针顺序分别在左上角、右上角、右下角、左下角添加一个菱形校正标识。相应的，在几何校正环节中，需要整合四个校正标识在拍摄图像中的位置。

在本申请的一些实施例中，基于前述方案，几何校正方法还可以包括：

获取待替换图像的背景颜色；

将背景颜色进行反色处理，得到标识明色；

将校正标识的颜色设置标识明色。

将校正标识的颜色设置为与待替换图像的背景颜色显著差异的颜色，例如背景颜色为黑色，校正标识颜色为白色，以便后续在对拍摄图像进行处理，更好地提取校正标识在拍摄图像中的位置。

在本申请的一些实施例中，基于前述方案，将校正标识添加至图像帧序列中图像处理开始指令和图像处理结束指令对应的时间范围内的图像帧子序列，得到处理后图像帧子序列，包括：

在图像帧子序列中插入包括校正标识的第二校正图卡，得到处理后图像帧子序列。

在具体实施中可以在图像帧子序列中插入少量校正图卡。例如，激光投影设备每秒播放60帧画面，在视频流中每秒插入一帧第二校正图卡，对于处理后图像帧子序列，激光投影设备每秒播放61帧画面，相应的，可以设定摄像机在图像处理开始指令和图像处理结束指令期间同步捕捉投影区域图像，以保证获取到第二校正图卡。

同理于校正标识与第一校正图卡，校正标识可以对称分布在第二校正图卡上。例如，四个校正标识分布于第二校正图卡的四个顶点位置，或者分布于第二校正图卡各边的中点位置。

第二校正图卡的背景图片可以选取单独的图片作为背景图片，也可以直接选取待投影图像帧子序列中的图像作为背景图片。选取待投影图像帧子序列中的图像作为背景图片，对待投影图像子帧序列的影响更小，第二校正图卡不易被用户感知到视频的变化，可以在用户无感知的情况下实现几何校正。

校正所需的校正标识可以集中分布于一帧第二校正图卡中，也可以分散分布于多帧第二校正图卡中，相应的，可以通过一帧第二校正图卡的校正标识的位置或者整合多帧第二校正图卡上的校正标识的位置进行几何校正。所需第二校正图卡的帧数与所需校正标识的数量和分布相关。例如校正所需的四个校正标识分布于一帧第二校正图卡的四个顶点位置，或者分别分布于四帧第二校正图卡的不同顶点位置。

第二校正图卡可以在图像帧子序列中连续或者非连续的分布，例如上述的四帧第二校正图卡连续分布或者间隔分布于图像帧序列中。

需要说明的是，连续插入的第二校正图卡的数量需要控制在肉眼可觉察的数量范围以内，以免用户觉察到图像帧子序列的明显变化，对用户观感造成影响。

在本申请的一些实施例中，基于前述方案，方法还包括：

从图像帧子序列中选取周期性分布的多帧图像作为待复制图像；

在各帧待复制图像中分别添加多个校正标识，得到对应的多帧第二校正图卡。

该实施例中，直接选取待投影图像帧子序列中的图像作为第二校正图卡的背景图片，并且校正所需的校正标识集中分布于一帧第二校正图卡中，通过一帧第二校正图卡可进行几何校正。例如，一帧校正图卡上包括四个校正标识，每秒钟插入一帧第二校正图卡。校正所需的校正标识集中分布于一帧第二校正图卡，可减少插入帧的数量，从而减少对待投影图像帧序列的影响，进一步实现用户无感知条件下的几何校正。

同理于第一校正图卡中的校正标识的颜色，也可以将校正标识的颜色设置为与待复制图像的背景颜色显著差异的颜色，例如背景颜色为黑色，校正标识颜色为白色，以便后续在对拍摄图像进行处理，更好地提取校正标识在拍摄图像中的位置。

在本申请的一些实施例中，基于前述方案，在图像帧序列中插入第二校正图卡，包括：

将第二校正图卡作为对应的待复制图像的后一帧图像，插入图像帧序列中。

该实施例将第二校正图卡插入其复制的图像的后面，使得校正图卡与其前后帧图像保持连贯，进一步减少对待投影图像帧序列的影响，进一步实现用户无感知条件下的几何校正。

图3为本申请实施例提供的一种在待投影图像序列中插入帧的示意图。如图3所示，在图像帧子序列中每1秒中插入一帧第二校正图卡，每帧第二校正图卡包括分布于四个顶点位置的菱形校正标识。相应的，通过一帧第二校正图卡即可实现几何校正。在具体实施中，可以通过最近的一帧校正图卡或者多张校正图卡得到几何校正参数。

在本申请的一些实施例中，基于前述方案，基于校正标识在拍摄图像的位置，对后续待投影的原始图像进行几何校正，包括：

获取初始校正拍摄图像中校正标识的初始坐标，初始校正拍摄图像为主机的投影区域与屏幕重合匹配时，通过摄像机捕获的初始拍摄图像；

根据拍摄图像中校正标识的坐标与初始拍摄图像中校正标识的初始坐标的变换关系，获取几何校正参数；

根据几何校正参数，对后续待投影的原始图像进行几何校正。

在确定了拍摄图像中校正标识的位置后，即可了解到投影设备光轴因倾斜而造成的几何畸变的程度，进而确定出反畸变参数，即几何校正参数。以图2中校正图卡为例说明几何校正参数获取过程，在x轴和y轴均为正向的xy坐标系中，四帧拍摄图像中的四个校正标识从左上角开始，顺时针依次为A、B、C、D点，且A、B、C、D四个校正标识的位置坐标分别为(x1，y1)、(x2，y2)、(x3，y3)、(x4，y4)。

如上所述，在激光投影设备安装完成后，主机的投影区域与屏幕是重合匹配的，此时投影图像没有发生畸变，初始拍摄图像中校正标识从左上角开始，顺时针依次为A′、B′、C′、D′点，且A′、B′、C′、D′点的位置坐标分别为(x1′，y1′)、(x2′，y2′)、(x3′，y3′)、(x4′，y4′)。对于已经安装完成的激光投影设备，初始拍摄图像中校正标识的位置坐标是固定的。

为了反畸变，应该将摄像图像中校正标识的坐标通过几何校正参数变换到初始摄像图像中校正标识的初始坐标。据此原理，获取拍摄图像中校正标识的坐标与初始拍摄图像中校正标识的初始坐标后，可以根据如下公式确定几何校正参数：

其中，i为[1，4]之间的整数；a、b、c、d、e、f、u、v为几何校正参数。即通过四个校正标识可以确定几何校正参数。

在本申请的一些实施例中，基于前述方案，根据几何校正参数，对后续待投影的原始图像进行几何校正，包括：

获取原始图像中像素的位置坐标；

根据几何校正参数和像素的位置坐标，确定像素的校正后位置坐标，以完成对原始图像的几何校正。

结合上述几何校正参数的获取方法，利用上述几何校正参数对需要投影的原始图像作运算变换，得到校正后的图像。假设，原始图像中的某个像素的位置坐标为(x，y)，则根据如下公式可以计算出校正后的图像中对应像素的位置坐标(x′，y′)：

以此类推，可以将原始图像中的任一像素的位置坐标代入到上述公式中的(x，y)中，从而得到校正后的图像中对应像素的位置坐标值(x′，y′)，从而得到原始图像中的所有像素校正后的位置坐标。

进一步，由于原始图像作运算变换后，会损失一些像素的特征，那么，可以在对原始图像作运算变换后所得到的图像中进行插值运算，得到最终的校正后的图像。通过插值运算，可补充因图像缩放而缺失的像素点，消除可能的马赛克现象，使显示画面的内容平滑过渡，不影响观看效果。

图4为本申请实施例提供的一种几何校正的流程示意图。如图4所示，该方法至少包括以下步骤。

步骤410：获取投影状态自检指令。

接收到投影状态自检指令后，系统周期性生成图像处理开始指令和图像处理结束指令，在具体实施中，可以由用户在开机交互界面或者在视频播放界面设置激光投影设备是否打开定时投影状态自检开关，若用户打开该开关，则触发后续步骤，实现投影设备的定时自动几何校正。

在具体实施中，用户还可以设置定时投影状态自检的频率，例如每10分钟或者每5分钟进行一次自检。

步骤420：响应于投影状态自检指令，将校正标识添加至待播放视频流，得到处理后视频流。

在具体实施中，可以通过上述替换帧或者插帧的方式在待播放视频流中添加校正标识。

步骤430：通过主机将处理后视频流投影到屏幕，并响应于投影状态自检指令，通过摄像机捕获激光投影设备的投影区域，得到拍摄图像。

用户打开定时投影状态自检开关后，则触发摄像机捕获投影区域的画面。

步骤440：基于校正标识在拍摄图像的位置，判断是否需要对后续视频流进行几何校正。

在具体实施中，可以通过比对拍摄图像中校正标识的位置和初始拍摄图像中校正标识的位置，确定投影图像是否发生畸变，若投影图像发生畸变，则需要对后续视频流进行几何校正。

步骤450：若确定不需要对后续视频流进行几何校正，则继续播放视频流。

步骤460：若确定需要对后续视频流进行几何校正，则对后续视频流进行几何校正后再进行播放。

本申请实施例用户可触发投影状态自检开关，在视频点播或者UI交互过程中定时自动几何校正，无需用户手工控制几何校正，不中断用户的应用，提升用户体验。

图5为本申请实施例提供的一种几何校正装置的结构示意图，几何校正装置应用于激光投影设备，激光投影设备包括摄像机、主机以及屏幕，该几何校正装置500至少包括以下部分。

图像获取单元510，用于获取待投影的图像帧序列。

图像处理单元520，用于响应于图像处理开始指令和图像处理结束指令，将校正标识添加至所述图像帧序列中所述图像处理开始指令和所述图像处理结束指令对应的时间范围内的图像帧子序列，得到处理后图像帧子序列；

控制单元530，用于通过所述主机将所述处理后图像帧子序列投影到所述屏幕，并响应于所述图像处理开始指令，触发所述摄像机捕获所述激光投影设备的投影区域，得到所述处理后图像帧子序列对应的拍摄图像；

几何校正单元540，用于响应于所述图像处理结束指令，基于所述校正标识在所述拍摄图像的位置，对所述处理后图像帧子序列的后续待投影的原始图像进行几何校正。

在具体实施中，几何校正装置可以部署于激光投影设备的主机中。

本申请实施例还提供了一种激光投影设备，激光投影设备包括：

主机，用于投射待投影的图像帧序列；

屏幕，用于显示待投影的图像帧序列；

摄像机，用于捕获主机的投影区域；以及

如上述的几何校正装置。

在具体实施中，摄像机部署于激光投影设备主机或者单独部署，将拍摄图像通过有线或者无线的方式传递至主机；摄像机在接收到图像处理开始指令后触发拍摄；主机中的部署的几何校正单元在接收到图像处理结束指令后触发几何校正。

本申请实施例还提供一种存储介质，包括程序或指令，当所述程序或指令被执行时，用以执行本申请实施例提供的一种几何校正方法及任一可选方法。

最后应说明的是：本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

以上仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种几何校正方法，其特征在于，应用于激光投影设备，所述激光投影设备包括摄像机、主机以及屏幕，所述方法包括：

获取待投影的图像帧序列；

响应于图像处理开始指令和图像处理结束指令，将校正标识添加至所述图像帧序列中所述图像处理开始指令和所述图像处理结束指令对应的时间范围内的图像帧子序列，得到处理后图像帧子序列；其中，将校正标识添加至所述图像帧子序列的方式包括将图像帧中直接添加校正标识，或者将图像帧序列中部分帧替换为包括校正标识的图像帧，或者在图像帧序列中插入包括校正标识的图像帧；

通过所述主机将所述处理后图像帧子序列投影到所述屏幕，并响应于所述图像处理开始指令，触发所述摄像机捕获所述激光投影设备的投影区域，得到所述处理后图像帧子序列对应的拍摄图像；

响应于所述图像处理结束指令，基于所述校正标识在所述拍摄图像的位置，对所述处理后图像帧子序列的后续待投影的原始图像进行几何校正。

2.根据权利要求1所述的几何校正方法，其特征在于，所述方法还包括：

以第一预设周期生成所述图像处理开始指令和所述图像处理结束指令，以实现对所述图像帧序列进行周期性几何校正；其中，每个周期内所述图像处理开始指令与所述图像处理结束指令间隔第一预设时长。

3.根据权利要求1所述的几何校正方法，其特征在于，所述将校正标识添加至所述图像帧序列中所述图像处理开始指令和所述图像处理结束指令对应的时间范围内的图像帧子序列，得到处理后图像帧子序列，包括：

将所述图像帧子序列中的多帧图像替换为包括所述校正标识的第一校正图卡，得到所述处理后图像帧子序列。

4.根据权利要求3所述的几何校正方法，其特征在于，所述将所述图像帧子序列中的多帧图像替换为包括所述校正标识的第一校正图卡，得到所述处理后图像帧子序列，包括：

从所述图像帧子序列中选取周期性分布的多帧图像作为待替换图像；

在各帧所述待替换图像中分别添加至少一个所述校正标识，得到对应的多帧所述第一校正图卡，其中，添加的校正标识分布于各帧所述待替换图像的不同位置。

5.根据权利要求1所述的几何校正方法，其特征在于，所述将校正标识添加至所述图像帧序列中所述图像处理开始指令和所述图像处理结束指令对应的时间范围内的图像帧子序列，得到处理后图像帧子序列，包括：

在所述图像帧子序列中插入包括所述校正标识的第二校正图卡，得到所述处理后图像帧子序列。

6.根据权利要求5所述的几何校正方法，其特征在于，所述方法还包括：

从所述图像帧子序列中选取周期性分布的多帧图像作为待复制图像；

在各帧所述待复制图像中分别添加多个所述校正标识，得到对应的多帧所述第二校正图卡。

7.根据权利要求6所述的几何校正方法，其特征在于，所述在所述图像帧子序列中插入包括所述校正标识的第二校正图卡，得到所述处理后图像帧子序列，包括：

将所述第二校正图卡作为对应的所述待复制图像的后一帧图像，插入所述图像帧子序列中。

8.根据权利要求1所述的几何校正方法，其特征在于，所述基于所述校正标识在所述拍摄图像的位置，对所述处理后图像帧子序列的后续待投影的原始图像进行几何校正，包括：

获取初始校正拍摄图像中所述校正标识的初始坐标，所述初始校正拍摄图像为所述主机的投影区域与所述屏幕重合匹配时，通过所述摄像机捕获的初始拍摄图像；

根据所述拍摄图像中所述校正标识的坐标与所述初始拍摄图像中所述校正标识的初始坐标的变换关系，获取几何校正参数；

根据所述几何校正参数，对所述处理后图像帧子序列的后续待投影的原始图像进行几何校正。

9.一种几何校正装置，其特征在于，应用于激光投影设备，所述激光投影设备包括摄像机、主机以及屏幕，所述装置包括：

图像获取单元，用于获取待投影的图像帧序列；

图像处理单元，用于响应于图像处理开始指令和图像处理结束指令，将校正标识添加至所述图像帧序列中所述图像处理开始指令和所述图像处理结束指令对应的时间范围内的图像帧子序列，得到处理后图像帧子序列；其中，将校正标识添加至所述图像帧子序列的方式包括将图像帧中直接添加校正标识，或者将图像帧序列中部分帧替换为包括校正标识的图像帧，或者在图像帧序列中插入包括校正标识的图像帧；

控制单元，用于通过所述主机将所述处理后图像帧子序列投影到所述屏幕，并响应于所述图像处理开始指令，触发所述摄像机捕获所述激光投影设备的投影区域，得到所述处理后图像帧子序列对应的拍摄图像；

几何校正单元，用于响应于所述图像处理结束指令，基于所述校正标识在所述拍摄图像的位置，对所述处理后图像帧子序列的后续待投影的原始图像进行几何校正。

10.一种激光投影设备，其特征在于，所述激光投影设备包括：

主机，用于投射待投影的图像帧序列；

屏幕，用于显示所述待投影的图像帧序列；

摄像机，用于捕获所述主机的投影区域；以及

如权利要求9所述的几何校正装置。