CN115883803A - 投影设备及投影画面矫正方法 - Google Patents

Abstract

本申请的部分实施例提供一种投影设备及投影画面矫正方法，所述方法可以在接收到投影画面矫正指令后，控制出光组件投射纯色图卡和特征图卡的矫正图像。并获取相机对纯色图卡拍摄的第一采样图像和对特征图卡拍摄的第二采样图像。根据第一采样图像确定特征轮廓区域，按照特征轮廓区域在第二采样图像中提取特征点。基于从第二采样图像中所提取的特征点计算投影面与出光组件之间的夹角，控制出光组件根据夹角投射投影内容至投影面，以确保在投影面被障碍物遮挡时，投影设备能够根据避障后的特征轮廓区域提取特征点，在投影面投射出矫正好的投影图像，以提高用户使用投影设备时的体验感。

Description

投影设备及投影画面矫正方法

技术领域

本申请涉及显示设备技术领域，尤其涉及一种投影设备及投影画面矫正方法。

背景技术

投影设备是一种可以将图像或视频投射到屏幕上的显示设备。投影设备可以将特定颜色的激光光线通过光学透镜组件的折射作用，投射到屏幕上形成具体影像。在投影过程中，需要将投影设备与屏幕之间保持一定距离，使屏幕上形成的影像可以符合光学透镜组件的焦距范围，以获得清晰的影像。

由于环境复杂性，不可避免的会存在投影设备的出光组件与投影墙面或幕布不垂直使投影画面产生梯形，以及投影区域有障碍物造成投影画面被障碍物遮挡，十分影响用户体验。因此，投影设备需要在投影时可以自动检测障碍物来避开障碍物投影，并使用自动矫正功能重新对投影画面进行矫正，以提升用户体验。

自动矫正的功能是利用投影投射特征图卡时，不判断特征点的空间位置，直接通过相机拍照识别特征点然后三维重建拟合投影面实现自动矫正。但若投影墙面不止一块时，或是一部分特征点投射到别的物体而非平面时，此时投影投射在多个区域，如果在多个区域都识别到特征点时会产生拟合平面产生误差，导致自动矫正后的形状不再是矩形，矫正成错误的结果。

发明内容

本申请一些实施例提供了一种投影画面矫正方法，以解决在投影面存在障碍物时，投影设备在多个区域都识别到特征点时会产生拟合平面产生误差，导致自动矫正后的形状出现偏差的问题。

一方面，本申请一些实施例中提供一种投影设备，包括：出光组件，相机，控制器。其中，所述出光组件被配置为投射投影内容至投影面；所述相机配置为拍摄采样图像；所述控制器被配置为：

响应于投影画面矫正指令，控制所述出光组件投射矫正图像，所述矫正图像包括纯色图卡和特征图卡；

获取所述相机对所述纯色图卡拍摄获得的第一采样图像，以及对所述特征图卡拍摄获得的第二采样图像；

根据所述第一采样图像确定特征轮廓区域，所述特征轮廓区域为所述第一采样图像中面积最大的轮廓区域或用户指定的轮廓区域；

按照所述特征轮廓区域在所述第二采样图像中提取特征点；

基于所述特征点计算投影面与所述出光组件之间的夹角，以及控制所述出光组件根据所述夹角投射投影内容至投影面。

另一方面，本申请的一些实施例还提供一种投影画面矫正方法，应用于投影设备，所述投影设备包括出光组件、相机以及控制器；所述投影画面矫正方法包括：

响应于投影画面矫正指令，控制所述出光组件投射矫正图像，所述矫正图像包括纯色图卡和特征图卡；

获取所述相机对所述纯色图卡拍摄获得的第一采样图像，以及对所述特征图卡拍摄获得的第二采样图像；

根据所述第一采样图像确定特征轮廓区域，所述特征轮廓区域为所述第一采样图像中面积最大的轮廓区域或用户指定的轮廓区域；

按照所述特征轮廓区域在所述第二采样图像中提取特征点；

基于所述特征点计算投影面与所述出光组件之间的夹角，以及控制所述出光组件根据所述夹角投射投影内容至投影面。

由上述方案可知，本申请的一些实施例提供的一种投影设备及投影画面矫正方法可以在接收到投影画面矫正指令后，控制出光组件投射初色图卡和特征图卡的矫正图像。并获取相机对纯色图卡拍摄的第一采样图像和对特征图卡拍摄的第二采样图像。根据第一采样图像确定特征轮廓区域，然后按照特征轮廓区域在第二采样图像中提取特征点。基于从第二采样图像中所提取的特征点计算投影面与出光组件之间的夹角，出光组件根据夹角投射投影内容至投影面，以确保在投影面被障碍物遮挡时，投影设备能够根据避障后的特征轮廓区域提取特征点，在投影面投射出矫正好的投影图像。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例中投影设备投影状态示意图；

图2为本申请实施例中投影设备结构示意图；

图3为本申请实施例中投影设备的光机架构示意图；

图4为本申请实施例中投影设备光路示意图；

图5为本申请实施例中投影设备的系统框架示意图；

图6为本申请实施例中投影面倾斜时投影设备的成像示意图；

图7为本申请实施例中投影设备与投影面之间存在障碍物时的成像示意图；

图8为本申请实施例中相机拍摄的第一采样图像示意图；

图9为本申请实施例中相机拍摄的第二采样图像示意图；

图10为本申请实施例中在第二采样图像提取备选轮廓区域示意图；

图11为本申请实施例中投影面存在凹凸情况的出光组件投射示意图；

图12为本申请实施例中相机和出光组件的坐标系转换示意图；

图13为本申请实施例中根据投影画面划定目标投影区域的流程示意图；

图14为本申请实施例中根据避障指令划定目标投影区域的流程示意图；

图15为本申请实施例提供的一种投影画面矫正方法的流程示意图。

具体实施方式

为使本申请的目的和实施方式更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。

术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

本申请实施例可以应用于各种类型的投影设备。下文中将以投影仪为例，对投影设备以及自动调焦方法进行阐述。

投影仪是一种可以将图像、或视频投射到屏幕上的设备，投影仪可以通过不同的接口同计算机、广电网络、互联网、VCD(Video Compact Disc：视频高密光盘)、DVD(DigitalVersatile Disc Recordable：数字化视频光盘)、游戏机、DV等相连接播放相应的视频信号。投影仪广泛应用于家庭、办公室、学校和娱乐场所等。

图1示出了本申请一实施例投影设备的摆放示意图，图2示出了本申请一实施例投影设备光路示意图。

在一些实施例中，参考图1-2，本申请提供的一种投影设备包括投影屏幕1和投影设备2。投影屏幕1固定于第一位置上，投影设备2放置于第二位置上，使得其投影出的画面与投影屏幕1吻合。投影设备包括激光光源100，光机200，镜头300，投影面400。其中，激光光源100为光机200提供照明，光机200对光源光束进行调制，并输出至镜头300进行成像，投射至投影面400形成投影画面。由于激光光源100，光机200，镜头300共同用于发出投影光，以投射投影画面，因此本申请部分实施例中，将激光光源100，光机200，镜头300统称为出光组件。

在一些实施例中，投影设备的激光光源100包括激光器组件110和光学镜片组件120，激光器组件110发出的光束可透过光学镜片组件120进而为光机200提供照明。其中，例如，光学镜片组件120需要较高等级的环境洁净度、气密等级密封；而安装激光器组件的腔室可以采用密封等级较低的防尘等级密封，以降低密封成本。

在一些实施例中，投影设备的光机200可实施为包括蓝色光机、绿色光机、红色光机，还可以包括散热系统、电路控制系统等。需要说明的是，在一些实施例中，投影仪的发光部件还可以通过LED光源实现。

图3示出了本申请一实施例投影设备的电路架构示意图。在一些实施例中，该投影设备可以包括显示控制电路10、激光光源20、至少一个激光器驱动组件30以及至少一个亮度传感器40，该激光光源20可以包括与至少一个激光器驱动组件30一一对应的至少一个激光器。其中，该至少一个是指一个或多个，多个是指两个或两个以上。

基于该电路架构，投影设备可以实现自适应调整。例如，通过在激光光源20的出光路径中设置亮度传感器40，使亮度传感器40可以检测激光光源的第一亮度值，并将第一亮度值发送至显示控制电路10。

该显示控制电路10可以获取每个激光器的驱动电流对应的第二亮度值，并在确定该激光器的第二亮度值与该激光器的第一亮度值的差值大于差值阈值时，确定该激光器发生COD故障；则显示控制电路可以调整激光器的对应的激光器驱动组件的电流控制信号，直至该差值小于等于该差值阈值，从而消除该蓝色激光器的COD故障；该投影设备能够及时消除激光器的COD故障，降低激光器的损坏率，提高投影设备的图像显示效果。

图4示出了本申请一实施例投影设备的结构示意图。

在一些实施例中，该投影设备中的激光光源20可以包括独立设置的蓝色激光器201、红色激光器202和绿色激光器203，该投影设备也可以称为三色投影设备，蓝色激光器201、红色激光器202和绿色激光器203均为模块轻量化(Mirai Console Loader，MCL)封装激光器，其体积小，利于光路的紧凑排布。

在一些实施例中，控制器包括中央处理器(Central Processing Unit，CPU)，视频处理器，音频处理器，图形处理器(Graphics Processing Unit，GPU)，RAM Random AccessMemory，RAM)，ROM(Read-Only Memory,ROM)，用于输入/输出的第一接口至第n接口，通信总线(Bus)等中的至少一种。

在一些实施例中，投影设备可以配置相机，用于和投影设备协同运行，以实现对投影过程的调节控制。例如，投影设备配置的相机可具体实施为3D相机，或双目相机；在相机实施为双目相机时，具体包括左相机、以及右相机；双目相机可获取投影设备对应的幕布，即投影面所呈现的图像及播放内容，该图像或播放内容由投影设备内置的光机200进行投射。

当投影设备移动位置后，其投射角度、及至投影面距离发生变化，会导致投影图像发生形变，投影图像会显示为梯形图像、或其他畸形图像；投影设备控制器500可基于相机600拍摄的图像，通过耦合光机投影面之间夹角和投影图像的正确显示实现自动梯形矫正。

图5示出了本申请一实施例投影设备实现显示控制的系统框架示意图。

在一些实施例中，投影设备具备长焦微投的特点，其控制器通过预设算法可对投影光图像进行显示控制，以实现显示画面自动梯形矫正、自动入幕、自动避障、自动调焦、以及防射眼等功能。

在一些实施例中，投影设备配置有陀螺仪传感器；设备在移动过程中，陀螺仪传感器可感知位置移动、并主动采集移动数据；然后通过系统框架层将已采集数据发送至应用程序服务层，支撑用户界面交互、应用程序交互过程中所需应用数据，采集数据还可用于控制器在算法服务实现中的数据调用。

在一些实施例中，投影设备配置有飞行时间传感器，在飞行时间传感器采集到相应数据后，所述数据将被发送至服务层对应的飞行时间服务；上述飞行时间服务获取数据后，将采集数据通过进程通信框架发送至应用程序服务层，数据将用于控制器的数据调用、用户界面、程序应用等交互使用。

在一些实施例中，投影设备配置有用于采集图像的相机，所述相机可实施为双目相机、或深度相机、或3D相机等；相机采集数据将发送至摄像头服务，然后由摄像头服务将采集图像数据发送至进程通信框架、和/或投影设备矫正服务；所述投影设备矫正服务可接收摄像头服务发送的相机采集数据，控制器针对所需实现的不同功能可在算法库中调用对应的控制算法。

在一些实施例中，通过进程通信框架、与应用程序服务进行数据交互，然后经进程通信框架将计算结果反馈至矫正服务；矫正服务将获取的计算结果发送至投影设备操作系统，以生成控制信令，并将控制信令发送至出光组件控制驱动以控制出光组件工况、实现显示图像的自动矫正。

在一些实施例中，投影设备通过自动调焦算法，利用其配置的激光测距可获得当前物距，以计算初始焦距、及搜索范围；然后投影设备驱动相机进行拍照，并利用对应算法进行清晰度评价。

投影设备在上述搜索范围内，基于搜索算法查找可能的最佳焦距，然后重复上述拍照、清晰度评价步骤，最终通过清晰度对比找到最优焦距，完成自动调焦。

例如，在投影设备启动后，用户移动设备；投影设备自动完成矫正后重新调焦，控制器将检测自动调焦功能是否开启；当自动调焦功能未开启时，控制器将结束自动调焦业务；当自动调焦功能开启时，投影设备将通过中间件获取飞行时间传感器的检测距离进行计算；

控制器根据获取的距离查询预设的映射表，以获取投影设备的焦距；然后中间件将获取焦距设置到投影设备的出光组件；出光组件以上述焦距进行发出激光后，摄像头将执行拍照指令；控制器根据获取的拍摄图像、评价函数，判断投影设备调焦是否完成；

如果判定结果符合预设完成条件，则控制自动调焦流程结束；如果判定结果不符合预设完成条件，中间件将微调投影设备出光组件的焦距参数，例如可以预设步长逐渐微调焦距，并将调整的焦距参数再次设置到出光组件；从而实现反复拍照、清晰度评价步骤，最终通过清晰度对比找到最优焦距完成自动调焦。

如图6和图7所示，在用户使用投射设备投射投影内容的过程中，由于环境的复杂性，不可避免的会存在投影设备的出光组件与投影墙面或幕布不垂直使投影画面变形，以及投影区域有障碍物造成投影画面被障碍物遮挡，十分影响用户体验。

对此，投影设备通常会设计有自动避障和自动矫正功能，投影设备需要在投影时可以自动检测障碍物来避开障碍物投影，并使用自动矫正功能重新对投影画面进行矫正。自动矫正的功能是利用投影投射特征图卡时，不判断特征点的空间位置，直接通过相机600拍照识别特征点然后三维重建拟合投影面实现自动矫正。

但若投影墙面不止一块时，或是一部分特征点投射到别的物体而非平面时，此时投影投射在多个区域，如果在多个区域都识别到特征点时会产生拟合平面误差，导致自动矫正后的形状不再是矩形，矫正成错误的结果。

为了能够在投影的过程中，投影面400被障碍物遮挡时，依然能投射出矫正好的投影图像，本申请的一些实施例还提供了一种投影设备，所述投影设备可以包括出光组件、相机600和控制器500。其中，所述出光组件用于投射投影内容至投影面400。所述相机600用于拍摄采样图像。所述控制器500被配置为：

S100：响应于投影画面矫正指令，控制所述出光组件投射矫正图像。

投影设备可以获取用户输入的投影画面矫正指令，并根据投影画面矫正指令，控制所述出光组件投射矫正图像。投影画面矫正指令可以是用户通过投射设备的控制装置(遥控器等)上的按键发出，也可以通过与所述投影设备建立通信连接的移动终端(智能手机、便携式电脑等)发出。

矫正图像包括纯色图卡和特征图卡。其中，矫正图像为纯色图卡时，投影设备会通过出光组件向投影面400投射纯色投影画面。在出光组件向投影面400投射纯色图卡时，纯色图卡中的部分光线会照射在位于出光组件和投影面400之间的障碍物上，在投影面400的对应位置，会出现因为障碍物的遮挡所形成的阴影区域。控制器500可以识别纯色图卡中的阴影区域即可识别障碍物的位置，并根据障碍物的位置执行后续避障功能。

需要说明的是，在本申请的一些实施例中，为了能够更明显的识别出阴影区域，纯色图卡应为浅色，例如浅黄色、浅蓝色、白色、灰色等，在本实施例中，浅色的定义为颜色小于或者等于1/12染料颜色标准深度的颜色。本申请实施例对纯色图卡的颜色不做其他限制。

矫正图像为特征图卡时，投影设备会通过出光组件向投影面400投射带有若干特征点的投影画面。所述特征点代表投影画面的预设区域范围的特征，用于后续对投影画面执行自动矫正功能。

S200：获取所述相机对所述纯色图卡拍摄获得的第一采样图像，以及对所述特征图卡拍摄获得的第二采样图像。

控制器500还可以控制相机600对纯色图卡以及特征图卡进行拍摄，以获取由纯色图卡拍摄获得的第一采样图像和由特征图卡拍摄获得的第二采样图像。在一些实施例中，投影设备的相机600可以为内置或者外接安装，相机600能够对投影设备通过出光组件投射的投影画面进行拍摄，以得到采样图像。投影设备在通过相机600进行拍摄后，还可以对相机600所拍摄的采样图像进行清晰度检测，确定投影设备的焦距是否合适。如果检测采样图像的清晰度较低时，调整投影设备的焦距，并通过相机600重新拍摄采样图像，按照拍摄的时间顺序对比采样图像的清晰度，确定采样图像的清晰度最高时，投影设备的焦距参数。

在本申请的一些实施例中，确定投影设备的焦距参数的过程中，还可以在调整焦距参数的过程中，切换相机600至连拍模式，并在拍摄的采样图像中，添加可去除的水印，水印内容即为焦距参数。通过所有的采样图像的清晰度比对，确定采样图像的清晰度最高时，投影设备的焦距参数。

例如，控制器500获取到的第一采样图像如图8所示，第一采样图像中存在矩形形状的障碍物1和圆形形状的障碍物2。

S300：根据所述第一采样图像确定特征轮廓区域。

其中所述特征轮廓区域为所述第一采样图像中面积最大的轮廓区域或用户指定的轮廓区域。控制器500可以根据障碍物1和障碍物2在第一采样图像中的位置，进而确定特征轮廓区域，以保证投影设备投射出的投射画面避开上述障碍物1和障碍物2，使用户看到不被障碍物遮挡的投影画面。

在本申请的一些实施例中，特征轮廓区域可以是第一采样画面中面积最大的轮廓区域或者用户指定的轮廓区域。控制器500可以根据投影设备的避障开关的设置状态来确定选择上述之一的轮廓区域作为特征轮廓区域。因为出光组件和投影面400之前存在的障碍物会在投影图像上形成阴影区域，而阴影区域会将原来的投影画面分裂成多个没有阴影区域的轮廓区域。此时，控制器500可以在第一采样区域中提取所有的轮廓区域，并检测投影设备的避障开关的设置状态。所述避障开关的设置状态包括开启和关闭，设置状态可以是使用投影设备的用户人为设定开启和关闭，也可以是投影设备在识别投影画面中存在障碍物时，自动切换为开启状态。

投影设备处于避障状态时，需要将投影画面避开障碍物进行投射，如果设置状态为开启时，控制器500会遍历第一采样图像中各轮廓区域的面积，筛选出备选轮廓区域，备选轮廓区域用于用户指定作为特征轮廓区域。在筛选的过程中，除了轮廓区域以外，还可以设定用于筛选的其他参数。例如，为了使用户能够更清晰的观看投影画面，控制器500设置轮廓区域与用户之间的距离作为筛选参数。又例如，轮廓区域的形状为不规则图形，而投影需要投射至矩形区域内，此时控制器500还需要在每个轮廓区域内设定最大矩形面积，并以最大矩形面积作为筛选参数。

图像都是由像素点组成，在本申请的一些实施例中，控制器500还可以根据第一采样图像中的像素点颜色值来划定轮廓区域。由于纯色图卡的颜色为浅色，而经过障碍物遮挡后的阴影区域通常为黑色，二者在色彩上存在很大差别。因此，控制器500还可以设置色差阈值，并遍历第一采样图像中的像素点颜色值，获取相邻像素点色差值大于或等于色差阈值的像素点，并根据相邻像素点色差值大于或等于色差阈值的像素点识别边界图形。所述边界图形即为出光组件与投影面400之间的障碍物的形状图形。

控制器500在识别到边界图形后，会根据第一采样图像的边缘，划定轮廓区域。这样，对于障碍物遮挡所形成的阴影区域内部，像素点都为黑色，相邻像素点色差值较小，不会达到色差阈值，而对于阴影区域轮廓部分的像素点为黑色，轮廓外的像素点为纯色图卡的颜色，与黑色存在较大色差，所以可以准确识别出障碍物遮挡所形成的阴影区域，精确划定轮廓区域。

在本申请的一些实施例中，控制器500还可以将相机600拍摄得到的第一采样图像输入至识别模型中。识别模型是根据样本图像训练获得的神经网络模型，所述识别模型可以通过大量带有障碍物的采样图像以及没有障碍物的采样图像训练至收敛得到。控制器500将第一采样图像输入至识别模型后，会得到识别模型输出的识别结果。识别结果为第一采样图像包含障碍目标的分类概率，可以根据分类概率判断第一采样图像中是否包括障碍目标。如果识别结果为包含障碍目标，说明出光组件和投影面400之间存在障碍物，控制器500会从第一采样图像中剔除所述障碍目标对应的轮廓区域，以及在剔除所述障碍目标后的第一采样图像中确定特征轮廓区域。如果识别结果为不包含障碍目标，说明出光组件和投影面400之间不存在障碍物，控制器500会根据第一采样图像确定特征轮廓区域。

在本申请的一些实施例中，如果避障开关的设置状态为关闭，为了在避开障碍物的同时使用户能够看清投影画面中的投影内容，控制器500会在遍历第一采样图像中各轮廓区域的面积之后，筛选出轮廓区域的面积最大的作为特征轮廓区域。

在本申请的一些实施例中，上述筛选轮廓区域的参数还可以设置优先级。例如，优先选择各个轮廓区域的面积作为第一筛选参数，如果轮廓区域相同，再选择轮廓区域与用户之间的距离作为第二筛选参数。以上仅为本实施例的示例性说明，在设置优先级时，筛选参数可以相互调换，本申请部分实施例对此不做具体限制。

在本申请的一些实施例中，控制器500在筛选轮廓区域之前，还可以根据筛选参数设置参数阈值。例如，当以轮廓区域的面积作为筛选参数时，可以设置面积参数阈值，如果轮廓区域的面积大于所述参数阈值，那么，说明该轮廓区域符合筛选条件，可以作为备选轮廓区域；如果轮廓区域的面积小于所述参数阈值，说明该轮廓区域的面积过小，用户无法在指定距离看清投影画面中的投影内容，不符合筛选条件，不可以作为备选轮廓区域。

在控制器500在筛选备选轮廓区域之前，还可以根据遍历第一采样图像中各轮廓区域的面积生成轮廓区域列表。如果轮廓区域列表中的某一轮廓区域没有符合筛选条件时，控制器500会在轮廓区域列表中剔除对应的轮廓区域。在对全部的轮廓区域进行筛选后，轮廓区域列表中均为符合筛选条件的备选轮廓区域，此时得到备选轮廓区域列表，以供用户指定作为特征轮廓区域。

在对轮廓区域进行筛选的过程前，控制器500还可以根据备选轮廓区域列表的数量，例如，设置备选轮廓区域列表的数量为3个。此时，控制器500则会在遍历第一采样图像中各轮廓区域的面积后，按轮廓区域的面积大小筛选出三个备选轮廓区域，并按照默认或用户指定的顺序排列在备选轮廓区域列表中。

S400：按照所述特征轮廓区域在所述第二采样图像中提取特征点。

在本申请的一些实施例中，在遍历第一采样图像中的各轮廓的面积，筛选出备选轮库区域后，控制器500还会控制出光组件向投影面400投射特征图卡，并在出光组件投射特征图卡后，控制相机600拍摄特征图卡，以得到第二采样图像，图9示出了本申请实施例中的一种第二采样图像。然后，控制器500还可以根据对第一采样图像筛选得到的备选轮廓区域，识别第二采样图像中同一个轮廓区域内的特征点，并计算第二采样图像中位于同一个所述备选轮廓区域内特征点的平均深度。特征点指的是图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点，即两个边缘的交点。图9中的环状矩形即为特征图卡上的特征点。

计算特征点的方法可以为几何三角化、反深度(inverse depth)、粒子滤波法等。在计算第二采样图像中位于同一个所述备选轮廓区域内特征点的平均深度的过程中，控制器500还可以遍历备选轮廓区域中特征点的颜色值。特征点轮廓的颜色应于纯色图卡的色差较大，以便能够很清晰的体现出特征点轮廓以及特征点位置。在本申请的一些实施例中，为了区别于障碍物在投影面上形成的阴影，特征点的颜色可以为除了黑色以外的任何深色，特征点的颜色可以不统一。在本实施例中，深色的定义为颜色大于1/12染料颜色标准深度的颜色。本申请实施例对特征点的颜色不做其他限制。

图10示出了第二采样图像中的两个备选区域轮廓。在图10中，第二采样图像内两个虚线所示区域即为备选区域轮廓，其中，障碍物2左侧的备选轮廓区域定义为第一备选轮廓区域，障碍物2右侧的备选轮廓区域定义为第二备选轮廓区域。控制器500在计算特征点的平均深度时，会基于同一备选轮廓区域内特征点进行计算。对于第一备选轮廓区域，控制器500会根据第一备选轮廓区域内的9个特征点计算平均深度，对于第二备选轮廓区域，控制器500会根据第二备选轮廓区域内的3个特征点计算平均深度。

在本申请的一些实施例中，控制器500计算第二采样图像中位于同一个所述备选轮廓区域内特征点的平均深度时，还可以遍历备选轮廓区域中特征点的颜色值。在控制器500控制出光组件投射特征图卡时，因为特征点的颜色值与纯色图卡中的颜色值存在明显差别，所以能够显现出特征点的位置。

由于环境复杂性，投影设备通过出光组件将投影画面投射到投影面400时可能存在多种情况。如果投影面400为墙体时，同一投影画面可能会投射到远近不同的两面墙体上，此时，投射到距离投影设备较近的墙体所显示的画面比投射到距离投影设备较远的墙体所显示的画面大，就会造成画面大小不一，投影形状变形。如果投影面400为投影的幕布时，由于投影设备的摆放问题，可能会出现呈现投影画面变形等问题。例如，投影设备摆放时上下方向高低不一致或者投影机偏左或偏右放置导致投影画面呈梯形。

对此，控制器500还可以根据多个特征点的颜色值，提取投影形状。在此过程中，为了更快提取投影形状，控制器500可以通过获取备选区域轮廓中的边界特征点，所述边界特征点是能够体现备选轮廓区域形状的特征点。例如，当备选轮廓区域为矩形时，可以提取矩形的四个边角对应的四个特征点，并根据四个特征点提取投影形状。也可以提取矩形的两个对角对应的两个特征点，根据两个特征点提取投影形状。

因为投影设备的投影区域大多为矩形，但是在出光组件与投影面400之间存在障碍物时，障碍物在投影画面中所形成的阴影区域会将投影画面分割为不规则形状。对此，控制器500还可以在筛选出备选轮廓区域后，在备选轮廓区域划定最大矩形区域，并根据备选轮廓区域的最大矩形区域作为备选轮廓区域中的有效投影区域。

在控制器500提取到投影形状之后，控制器500还可以获取相机600和出光组件的硬件参数。其中，相机600的硬件参数包括感光度、白平衡、测光、对焦、曝光补偿和焦距等。在相机600设置感光度之前，控制器500还可以通过相机获取当前环境的光线，并根据光线的强弱进行感光度调整。为了更好的观看效果，通常在投影时，投影设备所处的环境的光线较弱。因此，相机600的感光度需要调整到更高的数值。

对焦模式可以为单点自动对焦AF-S、伺服自动对焦AF-C、智能自动对焦AF-A和手动对焦。

相机600在设置曝光补偿时，还可以检测照片的亮度，当照片亮度适中的时候，保持对着“0”处即可；当照片偏暗时，增加曝光补偿；当照片偏亮时，降低曝光补偿。

在相机600设置焦距时，想要拍摄到更宽广的视野画面时，将镜头变焦环调到最小即可；想要拍摄到远处的画面时，只需要拉长镜头即可。同时较广的焦距拍摄出来的照片景深更大，较长的焦距拍摄出来的照片景深较浅。

出光组件的硬件参数包括分辨率、投影亮度、对比度、对焦方式和显示比例等。

在本申请的一些实施例中，控制器500在获取相机600和出光组件的硬件参数的同时，还可以获取第二采样图像中特征图卡上的标准形状。出光组件在垂直将特征图卡投射到整齐的投影面400时，投影形状与标准形状相同。此时，控制器500可以根据备选轮廓区域中特征点计算出光组件到各特征点的距离，即为特征点的深度。

但是，对于凹凸不平的投影面400来说，特征图卡会投射在距离不同的平面上，对应的，特征图卡上的特征点所位于的平面也不同。对于同一个备选轮廓区域内特征点，由于投影面400中，各平面与光机200的距离不同，所以特征点的深度也不同。控制器500会根据由多个特征点的颜色值所提取的投影形状，第二采样图像中特征图卡上的标准形状，以及相机600和出光组件的硬件参数来分别计算多个特征点与光机200之间的距离。并计算这些距离的平均值，以获得平均深度。

在计算的过程中，控制器500可以分别计算投影面400中同一平面的特征点的平均深度。在计算之前，控制器500还可以通过识别投影面400的特征轮廓来获取投影面400中所包含的平面数量。如图11所示，投影设备通过光机200将特征图卡投射在投影面400上，在投影面400中存在两个凸起的墙面，将投影面400分为了5个平面，其中3个平面与出光组件位于同一距离，另两个平面距离出光组件较近。

对于上述5个平面，控制器500可以判断各备选轮廓区域分别包含的那些平面，进而计算所包含平面内的特征点的深度，并根据特征点的深度计算该平面内的特征点的平面平均深度。在计算完备选轮廓区域全部包含的平面平均深度后，再根据平面平均深度计算备选轮廓区域的特征点的平均深度。

在本申请的一些实施例中，如果投影面400中，所在的其中一个平面面积较小，平面内不存在特征点，此时，控制器500可以将该平面的区域划分至相邻的平面内，以确保投影面400内的每个区域都被计算。

在计算出特征点的平均深度后，对于各个备选区域轮廓，控制器500还可以计算各个备选区域轮廓的面积，以及第二采样图像的面积，并根据备选区域轮廓的面积和第二采样图像的面积计算备选轮廓区域相对于第二采样图像的面积比例。所述面积比例可以根据数值由大到小排序。在计算出备选轮廓区域内特征点的平均深度和备选轮廓区域相对于第二采样图像的面积比例后，控制器500还可以根据上述两项数据生成第一提示信息，并在避障开关的设置状态开启时，控制出光组件投射所述第一提示信息。第一提示信息中包括各个备选轮廓区域，以及各个备选轮廓区域对应的特征点的平均深度和面积比例。

用户可以通过投射到投影面400的第一提示信息，查看到可选择的备选轮廓区域。并在可选择的备选轮廓区域选择其中一个作为特征轮廓区域。基于第一提示信息，用户可以通过投影设备的控制装置上的按键生成选中命令。控制器500在接收到选中指令后，响应于选中指令，将选中指令中指定的备选轮廓区域标记为特征轮廓区域。

在本申请的一些实施例中，第一提示信息可以以列表的形式显示，列表中包括可选择的备选轮廓区域，以及对应备选轮廓区域的特征点的平均深度和面积比例。用户在通过控制装置选中备选轮廓区域时，控制器500还可以控制出光组件将所选中的备选轮廓区域的轮廓部分进行标记，以便用户能够更直观的看到备选轮廓区域的面积。控制器500可以选用与特征图卡或者特征点的颜色不同的其他颜色来作为标记颜色，本申请实施例对标记颜色不做具体限制。

S500：基于所述特征点计算投影面与所述出光组件之间的夹角，以及控制所述出光组件根据所述夹角投射投影内容至投影面。

在确定特征轮廓区域后，控制器500会根据特征轮廓区域在第二采样图像中提取特征点，并根据特征点，计算投影面400与所述出光组件之间的夹角，并根据夹角，控制光机200向投影面400投射矫正后的投影内容。

在本申请的一些实施例中，控制器500在基于特征点计算投影面400与出光组件之间的夹角的过程中，还可以控制相机600调出相机坐标系，并获取特征轮廓区域内的特征点在相机坐标系下的特征点坐标。特征点坐标通常为特征点所在图形的中心，例如，特征点为正方形或矩形时，特征点坐标即为正方形或矩形中心的坐标，特征点为圆形时，特征点坐标即为圆心的坐标。

为了便于相机600拍摄采样图像，相机600通常与光机200一起设置在投影设备的正前方。在获取相机坐标系下的特征点坐标后，控制器500还需要控制出光组件调出出光组件坐标系。并根据相机600和出光组件硬件参数，将特征点坐标转化为在出光组件坐标系下的出光点坐标。所述硬件参数可以为相机600的镜头圆心和出光组件的光机200的圆心的矢量位移值。

在本申请的一些实施例中，控制器500可以先获取相机600的相机镜头圆心坐标，如图12所示，X1Y1坐标系为出光组件坐标系，X2Y2为相机坐标系。当相机600的相机镜头圆心在相机坐标系的坐标为(0，0)，然后将上述坐标转化在出光组件坐标系下，并重新对相机镜头圆心的坐标定位。示例性的，重新定位后的坐标为(30，-40)。那么控制器500就可已根据重新定位前后的坐标计算出相机600的镜头圆心和出光组件的光机200的圆心的矢量位移值为50。在计算出矢量位移值后，控制器500可以根据矢量位移值将相机坐标系中所有的特征点坐标全部转化为在出光组件坐标系下的出光点坐标。

将特征点坐标转化为在出光组件坐标系下的出光点坐标后，控制器500可以根据多个出光点坐标，在出光组件坐标系下的拟合新的投影面400。在拟合出新的投影面400后，控制器500会计算投影面400与出光组件对应的出光面之间的夹角，并根据夹角，控制出光组件向投影面投射矫正后的投影内容，以使用户能够看到矫正后的投影画面。

在本申请的一些实施例中，在控制出光组件根据所述夹角投射投影内容至投影面400的过程中，控制器500还可以获取出光组件的运行参数，并根据运行参数以及投影面400与出光组件之间的夹角计算可投影区域。其中，运行参数可以包括投射距离、光机200的焦距或分辨率等。例如，控制器500可以根据投射距离计算在垂直(90°)投射时，投影画面的面积。然后根据投影面400与出光组件之间的夹角，确定该夹角对应的三角函数值。最后，根据投影画面的面积和三角函数值计算投影画面的可投影区域。

为了适用于移动终端或者智能电视等播放设备，通常投影设备投射的投影画面为矩形，当可投影区域为不规则图形或非矩形图形时，控制器500还可以在可投影区域中划定目标投影区域，目标投影区域为可投影区域中的最大内接矩形区域，所述矩形区域具有预设宽高比。所述目标投影区域可以适配与横屏或竖屏播放的投影画面。如图13所示，在划定目标投影区域之前，控制器500还可以对所要投射的视频或图片播放源进行识别，提取出上述投影内容的画面播放比例。通常播放比例包括4:3、16:9、2.39:1或1.85:1等。基于所提取的画面播放比例与矩形区域的宽高比进行比对，确定目标投影区域是横向的最大内接矩形区域还是纵向的最大内接矩形区域。

图14示出一种根据避障指令划分目标投影区域的流程图。在划定目标投影区域时，控制器500还可以检测用户输入的的用于启动避障功能的避障指令。如果检测到避障指令，控制器500将投影设备的避障状态切换为开启，并根据在第二采样图像中提取特征点划定目标投影区域。而如果没有检测到避障指令，投影设备的避障状态切换依然为关闭，控制器500根据出光组件的出光面的顶点坐标划定所述目标投影区域。

划定目标投影区域后，控制器500还可以将目标投影区域坐标逆变换至出光组件的出光面，并控制所述出光组件，按照逆变换后的目标投影区域坐标投射投影内容。

在本申请的一些实施例中，还提供一种投影画面矫正方法，应用于所述投影设备，所述投影设备包括出光组件、相机600以及控制器500，图15示出了本申请部分实施例提供的一种投影画面矫正方法的流程示意图，所述画面矫正方法包括：

S100：响应于投影画面矫正指令，控制所述出光组件投射矫正图像，所述矫正图像包括纯色图卡和特征图卡；

S200：获取所述相机600对所述纯色图卡拍摄获得的第一采样图像，以及对所述特征图卡拍摄获得的第二采样图像；

S300：根据所述第一采样图像确定特征轮廓区域，所述特征轮廓区域为所述第一采样图像中面积最大的轮廓区域或用户指定的轮廓区域；

S400：按照所述特征轮廓区域在所述第二采样图像中提取特征点；

S500：基于所述特征点计算投影面400与所述出光组件之间的夹角，以及控制所述出光组件根据所述夹角投射投影内容至投影面400。

由上述方案可知，本申请的一些实施例提供的一种投影设备及投影画面矫正方法可以在接收到投影画面矫正指令后，控制出光组件投射初色图卡和特征图卡的矫正图像。并获取相机对纯色图卡拍摄的第一采样图像和相机对特征图卡拍摄的第二采样图像。根据第一采样图像确定特征轮廓区域，按照特征轮廓区域在第二采样图像中提取特征点。基于从第二采样图像中所提取的特征点计算投影面与出光组件之间的夹角，出光组件根据夹角投射投影内容至投影面，以确保在投影面被障碍物遮挡时，投影设备能够根据避障后的特征轮廓区域提取特征点，在投影面投射出矫正好的投影图像，以提高用户使用投影设备时的体验感。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该软件产品可以存储在计算机可读存储介质中。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释本公开内容，从而使得本领域技术人员更好的使用所述实施方式。

Claims (10)

1.一种投影设备，其特征在于，包括：

出光组件，被配置为投射投影内容至投影面；

相机，被配置为拍摄采样图像；

控制器，被配置为：

响应于投影画面矫正指令，控制所述出光组件投射矫正图像，所述矫正图像包括纯色图卡和特征图卡；

获取所述相机对所述纯色图卡拍摄获得的第一采样图像，以及对所述特征图卡拍摄获得的第二采样图像；

根据所述第一采样图像确定特征轮廓区域，所述特征轮廓区域为所述第一采样图像中面积最大的轮廓区域或用户指定的轮廓区域；

按照所述特征轮廓区域在所述第二采样图像中提取特征点；

基于所述特征点计算投影面与所述出光组件之间的夹角，以及控制所述出光组件根据所述夹角投射投影内容至投影面。

2.根据权利要求1所述的投影设备，其特征在于，所述控制器执行根据所述第一采样图像确定特征轮廓区域，还被配置为：

在所述第一采样图像中提取轮廓区域；

检测避障开关的设置状态；

如果所述设置状态为开启，遍历所述第一采样图像中各轮廓区域的面积，以筛选出预设数量个备选轮廓区域，所述备选轮廓区域用于供用户指定作为所述特征轮廓区域；

如果所述设置状态为关闭，遍历所述第一采样图像中各轮廓区域的面积，以筛选出面积最大的轮廓区域作为所述特征轮廓区域。

3.根据权利要求2所述的投影设备，其特征在于，所述控制器执行遍历所述第一采样图像中各轮廓区域的面积，以筛选出预设数量个备选轮廓区域后，还被配置为：

计算所述第二采样图像中位于同一个所述备选轮廓区域内特征点的平均深度；

计算所述备选轮廓区域相对于所述第二采样图像的面积比例；

根据所述平均深度和所述面积比例生成第一提示信息，以及控制所述出光组件投射所述第一提示信息；

获取用户基于所述第一提示信息输入的选中指令；

响应于所述选中指令，将所述选中指令中指定的所述备选轮廓区域标记为所述特征轮廓区域。

4.根据权利要求3所述的投影设备，其特征在于，所述控制器执行计算所述第二采样图像中位于同一个所述备选轮廓区域内特征点的平均深度，还被配置为：

遍历所述备选轮廓区域中特征点的颜色值；

根据多个特征点的颜色值，提取投影形状；

获取所述相机和所述出光组件的硬件参数，以及获取所述第二采样图像中特征图卡上的标准形状；

根据所述投影形状、所述标准形状以及所述相机的硬件参数，计算所述特征点与所述出光组件之间的距离；

计算多个所述特征点与所述出光组件之间的距离的平均值，以获得所述平均深度。

5.根据权利要求2所述的投影设备，其特征在于，所述控制器执行在所述第一采样图像中提取轮廓区域，还被配置为：

遍历所述第一采样图像中的像素点颜色值；

根据所述像素点颜色值识别边界图形，所述边界图形为与相邻像素点色差值大于或等于色差阈值的像素点组成的图形；

按照所述边界图形和所述第一采样图像的边缘，划定所述轮廓区域。

6.根据权利要求1所述的投影设备，其特征在于，所述控制器执行基于所述特征点计算投影面与所述出光组件之间的夹角，还被配置为：

获取所述特征轮廓区域内的特征点在相机坐标系下的特征点坐标；

根据所述相机和所述出光组件的硬件参数，将所述特征点坐标转化为在出光组件坐标系下的出光点坐标；

根据多个所述出光点坐标拟合在出光组件坐标系下的投影面；

计算所述投影面与所述出光组件对应出光面之间的夹角。

7.根据权利要求1所述的投影设备，其特征在于，所述控制器执行控制所述出光组件根据所述夹角投射投影内容至投影面，还被配置为：

获取所述出光组件的运行参数；

根据所述运行参数和所述夹角，计算可投影区域；

在所述可投影区域中划定目标投影区域，所述目标投影区域为所述可投影区域中的最大内接矩形区域，所述矩形区域具有预设宽高比；

根据所述运行参数和所述夹角，将所述目标投影区域坐标逆变换至所述出光组件的出光面；

控制所述出光组件，按照逆变换后的目标投影区域坐标投射投影内容。

8.根据权利要求7所述的投影设备，其特征在于，所述控制器执行在所述可投影区域中划定目标投影区域，还被配置为：

检测用户输入的用于启动避障功能的避障指令；

如果检测到所述避障指令，则根据所述特征点划定所述目标投影区域；

如果未检测到所述避障指令，则根据所述出光组件的出光面的顶点坐标划定所述目标投影区域。

9.根据权利要求1所述的投影设备，其特征在于，所述控制器执行根据所述第一采样图像确定特征轮廓区域，还被配置为：

将所述第一采样图像输入识别模型，所述识别模型是根据样本图像训练获得的神经网络模型；

获取所述识别模型输出的识别结果，所述识别结果为所述第一采样图像包含障碍目标的分类概率；

如果所述识别结果为包含障碍目标，从所述第一采样图像中剔除所述障碍目标对应的轮廓区域，以及在剔除所述障碍目标后的第一采样图像中确定特征轮廓区域；

如果所述识别结果为不包含障碍目标，根据所述第一采样图像确定特征轮廓区域。

10.一种投影画面矫正方法，其特征在于，应用于投影设备，所述投影设备包括出光组件、相机以及控制器；所述投影画面矫正方法包括：

响应于投影画面矫正指令，控制所述出光组件投射矫正图像，所述矫正图像包括纯色图卡和特征图卡；

获取所述相机对所述纯色图卡拍摄获得的第一采样图像，以及对所述特征图卡拍摄获得的第二采样图像；

根据所述第一采样图像确定特征轮廓区域，所述特征轮廓区域为所述第一采样图像中面积最大的轮廓区域或用户指定的轮廓区域；

按照所述特征轮廓区域在所述第二采样图像中提取特征点；

基于所述特征点计算投影面与所述出光组件之间的夹角，以及控制所述出光组件根据所述夹角投射投影内容至投影面。

Images