CN115604445A - 一种投影设备及投影避障方法 - Google Patents

Abstract

本申请提供一种投影设备及避障方法。所述投影设备在识别到投影区域中有障碍物的情况下，还获取用户输入的用于指定第一障碍目标的指令，以确认在投影过程中是否需要进行避障处理。通过拍摄采样图像，确认第一障碍目标是否存在以及存在时的位置。其中，通过相机与出光组件之间坐标的单应性矩阵将采样图像的坐标转换至出光组件坐标系下，投影设备在投射媒资数据时根据第一障碍目标的位置重新划分投影区域，并将媒资数据投射至重新划分的投影区域。投影设备在识别到障碍物时，结合用户的避障指令，在障碍物不影响投影效果时不执行自动避障功能，增强投影效果并提高用户体验。

Description

一种投影设备及投影避障方法

技术领域

本申请涉及投影设备技术领域，尤其涉及一种投影设备及投影避障方法。

背景技术

投影设备可以将媒资数据通过投影光机投射至墙面或幕布上，进而将媒资数据以更大的比例呈现给用户，提升用户的观看体验。

在投影光机投射媒资数据时，可将墙面或幕布视为投影区域，在投影区域中出现障碍物时，投影光机投射的媒资数据会因障碍物的存在导致画面波动或不完整，影响用户观看体验。对于投影区域中例如挂钩的可移动的障碍物，用户可以摘下挂钩以保证墙面光滑。而对于投影区域中例如开关的不便于移动的障碍物，投影设备会执行自动避障功能，并重新确认投影区域。

但在一些时候，不便于移动的障碍物因其结构平整且颜色与投影区域接近，不会对投影效果造成影响。而投影设备为了避开障碍物仍会重新划分投影区域，显然，划分后的投影区域从投影位置、投影比例上均逊色于重新划分前的投影区域，进而导致投影效果受到影响。

发明内容

本申请提供了一种投影设备及投影避障方法，以解决因投影设备在自动避障的过程中为了躲避障碍物，导致投影效果不佳的问题。

一方面，本申请提供了一种投影设备，包括出光组件、相机和控制器。出光组件被配置为投射投影内容至投影面。相机被配置为拍摄采样图像。控制器被配置为：

响应于避障指令，获取变换矩阵，以及获取用户输入的调整指令，所述变换矩阵为所述相机与所述出光组件之间坐标的单应性矩阵；所述调整指令中包括用户指定的第一障碍目标；

在采样图像中识别所述第一障碍目标，所述采样图像为所述相机在所述出光组件投射矫正图像时拍摄获得的图像；

根据所述第一障碍目标在所述采样图像中划定可投影区域，所述可投影区域为所述采样图像中除所述第一障碍目标以外区域所容纳的最大预设宽高比的矩形区域；

按照所述可投影区域和所述变换矩阵确定目标投影区域，以及控制所述出光组件将投影内容投射至所述目标投影区域。

另一方面，本申请还提供了一种投影避障方法，包括：

响应于避障指令，获取变换矩阵，以及获取用户输入的调整指令，所述变换矩阵为所述相机与所述出光组件之间坐标的单应性矩阵；所述调整指令中包括用户指定的第一障碍目标；

在采样图像中识别所述第一障碍目标，所述采样图像为所述相机在所述出光组件投射矫正图像时拍摄获得的图像；

根据所述第一障碍目标在所述采样图像中划定可投影区域，所述可投影区域为所述采样图像中除所述第一障碍目标以外区域所容纳的最大预设宽高比的矩形区域；

按照所述可投影区域和所述变换矩阵确定目标投影区域，以及控制所述出光组件将投影内容投射至所述目标投影区域。

由上述技术方案可知，本申请的投影设备在识别到投影区域中有障碍物的情况下，还获取用户输入的用于指定第一障碍目标的指令，以确认在投影过程中是否需要进行避障处理。通过拍摄采样图像，确认第一障碍目标是否存在以及存在时的位置。其中，通过相机与出光组件之间坐标的单应性矩阵将采样图像的坐标转换至出光组件坐标系下，投影设备在投射媒资数据时根据第一障碍目标的位置重新划分投影区域，并将媒资数据投射至重新划分的投影区域。投影设备在识别到障碍物时，结合用户的避障指令，在障碍物不影响投影效果时不执行自动避障功能，保证了投影效果提高了用户体验。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例中投影设备投影状态示意图；

图2为本申请实施例中投影设备结构示意图；

图3为本申请实施例中投影设备的光机架构示意图；

图4为本申请实施例中投影设备光路示意图；

图5为本申请实施例中投影设备的系统框架示意图；

图6为本申请实施例中投影设备执行自动避障的示意图；

图7为本申请实施例中投影设备根据用户指令执行自动避障的示意图；

图8为本申请实施例中根据用户指令进行避障的示意图；

图9为本申请实施例中投影设备投射纯色图卡和特征图卡的示意图；

图10为本申请实施例中投影设备根据第一障碍目标划分可投影区域的示意图；

图11为本申请实施例中投影设备根据向媒资数据流插入图卡的示意图；

图12为本申请实施例中投影设备向媒资数据流插入图卡后执行步骤示意图；

图13为本申请实施例中投影设备识别用户输入的语音指令的示意图；

图14为本申请实施例中投影设备判断用户输入的调整指令是否符合标准范围的示意图；

图15为本申请实施例中投影设备识别第二故障目标的示意图。

具体实施方式

为使本申请的目的和实施方式更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。

术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

本申请实施例可以应用于各种类型的投影设备。下文中将以投影仪为例，对投影设备以及自动调焦方法进行阐述。

投影仪是一种可以将图像、或视频投射到屏幕上的设备，投影仪可以通过不同的接口同计算机、广电网络、互联网、VCD(Video Compact Disc：视频高密光盘)、DVD(DigitalVersat ile Disc Recordable：数字化视频光盘)、游戏机、DV等相连接播放相应的视频信号。投影仪广泛应用于家庭、办公室、学校和娱乐场所等。

图1示出了本申请一实施例投影设备的摆放示意图，图2示出了本申请一实施例投影设备光路示意图。

在一些实施例中，参考图1-2，本申请提供的一种投影设备包括投影屏幕1和投影设备2。投影屏幕1固定于第一位置上，投影设备2放置于第二位置上，使得其投影出的画面与投影屏幕1吻合。投影设备包括激光光源100，光机200，镜头300，投影面400。其中，激光光源100为光机200提供照明，光机200对光源光束进行调制，并输出至镜头300进行成像，投射至投影面400形成投影画面。由于激光光源100，光机200，镜头300共同用于发出投影光，以投射投影画面，因此本申请部分实施例中，将激光光源100，光机200，镜头300统称为出光组件。

在一些实施例中，投影设备的激光光源100包括激光器组件110和光学镜片组件120，激光器组件110发出的光束可透过光学镜片组件120进而为光机提供照明。其中，例如，光学镜片组件120需要较高等级的环境洁净度、气密等级密封；而安装激光器组件的腔室可以采用密封等级较低的防尘等级密封，以降低密封成本。

在一些实施例中，投影设备的光机200可实施为包括蓝色光机、绿色光机、红色光机，还可以包括散热系统、电路控制系统等。需要说明的是，在一些实施例中，投影仪的发光部件还可以通过LED光源实现。

图3示出了本申请一实施例投影设备的电路架构示意图。在一些实施例中，该投影设备可以包括显示控制电路10、激光光源20、至少一个激光器驱动组件30以及至少一个亮度传感器40，该激光光源20可以包括与至少一个激光器驱动组件30一一对应的至少一个激光器。其中，该至少一个是指一个或多个，多个是指两个或两个以上。

基于该电路架构，投影设备可以实现自适应调整。例如，通过在激光光源20的出光路径中设置亮度传感器40，使亮度传感器40可以检测激光光源的第一亮度值，并将第一亮度值发送至显示控制电路10。

该显示控制电路10可以获取每个激光器的驱动电流对应的第二亮度值，并在确定该激光器的第二亮度值与该激光器的第一亮度值的差值大于差值阈值时，确定该激光器发生COD故障；则显示控制电路可以调整激光器的对应的激光器驱动组件的电流控制信号，直至该差值小于等于该差值阈值，从而消除该蓝色激光器的COD故障；该投影设备能够及时消除激光器的COD故障，降低激光器的损坏率，提高投影设备的图像显示效果。

图4示出了本申请一实施例投影设备的结构示意图。

在一些实施例中，该投影设备中的激光光源20可以包括独立设置的蓝色激光器201、红色激光器202和绿色激光器203，该投影设备也可以称为三色投影设备，蓝色激光器201、红色激光器202和绿色激光器203均为模块轻量化(Mirai Console Loader，MCL)封装激光器，其体积小，利于光路的紧凑排布。

在一些实施例中，控制器包括中央处理器(Central Processing Unit，CPU)，视频处理器，音频处理器，图形处理器(Graphics Processing Unit，GPU)，RAM Random AccessMemory，RAM)，ROM(Read-Only Memory,ROM)，用于输入/输出的第一接口至第n接口，通信总线(Bus)等中的至少一种。

在一些实施例中，投影设备可以配置相机，用于和投影设备协同运行，以实现对投影过程的调节控制。例如，投影设备配置的相机可具体实施为3D相机，或双目相机；在相机实施为双目相机时，具体包括左相机、以及右相机；双目相机可获取投影设备对应的幕布，即投影面所呈现的图像及播放内容，该图像或播放内容由投影设备内置的光机进行投射。

当投影设备移动位置后，其投射角度、及至投影面距离发生变化，会导致投影图像发生形变，投影图像会显示为梯形图像、或其他畸形图像；投影设备控制器可基于相机拍摄的图像，通过耦合光机投影面之间夹角和投影图像的正确显示实现自动梯形校正。

图5示出了本申请一实施例投影设备实现显示控制的系统框架示意图。

在一些实施例中，投影设备具备长焦微投的特点，其控制器通过预设算法可对投影光图像进行显示控制，以实现显示画面自动梯形校正、自动入幕、自动避障、自动调焦、以及防射眼等功能。

在一些实施例中，投影设备配置有陀螺仪传感器；设备在移动过程中，陀螺仪传感器可感知位置移动、并主动采集移动数据；然后通过系统框架层将已采集数据发送至应用程序服务层，支撑用户界面交互、应用程序交互过程中所需应用数据，采集数据还可用于控制器在算法服务实现中的数据调用。

在一些实施例中，投影设备配置有飞行时间传感器，在飞行时间传感器采集到相应数据后，所述数据将被发送至服务层对应的飞行时间服务；上述飞行时间服务获取数据后，将采集数据通过进程通信框架发送至应用程序服务层，数据将用于控制器的数据调用、用户界面、程序应用等交互使用。

在一些实施例中，投影设备配置有用于采集图像的相机，所述相机可实施为双目相机、或深度相机、或3D相机等；相机采集数据将发送至摄像头服务，然后由摄像头服务将采集图像数据发送至进程通信框架、和/或投影设备校正服务；所述投影设备校正服务可接收摄像头服务发送的相机采集数据，控制器针对所需实现的不同功能可在算法库中调用对应的控制算法。

在一些实施例中，通过进程通信框架、与应用程序服务进行数据交互，然后经进程通信框架将计算结果反馈至校正服务；校正服务将获取的计算结果发送至投影设备操作系统，以生成控制信令，并将控制信令发送至出光组件控制驱动以控制出光组件工况、实现显示图像的自动校正。

在一些实施例中，投影设备通过自动调焦算法，利用其配置的激光测距可获得当前物距，以计算初始焦距、及搜索范围；然后投影设备驱动相机进行拍照，并利用对应算法进行清晰度评价。

投影设备在上述搜索范围内，基于搜索算法查找可能的最佳焦距，然后重复上述拍照、清晰度评价步骤，最终通过清晰度对比找到最优焦距，完成自动调焦。

例如，在投影设备启动后，用户移动设备；投影设备自动完成校正后重新调焦，控制器将检测自动调焦功能是否开启；当自动调焦功能未开启时，控制器将结束自动调焦业务；当自动调焦功能开启时，投影设备将通过中间件获取飞行时间传感器的检测距离进行计算；

控制器根据获取的距离查询预设的映射表，以获取投影设备的焦距；然后中间件将获取焦距设置到投影设备的出光组件；出光组件以上述焦距进行发出激光后，摄像头将执行拍照指令；控制器根据获取的拍摄图像、评价函数，判断投影设备调焦是否完成；

如果判定结果符合预设完成条件，则控制自动调焦流程结束；如果判定结果不符合预设完成条件，中间件将微调投影设备出光组件的焦距参数，例如可以预设步长逐渐微调焦距，并将调整的焦距参数再次设置到出光组件；从而实现反复拍照、清晰度评价步骤，最终通过清晰度对比找到最优焦距完成自动调焦。

如图6所示，在一些实施例中，投影设备在向墙壁投射媒资数据时，识别到墙壁上有控制开关。投影设备在识别到控制开关后认定控制开关为障碍物，会影响投影效果，因此启动自动避障功能。自动避障功能执行后，投影设备避开控制开关重新在墙壁上划分投影区域并向投影区域投射媒资数据。但可以看出，重新划分后的投影区域的面积小于重新划分前的投影区域。

投影设备在投射媒资数据时，根据划分好的投影区域可以选择多种投射比例以达到最好的投影效果，并且多种投射比例也可以满足用户的多种需求。但因为自动避障导致投影区域面积变小，直接导致投射媒资数据时的比例选择丰富程度降低，达不到最优投影效果。

如图7所示，本申请部分实施例中提供了一种投影避障方法，所述投影避障方法在识别到投影区域存在障碍物时还获取用户输入的有关障碍物信息的指令，结合用户输入的指令判断是否需要避开投影区域的障碍物。如图8所示，投影避障方法包括以下步骤：

S100：响应于避障指令，获取变换矩阵，以及获取用户输入的调整指令。

变换矩阵为相机与出光组件之间坐标的单应性矩阵，用于投影区域中同一个位置的目标在相机坐标系和出光组件的出光组件坐标系之间的坐标转换。在有障碍物出现时，首先需要通过相机拍摄投影区域的图像以确认障碍物的位置。接着出光组件中的出光组件根据障碍物的位置，结合投射的媒资数据需要的投影区域对障碍物进行自动避障。

在相机拍摄的图像中，障碍物处于相机的坐标系下，其坐标根据相机坐标系确认。而在投影设备向投影区域投射媒资数据时，通过出光组件中的出光组件将媒资数据投射，媒资数据在投影区域上的分布的坐标根据出光组件坐标系确认。因此，投影区域的障碍物位置在相机坐标系下的坐标还需转换为出光组件坐标系下的坐标，控制器通过识别出光组件坐标系下的投影区域内存在障碍物，以实现自动避障。坐标转换的计算依据就是依靠相机与光机之间的单应性矩阵。

调整指令包括用户指定的投影区域内的第一障碍目标，因投影区域内可存在多个障碍目标，此时就需要对多个障碍目标进行避障确认并执行避障。第一障碍目标可以指的是多个同类目标障碍物，比如说墙壁上的多个控制开关。也可以指单个目标障碍物，控制器根据投影区域的实际情况进行避障处理。第一障碍目标为用户想要投影设备在运行时避开的障碍物，即第一障碍目标会影响投影效果。

用户输入调整指令的时间与投影设备响应于避障指令的时间并不做先后顺序的限定，在投影设备检测投影区域的过程中，用户可以输入调整指令以确定想要避开的障碍物；也可以在投影设备开启后，用户立刻输入调整指令以确定想要避开的障碍物；还可以在开始投射媒资数据后，用户输入发现投射前未选择避开的障碍物实际上影响到了投影效果，从而输入调整指令，以避开障碍物。

在一些实施例中，投影设备开启后，根据预设程序开始对投影区域进行障碍物检测。同时，用户向投影设备输出语音指令“避开墙上的挂钩”，控制器通过音频接收装置收到用户的指令。与此同时，获取用于相机坐标系和出光组件坐标系转换的变换矩阵为后续障碍物的坐标转换提供计算依据。

输出调整指令可以通过输入语音的方式、同时也可以通过例如遥控器的遥控装置对投影设备输出调整指令、还可以通过投影设备上的控制界面输入调整指令。但输入语音的方式对于用户来说实现十分容易，并且提升用户与投影设备的交互感，进而提升了用户体验。因此本申请实施例中用户输出调整指令的主要方式为通过语音输出，其余方式可以在特定场景下辅助用户输出调整指令。如图10所示，控制器根据第一障碍目标在采样图像中划定可投影区域。

S200：在采样图像中识别第一障碍目标，根据第一障碍目标在采样图像中划定可投影区域。

采样图像为相机在光机投射矫正图像时拍摄获得的图像。光机投射矫正图像是为了获取整个投影区域以及用户指出的需要避开的障碍物的图像信息，并根据光机的坐标系为采样图像建立坐标系。通过矫正图像的辅助可以更为准确的识别出障碍物的存在，再通过坐标系的配合就能得到障碍物在采样图像中的位置。控制器可以根据障碍物在采样图像中的位置，对投影区域重新划分，并将划分后的投影区域按照单应性矩阵进行转换，进而通过光机向划分后的投影区域投射媒资数据。

沿用上述实施例，投影设备在获取用户输出的调整指令后，确认挂钩为障碍物，即判定投影区域内存在障碍物。判定投影区域内存在障碍物后，控制器控制光机向投影区域的墙壁投射矫正图像，在矫正图像投射至墙壁上时，还控制相机拍摄矫正图像(即拍摄投影区域)。控制器对采样图像上的挂钩的位置进行确认，并且根据去除挂钩后的采样图像，重新划分新的可投影区域。

在可投影区域的划分时，可投影区域为采样图像中除去第一障碍目标以外区域所容纳的最大预设宽高比的矩形区域。因使用投影设备的主要原因就是想要获得更大宽高比的媒资数据播放效果，因此要尽可能保证可投影区域拥有更大的宽高比。此外，当前只是对第一障碍目标进行检测，投影区域内可能还存在其他障碍目标，只是当前用户没有输出相关指令。为了保证能够顺利投射媒资数据，也需要预留出更大的投影区域以应对投影区域的继续划分。

通过矫正图像识别障碍物的过程中，只投射一次或投射完全相同的矫正图像不能准确的识别障碍物，因此矫正图像包括两种不同的图像，通过对两次图像上的信息比对，以确认障碍物及障碍物的位置，如图9所示，本申请实施例中的矫正图像包括纯色图卡和特征图卡。控制器在响应于避障指令后还执行以下操作：

响应于避障指令，控制出光组件投射矫正图像。

如图9所示，矫正图像包括的纯色图卡一般采用白色图卡，而特征图卡的画面上包含特征图像，特征图像的具体形式不做限定。通过特征图像与白色图卡图像的对比，有利于发现投影区域中的障碍物。

控制相机分别在出光组件投射纯色图卡和特征图卡时，对投影面上显示的矫正图像执行拍照，以获得第一采样图像和第二采样图像。

通过出光组件投射白色图卡和特征图卡的同时，控制器不能直接通过投射效果对障碍物进行判断。因此还需要相机将投射白色图卡和特征图卡时的投影区域的状态拍摄记录，分别生成第一采样图像和第二采样图像。控制器通过对第一采样图像和第二采样图像进行对比以获得障碍物的相关信息。

因光机投射白色图卡而产生的第一采样图像，在相机拍摄时，墙壁上在无障碍物的情况下，在第一采样图像上不会呈现出内容，可能会呈现出与墙壁本色不太相同的白色图像。但在有障碍物的情况下，则相机还会拍摄到墙壁上的障碍物。但是只依靠第一采样图像上的内容不足以判断墙壁上的障碍物的位置信息，在重新划定可投影范围时，因为需要去掉障碍物及障碍物所处的部分区域，因此不易于坐标转换。

此外，在识别精度足够高的情况下墙壁上的一些昆虫可能会被识别为障碍物，但昆虫在投射白色图卡后很可能因为投影光线的影响离开。控制器此时再判断存在障碍物，会无故执行避障功能，导致投影效果变差。因此，还需要再投射一次特征图卡以进一步确认障碍物。并且特征图卡上的特征图像也有利于坐标系的建立。通过坐标系的建立便于描述障碍物的位置，也便于去除障碍物后坐标系的重建以及向出光组件坐标系的转换。

对于投影设备已经开始投射媒资数据，并接收到避障指令的情况，出光组件在切换投射媒资数据和投射纯色图卡、特征图卡时需要一定的转换时间，此时会增加用户的等待时间，影响用户的使用体验。为了解决这一问题，控制器执行以下步骤：

检测输入避障指令时刻，以及出光组件的投射状态。

投影设备需要在接收到避障指令后，立刻执行避障功能。避障功能可以在已经开始投射媒资数据的情况下开启，也可以在未开始投射媒资数据的情况下开启，具体的可以通过检测出光组件的投射状态判断当前投射情况属于哪一种。对于未开始投射妹子数据的情况，可以按顺序的投射纯色图卡和特征图卡，不存在从媒资数据切换到纯色图卡和特征图卡耗费太长时间的情况。

如图11所示，如果出光组件正在投射媒资画面，在待投射的媒资数据流中插入纯色图卡和特征图卡。

对于已经开始投射媒资数据的情况，可以通过在媒资数据流中插入纯色图卡的特征图卡的方式，使得投射纯色图卡和特征图卡的流程顺应媒资数据的播放时间，自然投射，不需要转换投射源，因此无需用户等待太长的时间。

根据纯色图卡和特征图卡在媒资数据流中的插入位置，计算拍摄时间，并控制相机根据拍摄时间拍摄得到第一采样图像和第二采样图像。

为了控制相机能准确拍摄到纯色图卡和特征图卡对应的第一采样图像和第二采样图像，需要对收到避障指令的时间进行记录，以得到初始时间，结合后续图卡插入在媒资数据中的时间，可以计算相机拍摄的时间。在时间到达两次拍摄时间时，相机执行拍摄功能，获得第一采样图像和第二采样图像。

如图12所示，在一些实施例中，投影设备正在播放一段时长为十分钟的视频。在播放到第五分钟时，控制器收到用户输入的避障指令，并记录避障指令时刻为五分钟，以及向视频的数据流的第五分钟第十秒添加纯色图卡、第五分钟第十五秒添加特征图卡。控制器还根据数据流中插入图卡的时间，计算得到相机在十秒钟之后开始第一次拍摄、在十五秒钟之后开始第二次拍摄。在视频播放至五分钟十秒时，出光组件投射纯色图卡、相机拍照得到第一采样图像。在视频播放至五分钟十五秒时，出光组件投射特征图卡、相机拍照得到第二采样图像。

可见，通过在媒资数据流中添加图卡的方式避免了投射源的切换，使得获得采样图像的过程更自然，减少了用户的等待时间，避障功能的执行效率也更高。在获取第一采样图像和第二采样图像之后可以对第一障碍目标进行识别、并进行避障处理。

在第一采样图像中识别第一障碍目标，根据第二采样图像中特征图卡的形状建立变换矩阵。

通过比对第一采样图像和第二采样图像，可以识别出第一障碍目标的位置及其坐标。在第一采样图像中没有特征图像上特征点的干扰可以完整的识别出第一障碍目标的轮廓，并且得到其坐标。第二采样图像上的特征点具有对称、分布均匀等特性，因此有利于建立坐标系得到坐标，得到坐标之后可以进一步的建立相机坐标系与出光组件坐标系的变换矩阵。在利用第二图像上的特征点建立变换矩阵的过程中，控制器执行以下步骤：

遍历第二采样图像中像素点的颜色值，以及根据颜色值在第二采样图像中识别特征点。

图像由若干个像素点组成，其具体颜色也受多个像素点的颜色值影响，特征点的颜色区别于第一采样图像中的纯色图卡，纯色图卡大多采用白色，则特征图卡中的特征点采用与白色对比明显的颜色即可。通过识别第二采样图像中的像素点的颜色值，即通过识别与白色不同的颜色值，可以识别出特征点。

提取第二采样图像对应特征图卡中的特征分布信息，根据特征点和特征分布信息建立单应性矩阵。

多个特征点根据不同的分布情况可以得到特征图形，且多个特征点有利于建立适用于当前特征图形的坐标系，进一步有利于建立用于相机坐标系和出光组件坐标系转换的单应性矩阵。提取特征点和特征分布信息后，在建立单应性矩阵的过程中可参考以下公式求出单应性矩阵。其中，由相机拍摄的第二采样图像中的特征点坐标可用矩阵表示为：

(x，y，1)为相机坐标系下的特征点坐标。

(x1，y1，1)为出光组件坐标系下的特征点坐标。

相机坐标系下的坐标转换为出光组件坐标系下的坐标，即可视作为：

H即为单应性矩阵，通过已知的相机坐标和出光组件坐标即可通过计算得到H，计算过程为通用方法，因此不进行进一步说明。

存储单应性矩阵，以获取变换矩阵。

计算得到单应性矩阵H后，将H存储至存储空间，形成用于相机-出光组件坐标转换的变换矩阵，以待调用。单应性矩阵包含的具体数值可能会因特征图卡坐标系的建立方式不同而产生一些变化，但对于相机—出光组件的坐标变换来说并无具体影响。单应性矩阵的实际内容为相机坐标转换到出光组件坐标的转换规则，可以实现对应的转换即可。

S300：按照可投影区域和变换矩阵确定投影区域，以及可控制出光组件将投影内容投射至目标投影区域。

投影内容即媒资数据，投影设备在划分可投影区域的过程中先是在相机拍摄的采样图像上进行划分。投射媒资数据还需要出光组件执行相关动作，因此需要将采样图像上已经重新划分好的可投影区域坐标转换为适用于出光组件投射的可投影区域坐标。在转换的过程中，通过调用变换矩阵将采样图像上的坐标逐个转换为出光组件坐标系下的坐标，以形成投影区域。

继续沿用上述实施例，投影设备在重新划分可投影区域之后，立即调用已经获取的变换矩阵，即用于坐标转换的单应性矩阵。控制器将在采样图像上重新划分的可投影区域的坐标由相机坐标系转换为出光组件坐标系。控制器在获得在出光组件坐标系下的可投影区域坐标后，通过出光组件将媒资数据投射至可投影区域——墙壁。

在根据第一障碍目标划分可投影区域时，由于会接收到用户指定第一障碍目标的命令，因此需要对用户指定的第一障碍目标进行识别。如图13所示，控制器根据第一障碍目标的识别结果执行相应的动作：

根据用户指定的第一障碍目标的类型调用识别模型，将采样图像输入识别模型。

识别模型为根据样本图像数据训练得到的神经网络模型，控制器解析用户输入的第一障碍目标，通过关键词、关键字等信息判断第一障碍目标所属类型。再根据所属类型调用识别模型判断采样图像中是否存在第一障碍目标。对于第一障碍目标的判定可以不为一个准确值，可以是通过相似度等概率的形式体现，例如识别模型接收采样图像后，判断采样图像中包含第一障碍目标的分类概率。

如果识别结果中包含第一障碍目标，执行根据第一障碍目标在采样图像中的位置划分可投影区域的步骤。

在一些实施例中，用户输入的第一障碍目标为“墙壁上的挂钩”，控制器按照解析关键字“墙壁上的”、“挂钩”——调用“家用挂件”识别模型的顺序对第一障碍目标进行识别，得到采样图像中包含挂钩的几率为90％，即可判断采样图像中存在第一障碍目标——挂钩。并根据挂钩的坐标重新划分可投影区域。

如果识别结果中不包含第一障碍目标，生成第一提示信息，以及控制出光组件投射第一提示信息。

在另一些实施例中，识别模型得到采样图像中包含挂钩的几率为10％，判断采样图像中不存在第一障碍目标，并生成用于提醒用户当前投影区域中未识别出第一障碍目标的第一提示信息，第一提示信息可以通过投影的方式呈现也可以通过音频的形式播放。用户接收到提示信息后，可以重新输入指定第一障碍目标的指令，控制器则重新进行避障处理。

用户输入的调整指令除了包括第一障碍目标以外，还可以包括投影参数。投影参数用于限定目标投影区域。如图14所示，控制器在接收到包括投影参数的调整指令时，根据投影参数执行以下步骤：

根据变换矩阵，将可投影区域拟合为有效投影范围。

可投影区域包含投射媒资数据所需的目标投影区域也包括预留出的一些空白区域，所述区域均为控制器通过计算得到的当前情况最优区域。但由于使用的场景及用户需要的情况不同，用户会根据实际需求给出投影参数以调整实际的投影区域。

从调整指令中提取投影参数，根据投影参数，在有效投影范围内划定目标投影区域。

投影参数可以是直接控制画面比例的参数，例如“以长度2米，宽度1米的形式播放媒资数据”。控制器根据投影参数，在有效投影范围内，对实际投影范围进行进一步的调整以符合用户的需求，得到目标投影区域。在一些情况下，用户输入的投影参数可能存在不清楚或超出有效投影范围，控制器需要对投影参数是否符合有效投影范围进行判断并执行以下步骤：

获取有效投影范围的边界尺寸。

如果边界尺寸大于或等于指定画面尺寸，根据指定画面尺寸在有效投影范围中划定目标投影区域。

如果边界尺寸小于指定画面尺寸，生成第二提示信息，以及控制出光组件投射第二提示信息。

有效投影范围的边界尺寸即为投影区域尺寸的最大尺寸，超过边界尺寸则会影响投影的分辨率、比例调整从而导致投射的媒资数据画面失真。而用户在输入包含投影参数的调整指令时，仅通过肉眼观察与自己的需求输入的投影参数会存在超出边界尺寸的可能。因此，在根据用户输入的投影参数生成目标投影区域时，通过对投影参数和边界尺寸对比，判断是否能根据用户需求划分出合适的目标投影区域。

在一些实施例中，用户输入的调整指令包括“投射媒资数据的宽度为2.56米，高度为1.44米”，控制器接收到调整指令后，根据有效投影范围的边界尺寸对投影参数进行判断，发现距离投影参数符合有效投影范围，则根据投影参数确定目标投影区域。

在另一些实施例中，用户输入的调整指令中包括“投射媒资数据的宽度为3米，高度为2米”，控制器收到调整指令后并根据有效投影范围对边界尺寸进行判断，发现投影参数已经超过有效投影范围，通过出光组件向墙壁投射“目标投影区域划分失败，投影参数超范围”的第二提示信息。用户在看到超范围的提示后，可以重新输入投影参数以进行再次调整。

用户输入的调整指令中还可以包括指定间隔距离，例如，“在距离衣柜右侧五寸的位置投射媒资数据”、“在距离地面三寸的位置投射媒资数据”。指定间隔距离即在有效投影范围内，预留空白的区域，因此会进一步缩小目标投影区域。此时控制器对是否超出边界尺寸的判定需要将投射的媒资数据的宽度、高度分别加上指定间隔距离，再与边界尺寸进行比较。

根据指定画面尺寸和指定间隔距离计算极值尺寸。

极值尺寸包括最小宽度和最小高度，最小宽度为指定画面尺寸中指定画面宽度与间隔距离中指定横向距离的和；最小高度为指定画面尺寸中指定画面高度与指定间隔距离中指定纵向距离的和。极值尺寸相当于有效投影区域应该具有的最小宽度和最小高度，

获取有效投影范围的有效宽度和有效高度，并进行判断。

如果有效宽度小于最小宽度，和/或，有效高度小于最小高度，生成第三提示信息。

如果有效宽度大于或等于最小宽度，并且，有效高度大于或等于最小高度，按照指定间隔距离和指定画面尺寸在有效投影范围内划定目标投影区域。

在一些实施例中，控制器根据“投射媒资数据宽度为2.56米”，以及“水平方向间隔衣柜2米”的投影参数和指定间隔距离，计算最小宽度为4.56米；根据“投射媒资数据高度为1.44米”，以及“距离地面0.5米”的投影参数和指定间隔距离，计算最小高度为1.94米。当前有效投影范围宽度为4米，高度为2米，控制器调用有效投影范围的参数后，判定宽度超范围、高度符合范围，有效投影范围的边界尺寸不符合用户输入的调整指令，通过出光组件投射“根据调整指令调整投影范围失败”以提示用户重新输入调整指令。同时，用户还会播放“当前最大尺寸为宽度4米、高度2米”的信息以提示用户。

在另一些实施例中，有效投影范围宽度为5米，高度为2米，控制器判定宽度、高度均符合范围，有效投影范围的边界尺寸符合用户输入的调整指令，根据调整指令划分出目标投影区域。

通过对调整指令内容的丰富使得投影媒资数据时更符合用户的需求，且增加了用户与投影设备的人机交互过程，有利于提高用户的满意度。在根据调整指令对目标投影区域进行调整时，通过宽度、高度的判断保证投影设备投射媒资数据后的画面质量，在不符合标准范围的基础上不进行投射媒资数据，在符合标准范围的基础上才投射媒资数据。

通过对第一障碍目标的识别，在没有其他障碍目标的情况下，投影设备可以向目标投射区域投射媒资数据。而在还有其他障碍目标的情况下，如图15所示，控制器还会与用户进行交互以确认是否需要避开其他障碍目标，根据用户输入的指令执行后续动作：

在可投影区域中识别第二障碍目标。

此时的可投影区域为控制器根据第一障碍目标重新划分的投影区域。第二障碍目标为采样图像中除第一障碍目标以外的目标，第二障碍目标的类别可以不同于第一障碍目标，因此控制器需要继续跟用户进行确认是否要执行避障功能。第二障碍目标可以是控制器自主识别的，也可以是用户输入的。识别第二障碍目标的过程与上述实施例中的过程相同，在此不再赘述。

如果可投影区域中存在第二障碍目标，生成第四提示信息，和/或，生成问询指令。

控制器在确认第二障碍目标的存在之后，生成用于提示用户第二障碍目标存在的音频/投影信息。同时，还会向用户发出问询指令以确认是否需要进行避障处理。

获取用户基于第四提示信息和/或问询指令输入的确认指令，根据确认指令重新划定可投影区域。

确认指令为用户向控制器输入的是否进行避障处理的指令。控制器接收到用户的确认避障的指令后，按照上述实施例的流程根据第二障碍目标重新将当前的可投影区域划分为新的可投影区域。

在一些实施例中，控制器结合用户输入的调整指令，避开墙上的挂钩后，生成了可投影区域。同时，识别到墙上的控制开关，立即向用户发出“是否需要避开开关”的音频信息。用户通过语音输入的形式向控制器反馈“需要避开开关”。控制器收到“需要避开开关”的指令后，按照可投影区域的划分方式，划分出新的可投影区域，进一步的结合用户需求与投影标准形成目标投影区域，并将媒资数据投射至目标投影区域。

对于第二障碍目标进行识别，可以保证目标投影区域内的投影质量。并且通过与用户的交互，使得用户的体验感提升。可以理解的是，用户也可以通过语音输入“无需避开开关”的指令，控制器此时可直接向目标投影区域投射媒资数据。

如图8所示，本申请还提供了一种投影避障方法，应用于上述投影设备，投影设备包括出光组件、相机以及控制器，所述方法包括：

响应于避障指令，获取变换矩阵，以及获取用户输入的调整指令，所述变换矩阵为所述相机与所述出光组件之间坐标的单应性矩阵；所述调整指令中包括用户指定的第一障碍目标；

在采样图像中识别所述第一障碍目标，所述采样图像为所述相机在所述出光组件投射矫正图像时拍摄获得的图像；

根据所述第一障碍目标在所述采样图像中划定可投影区域，所述可投影区域为所述采样图像中除所述第一障碍目标以外区域所容纳的最大预设宽高比的矩形区域；

按照所述可投影区域和所述变换矩阵确定目标投影区域，以及控制所述出光组件将投影内容投射至所述目标投影区域。

由上述技术方案可知，本申请的投影设备在识别到投影区域中有障碍物的情况下，还获取用户输入的用于指定第一障碍目标的指令，以确认在投影过程中是否需要进行避障处理。通过拍摄采样图像，确认第一障碍目标是否存在以及存在时的位置。其中，通过相机与出光组件之间坐标的单应性矩阵将采样图像的坐标转换至出光组件坐标系下，投影设备在投射媒资数据时根据第一障碍目标的位置重新划分投影区域，并将媒资数据投射至重新划分的投影区域。投影设备在识别到障碍物时，结合用户的避障指令，在障碍物不影响投影效果时不执行自动避障功能，保证了投影效果提高了用户体验。

本申请提供的实施例之间的相似部分相互参见即可，以上提供的具体实施方式只是本申请总的构思下的几个示例，并不构成本申请保护范围的限定。对于本领域的技术人员而言，在不付出创造性劳动的前提下依据本申请方案所扩展出的任何其他实施方式都属于本申请的保护范围。

Claims (10)

1.一种投影设备，其特征在于，包括：

出光组件，被配置为投射投影内容至投影面；

相机，被配置为拍摄采样图像；

控制器，被配置为：

响应于避障指令，获取变换矩阵，以及获取用户输入的调整指令，所述变换矩阵为所述相机与所述出光组件之间坐标的单应性矩阵；所述调整指令中包括用户指定的第一障碍目标；

在采样图像中识别所述第一障碍目标，所述采样图像为所述相机在所述出光组件投射矫正图像时拍摄获得的图像；

根据所述第一障碍目标在所述采样图像中划定可投影区域，所述可投影区域为所述采样图像中除所述第一障碍目标以外区域所容纳的最大预设宽高比的矩形区域；

按照所述可投影区域和所述变换矩阵确定目标投影区域，以及控制所述出光组件将投影内容投射至所述目标投影区域。

2.根据权利要求1所述的投影设备，其特征在于，所述控制器还被配置为：

响应于避障指令，控制所述出光组件投射矫正图像，所述矫正图像包括纯色图卡和特征图卡；

控制所述相机分别在所述出光组件投射纯色图卡和所述特征图卡时，对所述投影面上显示的矫正图像执行拍照，以获得第一采样图像和第二采样图像；

在所述第一采样图像中识别所述第一障碍目标；

根据所述第二采样图像中特征图卡的形状，建立所述变换矩阵。

3.根据权利要求2所述的投影设备，其特征在于，所述控制器执行控制所述出光组件投射矫正图像，还被配置为：

检测输入所述避障指令时刻，所述出光组件的投射状态；

如果所述出光组件正在投射媒资画面，在待投射的媒资数据流中插入所述纯色图卡和所述特征图卡；

根据所述纯色图卡和所述特征图卡在所述媒资数据流中的插入位置，计算拍摄时间；

将所述拍摄时间发送给所述相机，以使所述相机按照所述拍摄时间拍摄获得所述第一采样图像和第二采样图像。

4.根据权利要求2所述的投影设备，其特征在于，所述控制器执行获取变换矩阵，还被配置为：

遍历所述第二采样图像中像素点的颜色值，以及根据颜色值在所述第二采样图像中识别特征点；

提取所述第二采样图像对应特征图卡中的特征分布信息；

根据识别到的所述特征点与所述特征分布信息，建立所述相机与所述出光组件之间坐标的单应性矩阵；

存储所述单应性矩阵，以获取变换矩阵。

5.根据权利要求1所述的投影设备，其特征在于，所述控制器执行在采样图像中识别所述第一障碍目标，还被配置为：

根据用户指定的第一障碍目标的类型调用识别模型，所述识别模型为根据样本图像数据训练获得的神经网络模型；

将所述采样图像输入所述识别模型；

获取所述识别模型输出的识别结果，所述识别结果为所述采样图像包含所述第一障碍目标的分类概率；

如果所述识别结果中包含所述第一障碍目标，执行根据所述第一障碍目标在所述采样图像中划定可投影区域的步骤；

如果所述识别结果中不包含所述第一障碍目标，生成第一提示信息，以及控制所述出光组件投射所述第一提示信息。

6.根据权利要求1所述的投影设备，其特征在于，所述调整指令中还包括用户指定的投影参数，所述控制器执行按照所述可投影区域和所述变换矩阵确定目标投影区域，还被配置为：

根据所述变换矩阵，将所述可投影区域拟合为有效投影范围，所述有效投影范围为所述可投影区域映射在所述出光组件坐标系下的区域范围；

从所述调整指令中提取所述投影参数；

根据所述投影参数，在所述有效投影范围中划定所述目标投影区域。

7.根据权利要求6所述的投影设备，其特征在于，所述投影参数包括指定画面尺寸，所述控制器执行根据所述投影参数，在所述有效投影范围中划定所述目标投影区域，还被配置为：

获取所述有效投影范围的边界尺寸；

如果所述边界尺寸大于或等于所述指定画面尺寸，根据所述指定画面尺寸在所述有效投影范围中划定所述目标投影区域；

如果所述边界尺寸小于所述指定画面尺寸，生成第二提示信息，以及控制所述出光组件投射所述第二提示信息。

8.根据权利要求7所述的投影设备，其特征在于，所述投影参数包括指定间隔距离，所述控制器执行根据所述投影参数，在所述有效投影范围中划定所述目标投影区域，还被配置为：

根据所述指定画面尺寸和所述指定间隔距离计算极值尺寸，所述极值尺寸包括最小宽度和最小高度，所述最小宽度为所述指定画面尺寸中指定画面宽度与所述指定间隔距离中指定横向距离的和；所述最小高度为所述指定画面尺寸中指定画面高度与所述指定间隔距离中指定纵向距离的和；

获取所述有效投影范围的有效宽度和有效高度；

如果所述有效宽度小于所述最小宽度，和/或，所述有效高度小于所述最小高度，生成第三提示信息，以及控制所述出光组件投射所述第三提示信息；

如果所述有效宽度大于或等于所述最小宽度，并且，所述有效高度大于或等于所述最小高度，按照所述指定间隔距离和所述指定画面尺寸在所述有效投影范围内划定所述目标投影区域。

9.根据权利要求1所述的投影设备，其特征在于，所述控制器执行根据所述第一障碍目标在所述采样图像中划定可投影区域，还被配置为：

在所述可投影区域中识别第二障碍目标，所述第二障碍目标为所述采样图像中除所述第一障碍目标以外的目标；

如果所述可投影区域中存在所述第二障碍目标，生成第四提示信息，和/或，生成问询指令；

控制所述出光组件投射所述第四提示信息，和/或，输出所述问询指令；

获取用户基于所述第四提示信息和/或所述问询指令输入的确认指令；

响应于所述确认指令，根据所述第二障碍目标在所述采样图像中重新划定可投影区域。

10.一种投影避障方法，其特征在于，应用于投影设备，所述投影设备包括出光组件、相机以及控制器；所述投影避障方法包括：

响应于避障指令，获取变换矩阵，以及获取用户输入的调整指令，所述变换矩阵为所述相机与所述出光组件之间坐标的单应性矩阵；所述调整指令中包括用户指定的第一障碍目标；

在采样图像中识别所述第一障碍目标，所述采样图像为所述相机在所述出光组件投射矫正图像时拍摄获得的图像；

根据所述第一障碍目标在所述采样图像中划定可投影区域，所述可投影区域为所述采样图像中除所述第一障碍目标以外区域所容纳的最大预设宽高比的矩形区域；

按照所述可投影区域和所述变换矩阵确定目标投影区域，以及控制所述出光组件将投影内容投射至所述目标投影区域。

Images