CN115695743A - 投影画面调节方法、装置及投影仪 - Google Patents

Abstract

本申请公开了一种投影画面调节方法、装置及投影仪。其中，该方法包括：获取连续帧图像，其中，每帧图像中包括投影画面和输入手势；依据连续帧图像确定输入手势的手势类别，并确定与手势类别对应的控制信息；依据手势类别及控制信息对投影画面的位置或尺寸进行调节。本申请解决了相关技术中利用遥控器调节投影画面时用户交互体验感差的技术问题。

Description

投影画面调节方法、装置及投影仪

技术领域

本申请涉及投影技术领域，具体而言，涉及一种投影画面调节方法、装置及投影仪。

背景技术

尽管家用投影仪对投影画面的控制越来越智能化，但在某些场景中仍然无法达到用户想要的效果，此时，往往需要用户通过遥控器来微调投影画面，或是调节投影画面的位置，或是缩放调节投影画面的大小，以此达到更符合用户预期的效果。但是，使用遥控器进行调节的方案会使用户缺乏切身参与的体验感以及趣味性，交互体验感较差，同时当调节功能增加时，也会带来更大的学习成本和记忆成本。如何通过更加便捷舒适的交互方式来调节投影画面成为了当前家用投影仪比较重要的课题。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种投影画面调节方法、装置及投影仪，以至少解决相关技术中利用遥控器调节投影画面时用户交互体验感差的技术问题。

根据本申请实施例的一个方面，提供了一种投影画面调节方法，包括：获取连续帧图像，其中，每帧图像中包括投影画面和输入手势；依据所述连续帧图像确定所述输入手势的手势类别，并确定与所述手势类别对应的控制信息；依据所述手势类别及所述控制信息对所述投影画面的位置或尺寸进行调节。

可选地，从所述连续帧图像中选取拍摄时间距离当前系统时间最近的第一预设数量的图像，并从所述第一预设数量的图像中等间隔选取第二预设数量的图像作为目标图像集合；将所述目标图像集合输入预先训练的动态手势检测模型，通过所述动态手势检测模型检测所述输入手势的动态手势类别。

可选地，在检测到所述动态手势类别为第一类别时，确定所述控制信息为将所述投影画面整体向目标方向平移目标距离；在检测到所述动态手势类别为第二类别时，确定所述控制信息为将所述投影画面整体缩放目标比例。

可选地，所述目标距离为预先设置的固定距离；所述目标比例为预先设置的固定比例。

可选地，所述目标距离或所述目标比例的确定过程包括：确定所述连续帧图像中的第一帧图像及最后一帧图像；通过目标检测模型确定所述第一帧图像中的手部位置及所述最后一帧图像中的手部位置，其中，所述手部位置至少包括以下其中之一：手部检测框位置，手部关键点位置；依据所述第一帧图像中的手部位置与所述最后一帧图像中的手部位置确定所述目标距离或目标比例。

可选地，确定所述第一帧图像中的手部检测框中心点位置与所述最后一帧图像中的手部检测框中心点位置之间的第一距离，依据所述第一距离确定所述目标距离；或，依据所述连续帧图像的图像帧数与所述第一距离确定手部移动的第一速度，依据所述第一速度确定所述目标距离；或，确定所述第一帧图像中的手部关键点中的手心位置与所述最后一帧图像中的手部关键点中的手心位置之间的第二距离，依据所述第二距离确定所述目标距离；或，依据所述连续帧图像的图像帧数与所述第二距离确定手部移动的第二速度，依据所述第二速度确定所述目标距离。可选地，

可选地，确定所述第一帧图像中的手部检测框与所述最后一帧图像中的手部检测框之间的第一比例关系，依据所述第一比例关系确定所述目标比例；或，依据所述连续帧图像的图像帧数与所述第一比例关系确定手部缩放的第三速度，依据所述第三速度确定所述目标比例；或，确定所述第一帧图像中的手部关键点外接矩形与所述最后一帧图像中的手部关键点外接矩形之间的第二比例关系，依据所述第二比例关系确定所述目标比例；或，依据所述连续帧图像的图像帧数与所述第二比例关系确定手部缩放的第四速度，依据所述第四速度确定所述目标比例。

可选地，确定所述连续帧图像中的任意一张图像为目标图像；将所述目标图像输入预先训练的静态手势检测模型，通过所述静态手势检测模型检测出所述目标图像中的手势的静态手势类别。

可选地，在检测到所述静态手势类别为第三类别时，确定所述控制信息为将所述投影画面整体向目标方向平移目标距离，其中，所述目标距离为预先设置的固定距离；或，在检测到所述静态手势类别为第四类别时，确定所述控制信息为将所述投影画面整体缩放目标比例，其中，所述目标比例为预先设置的固定比例；在检测到所述静态手势类别为第五类别时，确定所述控制信息为停止调节所述投影画面。

可选地，在检测到所述投影画面被调节至临界位置时，停止调节所述投影画面，并生成第一信息，所述第一信息用于提示所述投影画面已被调节至临界位置；在检测到所述投影画面被调节至与投影面中的障碍物边界重合时，停止调节所述投影画面，并生成第二信息，所述第二信息用于提示所述投影画面遭遇障碍物。

可选地，依据所述手势类别及所述控制信息确定所述投影画面待平移的目标方向和目标距离，或确定所述投影画面待缩放的目标比例；依据所述目标方向和所述目标距离，或依据所述目标比例，调节投影仪中的待投影画面的位置坐标；依据所述投影仪中调节后的待投影画面的位置坐标进行投影，得到调节后的目标投影画面。

可选地，依据所述手势类别及所述控制信息确定所述投影画面待平移的目标方向和目标距离；通过光机移轴将所述投影画面在所述目标方向上平移所述目标距离。

可选地，响应于控制指令，基于预设背景内容显示调节模式下的所述投影画面；或，响应于控制指令，基于当前投影画面内容显示调节模式下的所述投影画面。

可选地，获取样本视频数据集合，其中，每个样本视频数据对应一种动态手势类别；对任一所述样本视频数据，从所述样本视频中等间隔选取第二预设数量的图像作为一个样本图像子集，并对所述样本图像子集对应的动态手势类别进行标注，得到第一标注信息；将所述样本图像子集及所述第一标注信息输入所述动态手势检测模型进行训练。

根据本申请实施例的另一方面，还提供了一种投影画面调节装置，包括：获取模块，用于获取连续帧图像，其中，每帧图像中包括投影画面和输入手势；确定模块，用于依据所述连续帧图像确定所述输入手势的手势类别，并确定与所述手势类别对应的控制信息；调节模块，用于依据所述手势类别及所述控制信息对所述投影画面的位置或尺寸进行调节。

根据本申请实施例的另一方面，还提供了一种投影仪，所述投影仪包括处理器以及存储器，所述存储器与所述处理器连接，用于为所述处理器提供处理以下处理步骤的指令：获取连续帧图像，其中，每帧图像中包括投影画面和输入手势；依据所述连续帧图像确定所述输入手势的手势类别，并确定与所述手势类别对应的控制信息；依据所述手势类别及所述控制信息对所述投影画面的位置或尺寸进行调节。

根据本申请实施例的另一方面，还提供了一种非易失性存储介质，所述非易失性存储介质包括存储的程序，其中，在所述程序运行时控制所述非易失性存储介质所在设备执行上述的投影画面调节方法。

在本申请实施例中，首先获取连续帧图像，其中，每帧图像中包括投影画面和输入手势；然后依据连续帧图像确定输入手势的手势类别，并确定与该手势类别对应的控制信息；最后依据手势类别及控制信息对投影画面的位置或尺寸进行调节。本申请实施例通过分析用户的手势动作理解用户所要表达的含义，让用户能够通过自身的手势动作对投影画面的位置尺寸进行调节，增强了切身参与的体验感以及趣味性，进而解决了相关技术中利用遥控器调节投影画面时用户交互体验感差技术问题。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的一种投影画面调节方法的流程示意图；

图2是根据本申请实施例的一种投影画面平移的示意图；

图3是根据本申请实施例的一种投影画面缩放的示意图；

图4是根据本申请实施例的一种投影画面调节过程的示意图；

图5是根据本申请实施例的一种投影画面调节装置的结构示意图；

图6是根据本申请实施例的一种投影仪的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

根据本申请实施例，提供了一种投影画面调节方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本申请实施例的投影画面调节方法，如图1所示，该方法包括步骤S102-S106，其中：

步骤S102，获取连续帧图像，其中，每帧图像中包括投影画面和输入手势。

在本申请一些可选的实施例中，用户在对投影画面进行调节时，可以通过不同的控制指令进入不同的调节模式，每种调节模式下均会显示相应的投影画面，用户可以对调节模式下的投影画面的位置或尺寸进行调节。

具体地，可以响应于控制指令，基于预设背景内容显示调节模式下的投影画面。例如，用户可以通过设置菜单或是语音指令等预设的触发方式进入手势控制界面调节模式，在该模式下，会将当前投影画面中的显示内容替换为预设的背景内容，得到调节模式下的投影画面，然后依据用户输入的手势动作对投影画面进行调节。其中，由于纯色背景可以有效提高对手势的识别准确率，因此，背景内容优选为纯色背景，当然，用户也可以根据自身喜好自行定义背景内容。

可选地，也可以响应于控制指令，基于当前投影画面内容显示调节模式下的投影画面。例如，用户可以通过设置菜单或是语音指令等预设的触发方式进入无感手势控制调节模式，在该模式下，不需要对当前的投影画面内容进行调整，即无需将其替换为预设的纯色背景或是进入其他可感知的操作界面，而是直接将当前投影画面作为调节模式下的投影画面，依据用户输入的手势动作对投影画面进行调节。如用户正在观看投影的视频时，通过进入无感手势控制调节模式，可以在对投影画面进行调节的同时，延续当前的观影体验感。

需要说明的是，用户也可以设置通过特定的手势进入对应的调节模式，在这种情境下，需要从投影仪开始投影时就检测用户所输入的手势动作。

在本申请一些可选的实施例中，在获取连续帧图像时，可以利用投影仪的前置rgb(red-green-blue)摄像头拍摄包括投影画面的连续帧画面，在拍摄时，需要针对明亮环境和阴暗环境分别设置不同的曝光参数，以确保在亮暗环境下均能拍摄到投影面清晰的图像。其中，摄像头也可作为配件，放置在用户投影环境中任意位置，只要可以拍摄清楚手部手势即可，但这种情况下需要自行标定好摄像头与投影仪的位置关系。可选地，也可以通过红外摄像头拍摄投影面的连续帧画面，由于其在亮环境或暗环境下都可以较好地成像，可以有效滤除投影画面对手部图像的影响。

步骤S104，依据连续帧图像确定输入手势的手势类别，并确定与手势类别对应的控制信息。

在本申请一些可选的实施例中，用户既可以使用动态手势对投影画面进行调节，也可以使用静态手势对投影画面进行调节，因此，在确定输入手势的手势类别及与手势类别对应的控制信息时，可以根据用户设置的手势控制方式，分别利用动态手势检测模型或静态手势检测模型对连续帧图像进行检测。

具体地，在检测动态手势时，可以从连续帧图像中选取拍摄时间距离当前系统时间最近的第一预设数量的图像，并从第一预设数量的图像中等间隔选取第二预设数量的图像作为目标图像集合；将目标图像集合输入预先训练的动态手势检测模型，通过动态手势检测模型检测输入手势的动态手势类别。其中，第一预设数量和第二预设数量均可以为基于实验数据预先设置的，后续可根据实际情况进行调整，例如第一预设数量可以为30，第二预设数量可以为8。

其中，动态手势检测模型是通过以下训练过程得到的：获取样本视频数据集合，每个样本视频数据对应一种动态手势类别；对任一样本视频数据，从样本视频中等间隔选取第二预设数量的图像作为一个样本图像子集，并对样本图像子集对应的动态手势类别进行标注，得到第一标注信息；将样本图像子集及第一标注信息输入动态手势检测模型进行训练。

例如，先采集6000组1s的视频作为样本视频数据集合，其中包含手掌由闭合到张开、手掌由张开到闭合、手掌向左推、手掌向右推、手掌向上抬、手掌向下压的动作视频各1000组；从每组1s视频中等间隔抽取8帧图像作为一个样本图像子集，并为其标注相应的类别，如编号1-6分别对应6种手势动作，得到第一标注信息。此时得到的数据集为6000组数据，每组数据为8帧图像和对应的标注信息，将数据集输入动态手势检测模型不断进行训练，使最终得到的动态手势检测模型可以检测出图像中包含的上述任意一种手势动作。需要说明的是，上述的6种手势动作仅为举例说明，也可以用其他的手势动作进行替换，当然手势动作的数量也可以根据需求进行调整。

在实际进行检测时，可以从最近拍摄的30帧图像中等间隔选取8帧图像作为目标图像集合，将其输入训练好的动态手势检测模型检测其中的动态手势类别。其中，动态手势检测模型可以采用基于时空卷积网络结构的C3D、TSN等视频分类网络模型，或是基于手部、肢体骨骼点进行动态识别的网络模型。

可选地，上述动态手势检测过程除采用摄像头图像识别技术外，还可以由其他无线传感手势识别设备检测。

在本申请一些可选的实施例中，在检测到动态手势类别为第一类别时，确定控制信息为将投影画面整体向目标方向平移目标距离；在检测到动态手势类别为第二类别时，确定控制信息为将投影画面整体缩放目标比例。

具体地，第一类别动态手势主要包括手掌向左推、手掌向右推、手掌向上抬、手掌向下压等手势动作，用于控制投影画面整体向目标方向平移目标距离；第二类别动态手势主要包括手掌由闭合到张开、手掌由张开到闭合等手势动作，用于控制投影画面整体缩放目标比例。例如，当检测到手掌向左推的手势动作时，将投影画面整体向左平移目标距离；当检测到手掌向右推的手势动作时，将投影画面整体向右平移目标距离；当检测到手掌向上抬的手势动作时，将投影画面整体向上平移目标距离；当检测到手掌向下压的手势动作时，将投影画面整体向下平移目标距离；当检测到手掌由闭合到张开的手势动作时，将投影画面整体放大目标比例；当检测到手掌由张开到闭合的手势动作时，将投影画面整体缩小目标比例。图2为投影画面分别向上下左右整体平移目标距离的示意图，图3为投影画面整体放大或缩小的示意图。

其中，上述的目标距离和目标比例有多种确定方式，具体可由用户根据需求自行选择，以下是本申请实施例提供的几种可选的方案：

第一种方案中，直接确定目标距离为预先设置的固定距离，并确定目标比例为预先设置的固定比例，其中，为保证用户在投影画面平移或缩放时具有连续感，该固定距离或固定比例可以设置稍小一些。例如，用户预先设置固定距离为D＝5cm，设置固定比例为P＝5％，当检测到手掌向左推的手势动作时，就将投影画面整体向左平移5cm；当检测到手掌由闭合到张开的手势动作时，将投影画面整体放大为原先的105％。

第二种方案中，需要先确定连续帧图像中的第一帧图像及最后一帧图像；通过目标检测模型确定第一帧图像中的手部位置及最后一帧图像中的手部位置，其中，手部位置至少包括以下其中之一：手部检测框位置，手部关键点位置；依据第一帧图像中的手部位置与最后一帧图像中的手部位置确定目标距离或目标比例。

可以理解地，要依据手部位置的变化信息确定目标距离或目标比例，首先需要确定手部动作的起始位置和终止位置，因此先确定与动态手势类别对应的连续帧图像中的第一帧图像及最后一帧图像，然后将其输入目标检测模型确定其中的手部位置信息。

其中，目标检测模型可以直接采用现有的手部检测模型，也可以通过以下训练过程得到：获取样本图像集，并对样本图像集中的每张图像中的手部位置进行标注，得到标注信息；将样本图像集及标注信息输入目标检测模型进行训练。例如，获取2000张手部图像作为样本图像集，对每张图像中的手部位置进行标注，如标注手部检测框位置坐标(x,y,w,h)，其中，x，y，w，h分别对应手部检测框的左上点横坐标、纵坐标、矩形框的宽和高，得到标注信息，也可以标注手部的关键点位置坐标，如标注手心位置坐标(x1,y1)，五根手指位置坐标(x2,y2)、(x3,y3)、(x4,y4)、(x5,y5)、(x6,y6)等，得到相应的标注信息；将样本图像集以及对应的标注信息输入目标检测模型不断进行训练，使最终得到的目标检测模型可以检测出任一图像中的手部位置信息。

之后，在确定目标距离时，通过确定第一帧图像中的手部检测框中心点位置与最后一帧图像中的手部检测框中心点位置之间的第一距离，依据第一距离确定目标距离。例如，确定第一帧图像中的手部检测框中心点坐标为(x1,y1)，最后一帧图像中的手部检测框中心点坐标为(x2,y2)，依据两个坐标计算手势动作起始两个中心点之间的欧氏距离d作为第一距离，依据用户预先设置好的手部平移距离d和投影画面平移距离D之间的映射关系，确定投影画面所要平移的目标距离D。

可选地，确定第一帧图像中的手部关键点中的手心位置与最后一帧图像中的手部关键点中的手心位置之间的第二距离，依据第二距离确定目标距离。例如，确定第一帧图像中的手心坐标为(x1’,y1’)，最后一帧图像中的手心坐标为(x2’,y2’)，依据两个坐标计算手势动作起始手心之间的欧氏距离d作为第二距离，然后依据预先设置的映射关系确定投影画面所要平移的目标距离D。

在确定目标比例时，通过确定第一帧图像中的手部检测框与最后一帧图像中的手部检测框之间的第一比例关系，依据第一比例关系确定目标比例。例如，确定第一帧图像中的手部检测框坐标为(x1,y1,w1,h1)，最后一帧图像中的手部检测框坐标为(x2,y2,w2,h2)，依据其中的宽高信息计算手势动作起始手部检测框的缩放比例p为第一比例关系，依据用户预先设置好的手部缩放比例p和投影画面缩放比例P之间的映射关系，确定投影画面所要缩放的目标比例P。若用户手部起始为闭合状态，此时检测框较小，随着用户手部逐渐张开，检测框会随之逐渐增大，在此过程中，投影画面会根据用户的手部检测框的扩大而放大；若用户手部起始为张开状态，此时检测框较大，随着用户手部逐渐闭合，检测框会随之逐渐减小，投影画面同样会根据用户的手部检测框的减小而缩小。

可选地，确定第一帧图像中的手部关键点外接矩形与最后一帧图像中的手部关键点外接矩形之间的第二比例关系，依据第二比例关系确定目标比例。例如，确定第一帧图像中的手部关键点外接矩形的坐标为(x1’,y1’,w1’,h1’)，最后一帧图像中的手部关键点外接矩形的坐标为(x2’,y2’,w'2’,h2’)，依据其中的宽高信息计算手势动作起始手部关键点外接矩形的缩放比例p为第二比例关系，然后依据预先设置的映射关系确定投影画面所要缩放的目标比例P。当用户手部收拢握紧时，关键点随之收拢，此时关键点的外接矩形变小，投影画面随之缩小；当用户手部张开时，关键点随之舒展，此时关键点的外接矩形变大，投影画面随之放大。

在本申请一些可选的实施例中，确定目标距离或目标比例时，可以在第二种方案的基础上得到下述第三种方案。

在确定目标距离时，依据连续帧图像的图像帧数与第一距离确定手部移动的第一速度，依据第一速度确定目标距离；或依据连续帧图像的图像帧数与第二距离确定手部移动的第二速度，依据第二速度确定目标距离。例如，确定从第一帧图像至最后一帧图像的图像帧数为t，第一距离或第二距离为d，则得到手部移动的第一速度或第二速度为v＝d/t，依据用户预先设置好的手部移动速度v和投影画面平移距离D之间的映射关系，确定投影画面所要平移的目标距离D。

在确定目标比例时，依据连续帧图像的图像帧数与第一比例关系确定手部缩放的第三速度，依据第三速度确定目标比例；或依据连续帧图像的图像帧数与第二比例关系确定手部缩放的第四速度，依据第四速度确定目标比例。例如，确定从第一帧图像至最后一帧图像的图像帧数为t，第一比例关系或第二比例关系为p，则得到手部缩放的第三速度或第四速度为v＝p/t，依据用户预先设置好的手部缩放速度v和投影画面缩放比例P之间的映射关系，确定投影画面所要缩放的目标比例P。

在检测静态手势时，可以确定连续帧图像中的任意一张图像为目标图像；将目标图像输入预先训练的静态手势检测模型，通过静态手势检测模型检测出目标图像中的手势的静态手势类别。

其中，静态手势检测模型是通过以下训练过程得到的：获取样本图像集，并对样本图像集中的每张图像中的静态手势类别进行标注，得到第二标注信息；将样本图像集及第二标注信息输入静态手势检测模型进行训练。

例如，采集7000张图像作为样本图像集，其中包括指尖向左、指尖向右、指尖向上、指尖向下、手掌张开、手掌握紧以及OK手势各1000张，为了更好地模拟用户的使用环境，采集的图像可以包括明亮环境下的图像和阴暗情况下的图像；之后，利用标注工具对每张图像中的静态手势类别进行标注，如编号1-7分别对应7种静态手势类别，得到第二标注信息；将样本图像集以及对应的第二标注信息输入静态手势检测模型不断进行训练，使最终得到的静态手势检测模型可以检测出任一图像中的静态手势类别。需要说明的是，上述的7种静态手势仅为举例说明，也可以用其他的静态手势进行替换，当然静态手势的数量也可以根据需求进行调整。

在本申请一些可选的实施例中，在检测到静态手势类别为第三类别时，确定控制信息为将投影画面整体向目标方向平移目标距离，其中，目标距离为预先设置的固定距离；在检测到静态手势类别为第四类别时，确定控制信息为将投影画面整体缩放目标比例，其中，目标比例为预先设置的固定比例；在检测到静态手势类别为第五类别时，确定控制信息为停止调节投影画面。

具体地，第三类别静态手势主要包括指尖向左、指尖向右、指尖向上、指尖向下等静态手势，用于控制投影画面整体向目标方向平移目标距离；第四类别静态手势主要包括手掌张开、手掌握紧等静态手势，用于控制投影画面整体缩放目标比例；第五类别静态手势主要包括OK手势等，用于表示投影画面调节完成。

例如，当检测到目标图像中存在指尖向左的手势时，确定要将投影画面整体向左平移5cm；当目标图像中存在指尖向右的手势时，确定要将投影画面整体向右平移5cm；当目标图像中存在指尖向上的手势时，确定要将投影画面整体向上平移5cm；当目标图像中存在指尖向下的手势时，确定要将投影画面整体向下平移5cm；当目标图像中存在手掌张开的手势时，确定要将投影画面整体放大5％；当目标图像中存在手掌握紧的手势时，确定要将投影画面整体缩小5％；当检测到OK手势时，确定要结束对投影画面的调节，投影画面不再变化。

步骤S106，依据手势类别及控制信息对投影画面的位置或尺寸进行调节。

在本申请一些可选的实施例中，可以依据手势类别及控制信息确定投影画面待平移的目标方向和目标距离，或确定投影画面待缩放的目标比例；依据目标方向和目标距离，或依据目标比例，调节投影仪中的待投影画面的位置坐标；依据投影仪中调节后的待投影画面的位置坐标进行投影，得到调节后的目标投影画面。

具体地，要调节投影画面的位置或尺寸，可以通过调节投影仪中待投影画面的位置坐标来实现。由于上述过程已经依据手势类别及控制信息确定了投影画面所要平移的目标方向和目标距离，或是投影画面所要缩放的目标比例，可以通过这些信息来调节投影仪中待投影画面的位置坐标。例如，在调节投影画面的位置时，可以依据投影画面的平移距离和投影仪中待投影画面的平移像素之间的映射关系，将投影仪中的待投影画面在目标方向上整体平移对应的像素，即可实现将投影画面在目标方向上平移目标距离。在缩放投影画面的尺寸时，直接将投影仪中的待投影画面整体缩放目标比例，即可实现将投影画面缩放目标比例。

可选地，也可以依据手势类别及控制信息确定投影画面待平移的目标方向和目标距离，通过光机移轴将投影画面在目标方向上平移目标距离。用户可以预先设置好投影画面的平移距离和投影仪的移轴电机步长之间的映射关系，在确定投影画面所要平移的目标方向和目标距离后，控制投影仪的移轴电机朝相应方向转动对应的步长即可。

在本申请一些可选的实施例中，还可以训练静态手势检测模型检测图像中的手部位置，利用静态手势检测模型实时检测拍摄的每帧图像中的静态手势类别及手部位置，当连续检测到第三类别手势且手部位置发生变化时，计算当前帧图像中的手部位置及第一帧出现第三类别手势的图像中的手部位置之间的差(dx,dy,1)，同时建立拍摄图像中的投影画面与实际投影画面之间的单应性矩阵H(即摄像头与投影仪中光机的转换矩阵)，通过单应性矩阵H计算实际投影画面所要平移的位置(dx’,dy’,dz’)＝(dx,dy,1)*H，其中dx’＝dx’/dz’，dy’＝dy’/dz’。当投影画面整体在初始位置的基础上分别在水平方向和垂直方向上平移dx’,dy’，即可实现投影画面实时跟随手部移动进行平移。

在本申请一些可选的实施例中，在检测到投影画面被调节至临界位置时，停止调节投影画面，并生成第一信息，第一信息用于提示投影画面已被调节至临界位置。可以理解地，无论是光机移轴还是调节投影仪中的待投影画面，其都存在一个调节范围，当调节到该调节范围的临界位置时，投影画面无法再被移动或缩放，此时可以弹出toast信息提示用户投影画面无法再继续调节。

可选地，在检测到投影画面被调节至与投影区域中的障碍物边界重合时，停止调节投影画面，并生成第二信息，第二信息用于提示投影画面遭遇障碍物。例如，在用户通过手势动作控制投影画面移动或缩放的过程中，当投影画面与投影区域中的开关或贴纸等障碍物边界重叠，或是移动到了投影区域的边界，此时为了保证用户的观影体验，需要停止调节投影画面并弹出toast信息提示用户投影画面遭遇障碍物。

图4为本申请实施例提供的一种可选的投影画面调节过程的示意图，该过程包括：

1、采集6000组1s的视频作为样本视频数据集合；

2、对每个样本视频数据对应的手势动作进行标注，得到标注信息；

3、将样本视频数据集合及标注信息输入动态手势检测模型进行训练；

4、摄像头拍摄投影区域的连续30帧目标图像集合；

5、将目标图像集合输入训练好的动态手势检测模型；

6、动态手势检测模型检测目标图像集合对应的手势动作；

7、依据手势动作调节投影画面。

在本申请实施例中，首先获取连续帧图像，其中，每帧图像中包括投影画面和输入手势；然后依据连续帧图像确定输入手势的手势类别，并确定与该手势类别对应的控制信息；最后依据手势类别及控制信息对投影画面的位置或尺寸进行调节。本申请实施例通过分析用户的手势动作理解用户所要表达的含义，让用户能够通过自身的手势动作对投影画面的位置尺寸进行调节，增强了切身参与的体验感以及趣味性，进而解决了相关技术中利用遥控器调节投影画面时用户交互体验感差技术问题。

实施例2

根据本申请实施例，还提供了一种用于实现上述投影画面调节方法的投影画面调节装置，如图5所示，该装置包括获取模块50，确定模块52及调节模块54，其中：

获取模块50，用于获取连续帧图像，其中，每帧图像中包括投影画面和输入手势。

在本申请一些可选的实施例中，用户在对投影画面进行调节时，可以通过不同的控制指令进入不同的调节模式，每种调节模式下均会显示相应的投影画面，用户可以对调节模式下的投影画面的位置或尺寸进行调节。具体地，可以响应于控制指令，基于预设背景内容显示调节模式下的投影画面。例如，用户可以通过设置菜单或是语音指令等预设的触发方式进入手势控制界面调节模式，在该模式下，会将当前投影画面中的显示内容替换为预设的背景内容，得到调节模式下的投影画面，然后依据用户输入的手势动作对投影画面进行调节。可选地，也可以响应于控制指令，基于当前投影画面内容显示调节模式下的投影画面。例如，用户可以通过设置菜单或是语音指令等预设的触发方式进入无感手势控制调节模式，在该模式下，不需要对当前的投影画面内容进行调整，即无需将其替换为预设的纯色背景或是进入其他可感知的操作界面，而是直接将当前投影画面作为调节模式下的投影画面，依据用户输入的手势动作对投影画面进行调节。

在获取连续帧图像时，可以利用投影仪的前置rgb摄像头拍摄包括投影画面的连续帧画面，在拍摄时，可以针对明亮环境和阴暗环境分别设置不同的曝光参数，以确保在亮暗环境下均能拍摄到投影面清晰的图像。其中，摄像头也可作为配件，放置在用户投影环境中任意位置，只要可以拍摄清楚手部手势即可，但这种情况下需要自行标定好摄像头与投影仪的位置关系。可选地，也可以通过红外摄像头拍摄投影面的连续帧画面，由于其在亮环境或暗环境下都可以较好地成像，可以有效滤除投影画面对手部图像的影响。

确定模块52，用于依据连续帧图像确定输入手势的手势类别，并确定与手势类别对应的控制信息。

在本申请一些可选的实施例中，用户既可以使用动态手势对投影画面进行调节，也可以使用静态手势对投影画面进行调节，因此，在确定输入手势的手势类别及与手势类别对应的控制信息时，可以根据用户设置的手势控制方式，分别利用动态手势检测模型或静态手势检测模型对连续帧图像进行检测。

具体地，在检测动态手势时，可以从连续帧图像中选取拍摄时间距离当前系统时间最近的第一预设数量的图像，并从第一预设数量的图像中等间隔选取第二预设数量的图像作为目标图像集合；将目标图像集合输入预先训练的动态手势检测模型，通过动态手势检测模型检测输入手势的动态手势类别。在检测到动态手势类别为第一类别时，确定控制信息为将投影画面整体向目标方向平移目标距离；在检测到动态手势类别为第二类别时，确定控制信息为将投影画面整体缩放目标比例。

其中，目标距离可以是预先设置的固定距离，目标比例可以是预先设置的固定比例。可选地，也可以先确定连续帧图像中的第一帧图像及最后一帧图像；通过目标检测模型确定第一帧图像中的手部位置及最后一帧图像中的手部位置，其中，手部位置至少包括以下其中之一：手部检测框位置，手部关键点位置；依据第一帧图像中的手部位置与最后一帧图像中的手部位置确定目标距离或目标比例。

在检测静态手势时，可以确定连续帧图像中的任意一张图像为目标图像；将目标图像输入预先训练的静态手势检测模型，通过静态手势检测模型检测出目标图像中的手势的静态手势类别。在检测到静态手势类别为第三类别时，确定控制信息为将投影画面整体向目标方向平移目标距离，其中，目标距离为预先设置的固定距离；在检测到静态手势类别为第四类别时，确定控制信息为将投影画面整体缩放目标比例，其中，目标比例为预先设置的固定比例；在检测到静态手势类别为第五类别时，确定控制信息为停止调节投影画面。

调节模块54，用于依据手势类别及控制信息对投影画面的位置或尺寸进行调节。

在本申请一些可选的实施例中，可以依据手势类别及控制信息确定对投影画面的位置或尺寸进行调节后的目标坐标信息；确定投影仪中的待投影画面与投影画面之间的单应性矩阵H；依据目标坐标信息及单应性矩阵调节投影仪中的待投影画面的位置坐标；依据投影仪中调节后的待投影画面的位置坐标进行投影，得到调节后的目标投影画面。可选地，也可以依据手势类别及控制信息确定对投影画面的位置进行调节后的目标位置；通过光机移轴将投影画面调节至目标位置。

在本申请一些可选的实施例中，在检测到投影画面被调节至临界位置时，停止调节投影画面，并生成第一信息，第一信息用于提示投影画面已被调节至临界位置。在检测到投影画面被调节至与投影区域中的障碍物边界重合时，停止调节投影画面，并生成第二信息，第二信息用于提示投影画面遭遇障碍物。

需要说明的是，本申请实施例中的投影画面调节装置中的各模块与实施例1中的投影画面调节方法实施步骤一一对应，由于实施例1中已经进行了详尽的描述，本实施例中部分未体现的细节可以参考实施例1，在此不再过多赘述。

实施例3

根据本申请实施例，还提供了一种投影仪，如图6所示，该投影仪至少包括处理器60和存储器62，其中：存储器62与处理器60连接，用于为处理器60提供处理以下处理步骤的指令：

获取连续帧图像，其中，每帧图像中包括投影画面和输入手势；依据连续帧图像确定输入手势的手势类别，并确定与手势类别对应的控制信息；依据手势类别及控制信息对投影画面的位置或尺寸进行调节。

实施例4

根据本申请实施例，还提供了一种非易失性存储介质，该非易失性存储介质包括存储的程序，其中，在程序运行时控制非易失性存储介质所在设备执行上述的方法。

可选地，在程序运行时控制非易失性存储介质所在设备执行实现以下步骤：获取连续帧图像，其中，每帧图像中包括投影画面和输入手势；依据连续帧图像确定输入手势的手势类别，并确定与手势类别对应的控制信息；依据手势类别及控制信息对投影画面的位置或尺寸进行调节。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (17)

1.一种投影画面调节方法，其特征在于，包括：

获取连续帧图像，其中，每帧图像中包括投影画面和输入手势；

依据所述连续帧图像确定所述输入手势的手势类别，并确定与所述手势类别对应的控制信息；

依据所述手势类别及所述控制信息对所述投影画面的位置或尺寸进行调节。

2.根据权利要求1所述的方法，其特征在于，所述依据所述连续帧图像确定所述输入手势的手势类别，包括：

从所述连续帧图像中选取拍摄时间距离当前系统时间最近的第一预设数量的图像，并从所述第一预设数量的图像中等间隔选取第二预设数量的图像作为目标图像集合；

将所述目标图像集合输入预先训练的动态手势检测模型，通过所述动态手势检测模型检测所述输入手势的动态手势类别。

3.根据权利要求2所述的方法，其特征在于，所述确定与所述手势类别对应的控制信息，包括：

在检测到所述动态手势类别为第一类别时，确定所述控制信息为将所述投影画面整体向目标方向平移目标距离；

在检测到所述动态手势类别为第二类别时，确定所述控制信息为将所述投影画面整体缩放目标比例。

4.根据权利要求3所述的方法，其特征在于，所述目标距离为预先设置的固定距离；所述目标比例为预先设置的固定比例。

5.根据权利要求3所述的方法，其特征在于，所述目标距离或所述目标比例的确定过程包括：

确定所述连续帧图像中的第一帧图像及最后一帧图像；

通过目标检测模型确定所述第一帧图像中的手部位置及所述最后一帧图像中的手部位置，其中，所述手部位置至少包括以下其中之一：手部检测框位置，手部关键点位置；

依据所述第一帧图像中的手部位置与所述最后一帧图像中的手部位置确定所述目标距离或目标比例。

6.根据权利要求5所述的方法，其特征在于，所述依据所述第一帧图像中的手部位置与所述最后一帧图像中的手部位置确定所述目标距离，包括：

确定所述第一帧图像中的手部检测框中心点位置与所述最后一帧图像中的手部检测框中心点位置之间的第一距离，依据所述第一距离确定所述目标距离；或，

依据所述连续帧图像的图像帧数与所述第一距离确定手部移动的第一速度，依据所述第一速度确定所述目标距离；或，

确定所述第一帧图像中的手部关键点中的手心位置与所述最后一帧图像中的手部关键点中的手心位置之间的第二距离，依据所述第二距离确定所述目标距离；或，

依据所述连续帧图像的图像帧数与所述第二距离确定手部移动的第二速度，依据所述第二速度确定所述目标距离。

7.根据权利要求5所述的方法，其特征在于，所述依据所述第一帧图像中的手部位置与所述最后一帧图像中的手部位置确定所述目标比例，包括：

确定所述第一帧图像中的手部检测框与所述最后一帧图像中的手部检测框之间的第一比例关系，依据所述第一比例关系确定所述目标比例；或，

依据所述连续帧图像的图像帧数与所述第一比例关系确定手部缩放的第三速度，依据所述第三速度确定所述目标比例；或，

确定所述第一帧图像中的手部关键点外接矩形与所述最后一帧图像中的手部关键点外接矩形之间的第二比例关系，依据所述第二比例关系确定所述目标比例；或，

依据所述连续帧图像的图像帧数与所述第二比例关系确定手部缩放的第四速度，依据所述第四速度确定所述目标比例。

8.根据权利要求1所述的方法，其特征在于，所述依据所述连续帧图像确定所述输入手势的手势类别，包括：

确定所述连续帧图像中的任意一张图像为目标图像；

将所述目标图像输入预先训练的静态手势检测模型，通过所述静态手势检测模型检测出所述目标图像中的手势的静态手势类别。

9.根据权利要求8所述的方法，其特征在于，所述确定与所述手势类别对应的控制信息，包括：

在检测到所述静态手势类别为第三类别时，确定所述控制信息为将所述投影画面整体向目标方向平移目标距离，其中，所述目标距离为预先设置的固定距离；

在检测到所述静态手势类别为第四类别时，确定所述控制信息为将所述投影画面整体缩放目标比例，其中，所述目标比例为预先设置的固定比例；

在检测到所述静态手势类别为第五类别时，确定所述控制信息为停止调节所述投影画面。

10.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在检测到所述投影画面被调节至临界位置时，停止调节所述投影画面，并生成第一信息，所述第一信息用于提示所述投影画面已被调节至临界位置；或，

在检测到所述投影画面被调节至与投影面中的障碍物边界重合时，停止调节所述投影画面，并生成第二信息，所述第二信息用于提示所述投影画面遭遇障碍物。

11.根据权利要求1所述的方法，其特征在于，所述依据所述手势类别及所述控制信息对所述投影画面的位置或尺寸进行调节，包括：

依据所述手势类别及所述控制信息确定所述投影画面待平移的目标方向和目标距离，或确定所述投影画面待缩放的目标比例；

依据所述目标方向和所述目标距离，或依据所述目标比例，调节投影仪中的待投影画面的位置坐标；

依据所述投影仪中调节后的待投影画面的位置坐标进行投影，得到调节后的目标投影画面。

12.根据权利要求1所述的方法，其特征在于，所述依据所述手势类别及所述控制信息对所述投影画面的位置进行调节，包括：

依据所述手势类别及所述控制信息确定所述投影画面待平移的目标方向和目标距离；

通过光机移轴将所述投影画面在所述目标方向上平移所述目标距离。

13.根据权利要求1所述的方法，其特征在于，在获取连续帧图像之前，所述方法还包括：

响应于控制指令，基于预设背景内容显示调节模式下的所述投影画面；或，

响应于控制指令，基于当前投影画面内容显示调节模式下的所述投影画面。

14.根据权利要求2所述的方法，其特征在于，所述动态手势检测模型的训练过程包括：

获取样本视频数据集合，其中，每个样本视频数据对应一种动态手势类别；

对任一所述样本视频数据，从所述样本视频中等间隔选取第二预设数量的图像作为一个样本图像子集，并对所述样本图像子集对应的动态手势类别进行标注，得到第一标注信息；

将所述样本图像子集及所述第一标注信息输入所述动态手势检测模型进行训练。

15.一种投影画面调节装置，其特征在于，包括：

获取模块，用于获取连续帧图像，其中，每帧图像中包括投影画面和输入手势；

确定模块，用于依据所述连续帧图像确定所述输入手势的手势类别，并确定与所述手势类别对应的控制信息；

调节模块，用于依据所述手势类别及所述控制信息对所述投影画面的位置或尺寸进行调节。

16.一种投影仪，其特征在于，包括：

处理器；以及

存储器，与所述处理器连接，用于为所述处理器提供处理以下处理步骤的指令：获取连续帧图像，其中，每帧图像中包括投影画面和输入手势；依据所述连续帧图像确定所述输入手势的手势类别，并确定与所述手势类别对应的控制信息；依据所述手势类别及所述控制信息对所述投影画面的位置或尺寸进行调节。

17.一种非易失性存储介质，其特征在于，所述非易失性存储介质包括存储的程序，其中，在所述程序运行时控制所述非易失性存储介质所在设备执行权利要求1至14中任意一项所述的投影画面调节方法。

Images