CN109710071A - 一种屏幕控制方法和装置 - Google Patents

Abstract

本发明公开一种屏幕控制方法和装置。本发明的屏幕控制装置包括数据采集单元、关键点检测单元、目标跟踪单元、手势识别单元和动作识别与控制单元。本发明的屏幕控制方法包括：通过相机获取彩色图像帧、深度图像帧和IR图像帧；通过彩色图像帧获得目标部位的关键点；根据三种图像帧像素点之间的对应关系获取关键点的深度值，并获取所述关键点的空间位置信息以获取跟踪目标的运动状态信息；根据三种图像帧像素点之间的对应关系和目标手部的关键点，在深度图像帧上对手部区域进行分割，并在IR图像帧上提取手部区域的图片进行手势识别；根据运动状态信息和目标手势确定目标动作。本发明能够更准确而精细进行屏幕控制加强用户体验。

Description

一种屏幕控制方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种屏幕控制方法和装置。

背景技术

目前大屏幕交互的方法主要是基于触摸式、激光阵列式、遥控式或语音交互式的方法，随着屏幕技术的不断提升，大屏幕清晰度和尺寸也在不断攀升，对于超大屏幕而言，触摸式交互和激光阵列式交互已经无法满足要求，正逐渐的退出舞台，而语音交互和体感交互方式正不断成为主流。

语音交互式方法需要控制者不断的说出自己的需求，但需求说出的解析度不由控制者确定，具有一定的限制，且在公共场合，正确有效的捕获控制者的语音也具有一定的难度。而单纯的运动交互虽然能达到较好的控制效果，例如体感游戏，但是体感交互对于控制者的体力具有一定要求，很难做到长时间控制。

发明内容

本发明提供了一种屏幕控制方法和装置，以更准确而精细进行屏幕控制加强用户体验。

本发明一方面提供了一种屏幕控制方法，包括：通过相机获取彩色图像帧、深度图像帧和IR图像帧，并确定彩色图像帧、深度图像帧与IR图像帧三种图像帧之间像素点的对应关系；通过彩色图像帧获得目标部位的关键点，所述目标部位包括目标手部；根据彩色图像帧、深度图像帧之间像素点的对应关系获取关键点的深度值，并根据相机的参数和关键点的深度值获取所述关键点的空间位置信息，以根据关键点的空间位置信息跟踪目标获取跟踪目标的运动状态信息；根据三种图像帧之间像素点的对应关系和目标手部的关键点，在深度图像帧上对手部区域进行分割，并在IR图像帧上提取手部区域的图片进行手势识别，获取目标手势；根据跟踪目标的运动状态信息和目标手势确定目标动作，基于目标动作对屏幕进行控制。

本发明一方面提供了一种屏幕控制装置，包括：数据采集单元，用于通过相机获取彩色图像帧、深度图像帧和IR图像帧，并确定彩色图像帧、深度图像帧与IR图像帧三种图像帧之间像素点的对应关系；关键点检测单元，用于通过彩色图像帧获得目标部位的关键点，所述目标部位包括目标手部；目标跟踪单元，用于根据彩色图像帧、深度图像帧之间像素点的对应关系获取所述关键点的深度值，并根据相机的参数和关键点的深度值获取所述关键点的空间位置信息，以根据关键点的空间位置信息跟踪目标获取跟踪目标的运动状态信息；手势识别单元，用于根据三种图像帧之间像素点的对应关系和目标手部的关键点，在深度图像帧上对手部区域进行分割，并在IR图像帧上提取手部区域的图片进行手势识别，获取目标手势；动作识别与控制单元，用于根据跟踪目标的运动状态信息和目标手势确定目标动作，基于目标动作对屏幕进行控制。

本发明首先对图像数据进行采集与处理，确定彩色图像、IR图像和深度图像之间的对应关系，以图像之间的对应关系为基础，一方面结合彩色图像与深度图像确定出目标部位的关键点的空间位置，基于关键点的空间位置对目标进行跟踪识别，确定出目标的运动状态；另一方面结合彩色图像、深度图像与IR图像，利用IR图像对光照的不敏感性进行手势识别，避免使用对光照敏感的可见光图像进行手势识别存在的光照较强或光照较弱情况下无法准确进行手势识别的问题；通过利用所确定的目标运动状态信息和手势识别结果识别目标动作，提高目标动作识别的准确性，且通过结合手势与体感运动能够细化目标动作，实现对屏幕的精细控制。

附图说明

图1为本发明实施例示出的屏幕控制方法的流程图；

图2为本发明实施例示出的目标动作分类识别流程图；

图3为本发明实施例示出的屏幕控制装置的结构框图；

图4为本发明实施例示出的屏幕控制装置的硬件结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

以下，将参照附图来描述本发明的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。这里使用的词语“一”、“一个(种)”和“该”等也应包括“多个”、“多种”的意思，除非上下文另外明确指出。此外，在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。

因此，本发明的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本发明的技术可以采取存储有指令的机器可读介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。在本发明的上下文中，机器可读介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，机器可读介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。机器可读介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。

本发明实施例提供一种屏幕控制方法。

图1为本发明实施例示出的屏幕控制方法的流程图，如图1所示，本实施例的方法包括：

S110，通过相机获取彩色图像帧、深度图像帧和红外(Infrared Radiation，IR)图像帧，并确定彩色图像帧、深度图像帧与IR图像帧三种图像帧之间像素点的对应关系。

S120，通过彩色图像帧获得目标部位的关键点，目标部位包括目标手部。

本实施例中，目标可以理解为控制者。相应的，目标部位的关键点为控制者相应部位的关键点，例如控制者手部的关键点。

S130，根据彩色图像帧、深度图像帧之间像素点的对应关系获取关键点的深度值，并根据相机的参数和关键点的深度值获取关键点的空间位置信息，以根据关键点的空间位置信息跟踪目标获取跟踪目标的运动状态信息。

S140，根据三种图像帧之间像素点的对应关系和目标手部的关键点，在深度图像帧上对手部区域进行分割，并在IR图像上提取手部区域的图片进行手势识别，获取目标手势。

S150，根据跟踪目标的运动状态信息和目标手势确定目标动作，基于目标动作对屏幕进行控制。

本实施例首先对图像数据进行采集与处理，确定彩色图像、IR图像和深度图像之间的对应关系，以图像之间的对应关系为基础，一方面结合彩色图像与深度图像确定出目标部位的关键点的空间位置，基于关键点的空间位置对目标进行跟踪识别，确定出目标的运动状态；另一方面结合彩色图像、深度图像与IR图像，利用IR图像对光照的不敏感性进行手势识别，避免使用对光照敏感的可见光图像进行手势识别存在的光照较强或光照较弱情况下无法准确进行手势识别的问题；通过利用所确定的目标运动状态信息和手势识别结果识别目标动作，提高目标动作识别的准确性，且通过结合手势与体感运动能够细化目标动作，实现对屏幕的精细控制。

图2为本发明实施例示出的目标动作分类识别流程图，下面结合图2对上述步骤S110-S150进行详细说明，本实施例步骤S110-S150的执行主体可以为终端设备，该终端设备可以集成在屏幕上或独立于屏幕单独设置。

首先，执行步骤S110，即通过相机获取彩色图像帧、深度图像帧和红外IR图像帧，并确定彩色图像帧、深度图像帧与IR图像帧三种图像帧之间像素点的对应关系。

本实施例中的执行主体可以安装有用于采集图像帧的相机，在需要进行手势动作识别时，可以开启相机对用户进行拍摄，获得本实施例所需的彩色图像帧、深度图像帧和IR图像帧。其中，彩色图像帧包括但不限于RGB图像帧。

在获得所需的图像数据之后，可以对彩色图像帧进行必要的去噪滤波等预处理，必要的情况下，也可以对深度图像帧进行去噪处理。

在利用一部相机获得上述三种图像数据时，可以根据相机内部参数计算彩色图像帧各像素点对应到深度图像帧和IR图像帧的像素坐标，以及计算出深度图像帧各像素点对应到IR图像帧的像素坐标，从而获得彩色图像帧、深度图像帧与IR图像帧三种图像帧之间像素点的对应关系。

当利用两部以上的相机获得上述三种图像数据时，可以根据相机内部参数和相机之间的相对位置参数计算彩色图像帧各像素点分别对应到深度图像帧和IR图像帧的像素坐标，从而获得彩色图像帧、深度图像帧与IR图像帧三种图像帧之间像素点的对应关系。

在确定彩色图像帧、深度图像帧与IR图像帧三种图像帧之间像素点的对应关系之后，继续执行步骤S120，即通过彩色图像帧获得目标部位的关键点，目标部位包括目标手部。

本实施例在彩色图像帧上，利用现有目标检测与识别算法对目标部位的关键点进行定位，其中目标部位包括目标手部。本实施例优选地定位目标左右手臂各3个关键点和左右手各一个关键点，例如左右肩关键点、左右肘关键点、左右腕关键点、左右手关键点。

在获得目标部位的关键点之后，继续执行步骤S130，即根据三种图像帧之间像素点的对应关系和目标手部的关键点，在深度图像帧上对手部区域进行分割，并在IR图像上提取手部区域的图片进行手势识别，获取目标手势。

本实施例为提高目标对屏幕控制的有效范围，建立跟随目标移动的控制坐标系，确定关键点在控制坐标系中的空间位置信息，基于关键点在在控制坐标系中的空间位置信息确定目标手势和目标运动状态信息。

在一个实施例中，通过下述方法确定关键点的空间位置信息：首先根据相机的相机参数和关键点的深度值，获得关键点在相机坐标系中的坐标位置；例如，根据公式计算各个关键点在相机坐标系中的坐标位置，其中，I_x与I_y分别为彩色图像的横纵坐标，dp为深度值，c_x与c_y分别为相机内参中的中心点坐标，f_x与f_y分别为相机焦距，(x,y,z)分别为关键点在相机坐标系中的坐标。接着，根据目标部位的关键点所包括的左右肩部关键点，确定肩部中心点以及肩部中心点在相机坐标系中的位置坐标；例如，左右肩部关键点在相机坐标系中的坐标分比为(x_sl,y_sl,z_sl)、(x_sr,y_sr,z_sr)，则肩部中心点在相机坐标系中的位置坐标为然后，建立以肩部中心点的位置坐标为原点的控制坐标系，并根据控制坐标系与相机坐标系之间的位置关系，确定关键点在控制坐标系中的空间位置信息。

其中，本实施例的控制坐标系是随着目标移动而移动的，而相机坐标系是以相机中轴线为基础的，根据相机位置相关的；本实施例为了使屏幕的控制目标不局限在某个区域操作，根据目标位置信息构建控制坐标系，通过控制坐标使得控制者可以在任何地方轻松控制整个屏幕，且利用控制空间的跟随性移动，显著地减轻目标交互的体力交互。

本实施例还对跟踪目标进行锁定，保证在多人情况下对屏幕具有稳定的交互控制。

在一个实施例中，本实施例具体通过下述方法进行目标跟踪：首先根据预设策略从相机拍摄的彩色图像帧中确定初始跟踪目标；其中预设策略包括确定位于相机中线的目标为跟踪目标；或者，确定与相机距离最近的目标为跟踪目标；或者，确定位于相机中线且与相机距离最近的目标为跟踪目标。接着，根据初始跟踪目标的关键点的空间位置信息，采用卡尔曼跟踪方法，对初始跟踪目标进行跟踪；然后，在初始跟踪目标被跟踪丢失时，从相机拍摄的彩色图像帧中重新确定符合预设策略的当前跟踪目标，并对当前跟踪目标进行跟踪；即在初始跟踪目标由于遮挡等原因被跟踪丢失时，可以从相机拍摄的彩色图像帧中重新确定当前跟踪目标，例如根据获取到的彩色图像将当前与相机距离最近的目标确定为当前跟踪目标，根据当前跟踪目标的关键点的空间位置信息，采用卡尔曼跟踪方法，对当前跟踪目标进行跟踪。

由于关键点的空间位置信息的稳定性会影响运动状态信息和手势识别的准确性，因此，本实施例对关键点的空间位置进行平滑处理，保证得到稳定的关键点的空间位置。

一个实施例中，在获得关键点的空间位置信息时，还通过下述方法对关键点的空间位置进行平滑处理：首先对当前彩色图像帧中关键点的空间位置进行卡尔曼初始平滑，获得卡尔曼平滑结果；接着基于设定的平滑指数和设定的平滑误差，对上一彩色图像帧中关键点的空间位置的平滑结果和卡尔曼平滑结果进行指数平滑，获得指数平滑结果，设定的平滑误差指示对关键点的空间位置的最大平滑程度误差；然后根据指数平滑结果和上一彩色图像帧中关键点的空间位置的平滑结果确定抖动信息；最后根据抖动信息和设定的静止行为判定误差，确定当前彩色图像帧中关键点平滑后的空间位置，其中设定的静止行为判定误差指示目标位置对应静止行为的最大抖动误差。

本实施例中，跟踪目标的运动状态信息包括运动状态和静止状态，为了防止关键点的抖动，本实施例在确定跟踪目标的运动状态信息，还包括：从相机获取第一数量(例如50帧彩色图像)的彩色图像帧作为目标帧序列，并确定目标帧序列的第一个彩色图像帧为基准帧；确定目标帧序列中除第一个彩色图像帧之外的每彩色图像帧与基准帧中相同关键点的运动距离；根据目标帧序列中关键点的运动距离，确定跟踪目标的运动状态信息。

一个方案中，若目标帧序列中全部关键点的运动距离的均值小于预设距离值，确定跟踪目标处于静止状态，若运动距离的均值不小于预设距离值，确定跟踪目标处于运动状态。

例如，目标帧序列包括50帧彩色图像，每帧彩色图像均包括8个关键点，第一个彩色图像帧为基准帧，其他49帧彩色图像中，计算每帧彩色图像中这8个关键点分别与基准帧相应关键点的运动距离，获得49×8组距离值，计算49×8组距离值的均值，若均值小于预设距离值，确定跟踪目标处于静止状态，若均值不小于预设距离值，确定跟踪目标处于运动状态。

另一个方案中，若目标帧序列中第二数量(例如35-45帧彩色图像)彩色图像帧与基准帧中相同关键点的运动距离都小于预设距离值，确定跟踪目标处于静止状态，若目标帧序列中第二数量彩色图像帧与基准帧中相同关键点的运动距离都不小于预设距离值，确定跟踪目标处于运动状态；第二数量小于第一数量。

例如，目标帧序列包括50帧彩色图像，每帧彩色图像均包括8个关键点，第一个彩色图像帧为基准帧，其他49帧彩色图像中，计算每帧彩色图像中这8个关键点分别与基准帧相应关键点的运动距离，若这50帧目标帧序列中45帧彩色图像的8个关键点与基准帧中相应关键点的运动距离都小于预设距离值，确定跟踪目标处于静止状态；若这50帧目标帧序列中45帧彩色图像的8个关键点与基准帧中相应关键点的运动距离都大于预设距离值，确定跟踪目标处于运动状态。

在获取跟踪目标的运动状态信息之后，继续执行步骤S140，即根据三种图像帧之间像素点的对应关系和目标手部的关键点，在深度图像帧上对手部区域进行分割，并在IR图像上提取手部区域的图片进行手势识别，获取目标手势。

根据三种图像帧之间像素点的对应关系和目标手部的关键点，在深度图像帧上获得目标手部区域。

一个实施例中，根据目标手部关键点对应的深度值设定深度有效范围值，例如设定深度有效范围为[Min_d Max_d]，根据设定深度有效范围对深度图像帧进行二值化处理，获得深度图中的手部区域，得到手部掩码图F(i)，其中，D(i)为深度图像帧像素点i处的深度值。根据手部掩码图F(i)的标记信息对IR图像帧进行分割，例如将IR图像帧背景区域像素值设置为0，非背景区域像素值根据颜色信息设置相应灰度，得到手部灰度图，对手部灰度图进行尺寸归一化处理，基于手势识别模型对归一化处理后的图像进行手势分类。

本实施例通过下述方法得到身份识别结果：将处理后的手势图像输入至预先训练好的手势识别模型，手势别模型包括利用机器学习方和由IR图像所构成的训练样本对卷积神经网络结构进行有监督训练得到的；其中手势识别模型还包括分类器，例如采用mobilenetv2的分类网络进行手势分类。

本实施例中，可以根据使用场景需求和环境需求进行数据采集，即采集IR图像数据，标注人体手臂共8个关键点(分别是左右手臂各3个关键点和左右手各1个关键点)信息，形成深度学习训练样本，实际应用中，可以选择性的增加部分所需要的关键点信息。

在获取目标手势之后，继续执行步骤S150，即根据跟踪目标的运动状态信息和目标手势确定目标动作，基于目标动作对屏幕进行控制。

本实施例确定目标动作包括但不限于移动操作、选择操作、单击操作、双击操作、拖拽操作、缩放操作。

如图2所示，在根据跟踪目标的运动状态信息和目标手势确定右手保持手掌手势向前移动时，识别目标动作为移动操作。

在根据跟踪目标的运动状态信息和目标手势确定右手为抓取手势时，识别目标动作为选择操作。本实施例在识别到选择操作时，继续识别运动状态信息和目标手势，存在以下三种情况：

第一种情况，在识别到选择操作时，若右手保持抓取手势并处于静止状态，识别目标动作为单击操作。

第二种情况，在识别到选择操作时，若右手保持抓取手势并向前移动第一距离，识别目标动作为双击操作。

例如右手保持抓取状态的前提下，判断右手手部区域的深度信息，当深度信息在有限时间内，向前移动的深度达到第一深度阈值时，即识别为目标动作对应为双击操作。

第三种情况，在识别到选择操作时，若右手保持抓取手势并在用户前方第二距离范围内向任一方向移动，识别目标动作为对应移动方向的拖拽操作；其中，第二距离小于第一距离。

例如右手保持抓取状态时，在用户前方第二距离范围内的平面进行向上移动，即识别为向上拖拽操作；同样的，右手保持抓取状态并在用户前方第二距离范围内的平面进行向下、向左或向右移动，即识别为向下向左或向右拖拽操作。

参考图2，在根据跟踪目标的运动状态信息和目标手势确定双手先处于平伸或平举手势，接着右手手势变换为右手抓取手势，随后双手手势均变换为双手抓取手势并保持进行相对或相向运动时，识别双手相对运动的目标动作为缩小操作，识别双手相向运动的目标动作为放大操作。

例如，在双手平举达到垂直高度阈值后，若右手先执行选择操作，设定好焦点位置，随后双手保持抓取状态，同时相对/相向移动，此时识别为缩小/放大操作。

本实施例在识别目标动作时，还包括在根据跟踪目标的运动状态信息和目标手势确定左手保持握拳并平举动作时，识别目标动作为控制器获取操作。

例如，在实际应用中，当初始跟踪目标被遮挡后再出现，而控制权已经被当前跟随目标抢夺，可以通过控制权获取操作进行控制权的切换；控制权获取操作可以为如举手5s等动作。

本实施例可以实现远距离的大屏幕控制，无线配备鼠标以外设，控制者采用基本的手势和轻微的手部移动操作即可完成鼠标的单击、双击、选择、滑轮等事件，避免肢体的剧烈运动，减轻交互控制过程对体力的要求，本实施例对屏幕的控制方法能够应用于日常应用上，实现远距离播放控制视频、PPT、文档等，让教育、会议等情境讲解充满意趣。

本发明实施例还提供一种屏幕控制装置。

图3为本发明实施例示出的屏幕控制装置的结构框图，如图3所示，本实施例的装置包括：

数据采集单元31，用于通过相机获取彩色图像帧、深度图像帧和IR图像帧，并确定所述彩色图像帧、深度图像帧与IR图像帧三种图像帧之间像素点的对应关系；

关键点检测单元32，用于通过彩色图像帧获得目标部位的关键点，所述目标部位包括目标手部；

目标跟踪单元33，用于根据彩色图像帧、深度图像帧之间像素点的对应关系获取所述关键点的深度值，并根据相机的参数和所述关键点的深度值获取所述关键点的空间位置信息，以根据关键点的空间位置信息跟踪目标获取跟踪目标的运动状态信息；

手势识别单元34，用于根据三种图像帧之间像素点的对应关系和目标手部的关键点，在所述深度图像帧上对手部区域进行分割，并在IR图像上提取所述手部区域的图片进行手势识别，获取目标手势；

动作识别与控制单元35，用于根据跟踪目标的运动状态信息和所述目标手势确定目标动作，基于目标动作对屏幕进行控制。

在一个实施例中，目标跟踪单元33包括第一计算模块，用于根据所述相机的相机参数和关键点的深度值，获得关键点在相机坐标系中的坐标位置；根据目标部位的关键点所包括的左右肩部关键点确定肩部中心点以及肩部中心点在相机坐标系中的位置坐标；建立以肩部中心点的位置坐标为原点的控制坐标系，并根据控制坐标系与所述相机坐标系之间的位置关系，确定关键点在所述控制坐标系中的空间位置信息。

目标跟踪单元33还包括跟踪模块，用于根据预设策略从相机拍摄的彩色图像帧中确定初始跟踪目标；根据初始跟踪目标的关键点的空间位置信息，采用卡尔曼跟踪方法，对所述初始跟踪目标进行跟踪；在初始跟踪目标被跟踪丢失时，从相机拍摄的彩色图像帧中重新确定符合所述预设策略的当前跟踪目标，并对当前跟踪目标进行跟踪。

其中，预设策略包括确定位于相机中线的目标为跟踪目标；或者，确定与相机距离最近的目标为跟踪目标；或者，确定位于相机中线且与相机距离最近的目标为跟踪目标。

目标跟踪单元33还包括第二计算模块，用于对当前彩色图像帧中关键点的空间位置进行卡尔曼初始平滑，获得卡尔曼平滑结果；基于设定的平滑指数和设定的平滑误差，对上一彩色图像帧中关键点的空间位置的平滑结果和所述卡尔曼平滑结果进行指数平滑，获得指数平滑结果，所述设定的平滑误差指示对关键点的空间位置的最大平滑程度误差；根据指数平滑结果和上一彩色图像帧中关键点的空间位置的平滑结果确定抖动信息；根据抖动信息和设定的静止行为判定误差，确定当前彩色图像帧中所述关键点平滑后的空间位置，所述设定的静止行为判定误差指示目标位置对应静止行为的最大抖动误差。

目标跟踪单元33还包括第三计算模块，用于从相机获取第一数量的彩色图像帧作为目标帧序列，并确定所述目标帧序列的第一个彩色图像帧为基准帧；确定所述目标帧序列中除第一个彩色图像帧之外的每彩色图像帧与所述基准帧中相同关键点的运动距离；根据目标帧序列中关键点的运动距离，确定所述跟踪目标的运动状态信息。

具体的，第三计算模块，用于若目标帧序列中全部关键点的运动距离的均值小于预设距离值，确定跟踪目标处于静止状态，若运动距离的均值不小于预设距离值，确定所述跟踪目标处于运动状态；或者，若目标帧序列中第二数量彩色图像帧与基准帧中相同关键点的运动距离都小于预设距离值，确定跟踪目标处于静止状态，若目标帧序列中第二数量彩色图像帧与基准帧中相同关键点的运动距离都不小于预设距离值，确定跟踪目标处于运动状态；第二数量小于第一数量。

在一个实施例中，动作识别与控制单元35包括动作识别模块，用于在根据所述跟踪目标的运动状态信息和所述目标手势确定右手保持手掌手势向前移动时，识别目标动作为移动操作；在根据跟踪目标的运动状态信息和所述目标手势确定右手为抓取手势时，识别所述目标动作为选择操作；在识别到选择操作时，若右手保持抓取手势并处于静止状态，识别所述目标动作为单击操作；若右手保持抓取手势并向前移动第一距离，识别所述目标动作为双击操作；若右手保持抓取手势并在用户前方第二距离范围内向任一方向移动，识别所述目标动作为对应移动方向的拖拽操作；其中，所述第二距离小于第一距离；在根据跟踪目标的运动状态信息和目标手势确定双手先处于平伸或平举手势，接着右手手势变换为右手抓取手势，随后双手手势均变换为双手抓取手势并保持进行相对或相向运动时，识别双手相对运动的目标动作为缩小操作，识别双手相向运动的目标动作为放大操作。

动作识别模块，还用于在根据所述跟踪目标的运动状态信息和所述目标手势确定左手保持握拳并平举动作时，识别所述目标动作为控制器获取操作。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本发明提供的屏幕控制装置可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，参照图4所示，本发明提供的屏幕控制装置可包括处理器401、存储有机器可执行指令的机器可读存储介质402。处理器401与机器可读存储介质402可经由系统总线403通信。并且，通过读取并执行机器可读存储介质402中与屏幕控制逻辑对应的机器可执行指令，处理器401可执行上文描述的屏幕控制方法。

本发明中提到的机器可读存储介质402可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、DVD等)，或者类似的存储介质，或者它们的组合。

根据本发明公开的示例，本发明还提供了一种包括机器可执行指令的机器可读存储介质，例如图4中的机器可读存储介质402，机器可执行指令可由屏幕控制装置中的处理器401执行以实现上文描述的屏幕控制方法。

以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种屏幕控制方法，其特征在于，所述方法包括：

通过相机获取彩色图像帧、深度图像帧和红外IR图像帧，并确定所述彩色图像帧、深度图像帧与IR图像帧三种图像帧之间像素点的对应关系；

通过彩色图像帧获得目标部位的关键点，所述目标部位包括目标手部；

根据彩色图像帧、深度图像帧之间像素点的对应关系获取所述关键点的深度值，并根据所述相机的参数和所述关键点的深度值获取所述关键点的空间位置信息，以根据所述关键点的空间位置信息跟踪目标获取跟踪目标的运动状态信息；

根据三种图像帧之间像素点的对应关系和目标手部的关键点，在所述深度图像帧上对手部区域进行分割，并在所述IR图像帧上提取所述手部区域的图片进行手势识别，获取目标手势；

根据所述跟踪目标的运动状态信息和所述目标手势确定目标动作，基于所述目标动作对屏幕进行控制。

2.根据权利要求1所述的方法，其特征在于，所述根据所述相机的参数和所述关键点的深度值获取所述关键点的空间位置信息，包括：

根据所述相机的相机参数和所述关键点的深度值，获得所述关键点在相机坐标系中的坐标位置；

根据目标部位的关键点所包括的左右肩部关键点确定肩部中心点以及所述肩部中心点在相机坐标系中的位置坐标；

建立以所述肩部中心点的位置坐标为原点的控制坐标系，并根据所述控制坐标系与所述相机坐标系之间的位置关系，确定所述关键点在所述控制坐标系中的空间位置信息。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述关键点的空间位置信息跟踪目标获取跟踪目标的运动状态信息，包括：

根据预设策略从所述相机拍摄的彩色图像帧中确定初始跟踪目标；

根据所述初始跟踪目标的关键点的空间位置信息，采用卡尔曼跟踪方法，对所述初始跟踪目标进行跟踪；

在所述初始跟踪目标被跟踪丢失时，从所述相机拍摄的彩色图像帧中重新确定符合所述预设策略的当前跟踪目标，并对所述当前跟踪目标进行跟踪。

4.根据权利要求3所述的方法，其特征在于，所述预设策略包括：确定位于所述相机中线的目标为跟踪目标；或者，确定与所述相机距离最近的目标为跟踪目标；或者，确定位于相机中线且与所述相机距离最近的目标为跟踪目标。

5.根据权利要求3所述的方法，其特征在于，所述根据所述关键点的空间位置信息跟踪目标获取跟踪目标的运动状态信息，还包括：

对当前彩色图像帧中关键点的空间位置进行卡尔曼初始平滑，获得卡尔曼平滑结果；

基于设定的平滑指数和设定的平滑误差，对上一彩色图像帧中关键点的空间位置的平滑结果和所述卡尔曼平滑结果进行指数平滑，获得指数平滑结果，所述设定的平滑误差指示对关键点的空间位置的最大平滑程度误差；

根据指数平滑结果和上一彩色图像帧中关键点的空间位置的平滑结果确定抖动信息；

根据所述抖动信息和设定的静止行为判定误差，确定当前彩色图像帧中所述关键点平滑后的空间位置，所述设定的静止行为判定误差指示目标位置对应静止行为的最大抖动误差。

6.根据权利要求5所述的方法，其特征在于，所述根据所述关键点的空间位置信息跟踪目标获取跟踪目标的运动状态信息，还包括：

从所述相机获取第一数量的彩色图像帧作为目标帧序列，并确定所述目标帧序列的第一个彩色图像帧为基准帧；

确定所述目标帧序列中除第一个彩色图像帧之外的每彩色图像帧与所述基准帧中相同关键点的运动距离；

根据所述目标帧序列中关键点的运动距离，确定所述跟踪目标的运动状态信息。

7.根据权利要求6所述的方法，其特征在于，所述根据所述目标帧序列中关键点的运动距离，确定所述跟踪目标的运动状态信息，包括：

若所述目标帧序列中全部关键点的运动距离的均值小于预设距离值，确定所述跟踪目标处于静止状态，若所述运动距离的均值不小于预设距离值，确定所述跟踪目标处于运动状态；

或者，若所述目标帧序列中第二数量彩色图像帧与基准帧中相同关键点的运动距离都小于预设距离值，确定所述跟踪目标处于静止状态，若所述目标帧序列中第二数量彩色图像帧与基准帧中相同关键点的运动距离都不小于预设距离值，确定所述跟踪目标处于运动状态；所述第二数量小于第一数量。

8.根据权利要求7所述的方法，其特征在于，所述根据所述跟踪目标的运动状态信息和所述目标手势确定目标动作，还包括：

在根据所述跟踪目标的运动状态信息和所述目标手势确定右手保持手掌手势向前移动时，识别所述目标动作为移动操作；

在根据所述跟踪目标的运动状态信息和所述目标手势确定右手为抓取手势时，识别所述目标动作为选择操作；在识别到选择操作时，若右手保持抓取手势并处于静止状态，识别所述目标动作为单击操作；若右手保持抓取手势并向前移动第一距离，识别所述目标动作为双击操作；若右手保持抓取手势并在用户前方第二距离范围内向任一方向移动，识别所述目标动作为对应移动方向的拖拽操作；其中，所述第二距离小于第一距离；

在根据所述跟踪目标的运动状态信息和所述目标手势确定双手先处于平伸或平举手势，接着右手手势变换为右手抓取手势，随后双手手势均变换为双手抓取手势并保持进行相对或相向运动时，识别双手相对运动的目标动作为缩小操作，识别双手相向运动的目标动作为放大操作。

9.根据权利要求8所述的方法，其特征在于，所述根据所述跟踪目标的运动状态信息和所述目标手势确定目标动作，还包括：

在根据所述跟踪目标的运动状态信息和所述目标手势确定左手保持握拳并平举动作时，识别所述目标动作为控制器获取操作。

10.一种屏幕控制装置，其特征在于，包括：

数据采集单元，用于通过相机获取彩色图像帧、深度图像帧和红外IR图像帧，并确定所述彩色图像帧、深度图像帧与IR图像帧三种图像帧之间像素点的对应关系；

关键点检测单元，用于通过彩色图像帧获得目标部位的关键点，所述目标部位包括目标手部；

目标跟踪单元，用于根据彩色图像帧、深度图像帧之间像素点的对应关系获取所述关键点的深度值，并根据所述相机的参数和所述关键点的深度值获取所述关键点的空间位置信息，以根据所述关键点的空间位置信息跟踪目标获取跟踪目标的运动状态信息；

手势识别单元，用于根据三种图像帧之间像素点的对应关系和目标手部的关键点，在所述深度图像帧上对手部区域进行分割，并在所述IR图像帧上提取所述手部区域的图片进行手势识别，获取目标手势；

动作识别与控制单元，用于根据所述跟踪目标的运动状态信息和所述目标手势确定目标动作，基于所述目标动作对屏幕进行控制。