CN115993887A - 一种手势交互控制方法、装置、设备、存储介质 - Google Patents

Abstract

本申请公开了一种手势交互控制方法、装置、设备、存储介质，涉及人工智能技术领域，包括：当检测所述云胶片系统开启手势识别操作时，获取拍摄手部动作的视频流；对视频流进行视频帧截取操作，以确定目标视频帧；确定目标视频帧的对应的手部动作标签，基于手部动作标签与云胶片系统控制映射关系对云胶片系统进行交互控制。可见，通过手势识别操作云胶片系统，有利于医生进行高效率的交流，通过手势操作云胶片系统，更生动形象的去操纵云胶片系统，通过友好的手势代替传统的鼠标操作，具有更多的自由度。

Description

一种手势交互控制方法、装置、设备、存储介质

技术领域

本发明涉及人工智能技术领域，特别涉及一种手势交互控制方法、装置、设备、存储介质。

背景技术

随着软件技术的不断发展，在云影像行业诞生了很多用于纯网页版医学影像浏览前端，例如开源的ohif，现有的技术都是基于cornerstone的技术，能够很好的展示影像，但是存在以下问题：当需要在大屏上进行会诊或者教学的时候，每个人都需要到指定的位置用鼠标去操作云胶片系统，操作起来不便捷，也不便理解。

综上，如何不借助鼠标等外部设备也能够实现自由操作云胶片系统是本领域有待解决的技术问题。

发明内容

有鉴于此，本发明的目的在于提供一种手势交互控制方法、装置、设备、存储介质，能够不借助鼠标等外部设备也能够实现自由操作云胶片系统。其具体方案如下：

第一方面，本申请公开了一种手势交互控制方法，其特征在于，应用于云胶片系统，包括：

当检测所述云胶片系统开启手势识别操作时，获取拍摄手部动作的视频流；

对所述视频流进行视频帧截取操作，以确定目标视频帧；

确定所述目标视频帧的对应的手部动作标签，基于所述手部动作标签与云胶片系统控制映射关系对所述云胶片系统进行交互控制。

可选的，所述对所述视频流进行视频帧截取操作，以确定目标视频帧，包括：

对所述视频流进行视频帧截取操作并进行图像转换处理，以确定目标视频帧。

可选的，所述对所述视频流进行视频帧截取操作并进行图像转换处理，包括：

对所述视频流进行视频帧截取操作，以获得待处理视频帧；

对所述待处理视频帧依次进行双边滤波和镜像翻转，以得到预处理视频帧。

可选的，所述确定目标视频帧，包括：

对所述预处理视频帧进行图像截取，以得到包含手部轮廓的矩形区域，并将所述矩形区域作为目标视频帧。

可选的，所述确定目标视频帧，包括：

对所述矩形区域进行背景剔除处理，并将处理后的矩形区域依次进行图像灰度处理、滤波处理和二值化处理，以确定目标视频帧。

可选的，所述确定所述目标视频帧的对应的手部动作标签，包括：

获取所述目标视频帧的手部凹陷，基于所述手部凹陷确定手指窝个数；

基于所述手指窝个数对所述目标视频帧进行打标签操作，以确定所述目标视频帧的对应的手部动作标签。

可选的，所述基于所述手部动作标签与云胶片系统控制映射关系对所述云胶片系统进行交互控制，包括：

根据每一目标视频帧的所述手部动作标签跟踪手部运动轨迹，并基于所述手部运动轨迹确定手指在所述目标视频帧中的坐标点与云胶片系统控制操作对应的目标坐标点的对应关系；

基于所述对应关系控制所述云胶片系统，完成对所述云胶片系统的交互控制。

第二方面，本申请公开了一种手势交互控制装置，其特征在于，应用于云胶片系统，包括：

视频流采集模块，用于当检测所述云胶片系统开启手势识别操作时，获取拍摄手部动作的视频流；

视频帧截取模块，用于对所述视频流进行视频帧截取操作，以确定目标视频帧；

交互控制模块，用于确定所述目标视频帧的对应的手部动作标签，基于所述手部动作标签与云胶片系统控制映射关系对所述云胶片系统进行交互控制。

第三方面，本申请公开了一种电子设备，包括：

存储器，用于保存计算机程序；

处理器，用于执行所述计算机程序，以实现前述公开的手势交互控制方法的步骤。

第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的手势交互控制方法的步骤。

由此可见，本申请公开了当检测所述云胶片系统开启手势识别操作时，获取拍摄手部动作的视频流；对所述视频流进行视频帧截取操作，以确定目标视频帧；确定所述目标视频帧的对应的手部动作标签，基于所述手部动作标签与云胶片系统控制映射关系对所述云胶片系统进行交互控制。可见，通过手势识别操作云胶片系统，有利于医生进行高效率的交流，通过手势操作云胶片系统，更生动形象的去操纵云胶片系统，通过友好的手势代替传统的鼠标操作，具有更多的自由度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请公开的一种手势交互控制方法流程图；

图2为本申请公开的一种具体的手势交互控制方法流程图；

图3为本申请公开的另一种具体的手势交互控制方法流程图；

图4为本申请公开的一种手势图；

图5为本申请公开的一种手势交互控制装置结构示意图；

图6为本申请公开的一种电子设备结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

随着软件技术的不断发展，在云影像行业诞生了很多用于纯网页版医学影像浏览前端，例如开源的ohif，现有的技术都是基于cornerstone的技术，能够很好的展示影像，但是存在以下问题：当需要在大屏上进行会诊或者教学的时候，每个人都需要到指定的位置用鼠标去操作云胶片系统，操作起来不便捷，也不便理解。

为此，本申请提供了一种手势交互控制方案，能够不借助鼠标等外部设备也能够实现自由操作云胶片系统。

参照图1所示，本发明实施例公开了一种手势交互控制方法，其特征在于，应用于云胶片系统，包括：

步骤S11：当检测所述云胶片系统开启手势识别操作时，获取拍摄手部动作的视频流。

本实施例中，预先设置摄像头作为拍摄手部动作的目标摄像头，其中，所述摄像头具体可以包括但不限于：安装云胶片系统的计算机设备中自带的摄像头，将与云胶片系统进行连接的外部普通摄像头；摄像头的数量可以为一个或者多个，对于此不做具体限定。当确定目标摄像头之后，设置目标摄像头的具体参数，所述参数具体可以包括但不限于：尺寸参数和位置信息参数等。当检测所述云胶片系统开启手势识别操作时，利用设置完成的目标摄像头拍摄手部动作，以生成相应的视频流。具体的，首先打开云胶片系统，切换成手势识别操作，当检测到当前的操作模式为切换成手势识别模式后，触发目标摄像头的启动拍摄指令，目标摄像头按照预设的参数设置拍摄当前窗口视野中的手部动作图像，形成视频流。

步骤S12：对所述视频流进行视频帧截取操作，以确定目标视频帧。

本实施例中，对所述视频流进行视频帧截取操作并进行图像转换处理，以确定目标视频帧。具体的，由于视频流中包含的手部动作信息过多，因此需要对视频流进行视频帧截取操作，获取多个视频帧，并对单个视频帧进行图像转换处理，以得到目标视频帧，其中，视频帧截取操作可以按照时间间隔对视频流进行抽样截取，也可以按照自定义方式进行图像截取，对此不做具体限定。

本实施例中，对所述视频流进行视频帧截取操作，以获得待处理视频帧；对所述待处理视频帧依次进行双边滤波和镜像翻转，以得到预处理视频帧。可以理解的是，对待处理视频帧进行双边滤波操作，目的是将待处理视频帧变得平滑，之后将平滑处理过的待处理视频帧进行镜像反转操作，得到镜像视频帧，并将镜像后的到的镜像视频帧作为预处理视频帧。

对所述预处理视频帧进行图像截取，以得到包含手部轮廓的矩形区域，并将所述矩形区域作为目标视频帧。可以理解的是，从预处理视频帧中截取一个矩形区域作为目标视频帧，所述矩形区域就是需要进行手势识别的区域，在进行矩形区域的截取过程中需要通过图像识别技术来确定大致的手部轮廓，基于手部轮廓所在的位置信息确定待截取的矩形区域，截取矩形区域的目的是避免去识别一些无关紧要的图像内容，避免影响后续的手部动作识别。

步骤S13：确定所述目标视频帧的对应的手部动作标签，基于所述手部动作标签与云胶片系统控制映射关系对所述云胶片系统进行交互控制。

本实施例中，对所述目标视频帧进行打标签，得到所述目标视频帧对应的手部动作标签，其中，所述手部动作标签具体可以包括但不限于：食指竖起且中指弯曲、食指和中指同时竖起、三指并拢、三指外张以及单指画圈等。根据目标视频帧的手部动作标签与云胶片系统控制映射关系对云胶片系统进行交互控制，其中云胶片系统控制映射关系可以在可视化业务逻辑设计界面上设计需要的执行结点并依次将他们关联起来即可，方便快捷设置，具体的，根据手指动作和手指数量对应云胶片系统中一些操作指令，所述控制映射关系为预先设置的，直接将其保存至云胶片系统的本地数据库中，将将手势关联cornerstoneapi进行旋转，切换，放大，缩小，移动等操作，需要时直接调用。例如：当前检测到目标视频帧的手部动作标签为食指和中指同时竖起，并且食指指尖和中指指尖之间的像素距离小于50时，那么就认为是点击鼠标；当前检测到目标视频帧的手部动作标签为食指竖起且中指弯曲，则对应在调用云胶片系统的鼠标移动操作，对系统的cornerstoneTools.pan.activate进行影像移动；当前检测到目标视频帧的手部动作标签为五个手指同时竖起，则对应调用云胶片系统的cornerstoneTools.stackScroll.activate进行影像切换，五个手指手势方向向左，则表示往左滑，相应的切换上一张影像，五个手指手势方向向右，则表示往右滑，相应的右滑切换下一张；当前检测到目标视频帧的手部动作标签为伸出两根指头，将对应调用云胶片系统的cornerstoneTools.pan.activate进行影像移动；当前检测到目标视频帧的手部动作标签为三指并拢或外张，将对应调用云胶片系统的cornerstoneTools.zoom.activate进行影像的缩放当前检测到目标视频帧的手部动作标签为单个手指进行画圈动作，将对应调用cornerstone.setViewport进行相应角度旋转影像。

由此可见，本申请公开了当检测所述云胶片系统开启手势识别操作时，获取拍摄手部动作的视频流；对所述视频流进行视频帧截取操作，以确定目标视频帧；确定所述目标视频帧的对应的手部动作标签，基于所述手部动作标签与云胶片系统控制映射关系对所述云胶片系统进行交互控制。可见，通过手势识别操作云胶片系统，有利于医生进行高效率的交流，通过手势操作云胶片系统，更生动形象的去操纵云胶片系统，通过友好的手势代替传统的鼠标操作，具有更多的自由度。

参照图2所示，本发明实施例公开了一种具体的手势交互控制方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：

步骤S21：当检测所述云胶片系统开启手势识别操作时，获取拍摄手部动作的视频流。

步骤S22：对所述视频流进行视频帧截取操作，对截取的视频帧进行背景剔除处理，并将处理后的视频帧依次进行图像灰度处理、滤波处理和二值化处理，以确定目标视频帧。

本实施例中，对截取的视频帧利用图像识别技术自动获取视频帧的背景信息，当确定好背景后，通过背景剔除算法在视频帧中将背景剔除，得到前景，在这个项目里，所述前景就是手部图像，对前景进行处理，先是通过图像灰度处理将彩色图像转化为灰度图像，具体的，进行肤色检测，基于HSV颜色空间H，S，V范围筛选法筛选符合HSV中的7<H<20 28<S<256 50<V<256的视频帧图像，然后进行高斯滤波去噪，最后进行二值化处理，得到的就是非黑即白的图片，也即目标视频帧。其中，在进行目标视频帧获取的过程中利用到的api如下：cv2.createBackgroundSubtractorMOG2(0,bgSubThreshold)得到一个背景模型；bgModel.apply(frame,learningrate＝)frame是新获取的图像。这步是从新图片上获得一个前景掩膜(前景是白色的，背景为黑色)；cv2.erode(fgmask,kernel,iterations＝1)腐蚀操作，卷积操作，去除噪声；cv2.bitwise_and(frame,frame,mask＝fgmask)掩膜和新的图像相与白色是1，黑色是0。任何值与0相与为0，任何值与1相与不变。这样就可以把前景抠下来了cv2.cvtColor()转成灰度图；cv2.GaussianBlur()高斯滤波；cv2.threshold()转成二值图。

步骤S23：确定所述目标视频帧的对应的手部动作标签，基于所述手部动作标签与云胶片系统控制映射关系对所述云胶片系统进行交互控制。

其中，步骤S21、S23中更加详细的处理过程请参照前述公开的实施例内容，在此不再进行赘述。

由此可见，通过对截取的图像进行图像处理，获取到不包含其他背景信息的手部动作图像，也即目标视频帧，以此将得到的目标视频帧中的图像信息更加清楚，用来对手部动作打标签时更加便捷、便于进行目标视频帧的动作判断。

参照图3所示，本发明实施例公开了一种具体的手势交互控制方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：

步骤S31：当检测所述云胶片系统开启手势识别操作时，获取拍摄手部动作的视频流。

步骤S32：对所述视频流进行视频帧截取操作，以确定目标视频帧。

其中，步骤S31、S32中更加详细的处理过程，请参照前述公开的实施例内容，在此不再进行赘述。

步骤S33：获取所述目标视频帧的手部凹陷，基于所述手部凹陷确定手指窝个数；基于所述手指窝个数对所述目标视频帧进行打标签操作，以确定所述目标视频帧的对应的手部动作标签。

本实施例中，对目标视频帧进行标签类型判断，也即对二值图的标签类型进行判断。判断方法具体可以包括但不限于：简单的特征法、高级的深度学习方法。本实施例中采用特征法。参照图4的手势图所示，预先将手部的各个不为标记为不同的特征点，然后根据对这些特征点的检测用api获取手部轮廓和凸包，凸包就是手部刚好包围起来的凸多边形。通过借助手部轮廓和凸包可以得到凹陷。通过记录手部凹陷，利用手部凹陷可以得到手指窝的个数，从而得到手指的个数。需要注意的是，不是所有手部凹陷都是手指窝，手部凹陷的夹角应该小于90度，因此需要通过余弦定理可以求出手部凹陷的夹角，并将手部凹陷夹角小于90度的手部凹陷确定为手指窝。这个过程需要用到的api如下：

cv2.findContours()得到轮廓，注意返回参数的属性

cv2.convexHull()得到凸包，其实也就是一个点集

cv2.drawContours()画出轮廓

cv2.convexityDefects()得到凹陷

math.sqrt()求平方

opencv把图像看成一个矩阵，每个元素的值是颜色

步骤S34：根据每一目标视频帧的所述手部动作标签跟踪手部运动轨迹，并基于所述手部运动轨迹确定手指在所述目标视频帧中的坐标点与云胶片系统控制操作对应的目标坐标点的对应关系；基于所述对应关系控制所述云胶片系统，完成对所述云胶片系统的交互控制。

本实施例中，由于通过手势交互操作云胶片系统时是通过手部动作进行的，而在实际应用场景中，往往是一段流畅的手部动作视频来操纵云胶片系统，因此，获取到单个目标视频帧的手部动作标签来控制云胶片系统的单个指令操作之后，为了更加直观流畅的展示手势交互，需要继续根据每一帧的目标视频帧的手部动作标签来跟踪手部运动轨迹，具体的，跟踪手部运动轨迹可以采用图像跟踪算法，所述图像跟踪算法具体可以包括但不限于：光流法、camshift、KCF、深度学习等。直接利用每帧目标视频帧中检测到的手部位置来跟踪轨迹，如果检测到食指竖起，并且中指弯下，那么就认为是移动鼠标，鼠标的位置坐标是食指指尖所在的位置坐标，用手部外接矩形的左上角坐标来表示手的位置。然后等间隔采样得到坐标点序列，再根据每个坐标与坐标序列中心点的角度对其进行离散化，跟踪手部运动轨迹可以判断手指的坐标点在浏览器中用来代替鼠标的点击去操作云胶片系统。

由此可见，通过对视频帧图像中的手部凹陷进行检测，以获取手部凹陷的数量，并根据手部凹陷来确定手指窝个数，并以此来对当前的目标视频帧进行标签的标记操作，然后根据预设的控制映射关系来相应的调用云胶片系统的相关操作指令对云胶片系统展示的影像进行相关的操作，相较于传统的鼠标操作，手势交互操作无需操作人员到指定的位置用鼠标去操作云胶片系统，操作起来更便捷，并且在进行云胶片系统的操作时根据手部动作进行相应的旋转、放大、切换的操作时，生动形象的展示出云胶片中的人体结构，更加便于理解。

参照图5所示，本发明实施例还相应公开了一种手势交互控制装置，应用于云胶片系统，包括：

视频流采集模块11，用于当检测所述云胶片系统开启手势识别操作时，获取拍摄手部动作的视频流；

视频帧截取模块12，用于对所述视频流进行视频帧截取操作，以确定目标视频帧；

交互控制模块13，用于确定所述目标视频帧的对应的手部动作标签，基于所述手部动作标签与云胶片系统控制映射关系对所述云胶片系统进行交互控制。

在一些具体实施方式中，所述视频帧截取模块12，具体可以包括：

图像转换子模块，用于对所述视频流进行视频帧截取操作并进行图像转换处理，以确定目标视频帧。

在一些具体实施方式中，所述图像转换子模块，具体可以包括：

图像截取单元，用于对所述视频流进行视频帧截取操作，以获得待处理视频帧；

对所述待处理视频帧依次进行双边滤波和镜像翻转，以得到预处理视频帧。

在一些具体实施方式中，所述视频帧截取模块12，具体可以包括：

视频帧截取单元，用于对所述预处理视频帧进行图像截取，以得到包含手部轮廓的矩形区域，并将所述矩形区域作为目标视频帧。

在一些具体实施方式中，所述视频帧截取模块12，具体可以包括：

背景剔除单元，用于对所述矩形区域进行背景剔除处理，并将处理后的矩形区域依次进行图像灰度处理、滤波处理和二值化处理，以确定目标视频帧。

在一些具体实施方式中，所述交互控制模块13，具体可以包括：

标签确定单元，用于获取所述目标视频帧的手部凹陷，基于所述手部凹陷确定手指窝个数；

基于所述手指窝个数对所述目标视频帧进行打标签操作，以确定所述目标视频帧的对应的手部动作标签。

在一些具体实施方式中，所述交互控制模块13，具体可以包括：

交互控制单元，用于根据每一目标视频帧的所述手部动作标签跟踪手部运动轨迹，并基于所述手部运动轨迹确定手指在所述目标视频帧中的坐标点与云胶片系统控制操作对应的目标坐标点的对应关系；

基于所述对应关系控制所述云胶片系统，完成对所述云胶片系统的交互控制。

由此可见，本申请公开了当检测所述云胶片系统开启手势识别操作时，获取拍摄手部动作的视频流；对所述视频流进行视频帧截取操作，以确定目标视频帧；确定所述目标视频帧的对应的手部动作标签，基于所述手部动作标签与云胶片系统控制映射关系对所述云胶片系统进行交互控制。可见，通过手势识别操作云胶片系统，有利于医生进行高效率的交流，通过手势操作云胶片系统，更生动形象的去操纵云胶片系统，通过友好的手势代替传统的鼠标操作，具有更多的自由度。

进一步的，本申请实施例还公开了一种电子设备，图6是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本申请的使用范围的任何限制。

图6为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的手势交互控制方法中的相关步骤。另外，本实施例中的电子设备20具体可以为电子计算机。

本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。

其中，处理器21可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器21可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作系统221、计算机程序222等，存储方式可以是短暂存储或者永久存储。

其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中海量数据223的运算与处理，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的手势交互控制方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。数据223除了可以包括电子设备接收到的由外部设备传输进来的数据，也可以包括由自身输入输出接口25采集到的数据等。

进一步的，本申请还公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的手势交互控制方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种手势交互控制方法、装置、设备、存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种手势交互控制方法，其特征在于，应用于云胶片系统，包括：

当检测所述云胶片系统开启手势识别操作时，获取拍摄手部动作的视频流；

对所述视频流进行视频帧截取操作，以确定目标视频帧；

确定所述目标视频帧的对应的手部动作标签，基于所述手部动作标签与云胶片系统控制映射关系对所述云胶片系统进行交互控制。

2.根据权利要求1所述的手势交互控制方法，其特征在于，所述对所述视频流进行视频帧截取操作，以确定目标视频帧，包括：

对所述视频流进行视频帧截取操作并进行图像转换处理，以确定目标视频帧。

3.根据权利要求2所述的手势交互控制方法，其特征在于，所述对所述视频流进行视频帧截取操作并进行图像转换处理，包括：

对所述视频流进行视频帧截取操作，以获得待处理视频帧；

对所述待处理视频帧依次进行双边滤波和镜像翻转，以得到预处理视频帧。

4.根据权利要求3所述的手势交互控制方法，其特征在于，所述确定目标视频帧，包括：

对所述预处理视频帧进行图像截取，以得到包含手部轮廓的矩形区域，并将所述矩形区域作为目标视频帧。

5.根据权利要求4所述的手势交互控制方法，其特征在于，所述确定目标视频帧，包括：

对所述矩形区域进行背景剔除处理，并将处理后的矩形区域依次进行图像灰度处理、滤波处理和二值化处理，以确定目标视频帧。

6.根据权利要求1至5任一项所述的手势交互控制方法，其特征在于，所述确定所述目标视频帧的对应的手部动作标签，包括：

获取所述目标视频帧的手部凹陷，基于所述手部凹陷确定手指窝个数；

基于所述手指窝个数对所述目标视频帧进行打标签操作，以确定所述目标视频帧的对应的手部动作标签。

7.根据权利要求1所述的手势交互控制方法，其特征在于，所述基于所述手部动作标签与云胶片系统控制映射关系对所述云胶片系统进行交互控制，包括：

根据每一目标视频帧的所述手部动作标签跟踪手部运动轨迹，并基于所述手部运动轨迹确定手指在所述目标视频帧中的坐标点与云胶片系统控制操作对应的目标坐标点的对应关系；

基于所述对应关系控制所述云胶片系统，完成对所述云胶片系统的交互控制。

8.一种手势交互控制装置，其特征在于，应用于云胶片系统，包括：

视频流采集模块，用于当检测所述云胶片系统开启手势识别操作时，获取拍摄手部动作的视频流；

视频帧截取模块，用于对所述视频流进行视频帧截取操作，以确定目标视频帧；

交互控制模块，用于确定所述目标视频帧的对应的手部动作标签，基于所述手部动作标签与云胶片系统控制映射关系对所述云胶片系统进行交互控制。

9.一种电子设备，其特征在于，包括：

存储器，用于保存计算机程序；

处理器，用于执行所述计算机程序，以实现如权利要求1至7任一项所述的手势交互控制方法的步骤。

10.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的手势交互控制方法的步骤。

Images