CN111736697B - 一种基于摄像头的手势操控方法 - Google Patents

Abstract

本发明公开了一种基于摄像头的手势操控方法，当用户面向智能设备操作界面并处于智能设备上的摄像头的拍摄范围内时，以用户操控手的手臂与肩的连接点做为手势操作空间平面的中心点；以手势识别算法的空间分辨力、智能设备的界面分辨率及最小需分辨单元来确定手势操作空间平面的边界范围；手势识别算法依据用户操控手与手势操作空间平面中心点的相对位置计算得到手势作用于智能设备操作界面的像素位置。本发明极大地降低了用户进行手势操控的学习摸索时间；而且在手势操作空间的平面范围内，可以完全覆盖智能设备操作界面所需操作位置，操作手可以方便操控手势操作空间平面范围内的任意位置，操控体验较好。

Description

一种基于摄像头的手势操控方法

技术领域

本发明涉及手势识别方法领域，具体的说，是一种基于摄像头的手势操控方法。

背景技术

近年来，随着智能设备(如智能手机、智能电视、智能音箱等)的普及，使人们的生活越来越智能化。智能设备的操作控制方式，除了传统的触摸或遥控器控制之外，语音控制及手势控制这类非接触式操控方式在越来越多的智能设备上被实现。

在标配了摄像头的智能设备上，实现利用手势识别进行操控，既能增加智能设备操控的便捷性又不用增加硬件成本，有助于提升产品竞争力。通过智能设备上集成的摄像头获取包含用户手势的图像，针对图像进行手势识别，将识别结果映射成智能设备可执行的指令，从而实现对智能设备的操控，这是目前基于摄像头的手势识别操控智能设备的一般性流程。

在现有技术方案中，对手势操作空间的定义通常是以摄像头为中心，手势操作空间与用户的相对位置会随着用户与摄像头之间位置的变化而变化，这会给用户造成操作上的不便，甚至无法进行有效操控。

发明内容

本发明提供了一种基于摄像头的手势操控方法，用于解决现有技术中对手势操作空间的定义通常是以摄像头为中心，手势操作空间与用户的相对位置会随着用户与摄像头之间位置的变化而变化，这会给用户造成操作上的不便，甚至无法进行有效操控的问题。

本发明采用的技术方案是：提供一种基于摄像头的手势操控方法，包括以下步骤：

步骤1、确定手势操作空间的平面中心，以用户操控手的手臂与肩的连接点做为手势操作空间的平面中心点；

步骤2、确定手势操作空间的平面范围，以手势识别算法的空间分辨力、智能设备的界面分辨率及最小可分辨单元来确定手势操作空间的平面边界范围的步骤包括：

a、获取智能设备操作界面水平分辨率W及垂直分辨率H；

b、获取智能设备操作界面最小需分辨单元的水平像素宽度ΔX及垂直像素宽度ΔY；

c、当用户与智能设备之间的距离L，摄像头的分辨率d确定时，手势识别算法在水平方向能够识别出的最小距离所对应的用户操作手在水平方向的移动距离为Δx，手势识别算法在垂直方向能够识别出的最小距离所对应的用户操作手在水平方向的移动距离为Δy；定义空间尺度因子n(n为大于0的整数)，用于调节手势识别算法的灵敏度；

d、计算手势操作空间的平面宽度为w＝W×n×Δx/ΔX；

e、计算手势操作空间的平面高度为h＝H×n×Δy/ΔY。

步骤3、计算用户手势作用于智能设备操作界面的像素位置，在手势操作空间平面上，空间平面中心定义为与智能设备操作界面中心相对应；通过手势识别算法得到用户操作手对应于智能设备操作界面的像素位置。

步骤4、若智能设备操作界面最小需分辨单元的水平像素宽度ΔX或垂直像素宽度ΔY大于1像素，则优选地，在通过手势识别算法得到用户操作手对应于智能设备操作界面的相邻像素位置之间插值，对智能设备操作界面中的手势移动轨迹进行平滑。

本发明的有益效果是：

本发明提出的一种基于摄像头的手势操控方法，定义了手势操作空间的平面位置及范围，使用户在手势操控智能设备时，手势操作空间与其操作手之间的相对位置不随用户所处位置变化而变化，极大地降低了用户进行手势操控的学习摸索时间；而且在手势操作空间的平面范围内，可以完全覆盖智能设备操作界面所需操作位置，操作手可以方便操控手势操作空间平面范围内的任意位置，操控体验较好。

附图说明

图1是本发明公开的一种基于摄像头的手势操控方法的空间位置示意图；

图2是本发明使用插值算法平滑手势轨迹的示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步详细描述，但本发明的实施方式不限于此。

实施例1：

如图1所示，本实施例提出的一种基于摄像头的手势操控方法，包括：

步骤1，确定手势操作空间平面的中心，以用户操控手的手臂与肩的连接点做为手势操作空间平面的中心点；

从智能设备摄像头所拍摄的图像数据上，标记用户操控手的手臂与肩的连接点，即图1中的o点对应的位置，并以此点做为手势操作空间平面的几何中心点。

步骤2，确定手势操作空间的平面范围，以手势识别算法的空间分辨力、智能设备的界面分辨率及最小可分辨单元来确定手势操作空间的平面边界范围的步骤包括：

a.获取智能设备操作界面水平分辨率W及垂直分辨率H；

b.获取智能设备操作界面最小需分辨单元的水平像素宽度ΔX及垂直像素宽度ΔY；

c.当用户与智能设备之间的距离L，摄像头的分辨率d确定时，手势识别算法在水平方向能够识别出的最小距离所对应的用户操作手在水平方向的移动距离为Δx，手势识别算法在垂直方向能够识别出的最小距离所对应的用户操作手在水平方向的移动距离为Δy；定义空间尺度因子n(n为大于0的整数)，用于调节手势识别算法的灵敏度；

d.计算手势操作空间的平面宽度为w＝W×n×Δx/ΔX；

e.计算手势操作空间的平面高度为h＝H×n×Δy/ΔY。

其中，W与H是智能设备操作界面分辨率，单位是像素，如图1所示。对智能设备而言，操作界面分辨率是固定的已知的，以智能电视为例，操作界面分辨率通常为1920×1080，即W＝1920(像素)，H＝1080(像素)。

智能设备操作界面最小需分辨单元的水平像素宽度ΔX及垂直像素宽度ΔY，是依据智能设备操作界面内可操作单元的像素尺寸决定的。例如，操作界面分辨率为1920×1080时，以6×6像素块的尺度刚好可以独立操控智能设备操作界面内的可操作单元，则ΔX＝6(像素)，ΔY＝6(像素)。

如图1所示，当用户面向智能设备操作界面，所处位置确定时，可以通过手势识别算法确定用户与智能设备之间的距离L；当摄像头分辨率d确定时，手势识别算法依据摄像头获取的图像数据，可以计算出用户操作手在图像中的位移；而用户操作手在图像中的位移与在现实物理空间中的位移具备确定的对应关系。例如，当L＝2.5米，摄像头分辨率d为1280×800时，手势识别算法在图像数据中识别出用户操作手在水平方向移动1个像素时，对应的操作手在现实物理空间中移动的距离为2毫米，则Δx＝2(毫米)；当手势识别算法在图像数据中识别出用户操作手在垂直方向移动1个像素时，对应的操作手在现实物理空间中移动的距离为2毫米，则Δy＝2(毫米)。

空间尺度因子n，依据Δx与Δy的值，以及假定n＝1时，依据w＝W×n×Δx/ΔX及h＝H×n×Δy/ΔY计算出的手势操作空间平面范围大小进行重新确定。当n＝1且其他条件等同时,Δx与Δy越小，w与h就越小，w与h所确定的手势操作空间平面范围就越小，即手势识别算法灵敏度越高。可以通过空间尺度因子n来调节手势识别算法灵敏度，即调节w与h所确定的手势操作空间平面范围，以达到较好的用户操作体验。本实施例中，取n＝1。

如图1所示，手势操作空间的平面宽度为w，手势操作空间的平面高度为h；将上述实施例中W＝1920(像素)，Δx＝2(毫米)，ΔX＝6(像素)，带入公式w＝W×n×Δx/ΔX，计算得到w＝0.64(米)；将上述实施例中H＝1080(像素)，Δy＝2(毫米)，ΔY＝6(像素)，带入公式h＝H×n×Δy/ΔY，计算得到h＝0.36(米)。

如图1所示，以本实施例数据计算，可以确定手势操作空间平面的位置及范围，即一个以o点为几何中心，宽0.64米，高0.36米的矩形区域。

步骤3，计算用户手势作用于智能设备操作界面的像素位置，在手势操作空间平面上，空间平面中心定义为与智能设备操作界面中心相对应；通过手势识别算法得到用户操作手对应于智能设备操作界面的像素位置。

如图1所示，手势操作空间平面中心点o，智能设备操作界面中心点O。将o与O相对应，利用手势识别算法将用户操作手相对于o点的位置信息转换为智能设备操作界面中用户操作手对应作用点与O点的位置信息，从而得到用户手势作用于智能设备操作界面的像素位置D坐标。例如，操作手移动到o点正上方2毫米位置，依据手势识别算法可以计算出其对应于智能设备操作界面O点正上方ΔY处。若以智能设备操作界面左上角为像素坐标(0，0)点，则O点像素坐标为(W/2，H/2)，O点正上方2ΔY处的像素坐标为(W/2，H/2-ΔY)。依据上述实施例数据，W＝1920(像素)，H＝1080(像素)，ΔY＝6(像素)，则用户手势作用于智能设备操作界面的像素位置D坐标为(960，534)。

步骤4，当智能设备操作界面最小需分辨单元的水平像素宽度ΔX或垂直像素宽度ΔY大于1像素时，在通过手势识别算法得到用户操作手对应于智能设备操作界面的相邻像素位置之间插值，对智能设备操作界面中的手势移动轨迹进行平滑。

以上述实施例数据为例，ΔX＝6(像素)，ΔY＝6(像素)。当用户操作手从o点移动到o点上方2毫米位置时，对应的智能设备操作界面作用点像素坐标D(960，534)。如图2所示，由于O点到D点之间是不连续的，在绘制智能设备操作界面的手势轨迹也是不连续的。此种情况下，采用插值算法在手势轨迹上补点，可以让手势轨迹更平滑，主观体验更好。例如，采用双线性插值算法，在O点(960,540)与D点(960，534)之间插入D′点，设D′点像素坐标为D′_x与D′_y，则有：

D′_x＝(960+960)/2＝960；D′_y＝(534+540)/2＝537；

所以，D′点像素坐标为(960,537)。

最后，通过手势识别算法，识别出用户手势，并将手势转换成预先定义的指令，结合手势轨迹坐标信息输入给智能设备系统进行响应，实现控制智能设备的操作界面。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (4)

1.一种基于摄像头的手势操控方法，其特征在于，当用户面向智能设备操作界面并处于智能设备上的摄像头的拍摄范围内时，以用户操控手的手臂与肩的连接点做为手势操作空间平面的中心点；以手势识别算法的空间分辨力、智能设备的界面分辨率及最小需分辨单元来确定手势操作空间平面的边界范围；手势识别算法依据用户操控手与手势操作空间平面中心点的相对位置计算得到手势作用于智能设备操作界面的像素位置；

所述以手势识别算法的空间分辨力、智能设备的界面分辨率及最小可分辨单元来确定手势操作空间平面的边界范围的步骤包括：

获取智能设备操作界面水平分辨率W及垂直分辨率H；

获取智能设备操作界面最小需分辨单元的水平像素宽度ΔX及垂直像素宽度ΔY；

当用户与智能设备之间的距离L，摄像头的分辨率d确定时，手势识别算法在水平方向能够识别出的最小距离所对应的用户操作手在水平方向的移动距离为Δx，手势识别算法在垂直方向能够识别出的最小距离所对应的用户操作手在水平方向的移动距离为Δy；

定义空间尺度因子n，所述n为大于0的整数，所述n用于调节手势识别算法的灵敏度；

计算手势操作空间的平面宽度w＝W×n×Δx/ΔX；

计算手势操作空间的平面高度h＝H×n×Δy/ΔY。

2.根据权利要求1所述的手势操控方法，其特征在于，手势识别算法依据用户操控手与手势操作空间平面中心点的相对位置计算得到手势作用于智能设备操作界面的像素位置，包括以下步骤：

将手势操作空间平面中心点与智能设备操作界面的中心点进行对应；

在手势识别算法中，将用户操作手相对于手势操作空间平面中心点的距离转换为智能设备操作界面中实际操控位置相对于智能设备操作界面中心的相对像素位置，进而得到手势作用于智能设备操作界面的像素位置。

3.根据权利要求1所述的手势操控方法，其特征在于，获取智能设备操作界面最小需分辨单元的水平像素宽度ΔX及垂直像素宽度ΔY；当ΔX或ΔY大于1时，手势移动将在智能设备操作界面产生离散轨迹。

4.根据权利要求3所述的手势操控方法，其特征在于，采用插值法产生相邻离散轨迹间的像素坐标值，对离散轨迹进行平滑处理。

Images