CN103576848A - 手势操作方法和手势操作装置 - Google Patents

手势操作方法和手势操作装置 Download PDF

Info

Publication number
CN103576848A
CN103576848A CN201210282552.7A CN201210282552A CN103576848A CN 103576848 A CN103576848 A CN 103576848A CN 201210282552 A CN201210282552 A CN 201210282552A CN 103576848 A CN103576848 A CN 103576848A
Authority
CN
China
Prior art keywords
gesture
user
frequency band
trace information
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201210282552.7A
Other languages
English (en)
Other versions
CN103576848B (zh
Inventor
刘荐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201210282552.7A priority Critical patent/CN103576848B/zh
Priority to RU2015107995A priority patent/RU2613038C2/ru
Priority to PCT/CN2013/079527 priority patent/WO2014023153A1/en
Publication of CN103576848A publication Critical patent/CN103576848A/zh
Priority to US14/615,840 priority patent/US10248216B2/en
Application granted granted Critical
Publication of CN103576848B publication Critical patent/CN103576848B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种手势操作方法和操作装置，属于计算机技术领域。所述方法包括：获取手势视频段，所述手势视频段包含预设数值帧图像；根据所述手势视频段的每一帧图像中用户手指所在的位置，获取所述用户的手势轨迹信息；根据所述用户的手势轨迹信息，查询预先设置的手势轨迹信息与操作的对应关系；获取与所述用户的手势轨迹信息相应的操作；执行所述相应的操作。本发明通过对获取到的视频段中每一帧图像进行分析，以获取用户的手势轨迹信息，仅关注二维平面内用户的手势轨迹，并通过该手势轨迹信息获取其相应的操作，丰富了触发操作的方法，且无需直接接触即可实现对终端设备的操作，减少了对鼠标键盘等外设设备的依赖。

Description

手势操作方法和手势操作装置
技术领域
本发明涉及计算机技术领域，特别涉及一种手势操作方法和手势操作装置。
背景技术
现有的计算机在使用过程中，一般通过用户的键盘输入以及鼠标的点击、拖拽等动作实现对计算机的操作，键盘输入可以有输入指令或使用快捷键等，鼠标的点击或拖拽可以实现指定操作，而随着计算机技术的发展和用户需求的多样化，现有技术中操作方法单调，均需要用户与鼠标、键盘等外设设备直接接触，对鼠标、键盘等外设设备的依赖性较强。
发明内容
为了解决现有技术的问题，本发明实施例提供了一种手势操作方法和手势操作装置。所述技术方案如下：
一方面，一种手势操作方法，所述方法包括：
获取手势视频段，所述手势视频段包含预设数值帧图像；
根据所述手势视频段的每一帧图像中用户手指所在的位置，获取所述用户的手势轨迹信息；
根据所述用户的手势轨迹信息，查询预先设置的手势轨迹信息与操作的对应关系；
获取与所述用户的手势轨迹信息相应的操作；
执行所述相应的操作。
获取手势视频段，所述手势视频段包含预设数值帧图像，包括：
通过摄像设备获取视频流，对所述视频流进行格式转换，得到预设格式的手势视频段，所述手势视频段包含预设数值帧图像。
根据所述手势视频段的每一帧图像中用户手指所在的位置，获取所述用户的手势轨迹信息，之前包括：
将所述手势视频段中的每一帧图像分为多个位置区域，每个区域所包含的像素量相等。
根据所述手势视频段的每一帧图像中用户手指所在的位置，获取用户的手势轨迹信息，包括：
根据所述手势视频段的每一帧图像中用户手指在所述位置区域中的位置，获取所述手势视频段的每一帧图像中用户手指的位置参数；
根据所述手势视频段的每一帧图像中所述用户手指的位置参数，获取用户的手势轨迹信息。
所述根据所述手势视频段的每一帧图像中所述用户手指的位置参数，获取用户的手势轨迹信息，包括：
将第一帧图像中用户手指的位置参数作为起始点，而通过逐帧比较，将用户手指的位置参数发生变化时的位置参数作为途经点，将用户手指的位置参数在一定时间内不发生变化时的位置参数为结束点，从而获取用户在该手势视频段中的手势轨迹信息。
所述手势轨迹信息为用于表示用户手指移动的轨迹和/或用户手指移动的方向的特征值。
另一方面，一种手势操作装置，所述装置包括：
手势视频段获取模块，用于获取手势视频段，所述手势视频段包含预设数值帧图像；
手势轨迹信息获取模块，用于根据所述手势视频段的每一帧图像中用户手指所在的位置，获取所述用户的手势轨迹信息；
查询模块，用于根据所述用户的手势轨迹信息，查询预先设置的手势轨迹信息与操作的对应关系；
操作获取模块，用于获取与所述用户的手势轨迹信息相应的操作；
处理模块，用于执行所述相应的操作。
所述手势视频段获取模块用于通过摄像设备获取视频流，对所述视频流进行格式转换，得到预设格式的手势视频段，所述手势视频段包含预设数值帧图像。
所述装置还包括：
划分模块，用于将所述手势视频段中的每一帧图像分为多个位置区域，每个区域所包含的像素量相等。
手势轨迹信息获取模块包括：
位置参数获取单元，用于根据所述手势视频段的每一帧图像中用户手指在所述位置区域中的位置，获取所述手势视频段的每一帧图像中用户手指的位置参数；
手势轨迹信息获取单元，用于根据所述手势视频段的每一帧图像中所述用户手指的位置参数，获取用户的手势轨迹信息。
所述手势轨迹信息获取单元具体用于将第一帧图像中用户手指的位置参数作为起始点，而通过逐帧比较，将用户手指的位置参数发生变化时的位置参数作为途经点，将用户手指的位置参数在一定时间内不发生变化时的位置参数为结束点，从而获取用户在该手势视频段中的手势轨迹信息。
所述手势轨迹信息为用于表示用户手指移动的轨迹和/或用户手指移动的方向的特征值。
本发明实施例提供了一种手势操作方法和手势操作装置，通过获取手势视频段，所述手势视频段包含预设数值帧图像；根据所述手势视频段的每一帧图像中用户手指所在的位置，获取所述用户的手势轨迹信息；根据所述用户的手势轨迹信息，查询预先设置的手势轨迹信息与操作的对应关系；获取与所述用户的手势轨迹信息相应的操作；执行所述相应的操作。。采用本发明提供的技术方案，通过对获取到的手势视频段中每一帧图像进行分析，以获取用户的手势轨迹信息，仅关注二维平面内用户的手势轨迹，并通过该手势轨迹信息获取其相应的操作，丰富了触发操作的方法，且无需直接接触即可实现对终端设备的操作，减少了对鼠标键盘等外设设备的依赖。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种手势操作方法的流程图；
图2是本发明实施例提供的一种手势轨迹示意图；
图3是本发明实施例提供的另一种手势轨迹示意图；
图4是本发明实施例提供的一种图像区域划分示意图；
图5是本发明实施例提供的一种操作与手势轨迹信息之间的对应关系的建立方法的流程图；
图6是本发明实施例提供的一种手势操作方法的流程图；
图7是本实施例提供的一种操作装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
图1是本发明实施例提供的一种手势操作方法的流程图。该实施例的执行主体为终端设备，该终端设备是指固定终端或移动终端，固定终端可以为个人计算机等，移动终端可以为智能手机、平板电脑、MP3（Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3）、PDA（Personal Digital Assistant，个人数字助理）等。
参见图1，该实施例包括：
101、获取手势视频段，所述手势视频段包含预设数值帧图像；
优选地，该手势视频段的格式为每秒N帧，本发明实施例对手势视频段的具体长度不做限定，也即是预设数值为N的倍数，N为大于或等于1的正整数。
本实施例中仅以摄像设备获取到的视频流中的一个视频段的处理过程进行介绍，对视频流中所有的视频段来说，可按照视频段的时间顺序从前到后对每个视频段均进行相同的处理。
102、根据所述手势视频段的每一帧图像中用户手指所在的位置，获取所述用户的手势轨迹信息；
对于终端设备来说，根据区域块颜色和模糊色块形状来确定图像中用户手指的位置是本领域技术人员所公知的技术，在此不再赘述。在本实施例中，优选地，所述用户手指所在的位置是指所述用户手指的中心点所在的位置。
其中，手势轨迹信息可以为用于表示用户手指移动的轨迹和/或用户手指移动的方向的特征值，该手势轨迹信息是通过获取终端设备用户手指移动的轨迹和/或用户手指移动的方向，根据该轨迹和预设算法（特征值算法如MD5算法等），得到轨迹对应的手势轨迹信息。
103、根据所述用户的手势轨迹信息，查询预先设置的手势轨迹信息与操作的对应关系；
在终端设备上预先设置手势轨迹信息与操作的对应关系，该手势轨迹信息与操作的对应关系可保存为一个手势轨迹信息存储数据库，每个手势轨迹信息都有与其唯一对应的操作，当查询到该对应关系中包括终端设备用户的手势轨迹信息时，则说明该对应关系中有该手势轨迹信息相对应的操作。
需要说明的是，该预先设置的手势轨迹信息与操作的对应关系可以是对终端设备上所安装的所有应用程序开放，也即是手势轨迹信息与操作的对应关系没有针对性，在登录任一应用程序时均可以通过该预先设置的手势轨迹信息与操作的对应关系获取操作，该预先设置的手势轨迹信息与操作的对应关系还可以是仅针对某一应用程序，其所存储的操作均为该应用程序的操作，仅该应用程序可以通过该预先设置的手势轨迹信息与操作的对应关系获取操作，本发明实施例不做具体限定。
104、获取与所述用户的手势轨迹信息相应的操作。
以所述终端设备用户的手势轨迹信息为索引，在该对应关系中查询其对应的操作，当查询到相应的操作时，获取该相应的操作。
本实施例中所述的操作可以为对应用程序的操作，如退出应用程序、放大应用程序界面等操作，还可以是对终端设备当前展示的页面的操作，如放大或缩小页面等，本发明实施例不做具体限定。
需要说明的是，获取到的手势轨迹信息可以有多种，一些手势轨迹信息可以在对应关系中查询到对应的操作，而一些手势轨迹信息在对应关系中查询不到对应的操作，则认为该没有对应操作的手势轨迹信息没有任何意义，对其不进行响应。
105、执行所述相应的操作。
在本实施例中，获取到相应的操作时，执行该相应的操作，无需直接接触即可实现对当前显示页面的控制，减少了对键盘的依赖。例如：获取的操作为网页向上滚动一页，则终端设备向页面发出windows下的PageDown键盘消息来实现滚屏。
本发明实施例提供了一种手势操作方法，通过获取手势视频段，所述手势视频段包含预设数值帧图像；根据所述手势视频段的每一帧图像中用户手指所在的位置，获取所述用户的手势轨迹信息；根据所述用户的手势轨迹信息，查询预先设置的手势轨迹信息与操作的对应关系；获取与所述用户的手势轨迹信息相应的操作；执行所述相应的操作。。采用本发明提供的技术方案，通过对获取到的手势视频段中每一帧图像进行分析，以获取用户的手势轨迹信息，仅关注二维平面内用户的手势轨迹，并通过该手势轨迹信息获取其相应的操作，丰富了触发操作的方法，且无需直接接触即可实现对终端设备的操作，减少了对鼠标键盘等外设设备的依赖。
可选地，在上述图1所示实施例的技术方案的基础上，上述实施例中的步骤101“获取视频段，所述视频段包含预设数值帧图像”，包括步骤101a：
101a、通过摄像设备获取视频流，对所述视频流进行格式转换，得到预设格式的手势视频段，所述手势视频段包含预设数值帧图像；
优选地，预设格式可由技术人员或用户根据使用习惯进行设定，使得摄像设备输出的视频流的格式为每秒N帧，优选地，可将该格式设置为每秒30帧。
例如，以通过DirectX SDK中的DirectShow接口对视频格式进行设定为例进行说明：if(!capSetVideoFormat(m_hWndCapture,&m_InInfo,sizeof(BITMAPINFO)))
AfxMessageBox("Fail to set the video format");∥设置视频格式
capPreviewRate(m_hWndCapture,30);∥预览帧速为30Fps（每秒30帧）
capPreview(this->m_hWndCapture,TRUE);∥可以预览
通过上述的代码，将视频格式设定为每秒30帧，则输出的视频流的格式为每秒30帧。
在本实施例中，对视频流中各个视频段是依照时间先后顺序进行处理的，当处理完前一视频段，则获取下一个视频段，在本实施例中，仅通过对一个视频段的处理过程的详细描述为例进行说明。
可选地，基在上述图1所示实施例的技术方案的基础上，上述实施例中的步骤102“根据所述手势视频段的每一帧图像中用户手指所在的位置，获取所述用户的手势轨迹信息”，之前包括：（ⅰ）将所述手势视频段中的每一帧图像分为多个位置区域，每个区域所包含的像素量相等。
由于在实际使用过程中，用户的手指可能发生微小的动作，而该微小的动作并不是为了执行某种操作而进行的，因此简化视频处理中微小动作的影响，更准确的判断用户手指是否有移动，在本实施例中，将视频段中的每一帧图像进行粗略的划分，即是将图像分为多个区域，每个区域所包含的像素量相等。
本发明实施例提供了一种手势操作方法，通过获取视频段，所述视频段包含预设数值帧图像；根据所述视频段的每一帧图像中用户手指所在的位置，获取所述用户的手势轨迹信息；根据所述用户的手势轨迹信息，查询预先设置的手势轨迹信息与操作的对应关系；当所述对应关系中包括所述用户的手势轨迹信息相应的操作，获取所述相应的操作，执行所述相应的操作。采用本发明提供的技术方案，通过对获取到的视频段中每一帧图像进行分析，以获取用户的手势轨迹信息，仅关注二维平面内用户的手势轨迹，并通过该手势轨迹信息获取其相应的操作，丰富了触发操作的方法，且无需直接接触即可实现对终端设备的操作，减少了对鼠标键盘等外设设备的依赖。进一步地，通过对图像区域粒度的划分，能够对用户手指的移动进行粗略估计，在逐帧比较后，能够准确的获得用户手指的手势轨迹。
可选地，基于图1所示实施例的技术方案，上述步骤102“根据所述手势视频段的每一帧图像中用户手指所在的位置，获取用户的手势轨迹信息”，包括：
102a、根据所述手势视频段的每一帧图像中用户手指在所述位置区域中的位置，获取所述手势视频段的每一帧图像中用户手指的位置参数；
具体地，对于该步骤102a，根据所述手势视频段的每一帧图像，综合区域块颜色和模糊色块形状来确定手指在图像中的位置，获取所述手势视频段的每一帧图像中用户手指的位置参数，其中，综合区域块颜色和模糊色块形状来确定手指在图像中的位置的具体方法为现有技术所公开，在此不再赘述。
进一步地，将所述图像中所述用户手指所在区域的区域坐标，作为所述图像中所述用户手指的位置参数。
通过步骤（ⅰ）中的区域划分，每个区域均可以有相对的区域坐标，该区域坐标与划分后的区域在各个区域中的位置相关，如该区域在划分后的区域中的第二行第二列，则认为该区域的区域坐标为（2，2）。
具体地，对于每一帧图像来说，将获取的每一帧图像的分辨率都格式化为预设像素，如640x480（即横向有640个像素点，纵向有480个像素点），并将图像划分为M×M个相对区域，如16×16个相对区域（每个区域内有160x120个像素点），图像上的每一个点就会有两个位置参数表示方法，一个基于像素点坐标，一个基于所在区域坐标。例如：图4是本发明实施例提供的一种图像区域划分示意图。如图2所示，该图像划分为4×4个相对区域，则落在第二行第二列中某个点A的坐标就可计为：A的像素点坐标为（200，150），所在区域坐标（1，1）。
而对于用户手指来说，由于对图像进行了区域的划分，其位置参数可以由用户手指所在区域的区域坐标表示，则由于划分的粒度不同，可能存在以下情况：一、用户手指在手势视频段的多帧图像中的实际位置发生了变化，但是其所在区域未发生变化，其位置参数未发生变化。二、用户手指在手势视频段的多帧图像中实际位置发生了变化，所在区域也发生了变化，其位置参数发生了变化。则对于第一种情况来说，经过步骤102b的判断，认为该用户手指没有移动，而对于第二种情况来说，经过步骤102b的判断，认为该用户手指发生了移动。
在该步骤102a中，可通过回调函数FrameCallBack()获取视频段中的单帧图像。
if(!capSetCallbackOnFrame(this->m_hWndCapture,FrameCallBack))∥设置单帧的回调函数AfxMessageBox("fail to setCallbackOnFrame function")；
102b、根据所述手势视频段的每一帧图像中所述用户手指的位置参数，获取用户的手势轨迹信息；
具体地，根据所述手势视频段的每一帧图像中所述用户手指的位置参数，获取用户的手势轨迹，当获得了用户的手势轨迹时，根据所述用户的手势轨迹和预设算法，获取用户的手势轨迹信息。其中，根据所述手势视频段的每一帧图像中所述用户手指的位置参数，获取用户的手势轨迹，具体包括：将第一帧图像中用户手指的位置参数作为起始点，而通过逐帧比较，将用户手指的位置参数发生变化时的位置参数作为途经点，将用户手指的位置参数在一定时间内不发生变化时的位置参数为结束点，从而获取用户在该手势视频段中的手势轨迹信息。
在本实施例中，当通过用户手指的位置参数，获知用户手指在该手势视频段的连续预设数值帧中的位置参数未发生变化时，则认为该用户手指没有移动，而当用户手指在该手势视频段的连续预设数值帧中的位置参数发生变化时，则认为该用户手指有移动。当前帧图像中用户手指的位置参数与上一帧图像中用户手指的位置参数不同时，用户手指有移动，则将第一帧图像中用户手指的位置参数作为起始点，而当通过逐帧比较，用户手指的位置参数所在区域发生变化时，则将变化后的位置参数作为途经点，而当用户手指的位置参数不发生变化时，则将所述手势视频段的最后一帧图像中所述用户手指的位置参数为结束点，从而获得用户在该手势视频段中的手势轨迹。根据所述手势视频段的每一帧图像中所述用户手指的位置参数，当确定所述用户手指在该手势视频段中没有移动，则结束对当前手势视频段的处理。对于步骤102c中的示例来说，也即是用户手指的位置参数在连续30帧图像中均未发生变化，则认为该用户手指在该手势视频段中没有移动，则结束对当前手势视频段的处理。
本实施例仅以视频流中的一个视频段的处理过程为例进行说明，对于获取的视频流中的其他视频段的处理均与本实施例的处理过程同理，在此不再赘述。
例如，设该手势视频段包括30帧图像，手指在第一帧图像中位置参数为（3，1），在第二帧图像中的位置参数仍为（3，1），第三帧图像中的位置参数为（2，1），也即是发生了变化，则将用户手指在第一帧图像的位置参数（3，1）作为起始点，而将第三帧图像中的位置参数（2，1）作为途经点，第四帧图像中的位置参数为（2，2），后续26帧中的位置参数均为（2，2），则说明用户手指的位置参数在第4帧至第26帧中没有变化，则将最后一帧的位置参数（2，2）作为结束点，此时获取到的用户的手势轨迹为（3，1）->（2，1）->（2，2）。
又例如，图3是本发明实施例提供的一种手势轨迹示意图。参见图3，该用户手指的手势轨迹为一向右滑动的直线，则终端设备用户当前的手势轨迹为一向右滑动的直线。
其中，该预设算法为终端设备默认的算法或终端设备用户设置的算法，对于各个手势轨迹来说，每个手势轨迹经过预设算法的计算，得到与其唯一对应的手势轨迹信息，各个手势轨迹信息各不相同。
进一步地，对于形状相同但是转向不同的手势轨迹来说，对于不同的预设算法，可以得到相同的手势轨迹信息，还可以得到不同的手势轨迹信息，当一预设算法考虑到转向时，则对于形状相同但转向不同的手势轨迹来说，应用该预设算法可以得到不同的手势轨迹信息，而当另一预设算法不考虑转向，仅考虑手势轨迹的形状时，形状相同但转向不同的手势轨迹应用该另一预设算法可以得到相同的手势轨迹信息。
举例说明，例如，图4是本发明实施例提供的另一种手势轨迹示意图。参见图4，该用户手指的手势轨迹为一向下滑动的直线，则终端设备用户当前的手势轨迹为一向下滑动的直线，而应用预设算法，图3中的终端设备用户当前的手势轨迹所对应的手势轨迹信息为A，而图4中的终端设备用户当前的手势轨迹所对应的手势轨迹信息为B，且A不等于B。
进一步可选地，在上述图1所示实施例的技术方案的基础上，上述实施例中的步骤102b“根据所述手势视频段的每一帧图像中所述用户手指的位置参数，获取用户的手势轨迹信息”，包括：根据所述手势视频段的每一帧图像中所述用户手指的位置参数，判断用户手指的位置参数是否发生变化，当用户手指的位置参数发生变化时，获取用户的手势轨迹信息。其中，根据所述手势视频段的每一帧图像中所述用户手指的位置参数，判断用户手指的位置参数是否发生变化，具体包括以下步骤：
（1）逐帧判断所述手势视频段中第i-1帧图像中所述用户手指的位置参数和第i帧图像中所述用户手指的位置参数是否相同；
（2）当第i-1帧图像中所述用户手指的位置参数和第i帧图像中所述用户手指的位置参数不同时，则所述用户手指的位置参数发生变化；
（3）当所述手势视频段中的每一帧图像中所述用户手指的位置参数均相同，则所述用户手指的位置参数没发生变化，其中，i为小于所述预设数值的正整数。
对于所述手势视频段中每一帧图像，获取当前帧图像中用户手指的位置参数，并获取下一帧图像中用户手指的位置参数，将两个位置参数进行比较，当当前帧图像中用户手指的位置参数与下一帧图像中用户手指的位置参数不同，则认为用户手指的位置参数发生变化，将该下一帧图像中用户手指的位置参数作为途经点，当相同，则认为用户手指的位置参数没发生变化。
而本实施例的判断方式是逐帧判断，当然，在另一实施例中，还可以不进行逐帧判断，而是每两帧进行判断，也即是判断第i-2帧图像中所述用户手指的位置参数和第i帧图像中所述用户手指的位置参数，以确定用户手指的位置参数是否发生变化。
进一步可选地，在上述图1所示实施例的技术方案的基础上，上述实施例中的步骤（2）“当第i-1帧图像中所述用户手指的位置参数和第i帧图像中所述用户手指的位置参数不同时，则所述用户手指的位置参数发生变化”，具体包括：当第i-1帧图像中所述用户手指的位置参数和第i帧图像中所述用户手指的位置参数不同，且所述第i帧图像中所述用户手指在所述第i帧图像的范围内，则所述用户手指的位置参数发生变化。当用户手指移出摄像头的采集范围，也即是在图像中无法定位手指的位置参数，此时，当第i-1帧图像中所述用户手指的位置参数和第i帧图像中所述用户手指的位置参数也会不同，但是此种情况中用户手指的移动无效，因此仅在用户手指在所述第i帧图像的范围内时，该用户手指的移动有效，也即是用户手指的位置参数发生变化。
可选地，在图1所示实施例的基础上，步骤101“获取终端设备用户的手势轨迹信息”，之前包括步骤100a和步骤100b：
100a、建立每个手势轨迹信息与操作之间的对应关系；
在本实施例中，预先将手势轨迹信息与操作关联起来，使得后续当接收到某一手势轨迹信息时，可以通过该某一手势轨迹信息获取其对应的操作。
100b、保存所述对应关系。
需要说明的是，该对应关系可以保存为一个手势轨迹信息存储数据库，每个手势轨迹信息都有与其唯一对应的操作，当查询到该对应关系中包括终端设备用户当前的手势轨迹信息时，则说明该对应关系中有该手势轨迹信息相对应的操作。
进一步可选地，在上述实施例的基础上，步骤100a“建立每个手势轨迹信息与操作之间的对应关系”，包括步骤（a）、（b）、（c）和（d）：
（a）接收第一操作；
本实施例中的第一操作可以为任意操作，可由技术人员或用户根据使用需要设置。另外，该实施例仅以建立第一操作及第一手势轨迹信息之间的对应关系为例进行说明，而在实际情况中，在手势轨迹信息与操作的对应关系中可以包括多个手势轨迹信息以各个手势轨迹信息对应的操作，本发明实施例对手势轨迹信息与其对应的操作的对应关系的建立时机不做限定。
（b）获取第一手势轨迹信息；
该获取的过程与步骤101同理，在此不再赘述。
（c）根据所述第一手势轨迹信息查询所述预先设置的手势轨迹信息与操作的对应关系；
为了保证手势轨迹信息与操作一一对应，在此查询预先设置的手机轨迹信息与操作的对应关系中是否已经包含该第一手势轨迹信息，如果是，则说明该第一手势轨迹信息已有对应的操作，需要用户重新输入另一手势轨迹信息，如果否，则说明该第一手势轨迹信息还未有对应的操作，该第一手势轨迹信息可用。
在实际操作中，当第一手势轨迹信息已有对应的操作，需要用户重新输入另一手势轨迹信息时，可在用户显示界面上对用户进行提示，以便用户重新输入另一手势轨迹信息；而当该第一手势轨迹信息还未有对应的操作，该第一手势轨迹信息可用时，为了保证用户的输入正确，可在用户显示界面上提示用户再次输入该第一手势轨迹信息。
（d）当所述预先设置的手势轨迹信息与操作的对应关系中不包含所述第一手势轨迹信息，则当再次获取到第一手势轨迹信息时，建立所述第一手势轨迹信息和所述第一操作之间的对应关系。
例如，在该建立对应关系的过程中，终端设备通过对视频段的处理，记录了如图2的三角形手势轨迹，也即是用户的手势轨迹，并应用预设算法获得三角形相应的手势轨迹信息，通过步骤（c）的查询过程可获知该三角形相应的手势轨迹信息已经有对应的操作（也即是用户曾经建立了三角形相应的手势轨迹信息与一操作之间的对应关系），则提示用户再次输入另一手势轨迹信息，则用户再次进行手势输入，终端设备通过对视频段的处理，记录了如图3的五角星形手势轨迹，也即是用户的手势轨迹，并应用预设算法获得五角星形相应的手势轨迹信息，通过步骤（c）的查询过程可获知该五角星形相应的手势轨迹信息未有对应的操作，则提示用户再次输入该五角星形相应的手势轨迹信息，当再次获取到五角星形相应的手势轨迹信息时，建立所述五角星形相应的手势轨迹信息和所述第一操作之间的对应关系。
上述所有可选技术方案可以采用可以结合的方式任意结合构成本发明实施例的可选实施例，在此不再一一举例说明。
图5是本发明实施例提供的一种操作与手势轨迹信息之间的对应关系的建立方法的流程图。该实施例结合了上述实施例对具体建立流程进行了详细的描述，参见图5，该实施例具体包括：
501、终端设备接收建立对应关系的指令；
建立对应关系需要由用户触发，因此当用户需要建立操作和手势轨迹信息之间的对应关系时，触发建立对应关系的指令，终端设备接收到该接收建立对应关系的指令后，执行后续步骤。
502、接收第一操作；
需要说明的是，该步骤502与步骤503-505之间的执行顺序不为本实施例中的执行顺序所限定，在本实施例中，先接收操作，再获取手势轨迹信息，而在实际场景中，还可以先获取手势轨迹信息，再接收操作。该接收第一操作具体可以为接收用户输入或选择的第一操作描述。
503、获取手势视频段；
504、根据所述手势视频段的每一帧图像中用户手指所在的位置，获取所述手势视频段的每一帧图像中用户手指的位置参数；
505、根据所述手势视频段的每一帧图像中所述用户手指的位置参数，获取所述用户的手势轨迹，
506、根据第一手势轨迹和预设算法，获取第一手势轨迹信息；
507、根据所述第一手势轨迹信息查询所述预先设置的手势轨迹信息与操作的对应关系；
508、当所述预先设置的手势轨迹信息与操作的对应关系中不包含所述第一手势轨迹信息，提示用户再次输入该第一手势轨迹信息；
另外，当所述预先设置的手势轨迹信息与操作的对应关系中包含所述第一手势轨迹信息，提示用户输入另一手势轨迹信息，当接收到第二手势轨迹信息时，根据第二手势轨迹信息查询所述预先设置的手势轨迹信息与操作的对应关系，当预先设置的手势轨迹信息与操作的对应关系中不包括第二手势轨迹信息，则进行后续的步骤，如预先设置的手势轨迹信息与操作的对应关系中包括第二手势轨迹信息，则继续提示用户输入再一手势轨迹信息，直到输入的手势轨迹信息不包括在预先设置的手势轨迹信息与操作的对应关系中或是重试次数达到预设阈值，则不再提示输入。
509、当再次获取到第一手势轨迹信息时，建立所述第一手势轨迹信息和所述第一操作之间的对应关系；
510、保存该第一手势轨迹信息和所述第一操作之间的对应关系。
该图5所示实施例仅以第一手势轨迹信息和所述第一操作之间的对应关系的建立过程为例对手势轨迹信息与操作对应关系的建立进行说明，下面结合登录场景，对操作方法进行进一步的描述，图6是本发明实施例提供的一种手势操作方法的流程图，该图5所示的实施例中，终端设备已通过图5所示的具体建立流程，建立并保存了预先设置的手势轨迹信息与操作的对应关系，相应地，该图6所示的实施例具体包括：
601、终端设备通过摄像设备获取视频流，对所述视频流进行格式转换，得到多个预设格式的手势视频段，所述手势视频段包含预设数值帧图像；
602、按照时间顺序，依次获取所述多个预设格式的手势视频段中的每一个手势视频段；
603、对于当前获取的手势视频段中的每一帧图像来说，将图像分为多个区域，每个区域所包含的像素量相等；
604、将所述图像中所述用户手指所在区域的区域坐标，作为所述图像中所述用户手指的位置参数；
605、判断所述手势视频段中第i-1帧图像中所述用户手指的位置参数和第i帧图像中所述用户手指的位置参数是否相同，如果否，执行步骤606，如果否，获取第i+1帧图像中用户手指的位置参数，并判断所述手势视频段中第i帧图像中所述用户手指的位置参数和第i+1帧图像中所述用户手指的位置参数是否相同；
606、判断所述第i帧图像中是否在所述用户手指在所述第i帧图像的范围内，如果是，执行步骤607，如果否，执行步骤608；
607、将所述手势视频段的第一帧图像中所述用户手指的位置参数获取为用户的手势轨迹的起始点，并将第i帧图像中所述用户手指的位置参数获取为用户的手势轨迹的途经点，执行步骤609；
608、将该第i-1帧图像中所述用户手指的位置参数获取为结束点，执行步骤610；
该步骤608是指当用户手指已经不在第i帧图像的范围内，则认为用户手指的动作在第i-1帧图像中即已经结束，因此将该第i-1帧图像中所述用户手指的位置参数获取为手势轨迹的结束点，并结束对该手势视频段的处理。
609、当对该手势视频段中的所有图像进行了逐帧判断，将所述手势视频段的最后一帧图像中所述用户手指的位置参数获取为结束点；
该步骤609是指当对该手势视频段中所有图像均进行了判断，且用户手指的位置参数有发生变化时，则可得到用户手指在手势视频段中的手势轨迹。
610、根据获取到的用户的手势轨迹和预设算法，获取用户的手势轨迹信息；
611、根据所述用户的手势轨迹信息，查询预先设置的手势轨迹信息与操作的对应关系；
612、当所述对应关系中包括所述用户的手势轨迹信息相应的操作，获取所述相应的操作；
613、执行所述相应的操作。
本发明实施例提供了一种手势操作方法，通过获取手势视频段，所述手势视频段包含预设数值帧图像；根据所述手势视频段的每一帧图像中用户手指所在的位置，获取所述用户的手势轨迹信息；根据所述用户的手势轨迹信息，查询预先设置的手势轨迹信息与操作的对应关系；获取与所述用户的手势轨迹信息相应的操作；执行所述相应的操作。。采用本发明提供的技术方案，通过对获取到的手势视频段中每一帧图像进行分析，以获取用户的手势轨迹信息，仅关注二维平面内用户的手势轨迹，并通过该手势轨迹信息获取其相应的操作，丰富了触发操作的方法，且无需直接接触即可实现对终端设备的操作，减少了对鼠标键盘等外设设备的依赖。
图7是本实施例提供的一种手势操作装置的结构示意图。参见图7，所述装置包括：
手势视频段获取模块10，用于获取手势视频段，所述手势视频段包含预设数值帧图像；
手势轨迹信息获取模块20，用于根据所述手势视频段的每一帧图像中用户手指所在的位置，获取所述用户的手势轨迹信息；
查询模块30，用于根据所述用户的手势轨迹信息，查询预先设置的手势轨迹信息与操作的对应关系；
操作获取模块40，用于获取与所述用户的手势轨迹信息相应的操作；
处理模块50，用于执行所述相应的操作。
可选地，所述手势视频段获取模块10具体用于通过摄像设备获取视频流，对所述视频流进行格式转换，得到预设格式的手势视频段，所述手势视频段包含预设数值帧图像。
可选地，所述装置还包括：
划分模块60，用于将所述手势视频段中的每一帧图像分为多个位置区域，每个区域所包含的像素量相等。
可选地，手势轨迹信息获取模块20包括：
位置参数获取单元，用于根据所述手势视频段的每一帧图像中用户手指在所述位置区域中的位置，获取所述手势视频段的每一帧图像中用户手指的位置参数；
手势轨迹信息获取单元，用于根据所述手势视频段的每一帧图像中所述用户手指的位置参数，获取用户的手势轨迹信息。
可选地，所述手势轨迹信息获取单元具体用于将第一帧图像中用户手指的位置参数作为起始点，而通过逐帧比较，将用户手指的位置参数发生变化时的位置参数作为途经点，将用户手指的位置参数在一定时间内不发生变化时的位置参数为结束点，从而获取用户在该手势视频段中的手势轨迹信息。
可选地，所述手势轨迹信息为用于表示用户手指移动的轨迹和/或用户手指移动的方向的特征值。
图7所示实施例的手势操作装置，以包括上述所有可选技术方案为例描述本发明的技术方案，实际应用中，上述所有可选技术方案可以采用任何可结合的方式构成本发明实施例的可选技术方案，在此不再一一举例。
本实施例的操作装置，通过采用上述模块实现对终端设备的操作，与上述相关方法实施例的实现机制相同，详细可以参考上述相关方法实施例的记载，在此不再赘述。
本发明实施例提供了一种手势操作装置，通过获取视频段，所述视频段包含预设数值帧图像；根据所述视频段的每一帧图像中用户手指所在的位置，获取所述用户的手势轨迹信息；根据所述用户的手势轨迹信息，查询预先设置的手势轨迹信息与操作的对应关系；当所述对应关系中包括所述用户的手势轨迹信息相应的操作，获取所述相应的操作，执行所述相应的操作。采用本发明提供的技术方案，通过对获取到的视频段中每一帧图像进行分析，以获取用户的手势轨迹信息，仅关注二维平面内用户的手势轨迹，并通过该手势轨迹信息获取其相应的操作，丰富了触发操作的方法，且无需直接接触即可实现对终端设备的操作，减少了对鼠标键盘等外设设备的依赖。
需要说明的是：上述实施例提供的操作装置在对终端设备的操作时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的操作装置与操作方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种手势操作方法，其特征在于，所述方法包括：
获取手势视频段，所述手势视频段包含预设数值帧图像；
根据所述手势视频段的每一帧图像中用户手指所在的位置，获取所述用户的手势轨迹信息；
根据所述用户的手势轨迹信息，查询预先设置的手势轨迹信息与操作的对应关系；
获取与所述用户的手势轨迹信息相应的操作；
执行所述相应的操作。
2.根据权利要求1所述的方法，其特征在于，获取手势视频段，所述手势视频段包含预设数值帧图像，包括：
通过摄像设备获取视频流，对所述视频流进行格式转换，得到预设格式的手势视频段，所述手势视频段包含预设数值帧图像。
3.根据权利要求1所述的方法，其特征在于，根据所述手势视频段的每一帧图像中用户手指所在的位置，获取所述用户的手势轨迹信息，之前包括：
将所述手势视频段中的每一帧图像分为多个位置区域，每个区域所包含的像素量相等。
4.根据权利要求3所述的方法，其特征在于，根据所述手势视频段的每一帧图像中用户手指所在的位置，获取用户的手势轨迹信息，包括：
根据所述手势视频段的每一帧图像中用户手指在所述位置区域中的位置，获取所述手势视频段的每一帧图像中用户手指的位置参数；
根据所述手势视频段的每一帧图像中所述用户手指的位置参数，获取用户的手势轨迹信息。
5.根据权利要求4所述的方法，其特征在于，所述根据所述手势视频段的每一帧图像中所述用户手指的位置参数，获取用户的手势轨迹信息，包括：
将第一帧图像中用户手指的位置参数作为起始点，而通过逐帧比较，将用户手指的位置参数发生变化时的位置参数作为途经点，将用户手指的位置参数在一定时间内不发生变化时的位置参数为结束点，从而获取用户在该手势视频段中的手势轨迹信息。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述手势轨迹信息为用于表示用户手指移动的轨迹和/或用户手指移动的方向的特征值。
7.一种手势操作装置，其特征在于，所述装置包括：
手势视频段获取模块，用于获取手势视频段，所述手势视频段包含预设数值帧图像；
手势轨迹信息获取模块，用于根据所述手势视频段的每一帧图像中用户手指所在的位置，获取所述用户的手势轨迹信息；
查询模块，用于根据所述用户的手势轨迹信息，查询预先设置的手势轨迹信息与操作的对应关系；
操作获取模块，用于获取与所述用户的手势轨迹信息相应的操作；
处理模块，用于执行所述相应的操作。
8.根据权利要求7所述的装置，其特征在于，所述手势视频段获取模块用于通过摄像设备获取视频流，对所述视频流进行格式转换，得到预设格式的手势视频段，所述手势视频段包含预设数值帧图像。
9.根据权利要求7所述的装置，其特征在于，所述装置还包括：
划分模块，用于将所述手势视频段中的每一帧图像分为多个位置区域，每个区域所包含的像素量相等。
10.根据权利要求9所述的装置，其特征在于，手势轨迹信息获取模块包括：
位置参数获取单元，用于根据所述手势视频段的每一帧图像中用户手指在所述位置区域中的位置，获取所述手势视频段的每一帧图像中用户手指的位置参数；
手势轨迹信息获取单元，用于根据所述手势视频段的每一帧图像中所述用户手指的位置参数，获取用户的手势轨迹信息。
11.根据权利要求10所述的装置，其特征在于，所述手势轨迹信息获取单元具体用于将第一帧图像中用户手指的位置参数作为起始点，而通过逐帧比较，将用户手指的位置参数发生变化时的位置参数作为途经点，将用户手指的位置参数在一定时间内不发生变化时的位置参数为结束点，从而获取用户在该手势视频段中的手势轨迹信息。
12.根据权利要求7-11任一项所述的装置，其特征在于，所述手势轨迹信息为用于表示用户手指移动的轨迹和/或用户手指移动的方向的特征值。
CN201210282552.7A 2012-08-09 2012-08-09 手势操作方法和手势操作装置 Active CN103576848B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201210282552.7A CN103576848B (zh) 2012-08-09 2012-08-09 手势操作方法和手势操作装置
RU2015107995A RU2613038C2 (ru) 2012-08-09 2013-07-17 Способ управления оконечным устройством с использованием жеста и устройство
PCT/CN2013/079527 WO2014023153A1 (en) 2012-08-09 2013-07-17 Method for operating terminal device with gesture and device
US14/615,840 US10248216B2 (en) 2012-08-09 2015-02-06 Method for operating terminal device with gesture and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210282552.7A CN103576848B (zh) 2012-08-09 2012-08-09 手势操作方法和手势操作装置

Publications (2)

Publication Number Publication Date
CN103576848A true CN103576848A (zh) 2014-02-12
CN103576848B CN103576848B (zh) 2016-07-13

Family

ID=50048808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210282552.7A Active CN103576848B (zh) 2012-08-09 2012-08-09 手势操作方法和手势操作装置

Country Status (4)

Country Link
US (1) US10248216B2 (zh)
CN (1) CN103576848B (zh)
RU (1) RU2613038C2 (zh)
WO (1) WO2014023153A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105306914A (zh) * 2014-06-26 2016-02-03 原相科技(槟城)有限公司 彩色影像传感器及其操作方法
CN105373213A (zh) * 2014-08-25 2016-03-02 乐视致新电子科技（天津）有限公司 一种人机交互中的操作识别方法及装置
CN106227351A (zh) * 2016-07-30 2016-12-14 深圳市光晕网络科技有限公司 一种车载设备的状态转换方法及装置
CN106851236A (zh) * 2017-03-28 2017-06-13 深圳市石代科技有限公司 投影设备、系统和方法
CN107643821A (zh) * 2016-07-22 2018-01-30 北京搜狗科技发展有限公司 一种输入控制方法、装置及电子设备
CN108960177A (zh) * 2018-07-13 2018-12-07 苏州浪潮智能软件有限公司 一种将手势进行数字化处理的方法及装置
CN110532863A (zh) * 2019-07-19 2019-12-03 平安科技（深圳）有限公司 手势操作方法、装置以及计算机设备
CN110736223A (zh) * 2019-10-29 2020-01-31 珠海格力电器股份有限公司 空调控制方法及装置
CN111242084A (zh) * 2020-01-21 2020-06-05 深圳市优必选科技股份有限公司 机器人控制方法、装置、机器人及计算机可读存储介质
CN112180849A (zh) * 2020-08-28 2021-01-05 星络智能科技有限公司 一种手语控制方法，计算机设备及可读存储介质
CN112817445A (zh) * 2021-01-25 2021-05-18 暗物智能科技(广州)有限公司 一种信息采集方法、装置、电子设备及存储介质
WO2021121374A1 (zh) * 2019-12-19 2021-06-24 华为技术有限公司 一种视频处理方法及电子设备
WO2023077886A1 (zh) * 2021-11-04 2023-05-11 海信视像科技股份有限公司 一种显示设备及其控制方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103777746B (zh) * 2012-10-23 2018-03-13 腾讯科技（深圳）有限公司 一种人机交互方法、终端及系统
CN105607740A (zh) * 2015-12-29 2016-05-25 清华大学深圳研究生院 一种基于计算机视觉的无人飞行器控制方法及装置
CN105704390B (zh) * 2016-04-20 2019-04-16 Oppo广东移动通信有限公司 一种美颜拍照方法、装置及移动终端
CN107168633B (zh) * 2017-04-07 2019-08-06 南京邮电大学 一种基于数据依赖的手势交互查询事件构建方法
CN109255324A (zh) * 2018-09-05 2019-01-22 北京航空航天大学青岛研究院 手势处理方法、交互控制方法及设备
WO2020251385A1 (en) * 2019-06-14 2020-12-17 Ringcentral, Inc., (A Delaware Corporation) System and method for capturing presentation gestures

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156859A (zh) * 2011-04-21 2011-08-17 刘津甦 手部姿态与空间位置的感知方法
CN102226880A (zh) * 2011-06-03 2011-10-26 北京新岸线网络技术有限公司 一种基于虚拟现实的体感操作方法及系统
CN102339125A (zh) * 2010-07-23 2012-02-01 夏普株式会社 信息设备及其控制方法和系统
CN102467237A (zh) * 2011-11-17 2012-05-23 厦门集芯科技有限公司 一种由非接触式手势动作实现鼠标功能的装置及其方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050082442A (ko) * 2002-07-05 2005-08-23 아스펙터스 엘티디 다수의 병렬 연속 영상에서 사건 감지를 효과적으로 수행하는 방법 및 시스템
US7886236B2 (en) * 2003-03-28 2011-02-08 Microsoft Corporation Dynamic feedback for gestures
WO2006011141A2 (en) * 2004-07-25 2006-02-02 Israel Aerospace Industries Ltd. Method and system for the acquisition of data and for the display of data
JP2007108941A (ja) * 2005-10-12 2007-04-26 Sharp Corp 機器制御装置、リモートコントローラ、機器、機器制御方法、機器制御プログラム、および機器制御プログラムを記録したコンピュータ読取り可能な記録媒体
US8472665B2 (en) * 2007-05-04 2013-06-25 Qualcomm Incorporated Camera-based user input for compact devices
WO2009116079A2 (en) * 2008-02-27 2009-09-24 Tata Counsultancy Services Limited Character based input using pre-defined human body gestures
CN101840275A (zh) * 2009-03-17 2010-09-22 玴荣科技股份有限公司 非接触式鼠标装置及其操作方法
US8818274B2 (en) * 2009-07-17 2014-08-26 Qualcomm Incorporated Automatic interfacing between a master device and object device
TWI471755B (zh) * 2010-01-13 2015-02-01 Chao Lieh Chen 能操控電氣設備作動模式的操控裝置
CN102402279B (zh) * 2010-09-17 2016-05-25 腾讯科技（深圳）有限公司 基于手势的人机交互方法及系统
JP2013164834A (ja) * 2012-01-13 2013-08-22 Sony Corp 画像処理装置および方法、並びにプログラム
US9111135B2 (en) * 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102339125A (zh) * 2010-07-23 2012-02-01 夏普株式会社 信息设备及其控制方法和系统
CN102156859A (zh) * 2011-04-21 2011-08-17 刘津甦 手部姿态与空间位置的感知方法
CN102226880A (zh) * 2011-06-03 2011-10-26 北京新岸线网络技术有限公司 一种基于虚拟现实的体感操作方法及系统
CN102467237A (zh) * 2011-11-17 2012-05-23 厦门集芯科技有限公司 一种由非接触式手势动作实现鼠标功能的装置及其方法

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109151412B (zh) * 2014-06-26 2021-07-09 原相科技股份有限公司 可消除红外光成分的彩色影像传感器
CN105306914B (zh) * 2014-06-26 2018-08-31 原相科技股份有限公司 彩色影像传感器及其操作方法
CN109151412A (zh) * 2014-06-26 2019-01-04 原相科技股份有限公司 可消除红外光成分的彩色影像传感器
CN105306914A (zh) * 2014-06-26 2016-02-03 原相科技(槟城)有限公司 彩色影像传感器及其操作方法
CN105373213A (zh) * 2014-08-25 2016-03-02 乐视致新电子科技（天津）有限公司 一种人机交互中的操作识别方法及装置
CN107643821A (zh) * 2016-07-22 2018-01-30 北京搜狗科技发展有限公司 一种输入控制方法、装置及电子设备
CN107643821B (zh) * 2016-07-22 2021-07-27 北京搜狗科技发展有限公司 一种输入控制方法、装置及电子设备
CN106227351A (zh) * 2016-07-30 2016-12-14 深圳市光晕网络科技有限公司 一种车载设备的状态转换方法及装置
CN106851236A (zh) * 2017-03-28 2017-06-13 深圳市石代科技有限公司 投影设备、系统和方法
CN108960177A (zh) * 2018-07-13 2018-12-07 苏州浪潮智能软件有限公司 一种将手势进行数字化处理的方法及装置
CN110532863A (zh) * 2019-07-19 2019-12-03 平安科技（深圳）有限公司 手势操作方法、装置以及计算机设备
CN110736223A (zh) * 2019-10-29 2020-01-31 珠海格力电器股份有限公司 空调控制方法及装置
WO2021121374A1 (zh) * 2019-12-19 2021-06-24 华为技术有限公司 一种视频处理方法及电子设备
CN111242084A (zh) * 2020-01-21 2020-06-05 深圳市优必选科技股份有限公司 机器人控制方法、装置、机器人及计算机可读存储介质
CN112180849A (zh) * 2020-08-28 2021-01-05 星络智能科技有限公司 一种手语控制方法，计算机设备及可读存储介质
CN112817445A (zh) * 2021-01-25 2021-05-18 暗物智能科技(广州)有限公司 一种信息采集方法、装置、电子设备及存储介质
WO2023077886A1 (zh) * 2021-11-04 2023-05-11 海信视像科技股份有限公司 一种显示设备及其控制方法

Also Published As

Publication number Publication date
WO2014023153A1 (en) 2014-02-13
US10248216B2 (en) 2019-04-02
CN103576848B (zh) 2016-07-13
RU2015107995A (ru) 2016-09-27
RU2613038C2 (ru) 2017-03-14
US20150153836A1 (en) 2015-06-04

Similar Documents

Publication Publication Date Title
CN103576848B (zh) 手势操作方法和手势操作装置
CN112506413B (zh) 触控点预测方法、装置、终端设备及计算机可读存储介质
CN102566918B (zh) 显示控制设备和显示控制设备的控制方法
EP2874386B1 (en) Method, apparatus and computer program product for capturing images
CN110287891B (zh) 基于人体关键点的手势控制方法、装置及电子设备
CN105827951A (zh) 一种运动对象拍照方法及移动终端
CN111371988B (zh) 内容操作方法、装置、终端及存储介质
CN107105342B (zh) 一种视频播放控制方法及移动终端
CN111614905A (zh) 图像处理方法、图像处理装置和电子设备
JP2013229672A (ja) 通信端末、通信方法、通信プログラム及び通信システム
CN112954199A (zh) 视频录制方法及装置
CN110647286A (zh) 屏幕元素控制方法、装置、设备、存储介质
CN112766080A (zh) 一种手写识别方法、装置、电子设备及介质
CN112954201A (zh) 拍摄控制方法、装置和电子设备
CN104113682A (zh) 一种图像获取方法及电子设备
CN113852756A (zh) 图像获取方法、装置、设备和存储介质
CN113923392A (zh) 视频录制方法、视频录制装置和电子设备
CN113852757B (zh) 视频处理方法、装置、设备和存储介质
CN114740975A (zh) 目标内容的获取方法及相关设备
CN113873319A (zh) 视频处理方法、装置、电子设备及存储介质
CN114489461A (zh) 触控响应方法、装置、设备及存储介质
CN113780051A (zh) 评估学生专注度的方法和装置
WO2022252872A1 (zh) 设备控制方法、装置、电子设备及存储介质
CN117499710B (zh) 视频转码调度方法、装置、可读存储介质、电子设备
KR102094944B1 (ko) 시선 추적 방법 및 이를 수행하기 위한 단말

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant