CN105718031A - 手势辨识方法及其装置 - Google Patents

手势辨识方法及其装置 Download PDF

Info

Publication number
CN105718031A
CN105718031A CN201410724870.3A CN201410724870A CN105718031A CN 105718031 A CN105718031 A CN 105718031A CN 201410724870 A CN201410724870 A CN 201410724870A CN 105718031 A CN105718031 A CN 105718031A
Authority
CN
China
Prior art keywords
gesture
identification
infrared signal
image
preset range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410724870.3A
Other languages
English (en)
Other versions
CN105718031B (zh
Inventor
杨杰棋
林慧珍
沈自强
高盟超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wistron Corp
Original Assignee
Wistron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wistron Corp filed Critical Wistron Corp
Publication of CN105718031A publication Critical patent/CN105718031A/zh
Application granted granted Critical
Publication of CN105718031B publication Critical patent/CN105718031B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Geometry (AREA)

Abstract

一种手势辨识方法及其装置。所述方法包括下列步骤：基于发射红外线被反射而取得的第一红外线信号检测预设范围中是否出现物体；当预设范围中出现物体时，获取包含物体的多个影像以及反射红外线所取得的多个第二红外线信号；辨识所述多个影像以取得预设范围内该物体的手势的横向位移方向，以及辨识所述多个第二红外线信号以取得预设范围内手势的深度位移方向。通过本发明提供的手势辨识方法及其装置可有效地扩大手势辨识的范围并提高辨识的正确率。

Description

手势辨识方法及其装置
技术领域
本发明是有关于一种辨识方法及其装置，且特别是有关于一种手势辨识方法及其装置。
背景技术
近年来，手势辨识已成为人机界面沟通的主要方法之一。目前已提出的手势辨识作法可概略分为两种方式。在第一种方式中，主要是通过电子装置的取像单元获取影像后，再以电脑视觉演算法辨别手势。此作法虽可用于远距离的手势辨识，但辨识的正确率易受环境影响。并且，由于电脑视觉演算法的高运算复杂需要较高级的硬件来执行，因而提高了硬件的成本。
在第二种方式中，主要是通过接收到的红外线信号的时间差来辨识手势。此做法虽然具有较低的硬件成本，但手势辨识率将受限于使用者的操作方式。举例而言，当红外线信号受遮蔽或干扰时，手势辨识的误判率将提高。此外，实施第二种方式的电子装置除了在未来应用上的扩充性相较于实施第一种方式的电子装置低之外，其手势辨识范围亦将受限于红外线接收器的安装位置。
发明内容
本发明提出一种手势辨识方法及其装置，其可有效地扩大手势辨识的范围并提高辨识的正确率。
本发明提供一种手势辨识方法，适于具有取像单元的手势辨识装置。所述方法包括下列步骤：基于发射一红外线被反射而取得的第一红外线信号检测预设范围中是否出现物体；当预设范围中出现物体时，获取包含该物体的多个影像以及反射该红外线所取得的多个第二红外线信号；辨识所述影像以取得该预设范围内该物体的一手势的一横向位移方向，以及辨识所述第二红外线信号以取得该预设范围内该手势的一深度位移方向。
本发明提供一种手势辨识装置，包括红外线发射器、取像单元、存储单元以及处理单元。红外线发射器发送多个红外线信号。取像单元用以接收第一红外线信号、多个第二红外线信号以及获取多个影像，其中第一红外线信号以及所述多个第二红外线信号个别为反射后的所述多个红外线信号的其中之一。存储单元存储多个模块。处理单元连接取像单元、红外线发射器以及存储单元，存取并执行所述多个模块。所述多个模块包括检测模块以及辨识模块。检测模块基于第一红外线信号检测预设范围中是否出现物体。当预设范围中出现物体时，辨识模块用以辨识所述多个影像以取得预设范围内该物体的手势的横向位移方向，以及辨识所述多个第二红外线信号以取得预设范围内该手势的深度位移方向。
本发明提供一种手势辨识装置，包括红外线发射器、取像单元、红外线接收器、存储单元以及处理单元。红外线发射器发送多个红外线信号。取像单元用以获取多个影像。红外线接收器接收第一红外线信号以及所述多个第二红外线信号，其中第一红外线信号以及所述多个第二红外线信号个别为反射后的所述多个红外线信号的其中之一。存储单元存储多个模块。处理单元连接取像单元、红外线发射器、红外线接收器以及存储单元，存取并执行所述多个模块。所述多个模块包括检测模块以及辨识模块。检测模块基于第一红外线信号检测预设范围中是否出现物体。辨识模块用以辨识所述多个影像以取得预设范围内物体的手势的横向位移方向，以及辨识所述多个第二红外线信号以取得预设范围内手势的深度位移方向。
基于上述，本发明实施例提出的手势辨识方法及其装置可在检测到出现于预设范围内的物体之后，对应地调整取像单元的影像获取范围以及启动其影像获取功能，并依据所获取到的影像辨识手势。如此一来，即可在低实施成本的情况下让手势辨识装置的辨识范围及正确率有效地增加。
附图说明
图1是依据本发明的一实施例绘示的手势辨识装置的功能方块图。
图2是依据本发明的一实施例绘示的手势辨识方法流程图。
图3A及图3B是依据本发明的一实施例绘示的手势辨识示意图。
图4是依据本发明的一实施例绘示的手势辨识装置的功能方块图。
主要元件符号说明
100：手势辨识装置
110、410：红外线发射器
120、420：取像单元
130、430：存储单元
130_1：检测模块
130_2：识别模块
130_3：调整模块
130_4：启动模块
130_5：辨识模块
300：影像
310：手掌
140、440：处理单元
450：红外线接收器
具体实施方式
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。
图1是依据本发明的一实施例绘示的手势辨识装置的功能方块图。在本实施例中，手势辨识装置100包括红外线发射器110、取像单元120、存储单元130以及处理单元140。红外线发射器110用于发射多个红外线信号。取像单元120例如是任何具有电荷耦合元件(Chargecoupleddevice，CCD)镜头、互补式金属氧化半导体(Complementarymetalo×idesemiconductor，CMOS)镜头或红外线镜头的摄影机，亦可以是可取得深度信息的影像获取设备，例如是深度摄影机(depthcamera)或立体摄影机，但本发明的可实施方式不限于此。在本实施例中，取像单元120可用于接收反射后的所述多个红外线信号。
存储单元130例如是存储器、硬盘或是其他任何可用于存储数据的元件，而可用以记录多个程序或数据。
处理单元140连接红外线发射器110、取像单元120以及存储单元130。处理单元140例如是一般用途处理器、特殊用途处理器、传统的处理器、数字信号处理器、微处理器(microprocessor)、一个或多个结合数字信号处理器核心的微处理器、控制器、微控制器、特殊应用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、场可程式闸阵列电路(FieldProgrammableGateArray，FPGA)、任何其他种类的集成电路、状态机、基于进阶精简指令集机器(AdvancedRISCMachine，ARM)的处理器以及类似品。
在本实施例中，处理单元140可存取存储单元130所存储的检测模块130_1、识别模块130_2、调整模块130_3、启动模块130_4以及辨识模块130_5以执行本发明提出的手势辨识方法的各个步骤。
图2是依据本发明的一实施例绘示的手势辨识方法流程图。本实施例提出的方法可由图1的电子装置100执行，以下即搭配图1的各个元件来说明本方法的详细步骤。
在步骤S210中，检测模块130_1可基于第一红外线信号检测预设范围中是否出现物体。第一红外线信号例如是由取像单元120所接收的反射后的所述多个红外线信号，而所述预设范围例如是与取像单元120相距一特定距离(例如50公分)内的范围，或是取像单元120的取像角度范围。当所述预设范围内出现物体时，由于其将使得第一红外线信号的信号强度产生变化(例如增强)，因而可让检测模块130_1检测到此物体的出现。
接着，在步骤S220中，当预设范围中出现物体时，识别模块130_2可依据第一红外线信号的信号强度识别物体的目前位置。并且，在步骤S230中，调整模块130_3可基于物体目前位置调整取像单元120的影像获取范围。所述影像获取范围的大小可依据取像单元120的清晰度而有所不同。
在一实施例中，假设所述物体为人体，则识别模块130_2可对此人体执行人脸辨识机制以辨识人脸位置。接着，调整模块130_3可以此人脸位置中的参考点(例如中心点)作为取像单元120的影像获取范围的数据中心点而调整取像单元的取像角度，而此调整模块130_3例如可进一步包括马达以驱使取像单元120转动其取像角度以正对该参考点。举例而言，假设所述影像获取范围的大小为640×480，则调整后的影像获取范围例如是以所述参考点为中心的一个大小为640×480的长方形区域，但本发明的可实施方式不限于此。亦即，手势辨识装置100可适应性地依据所检测到的物体所在位置而移动影像获取范围。如此一来，使用者能够对手势辨识装置100输入手势的范围即可有效地扩展，而不会被局限在特定区域。
在步骤S240中，取像单元持续获取影像获取范围内包含该物体的影像以及红外线发射器119所发出的红外线被该物体反射后的第二红外线信号。
之后，在步骤S250中，当在影像获取范围内有前述物体存在时，启动模块130_4将启动辨识模块130_5进行辨识作业，亦即辨识模块130_5可依据取像单元120在影像获取范围内所获取的所述多个影像以及多个第二红外线信号来辨识影像获取范围内的手势。
在一第一实施例中，辨识模块130_5可基于所述多个第二红外线信号来辨识所述手势为深度位移方向的推手势或是拉手势。具体而言，假设所述多个第二红外线信号对应于多个时间点，则辨识模块130_5可判断所述多个第二红外线信号中的第t个第二红外线信号与第(t+1)个第二红外线信号之间的信号强度差的绝对值是否大于预设门限值，其中t为正整数。
当此绝对值大于预设门限值时，辨识模块130_5可判断所述第(t+1)个第二红外线信号的信号强度是否维持一预设时间(例如0.5秒)。若是，辨识模块130_5可判断所述第(t+1)个第二红外线信号的信号强度是否大于所述第t个第二红外线信号的信号强度。若是，辨识模块130_5可辨识该手势为一推手势；若否，辨识模块130_5可辨识该手势为一拉手势。
简言之，当连续的两个第二红外线信号的信号强度差距的绝对值过大且已维持预设时间时，辨识模块130_5可判断此时已检测到一推手势或一拉手势。接着，辨识模块130_5可进一步判断所述两个第二红外线信号中的哪一个具有较高的信号强度。若第(t+1)个第二红外线信号的信号强度较高，则判断此时所检测到的手势为推手势，反之则判断为拉手势。
在一第二实施例中，辨识模块130_5可基于所述多个影像来辨识所述手势的手势移动方向是向上、向下、向左或是向右的横向位移方向。具体而言，辨识模块130_5可辨识出现于所述影像中的移动物体，并在此移动物体上定义多个特征点。
在本实施例中，当辨识模块130_5在辨识出现于所述多个影像中的移动物体时，辨识模块130_5可先依据例如高斯混合模型(Gaussianmixturemodel，GMM)的原理来基于所述多个影像建立背景模型，但本发明可不限于此。接着，辨识模块130_5可产生所述多个影像的多个灰阶图，其中所述多个灰阶图中的第k个灰阶图对应于所述多个影像中的第k个影像(k为正整数)。之后，对于所述多个灰阶图中的第(k+1)个灰阶图以及第k个灰阶图而言，辨识模块130_5可将第(k+1)个灰阶图减去第k个灰阶图以产生灰阶差值图。
当第(k+1)个影像以及第k个影像中存在移动物体时，将对应地使得所述灰阶差值图中出现对应于此移动物体的特征(例如轮廓、形状等)，因此，辨识模块130_5即可从所述灰阶差值图中找出此移动物体。在其他实施例中，当所述多个影像中的前景(例如所述移动物体)在背景模型中的比例大于预设门限值(例如70％)时，手势辨识装置100可停止辨识手势。
在找出所述移动物体之后，辨识模块130_5可在此移动物体上定义多个特征点，例如角点、轮廓、尺度不变特征转换(Scale-invariantfeaturetransform，SIFT)特征点及/或加速强健特征(speeded-uprobustfeatures，SURF)特征点等，但本发明的可实施方式不限于此。接着，辨识模块130_5可取得所述多个特征点在所述多个影像中的多个估计移动距离。
举例而言，假设第i个特征点消失于第n张影像(i及n皆为正整数)，且第i个特征点在第(n-2)及第(n-1)张影像之间的移动距离为Δd(其为任意实数)，则第i个特征点在这n张影像中的估计移动距离可表示为n×Δd。
接着，在一实施例中，辨识模块130_5可基于所述多个估计移动距离从所述多个特征点中找出多个强健特征点。具体而言，当对应于第i个特征点的第i个估计移动距离大于预设距离门限值时，辨识模块130_5可定义所述第i个特征点为一个强健特征点。在从所述多个特征点中找出所有的强健特征点之后，辨识模块130_5可基于这些强健特征点进行后续的手势辨识操作。如此一来，即可避免噪声(即，估计移动距离小于预设距离门限值的特征点)对后续的手势辨识操作造成负面的影响。
之后，辨识模块130_5可取得各个强健特征点的多个位移参数，并依据各强健特征点的所述多个位移参数定义所述多个强健特征点的多个移动方向。
在一实施例中，假设第j个(j为正整数)强健特征点的位移参数包括在所述多个影像中的水平位移总距离(以Dx表示)、垂直位移总距离(以Dy表示)、水平移动起始点(以Px1表示)、水平移动终点(以Pxn表示)、垂直移动起始点(以Py1表示)以及垂直移动终点(以Pyn表示)。在此假设下，当辨识模块130_5在判断对应于第j个强健特征点的第j个移动方向时，辨识模块130_5可先判断Dx是否大于Dy。当Dx大于Dy时，辨识模块130_5可判断Px1是否大于Pxn。若是，辨识模块130_5可定义所述第j个移动方向为向左方向；若否，辨识模块130_5可定义所述第j个移动方向为向右方向。
另一方面，当Dx不大于Dy时，辨识模块130_5可判断Py1是否大于Pyn。若是，辨识模块130_5可定义所述第j个移动方向为向上方向；若否，辨识模块130_5可定义所述第j个移动方向为向下方向。
当辨识模块130_5依据前述教示找出所有强健特征点的移动方向之后，辨识模块130_5可统计这些移动方向中的向上方向、向下方向、向左方向以及向右方向个别的数量。并且，辨识模块130_5可定义这些方向中具有最高数量的方向作为手势的手势移动方向。
虽然本发明对于第一实施例及第二实施例是分开进行说明，但本领域具通常知识者应可了解，第一实施例及第二实施例亦可同时进行运作，以达到具有更佳自由度的手势辨识机制。
图3A及图3B是依据本发明的一实施例绘示的手势辨识示意图。请参照图3A，在本实施例中，当使用者以手掌310在手势辨识装置100的预设范围内挥动时，手势辨识装置100中的取像单元120的影像获取功能持续地获取影像300，并在识别模块130_2检测到有此手掌310存在时调整获取影像范围面对此手掌310，并且由启动模块103_4启动辨识模块130_5。
接着，在使用者将手掌310移动至图3B所示位置的过程中，辨识模块130_5可基于此过程中所获取到的多张影像来将手掌310判定为移动物体，并在手掌上定义多个强健特征点(以黑点表示)。由于图3B所示的强健特征点的移动方向大部分为向左方向，因此辨识模块130_5可对应地将使用者手势的手势移动方向为向左方向。
在其他实施例中，当手势辨识装置100被配置于其他的电子装置(例如广告看板装置、电视等)中时，手势辨识装置100即可将其辨识的手势移动方向信息提供给此电子装置，以让此电子装置据以进行对应的操作。举例而言，手势辨识装置100将图3B中的辨识结果提供给广告看板装置时，广告看板装置可对应地将显示画面进行翻页或是卷动等操作。另外，当手势辨识装置100判断使用者输入推手势或拉手势时，广告看板装置可对应地执行选取或是退出等操作，但本发明可不限于此。
图4是依据本发明的一实施例绘示的手势辨识装置的功能方块图。在本实施例中，手势辨识装置400包括红外线发射器410、取像单元420、存储单元430、处理单元440以及红外线接收器450。红外线发射器410、取像单元420、存储单元430及处理单元440的细节及运作方式可参照图1中红外线发射器110、取像单元120、存储单元130的处理单元140的相关说明，在此不再赘述。
不同于图1的是，手势辨识装置400还包括连接至处理单元440的红线接收器450，其可用于接收反射后的所述多个第二红外线信号。也就是说，取像单元420可以不需负责接收反射后的所述多个第二红外线信号，因而可等到在预设范围内检测到物体时再启动即可。
更具体而言，由于图1中的取像单元120需负责持续接收影像以及反射后的所述多个第二红外线信号，以判断是否有物体进入该预设范围内，因此包括处理单元140等系统的耗能可能会较多些。然而，由于图4的手势辨识装置400可由红外线接收器450负责接收反射后的所述多个第二红外线信号，而是在影像获取范围检测到有该物体后，才由启动模块130_4启动取像单元420进行影像的获取作业以及辨识模块130_5的辨识作业，因此取像单元420在手势辨识装置400检测到预设范围内的物体之前，取像单元420可不需运作。如此一来，手势辨识装置400的电力即可进一步地节省。
综上所述，本发明实施例提出的手势辨识方法及其装置可在通过第一红外线信号检测到出现于预设范围内的物体之后，依据物体的目前位置调整取像单元的影像获取范围，并持续或是依检测到物体的存在而启动取像单元的影像获取功能。之后，所提出的手势辨识方法及其装置可依据第二红外线信号以及所获取到的影像来辨识影像获取范围内的手势。如此一来，使用者输入手势的位置及方式的限制性即可大幅降低。并且，由于物体与手势辨识装置的距离较近，因此可降低环境对于后续手势辨识机制的影响，进而提高手势辨识的正确率。
虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视权利要求所界定者为准。

Claims (18)

1.一种手势辨识方法，适于具有一取像单元的一手势辨识装置，其特征在于，包括：
基于发射一红外线被反射而取得的一第一红外线信号检测一预设范围中是否出现一物体；
当该预设范围中出现该物体时，获取包含该物体的多个影像以及反射该红外线所取得的多个第二红外线信号；以及
辨识所述影像以取得该预设范围内该物体的一手势的一横向位移方向，以及辨识所述第二红外线信号以取得该预设范围内该手势的一深度位移方向。
2.如权利要求1所述的手势辨识方法，其特征在于，
当在该预设范围中出现该物体时，依据该第一红外线信号的一信号强度识别该物体的一目前位置；以及
基于该目前位置调整一影像获取范围面对该物体以获取所述影像及所述第二红外线信号。
3.如权利要求2所述的手势辨识方法，其特征在于，该物体为一人体，且基于该目前位置调整该取像单元的该影像获取范围的步骤包括：
对该人体执行一人脸辨识机制以辨识一人脸位置；以及
以该人脸位置中的一参考点作为该影像获取范围的一数据中心点。
4.如权利要求1所述的手势辨识方法，其特征在于，依据所述第二红外线信号辨识该影像获取范围内的该手势的深度位移方向的步骤包括：
判断所述第二红外线信号中的第t个第二红外线信号与第(t+1)个第二红外线信号之间的一信号强度差的一绝对值是否大于一预设门限值；
当该绝对值大于该预设门限值时，判断所述第(t+1)个第二红外线信号的信号强度是否维持一预设时间；
当所述第(t+1)个第二红外线信号的信号强度维持该预设时间时，判断所述第(t+1)个第二红外线信号的信号强度是否大于所述第t个第二红外线信号的信号强度；
若是，辨识该手势为一推手势；以及
若否，辨识该手势为一拉手势。
5.如权利要求1所述的手势辨识方法，其特征在于，依据所述影像辨识该影像获取范围内的该手势的横向位移方向的步骤包括：
辨识出现于所述影像中的一移动手掌，并在该移动手掌上定义多个特征点；
取得所述特征点在所述影像中的多个估计移动距离；
基于所述估计移动距离从所述特征点中找出多个强健特征点；
取得各所述强健特征点在所述影像中的多个位移参数；
依据各所述强健特征点的所述位移参数定义所述强健特征点的多个移动方向；以及
依据所述强健特征点的多个移动方向决定该手势的一手势移动方向。
6.如权利要求5所述的手势辨识方法，其特征在于，所述灰阶图中的第k个灰阶图对应于所述影像中的第k个影像，且辨识出现于所述影像中的该移动物体的步骤包括：
基于所述影像建立一背景模型；
产生所述影像的多个灰阶图；
对于第(k+1)个灰阶图以及第k个灰阶图而言，将所述第(k+1)个灰阶图减去所述第k个灰阶图以产生一灰阶差值图；以及
从该灰阶差值图中找出该移动手掌。
7.如权利要求5所述的手势辨识方法，其特征在于，所述特征点中的第i个特征点对应于所述估计移动距离中的第i个估计移动距离，且基于所述估计移动距离从所述特征点中找出所述强健特征点的步骤包括：
当所述第i个估计移动距离大于一预设距离门限值时，定义所述第i个特征点为所述强健特征点的其中之一。
8.如权利要求5所述的手势辨识方法，其特征在于，所述强健特征点中的第j个强健特征点的所述位移参数包括在所述影像中的一水平位移总距离、一垂直位移总距离、一水平移动起始点、一水平移动终点、一垂直移动起始点以及一垂直移动终点，且所述第j个强健特征点对应于所述移动方向中的第j个移动方向，
其中，依据各该强健特征点的所述位移参数定义所述强健特征点的所述移动方向的步骤包括：
对于所述第j个强健特征点而言，判断该水平位移总距离是否大于该垂直位移总距离；
当该水平位移总距离大于该垂直位移总距离时，判断该水平移动起始点是否大于该水平移动终点
若是，定义所述第j个移动方向为一向左方向；
若否，定义所述第j个移动方向为一向右方向；
当该水平位移总距离不大于该垂直位移总距离时，判断该垂直移动起始点是否大于该垂直移动终点；
若是，定义所述第j个移动方向为一向上方向；以及
若否，定义所述第j个移动方向为一向下方向。
9.如权利要求8所述的手势辨识方法，其特征在于，依据所述强健特征点的所述移动方向决定该手势的该手势移动方向的步骤包括：
统计所述移动方向中的该向上方向、该向下方向、该向左方向以及该向右方向个别的一数量；以及
定义所述移动方向中具有一最高数量的方向为该手掌的该手势移动方向。
10.如权利要求6所述的手势辨识方法，其特征在于，还包括：
当所述影像中的一前景在该背景模型中的一比例大于一预设门限值时，停止辨识该手势。
11.如权利要求1所述的手势辨识方法，其特征在于，该手识辨识装置包括有用以发射该红外线的一红外线发射器以及用以持续获取该影像与该第二红外线信号的一取像单元，并且当在该预设范围内检测到该物体存在时，才启动对该影像与该第二红外线信号进行所述辨识步骤。
12.如权利要求1所述的手势辨识方法，其特征在于，该手识辨识装置包括有用以发射该红外线的一红外线发射器、用以接收该第一红外线信号与所述第二红外线信号的一红外线接收器、以及用以获取该影像与所述第二红外线信号的一取像单元，并且当在该预设范围内检测到该物体存在时，才启动该取像单元获取该影像与所述第二红外线信号。
13.一种手势辨识装置，其特征在于，包括：
一红外线发射器，发送多个红外线信号；
一取像单元，用以接收一第一红外线信号、多个第二红外线信号以及获取多个影像，其中该第一红外线信号以及所述第二红外线信号个别为反射后的所述红外线信号的其中之一；
一存储单元，存储多个模块；以及
一处理单元，连接该取像单元、该红外线发射器以及该存储单元，存取并执行所述模块，所述模块包括：
一检测模块，基于一第一红外线信号检测一预设范围中是否出现一物体；
以及
一辨识模块，用以辨识所述影像以取得该预设范围内该物体的一手势的一横向位移方向，以及辨识所述第二红外线信号以取得该预设范围内该手势的一深度位移方向。
14.如权利要求13所述的手势辨识装置，其特征在于，还包括：
一识别模块，当该预设范围中出现该物体时，依据该第一红外线信号的一信号强度识别该物体的一目前位置；
一调整模块，基于该目前位置调整该取像单元的一影像获取范围面对该物体。
15.如权利要求13所述的手势辨识装置，其特征在于，还包括：
一启动模块，用以在该预设范围内检测到该物体存在时，才启动该辨识模块对所述影像与该第二红外线信号进行辨识。
16.一种手势辨识装置，其特征在于，包括：
一红外线发射器，发送多个红外线信号；
一取像单元，用以获取多个影像；
一红外线接收器，接收该第一红外线信号以及所述第二红外线信号，其中该第一红外线信号以及所述第二红外线信号个别为反射后的所述红外线信号的其中之一；
一存储单元，存储多个模块；以及
一处理单元，连接该取像单元、该红外线发射器、该红外线接收器以及该存储单元，存取并执行所述模块，所述模块包括：
一检测模块，基于该第一红外线信号检测一预设范围中是否出现一物体；以及
一辨识模块，用以辨识所述影像以取得该预设范围内该物体的一手势的一横向位移方向，以及辨识所述第二红外线信号以取得该预设范围内该手势的一深度位移方向。
17.如权利要求16所述的手势辨识装置，其特征在于，还包括：
一识别模块，当该预设范围中出现该物体时，依据该第一红外线信号的一信号强度识别该物体的一目前位置；
一调整模块，基于该目前位置调整该取像单元的一影像获取范围面对该物体。
18.如权利要求16所述的手势辨识装置，其特征在于，还包括：
一启动模块，用以在该预设范围内检测到该物体存在时，才启动该取像单元获取所述影像。
CN201410724870.3A 2014-11-17 2014-12-03 手势辨识方法及其装置 Active CN105718031B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW103139764 2014-11-17
TW103139764A TWI540462B (zh) 2014-11-17 2014-11-17 手勢辨識方法及其裝置

Publications (2)

Publication Number Publication Date
CN105718031A true CN105718031A (zh) 2016-06-29
CN105718031B CN105718031B (zh) 2018-11-27

Family

ID=55961981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410724870.3A Active CN105718031B (zh) 2014-11-17 2014-12-03 手势辨识方法及其装置

Country Status (3)

Country Link
US (1) US9576193B2 (zh)
CN (1) CN105718031B (zh)
TW (1) TWI540462B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106940528A (zh) * 2017-02-27 2017-07-11 深圳市朗空亿科科技有限公司 一种基于智能设备的手势控制方法和系统
CN107357431A (zh) * 2017-07-14 2017-11-17 信利光电股份有限公司 一种实现三维触控功能的触控显示装置及方法
CN108520236A (zh) * 2018-04-09 2018-09-11 迪蒙智慧交通（深圳）有限公司 驶入及驶出车辆信息采集方法、装置及车辆信息处理系统
CN108647564A (zh) * 2018-03-28 2018-10-12 安徽工程大学 一种基于平开窗装置的手势识别系统及方法
CN109032354A (zh) * 2018-07-24 2018-12-18 Oppo（重庆）智能科技有限公司 电子装置及其手势识别方法、计算机可读存储介质
CN109246525A (zh) * 2018-11-06 2019-01-18 西安Tcl软件开发有限公司 基于手势的耳机控制方法、装置及头戴式耳机
CN111443813A (zh) * 2020-04-08 2020-07-24 维沃移动通信有限公司 应用程序管理操作方法、装置、电子设备及存储介质
CN115237258A (zh) * 2022-08-04 2022-10-25 南昌黑鲨科技有限公司 一种vr系统及vr虚拟现实设备

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI625678B (zh) * 2017-06-21 2018-06-01 鴻海精密工業股份有限公司 電子設備及其手勢識別方法
CN111603072A (zh) * 2019-02-22 2020-09-01 合盈光电（深圳）有限公司 以手势驱动的调理机
US11520409B2 (en) * 2019-04-11 2022-12-06 Samsung Electronics Co., Ltd. Head mounted display device and operating method thereof
TWI709894B (zh) * 2019-12-23 2020-11-11 大陸商北京集創北方科技股份有限公司 手勢特徵處理方法及利用其之觸控模組
CN111522446B (zh) * 2020-06-09 2023-10-03 宁波视睿迪光电有限公司 基于多点tof的手势识别方法及装置
CN111766947A (zh) * 2020-06-30 2020-10-13 歌尔科技有限公司 一种显示方法、装置、可穿戴设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020057383A1 (en) * 1998-10-13 2002-05-16 Ryuichi Iwamura Motion sensing interface
TW201000179A (en) * 2008-06-25 2010-01-01 Cywee Group Ltd Electron game control device and method capable of sensing the image of user's body
TW201019241A (en) * 2008-11-14 2010-05-16 Topseed Technology Corp Method for identifying and tracing gesture
TW201351308A (zh) * 2012-06-15 2013-12-16 Sheng-Fang Huang 非接觸式醫療導覽系統及其控制方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7406214B2 (en) * 1999-05-19 2008-07-29 Digimarc Corporation Methods and devices employing optical sensors and/or steganography
US8773352B1 (en) 2008-07-16 2014-07-08 Bby Solutions, Inc. Systems and methods for gesture recognition for input device applications
US9459697B2 (en) * 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US10042510B2 (en) * 2013-01-15 2018-08-07 Leap Motion, Inc. Dynamic user interactions for display control and measuring degree of completeness of user gestures
TWM474185U (zh) 2013-12-13 2014-03-11 Zun-Hong Cai 遠距手勢操控系統
CN103780761A (zh) 2014-01-23 2014-05-07 深圳市欧珀通信软件有限公司 一种控制红外设备的方法及装置
US20160117076A1 (en) * 2014-10-22 2016-04-28 Lg Electronics Inc. Mobile terminal and control method thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020057383A1 (en) * 1998-10-13 2002-05-16 Ryuichi Iwamura Motion sensing interface
TW201000179A (en) * 2008-06-25 2010-01-01 Cywee Group Ltd Electron game control device and method capable of sensing the image of user's body
TW201019241A (en) * 2008-11-14 2010-05-16 Topseed Technology Corp Method for identifying and tracing gesture
TW201351308A (zh) * 2012-06-15 2013-12-16 Sheng-Fang Huang 非接觸式醫療導覽系統及其控制方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106940528A (zh) * 2017-02-27 2017-07-11 深圳市朗空亿科科技有限公司 一种基于智能设备的手势控制方法和系统
CN106940528B (zh) * 2017-02-27 2020-06-09 深圳市朗空亿科科技有限公司 一种基于智能设备的手势控制方法和系统
CN107357431A (zh) * 2017-07-14 2017-11-17 信利光电股份有限公司 一种实现三维触控功能的触控显示装置及方法
CN108647564A (zh) * 2018-03-28 2018-10-12 安徽工程大学 一种基于平开窗装置的手势识别系统及方法
CN108520236A (zh) * 2018-04-09 2018-09-11 迪蒙智慧交通（深圳）有限公司 驶入及驶出车辆信息采集方法、装置及车辆信息处理系统
CN109032354A (zh) * 2018-07-24 2018-12-18 Oppo（重庆）智能科技有限公司 电子装置及其手势识别方法、计算机可读存储介质
CN109032354B (zh) * 2018-07-24 2021-05-07 Oppo（重庆）智能科技有限公司 电子装置及其手势识别方法、计算机可读存储介质
CN109246525A (zh) * 2018-11-06 2019-01-18 西安Tcl软件开发有限公司 基于手势的耳机控制方法、装置及头戴式耳机
CN111443813A (zh) * 2020-04-08 2020-07-24 维沃移动通信有限公司 应用程序管理操作方法、装置、电子设备及存储介质
CN115237258A (zh) * 2022-08-04 2022-10-25 南昌黑鲨科技有限公司 一种vr系统及vr虚拟现实设备

Also Published As

Publication number Publication date
US20160140384A1 (en) 2016-05-19
CN105718031B (zh) 2018-11-27
TWI540462B (zh) 2016-07-01
TW201619752A (zh) 2016-06-01
US9576193B2 (en) 2017-02-21

Similar Documents

Publication Publication Date Title
CN105718031A (zh) 手势辨识方法及其装置
CN109344793B (zh) 用于识别空中手写的方法、装置、设备以及计算机可读存储介质
JP7004017B2 (ja) 物体追跡システム、物体追跡方法、プログラム
JP6392468B2 (ja) 領域認識方法及び装置
US10242294B2 (en) Target object classification using three-dimensional geometric filtering
CN112528831B (zh) 多目标姿态估计方法、多目标姿态估计装置及终端设备
CN110959160A (zh) 一种手势识别方法、装置及设备
KR101364571B1 (ko) 영상 기반의 손 검출 장치 및 그 방법
CN111814752B (zh) 室内定位实现方法、服务器、智能移动设备、存储介质
CN103164022B (zh) 多指触摸方法和装置、便携式终端设备
CN107710280B (zh) 对象可视化方法
CN103946863A (zh) 基于动态姿态的短距离人机交互
CN103105924B (zh) 人机交互方法和装置
CN111602139A (zh) 图像处理方法、装置、控制终端及可移动设备
CN105426658A (zh) 一种车辆预启动方法及相关装置
CN103810708A (zh) 一种激光散斑图像深度感知方法及装置
EP2996067A1 (en) Method and device for generating motion signature on the basis of motion signature information
US20120155719A1 (en) Apparatus and method for detecting upper body
EP4080470A2 (en) Method and apparatus for detecting living face
CN106470277A (zh) 一种安全提示方法及装置
CN103955682A (zh) 基于surf兴趣点的行为识别方法及装置
CN111630568A (zh) 电子装置及其控制方法
CN104112112A (zh) 识别动作的方法及其装置
CN108833774A (zh) 拍照控制方法、装置和无人机系统
US20160140762A1 (en) Image processing device and image processing method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant