CN109144236A - 手势识别方法以及手势识别模块 - Google Patents

手势识别方法以及手势识别模块 Download PDF

Info

Publication number
CN109144236A
CN109144236A CN201710573633.5A CN201710573633A CN109144236A CN 109144236 A CN109144236 A CN 109144236A CN 201710573633 A CN201710573633 A CN 201710573633A CN 109144236 A CN109144236 A CN 109144236A
Authority
CN
China
Prior art keywords
gesture
user
judging
far
finger number
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710573633.5A
Other languages
English (en)
Other versions
CN109144236B (zh
Inventor
朱庭锋
陈裕彦
邱志豪
徐佑钧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wistron Corp
Original Assignee
Wistron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wistron Corp filed Critical Wistron Corp
Publication of CN109144236A publication Critical patent/CN109144236A/zh
Application granted granted Critical
Publication of CN109144236B publication Critical patent/CN109144236B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

手势识别方法以及手势识别模块。该手势识别方法包含有判断一物件于该多个图像画面中停留的时间是否大于一特定时间；当该物件于该多个图像画面中停留的时间大于该特定时间时，判断对应于该物件的一手指个数，以产生一手指个数判断结果，以及判断该物件是否远离一感光单元，以产生一物件远离判断结果；以及根据该手指个数判断结果以及该物件远离判断结果，判断一使用者的一手势。

Description

手势识别方法以及手势识别模块
技术领域
本发明涉及一种手势识别方法以及手势识别模块，尤其涉及一种可防止不同手势之间的误触发或误判断的手势识别方法以及手势识别模块。
背景技术
手势辨识的操作方便性，使得手势辨识技术受到业界的重视。目前能够辨识手势的镜头有远距离镜头与近距离镜头两种，远距离镜头可设置于使用者前方而与使用者面对面，如设置于电视或游戏机，而近距离镜头可设置于使用者身上的穿戴装置。两种距离的镜头虽然都可以辨识手势，但距离与位置不同，能取得的手势信息与使用习惯当然不同，导致这两种距离会有不同的手势。
随着虚拟实境(Virtual Reality，VR)装置的开发，近距离镜头可装设于VR装置上。以装设于VR装置上的近距离镜头来说，由于镜头通常会与使用者一同移动，导致不易判断手掌的移动信息，而不易判断使用者的动态手势。另外，当使用者的手势为动态时，时常造成已知手势辨识技术有误触或误判断的情况。
因此，已知技术实有改善的必要。
发明内容
因此，本发明的主要目的即在于提供一种可防止不同手势之间的误触发或误判断的手势识别方法以及手势识别模块，以改善已知技术的缺点。
本发明公开一种手势识别方法，应用于一手势识别模块，用来判断一使用者的一手势，其中该手势识别装置包含一感光单元，该感光单元产生多个图像画面，该手势识别方法包含有判断该多个图像画面中一物件于该多个图像画面中停留的时间是否大于一特定时间；当该物件于该多个图像画面中停留的时间大于该特定时间时，判断对应于该物件的一手指个数，以产生一手指个数判断结果，以及判断该物件是否远离该感光单元，以产生一物件远离判断结果；以及根据该手指个数判断结果以及该物件远离判断结果，判断该使用者的该手势。
本发明公开一种手势识别模块，包含有一发光单元，用来发射一入射光；一感光单元，用来接收对应于该入射光的一反射光，并根据该反射光，产生多个图像画面(Frame)；一判断单元，耦接于该感光单元，用来判断该多个图像画面中一物件于该多个图像画面中停留的时间是否大于一特定时间；当该物件于该多个图像画面中停留的时间大于该特定时间时，判断对应于该物件的一手指个数，以产生一手指个数判断结果，以及判断该物件是否远离该感光单元，以产生一物件远离判断结果；以及根据该手指个数判断结果以及该物件远离判断结果，判断该使用者的该手势。
附图说明
图1为本发明实施例一手势识别模块的功能方块示意图。
图2为图1的10设置于一电子装置的外观示意图。
图3为本发明实施例一手势识别流程的示意图。
图4为本发明实施例一二值化图像的示意图。
图5为本发明实施例轮廓像素值与旋转角度的对应关系图。
图6为本发明实施例一手指个数判断流程的示意图。
图7为本发明实施例一二值化图像的示意图。
图8为本发明实施例一侧边上下晃动动作的示意图。
图9为本发明实施例一二值化图像的示意图。
图10为本发明实施例二值化图像的示意图。
【符号说明】
10 手势识别模块
12 电子装置
14 发光单元
16 感光单元
18 判断单元
30、60 流程
300～350、602～612 步骤
a、b 点
Bax 基准轴
Bx 外框
Bx_cnt 外框中心
FOP 最远物件像素
vcl 中央垂直切割线
旋转角度
具体实施方式
请参考图1及图2，图1为本发明实施例一手势识别模块10的功能方块示意图，图2为本发明实施例手势识别模块10设置于一电子装置12的外观示意图。手势识别模块10耦接于电子装置12，电子装置12可为一虚拟实境(Virtual Reality，VR)装置，手势识别模块10可设置于电子装置12前方，当使用者穿戴电子装置12时，手势识别模块10可辨识使用者的手势，而电子装置12可针对手势识别模块10所辨识的使用者手势，进行相关运算或操作。
详细来说，手势识别模块10包含一发光单元14、一感光单元16以及一判断单元18，发光单元14用来发射一入射光，其可为一不可见光发光元件，如一红外线发光二极管(Light Emitting Diode，LED)。感光单元16用来接收对应于发光单元14的入射光的一反射光，其可包含一镜头以及不可见光感光元件(如红外线感光二极管(Photo Diode))。换句话说，感光单元16可根据对应于发光单元14的入射光的反射光，产生多个图像画面(Frame)FR。判断单元18耦接于感光单元16以接收多个图像画面FR，并根据多个图像画面FR，判断使用者的手势。当判断单元18完成使用者手势的辨识后，判断单元18可产生手势辨识结果至电子装置12，电子装置12可针对手势识别模块10所辨识的使用者手势，进行相关运算或操作。
关于判断单元18根据多个图像画面FR判断使用者手势的操作，请参考图3，图3为本发明实施例一手势识别流程30的示意图。手势识别流程30由判断单元18来执行，其包含以下步骤：
步骤300：接收一图像画面FRi。
步骤301：判断一延迟标志DLF是否为1？若是，执行步骤350；若否，执行步骤302。
步骤302：判断图像画面FRi中是否具有一物件OBJ？若是，执行步骤304；若否，执行步骤350。
步骤304：取得对应于图像画面FRi的一二值化图像BFRi、物件OBJ于二值化图像BFRi的一外框Bx以及外框Bx的一外框中心Bx_cnt。
步骤306：判断物件OBJ于多个图像画面FR中停留的时间是否大于一特定时间？若是，执行步骤307；若否，执行步骤350。
步骤307：判断对应于物件OBJ的一手指个数fgr_no。
步骤308：判断手指个数fgr_no是否为1？若是，执行步骤310；若否，执行步骤320。
步骤310：判断使用者的手势对应于一单指游标操作。
步骤312：判断物件OBJ是否远离感光单元16？若是，执行步骤314；若否，执行步骤350。
步骤314：判断使用者的手势对应于一单指游标点击操作。
步骤316：将延迟标志DLF于一时间t1之内设为1，时间t1后延迟标志DLF为0。
步骤320：根据外框中心Bx_cnt，计算物件OBJ的一移动轨迹TRK。
步骤322：根据物件OBJ的移动轨迹TRK，判断物件OBJ是否为静止？若是，执行步骤324；若否，执行步骤330。
步骤324：判断物件OBJ于二值化图像BFRi中是否由水平方向进入图像画面FRi？若是，执行步骤326；若否，执行步骤328。
步骤326：判断使用者的手势为一侧边上下晃动动作。
步骤328：判断使用者的手势为一右侧举手动作或一左侧举手动作。
步骤330：判断物件OBJ是否远离感光单元16？若是，执行步骤332；若否，执行步骤336。
步骤332：判断该使用者的手势为一外推动作。
步骤334：将延迟标志DLF于一时间t2之内设为1，时间t2后延迟标志DLF为0。
步骤336：判断物件OBJ是否进行垂直等速移动？若是，执行步骤338；若否，执行步骤340。
步骤338：判断使用者的手势为一向上等速移动动作或一向下等速移动动作。
步骤340：判断物件OBJ是否进行左右摆动？若是，执行步骤342；若否，执行步骤344。
步骤342：判断使用者的手势为一左右摆动动作(Swing)。
步骤344：判断使用者的手势为一顺时针挥动动作或一逆时针挥动动作。
步骤350：令i＝i+1，并执行步骤300。
图3所示的手势识别流程30为以图像画面为基础(Frame-based)的手势识别流程，换句话说，当判断单元18自感光单元16接收多个图像画面FR中一图像画面FRi时，判断单元18执行一次手势识别流程30；当判断单元18自感光单元16接收下一图像画面FRi+1时，判断单元18再执行一次手势识别流程30，依此类推，直到手势识别模块10不再根据图像画面FR进行手势辨识为止。
利用手势识别流程30，判断单元18可根据多个图像画面FR判断使用者的手势是否为侧边上下晃动动作、右侧举手动作、左侧举手动作、外推动作、向上等速移动动作、向下等速移动动作、左右摆动动作、顺时针挥动动作或逆时针挥动动作。另外，判断单元18可根据多个图像画面FR判断使用者的手势是否对应单指游标操作或单指游标点击操作。根据手势识别流程30，本发明可防止不同动作之间的误触或误判断，进一步增加手势识别的正确性，避免电子装置12进行错误的操作。
在步骤302中，判断单元18判断图像画面FRi中是否具有物件OBJ。详细来说，在一实施例中，判断单元18可根据图像画面FRi中对应于不可见光(如红外线)的像素值，判断图像画面FRi中是否具有物件OBJ。在一实施例中，当图像画面FRi中一区块(对应于不可见光)的像素值皆大于一特定值时，判断单元18可判断图像画面FRi具有物件OBJ。
当判断单元18判断图像画面FRi具有物件OBJ时，在步骤304中，判断单元18可对图像画面FRi进行一二值化(Binarization)图像处理以及一侵蚀(Erosion)图像处理，以取得对应于图像画面FRi---的二值化图像BFRi，其中，二值化图像BFRi每个像素的像素值非黑即白。举例来说，请参考图4，图4为一二值化图像BFR的示意图。二值化图像BFR中多个白色像素可代表对应于物件OBJ的图像，即白色像素可代表物件像素，而其余多个黑色像素可代表物件OBJ所处环境的图像，即黑色像素可代表环境像素。在一实施例中，对应于白色像素的像素值可为255，而对应于黑色像素的像素值可为0。另外，在步骤304中，判断单元18取得二值化图像BFRi中物件OBJ的外框Bx以及外框Bx的一外框中心Bx_cnt，在一实施例中，外框Bx为包围物件OBJ(包围所有白色像素)的一最小矩形，外框中心Bx_cnt为该最小矩形的一中心坐标。
在步骤306中，判断单元18判断物件OBJ于多个图像画面FR中停留的时间是否大于特定时间(如1秒)。在一实施例中，判断单元18可检视图像画面FRi以及视图像画面FRi之前的N张图像画面(即检视多个图像画面FR中的图像画面FRi-N+1～FRi)，判断图像画面FRi-N+1～FRi中是否皆具有物件OBJ，其中对应于图像画面FRi-N+1～FRi的时间差为该特定时间。从另一个角度来说，在一实施例中，判断单元18可根据物件OBJ留在多个图像画面FR的画面张数来判断物件OBJ于多个图像画面FR中停留的时间是否大于特定时间，也就是说，当OBJ留在多个图像画面FR的画面张数大于一特定张数N’时，判断单元18即判断物件OBJ于多个图像画面FR中停留的时间大于特定时间。
当物件OBJ停留的时间大于特定时间时，代表使用者欲利用手势来控制电子装置12的操作，故判断单元18先执行步骤307，以判断对应于物件OBJ的手指个数fgr_no。为了使读者容易理解本发明的内容，物件OBJ的手指个数fgr_no泛指于二值化图像BFR中对应于物件图像(即二值化图像BFR中白色像素所形成的图像)的突出部分的个数。当判断单元18进行手势识别时，二值化图像BFR中对应于物件图像的突出部分的个数可被理解成物件OBJ的手指个数fgr_no。另外，判断单元18不限于利用特定方式来判断对应于物件OBJ的手指个数fgr_no，在一实施例中，判断单元18可先于二值化图像BFRi中决定一圆形轮廓(Contour)CCT，圆形轮廓CCT于二值化图像BFRi中所包围的面积大致与二值化图像BFRi中手掌的面积相当，其中圆形轮廓CCT的一轮廓中心(即圆形轮廓CCT的一圆心)可位于外框中心Bx_cnt。另外，位于圆形轮廓CCT上的像素称为轮廓像素，每一轮廓像素可对应一旋转角度其中旋转角度为每一轮廓像素相对于轮廓中心(Bx_cnt)以及圆形轮廓CCT的一基准轴Bax的旋转角度，在此情形下，判断单元18可依照对应于轮廓中心的旋转角度计算于多个轮廓像素的一转换次数，并根据该转换次数，判断对应于物件OBJ的手指个数fgr_no。
详细来说，判断单元18可取得轮廓像素的像素值与旋转角度的对应关系图，如图5所示。轮廓像素的像素值会随着旋转角度而有所不同，举例来说，在图4中圆形轮廓CCT上的一点a对应图5的一旋转角度在图4中圆形轮廓CCT上的一点b对应图5的一旋转角度轮廓像素于点a在旋转角度为顺时针旋转时会由黑转白，其对应的轮廓像素值于点a会由0转换为255，轮廓像素于点b在旋转角度为顺时针旋转时会由白转黑，其对应的轮廓像素值于点b会由255转换为0。当旋转角度为0时，判断单元18可将一转换次数cnt预设为0；当旋转角度于一范围内，其对应的轮廓像素值由0转换为255且由255转换为0时，判断单元18将转换次数cnt加1。在一实施例中，当判断单元18将旋转角度由0旋转至360时，转换次数cnt可代表手指个数fgr_no。
另外，判断单元18不限于利用特定方式来决定圆形轮廓CCT。在一实施例中，判断单元18可计算多个物件像素(即多个白色像素)的一中点C，再取得多个物件像素中距离中点C最远的一最远物件像素FOP，及计算中点C与最远物件像素FOP之间的一距离D，并取得一半径r；判断单元18可决定圆形轮廓CCT为以外框中心Bx_cnt为圆心，并以半径r为半径的圆形轮廓。其中，半径r小于距离D且与距离D之间可具有一特定比值，举例来说，半径r可为距离D的一半，即r＝D/2，而不在此限。
关于判断单元18判断对应于物件OBJ的手指个数fgr_no的操作，可归纳成为一手指个数判断流程60，如图6所示，流程60包含以下步骤：
步骤602：计算多个物件像素的中点C。
步骤604：取得该多个物件像素中距离中点C最远的最远物件像素FOP。
步骤606：计算算中点C与最远物件像素FOP之间的距离D，并取得半径r，其中半径r相关于距离D。
步骤608：取得于二值化图像BFRi中的圆形轮廓CCT，其中圆形轮廓CCT为以外框中心Bx_cnt为圆心，并以半径r为半径的圆形轮廓。
步骤610：依照对应于轮廓中心(即外框中心Bx_cnt为圆心)的旋转角度计算于圆形轮廓CCT的轮廓像素值由0转换为255且由255转换为0的转换次数cnt。
步骤612：根据转换次数cnt，判断该物件的手指个数fgr_no。
当判断单元18判断手指个数fgr_no为1时，在步骤310中，判断单元18判断使用者的手势对应于单指游标操作，此时判断单元18可产生一信号指示电子装置12进行一游标操作。更进一步地，在步骤312中，判断单元18可判断物件OBJ是否远离感光单元16，在一实施例中，判断单元18可根据每一张图像画面FR取得/计算物件OBJ相对于感光单元16的距离/深度，如判断单元18可利用反射光的能量强度判断物件OBJ相对于感光单元16的距离/深度。另外，判断单元18可检视图像画面FRi以及视图像画面FRi之前的K张图像画面(即检视多个图像画面FR中的图像画面FRi-K+1～FRi)中物件OBJ相对于感光单元16的距离是否呈现递增趋势，以判断物件OBJ是否远离感光单元16。
当判断单元18判断物件OBJ远离感光单元16时，在步骤314中，判断单元18判断使用者的手势对应于单指游标点击操作，此时判断单元18可产生一信号指示电子装置12进行一游标点击操作。更进一步地，当判断单元18判断物件OBJ远离感光单元16时，代表使用者的手正在进行一前推的动作，为了避免使用者的手势在回复动作的过程中(例如手在前推之后的收回动作)误触发不必要操作，因此，当判断单元18判断使用者的手势对应于单指游标点击操作后，在步骤316中，判断单元18将延迟标志DLF在时间t1内设为1，而在时间t1之后将延迟标志DLF设为0。如此一来，再次进行步骤301时，判断单元18将不会对时间t1内所接收的图像画面FR进行手势辨识，避免使用者的手势在回复位置/姿势的过程中，误触发不必要的操作。换句话说，判断单元18判断使用者的手势对应于单指游标点击操作后，判断单元18暂停判断使用者的手势。
另一方面，当判断单元18判断手指个数fgr_no不为1时，在步骤320中，判断单元18根据外框中心Bx_cnt，计算物件OBJ的移动轨迹TRK。在一实施例中，判断单元18可记录图像画面FRi-K+1～FRi中对应于物件OBJ的外框中心Bx_cnt，并根据对应于图像画面FRi-K+1～FRi的外框中心Bx_cnt，计算物件OBJ的移动轨迹TRK。在另一实施例中，判断单元18可记录图像画面FRi-K+1～FRi中多个物件像素的中点C，并根据对应于图像画面FRi-K+1～FRi的中点C，计算物件OBJ的移动轨迹TRK。其中，在一实施例中，移动轨迹TRK中可记录有物件OBJ于图像画面FRk-1、FRk之间的一移动动量。
在步骤322中，判断单元18根据物件OBJ的移动轨迹TRK，判断物件OBJ是否为静止。在一实施例中，判断单元18可根据移动轨迹TRK检视图像画面FRi-K+1～FRi中图像画面之间的移动动量是否大于一特定值m；若根据移动轨迹TRK判断图像画面之间的移动动量小于特定值m，判断单元18判断判断物件OBJ为静止。
在步骤324中，判断单元18判断物件OBJ于二值化图像BFRi中是否由水平方向进入图像画面FR-i。在一实施例中，判断单元18可判断二值化图像BFRi中多个物件像素的分布情形；若多个物件像素分布于二值化图像BFRi的一左边缘或一右边缘，而多个物件像素不分布于二值化图像BFRi的一上边缘或一下边缘时，判断单元18可判断物件OBJ由水平方向进入图像画面FRi。请参考图7，图7为本发明实施例一二值化图像BFR的示意图。因在图7中的物件像素分布于二值化图像BFR的右边缘，根据在图7所绘示的二值化图像BFR，判断单元18可判断物件OBJ由水平方向进入图像画面。
当判断单元18判断物件OBJ于二值化图像BFRi中由水平方向进入图像画面FR-i时，在步骤326中，判断单元18可判断使用者的手势为侧边上下晃动动作(如图8所示)，此时判断单元18可产生一信号指示电子装置12进行对应于侧边上下晃动动作的操作。举例来说，当判断单元18判断使用者的手势为一侧边向上晃动动作时，电子装置12可将其一音量提高；反之，当判断单元18判断使用者的手势为一侧边向下晃动动作时，电子装置12可将其一音量降低，而不限于此。
当判断单元18判断物件OBJ非由水平方向进入图像画面FR-i时，在步骤328中，判断单元18可判断使用者的手势为右侧举手动作或左侧举手动作。在一实施例中，可将二值化图像BFRi对半切割，如图9所示。在图9中，一中央垂直切割线vcl将二值化图像BFR切割成左半边以及右半边，当在二值化图像BFR的右半边具有相对于左半边较多的目标像素时，判断单元18可判断使用者的手势为右侧举手动作，反之亦然，而不限于此。
当判断单元18判断判断物件OBJ不为静止时，在步骤330中，判断单元18判断物件OBJ是否远离感光单元16。步骤330的实际操作与步骤312相同，故在此不再赘述。
当判断单元18在步骤330判断物件OBJ远离感光单元16时，在步骤332中，判断单元18判断该使用者的手势为外推动作。同样地，在步骤332后执行步骤334与步骤301是为了避免使用者的手势在回复位置/姿势的过程中，误触发不必要的操作，其细节可参考前述相关段落，在此不再赘述。换句话说，判断单元18判断使用者的手势为外推动作后，判断单元18暂停判断使用者的手势。
当判断单元18在步骤330判断物件OBJ未远离感光单元16时，在步骤336中，判断单元18判断物件OBJ是否正在进行垂直等速移动。在一实施例中，判断单元18可根据物件OBJ的移动轨迹TRK，检视对应于图像画面FRi-K+1～FRi中图像画面之间移动动量的垂直分量是否在一特定区间，例如，判断单元18可判断移动动量的垂直分量是否小于一上界v+δ且大于一下界v－δ，若是，判断单元18可判断物件OBJ正在进行垂直等速移动，其中δ可远小于v。当判断单元18在步骤336判断物件OBJ正在进行垂直等速移动时，在步骤338中，判断单元18可根据物件OBJ的移动轨迹TRK，判断使用者的手势为向上等速移动动作或向下等速移动动作，并产生信号指示电子装置12进行对应于向上等速移动动作或向下等速移动动作的操作。
当判断单元18在步骤336判断物件OBJ未进行垂直等速移动时，在步骤340中，判断单元18可判断物件OBJ是否进行左右摆动。详细来说，判断单元18可根据对应于图像画面FRi-K+1～FRi的外框中心Bx_cnt与最远物件像素FOP之间的相对位置，判断物件OBJ是否进行左右摆动。在一实施例中，当判断单元18判断最远物件像素FOP位于外框中心Bx_cnt的左边时，判断物件OBJ向左摆动(如图10上)；当判断单元18判断最远物件像素FOP位于外框中心Bx_cnt的右边时，判断物件OBJ向右摆动(如图10下)。在一实施例中，当判断单元18判断最远物件像素FOP在一第一时间位于外框中心Bx_cnt的左边，且判断单元18判断最远物件像素FOP在一第二时间位于外框中心Bx_cnt的右边时，在步骤342中，判断单元18判断物件OBJ正在进行左右摆动，并产生信号指示电子装置12进行对应于左右摆动动作的操作，其中第一时间与第二时的时间差小于一特定值。
另外，当判断单元18判断物件OBJ并未进行左右摆动时，在步骤344中，判断单元18判断使用者的手势为顺时针挥动动作或逆时针挥动动作。在一实施例中，判断单元18可先根据移动轨迹TRK判断物件OBJ是否呈现圆圈状持续挥动，若是，判断单元18在判断物件OBJ挥动的方向为顺时针抑或是逆时针，以判断使用者的手势为顺时针挥动动作或逆时针挥动动作，并产生信号指示电子装置12进行对应于顺时针挥动动作或逆时针挥动动作的操作。
根据手势识别流程30，判断单元18判断使用者的手势是否为各种不同的动作，以产生信号指示电子装置12进行其对应的操作，其可防止不同动作之间的误触或误判断，进一步增加手势识别的正确性，避免电子装置12进行错误的操作。
需注意的是，前述实施例用以说明本发明的概念，本领域技术人员当可据以做不同的修饰，而不限于此。举例来说，当判断单元18在步骤306判断物件OBJ在多个图像画面FR中停留的时间小于或等于特定时间时，判断单元18可根据移动轨迹TRK判断物件OBJ的移动方向，并在判断物件OBJ的移动方向为一第一方向(如往上移动)后，判断单元18可将延迟标志DLF在一时间t3之内设为1，时间t3后延迟标志DLF为0，即判断单元18暂停判断使用者的手势，以避免使用者的手势在回复位置/姿势的过程中，误触发不必要的操作。
另外，判断单元18的实现方式未有限。在一实施例中，判断单元18可为一特殊应用集成电路(Application-specific integrated circuit，ASIC)。在另一实施例中，判断单元18可包含一处理单元以及一存储单元，存储单元可为一非易失性存储器(Non-VolatileMemory，例如，一电子抹除式可复写只读存储器(Electrically Erasable ProgrammableRead Only Memory，EEPROM)或一快闪存储器(Flash Memory))，手势识别流程30及手指个数判断60可编译成程序代码而存储在存储单元中。
综上所述，根据本发明的手势识别流程，本发明的判断单元可判断各种不同的动作，并产生信号指示电子装置进行其对应的操作，其可防止不同动作之间的误触或误判断，进一步增加手势识别的正确性，避免电子装置进行错误的操作。
以上所述仅为本发明的优选实施例，凡依本发明权利要求书所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (24)

1.一种手势识别方法，应用于手势识别模块，用来判断使用者的手势，其中该手势识别装置包含感光单元，该感光单元产生多个图像画面，该手势识别方法包含有：
判断该多个图像画面中物件在该多个图像画面中停留的时间是否大于特定时间；
当该物件在该多个图像画面中停留的时间大于该特定时间时，判断对应于该物件的手指个数，以产生手指个数判断结果，以及判断该物件是否远离该感光单元，以产生物件远离判断结果；以及
根据该手指个数判断结果以及该物件远离判断结果，判断该使用者的该手势。
2.如权利要求1所述的手势识别方法，还包含：
取得对应于该物件的二值化图像，其中该二值化图像包含多个物件像素以及多个环境像素，该多个物件像素具有第一像素值，该多个环境像素具有第二像素值；
取得该物件在该二值化图像的外框；
取得该外框的外框中心；以及
根据对应于该物件的该外框中心，判断该物件的移动轨迹。
3.如权利要求2所述的手势识别方法，其中根据该手指个数判断结果以及该物件远离判断结果，判断该使用者的该手势的步骤包含有：
当该手指个数判断结果显示该手指个数不为1时，根据该物件的该移动轨迹，判断该物件是否为静止；
当该物件为静止时，判断该物件在该二值化图像中是否由水平方向进入该多个图像画面；
当该物件在该二值化图像中由水平方向进入该多个图像画面时，判断该使用者的该手势为侧边上下晃动动作；以及
当该物件在该二值化图像中不由水平方向进入该多个图像画面时，判断该使用者的该手势为右侧举手动作或左侧举手动作。
4.如权利要求3所述的手势识别方法，其中根据该手指个数判断结果以及该物件远离判断结果，判断该使用者的该手势的步骤包含有：
当该物件不为静止时，判断该物件是否进行垂直等速移动；以及
当该物件进行垂直等速移动时，判断该使用者的该手势为向上等速移动动作或向下等速移动动作。
5.如权利要求4所述的手势识别方法，其中根据该手指个数判断结果以及该物件远离判断结果，判断该使用者的该手势的步骤包含有：
当该物件不进行垂直等速移动时，判断该物件是否进行左右摆动；
当该物件进行左右摆动，判断该使用者的该手势为左右摆动动作；
当该物件不进行左右摆动，判断该使用者的该手势为顺时针挥动动作或逆时针挥动动作。
6.如权利要求3所述的手势识别方法，其中根据该手指个数判断结果以及该物件远离判断结果，判断该使用者的该手势的步骤包含有：
当该物件不为静止且该物件远离判断结果显示该物件远离该感光单元时，判断该使用者的该手势为外推动作；以及
在判断该使用者的该手势为该外推动作后，暂停判断该使用者的该手势。
7.如权利要求2所述的手势识别方法，其中判断对应于该物件的该手指个数的步骤包含有：
根据该多个物件像素以及该多个环境像素，取得于该二值化图像中的轮廓；
依照对应于轮廓中心的旋转角度，计算于该轮廓的多个轮廓像素的转换次数，其中该转换次数相关于该多个轮廓像素由该第一像素值转换为该第二像素值且由该第二像素值转换为该第一像素值的一次数；以及
根据该转换次数，判断该物件的该手指个数。
8.如权利要求7所述的手势识别方法，其中取得该轮廓的步骤包含有：
计算该多个物件像素的中点；
取得该多个物件像素中距离该中点最远的最远物件像素；
取得第一半径，其中该第一半径相关于该最远物件像素与该外框中心之间的距离；以及
取得该轮廓为圆形轮廓，其中该圆形轮廓的圆心为该外框中心为圆心，该圆形轮廓的半径为该第一半径。
9.如权利要求1所述的手势识别方法，其中根据该手指个数判断结果，判断该使用者的该手势的步骤包含有：
当该手指个数判断结果显示该手指个数为1时，判断该使用者的该手势对应于单指游标操作。
10.如权利要求1所述的手势识别方法，还包含：
当该手指个数判断结果显示该手指个数为1且该物件远离判断结果显示该物件远离该感光单元时，判断该使用者的该手势对应于单指游标点击操作；以及
在判断该使用者的该手势对应于该单指游标点击操作后，暂停判断该使用者的该手势。
11.如权利要求1所述的手势识别方法，其中判断判该物件是否远离该感光单元，以产生该物件远离判断结果的步骤包含有：
取得该物件对应于该多个图像画面的多个深度值；以及
根据该多个深度值，判断判该物件是否远离该感光单元，以产生该物件远离判断结果。
12.如权利要求1所述的手势识别方法，还包含：
当该物件在该多个图像画面中停留的时间不大于该特定时间时，判断该物件的移动方向；
在判断该物件的该移动方向为第一方向后，暂停判断该使用者的该手势。
13.一种手势识别模块，包含有：
发光单元，用来发射入射光；
感光单元，用来接收对应于该入射光的反射光，并根据该反射光，产生多个图像画面；
判断单元，耦接于该感光单元，用来执行以下步骤，以根据该多个图像画面，判断使用者的手势：
判断该多个图像画面中物件于该多个图像画面中停留的时间是否大于特定时间；
当该物件于该多个图像画面中停留的时间大于该特定时间时，判断对应于该物件的手指个数，以产生手指个数判断结果，以及判断该物件是否远离该感光单元，以产生物件远离判断结果；以及
根据该手指个数判断结果以及该物件远离判断结果，判断该使用者的该手势。
14.如权利要求13所述的手势识别模块，其中该判断单元还用来执行以下步骤：
取得对应于该物件的二值化图像，其中该二值化图像包含多个物件像素以及多个环境像素，该多个物件像素具有第一像素值，该多个环境像素具有第二像素值；
取得该物件于该二值化图像的外框；
取得该外框的外框中心；以及
根据对应于该物件的该外框中心，判断该物件的移动轨迹。
15.如权利要求14所述的手势识别模块，其中该判断单元还用来执行以下步骤，以根据该手指个数判断结果以及该物件远离判断结果，判断该使用者的该手势：
当该手指个数判断结果显示该手指个数不为1时，根据该物件的该移动轨迹，判断该物件是否为静止；
当该物件为静止时，判断该物件于该二值化图像中是否由水平方向进入该多个图像画面；
当该物件于该二值化图像中由水平方向进入该多个图像画面时，判断该使用者的该手势为侧边上下晃动动作；以及
当该物件于该二值化图像中不由水平方向进入该多个图像画面时，判断该使用者的该手势为右侧举手动作或左侧举手动作。
16.如权利要求15所述的手势识别模块，其中该判断单元还用来执行以下步骤，以根据该手指个数判断结果以及该物件远离判断结果，判断该使用者的该手势：
当该物件不为静止时，判断该物件是否进行垂直等速移动；以及
当该物件进行垂直等速移动时，判断该使用者的该手势为向上等速移动动作或向下等速移动动作。
17.如权利要求16所述的手势识别模块，其中该判断单元还用来执行以下步骤，以根据该手指个数判断结果以及该物件远离判断结果，判断该使用者的该手势：
当该物件不进行垂直等速移动时，判断该物件是否进行左右摆动；
当该物件进行左右摆动，判断该使用者的该手势为左右摆动动作；
当该物件不进行左右摆动，判断该使用者的该手势为顺时针挥动动作或逆时针挥动动作。
18.如权利要求15所述的手势识别模块，其中该判断单元还用来执行以下步骤，以根据该手指个数判断结果以及该物件远离判断结果，判断该使用者的该手势：
当该物件不为静止且该物件远离判断结果显示该物件远离该感光单元时，判断该使用者的该手势为外推动作；以及
在判断该使用者的该手势为该外推动作后，暂停判断该使用者的该手势。
19.如权利要求14所述的手势识别模块，其中该判断单元还用来执行以下步骤，以判断对应于该物件的该手指个数：
根据该多个物件像素以及该多个环境像素，取得在该二值化图像中的轮廓；
依照对应于轮廓中心的旋转角度，计算在该轮廓的多个轮廓像素的转换次数，其中该转换次数相关于该多个轮廓像素由该第一像素值转换为该第二像素值且由该第二像素值转换为该第一像素值的一次数；以及
根据该转换次数，判断该物件的该手指个数。
20.如权利要求19所述的手势识别模块，其中该判断单元还用来执行以下步骤，以取得该轮廓：
计算该多个物件像素的中点；
取得该多个物件像素中距离该中点最远的最远物件像素；
取得第一半径，其中该第一半径相关于该最远物件像素与该外框中心之间的距离；以及
取得该轮廓为圆形轮廓，其中该圆形轮廓的圆心为该外框中心为圆心，该圆形轮廓的半径为该第一半径。
21.如权利要求13所述的手势识别模块，其中该判断单元还用来执行以下步骤，以根据该手指个数判断结果，判断该使用者的该手势：
当该手指个数判断结果显示该手指个数为1时，判断该使用者的该手势对应于单指游标操作。
22.如权利要求13所述的手势识别模块，其中该判断单元还用来执行以下步骤：
当该手指个数判断结果显示该手指个数为1且该物件远离判断结果显示该物件远离该感光单元时，判断该使用者的该手势对应于单指游标点击操作；以及
在判断该使用者的该手势对应于该单指游标点击操作后，暂停判断该使用者的该手势。
23.如权利要求13所述的手势识别模块，其中该判断单元还用来执行以下步骤，以判断判该物件是否远离该感光单元，以产生该物件远离判断结果：
取得该物件对应于该多个图像画面的多个深度值；以及
根据该多个深度值，判断判该物件是否远离该感光单元，以产生该物件远离判断结果。
24.如权利要求13所述的手势识别模块，其中该判断单元还用来执行以下步骤：
当该物件在该多个图像画面中停留的时间不大于该特定时间时，判断该物件的移动方向；
在判断该物件的该移动方向为第一方向后，暂停判断该使用者的该手势。
CN201710573633.5A 2017-06-28 2017-07-14 手势识别方法以及手势识别模块 Active CN109144236B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW106121562A TWI662482B (zh) 2017-06-28 2017-06-28 手勢識別方法以及手勢識別模組
TW106121562 2017-06-28

Publications (2)

Publication Number Publication Date
CN109144236A true CN109144236A (zh) 2019-01-04
CN109144236B CN109144236B (zh) 2021-11-12

Family

ID=64734810

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710573633.5A Active CN109144236B (zh) 2017-06-28 2017-07-14 手势识别方法以及手势识别模块

Country Status (3)

Country Link
US (1) US10417485B2 (zh)
CN (1) CN109144236B (zh)
TW (1) TWI662482B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652182B (zh) * 2020-06-17 2023-09-19 广东小天才科技有限公司 一种悬空手势识别的方法、装置、电子设备和存储介质
CN113269025B (zh) * 2021-04-01 2024-03-26 广州车芝电器有限公司 一种自动报警方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201019241A (en) * 2008-11-14 2010-05-16 Topseed Technology Corp Method for identifying and tracing gesture
CN102509088A (zh) * 2011-11-28 2012-06-20 Tcl集团股份有限公司 一种手部运动检测的方法、装置及人机交互系统
CN103345301A (zh) * 2013-06-18 2013-10-09 华为技术有限公司 一种深度信息获取方法和装置
US20140002647A1 (en) * 2012-06-29 2014-01-02 Behavioral Recognition Systems, Inc. Anomalous stationary object detection and reporting
CN104143075A (zh) * 2013-05-08 2014-11-12 光宝科技股份有限公司 应用于电子装置的手势判断方法
CN104205020A (zh) * 2012-03-19 2014-12-10 株式会社村田制作所 光传感器
TW201510781A (zh) * 2013-09-03 2015-03-16 Wistron Corp 手勢辨識方法及穿戴式裝置
CN105718776A (zh) * 2016-01-19 2016-06-29 桂林电子科技大学 一种三维手势验证方法及系统
CN105759967A (zh) * 2016-02-19 2016-07-13 电子科技大学 一种基于深度数据的手部全局姿态检测方法
CN106648043A (zh) * 2015-11-02 2017-05-10 广东虚拟现实科技有限公司 用于控制器的信号采集方法及控制器
CN106778670A (zh) * 2016-12-30 2017-05-31 上海集成电路研发中心有限公司 手势识别装置及识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9210436B2 (en) * 2010-01-11 2015-12-08 Sungkyunkwan University Foundation For Corporate Collaboration Distributed video coding/decoding method, distributed video coding/decoding apparatus, and transcoding apparatus
US20140368455A1 (en) * 2011-03-15 2014-12-18 Logitech Europe Sa Control method for a function of a touchpad

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201019241A (en) * 2008-11-14 2010-05-16 Topseed Technology Corp Method for identifying and tracing gesture
CN102509088A (zh) * 2011-11-28 2012-06-20 Tcl集团股份有限公司 一种手部运动检测的方法、装置及人机交互系统
CN104205020A (zh) * 2012-03-19 2014-12-10 株式会社村田制作所 光传感器
US20140002647A1 (en) * 2012-06-29 2014-01-02 Behavioral Recognition Systems, Inc. Anomalous stationary object detection and reporting
CN104143075A (zh) * 2013-05-08 2014-11-12 光宝科技股份有限公司 应用于电子装置的手势判断方法
CN103345301A (zh) * 2013-06-18 2013-10-09 华为技术有限公司 一种深度信息获取方法和装置
TW201510781A (zh) * 2013-09-03 2015-03-16 Wistron Corp 手勢辨識方法及穿戴式裝置
CN106648043A (zh) * 2015-11-02 2017-05-10 广东虚拟现实科技有限公司 用于控制器的信号采集方法及控制器
CN105718776A (zh) * 2016-01-19 2016-06-29 桂林电子科技大学 一种三维手势验证方法及系统
CN105759967A (zh) * 2016-02-19 2016-07-13 电子科技大学 一种基于深度数据的手部全局姿态检测方法
CN106778670A (zh) * 2016-12-30 2017-05-31 上海集成电路研发中心有限公司 手势识别装置及识别方法

Also Published As

Publication number Publication date
CN109144236B (zh) 2021-11-12
US20190005316A1 (en) 2019-01-03
TWI662482B (zh) 2019-06-11
TW201905762A (zh) 2019-02-01
US10417485B2 (en) 2019-09-17

Similar Documents

Publication Publication Date Title
US20240168602A1 (en) Throwable interface for augmented reality and virtual reality environments
US10866632B2 (en) Interaction engine for creating a realistic experience in virtual reality/augmented reality environments
US11392212B2 (en) Systems and methods of creating a realistic displacement of a virtual object in virtual reality/augmented reality environments
US8488888B2 (en) Classification of posture states
US8681127B2 (en) Touch discrimination
CN104737102B (zh) 用于多维输入的导航方法
JP2017518566A (ja) モバイルプラットフォームにおける空中および表面マルチタッチ検出
US8938124B2 (en) Computer vision based tracking of a hand
US20140204013A1 (en) Part and state detection for gesture recognition
CN102073414B (zh) 基于机器视觉的多点触摸跟踪方法
GB2491473A (en) Recognising hands in a gesture-based interface using features identified during system operation
KR101794148B1 (ko) 효율적인 자유 공간 손가락 인식
US20170344104A1 (en) Object tracking for device input
CN109144236A (zh) 手势识别方法以及手势识别模块
US20230224576A1 (en) System for generating a three-dimensional scene of a physical environment
CN107743628A (zh) Led面发光的结构化光
CN108921129A (zh) 图像处理方法、系统、介质和电子设备
Saxena Monocular depth perception and robotic grasping of novel objects
CN106293264B (zh) 光学输入方法以及使用该方法的光学虚拟鼠标
US12032746B2 (en) Systems and methods of creating a realistic displacement of a virtual object in virtual reality/augmented reality environments
CN115793892A (zh) 触摸数据处理方法、装置、电子设备及存储介质
US20200089940A1 (en) Human behavior understanding system and method
EP3792817A1 (en) Method and system for human behavior identification
Arnold Cooperative perception for driving applications
WO2013168160A1 (en) System and method for computer vision based tracking of a hand

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant