CN111626136B - 一种手势识别方法、系统及设备 - Google Patents

一种手势识别方法、系统及设备 Download PDF

Info

Publication number
CN111626136B
CN111626136B CN202010358317.8A CN202010358317A CN111626136B CN 111626136 B CN111626136 B CN 111626136B CN 202010358317 A CN202010358317 A CN 202010358317A CN 111626136 B CN111626136 B CN 111626136B
Authority
CN
China
Prior art keywords
recognition
gesture
condition
pixel
gesture recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010358317.8A
Other languages
English (en)
Other versions
CN111626136A (zh
Inventor
黎伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huizhou Foryou General Electronics Co Ltd
Original Assignee
Huizhou Foryou General Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huizhou Foryou General Electronics Co Ltd filed Critical Huizhou Foryou General Electronics Co Ltd
Priority to CN202010358317.8A priority Critical patent/CN111626136B/zh
Publication of CN111626136A publication Critical patent/CN111626136A/zh
Application granted granted Critical
Publication of CN111626136B publication Critical patent/CN111626136B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人机交互技术领域，提供一种手势识别方法、系统及设备，首先设置对应于识别感兴趣区域的背景像素矩阵用作参照，然后参照该像素零矩阵构建区域进入识别条件用于确定手掌的初步状态，最后基于区域进入识别条件构建姿态识别条件而进一步识别手势，从而简单、快速且准确地实现了用户手势识别。本发明提供的一种手势识别系统和设备，在手势识别传感器模组内集成了手势获取装置和运算模块，分别实现了识别感兴趣区域中用户手势运动图像的采集以及对应的手势识别结果的自动化计算；通过将区域进入识别条件和对应的姿态识别条件集成到运算模块中，不仅实现了对识别感兴趣区域中用户手势自动检测，还实现了对用户手势的自动识别。

Description

一种手势识别方法、系统及设备
技术领域
本发明涉及人机交互技术领域，尤其涉及一种手势识别方法、系统及设备。
背景技术
近年来，随着科技水平的日益提高，人与机器人的交互场景更加丰富多样，基于鼠标和键盘的传统交互方式已经难以满足现有的用户需求。基于手势的交互方式具有任务间切换时间短，交互方式自然友好的优点，可满足人们对人机交互方式方便、快捷的使用需求，而手势识别技术则是其核心内容。
目前手势识方法包括基于传感器和基于视觉，其中基于传感器的手势识别方法需要昂贵的辅助设备，然而昂贵的生产成本将导致产品定价过高、难以得到普及；而基于视觉的手势识别方法很大限度地局限于背景的复杂性和在不同光照下的成像能力，这也导致了设备识别能力的不稳定。
另外，市面上的手势识别主要是基于深度信息的TOF技术，它需要将提取到的目标物体和带有深度信息的点云图像融合，从而得到对应的手型信息，还需要对所述手型信息进行抽象识别以及提取具体的手型轮廓。这种手势识别方式因为计算过程复杂，所以需要运算功能更为强大的处理芯片，这将导致生产成本激增，从而难以得到有效的市场推广。
发明内容
本发明提供一种手势识别方法、系统及设备，解决了现有手势识别技术运算复杂、计算量庞大，以及相应的设备硬件要求提高、生产成本昂贵的技术问题。
为解决以上技术问题，本发明提供一种手势识别方法，包括：
设置对应于识别感兴趣区域的背景像素矩阵；
基于所述背景像素矩阵构设区域进入识别条件和对应的姿态识别条件；
根据所述区域进入识别条件检测到手掌进入所述识别感兴趣区域后，按照所述姿态识别条件识别所述手掌的手势。
具体地，所述姿态识别条件包括从左往右移动识别条件、从右往左移动识别条件、从上到下移动识别条件、从下到上移动识别条件、顺时针移动识别条件、逆时针移动识别条件；
具体地，所述区域进入识别条件包括对应于所述从左往右移动识别条件、从右往左移动识别条件、从上到下移动识别条件、从下到上移动识别条件、顺时针移动识别条件、逆时针移动识别条件的左区域进入识别条件、右区域进入识别条件、上区域进入识别条件、下区域进入识别条件、顺时针触发识别条件、逆时针触发识别条件。
具体地，所述背景像素矩阵为m*n阶的像素零矩阵，对应于一全白图像。
具体地，所述左区域进入识别条件、右区域进入识别条件、上区域进入识别条件、下区域进入识别条件为：在划定的左区域、右区域、上区域、下区域识别到一二值化像素矩阵L并大于一预设时间段，L为a*b阶的像素矩阵，且a≥5、b≥6；其中左区域、右区域是将所述m*n阶的像素零矩阵进行左右对半划分，上区域、下区域是将所述m*n阶的像素零矩阵进行上下对半划分。
具体地，所述二值化像素矩阵L为手型像素矩阵。
具体地，所述从左往右移动识别条件为，先后在所述m*n阶的像素零矩阵的左区域和右区域中检测到所述二值化像素矩阵L，且满足第一预设条件：
其中，所述UBL和所述LBL分别为所述二值化像素矩阵L在所述m*n阶的像素零矩阵中的上、下边界偏移值，jl表示所述二值化像素矩阵L中初始像素点(i，j)的纵坐标，且满足e为所述UBL和所述LBL的波动阈值，c、d代表j的上、下取值范围；
具体地，所述从右往左移动识别条件为，先后在所述m*n阶的像素零矩阵的右区域和左区域中检测到所述二值化像素矩阵L，且满足第二预设条件：
其中，所述UBL和所述LBL分别为所述二值化像素矩阵L在所述m*n阶的像素零矩阵中的上、下边界偏移值，jr表示所述二值化像素矩阵L中初始像素点(i，j)的纵坐标，且满足e为所述UBL和所述LBL的波动阈值，c、d代表j的上、下取值范围；
具体地，所述从上往下移动识别条件为，先后在所述m*n阶的像素零矩阵的上区域和下区域中检测到所述二值化像素矩阵L，且满足所述第三预设条件：
其中，所述UBU和所述LBU分别为所述二值化像素矩阵L在所述m*n阶的像素零矩阵中的左、右边界偏移值，iu表示所述二值化像素矩阵L中初始像素点(i，j)的横坐标，且满足0≤j≤n-b，e为所述UBU和所述LBU的波动阈值，f、g代表i的左、右取值范围；
具体地，所述从下往上移动识别条件为，先后在所述m*n阶的像素零矩阵的下区域和上区域中检测到所述二值化像素矩阵L，且满足所述第四预设条件：
其中，所述UBU和所述LBU分别为所述二值化像素矩阵L在所述m*n阶的像素零矩阵中的左、右边界偏移值，id表示所述二值化像素矩阵L中的初始像素点(i，j)横坐标，且满足0≤j≤n-b，e为所述UBU和所述LBU的波动阈值，f、g代表i的左、右取值范围。
具体地，所述顺时针触发识别条件、逆时针触发识别条件为：所述手掌的一指尖所对应的像素点呈现对应的时针旋转趋势。
具体地，所述顺时针移动识别条件为：
呈现顺时针旋转趋势的所述指尖所对应的像素点所划过的圆弧轨迹存在唯一的中心点。
具体地，所述逆时针移动识别条件为：
呈现顺时针旋转趋势的所述指尖所对应的像素点所划过的圆弧轨迹存在唯一的中心点。
所述圆弧轨迹为圆形或椭圆形的部分或全部弧形。
本发明还提供运行上述一种手势识别方法的一种手势识别系统，包括数据连接的手势识别模组和处理单元；
所述手势识别模组用于识别其识别感兴趣区域中的手势；
所述处理单元用于响应所述手势。
所述手势识别模组为手势识别传感器模组，包括手势获取装置和运算模块；
所述手势获取装置用于采集手势的运动图像；
所述运算模块用于构设区域进入识别条件和对应的姿态识别条件，还用于按照所述区域进入识别条件和所述姿态识别条件识别所述运动图像进而得出手势识别结果，并向所述处理单元输出所述手势识别结果。
对应于上述一种手势识别方法和系统，本发明还提供一种手势识别设备，包括上述的一种手势识别系统，或者，运行上述的一种手势识别方法。
本发明提供的一种手势识别方法，首先设置对应于识别感兴趣区域的背景像素矩阵用作参照，然后参照该像素零矩阵构建区域进入识别条件用于确定手掌的初步状态，最后基于区域进入识别条件构建姿态识别条件而进一步识别手势，从而简单、快速且准确地实现了用户手势识别。本发明提供的一种手势识别系统和设备，在手势识别传感器模组内集成了手势获取装置和运算模块，分别实现了识别感兴趣区域中用户手势运动图像的采集以及对应的手势识别结果的自动化计算；通过将区域进入识别条件和对应的姿态识别条件集成到运算模块中，不仅实现了对识别感兴趣区域中用户手势自动检测，还实现了对用户手势的自动识别；还通过与处理单元的通讯连接，实现了对车载设备的无接触控制；采用价格较低的传感器作为运算核心，大幅度地降低了产品的生产成本、提高了设备的响应效率。
附图说明
图1是本发明实施例1提供的一种手势识别方法的流程图；
图2是本发明实施例提供的手势为左、右移动时的手势像素示意图；
图3是本发明实施例提供的从左往右移动的手势识别示意图；
图4是本发明实施例提供的从右往左移动的手势识别示意图；
图5是本发明实施例提供的手势为上、下移动时的手势像素示意图；
图6是本发明实施例提供的从上往下移动的手势识别示意图；
图7是本发明实施例提供的从下往上移动的手势识别示意图；
图8是本发明实施例提供的顺时针旋转的手势识别示意图；
图9是本发明实施例提供的逆时针旋转的手势识别示意图；
图10是本发明实施例2提供的一种手势识别系统的系统框架图。
其中：手势识别模组1，手势获取装置11、图像获取组件111、红外灯112，运算模块12；处理单元2。
具体实施方式
下面结合附图具体阐明本发明的实施方式，实施例的给出仅仅是为了说明目的，并不能理解为对本发明的限定，包括附图仅供参考和说明使用，不构成对本发明专利保护范围的限制，因为在不脱离本发明精神和范围基础上，可以对本发明进行许多改变。
实施例1
本发明实施例提供的一种手势识别方法，如图1所示，在本实施例中，包括：
设置对应于识别感兴趣区域FOV的背景像素矩阵；
基于所述背景像素矩阵构设区域进入识别条件和对应的姿态识别条件；
根据所述区域进入识别条件检测到手掌进入所述识别感兴趣区域FOV后，按照所述姿态识别条件识别所述手掌的手势。
所述姿态识别条件包括从左往右移动识别条件、从右往左移动识别条件、从上到下移动识别条件、从下到上移动识别条件、顺时针移动识别条件、逆时针移动识别条件；
所述区域进入识别条件包括对应于所述从左往右移动识别条件、从右往左移动识别条件、从上到下移动识别条件、从下到上移动识别条件、顺时针移动识别条件、逆时针移动识别条件的左区域进入识别条件、右区域进入识别条件、上区域进入识别条件、下区域进入识别条件、顺时针触发识别条件、逆时针触发识别条件。
所述背景像素矩阵为m*n阶的像素零矩阵，对应于一全白图像；将在没有驾驶员手势进入所述识别感兴趣区域FOV时采集到的灰度图像，经过二值化处理后设置为所述背景像素矩阵。
在本实施中，所述左区域进入识别条件、右区域进入识别条件、上区域进入识别条件、下区域进入识别条件为：在划定的左区域右区域/>上区域下区域/>识别到一二值化像素矩阵L并大于一预设时间段，L为a*b阶的像素矩阵，且a≥5、b≥6；其中左区域/>右区域/>是将所述m*n阶的像素零矩阵进行左右对半划分，上区域/>下区域/>是将所述m*n阶的像素零矩阵进行上下对半划分。
所述预设时间段可根据需要进行选择，本实施例预设为500ms(毫秒)。
在本实施中，所述二值化像素矩阵L为手型像素矩阵，当a＝5、b＝6时，具体为：
所述手型像素矩阵包括但不限于a：b＝6，还包括任意正常手势比例(例如1:1、6:5等)。
参见图2，以所述二值化像素矩阵L的第一列第四行的像素点为初始像素点(i，j)时，则i＝0，将其坐标代入左区域则得出/>即/>将其坐标代入右区域/>则得出/>即/>
参见图3，其中图a为像素图像、图b为实物示意图，箭头代表所述手掌的运动方向，所述从左往右移动识别条件为，先后在所述m*n阶的像素零矩阵的左区域和右区域/>中检测到所述二值化像素矩阵L，且满足第一预设条件：
其中，所述UBL和LBL分别为所述二值化像素矩阵L在所述m*n阶的像素零矩阵中的上、下边界偏移值，jl表示二值化像素矩阵L中的初始像素点(i，j)的纵坐标，且满足(二值化像素矩阵L的像素点在所述m*n阶的像素零矩阵中起始位置的取值范围)，e为所述UBL和LBL的波动阈值，c、d代表像素点坐标j的上、下取值范围。在本实施例中，优选地，所述e取值为50，所述c、d取值分别为3、2。
参见图4，其中图a为像素图像、图b为实物示意图，箭头代表所述手掌的运动方向，所述从右往左移动识别条件为，先后在所述m*n阶的像素零矩阵的右区域和左区域/>中检测到所述二值化像素矩阵L，且满足第二预设条件：
其中，所述UBL和LBL分别为所述二值化像素矩阵L在所述m*n阶的像素零矩阵中的上、下边界偏移值，jr表示二值化像素矩阵L中的初始像素点(i，j)的纵坐标，且满足(二值化像素矩阵L的像素点在所述m*n阶的像素零矩阵中起始位置的取值范围)，e为所述UBL和LBL的波动阈值，c、d代表像素点坐标j的上、下取值范围。在本实施例中，优选地，所述e取值为50，所述c、d取值分别为3、2。
参见图5，以所述二值化像素矩阵L的第三列第四行的像素点为初始像素点(i，j)时，则满足j＝3，将其坐标代入上区域则得出/> 即3≤j≤n-3；将其坐标代入下区域/>则得出/> 即/>
参见图6，其中图a为像素图像、图b为实物示意图，箭头代表所述手掌的运动方向，所述从上往下移动识别条件为，先后在所述m*n阶的像素零矩阵的上区域和下区域/>中检测到所述二值化像素矩阵L，且满足所述第三预设条件：
其中，所述UBU和LBU分别为所述二值化像素矩阵L在所述m*n阶的像素零矩阵中的左、右边界偏移值，iu表示二值化像素矩阵L中的初始像素点(i，j)的横坐标，且满足(二值化像素矩阵L的像素点在所述m*n阶的像素零矩阵中起始位置的取值范围)，e为所述UBU和LBU的波动阈值，f、g代表像素点坐标i的左、右取值范围。在本实施例中，优选地，所述e取值为50，所述f、g取值均为2。
参见图7，其中图a为像素图像、图b为实物示意图，箭头代表所述手掌的运动方向，所述从下往上移动识别条件为，先后在所述m*n阶的像素零矩阵的下区域和上区域/>中检测到所述二值化像素矩阵L，且满足所述第四预设条件：
其中，所述UBU和LBU分别为所述二值化像素矩阵L在所述m*n阶的像素零矩阵中的左、右边界偏移值，id表示二值化像素矩阵L中的初始像素点(i，j)的横坐标，且满足(二值化像素矩阵L的像素点在所述m*n阶的像素零矩阵中起始位置的取值范围)，e为所述UBU和LBU的波动阈值，f、g代表像素点坐标i的左、右取值范围。在本实施例中，优选地，所述e取值为50，所述f、g取值均为2。
上述c、d、f、g的取值可根据初始像素点(i，j)的选择、a和b的数值以及用户需求进行相应的修改。
在本实例中，所述顺时针触发识别条件、逆时针触发识别条件为：将所述手掌的任一指尖或其它部位抽象为一个对应的像素点P，且所对应的像素点P呈现对应的时针旋转趋势。
参见图8，其中图a为像素图像、图b为实物示意图，箭头代表所述手指的运动方向，所述顺时针移动识别条件为：呈现顺时针旋转趋势的所述指尖所对应的像素点所划过的圆弧轨迹存在唯一的中心点(x，y)。
参见图9，其中图a为像素图像、图b为实物示意图，箭头代表所述手指的运动方向，所述逆时针移动识别条件为：呈现顺时针旋转趋势的所述指尖所对应的像素点所划过的圆弧轨迹存在唯一的中心点(x，y)。
所述圆弧轨迹为圆形或椭圆形的部分或全部弧形。
在本实例中，所述顺时针或逆时针运动姿态的识别为：
通过设定像素点亮度阈值来确定在顺时针/逆时针运动检测时的手指指尖。
在没有驾驶员手势进入摄像头识别感兴趣区域FOV的像素点亮度值设定为B1(例如220)，将驾驶员手型全部打开时手型区域像素点亮度为B2(例如100)，且B2<B1(B1远大于B2)。由于指尖(此处优选为食指指尖)旋转时，其像素点的亮度B3介于亮度值B2的±10范围内，则可直接通过筛选出亮度值B3来确定指尖的运动轨迹(即像素点P)。
预设所述像素点P点的坐标为(x±xi，y±yi)，设所述指尖的圆弧轨迹半径为r，所述识别感兴趣区域FOV中所有像素点P的坐标均满足：
xi 2+yi 2＝r2+k
其中，r≤icw≤n，1≤jcw≤m-8，r>2，k为像素点P的波动阈值。
在本实施例中，优选地，根据用户的手型和操作习惯，将所述半径r预设为7。
若先后出现的所述像素点P呈环绕所述中心点(x，y)呈现顺时针旋转趋势则判断所述手势为顺时针运动；
若先后出现的所述像素点P呈环绕所述中心点(x，y)呈现逆时针旋转趋势则判断所述手势为逆时针运动。
所述手势识别方法的工作原理如下：
设置对应于识别感兴趣区域FOV的背景像素矩阵，以及适用于靠右行驶车辆用户习惯的右手手势的二值化像素矩阵L，其中还可以根据车辆行驶方向(靠右行驶、靠左行驶)、用户使用习惯以及所述背景像素矩阵分辨率调整所述二值化像素矩阵L；
基于所述背景像素矩阵构设区域进入识别条件和对应的姿态识别条件；
根据所述区域进入识别条件检测到手掌进入所述识别感兴趣区域FOV且维持了500ms后，按照所述姿态识别条件识别所述手掌的手势，若满足从左往右移动识别条件则输出所述手掌手势为从左往右移动；若满足从右往左移动识别条件则输出所述手掌手势为从左往右移动；若满足从上到下移动识别条件则输出所述手掌手势为从上到下移动；若满足从下到上移动识别条件则输出所述手掌手势为从下到上移动；若满足顺时针移动识别条件则输出所述手掌手势为顺时针旋转；若满足逆时针移动识别条件则输出所述手掌手势为逆时针旋转。
本发明实施例提供的一种手势识别方法，首先设置对应于识别感兴趣区域FOV的背景像素矩阵用作参照，然后参照该像素零矩阵构建区域进入识别条件用于确定手掌的初步状态，最后基于区域进入识别条件构建姿态识别条件而进一步识别手势，从而简单、快速且准确地实现了用户手势识别。
实施例2
参见图2～图10，本发明实施例还提供运行上述一种手势识别方法的一种手势识别系统，包括数据连接的手势识别模组1和处理单元2；
所述手势识别模组1用于识别其识别感兴趣区域FOV中的手势；
所述处理单元2用于响应所述手势，控制车载设备做出对应的响应动作。
所述手势识别模组1为手势识别传感器模组，包括手势获取装置11和运算模块12；
在本实施中，所述手势识别传感器模组的分辨率不低于m*n。
所述手势获取装置11用于采集手势的运动图像，包括图像获取组件111和至少两颗红外灯112。
所述运算模块12用于构设区域进入识别条件和对应的姿态识别条件，还用于按照所述区域进入识别条件和所述姿态识别条件识别所述运动图像进而得出手势识别结果，并通过CAN通信向所述处理单元2输出所述手势识别结果。
所述手势识别系统的工作过程如下：
运算模块12预先构设区域进入识别条件和对应的姿态识别条件，并设置对应于识别感兴趣区域FOV的背景像素矩阵。
点亮红外灯112，图像获取组件111获取所述识别感兴趣区域FOV的运动图像。
运算模块12在检测到二值化处理后的所述运动图像满足所述区域进入识别条件之后，进行手势识别阶段，将所述运动图像的处理结果与所述姿态识别条件进行对比，并将对比得到手势识别结果通过CAN通信发送到所述处理单元2。
所述处理单元2根据所述手势识别结果控制车载设备做出对应的响应动作，如此，结束本次手势识别。
实施例3
对应于上述一种手势识别方法和系统，本发明实施例还提供一种手势识别设备，包括上述手势识别系统，或者，包含上述手势识别方法。
本发明实施例提供的一种手势识别系统和设备，在手势识别传感器模组内集成了手势获取装置11和运算模块12，分别实现了识别感兴趣区域FOV中用户手势运动图像的采集以及对应的手势识别结果的自动化计算；通过将区域进入识别条件和对应的姿态识别条件集成到运算模块12中，不仅实现了对识别感兴趣区域FOV中用户手势自动检测，还实现了对用户手势的自动识别；还通过与处理单元2的通讯连接，实现了对车载设备的无接触控制；采用价格较低的传感器作为运算核心，大幅度地降低了产品的生产成本、提高了设备的响应效率。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种手势识别方法，其特征在于，包括：
设置对应于识别感兴趣区域的背景像素矩阵；
基于所述背景像素矩阵构设区域进入识别条件和对应的姿态识别条件；
根据所述区域进入识别条件检测到手掌进入所述识别感兴趣区域后，按照所述姿态识别条件识别所述手掌的手势；
所述姿态识别条件包括从左往右移动识别条件、从右往左移动识别条件、从上到下移动识别条件、从下到上移动识别条件、顺时针移动识别条件、逆时针移动识别条件；
所述区域进入识别条件包括对应于所述从左往右移动识别条件、从右往左移动识别条件、从上到下移动识别条件、从下到上移动识别条件、顺时针移动识别条件、逆时针移动识别条件的左区域进入识别条件、右区域进入识别条件、上区域进入识别条件、下区域进入识别条件、顺时针触发识别条件、逆时针触发识别条件；
所述左区域进入识别条件、右区域进入识别条件、上区域进入识别条件、下区域进入识别条件包括：在划定的左区域、右区域、上区域、下区域识别到一二值化像素矩阵L并大于一预设时间段，L为a*b阶的像素矩阵，且a≥5、b≥6；其中左区域、右区域是将m*n阶的像素零矩阵进行左右对半划分，上区域、下区域是将所述m*n阶的像素零矩阵进行上下对半划分；
所述从左往右移动识别条件为，先后在所述m*n阶的像素零矩阵的左区域和右区域中检测到所述二值化像素矩阵L，且满足第一预设条件：
其中，所述UBL和所述LBL分别为所述二值化像素矩阵L在所述m*n阶的像素零矩阵中的上、下边界偏移值，jl表示所述二值化像素矩阵L中初始像素点(i，j)的纵坐标，且满足e为所述UBL和所述LBL的波动阈值，c、d代表j的上、下取值范围；
所述从右往左移动识别条件为，先后在所述m*n阶的像素零矩阵的右区域和左区域中检测到所述二值化像素矩阵L，且满足第二预设条件：
其中，所述UBL和所述LBL分别为所述二值化像素矩阵L在所述m*n阶的像素零矩阵中的上、下边界偏移值，jr表示所述二值化像素矩阵L中初始像素点(i，j)的纵坐标，且满足e为所述UBL和所述LBL的波动阈值，c、d代表j的上、下取值范围；
所述从上往下移动识别条件为，先后在所述m*n阶的像素零矩阵的上区域和下区域中检测到所述二值化像素矩阵L，且满足第三预设条件：
其中，所述UBU和所述LBU分别为所述二值化像素矩阵L在所述m*n阶的像素零矩阵中的左、右边界偏移值，iu表示所述二值化像素矩阵L中初始像素点(i，j)的横坐标，且满足0≤j≤n-b，e为所述UBU和所述LBU的波动阈值，f、g代表i的左、右取值范围；
所述从下往上移动识别条件为，先后在所述m*n阶的像素零矩阵的下区域和上区域中检测到所述二值化像素矩阵L，且满足第四预设条件：
其中，所述UBU和所述LBU分别为所述二值化像素矩阵L在所述m*n阶的像素零矩阵中的左、右边界偏移值，id表示所述二值化像素矩阵L中初始像素点(i，j)的横坐标，且满足0≤j≤n-b，e为所述UBU和所述LBU的波动阈值，f、g代表i的左、右取值范围。
2.如权利要求1所述的一种手势识别方法，其特征在于：所述背景像素矩阵为m*n阶的像素零矩阵，对应于一全白图像。
3.如权利要求2所述的一种手势识别方法，其特征在于：所述二值化像素矩阵L为手型像素矩阵。
4.如权利要求2所述的一种手势识别方法，其特征在于，所述顺时针触发识别条件、逆时针触发识别条件为：所述手掌的一指尖所对应的像素点呈现对应的时针旋转趋势。
5.如权利要求4所述的一种手势识别方法，其特征在于，
所述顺时针移动识别条件为：
呈现顺时针旋转趋势的所述指尖所对应的像素点所划过的圆弧轨迹存在唯一的中心点；
所述逆时针移动识别条件为：
呈现逆时针旋转趋势的所述指尖所对应的像素点所划过的圆弧轨迹存在唯一的中心点；
所述圆弧轨迹为圆形或椭圆形的部分或全部弧形。
6.一种手势识别系统，运行权利要求1～5中任意一项权利要求所述的一种手势识别方法，其特征在于：包括数据连接的手势识别模组和处理单元；
所述手势识别模组用于识别其识别感兴趣区域中的手势；
所述处理单元用于响应所述手势。
7.如权利要求6所述的一种手势识别系统，其特征在于：所述手势识别模组为手势识别传感器模组，包括手势获取装置和运算模块；
所述手势获取装置用于采集手势的运动图像；
所述运算模块用于构设区域进入识别条件和对应的姿态识别条件，还用于按照所述区域进入识别条件和所述姿态识别条件识别所述运动图像进而得出手势识别结果，并向所述处理单元输出所述手势识别结果。
8.一种手势识别设备，其特征在于：包括权利要求6～7中任意一项权利要求所述的手势识别系统，或者，包括权利要求1～5中任意一项权利要求所述的手势识别方法。
CN202010358317.8A 2020-04-29 2020-04-29 一种手势识别方法、系统及设备 Active CN111626136B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010358317.8A CN111626136B (zh) 2020-04-29 2020-04-29 一种手势识别方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010358317.8A CN111626136B (zh) 2020-04-29 2020-04-29 一种手势识别方法、系统及设备

Publications (2)

Publication Number Publication Date
CN111626136A CN111626136A (zh) 2020-09-04
CN111626136B true CN111626136B (zh) 2023-08-18

Family

ID=72272932

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010358317.8A Active CN111626136B (zh) 2020-04-29 2020-04-29 一种手势识别方法、系统及设备

Country Status (1)

Country Link
CN (1) CN111626136B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530616A (zh) * 2013-10-21 2014-01-22 Tcl通讯（宁波）有限公司 一种移动终端的手势识别方法和装置
CN103598870A (zh) * 2013-11-08 2014-02-26 北京工业大学 一种基于深度图像手势识别的视力检测方法
CN103903011A (zh) * 2014-04-02 2014-07-02 重庆邮电大学 基于图像深度信息的智能轮椅手势识别控制方法
CN106845384A (zh) * 2017-01-17 2017-06-13 西北大学 一种基于递归模型的手势识别方法
CN107589850A (zh) * 2017-09-26 2018-01-16 深圳睛灵科技有限公司 一种手势移动方向的识别方法及系统
CN107679512A (zh) * 2017-10-20 2018-02-09 济南大学 一种基于手势关键点的动态手势识别方法
CN108983980A (zh) * 2018-07-27 2018-12-11 河南科技大学 一种移动机器人基本运动手势控制方法
CN110443167A (zh) * 2019-07-23 2019-11-12 中国建设银行股份有限公司 传统文化手势的智能识别方法、智能交互方法及相关装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI496094B (zh) * 2013-01-23 2015-08-11 Wistron Corp 手勢辨識模組及手勢辨識方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530616A (zh) * 2013-10-21 2014-01-22 Tcl通讯（宁波）有限公司 一种移动终端的手势识别方法和装置
CN103598870A (zh) * 2013-11-08 2014-02-26 北京工业大学 一种基于深度图像手势识别的视力检测方法
CN103903011A (zh) * 2014-04-02 2014-07-02 重庆邮电大学 基于图像深度信息的智能轮椅手势识别控制方法
CN106845384A (zh) * 2017-01-17 2017-06-13 西北大学 一种基于递归模型的手势识别方法
CN107589850A (zh) * 2017-09-26 2018-01-16 深圳睛灵科技有限公司 一种手势移动方向的识别方法及系统
CN107679512A (zh) * 2017-10-20 2018-02-09 济南大学 一种基于手势关键点的动态手势识别方法
CN108983980A (zh) * 2018-07-27 2018-12-11 河南科技大学 一种移动机器人基本运动手势控制方法
CN110443167A (zh) * 2019-07-23 2019-11-12 中国建设银行股份有限公司 传统文化手势的智能识别方法、智能交互方法及相关装置

Also Published As

Publication number Publication date
CN111626136A (zh) 2020-09-04

Similar Documents

Publication Publication Date Title
Mukherjee et al. Fingertip detection and tracking for recognition of air-writing in videos
CN108496142B (zh) 一种手势识别方法及相关装置
US9891716B2 (en) Gesture recognition in vehicles
US8582037B2 (en) System and method for hand gesture recognition for remote control of an internet protocol TV
CN108845668B (zh) 人机交互系统和方法
US8638987B2 (en) Image-based hand detection apparatus and method
Sun et al. Magichand: Interact with iot devices in augmented reality environment
US20110158476A1 (en) Robot and method for recognizing human faces and gestures thereof
KR20110022057A (ko) 차량 인터페이스를 위한 제스처 기반 제어 시스템
CN103376890A (zh) 基于视觉的手势遥控系统
Hongyong et al. Finger tracking and gesture recognition with kinect
Lee et al. Near-infrared-based nighttime pedestrian detection using grouped part models
Bakar et al. Finger application using K-Curvature method and Kinect sensor in real-time
Raees et al. Image based recognition of Pakistan sign language
Nath et al. Real time sign language interpreter
JP2016099643A (ja) 画像処理装置、画像処理方法および画像処理プログラム
Ling et al. Precise Detection for Dense PCB Components Based on Modified YOLOv8
CN111626136B (zh) 一种手势识别方法、系统及设备
Vidhate et al. Virtual paint application by hand gesture recognition system
Bakar et al. Real-time rotation invariant hand tracking using 3D data
Guo et al. Gesture recognition for Chinese traffic police
Khan et al. Computer vision based mouse control using object detection and marker motion tracking
JP6698908B1 (ja) 手書き文字認識装置および手書き文字認識方法
KR102107182B1 (ko) 손 제스처 인식 시스템 및 방법
RU2175143C1 (ru) Способ дистанционного управления

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant