CN111950514A - 一种基于深度摄像头的空中手写识别系统及方法 - Google Patents

一种基于深度摄像头的空中手写识别系统及方法 Download PDF

Info

Publication number
CN111950514A
CN111950514A CN202010870135.9A CN202010870135A CN111950514A CN 111950514 A CN111950514 A CN 111950514A CN 202010870135 A CN202010870135 A CN 202010870135A CN 111950514 A CN111950514 A CN 111950514A
Authority
CN
China
Prior art keywords
gesture
depth
image
points
static
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010870135.9A
Other languages
English (en)
Other versions
CN111950514B (zh
Inventor
李红波
黄涛
吴渝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202010870135.9A priority Critical patent/CN111950514B/zh
Publication of CN111950514A publication Critical patent/CN111950514A/zh
Application granted granted Critical
Publication of CN111950514B publication Critical patent/CN111950514B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本发明请求保护一种基于深度摄像头的空中手写识别系统及方法，所述方法包括以下步骤：首先通过深度摄像头获取深度图像；然后利用深度阈值分割方法得到手势图像；通过与特定静态手势相匹配，判定书写开始和结束；然后基于手部轮廓特征完成检测指尖；书写结束后，计算相邻指尖坐标欧式距离，剔除首尾静止点并进行插值操作，选取定量坐标点并连接得到轨迹；再对轨迹进行重映射并提取特征，采用SVM进行识别，最终输出字符。本发明降低复杂环境和光照干扰，并大大减少冗余信息和算法的计算开销，提高了空中手写识别的准确性和实时性。

Description

一种基于深度摄像头的空中手写识别系统及方法
技术领域
本发明属于数字图像处理和人机交互领域，具体是一种采用深度摄像头作为为数据采集设备的空中手写识别系统及方法。
背景技术
近年来，随着模式识别和人工智能等技术的快速发展，人机交互技术越来越得到人们的重视，常见的交互方式包括键盘输入、手写和语音输入等。其中，传统手写输入，必须配备手写板来书写，在虚拟现实和智慧大屏等场景中，手写输入限制较大，体验不佳。空中手写技术作为新型人机交互手段，能够使手写输入脱离手写板的束缚，在空中无拘束的书写，提供了更加自由、灵活、舒适的用户体验，有着重要研究意义及广泛应用价值。
公开号为的CN107316067A中国发明专利公开了一种基于惯性传感器的空中手写字符识别方法，其采用佩带在手上的惯性传感器采集多个空中手写字符动作传感信号，这种方法依赖手部佩戴传感器，用户有明显束缚感，影响书写体验。公开号为CN109033954A的中国发明专利公开了了一种基于机器视觉的空中手写识别系统及方法，其视频采集使用普通摄像头，易受光照和复杂背景的干扰，使得上述方法在实际应用场景有较大局限性。
综上所述，可以通过采用深度摄像头，准确实时获取深度图像信息来进行手势分割和指尖定位，可降低光照和复杂环境的干扰，开发出更准确、实时性更高的非接触式空中手写识别系统。
发明内容
本发明旨在解决以上现有技术的问题。提出了一种基于深度摄像头的空中手写识别系统及方法。本发明的技术方案如下：
一种基于深度摄像头的空中手写识别系统，其包括与数据采集设备相适应的数据接口模块、手势分割模块、静态手势识别模块、指尖检测模块、轨迹识别模块，其中，所述数据接口模块和手势分割模块相连接，所述手势分割模块与静态手势识别模块相连接，所述静态手势识别模块与指尖检测模块相连接，所述指尖检测模块与轨迹识别模块相连接；所述数据接口模块用于从数据采集设备中获取原始数据流；所述手势分割模块用于从深度图像中分割出手势；所述静态手势识别模块根据特征匹配方法进行静态手势识别，判定系统的工作模式及书写开始和结束；所述指尖检测模块用于从手部区域中检测出指尖位置并记录；所述轨迹识别模块主要用于指尖轨迹提取和识别。
进一步的，所述数据采集设备是深度摄像头，且具有可编程的应用程序接口并能够进行稳定和准确的数据采集工作，以便通过统一的数据接口对数据进行集中管理。
进一步的，所述数据接口模块用于接收深度摄像头所采集到的原始数据流，其采集信息包括当前场景及物体的彩色图像信息和深度图像信息，其中彩色图像包括场景和物体的轮廓和彩色信息，深度图像包括场景及物体的距离信息。
进一步的，所述静态手势识别模块判定本系统工作模式的方法是，采用特征匹配方法检测预先注册的静止手势，若识别到静止手势，则系统处于静止模式，否则处于书写模式。所述静态手势识别模块判定书写开始和结束方法是，当工作模式从静止模式转变为书写模式，书写开始，反之书写结束。
进一步的，所述指尖轨迹识别模块包括轨迹提取组件、特征提取组件和字符识别组件：所述轨迹提取组件主要是根据指尖坐标提取指尖运动轨迹；所述特征提取组件主要是完成轨迹数据的预处理和特征提取；所述字符识别组件主要是利用分类器对书写轨迹进行识别。
一种基于所述系统的识别方法，其包括以下步骤：
首先通过深度摄像头获取场景的深度图像；然后利用深度信息进行手势分割，提取出手势图像，接着采用双边滤波法对手势图像进行滤波处理，平滑图像边缘锯齿；然后进行静态手势识别，若识别到静止手势时，系统处于静止模式，否则系统进入书写模式；当系统进入书写模式时，进行指尖检测，基于手势图像计算出掌心点，结合手势轮廓特征定位指尖点，记录下指尖位置信息；书写结束后，处理记录的坐标序列，然后提取轨迹；最后采用基于SVM(支持向量机)的算法进行分类识别。
进一步的，所述手势分割包括以下步骤：利用开源OPENNI函数库确定手心的位置，其深度值表示为Zhand；然后设定深度阈值θ，则手部搜索的深度上下限为Zhand+θ和Zhand-θ；利用深度二值掩膜对图像进行或运算，把手势图像从背景中分离出来，其中，二值掩膜Iθ为一个以手心为中心，宽和高固定的掩膜窗口，定义如下：
Figure BDA0002650808750000031
其中，θ为深度阈值，Zhand表示跟踪手心位置的深度值，Z(x，y)表示图像像素(x，y)处的深度值。
进一步的，所述指尖检测包括以下步骤：应用OpenCV库中findContours函数检索手势图像中所有特征点的轮廓；利用道格拉斯-普克算法对指定的点集进行逼近，找出轮廓的多边形拟合曲线并画手部的拟合曲线；利用OpenCV中的convexHull函数检索上述步骤得到的最大轮廓的凸包，得到手部的凸包点；求凸包点处的曲率，取手部轮廓上一凸包点p，取轮廓上点p的前n个点q和点p的后继第n个点r，那么p点的曲率可以用向量
Figure BDA0002650808750000032
和向量
Figure BDA0002650808750000033
的夹角α的余弦值表示：
Figure BDA0002650808750000034
最后，根据手腕处的曲率和指尖的曲率的不同，设置合适的阈值将手腕处的凸包点去除，将曲率大于阈值的的像素点筛选出来作为指尖点。
进一步的，所述轨迹提取包括以下步骤：计算相邻坐标点之间的欧式距离，若欧式距离小于某一设定的极小阈值，认为此时手指处于静止状态，基于此剔除首尾多余坐标点；如果坐标点的数量小于某个阈值，对这些坐标点中欧式距离最大的两点之间进行插值，直到满足阈值要求为止；如果坐标点的数量大于这个阈值，先对坐标点中距离最大的两点之间进行插值，再从这些坐标点中均匀选取定量坐标点；最后将选取坐标点连接起来就得到手写轨迹。
进一步的，所述轨迹识别采用SVM算法进行识别，将轨迹图像重映射到一个N*N的固定尺寸图像，然后将重映射后得到的轨迹的横纵坐标按点的先后顺序排列起来形成一个一维向量作为SVM算法的特征向量。
本发明的优点及有益效果如下：
本发明使用深度摄像头作为数据采集设备，能提高数据采集的时效性和准确性，与佩戴惯性传感器的方法相比，束缚更小，书写更自由。手势分割模块采用深度阈值法进行手势分割，与传统肤色分割的方法相比，可以极大降低光照和复杂环境的干扰。静态手势识别模块通过识别注册的静止手势判定书写的开始和结束，利于简化后面的轨迹提取过程。轨迹识别模块通过计算相邻坐标点欧式距离，剔除静止的指尖点并对指尖坐标点进行插座处理，提取出完整的手势轨迹，最后采用SVM算法进行识别，该方法极大减少了冗余信息，降低计算开销，提高了轨迹的识别准确性和实时性。
综上所述，本发明给为人们在传统手写方式之外提供了一种更加灵活自由化和智能化的新型手写输入方式，可广泛适用于人机交互场景，如游戏操作、智慧大屏、增强显示等。
附图说明
图1是本发明提供优选实施例空中手写识别系统结构框图；
图2是利用本发明所提出的空中手写识别系统流程图；
图3是本发明手势分割的流程图；
图4是本发明指尖检测的流程图；
图5是本发明手写轨迹识别流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是：
如图1所示为一种基于深度摄像头的空中手写识别系统结构框图，该系统主要包括：A1～A8：A1是与数据采集设备相适应的数据接口模块；A2是手势分割模块；A3是静态手势识别模块；A4是指尖检测跟踪模块；A5是轨迹识别模块。其中轨迹识别模块包括轨迹提取组件A6、特征提取组件A7和字符识别组件A8。
如图2所示为本发明所提出的基于深度摄像头的空中手写识别系统的流程图，B1～B11：B1是深度摄像头采集的深度图像，具体可为RealSense输入的深度图像；B2是经手势分割得到手势图像；B3是静止手势的检测，若检测到，此时系统处于静止模式，返回B1，否则系统处于书写模式；B4是判定书写是否结束，若系统是由书写模式转为静止模式，即为用户书写结束，进入轨迹提取，否则返回B1；B5是特定手势检测，若检测到，则执行功能操作，否则继续检测指尖；B6是特定系统功能执行，如修改、删除等操作；B7是指尖检测；B8是轨迹提取，通过计算相邻坐标欧式距离，剔除首尾静止点，然后进行插值操作，最终提取出轨迹；B9是特征提取，对将得到的轨迹重映射到一个尺寸的图像，然后将轨迹坐标点的横纵坐标排列成一个一维特征向量；B10是字符识别，利用训练好的SVM模型对字符轨迹进行识别；B11是结果输出。
如图3所示为本发明手势分割的流程图，C1～C6：C1是由深度摄像头捕获的一帧深度图像；C2是手心定位，具体可使用OPENNI函数库定位；C3是深度阈值设定，具体值可通过实验确定；C4是利用深度二值掩膜对图像进行或运算；C5是滤波处理，具体采用双边滤波法，平滑图像边缘锯齿；C6是最终输出的手势图像。
如图4所示为本发明指尖检测的流程图，D1～D7：D1是输入一帧手势图像；D2是轮廓查找，具体可使用OpenCV中的findContours函数检索；D3多边形拟合，利用道格拉斯-普克算法对指定的点集进行逼近，找出轮廓的多边形拟合曲线并画手部的拟合曲线；D4凸包检测，利用OpenCV中的convexHull函数检索上述步骤得到的最大轮廓的凸包，得到手部的凸包点；D5是曲率计算，取手部轮廓上一凸包点p，取轮廓上点p的前n个点q和点p的后继第n个点r，那么p点的曲率可以用向量
Figure BDA0002650808750000061
和向量
Figure BDA0002650808750000062
的夹角α的余弦值表示；D6是阈值设定，根据手腕处的曲率和指尖的曲率的不同，设置合适的阈值将手腕处的凸包点去除，将曲率大于阈值的的像素点筛选出来作为指尖点；D7是输出指尖坐标。
如图5所示为本发明轨迹识别的流程图，E1～E8：E1是指尖坐标序列；E2是轨迹提取；E3是特征提取；E4是分类器识别；E5是结果输出；E6是数据集采集，将其作为训练集；E7是特征提取，对训练集进行特征提取操作；E8是模型训练。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (10)

1.一种基于深度摄像头的空中手写识别系统，其特征在于，包括数据采集设备相适应的数据接口模块、手势分割模块、静态手势识别模块、指尖检测模块、轨迹识别模块，其中，所述数据接口模块和手势分割模块相连接，所述手势分割模块与静态手势识别模块相连接，所述静态手势识别模块与指尖检测模块相连接，所述指尖检测模块与轨迹识别模块相连接；所述数据接口模块用于从数据采集设备中获取原始数据流；所述手势分割模块用于从深度图像中分割出手势；所述静态手势识别模块根据特征匹配方法进行静态手势识别，判定书写开始和结束；所述指尖检测模块用于从手部区域中检测出指尖位置；所述轨迹识别模块主要用于指尖轨迹提取和识别。
2.根据权利要求1所述的一种基于深度摄像头的空中手写识别系统，其特征在于，所述数据采集设备是一种深度摄像头，且具有可编程的应用程序接口并能够进行稳定和准确的数据采集工作，以便通过统一的数据接口对数据进行集中管理。
3.根据权利要求1和2所述的一种基于深度摄像头的空中手写识别系统，其特征在于，所述数据接口模块用于接收深度摄像头所采集到的原始数据流，采集信息包括当前场景及物体的彩色图像信息和深度图像信息，其中彩色图像包括场景和物体的轮廓和彩色信息，深度图像包括场景及物体的距离信息。
4.根据权利要求1所述的一种基于深度摄像头的空中手写识别系统，其特征在于，所述静态手势识别模块判定本系统工作模式的方法是，采用特征匹配方法检测预先注册的静止手势，若识别到静止手势，则系统处于静止模式，否则处于书写模式。所述静态手势识别模块判定书写开始和结束方法是，当工作模式从静止模式转变为书写模式，书写开始，反之书写结束。
5.根据权利要求1所述的一种基于深度摄像头的空中手写识别系统，其特征在于，所述指尖轨迹识别模块包括轨迹提取组件、特征提取组件和字符识别组件：所述轨迹提取组件主要是根据指尖坐标提取指尖运动轨迹；所述特征提取组件主要是完成轨迹数据的预处理和特征提取；所述字符识别组件主要是利用分类器对书写轨迹进行识别。
6.一种基于权利要求1-5之一系统的识别方法，其特征在于，包括以下步骤：
首先通过深度摄像头获取场景的深度图像；然后利用深度信息进行手势分割，提取出手势图像，接着采用双边滤波法对手势图像进行滤波处理，平滑图像边缘锯齿；然后进行静态手势识别，若识别到静止手势时，系统处于静止模式，否则系统进入书写模式；当系统进入书写模式时，进行指尖检测，基于手势图像计算出掌心点，结合手势轮廓特征定位指尖点，记录下指尖位置信息；书写结束后，处理记录的坐标序列，然后提取轨迹；最后采用基于SVM(支持向量机)的算法进行分类识别。
7.根据权利要求6所述的识别方法，其特征在于，所述手势分割包括以下步骤：利用开源OPENNI函数库确定手心的位置，其深度值表示为Zhand；然后设定深度阈值θ，则手部搜索的深度上下限为Zhand+θ和Zhand-θ；利用深度二值掩膜对图像进行或运算，把手势图像从背景中分离出来，其中，二值掩膜Iθ为一个以手心为中心，宽和高固定的掩膜窗口，定义如下：
Figure FDA0002650808740000021
其中，θ为深度阈值，Zhand表示跟踪手心位置的深度值，Z(x,y)表示图像像素(x,y)处的深度值。
8.根据权利要求6所述的识别方法，其特征在于，所述指尖检测包括以下步骤：使用OpenCV库中findContours函数检索手势图像中所有特征点的轮廓；利用道格拉斯-普克算法对指定的点集进行逼近，找出轮廓的多边形拟合曲线并画手部的拟合曲线；利用OpenCV中的convexHull函数检索上述步骤得到的最大轮廓的凸包，得到手部的凸包点；求凸包点处的曲率，取手部轮廓上凸包点p，取轮廓上点p的前n个点q和点p的后继第n个点r，那么p点的曲率可以用向量
Figure FDA0002650808740000022
和向量
Figure FDA0002650808740000023
的夹角α的余弦值表示：
Figure FDA0002650808740000031
最后，根据手腕处的曲率和指尖的曲率的不同，设置合适的阈值将手腕处的凸包点去除，将曲率大于阈值的像素点筛选出来作为指尖点。
9.根据权利要求6所述的识别方法，其特征在于，所述轨迹提取包括以下步骤：计算相邻坐标点之间的欧式距离，若欧式距离小于某一设定的极小阈值，认为此时手指处于静止状态，基于此剔除首尾多余坐标点；如果坐标点的数量小于某个阈值，对这些坐标点中欧式距离最大的两点之间进行插值，直到满足阈值要求为止；如果坐标点的数量大于这个阈值，先对坐标点中欧式距离最大的两点之间进行插值，再从这些坐标点中均匀选取定量坐标点；最后将选取坐标点连接起来就得到手写轨迹。
10.根据权利要求9所述的识别方法，其特征在于，所述轨迹识别采用SVM算法进行识别，将轨迹图像重映射到一个N*N的固定尺寸图像，然后将重映射后得到的轨迹的横纵坐标按点的先后顺序排列起来形成一个一维向量作为SVM算法的特征向量。
CN202010870135.9A 2020-08-26 2020-08-26 一种基于深度摄像头的空中手写识别系统及方法 Active CN111950514B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010870135.9A CN111950514B (zh) 2020-08-26 2020-08-26 一种基于深度摄像头的空中手写识别系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010870135.9A CN111950514B (zh) 2020-08-26 2020-08-26 一种基于深度摄像头的空中手写识别系统及方法

Publications (2)

Publication Number Publication Date
CN111950514A true CN111950514A (zh) 2020-11-17
CN111950514B CN111950514B (zh) 2022-05-03

Family

ID=73366469

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010870135.9A Active CN111950514B (zh) 2020-08-26 2020-08-26 一种基于深度摄像头的空中手写识别系统及方法

Country Status (1)

Country Link
CN (1) CN111950514B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113253837A (zh) * 2021-04-01 2021-08-13 作业帮教育科技（北京）有限公司 空中书写方法、装置、线上直播系统和计算机设备
CN113269025A (zh) * 2021-04-01 2021-08-17 广州车芝电器有限公司 一种自动报警方法及系统
CN114694242A (zh) * 2020-12-25 2022-07-01 华为技术有限公司 Ai识别方法、电子设备和摄像头
CN117037186A (zh) * 2023-10-09 2023-11-10 山东维克特信息技术有限公司 一种患者数据管理系统
CN117806466A (zh) * 2024-03-02 2024-04-02 良基（厦门）自动化设备有限公司 一种手势控制全自动洗碗机的控制方式
CN114694242B (zh) * 2020-12-25 2024-06-04 华为技术有限公司 Ai识别方法、电子设备和摄像头

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104299004A (zh) * 2014-10-23 2015-01-21 浙江大学 一种基于多特征融合和指尖检测的手势识别方法
US20160078279A1 (en) * 2010-06-07 2016-03-17 Affectiva, Inc. Image analysis using a semiconductor processor for facial evaluation
CN107092349A (zh) * 2017-03-20 2017-08-25 重庆邮电大学 一种基于RealSense的手语识别系统及方法
CN107885327A (zh) * 2017-10-27 2018-04-06 长春理工大学 一种基于Kinect深度信息的指尖检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160078279A1 (en) * 2010-06-07 2016-03-17 Affectiva, Inc. Image analysis using a semiconductor processor for facial evaluation
CN104299004A (zh) * 2014-10-23 2015-01-21 浙江大学 一种基于多特征融合和指尖检测的手势识别方法
CN107092349A (zh) * 2017-03-20 2017-08-25 重庆邮电大学 一种基于RealSense的手语识别系统及方法
CN107885327A (zh) * 2017-10-27 2018-04-06 长春理工大学 一种基于Kinect深度信息的指尖检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YU WU 等: "Layered Video Objects Detection Based on LBP and Codebook", 《2009 FIRST INTERNATIONAL WORKSHOP ON EDUCATION TECHNOLOGY AND COMPUTER SCIENCE》 *
李红波: "基于WiFi CSI的环境自适应活动识别方法研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *
高雅坤: ""基于Kinect的手势特征提取研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114694242A (zh) * 2020-12-25 2022-07-01 华为技术有限公司 Ai识别方法、电子设备和摄像头
CN114694242B (zh) * 2020-12-25 2024-06-04 华为技术有限公司 Ai识别方法、电子设备和摄像头
CN113253837A (zh) * 2021-04-01 2021-08-13 作业帮教育科技（北京）有限公司 空中书写方法、装置、线上直播系统和计算机设备
CN113269025A (zh) * 2021-04-01 2021-08-17 广州车芝电器有限公司 一种自动报警方法及系统
CN113269025B (zh) * 2021-04-01 2024-03-26 广州车芝电器有限公司 一种自动报警方法及系统
CN117037186A (zh) * 2023-10-09 2023-11-10 山东维克特信息技术有限公司 一种患者数据管理系统
CN117037186B (zh) * 2023-10-09 2024-01-30 山东维克特信息技术有限公司 一种患者数据管理系统
CN117806466A (zh) * 2024-03-02 2024-04-02 良基（厦门）自动化设备有限公司 一种手势控制全自动洗碗机的控制方式
CN117806466B (zh) * 2024-03-02 2024-05-28 良基（厦门）自动化设备有限公司 一种手势控制全自动洗碗机的控制方式

Also Published As

Publication number Publication date
CN111950514B (zh) 2022-05-03

Similar Documents

Publication Publication Date Title
CN111950514B (zh) 一种基于深度摄像头的空中手写识别系统及方法
CN109359538B (zh) 卷积神经网络的训练方法、手势识别方法、装置及设备
CN110232311B (zh) 手部图像的分割方法、装置及计算机设备
Plouffe et al. Static and dynamic hand gesture recognition in depth data using dynamic time warping
US8970696B2 (en) Hand and indicating-point positioning method and hand gesture determining method used in human-computer interaction system
CN109344793B (zh) 用于识别空中手写的方法、装置、设备以及计算机可读存储介质
CN104350509B (zh) 快速姿势检测器
US20160171293A1 (en) Gesture tracking and classification
US10108270B2 (en) Real-time 3D gesture recognition and tracking system for mobile devices
CN107679512A (zh) 一种基于手势关键点的动态手势识别方法
Huang et al. Emotion recognition based on a novel triangular facial feature extraction method
KR102123289B1 (ko) 심층 합성곱 신경망을 이용하여 rgb-d 이미지로부터 손 구성요소 및 손가락 끝을 추적하기 위한 방법 및 장치
CN112949440A (zh) 一种提取行人的步态特征的方法、步态识别方法及系统
Ren et al. Hand gesture recognition with multiscale weighted histogram of contour direction normalization for wearable applications
CN112749646A (zh) 一种基于手势识别的交互式点读系统
Yousefi et al. 3D gesture-based interaction for immersive experience in mobile VR
CN108614988A (zh) 一种复杂背景下的运动手势自动识别系统
KR20180101313A (ko) 손 모양 및 동작 인식장치 및 방법
Mali et al. Indian sign language recognition using SVM classifier
Saabni Facial expression recognition using multi Radial Bases Function Networks and 2-D Gabor filters
Bai et al. Dynamic hand gesture recognition based on depth information
Younas et al. Air-Writing Segmentation using a single IMU-based system
Vo et al. Automatic hand gesture segmentation for recognition of Vietnamese sign language
CN111553195A (zh) 基于多位图切平面与多尺度uLBP的三维人脸遮挡判别方法
Kaur et al. A Comprehensive Overview of AR/VR by Writing in Air”

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant