CN111665934A - 一种基于zynq软硬件协同处理的手势识别系统及方法 - Google Patents

一种基于zynq软硬件协同处理的手势识别系统及方法 Download PDF

Info

Publication number
CN111665934A
CN111665934A CN202010368104.3A CN202010368104A CN111665934A CN 111665934 A CN111665934 A CN 111665934A CN 202010368104 A CN202010368104 A CN 202010368104A CN 111665934 A CN111665934 A CN 111665934A
Authority
CN
China
Prior art keywords
gesture
module
gesture recognition
model
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010368104.3A
Other languages
English (en)
Inventor
邓立为
戚静静
胡杰
李敬远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN202010368104.3A priority Critical patent/CN111665934A/zh
Publication of CN111665934A publication Critical patent/CN111665934A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于ZYNQ软硬件协同处理的手势识别系统及方法，所述系统包括：图像预处理模块、手势分割模块、特征提取模块、手势识别模块、手势识别应用及界面显示模块和数据通路模块。其中，图像预处理模块和数据通路模块由PL部分实现，其他四个模块由PS部分实现。所述手势识别方法把需要处理的手势从复杂的背景中分割出来，之后基于动态时间规整模型识别方法进行动态手势的特征提取与手势识别。本发明提供的手势识别系统及方法能够根据用户的手势确定用户的控制命令并进行对应的操作，从而减少系统与用户进行交互时的操作步骤的复杂度，具有实时性较好、处理能力较快的效果，改善用户的交互体验。

Description

一种基于ZYNQ软硬件协同处理的手势识别系统及方法
技术领域
本发明属于手势识别技术领域，特别是涉及一种基于ZYNQ软硬件协同处理的手势识别系统及方法。
背景技术
随着社会的快速发展与进步，人机交互逐渐成为日常生活中的重要组成部分，人们对于人机交互的便捷性、高效性的要求也越来越髙。而传统的基于键盘、鼠标的交互方式已显示出其局限性，新的人机交互需要提供给人们更好的便携性、多样性，其目的是希望人与计算机之间的交互能够像人与人之间的交流那样便捷、自然。因此，符合人际交流习惯的新式人机交互技术逐渐受到人们的重视。
新的人机交互己从以设备为主转换到以人为主。当前的新式人机交互主要是基于触觉、听觉和视觉，其中，基于触觉的触摸屏技术和基于听觉的语音识别技术己经非常成熟，并且已大范围应用于手机、计算机、车载等设备中。而基于视觉的人机交互技术仍处于发展中，特别是手势识别，逐渐成为人机交互领域和计算机视觉领域的一个研究热点。
手势作为一种直观的的输入方式，可以使人们摆脱键盘、鼠标等设备的限制，将人的手势直接作为输入设备，利用手势识别技术对计算机及其他设备进行控制，省去了中间媒介，增强了人机交互的自然性和便捷性。手势的运动和变化非常灵活，相比较其它的交互方式，将手势用来与计算机交互，将获得更加便捷、直接和内容丰富的用户体验。
目前，尽管手势识别技术还不完全成熟，但是它在人们的日常生活、学习和工作中，正在发挥着越来越重要的作用。相对于在PC机上实现的手势识别系统，基于嵌入式系统的手势识别具有更灵活，应巧更广泛的优势。
目前的嵌入式系统大多基于ARM，FPGA等单一平台，ARM可以较方便的搭建嵌入式系统，但当处理复杂算法时，其运行速度将受到很大影响。FPGA的并行运算能力很强，逻辑资源很丰富，但在进行复杂、庞大的算法方面没有优势。对于手势识别这类算法复杂，计算量庞大，实时性也有很高要求的系统，以上单一平台都无法承担所有要求。因此，融合多种硬件平台的ZYNQ平台就是基于FPGA+ARM架构，它将两者的优势结合到一起，可实现复杂、运算量大的算法，同时保证系统满足实时性要求，还可使系统更加灵活，应用更加广泛。
发明内容
本发明目的是针对现有技术中手势识别方法处理速度较慢、实时性与处理能力较差、系统功耗较大、影响用户体验的技术问题，提出了一种基于ZYNQ软硬件协同处理的手势识别系统及方法。
本发明是通过以下技术方案实现的，本发明提出一种基于ZYNQ软硬件协同处理的手势识别系统，所述ZYNQ的主处理器包含处理器系统PS与可编程逻辑PL，两者采用AXI工业标准的接口，从而在芯片的两个部分之间实现互联的异构架构；所述系统包括图像预处理模块、手势分割模块、特征提取模块、手势识别模块、手势识别应用及界面显示模块和数据通路模块；其中，所述图像预处理模块和数据通路模块由PL部分实现，所述手势分割模块、特征提取模块、手势识别模块和手势识别应用及界面显示模块由PS部分实现；
所述图像预处理模块用于将摄像头采集的RGB图像进行颜色空间转换，并依据此颜色空间对手势图像进行初步提取，之后对初步提取到的手势图像进行滤波和形态学处理；
所述手势分割模块用于将预处理后的手势图像进行类肤色干扰的去除，所述类肤色干扰包括静态的类肤色背景干扰和动态的人脸、手臂干扰；
所述特征提取模块用于提取手势动态特征，所述手势动态特征包括运动速率特征及方向角特征；所述运动速率特征用来区分手势的运动状态；所述方向角特征用来描述手势运动轨迹，对一个动态手势来说，根据每两帧之间求出的旋转角度，可得到一个方向编码序列，此序列就是最终要提取的手势方向角特征；
所述手势识别模块用于将得到的手势动态特征和经过训练的模型库进行比对，计算出匹配度最高的模型，从而完成不同动态手势的识别；
所述手势识别应用及界面显示模块用于将识别结果通过一个具体应用表现出来；
所述数据通路模块用于负责PL和PS之间的数据传输。
进一步地，所述具体应用为图片浏览器，根据手势的上下左右、顺时针、逆时针六个动作实现对图片不同的操作并用Qt界面显示出来。
本发明还提出一种基于ZYNQ软硬件协同处理的手势识别系统的识别方法，所述识别方法包括以下步骤：
S201：用户在摄像头前做出任意一种系统定义的手势，摄像头采集用户手势动作；
S202：手势识别系统判断用户手势动作是否满足结束条件，否则需重新做出手势；
S203：对满足结束条件的手势动作，系统会提取用户手势动态特征，同时将其存储；
S204：利用DTW算法与模板库进行匹配；
S205：手势识别系统判断用户手势动作特征是否满足初始阈值的条件，否则需重新做出手势；
S206：手势识别系统找出匹配距离最小的模板；
S207：手势识别系统显示出识别结果。
本发明还提出一种基于ZYNQ软硬件协同处理的手势识别方法，所述方法包括以下步骤：
S101：对输入的手势图像做运动前景检测；
S102：将手势图像从RGB颜色空间转换为YCrCb颜色空间；
S103：对颜色空间转换后的手势图像进行滤波操作与图像形态学处理；
S104：对步骤S103处理后的手势图像进行背景干扰、人脸与手臂干扰的去除操作，从而将动态手势从复杂背景中分割出来；
S105：提取手势分割操作后的目标手势区域；
S106：针对目标手势区域的运动速率特征及方向角特征进行提取；
S107：判断用户进行DTW模型训练还是DTW模型识别操作；如果为DTW模型训练操作，则执行步骤S108；如果为DTW模型识别操作，则直接执行步骤S110；
S108：针对DTW模型进行手势模板训练；
S109：输出训练好的手势识别算法模型，进一步执行步骤S110；
S110：采用DTW模型进行手势识别；
S111：输出手势识别的识别结果。
进一步地，在步骤S101中，所采取的前景检测方法为基于混合高斯模型的运动前景检测算法，分别进行参数更新、背景估计与前景分割三个步骤；
(1)模型参数需随图像变换不断更新，每个像素和K个高斯分布进行对比判断是否更新，更新公式如下：
Figure BDA0002477206610000031
其中，ωk,i表示i时刻第k个高斯分布的权值，μk,i表示i时刻第k个高斯分布的均值向量，σk,i表示i时刻第k个高斯分布的均方差，η表示概率密度函数，Σk,i表示i时刻第k个高斯分布的协方差矩阵；α为权值更新率，ρ为参数更新率；当高斯分布与像素值Xi相匹配时，Mk,i置为1，否则置为0；
(2)背景估计以参数更新后ωk,i/σk,i为依据，按照比值大小对各高斯分布进行从高到低的排列，把重新排列的K个高斯分布中的前b个作为最终的背景模型BG，T为背景阈值，具体公式如下：
Figure BDA0002477206610000041
(3)前景分割是根据高斯背景模型，将当前像素值Xi分别和前b个高斯分布依次对比，没有与Xi匹配的即可判断此点为前景点，否则为背景点。
进一步地，对转换后的YCrCb颜色空间进行肤色检测，具体为某像素点Cr、Cb数值满足133≤Cr≤173和77≤Cb≤127的即被认为为肤色点。
进一步地，在步骤S104中，人脸的干扰去除采用基于形状特征的手势分割方法，具体为判断人脸与手势的面积与周长之比是否符合分割阈值，将不符合分割阈值的去除；所述手臂干扰去除采用基于宽度的手臂去除算法，具体为自上而下等间隔计算手势宽度值，其中宽度值的最小值位置即为手腕位置，并以最小值位置为分界线，将下方手臂区域去除。
进一步地，所述步骤S108具体为：
1)确定标准序列A作为预订模板，在加入新训练样本B序列时，以模板A作为第一个参数，采用DTW算法计算A与B的匹配距离，若该匹配距离大于预设距离阈值，则认为B不标准，删除；若该匹配距离小于预设距离阈值，则认为B标准，进行下一步操作；
2)搜索最优路径，按从后向前顺序在路径约束的搜索空间依次向前搜索，选择每列上待匹配的点中匹配距离最小的点作为最优路径上的匹配点；
3)将两个序列按最优路径逐点进行加权平均运算，得到的模板序列与新添加的待匹配序列再次进行加权平均运算；
4)重复以上步骤，直至把训练数据库中所有手势的待匹配序列执行完，得到若干模板序列作为动态手势识别依据。
进一步地，距离d计算公式如下：
d(αi,βj)＝min(|αi-βj|,11-|αi-βj|)
其中，αi、βj均为链码序列；
ωn作为加权因子，基于DTW算法的序列匹配距离为：
Figure BDA0002477206610000051
其中，N表示该路径上匹配点的数量，C表示训练样本的数量。
进一步地，在步骤S110中，采用的DTW模型为预设的DTW模型或者步骤S109用户训练的DTW模型，所述手势识别操作基于步骤S106提取的手势动态特征与手势模板进行匹配距离计算，取匹配距离最小的模板手势作为手势识别结果。
本发明的有益效果为：
通过本发明提供的基于ZYNQ软硬件协同处理的手势识别系统及方法，能够根据用户的手势确定用户的控制命令，并根据控制命令进行对应的操作，从而减少系统与用户进行交互时的操作步骤的复杂度，具有实时性较好、处理能力较快的效果，提高了交互的效率，进而改善用户的交互体验。
附图说明
图1为本发明所述基于ZYNQ软硬件协同处理的手势识别系统结构图；
图2为本发明所述基于ZYNQ软硬件协同处理的手势识别方法流程图；
图3为本发明所述基于ZYNQ软硬件协同处理的手势识别系统处理流程图。
具体实施方式
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
结合图1-图3，本发明提出一种基于ZYNQ软硬件协同处理的手势识别系统，所述ZYNQ的主处理器包含处理器系统PS与可编程逻辑PL，其中ARM Cortex-A9是一个应用级的处理器，位于处理系统端(Processing system，PS)，而可编程逻辑端(ProgrammableLogic，PL)部分是基于Xilinx7系列的FPGA架构，两者采用AXI工业标准的接口，从而在芯片的两个部分之间实现互联的异构架构；所述系统包括图像预处理模块、手势分割模块、特征提取模块、手势识别模块、手势识别应用及界面显示模块和数据通路模块；其中，所述图像预处理模块和数据通路模块由PL部分实现，所述手势分割模块、特征提取模块、手势识别模块和手势识别应用及界面显示模块由PS部分实现；
所述图像预处理模块用于将摄像头采集的RGB图像进行颜色空间转换，并依据此颜色空间对手势图像进行初步提取，之后对初步提取到的手势图像进行滤波和形态学处理；所述滤波为中值滤波，所述形态学处理包括腐蚀操作和膨胀操作。
所述手势分割模块用于将预处理后的手势图像进行类肤色干扰的去除，所述类肤色干扰包括静态的类肤色背景干扰和动态的人脸、手臂干扰；
所述特征提取模块用于提取手势动态特征，所述手势动态特征包括运动速率特征及方向角特征；所述运动速率特征用来区分手势的运动状态；所述方向角特征用来描述手势运动轨迹，对一个动态手势来说，根据每两帧之间求出的旋转角度，可得到一个方向编码序列，此序列就是最终要提取的手势方向角特征；
所述手势识别模块用于将得到的手势动态特征和经过训练的模型库进行比对，计算出匹配度最高的模型，从而完成不同动态手势的识别；
所述手势识别应用及界面显示模块用于将识别结果通过一个具体应用表现出来；所述具体应用为图片浏览器，根据手势的上下左右、顺时针、逆时针六个动作实现对图片不同的操作并用Qt界面显示出来。具体如表1所示：
表1基于手势控制的图片浏览器应用动态手势及其对应功能表
Figure BDA0002477206610000061
在用户做出上述几种不同手势时，系统可以进行手势识别并控制图片浏览器做出不同操作，从而实现人机交互。用户也可根据需求定义其他不同的手势而不仅局限于上述6种手势及其对应操作。
所述数据通路模块用于负责PL和PS之间的数据传输。PL与PS数据通路模块通过AXI互联总线负责ARM和FPGA之间的数据传输，主要是在图像预处理阶段和显示阶段用VDMA通道在PL和PS之间传输图像数据。
所述系统还包含四个外部接口设备，分别为USB设备、SD存储卡、DDR3存储器与显示器。
其中，系统外部接口设备中，USB设备包括通过USB接口连接系统的鼠标、键盘与摄像头，分别用于图像采集与系统控制；SD存储卡用于储存嵌入式系统启动文件与程序文件；DDR3存储器用于对采集的视频图像、中间数据与程序等进行缓存；显示器则用于显示系统界面与识别结果。
本发明还提出一种基于ZYNQ软硬件协同处理的手势识别系统的识别方法，所述识别方法包括以下步骤：
S201：用户在摄像头前做出任意一种系统定义的手势，摄像头采集用户手势动作；
S202：手势识别系统判断用户手势动作是否满足结束条件，否则需重新做出手势；
S203：对满足结束条件的手势动作，系统会提取用户手势动态特征，同时将其存储；
S204：利用DTW算法与模板库进行匹配；
S205：手势识别系统判断用户手势动作特征是否满足初始阈值的条件，否则需重新做出手势；
S206：手势识别系统找出匹配距离最小的模板；
S207：手势识别系统显示出识别结果。
所述DTW算法为基于动态时间规整模型(Dynamic Time Warping，DTW)的识别方法。
本发明还提出一种基于ZYNQ软硬件协同处理的手势识别方法，所述方法包括以下步骤：
S101：对输入的手势图像做运动前景检测；
在步骤S101中，所采取的前景检测方法为基于混合高斯模型的运动前景检测算法，分别进行参数更新、背景估计与前景分割三个步骤；
(1)模型参数需随图像变换不断更新，每个像素和K个高斯分布进行对比判断是否更新，更新公式如下：
Figure BDA0002477206610000071
其中，ωk,i表示i时刻第k个高斯分布的权值，μk,i表示i时刻第k个高斯分布的均值向量，σk,i表示i时刻第k个高斯分布的均方差，η表示概率密度函数，Σk,i表示i时刻第k个高斯分布的协方差矩阵；α为权值更新率，ρ为参数更新率；当高斯分布与像素值Xi相匹配时，Mk,i置为1，否则置为0；若没有高斯分布与之相匹配，则以一个新的高斯分布替换掉优先级较低的高斯分布并以较大方差与较小权值进行高斯分布的初始化操作。
(2)背景估计以参数更新后ωk,i/σk,i为依据，按照比值大小对各高斯分布进行从高到低的排列，把重新排列的K个高斯分布中的前b个作为最终的背景模型BG，T为背景阈值，具体公式如下：
Figure BDA0002477206610000081
(3)前景分割是根据高斯背景模型，将当前像素值Xi分别和前b个高斯分布依次对比，没有与Xi匹配的即可判断此点为前景点，否则为背景点。
S102：将手势图像从RGB颜色空间转换为YCrCb颜色空间，该YCrCb颜色空间作为肤色检测的颜色空间；
RGB颜色空间转换到YCrCb颜色空间公式如下：
Figure BDA0002477206610000082
对转换后的YCrCb颜色空间进行肤色检测，具体为某像素点Cr、Cb数值满足133≤Cr≤173和77≤Cb≤127的即被认为为肤色点。
S103：对颜色空间转换后的手势图像进行滤波操作与图像形态学处理；滤波的操作包括对非肤色区间进行滤除与中值滤波；图像形态学处理包括图像腐蚀操作与图像膨胀操作。
S104：对步骤S103处理后的手势图像进行背景干扰、人脸与手臂干扰的去除操作，从而将动态手势从复杂背景中分割出来；
在步骤S104中，人脸的干扰去除采用基于形状特征的手势分割方法，具体为判断人脸与手势的面积与周长之比是否符合分割阈值，所述分割阈值优选为15，将不符合分割阈值的去除；所述手臂干扰去除采用基于宽度的手臂去除算法，具体为自上而下等间隔计算手势宽度值，其中宽度值的最小值位置即为手腕位置，并以最小值位置为分界线，将下方手臂区域去除。
S105：提取手势分割操作后的目标手势区域；
S106：针对目标手势区域的手势质心的运动速率特征及方向角特征进行提取；提取特征将得到一组描述手势运动轨迹的方向角序列，优选的，采用Freeman链码序列表示动态手势特征。
S107：判断用户进行DTW模型训练还是DTW模型识别操作；如果为DTW模型训练操作，则执行步骤S108；如果为DTW模型识别操作，则直接执行步骤S110；
S108：针对DTW模型进行手势模板训练；
所述步骤S108具体为：
1)确定标准序列A作为预订模板，在加入新训练样本B序列时，以模板A作为第一个参数，采用DTW算法计算A与B的匹配距离，若该匹配距离大于预设距离阈值，则认为B不标准，删除；若该匹配距离小于预设距离阈值，则认为B标准，进行下一步操作；
2)搜索最优路径，按从后向前顺序在路径约束的搜索空间依次向前搜索，选择每列上待匹配的点中匹配距离最小的点作为最优路径上的匹配点；
3)将两个序列按最优路径逐点进行加权平均运算，得到的模板序列与新添加的待匹配序列再次进行加权平均运算；
4)重复以上步骤，直至把训练数据库中所有手势的待匹配序列执行完，得到若干模板序列作为动态手势识别依据。
距离d计算公式如下：
d(αi,βj)＝min(|αi-βj|,11-|αi-βj|)
其中，αi、βj均为链码序列；
ωn作为加权因子，基于DTW算法的序列匹配距离为：
Figure BDA0002477206610000091
其中，N表示每条路径上匹配点的数量，C表示训练样本的数量。
S109：输出训练好的手势识别算法模型，进一步执行步骤S110；
S110：采用DTW模型进行手势识别；
在步骤S110中，采用的DTW模型为预设的DTW模型或者步骤S109用户训练的DTW模型，所述手势识别操作基于步骤S106提取的手势动态特征与手势模板进行匹配距离计算，取匹配距离最小的模板手势作为手势识别结果，手势模板数为可选择的，如6个。若采用用户训练的DTW模型，则识别过程中的初始值与参数配置需与训练时保持一致。
S111：输出手势识别的识别结果。
本发明手势识别系统及方法对用户手势特征进行提取，通过图像处理与DTW算法进行手势识别，以此为基础建立手势识别系统，提高了手势识别的精度，进而优化用户交互的体验。
以上对本发明所提出的一种基于ZYNQ软硬件协同处理的手势识别系统及方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于ZYNQ软硬件协同处理的手势识别系统，其特征在于：所述ZYNQ的主处理器包含处理器系统PS与可编程逻辑PL，两者采用AXI工业标准的接口，从而在芯片的两个部分之间实现互联的异构架构；所述系统包括图像预处理模块、手势分割模块、特征提取模块、手势识别模块、手势识别应用及界面显示模块和数据通路模块；其中，所述图像预处理模块和数据通路模块由PL部分实现，所述手势分割模块、特征提取模块、手势识别模块和手势识别应用及界面显示模块由PS部分实现；
所述图像预处理模块用于将摄像头采集的RGB图像进行颜色空间转换，并依据此颜色空间对手势图像进行初步提取，之后对初步提取到的手势图像进行滤波和形态学处理；
所述手势分割模块用于将预处理后的手势图像进行类肤色干扰的去除，所述类肤色干扰包括静态的类肤色背景干扰和动态的人脸、手臂干扰；
所述特征提取模块用于提取手势动态特征，所述手势动态特征包括运动速率特征及方向角特征；所述运动速率特征用来区分手势的运动状态；所述方向角特征用来描述手势运动轨迹，对一个动态手势来说，根据每两帧之间求出的旋转角度，可得到一个方向编码序列，此序列就是最终要提取的手势方向角特征；
所述手势识别模块用于将得到的手势动态特征和经过训练的模型库进行比对，计算出匹配度最高的模型，从而完成不同动态手势的识别；
所述手势识别应用及界面显示模块用于将识别结果通过一个具体应用表现出来；
所述数据通路模块用于负责PL和PS之间的数据传输。
2.根据权利要求1所述的系统，其特征在于：所述具体应用为图片浏览器，根据手势的上下左右、顺时针、逆时针六个动作实现对图片不同的操作并用Qt界面显示出来。
3.一种如权利要求1所述的基于ZYNQ软硬件协同处理的手势识别系统的识别方法，其特征在于：所述识别方法包括以下步骤：
S201：用户在摄像头前做出任意一种系统定义的手势，摄像头采集用户手势动作；
S202：手势识别系统判断用户手势动作是否满足结束条件，否则需重新做出手势；
S203：对满足结束条件的手势动作，系统会提取用户手势动态特征，同时将其存储；
S204：利用DTW算法与模板库进行匹配；
S205：手势识别系统判断用户手势动作特征是否满足初始阈值的条件，否则需重新做出手势；
S206：手势识别系统找出匹配距离最小的模板；
S207：手势识别系统显示出识别结果。
4.一种基于ZYNQ软硬件协同处理的手势识别方法，其特征在于：所述方法包括以下步骤：
S101：对输入的手势图像做运动前景检测；
S102：将手势图像从RGB颜色空间转换为YCrCb颜色空间；
S103：对颜色空间转换后的手势图像进行滤波操作与图像形态学处理；
S104：对步骤S103处理后的手势图像进行背景干扰、人脸与手臂干扰的去除操作，从而将动态手势从复杂背景中分割出来；
S105：提取手势分割操作后的目标手势区域；
S106：针对目标手势区域的运动速率特征及方向角特征进行提取；
S107：判断用户进行DTW模型训练还是DTW模型识别操作；如果为DTW模型训练操作，则执行步骤S108；如果为DTW模型识别操作，则直接执行步骤S110；
S108：针对DTW模型进行手势模板训练；
S109：输出训练好的手势识别算法模型，进一步执行步骤S110；
S110：采用DTW模型进行手势识别；
S111：输出手势识别的识别结果。
5.根据权利要求4所述的方法，其特征在于：在步骤S101中，所采取的前景检测方法为基于混合高斯模型的运动前景检测算法，分别进行参数更新、背景估计与前景分割三个步骤；
(1)模型参数需随图像变换不断更新，每个像素和K个高斯分布进行对比判断是否更新，更新公式如下：
Figure FDA0002477206600000021
其中，ωk,i表示i时刻第k个高斯分布的权值，μk,i表示i时刻第k个高斯分布的均值向量，σk,i表示i时刻第k个高斯分布的均方差，η表示概率密度函数，Σk,i表示i时刻第k个高斯分布的协方差矩阵；α为权值更新率，ρ为参数更新率；当高斯分布与像素值Xi相匹配时，Mk,i置为1，否则置为0；
(2)背景估计以参数更新后ωk,i/σk,i为依据，按照比值大小对各高斯分布进行从高到低的排列，把重新排列的K个高斯分布中的前b个作为最终的背景模型BG，T为背景阈值，具体公式如下：
Figure FDA0002477206600000031
(3)前景分割是根据高斯背景模型，将当前像素值Xi分别和前b个高斯分布依次对比，没有与Xi匹配的即可判断此点为前景点，否则为背景点。
6.根据权利要求5所述的方法，其特征在于：对转换后的YCrCb颜色空间进行肤色检测，具体为某像素点Cr、Cb数值满足133≤Cr≤173和77≤Cb≤127的即被认为为肤色点。
7.根据权利要求4所述的方法，其特征在于：在步骤S104中，人脸的干扰去除采用基于形状特征的手势分割方法，具体为判断人脸与手势的面积与周长之比是否符合分割阈值，将不符合分割阈值的去除；所述手臂干扰去除采用基于宽度的手臂去除算法，具体为自上而下等间隔计算手势宽度值，其中宽度值的最小值位置即为手腕位置，并以最小值位置为分界线，将下方手臂区域去除。
8.根据权利要求4所述的方法，其特征在于：所述步骤S108具体为：
1)确定标准序列A作为预订模板，在加入新训练样本B序列时，以模板A作为第一个参数，采用DTW算法计算A与B的匹配距离，若该匹配距离大于预设距离阈值，则认为B不标准，删除；若该匹配距离小于预设距离阈值，则认为B标准，进行下一步操作；
2)搜索最优路径，按从后向前顺序在路径约束的搜索空间依次向前搜索，选择每列上待匹配的点中匹配距离最小的点作为最优路径上的匹配点；
3)将两个序列按最优路径逐点进行加权平均运算，得到的模板序列与新添加的待匹配序列再次进行加权平均运算；
4)重复以上步骤，直至把训练数据库中所有手势的待匹配序列执行完，得到若干模板序列作为动态手势识别依据。
9.根据权利要求8所述的方法，其特征在于：距离d计算公式如下：
d(αi,βj)＝min(|αi-βj|,11-|αi-βj|)
其中，αi、βj均为链码序列；
ωn作为加权因子，基于DTW算法的序列匹配距离为：
Figure FDA0002477206600000041
其中，N表示每条路径上匹配点的数量，C表示训练样本的数量。
10.根据权利要求9所述的方法，其特征在于：在步骤S110中，采用的DTW模型为预设的DTW模型或者步骤S109用户训练的DTW模型，所述手势识别操作基于步骤S106提取的手势动态特征与手势模板进行匹配距离计算，取匹配距离最小的模板手势作为手势识别结果。
CN202010368104.3A 2020-04-30 2020-04-30 一种基于zynq软硬件协同处理的手势识别系统及方法 Withdrawn CN111665934A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010368104.3A CN111665934A (zh) 2020-04-30 2020-04-30 一种基于zynq软硬件协同处理的手势识别系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010368104.3A CN111665934A (zh) 2020-04-30 2020-04-30 一种基于zynq软硬件协同处理的手势识别系统及方法

Publications (1)

Publication Number Publication Date
CN111665934A true CN111665934A (zh) 2020-09-15

Family

ID=72383154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010368104.3A Withdrawn CN111665934A (zh) 2020-04-30 2020-04-30 一种基于zynq软硬件协同处理的手势识别系统及方法

Country Status (1)

Country Link
CN (1) CN111665934A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112337082A (zh) * 2020-10-20 2021-02-09 深圳市杰尔斯展示股份有限公司 一种ar沉浸式虚拟视觉感知交互系统和方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103543826A (zh) * 2013-07-30 2014-01-29 广东工业大学 一种基于加速度传感器的手势识别方法
CN104318558A (zh) * 2014-10-17 2015-01-28 浙江大学 复杂场景下基于多信息融合的手势分割方法
CN104463191A (zh) * 2014-10-30 2015-03-25 华南理工大学 一种基于注意机制的机器人视觉处理方法
CN106557173A (zh) * 2016-11-29 2017-04-05 重庆重智机器人研究院有限公司 动态手势识别方法及装置
CN107958218A (zh) * 2017-11-22 2018-04-24 南京邮电大学 一种实时手势识别的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103543826A (zh) * 2013-07-30 2014-01-29 广东工业大学 一种基于加速度传感器的手势识别方法
CN104318558A (zh) * 2014-10-17 2015-01-28 浙江大学 复杂场景下基于多信息融合的手势分割方法
CN104463191A (zh) * 2014-10-30 2015-03-25 华南理工大学 一种基于注意机制的机器人视觉处理方法
CN106557173A (zh) * 2016-11-29 2017-04-05 重庆重智机器人研究院有限公司 动态手势识别方法及装置
CN107958218A (zh) * 2017-11-22 2018-04-24 南京邮电大学 一种实时手势识别的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杜克峰: "《基于Zynq的手势识别系统的研究》", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112337082A (zh) * 2020-10-20 2021-02-09 深圳市杰尔斯展示股份有限公司 一种ar沉浸式虚拟视觉感知交互系统和方法

Similar Documents

Publication Publication Date Title
CN109359538B (zh) 卷积神经网络的训练方法、手势识别方法、装置及设备
WO2020108362A1 (zh) 人体姿态检测方法、装置、设备及存储介质
Bandini et al. Analysis of the hands in egocentric vision: A survey
CN107885327B (zh) 一种基于Kinect深度信息的指尖检测方法
CN103226388B (zh) 一种基于Kinect的手写方法
CN102402289B (zh) 一种基于机器视觉的手势鼠标识别方法
CN108073851B (zh) 一种抓取手势识别的方法、装置及电子设备
Stephan et al. Gesture Recognition for Human-Computer Interaction (HCI).
CN107357414B (zh) 一种点击动作的识别方法及点击动作识别装置
CN112836597A (zh) 基于级联并行卷积神经网络的多手姿态关键点估计方法
CN113792635A (zh) 一种基于轻量化卷积神经网络的手势识别方法
Mahmood et al. A Comparative study of a new hand recognition model based on line of features and other techniques
CN116721460A (zh) 手势识别方法、装置、电子设备以及存储介质
CN111291713A (zh) 一种基于骨架的手势识别方法及系统
CN111665934A (zh) 一种基于zynq软硬件协同处理的手势识别系统及方法
Cambuim et al. An efficient static gesture recognizer embedded system based on ELM pattern recognition algorithm
Zhang et al. A simple and effective static gesture recognition method based on attention mechanism
CN211293894U (zh) 一种凌空手写交互装置
CN112164061A (zh) 一种有助于无接触人机交互的微手势检测方法
Duan et al. An approach to dynamic hand gesture modeling and real-time extraction
Cao Face recognition robot system based on intelligent machine vision image recognition
CN111722700A (zh) 一种人机交互方法及人机交互设备
Thomas et al. A comprehensive review on vision based hand gesture recognition technology
Gong et al. A multi-objective optimization model and its evolution-based solutions for the fingertip localization problem
Maleki et al. Intelligent visual mouse system based on hand pose trajectory recognition in video sequences

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200915