CN110309806A - 一种基于视频图像处理的手势识别系统及其方法 - Google Patents
一种基于视频图像处理的手势识别系统及其方法 Download PDFInfo
- Publication number
- CN110309806A CN110309806A CN201910609811.4A CN201910609811A CN110309806A CN 110309806 A CN110309806 A CN 110309806A CN 201910609811 A CN201910609811 A CN 201910609811A CN 110309806 A CN110309806 A CN 110309806A
- Authority
- CN
- China
- Prior art keywords
- module
- gesture
- image
- pixel
- gestures
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000001914 filtration Methods 0.000 claims abstract description 30
- 238000001514 detection method Methods 0.000 claims abstract description 18
- 238000003708 edge detection Methods 0.000 claims abstract description 14
- 230000011218 segmentation Effects 0.000 claims abstract description 14
- 238000006243 chemical reaction Methods 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 230000003044 adaptive effect Effects 0.000 claims description 12
- 238000003066 decision tree Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000000877 morphologic effect Effects 0.000 claims description 9
- 230000007797 corrosion Effects 0.000 claims description 7
- 238000005260 corrosion Methods 0.000 claims description 7
- 238000011946 reduction process Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 5
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 claims description 3
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 2
- 239000012141 concentrate Substances 0.000 claims 1
- 230000003993 interaction Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000006002 Pepper Substances 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
一种基于视频图像处理的手势识别系统及其方法属于图像处理领域；包括摄像头采集模块、摄像头配置模块、预处理模块、DDR存储器、手势检测与分割模块、手势特征提取模块和手势识别模块；所述预处理模块包括中值滤波模块、颜色域转换模块，手势检测与分割模块包括图像二值化模块、滤波模块和边缘检测模块；所述摄像头配置模块连接摄像头采集模块，所述摄像头采集模块依次连接中值滤波模块、颜色域转换模块、DDR存储器、图像二值化模块、滤波模块、边缘检测模块、手势特征提取模块和手势识别模块；本发明有效的解决了现有技术当中识别时间长，反应慢的技术问题。
Description
技术领域
本发明属于图像处理领域，尤其涉及一种基于视频图像处理的手势识别系统及其方法。
背景技术
随着人机交互技术的飞速发展，各种新型的人机交互方式不断涌现，基于手势识别的人机交互方式作为其中一个分支，随着各种新算法的提出及改进，其重要性日益凸显，并将在不远的将来走进千家万户，成为家庭中人机交互的主要方式。
然而，手势识别这类基于数字图像处理的人机交互方式，一直面临着一个难以解决的问题，即识别时间长，反应慢的技术问题。
发明内容
本发明克服了上述现有技术的不足，提供一种基于视频图像处理的手势识别系统及其方法。
本发明的技术方案：
一种基于视频图像处理的手势识别系统，包括摄像头采集模块、摄像头配置模块、预处理模块、DDR存储器、手势检测与分割模块、手势特征提取模块和手势识别模块；所述预处理模块包括中值滤波模块、颜色域转换模块，手势检测与分割模块包括图像二值化模块、滤波模块和边缘检测模块；所述摄像头配置模块连接摄像头采集模块，所述摄像头采集模块依次连接中值滤波模块、颜色域转换模块、DDR存储器、图像二值化模块、滤波模块、边缘检测模块、手势特征提取模块和手势识别模块。
一种基于所述基于视频图像处理的手势识别系统实现的手势识别方法，包括下列步骤：
步骤a、摄像头采集模块对手势图像进行采集，对手势图像进行中值滤波和颜色域转换，输出YCrCb格式的图像到手势检测与分割模块；
步骤b、手势检测与分割模块对所述图像利用最大类间方差法的自适应阈值的二值化算法进行二值化；
步骤c、对二值化后的图像进行均值滤波运算和先腐蚀后膨胀的形态学滤波进行降噪处理；
步骤d、对降噪处理后的图像采用Sobel算子利用边缘上像素值的梯度变化确定并提取手势的轮廓；
步骤e、进行特征提取：特征包括手部的面积周长比、手指根数及预置10种手势的7阶Hu矩；
步骤f、设定手部图像面积为S、手部图像周长L的比值为C，
步骤g、面积S的求法是在二值化的手部图像上，计算手部就是计算所有白色像素点的个数，以此作为面积，通过对二值图像进行扫描得到：
步骤h、周长L的求法是手部轮廓边界线上所有像素点之和，对手势轮廓中的手势区域进行扫描并且计算出白色点的个数，即为周长：
步骤i、通过手指的根数F和手势轮廓的7个不变矩作为特征参数，运用分类决策树和手势特征集中预置的多种手势的手势特征进行匹配从而识别手势。
进一步地，所述中值滤波方法包括把一帧图片里的任意一点像素的亮度值被该点模板邻域各点的亮度值的中值取代，采用3×3模板来实现中值滤波。
进一步地，所述颜色域转换为RGB颜色空间转换为与亮度呈非线性关系的颜色空间YCrCb颜色空间，其中Y表示亮度，Cr表示RGB中红色分量与亮度值之间的差异，Cb表示RGB蓝色分量与亮度值之间的差异。
进一步地，所述最大类间方差法的自适应阈值的二值化算法根据图像目标和背景的方差来区别出图像的目标和背景。
进一步地，所述形态学滤波方法包括先腐蚀后膨胀，腐蚀为用3阶矩阵模板与图像中的每一个像素进行计算，即模板与模板覆盖的像素进行与运算，如果都为1，则该像素为1，否则该像素为0，公式为
其中X表示原图像，B表示处理模板；
膨胀为腐蚀的反操作，用3阶矩阵模板扫描图像中的每一个像素，即模板与模板覆盖的像素进行或运算，如果都为0，则该像素为0，否则该像素为1，公式为
进一步地，所述Sobel算子包含两组3阶矩阵，分别用于检测图像的水平边缘和垂直边缘，设I表示待处理图像，Gx与Gy分别表示水平和垂直边缘检测的图像，公式如下：
结合以上两式，针对图像的每个像素点求出近似梯度：
进一步地，运用分类决策树和手势特征集中预置的多种手势的手势特征进行匹配从而识别手势的方法为建立分类决策树，根据面积周长比的值C参数对不同手势第一次进行区分，对处在同一C参数区间的手势再通过手指根数F参数进行区分，若依然无法区分则利用Hu矩参数信息与预置于手势特征集中的手势进行最小欧氏距离进行匹配，最终实现快速精确的识别预先定义的十种手势。
本发明相对于现有技术具有以下有益效果：
本发明公开了一种基于视频图像处理的手势识别系统及其方法，通过摄像头采集模块对手势图像进行采集，输出RGB格式图像传输至预处理模块进行预处理；对图像进行中值滤波，去除掉图像中的椒盐噪声，然后再对图像进行颜色域转换，把图像转换成YCrCb格式的数据经过预处理模块后的图像缓存到DDR存储器中，图像二值化模块从DDR存储器中读取到的图像数据经过自适应阈值的界定，进行图像的二值化，用以简化计算和资源消耗；通过滤波模块进行降噪处理，滤波模块包括均值滤波和形态学滤波，均值滤波用于取出白噪声和环境噪声，形态学滤波(腐蚀膨胀)用于去除二值化后的噪点，通过边缘检测模块对图像完成手势分割；通过手势特征提取模块提取手势图像特征；通过手势识别模块对手势图像特征进行手势识别运算，快速完成手势识别；本发明有效的解决了现有技术当中识别时间长，反应慢的技术问题。
附图说明
图1是一种基于视频图像处理的手势识别系统结构图；
图2是一种基于视频图像处理的手势识别方法流程图；
图3是中值滤波流程图；
图4是腐蚀过程演示图；
图5是膨胀过程演示图；
图6是决策树示意图图；
图7是预设十种手势对比图；
图8是系统工作原理图。
具体实施方式
以下将结合附图对本发明进行详细说明。
具体实施方式一
一种基于视频图像处理的手势识别系统，如图1所示，包括摄像头采集模块、摄像头配置模块、预处理模块、DDR存储器、手势检测与分割模块、手势特征提取模块和手势识别模块；所述预处理模块包括中值滤波模块和颜色域转换模块，手势检测与分割模块包括图像二值化模块、滤波模块和边缘检测模块；所述摄像头配置模块连接摄像头采集模块，所述摄像头采集模块依次连接中值滤波模块、颜色域转换模块、DDR存储器、图像二值化模块、滤波模块、边缘检测模块、手势特征提取模块和手势识别模块。
工作过程：如图8所示，通过摄像头配置模块对摄像头采集模块配置，使用FPGA驱动摄像头采集模块对手势图像进行采集，输出RGB格式图像传输至预处理模块进行预处理；对图像进行中值滤波，去除掉图像中的椒盐噪声，然后再对图像进行颜色域转换，把图像转换成YCrCb格式的数据经过预处理模块后的图像缓存到DDR存储器中，图像二值化模块从DDR存储器中读取到的图像数据经过自适应阈值的界定，进行图像的二值化，用以简化计算和资源消耗；通过滤波模块进行降噪处理，滤波模块包括均值滤波和形态学滤波，均值滤波用于取出白噪声和环境噪声，形态学滤波(腐蚀膨胀)用于去除二值化后的噪点，通过边缘检测模块对图像完成手势分割；通过手势特征提取模块提取手势图像特征；通过手势识别模块对手势图像特征进行手势识别运算，完成手势识别。
具体实施方式二
一种基于所述基于视频图像处理的手势识别系统实现的手势识别方法，如图2所示，包括下列步骤：
步骤a、摄像头采集模块对手势图像进行采集，对手势图像进行中值滤波和颜色域转换，输出YCrCb格式的图像到手势检测与分割模块；
步骤b、手势检测与分割模块对所述图像利用最大类间方差法的自适应阈值的二值化算法进行二值化；
步骤c、对二值化后的图像进行均值滤波运算和先腐蚀后膨胀的形态学滤波进行降噪处理；
步骤d、对降噪处理后的图像采用Sobel算子利用边缘上像素值的梯度变化确定并提取手势的轮廓；
步骤e、进行特征提取：特征包括手部的面积周长比、手指根数及预置10种手势的7阶Hu矩；
步骤f、设定手部图像面积为S、手部图像周长L的比值为C，
步骤g、面积S的求法是在二值化的手部图像上，计算手部就是计算所有白色像素点的个数，以此作为面积，通过对二值图像进行扫描得到：
其中，q(x，y)手部图像区域的像素点；
步骤h、周长L的求法是手部轮廓边界线上所有像素点之和，对手势轮廓中的手势区域进行扫描并且计算出白色点的个数，即为周长：
其中，f(x，y)，轮廓上的像素点；
步骤i、通过手指的根数F和手势轮廓的7个不变矩作为特征参数，运用分类决策树和手势特征集中预置的多种手势的手势特征进行匹配从而识别手势。
具体实施方式三
在具体实施方式二的基础上，如图3所示，所述中值滤波方法包括把一帧图片里的任意一点像素的亮度值被该点模板邻域各点的亮度值的中值取代，采用3×3模板来实现中值滤波。
中值滤波，本发明使用特有的适合于FPGA的快速中值滤波算法：在进行进一步的图像处理之前，必须先对图像进行一定程度的降噪。重点是既能强化图像里的特定信息，又能减弱甚至消除不必要的信息或能影响识别结果的信息，使得滤波后的图像能更加适合后续的处理。
具体实施方式四
在具体实施方式三的基础上，所述颜色域转换为RGB颜色空间转换为与亮度呈非线性关系的颜色空间YCrCb颜色空间，其中Y表示亮度，Cr表示RGB中红色分量与亮度值之间的差异，Cb表示RGB蓝色分量与亮度值之间的差异。
为了克服RGB颜色空间的局限性，必须使用一种与亮度呈非线性关系的颜色空间——YCrCb颜色空间，其中Y表示亮度，Cr表示RGB中红色分量与亮度值之间的差异，Cb表示RGB蓝色分量与亮度值之间的差异，而摄像头所获取的图像为RGB颜色空间，所以需要进行色域转换。
具体实施方式五
在具体实施方式四的基础上，所述最大类间方差法的自适应阈值的二值化算法根据图像目标和背景的方差来区别出图像的目标和背景。
本发明基于肤色信息作为图像二值化的依据，其实现方法有两种：固定阈值法和自适应阈值法。固定阈值法即是设定一个固定的阈值或者阈值范围，例如我们可以根据D.Chai的研究结果：133≤Cr≤173，77≤Cb≤127，只要对于任意像素点满足此条件，即认为是手势部位，把此像素点设置为255，反之对于任意像素点不满足此条件，即认为是背景点，把此像素点设置为0。固定阈值法的主要优点是算法复杂度低，容易实现并且计算量小。但是固定的阈值对于复杂背景的适应性较差，通常处理效果不好。而自适应阈值法可以根据图像中的像素点数据的变化的特点，自动调节二值化所采用的阈值，适用于不同的环境。
最大类间方差法是一种自适应阈值算法，简称OTSU。其原理主要根据图像目标和背景的方差来区别出图像的目标和背景。
设图像为I(x，y)，分割阈值为T，属于前景的像素点的个数为N0，占整帧图像的像素点总数的比例为ω0，前景像素点的平均亮度为μ0。属于背景的像素点的个数为N1，占整帧图像的像素点总数的比例为ω1，图像的平均亮度为μ1。图像的分辨率为M×N，图像的平均灰度为μ，其类间方差记为g，那么对于0到255之间的每一个T的取值，都有如下：
ω0＝N0/(M×N)
ω1＝N1/(M×N)
N0+N1＝M×N
ω0+ω1＝1
μ＝ω0×μ0+ω1×μ1
g＝ω0×(μ0-μ)2+ω1×(μ1-μ)2
根据上列各式，求得方差的最大值即为阈值T。
设二值化后的图像为BI(x，y)，则：
本发明采用自适应阈值法为图像的二值化提供阈值。
具体实施方式六
在具体实施方式五的基础上，由于图片中有很多类肤色的点，在二值化时这些点会被当作肤色点处理，所以二值化后仍会保留在图像中，为了后续的手势识别处理，需要对二值化后的图像进行处理，把保留下来的非手势部位的噪点去除，其主要方法是形态学开运算，即先腐蚀后膨胀。
如图4所示，腐蚀会消除图像的边界像素点，使其边界向内收缩，可以用来消除图像中小且无意义的像素点，同时图像也会损失一些有用的边缘信息。所述形态学滤波方法包括先腐蚀后膨胀，腐蚀为用3阶矩阵模板与图像中的每一个像素进行计算，即模板与模板覆盖的像素进行与运算，如果都为1，则该像素为1，否则该像素为0，公式为
其中X是被处理的对象，B是结构元素；任意一个在阴影部分的点a，结构元素B平移a后得到Ba，这样做的结果会使得图像看起来会减小一圈；
膨胀为腐蚀的反操作，如图5所示，用3阶矩阵模板扫描图像中的每一个像素，即模板与模板覆盖的像素进行或运算，如果都为0，则该像素为0，否则该像素为1，公式为
这样做的结果会使得图像看起来会扩大一圈，所以对于二值化后的手势图像进行开运算处理，既能消除类肤色的噪点，又能保留手势边缘等重要信息。
具体实施方式七
在图像二值化之后，此时的图像帧序列中，原图像已经明显分开感兴趣的手势区域和不需要的非手势区域，此时可以依据两个区域边缘上像素值的梯度变化来确定并提取出手势的轮廓，从而分割出手势的轮廓。常用的边缘检测算子有Sobel算子，Canny算子，Laplacian算子等。
本发明采用Sobel边缘检测算子提取出手势的轮廓。
在具体实施方式六的基础上，所述Sobel算子包含两组3阶矩阵，分别用于检测图像的水平边缘和垂直边缘，设I表示待处理图像，Gx与Gy分别表示水平和垂直边缘检测的图像，公式如下：
结合以上两式，针对图像的每个像素点求出近似梯度：
上式中，G表示图像的每个像素点的近似梯度。
具体实施方式八
在具体实施方式七的基础上，如图6和图7所示，运用分类决策树和手势特征集中预置的多种手势的手势特征进行匹配从而识别手势的方法为建立分类决策树，根据面积周长比的值C参数对不同手势第一次进行区分，对处在同一C参数区间的手势再通过手指根数F参数进行区分，若依然无法区分则利用Hu矩参数信息与预置于手势特征集中的手势进行最小欧氏距离进行匹配，最终实现快速精确的识别预先定义的十种手势。
Claims (8)
1.一种基于视频图像处理的手势识别系统，其特征在于，包括摄像头采集模块、摄像头配置模块、预处理模块、DDR存储器、手势检测与分割模块、手势特征提取模块和手势识别模块；所述预处理模块包括中值滤波模块、颜色域转换模块，手势检测与分割模块包括图像二值化模块、滤波模块和边缘检测模块；所述摄像头配置模块连接摄像头采集模块，所述摄像头采集模块依次连接中值滤波模块、颜色域转换模块、DDR存储器、图像二值化模块、滤波模块、边缘检测模块、手势特征提取模块和手势识别模块。
2.一种基于权利要求1所述基于视频图像处理的手势识别系统实现的手势识别方法，其特征在于，包括下列步骤：
步骤a、摄像头采集模块对手势图像进行采集，对手势图像进行中值滤波和颜色域转换，输出YCrCb格式的图像到手势检测与分割模块；
步骤b、手势检测与分割模块对所述图像利用最大类间方差法的自适应阈值的二值化算法进行二值化；
步骤c、对二值化后的图像进行均值滤波运算和先腐蚀后膨胀的形态学滤波进行降噪处理；
步骤d、对降噪处理后的图像采用Sobel算子利用边缘上像素值的梯度变化确定并提取手势的轮廓；
步骤e、进行特征提取：特征包括手部的面积周长比、手指根数及预置10种手势的7阶Hu矩；
步骤f、设定手部图像面积为S、手部图像周长L的比值为C，
步骤g、面积S的求法是在二值化的手部图像上，计算手部就是计算所有白色像素点的个数，以此作为面积，通过对二值图像进行扫描得到：
步骤h、周长L的求法是手部轮廓边界线上所有像素点之和，对手势轮廓中的手势区域进行扫描并且计算出白色点的个数，即为周长：
步骤i、通过手指的根数F和手势轮廓的7个不变矩作为特征参数，运用分类决策树和手势特征集中预置的多种手势的手势特征进行匹配从而识别手势。
3.根据权利要求2所述基于视频图像处理的手势识别方法，其特征在于，所述中值滤波方法包括把一帧图片里的任意一点像素的亮度值被该点模板邻域各点的亮度值的中值取代，采用3×3模板来实现中值滤波。
4.根据权利要求3所述基于视频图像处理的手势识别方法，其特征在于，所述颜色域转换模块将RGB颜色空间转换为YCrCb颜色空间，其中Y表示亮度，Cr表示RGB中红色分量与亮度值之间的差异，Cb表示RGB蓝色分量与亮度值之间的差异。
5.根据权利要求4所述基于视频图像处理的手势识别方法，其特征在于，所述最大类间方差法的自适应阈值的二值化算法根据图像目标和背景的方差来区别出图像的目标和背景。
6.根据权利要求5所述基于视频图像处理的手势识别方法，其特征在于，所述形态学滤波方法包括先腐蚀后膨胀，腐蚀为用3阶矩阵模板与图像中的每一个像素进行计算，即模板与模板覆盖的像素进行与运算，如果都为1，则该像素为1，否则该像素为0，公式为
其中X表示原图像，B表示处理模板；
膨胀为腐蚀的反操作，用3阶矩阵模板扫描图像中的每一个像素，即模板与模板覆盖的像素进行或运算，如果都为0，则该像素为0，否则该像素为1，公式为
7.根据权利要求6所述基于视频图像处理的手势识别方法，其特征在于，所述Sobel算子包含两组3阶矩阵，分别用于检测图像的水平边缘和垂直边缘，设I表示待处理图像，Gx与Gy分别表示水平和垂直边缘检测的图像，公式如下：
结合以上两式，针对图像的每个像素点求出近似梯度：
8.根据权利要求7所述基于视频图像处理的手势识别方法，其特征在于，运用分类决策树和手势特征集中预置的多种手势的手势特征进行匹配从而识别手势的方法，包括分类决策树，根据面积周长比的值C参数对不同手势第一次进行区分，对处在同一C参数区间的手势再通过手指根数F参数进行区分，若依然无法区分则利用Hu矩参数信息与预置于手势特征集中的手势进行最小欧氏距离进行匹配，最终实现快速精确的识别预先定义的十种手势。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910609811.4A CN110309806B (zh) | 2019-07-08 | 2019-07-08 | 一种基于视频图像处理的手势识别系统及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910609811.4A CN110309806B (zh) | 2019-07-08 | 2019-07-08 | 一种基于视频图像处理的手势识别系统及其方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110309806A true CN110309806A (zh) | 2019-10-08 |
| CN110309806B CN110309806B (zh) | 2020-12-11 |
Family
ID=68079131
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910609811.4A Active CN110309806B (zh) | 2019-07-08 | 2019-07-08 | 一种基于视频图像处理的手势识别系统及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110309806B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111027395A (zh) * | 2019-11-13 | 2020-04-17 | 珠海亿智电子科技有限公司 | 手势识别方法、装置、终端设备及计算机可读存储介质 |
| CN111079613A (zh) * | 2019-12-09 | 2020-04-28 | 北京明略软件系统有限公司 | 姿势识别方法和装置、电子设备及存储介质 |
| CN111695475A (zh) * | 2020-06-03 | 2020-09-22 | 浙江工业大学 | 一种基于nmi智能控制家用电器的方法 |
| CN111914808A (zh) * | 2020-08-19 | 2020-11-10 | 福州大学 | 一种基于fpga实现的手势识别系统及其识别方法 |
| CN112101058A (zh) * | 2020-08-17 | 2020-12-18 | 武汉诺必答科技有限公司 | 一种试卷条码自动识别方法及装置 |
| CN112922490A (zh) * | 2021-02-09 | 2021-06-08 | 哈尔滨理工大学 | 一种基于fpga与stm32联合的智能窗系统 |
| CN114708662A (zh) * | 2022-04-13 | 2022-07-05 | 祁玉玲 | 一种基于大数据的行为特征检测系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102142084A (zh) * | 2011-05-06 | 2011-08-03 | 北京网尚数字电影院线有限公司 | 一种手势识别的方法 |
| US20120272194A1 (en) * | 2011-04-21 | 2012-10-25 | Nokia Corporation | Methods and apparatuses for facilitating gesture recognition |
| CN104102340A (zh) * | 2013-04-15 | 2014-10-15 | 欧姆龙株式会社 | 手势识别装置、手势识别方法、以及电子设备 |
| CN105739106A (zh) * | 2015-06-12 | 2016-07-06 | 南京航空航天大学 | 一种体感多视点大尺寸光场真三维显示装置及方法 |
| CN106503619A (zh) * | 2016-09-23 | 2017-03-15 | 南京理工大学 | 基于bp神经网络的手势识别方法 |
| CN107958218A (zh) * | 2017-11-22 | 2018-04-24 | 南京邮电大学 | 一种实时手势识别的方法 |
| CN109359566A (zh) * | 2018-09-29 | 2019-02-19 | 河南科技大学 | 利用手指特征进行层级分类的手势识别方法 |
-
2019
- 2019-07-08 CN CN201910609811.4A patent/CN110309806B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120272194A1 (en) * | 2011-04-21 | 2012-10-25 | Nokia Corporation | Methods and apparatuses for facilitating gesture recognition |
| CN102142084A (zh) * | 2011-05-06 | 2011-08-03 | 北京网尚数字电影院线有限公司 | 一种手势识别的方法 |
| CN104102340A (zh) * | 2013-04-15 | 2014-10-15 | 欧姆龙株式会社 | 手势识别装置、手势识别方法、以及电子设备 |
| CN105739106A (zh) * | 2015-06-12 | 2016-07-06 | 南京航空航天大学 | 一种体感多视点大尺寸光场真三维显示装置及方法 |
| CN106503619A (zh) * | 2016-09-23 | 2017-03-15 | 南京理工大学 | 基于bp神经网络的手势识别方法 |
| CN107958218A (zh) * | 2017-11-22 | 2018-04-24 | 南京邮电大学 | 一种实时手势识别的方法 |
| CN109359566A (zh) * | 2018-09-29 | 2019-02-19 | 河南科技大学 | 利用手指特征进行层级分类的手势识别方法 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111027395A (zh) * | 2019-11-13 | 2020-04-17 | 珠海亿智电子科技有限公司 | 手势识别方法、装置、终端设备及计算机可读存储介质 |
| CN111079613A (zh) * | 2019-12-09 | 2020-04-28 | 北京明略软件系统有限公司 | 姿势识别方法和装置、电子设备及存储介质 |
| CN111079613B (zh) * | 2019-12-09 | 2023-11-03 | 北京明略软件系统有限公司 | 姿势识别方法和装置、电子设备及存储介质 |
| CN111695475A (zh) * | 2020-06-03 | 2020-09-22 | 浙江工业大学 | 一种基于nmi智能控制家用电器的方法 |
| CN111695475B (zh) * | 2020-06-03 | 2023-06-27 | 浙江工业大学 | 一种基于nmi智能控制家用电器的方法 |
| CN112101058A (zh) * | 2020-08-17 | 2020-12-18 | 武汉诺必答科技有限公司 | 一种试卷条码自动识别方法及装置 |
| CN111914808A (zh) * | 2020-08-19 | 2020-11-10 | 福州大学 | 一种基于fpga实现的手势识别系统及其识别方法 |
| CN111914808B (zh) * | 2020-08-19 | 2022-08-12 | 福州大学 | 一种基于fpga实现的手势识别系统及其识别方法 |
| CN112922490A (zh) * | 2021-02-09 | 2021-06-08 | 哈尔滨理工大学 | 一种基于fpga与stm32联合的智能窗系统 |
| CN114708662A (zh) * | 2022-04-13 | 2022-07-05 | 祁玉玲 | 一种基于大数据的行为特征检测系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110309806B (zh) | 2020-12-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110309806A (zh) | 一种基于视频图像处理的手势识别系统及其方法 | |
| CN106096610B (zh) | 一种基于支持向量机的文档图像二值化方法 | |
| CN109145915A (zh) | 一种复杂场景下车牌快速畸变矫正方法 | |
| CN109241973B (zh) | 一种纹理背景下的字符全自动软分割方法 | |
| CN104484652A (zh) | 一种指纹识别方法 | |
| CN107195069A (zh) | 一种人民币冠字号自动识别方法 | |
| CN109961016B (zh) | 面向智能家居场景的多手势精准分割方法 | |
| CN108711160B (zh) | 一种基于hsi增强性模型的目标分割方法 | |
| CN112287765B (zh) | 人脸活体检测方法、装置、设备及可读存储介质 | |
| CN110689003A (zh) | 低照度成像车牌识别方法、系统、计算机设备及存储介质 | |
| CN110969164A (zh) | 基于深度学习端对端的低照度成像车牌识别方法及装置 | |
| CN112348018A (zh) | 基于巡检机器人的数显式仪表读数识别方法 | |
| CN111709305A (zh) | 一种基于局部图像块的人脸年龄识别方法 | |
| Rahman et al. | Skin lesions classification based on color plane-histogram-image quality analysis features extracted from digital images | |
| Hua et al. | Image segmentation algorithm based on improved visual attention model and region growing | |
| CN117197808A (zh) | 一种基于rgb通道分离的宫颈细胞图像细胞核分割方法 | |
| CN111611940A (zh) | 一种基于大数据处理的快速视频人脸识别方法 | |
| CN110930358A (zh) | 一种基于自适应算法的太阳能面板图像处理方法 | |
| Chi et al. | Single image dehazing using a novel histogram tranformation network | |
| Khan et al. | Shadow removal from digital images using multi-channel binarization and shadow matting | |
| CN112270683B (zh) | 一种ihc数字预览图识别和组织前景分割方法及系统 | |
| Singh et al. | Efficient tool for face detection and face recognition in color group photos | |
| CN111507995B (zh) | 一种基于彩色图像金字塔和颜色通道分类的图像分割方法 | |
| CN113936211A (zh) | 一种基于svm和hog特征的叶子图像自动识别系统 | |
| CN109934159A (zh) | 一种多特征融合的手势识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |