CN112164061A - 一种有助于无接触人机交互的微手势检测方法 - Google Patents
一种有助于无接触人机交互的微手势检测方法 Download PDFInfo
- Publication number
- CN112164061A CN112164061A CN202011166687.8A CN202011166687A CN112164061A CN 112164061 A CN112164061 A CN 112164061A CN 202011166687 A CN202011166687 A CN 202011166687A CN 112164061 A CN112164061 A CN 112164061A
- Authority
- CN
- China
- Prior art keywords
- micro
- image
- computer interaction
- change rate
- gesture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 21
- 238000001514 detection method Methods 0.000 title claims abstract description 18
- 230000009286 beneficial effect Effects 0.000 title description 4
- 230000005484 gravity Effects 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 239000000203 mixture Substances 0.000 claims abstract description 4
- 238000009826 distribution Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 208000035473 Communicable disease Diseases 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration by the use of histogram techniques
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
一种有助于无接触人机交互的微手势检测方法，包括以下步骤：利用摄像头采集视频数据，对采集的视频帧进行预处理，使用改进的混合高斯算法进行背景建模，分割出前景，利用HSV色彩空间提取前景中的手势，对得到的手势轮廓进行识别，定位重心点和书写点，跟踪书写点，记录书写的轨迹曲线；利用灰度直方图进行手势检测，利用灰度直方图建立混合高斯模型，比较整体的灰度值和肤色值比率，基于图像灰度变化率和肤色变化率控制背景模型更新速率，在保证实时性的前提下，提高了检测系统的准确率。
Description
技术领域
本发明涉及手势检测方法，特别是一种有助于无接触人机交互的微手势检测方法。
背景技术
无接触服务是一种新型的服务模式，可对接触性传染病进行日常预防，尽可能保障用户的安全。无接触服务模式将触角延伸到了社会生产生活的各个方面。如何摒弃键盘鼠标或点触式交互，在人机交互上实现无接触，也逐渐受人关注。近几年人工智能技术的发展为探索新型人机交互方式提供了理论和设备条件上的支撑。在用户需求的推动下，实现无接触模式的智能化人机交互已经成为必然趋势。
目前与无接触人机交互技术相关的研究主要集中在引入物理设备和利用人工智能上。在这些研究中，引入智能化的物理设备需要更换当前基础设施，耗费大量资金。利用人工智能技术的研究主要集中在语音交互上，忽视了手势的作用。手作为人体最灵活的部位，可以更直接地实现人与计算机之间的交流，其交流形式也更为丰富。因此如何在有限的硬件条件下，实现有助于无接触人机交互的手势检测方法是一项值得研究的课题。
发明内容
为了着重研究微手势检测，本发明的目的是提供一种有助于无接触人机交互的微手势检测方法。
本发明解决其技术问题所采用的技术方案是：一种有助于无接触人机交互的微手势检测方法，包括以下步骤：
步骤1：利用摄像头采集视频数据；
步骤2：对于步骤1采集的视频帧，进行预处理；
步骤3：使用改进的混合高斯算法进行背景建模，分割出前景；
步骤4：利用HSV色彩空间提取前景中的手势；
步骤5：对步骤5得到的手势轮廓进行识别，定位重心点和书写点；
步骤6：跟踪书写点，记录书写的轨迹曲线。
作为本发明的进一步改进：所述步骤1中所述摄像头为固定摄像头。
作为本发明的进一步改进：所述步骤1中采集视频数据中初始视频帧是不含有手部的视频数据，所述步骤1中初始视频帧默认书写姿势为竖起一根手指。
作为本发明的进一步改进：所述步骤2中预处理包括以下步骤：
步骤2.1：基于步骤1的视频数据，获取视频帧图像；
步骤2.2：对视频图像进行去噪处理。
作为本发明的进一步改进：
所述步骤3中包括以下步骤：
步骤3.1：基于下式混合高斯分布概率密度函数进行初始化背景建模；
步骤3.2：每个新像素Xt按照下式对前K个高斯分布进行比较，
步骤3.3：定义图像灰度均值变化率Rt和图像肤色均值变化率St；所述图像的灰度均值变化率Rt的计算公式由下式表示，式中ht表示t时刻的图像灰度均值：
肤色变化率St的计算公式中Ht表示t时刻的HSV中H分量均值：
步骤3.4：根据肤色变化率St更新背景模型；
步骤3.5：按照3.4确定的学习速率更新背景模型；
步骤3.6：按照3.5的背景模型，初步分割出手势前景。
作为本发明的进一步改进：所述步骤3.2中新像素Xt与高斯分布进行比较，同该高斯分布的均值偏差在2.5σ内，表示新像素与该高斯分布匹配；不匹配，则替换最小分布。
作为本发明的进一步改进：所述步骤3.4中当肤色变化率St大于阈值时，将停止背景模型的更新；当肤色变化率St小于阈值且灰度变化率Rt大于阈值时，对背景模型进行更新。
作为本发明的进一步改进：所述步骤5中包括以下步骤：
步骤5.1：对步骤4得到的手势图像进行量化，获得二值化图像；
步骤5.2：对步骤5.1得到的图像进行形态学闭运算，先膨胀后腐蚀，消除小型黑斑；
步骤5.3：对步骤5.2得到的图像进行几何运算，确定其几何重心点；
步骤5.4：以重心点为坐标原点，水平线为横坐标，建立坐标系，在手势轮廓上的最远点为书写点。
作为本发明的进一步改进：所述步骤5.1中包括用0和1来表示前景和背景，以此区分手势和背景。
与现有技术相比，本发明的有益效果是：利用灰度直方图进行手势检测，利用灰度直方图建立混合高斯模型，比较整体的灰度值和肤色值比率，基于图像灰度变化率和肤色变化率控制背景模型更新速率，在保证实时性的前提下，提高了检测系统的准确率。
附图说明
图1为本发明的框架流程示意图。
具体实施方式
现结合附图说明与实施例对本发明进一步说明：一种有助于无接触人机交互的微手势检测方法，包括以下步骤：
步骤1：利用摄像头采集视频数据；
步骤2：对于步骤1采集的视频帧，进行预处理；
步骤3：使用改进的混合高斯算法进行背景建模，分割出前景；
步骤4：利用HSV色彩空间提取前景中的手势；
步骤5：对步骤5得到的手势轮廓进行识别，定位重心点和书写点；
步骤6：跟踪书写点，记录书写的轨迹曲线。
所述步骤1中所述摄像头为固定摄像头，采集视频数据中初始视频帧是不含有手部的视频数据，初始视频帧默认书写姿势为竖起一根手指。
所述步骤2中预处理包括以下步骤：
步骤2.1：基于步骤1的视频数据，获取视频帧图像；
步骤2.2：对视频图像进行去噪处理。
所述步骤3中包括以下步骤：
步骤3.1：基于下式混合高斯分布概率密度函数进行初始化背景建模；
步骤3.2：每个新像素Xt按照下式对前K个高斯分布进行比较；|Xt-μi,t-1|≤2.5*σi,t-1；
若同该高斯分布的均值偏差在2.5σ内，则表示新像素与该高斯分布匹配，若不匹配，则替换最小分布；
步骤3.3：定义图像灰度均值变化率Rt和图像肤色均值变化率St；所述图像的灰度均值变化率Rt的计算公式由下式表示，式中ht表示t时刻的图像灰度均值：
肤色变化率St的计算公式中Ht表示t时刻的HSV中H分量均值：
步骤3.4：当肤色变化率St大于阈值时，将停止背景模型的更新；当肤色变化率St小于阈值且灰度变化率Rt大于阈值时，对背景模型进行更新；
步骤3.5：按照3.4确定的学习速率更新背景模型；
步骤3.6：按照3.5的背景模型，初步分割出手势前景。
所述步骤4包括以下步骤：
步骤4.1：获取视频帧图像的HSV信息，计算HSV信息的均值和方差，获取ROI区域的HSV空间；
步骤4.2：根据HSV空间提取每帧图像的手部区域；
步骤4.3：利用HSV直方图粒子滤波算法得到手势的运动轨迹和预测方向。
所述步骤5中包括以下步骤：
步骤5.1：对步骤4得到的手势图像进行量化，获得二值化图像，用0和1来表示前景和背景，以此区分手势和背景；
步骤5.2：对步骤5.1得到的图像进行形态学闭运算，先膨胀后腐蚀，消除小型黑斑；
步骤5.3：对步骤5.2得到的图像进行几何运算，确定其几何重心点；
步骤5.4：以重心点为坐标原点，水平线为横坐标，建立坐标系，在手势轮廓上的最远点为书写点。
实施案例：
一种有助于无接触人机交互的微手势检测方法，包括以下步骤：
1)：利用摄像头采集视频数据，初始视频帧默认书写姿势为竖起一根手指；
2)：对于步骤1采集的视频帧，进行预处理；基于步骤1的视频数据，获取视频帧图像；对视频图像进行去噪处理；
3)：基于下式混合高斯分布概率密度函数进行初始化背景建模；
4)：每个新像素Xt按照下式对前K个高斯分布进行比较；|Xt-μi,t-1|≤2.5*σi,t-1；
若同该高斯分布的均值偏差在2.5σ内，则表示新像素与该高斯分布匹配，若不匹配，则替换最小分布；
5)：定义图像灰度均值变化率Rt和图像肤色均值变化率St；所述图像的灰度均值变化率Rt的计算公式由下式表示，式中ht表示t时刻的图像灰度均值：
肤色变化率St的计算公式中Ht表示t时刻的HSV中H分量均值：
6)：当肤色变化率St大于阈值时，将停止背景模型的更新；当肤色变化率St小于阈值且灰度变化率Rt大于阈值时，对背景模型进行更新；
7)：按照步骤6)确定的学习速率更新背景模型；
8)：按照步骤7)的背景模型，初步分割出手势前景；
9)：获取视频帧图像的HSV信息，计算HSV信息的均值和方差，获取ROI区域的HSV空间；
10)：根据HSV空间提取每帧图像的手部区域；
11)：利用HSV直方图粒子滤波算法得到手势的运动轨迹和预测方向；
12)：对步骤11)得到的手势图像进行量化，获得二值化图像；
13)：对步骤12)得到的图像进行形态学闭运算，先膨胀后腐蚀，消除小型黑斑；
14)：对步骤13)得到的图像进行几何运算，确定其几何重心点；
15)：以重心点为坐标原点，水平线为横坐标，建立坐标系，在手势轮廓上的最远点为书写点；
16)：跟踪书写点，记录书写的轨迹曲线。
本发明的主要功能：利用灰度直方图进行手势检测，利用灰度直方图建立混合高斯模型，比较整体的灰度值和肤色值比率，基于图像灰度变化率和肤色变化率控制背景模型更新速率，在保证实时性的前提下，提高了检测系统的准确率。
综上所述，本领域的普通技术人员阅读本发明文件后，根据本发明的技术方案和技术构思无需创造性脑力劳动而作出其他各种相应的变换方案，均属于本发明所保护的范围。
Claims (7)
1.一种有助于无接触人机交互的微手势检测方法，其特征在于，包括以下步骤:
步骤1：利用摄像头采集视频数据；
步骤2：对于步骤1采集的视频帧，进行预处理；
步骤3：使用改进的混合高斯算法进行背景建模，分割出前景；
步骤4：利用HSV色彩空间提取前景中的手势；
步骤5：对步骤5得到的手势轮廓进行识别，定位重心点和书写点；
步骤6：跟踪书写点，记录书写的轨迹曲线。
2.根据权利要求1所述的一种有助于无接触人机交互的微手势检测方法，其特征在于，所述步骤1中所述摄像头为固定摄像头。
3.根据权利要求2所述的一种有助于无接触人机交互的微手势检测方法，其特征在于，所述步骤1中初始视频帧默认书写姿势为竖起一根手指。
4.根据权利要求1所述的一种有助于无接触人机交互的微手势检测方法，其特征在于，所述步骤2中预处理包括以下步骤：
步骤2.1：基于步骤1的视频数据，获取视频帧图像；
步骤2.2：对视频图像进行去噪处理。
5.根据权利要求1所述的一种有助于无接触人机交互的微手势检测方法，其特征在于，所述步骤3中包括以下步骤：
步骤3.1：基于下式混合高斯分布概率密度函数进行初始化背景建模；
步骤3.2：每个新像素Xt按照下式对前K个高斯分布进行比较，|Xt-μi,t-1|≤2.5*σi,t-1；
步骤3.3：定义图像灰度均值变化率Rt和图像肤色均值变化率St；所述图像的灰度均值变化率Rt的计算公式由下式表示，式中ht表示t时刻的图像灰度均值：
肤色变化率St的计算公式中Ht表示t时刻的HSV中H分量均值：
步骤3.4：根据肤色变化率St更新背景模型；
步骤3.5：按照3.4确定的学习速率更新背景模型；
步骤3.6：按照3.5的背景模型，初步分割出手势前景。
6.根据权利要求5所述的一种有助于无接触人机交互的微手势检测方法，其特征在于，所述步骤3.2中新像素Xt与高斯分布进行比较，同该高斯分布的均值偏差在2.5σ内，表示新像素与该高斯分布匹配；不匹配，则替换最小分布。
7.据权利要求5所述的一种有助于无接触人机交互的微手势检测方法，其特征在于，所述步骤3.4中当肤色变化率St大于阈值时，将停止背景模型的更新；当肤色变化率St小于阈值且灰度变化率Rt大于阈值时，对背景模型进行更新。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011166687.8A CN112164061A (zh) | 2020-10-27 | 2020-10-27 | 一种有助于无接触人机交互的微手势检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011166687.8A CN112164061A (zh) | 2020-10-27 | 2020-10-27 | 一种有助于无接触人机交互的微手势检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112164061A true CN112164061A (zh) | 2021-01-01 |
Family
ID=73864899
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011166687.8A Pending CN112164061A (zh) | 2020-10-27 | 2020-10-27 | 一种有助于无接触人机交互的微手势检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112164061A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115100779A (zh) * | 2022-06-06 | 2022-09-23 | 北京沃东天骏信息技术有限公司 | 零售装置 |
| CN116719419A (zh) * | 2023-08-09 | 2023-09-08 | 世优（北京）科技有限公司 | 元宇宙的智能交互方法及其系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102854983B (zh) * | 2012-09-10 | 2015-12-02 | 中国电子科技集团公司第二十八研究所 | 一种基于手势识别的人机交互方法 |
| JP2017037434A (ja) * | 2015-08-07 | 2017-02-16 | シャープ株式会社 | マーク処理装置、プログラム |
| CN107430680A (zh) * | 2015-03-24 | 2017-12-01 | 英特尔公司 | 多层皮肤检测和融合手势匹配 |
| JP2019148951A (ja) * | 2018-02-27 | 2019-09-05 | 西谷 隆夫 | 画像処理装置 |
-
2020
- 2020-10-27 CN CN202011166687.8A patent/CN112164061A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102854983B (zh) * | 2012-09-10 | 2015-12-02 | 中国电子科技集团公司第二十八研究所 | 一种基于手势识别的人机交互方法 |
| CN107430680A (zh) * | 2015-03-24 | 2017-12-01 | 英特尔公司 | 多层皮肤检测和融合手势匹配 |
| JP2017037434A (ja) * | 2015-08-07 | 2017-02-16 | シャープ株式会社 | マーク処理装置、プログラム |
| JP2019148951A (ja) * | 2018-02-27 | 2019-09-05 | 西谷 隆夫 | 画像処理装置 |
Non-Patent Citations (2)
| Title |
|---|
| CHENGFENG JIAN 等: "An improved mixed gaussian-based background modelling method for fast gesture segmentation of mobile terminals", 《IIETA：INTERNATIONAL INFORMATION AND ENGINEERING TECHNOLOGY ASSOCIATION》 * |
| 刘振国 等: "基于Kinect的手写输入系统的研究与设计", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115100779A (zh) * | 2022-06-06 | 2022-09-23 | 北京沃东天骏信息技术有限公司 | 零售装置 |
| CN116719419A (zh) * | 2023-08-09 | 2023-09-08 | 世优（北京）科技有限公司 | 元宇宙的智能交互方法及其系统 |
| CN116719419B (zh) * | 2023-08-09 | 2023-11-03 | 世优（北京）科技有限公司 | 元宇宙的智能交互方法及其系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sun et al. | Research on the hand gesture recognition based on deep learning | |
| WO2020108362A1 (zh) | 人体姿态检测方法、装置、设备及存储介质 | |
| Mitra et al. | Gesture recognition: A survey | |
| Shenoy et al. | Real-time Indian sign language (ISL) recognition | |
| Hu et al. | Extraction of parametric human model for posture recognition using genetic algorithm | |
| CN111339990A (zh) | 一种基于人脸特征动态更新的人脸识别系统和方法 | |
| CN105005769A (zh) | 一种基于深度信息的手语识别方法 | |
| Premaratne et al. | Centroid tracking based dynamic hand gesture recognition using discrete Hidden Markov Models | |
| CN110390275A (zh) | 一种基于迁移学习的手势分类方法 | |
| CN112164061A (zh) | 一种有助于无接触人机交互的微手势检测方法 | |
| Hasan et al. | Features fitting using multivariate gaussian distribution for hand gesture recognition | |
| CN113608663B (zh) | 一种基于深度学习和k-曲率法的指尖跟踪方法 | |
| Awad et al. | A unified system for segmentation and tracking of face and hands in sign language recognition | |
| Min et al. | Acnet: Mask-aware attention with dynamic context enhancement for robust acne detection | |
| CN109271882B (zh) | 一种区分颜色的手写体汉字提取方法 | |
| Pantic et al. | Facial action recognition in face profile image sequences | |
| Banerjee et al. | A review on artificial intelligence based sign language recognition techniques | |
| Cao | Face recognition robot system based on intelligent machine vision image recognition | |
| Yamamoto et al. | Algorithm optimizations for low-complexity eye tracking | |
| CN111178141B (zh) | 一种基于注意力机制的lstm人体行为识别方法 | |
| Bakheet | A fuzzy framework for real-time gesture spotting and recognition | |
| Yoon et al. | Human computer interface for gesture-based editing system | |
| CN111665934A (zh) | 一种基于zynq软硬件协同处理的手势识别系统及方法 | |
| Lekova et al. | Hand gestures recognition based on lightweight evolving fuzzy clustering method | |
| CN112069995A (zh) | 一种深度域人脸稠密特征提取方法、系统和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |