CN109522795A - 一种通过手势进行编程的方法 - Google Patents
一种通过手势进行编程的方法 Download PDFInfo
- Publication number
- CN109522795A CN109522795A CN201811188668.8A CN201811188668A CN109522795A CN 109522795 A CN109522795 A CN 109522795A CN 201811188668 A CN201811188668 A CN 201811188668A CN 109522795 A CN109522795 A CN 109522795A
- Authority
- CN
- China
- Prior art keywords
- gesture
- picture
- programmed
- programming
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/20—Software design
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/113—Recognition of static hand signs
Abstract
本发明公开了一种通过手势进行编程的方法，包括以下步骤：S1：设置指令录入；S2：编程匹配；S3：拍摄；S4：图片平滑处理；S5：卷积系数计算；S6：图片色度理论分割；S7：图片几何特性分割；S8：图片交点间隔分割；S9比对；S10：建表。本发明利用图片进行平滑和分割处理，对于复杂环境下的手势与背景分割效果好，提取的手势轮廓分明而且比较完整，为手持和编程提供了便捷，通过将手势识别与编程进行了结合，实现了对生活场景下许多小制作的编程控制。应用范围广，操作便利，易于学习掌握。对于儿童编程的学习体系进行了补充，相对于以往的技术应用更加精细化，更贴近生活，更具有趣味性，也降低了学习成本和使用门槛。
Description
技术领域
本发明涉及手势编程技术领域，具体为一种通过手势进行编程的方法。
背景技术
在计算机科学中，手势识别是通过数学算法来识别人类手势的一个议题。手势识别可以来自人的身体各部位的运动，但一般是指脸部和手的运动。在VR和智能手机上已经有成熟的应用。
现有技术存在的问题主要是高度依赖于机器学习。识别引擎会记录，处理，和重用当前帧数据，所以随着时间的推移，手势识别精度会逐步提高。系统能够更好的识别出你想要表达的具体手势。这种方法能够比较容易的识别出新的手势，而且较其他两种方法能够更好的处理比较复杂的手势。但是建立这样一个系统也不容易。首先，系统依赖于大量的样本数据。数据越多，识别精度越高。所以系统需要大量的存储资源和CPU时间的来进行查找和匹配。其次系统需要不同高度，不同胖瘦，不同穿着(穿着会影响景深数据提取身体轮廓)的样本来进行某一个手势。这种方式过于复杂，在实际应用种需要不断丰富样本，以提高识别率和完善识别场景，而且手势识别受到环境背景场景的影响，在复杂条件下，手势提取的轮廓较差，识别率较低，影响手势和编程结合时的准确性。
发明内容
本发明的目的在于提供一种通过手势进行编程的方法，提取的手势轮廓分明而且比较完整，为手势和编程提供了便捷，静态识别率超过98％，动态识别率超过97％，通过将手势识别与编程进行了结合，实现了对生活场景下许多小制作的编程控制。应用范围广，操作便利，易于学习掌握。对于儿童编程的学习体系进行了补充，相对于以往的技术应用更加精细化，更贴近生活，更具有趣味性，也降低了学习成本和使用门槛，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种通过手势进行编程的方法，包括以下步骤：
S1：设置指令录入，将手势与脸部动作定义为输入指令和输出指令，录入系统数据库中并备份；
S2：编程匹配，通过计算机进行编程，并在系统数据库中录入编程对象，将手势与编程对象进行匹配；
S3：拍摄，通过摄像头采集手势信号,使用摄像机直接拍摄手势的运动过程，从手势图像序列中分割出人手；
S4：图片平滑处理，通过对摄像头拍出来的图片进行低通滤波处理；
S5：卷积系数计算，对图片卷积系数乘以最小公倍数得到新的卷积核，用新的卷积核进行卷积操作，将结果除以原卷积核各卷积系数的最小公倍数，得出卷积结果；
S6：图片色度理论分割，根据手的肤色与背景的不同来进行分割，通过手的颜色来获取到手颜色的聚类空间，判断是否可以通过颜色来进行分割；
S7：图片几何特性分割，采用八连通判别算法从左至右，从上至下逐个像素进行扫描，若发现像素点值为零，则依次检测该点右上、正上、左上和左前四个点的像素值，根据八连通判别原则对像素进行标号，最后达到对整个连通区域进行标号，标记结束后，对各个连通区域进行像素点总和统计，最后通过面积阈值对图像进行分割；
S8：图片交点间隔分割，通过矩形左右四分之一处的竖线进行切割，标记竖线颜色变化处的点，计算黑色区域的交点间隔宽度选定手指宽度阈值，交点间隔在阈值范围允许范围内，即得到手势区域图片；
S9：比对，将采集的手势区域图片信号发送到数据库与手势数据库进行比对，确认手势；
S10：建表，根据手势情况建立可识别手势列表和识别脸部动作列表。
优选的，所述步骤S1中系统数据库中包括数据存储模块，所述数据存储模块采用ROM存储。
优选的，所述步骤S3中图像拍摄的格式为24bit，图片大小为768×576。
优选的，所述步骤S4中图片平滑处理时采用的低通滤波处理方式包括平均领域法、中值滤波、高斯平滑和卷积滤波。
优选的，所述步骤S4中的图片平滑处理次数为2-3次。
优选的，所述步骤S6图片色度理论分割中过滤无用信息比例超过80％。
优选的，所述步骤S7图片几何特性分割中面积阈值过滤的无用信息比例超过10％。
与现有技术相比，本发明的有益效果是：本发明严格控制该手势进行编程的方法，通过摄像头采集手势信号，将手势与编程进行结合，通过手势识别技术建立模块指令间的联系，作为模块化编程的补充，利用图片进行平滑和分割处理，对于复杂环境下的手势与背景分割效果好，提取的手势轮廓分明而且比较完整，为手持和编程提供了便捷，静态识别率超过98％，动态识别率超过97％，通过将手势识别与编程进行了结合，实现了对生活场景下许多小制作的编程控制。应用范围广，操作便利，易于学习掌握。对于儿童编程的学习体系进行了补充，相对于以往的技术应用更加精细化，更贴近生活，更具有趣味性，也降低了学习成本和使用门槛。
附图说明
图1为本发明一种通过手势进行编程的方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请参阅图1，本发明提供一种通过手势进行编程的方法，包括以下步骤：
S1：设置指令录入，将手势与脸部动作定义为输入指令和输出指令，录入系统数据库中并备份；
S2：编程匹配，通过计算机进行编程，并在系统数据库中录入编程对象，将手势与编程对象进行匹配；
S3：拍摄，通过摄像头采集手势信号,使用摄像机直接拍摄手势的运动过程，从手势图像序列中分割出人手；
S4：图片平滑处理，通过对摄像头拍出来的图片进行低通滤波处理；
S5：卷积系数计算，对图片卷积系数乘以最小公倍数得到新的卷积核，用新的卷积核进行卷积操作，将结果除以原卷积核各卷积系数的最小公倍数，得出卷积结果；
S6：图片色度理论分割，根据手的肤色与背景的不同来进行分割，通过手的颜色来获取到手颜色的聚类空间，判断是否可以通过颜色来进行分割；
S7：图片几何特性分割，采用八连通判别算法从左至右，从上至下逐个像素进行扫描，若发现像素点值为零，则依次检测该点右上、正上、左上和左前四个点的像素值，根据八连通判别原则对像素进行标号，最后达到对整个连通区域进行标号，标记结束后，对各个连通区域进行像素点总和统计，最后通过面积阈值对图像进行分割；
S8：图片交点间隔分割，通过矩形左右四分之一处的竖线进行切割，标记竖线颜色变化处的点，计算黑色区域的交点间隔宽度选定手指宽度阈值，交点间隔在阈值范围允许范围内，即得到手势区域图片；
S9：比对，将采集的手势区域图片信号发送到数据库与手势数据库进行比对，确认手势；
S10：建表，根据手势情况建立可识别手势列表和识别脸部动作列表。
具体的，所述步骤S1中系统数据库中包括数据存储模块，所述数据存储模块采用ROM存储。
具体的，所述步骤S3中图像拍摄的格式为24bit，图片大小为768×576。
具体的，所述步骤S4中图片平滑处理时采用的低通滤波处理方式包括平均领域法、中值滤波、高斯平滑和卷积滤波。
具体的，所述步骤S4中的图片平滑处理次数为2-3次。
具体的，所述步骤S6图片色度理论分割中过滤无用信息比例超过80％。
具体的，所述步骤S7图片几何特性分割中面积阈值过滤的无用信息比例超过10％。
本发明提供的一种手势进行编程的方法中，对于图片平滑和分割处理后的识别率和普通的图片处理方式相比较，见下表：
综上所述：本发明严格控制该手势进行编程的方法，通过摄像头采集手势信号，将手势与编程进行结合，通过手势识别技术建立模块指令间的联系，作为模块化编程的补充，利用图片进行平滑和分割处理，对于复杂环境下的手势与背景分割效果好，提取的手势轮廓分明而且比较完整，为手持和编程提供了便捷，静态识别率超过98％，动态识别率超过97％，通过将手势识别与编程进行了结合，实现了对生活场景下许多小制作的编程控制。应用范围广，操作便利，易于学习掌握。对于儿童编程的学习体系进行了补充，相对于以往的技术应用更加精细化，更贴近生活，更具有趣味性，也降低了学习成本和使用门槛。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (7)
1.一种通过手势进行编程的方法，其特征在于：包括以下步骤：
S1：设置指令录入，将手势与脸部动作定义为输入指令和输出指令，录入系统数据库中并备份；
S2：编程匹配，通过计算机进行编程，并在系统数据库中录入编程对象，将手势与编程对象进行匹配；
S3：拍摄，通过摄像头采集手势信号,使用摄像机直接拍摄手势的运动过程，从手势图像序列中分割出人手；
S4：图片平滑处理，通过对摄像头拍出来的图片进行低通滤波处理；
S5：卷积系数计算，对图片卷积系数乘以最小公倍数得到新的卷积核，用新的卷积核进行卷积操作，将结果除以原卷积核各卷积系数的最小公倍数，得出卷积结果；
S6：图片色度理论分割，根据手的肤色与背景的不同来进行分割，通过手的颜色来获取到手颜色的聚类空间，判断是否可以通过颜色来进行分割；
S7：图片几何特性分割，采用八连通判别算法从左至右，从上至下逐个像素进行扫描，若发现像素点值为零，则依次检测该点右上、正上、左上和左前四个点的像素值，根据八连通判别原则对像素进行标号，最后达到对整个连通区域进行标号，标记结束后，对各个连通区域进行像素点总和统计，最后通过面积阈值对图像进行分割；
S8：图片交点间隔分割，通过矩形左右四分之一处的竖线进行切割，标记竖线颜色变化处的点，计算黑色区域的交点间隔宽度选定手指宽度阈值，交点间隔在阈值范围允许范围内，即得到手势区域图片；
S9：比对，将采集的手势区域图片信号发送到数据库与手势数据库进行比对，确认手势；
S10：建表，根据手势情况建立可识别手势列表和识别脸部动作列表。
2.根据权利要求1所述的一种通过手势进行编程的方法，其特征在于：所述步骤S1中系统数据库中包括数据存储模块，所述数据存储模块采用ROM存储。
3.根据权利要求1所述的一种通过手势进行编程的方法，其特征在于：所述步骤S3中图像拍摄的格式为24bit，图片大小为768×576。
4.根据权利要求1所述的一种通过手势进行编程的方法，其特征在于：所述步骤S4中图片平滑处理时采用的低通滤波处理方式包括平均领域法、中值滤波、高斯平滑和卷积滤波。
5.根据权利要求1所述的一种通过手势进行编程的方法，其特征在于：所述步骤S4中的图片平滑处理次数为2-3次。
6.根据权利要求1所述的一种通过手势进行编程的方法，其特征在于：所述步骤S6图片色度理论分割中过滤无用信息比例超过80％。
7.根据权利要求1所述的一种通过手势进行编程的方法，其特征在于：所述步骤S7图片几何特性分割中面积阈值过滤的无用信息比例超过10％。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811188668.8A CN109522795A (zh) | 2018-10-12 | 2018-10-12 | 一种通过手势进行编程的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811188668.8A CN109522795A (zh) | 2018-10-12 | 2018-10-12 | 一种通过手势进行编程的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109522795A true CN109522795A (zh) | 2019-03-26 |
Family
ID=65770231
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811188668.8A Pending CN109522795A (zh) | 2018-10-12 | 2018-10-12 | 一种通过手势进行编程的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109522795A (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106681508A (zh) * | 2016-12-29 | 2017-05-17 | 杭州电子科技大学 | 一种基于手势远程操控机器人的系统及其实现方法 |
| CN108255285A (zh) * | 2016-12-29 | 2018-07-06 | 广州映博智能科技有限公司 | 一种基于掌间点检测的运动手势检测方法 |
-
2018
- 2018-10-12 CN CN201811188668.8A patent/CN109522795A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106681508A (zh) * | 2016-12-29 | 2017-05-17 | 杭州电子科技大学 | 一种基于手势远程操控机器人的系统及其实现方法 |
| CN108255285A (zh) * | 2016-12-29 | 2018-07-06 | 广州映博智能科技有限公司 | 一种基于掌间点检测的运动手势检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 李瑞峰等: "一种复杂背景下的手势提取方法", 《华中科技大学学报》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106682598B (zh) | 一种基于级联回归的多姿态的人脸特征点检测方法 | |
| CN108280397B (zh) | 基于深度卷积神经网络的人体图像头发检测方法 | |
| CN107168527B (zh) | 基于区域卷积神经网络的第一视角手势识别与交互方法 | |
| CN105426850B (zh) | 一种基于人脸识别的关联信息推送设备及方法 | |
| CN104268583B (zh) | 基于颜色区域特征的行人重识别方法及系统 | |
| CN102194108B (zh) | 一种聚类线性鉴别分析特征选择的笑脸表情识别方法 | |
| CN101493887B (zh) | 基于半监督学习和哈希索引的眉毛图像分割方法 | |
| CN103186904A (zh) | 图片轮廓提取方法及装置 | |
| CN103310194A (zh) | 视频中基于头顶像素点梯度方向的行人头肩部检测方法 | |
| CN110032932B (zh) | 一种基于视频处理和决策树设定阈值的人体姿态识别方法 | |
| CN112232332B (zh) | 一种基于视频序列的非接触式手掌检测方法 | |
| CN103218605A (zh) | 一种基于积分投影与边缘检测的快速人眼定位方法 | |
| CN110956099B (zh) | 一种动态手势指令识别方法 | |
| CN109558855B (zh) | 一种基于手掌轮廓特征与模版匹配法相结合的空间手势识别方法 | |
| CN106650628B (zh) | 一种基于三维k曲率的指尖检测方法 | |
| CN104794693A (zh) | 一种人脸关键区域自动检测蒙版的人像优化方法 | |
| CN106503619B (zh) | 基于bp神经网络的手势识别方法 | |
| CN106651879A (zh) | 一种指甲图像的提取方法及系统 | |
| CN112906550A (zh) | 一种基于分水岭变换的静态手势识别方法 | |
| CN110599463A (zh) | 一种基于轻量级联神经网络的舌像检测及定位算法 | |
| CN109325408A (zh) | 一种手势判断方法及存储介质 | |
| CN110516533A (zh) | 一种基于深度度量的行人再辨识方法 | |
| CN106611158A (zh) | 人体3d特征信息的获取方法及设备 | |
| CN105069816A (zh) | 一种进出口人流量统计的方法及系统 | |
| CN106874848A (zh) | 一种行人检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190326 |