CN111460933A - 一种实时识别连续手写图形的方法 - Google Patents
一种实时识别连续手写图形的方法 Download PDFInfo
- Publication number
- CN111460933A CN111460933A CN202010189394.5A CN202010189394A CN111460933A CN 111460933 A CN111460933 A CN 111460933A CN 202010189394 A CN202010189394 A CN 202010189394A CN 111460933 A CN111460933 A CN 111460933A
- Authority
- CN
- China
- Prior art keywords
- state
- gesture
- data queue
- image
- key points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/32—Digital ink
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种实时识别连续手写图形的方法，所述方法对采集后的图像进行关键点手势的识别，利用关键点坐标和数据队列形成一个矩阵，并将矩阵输入到两个长短期记忆网络中，从而根据不稳态图形和概率分布输出判断出的图形。所述方法速度快，实时性强，完整写完第一个图形后，即可输出，无需像其他方法需要等待所有轨迹写完才能识别，并且准确率高。
Description
技术领域
本发明属于手写识别技术领域，特别是涉及一种实时识别连续手写图形的方法。
背景技术
图形识别领域属于手写识别领域的范畴。在手写识别的领域中，已经成熟的技术有单汉字手写识别，字母识别，数字识别。手写识别领域中从单一的多笔画单字识别增强到连笔画单字识别，并在手机上广泛应用，手写字母识别，但没有较为优秀的手写单词识别。手写数字识别则是学习机器学习的入门课程，可以用许多的方法解决。基于图像的手写图形识别基本上可以解释为从图像中符合要求的手势中找到关键点，根据连续图像的关键点轨迹合成图像后进行判断，这和触摸屏上的手写图形识别有类似的的原理。但实际应用当中，触摸屏上的手写识别是写完一个图形后有一个抬起笔的操作的判断，从而确定一个字已经写完，并进行识别。图像上则不同，因为在手势不切换的情况下，图像关键点一般为连续的，单一图形识别可以进行传统的识别方法。
而连续图形的识别，困难点有如下几项：
若分割后逐一识别：采用内部分割出图形，然后识别图形组成结果进行输出，因为在连续输入的情况下，需要算法自己去判断分割点，分割点过早或过晚都有可能造成识别偏差。
若整体识别，则会因为排列组合的问题导致状态空间过于庞大，无法通过算法进行较好的模拟，算法实现难度非常大。
识别时机若是在整个手势结束后进行，则有可能出现手势持续时间过长导致的算法消耗过大，无法识别的问题，并且实时性差，需要在所有图形写完后才能出现结果。
发明内容
本发明目的是为了解决现有技术中的问题，提出了一种实时识别连续手写图形的方法。
本发明是通过以下技术方案实现的，本发明提出一种实时识别连续手写图形的方法，初始化准备：建立一个数据队列，队列内容为数据关键点的图像坐标，初始化状态为等待状态；所述方法包括以下步骤：
步骤1、通过图像采集工具采集图像；
步骤2、通过图像处理方法在图像中识别出手势为可识别关键点的手势，此时设置当前状态为识别状态，执行步骤3；
步骤3、获取手势中关键点坐标，若当前所述关键点的图像坐标与上一点的坐标的距离超过第一阈值，则将所述关键点存储到数据队列中，否则，舍弃识别结果并返回步骤1；
步骤4、将数据队列中的所有关键点形成一条不规则的曲线，并将曲线平滑处理；
步骤5、判断数据队列中的关键点所形成的曲线长度是否超过第二阈值，若超过则执行步骤6，否则执行步骤1；
步骤6、将曲线等比例压缩到一个固定大小的正方形区域内；
步骤7、将曲线进行等自定义长度的分割，并重新确定所有关键点坐标，组成新的数据队列；
步骤8、若新生成的数据队列关键点个数小于第三阈值，则在新生成的数据队列中填充与最后一个有效关键点相同的点，直至填满个数至第三阈值，截取整个数据队列中的关键点数据，若新生成的数据队列关键点个数大于等于第三阈值，则截取n个关键点数据，n等于第三阈值；
步骤9、将截取后的关键点数据整合为一个矩阵，识别当前状态，若当前状态处于识别状态，则将所述矩阵输入到第一长短期记忆网络，获得N个手势图形加上不稳态图形共N+1个图形的离散型概率分布，若不稳态图形的概率持续小于第六阈值且概率最大的图形持续为同一图形，且持续过程中有效关键点增长数大于第七阈值，则判断当前书写的图形为概率最大的图形，并将数据队列中在稳定起始点前的数据删除，输出判断出的图形，返回步骤1，否则返回步骤1；若当前状态处于停止状态，则将所述矩阵输入到第二长短期记忆网络，获得N个手势图形共N个图形的离散型概率分布，若概率最高的图形的概率大于第八阈值时，则输出判断出的图形，返回步骤1，否则直接返回步骤1。
进一步地，在步骤2中，若通过图像处理方法在图像中未识别出手势为可识别关键点的手势，且当前处于识别状态下，则计算第一帧未识别手势到当前的时间，若一直丢失手势，且丢失事件持续时间超过第四阈值，则设置当前状态为停止状态，执行步骤3，否则返回步骤1。
进一步地，在步骤2中，若通过图像处理方法在图像中未识别出手势为可识别关键点的手势，且当前没有处于识别状态的同时上一帧状态为停止状态，则设置当前状态为等待状态，返回步骤1。
进一步地，在步骤2中，若通过图像处理方法在图像中未识别出手势为可识别关键点的手势，且当前没有处于识别状态的同时上一帧状态为等待状态，则返回步骤1。
本发明提出的方法适合在需要连续输入图形手势轨迹(连续图像)的情况下的图形识别。所述方法速度快，实时性强，完整写完第一个图形后，即可输出，无需像其他方法需要等待所有轨迹写完才能识别，并且准确率高，测试，分割准确率高达95％以上，判断准确率在99％以上，而且延展性好，本发明所述方法在不同的领域同样可以适用。
附图说明
图1为本发明所述的实时识别连续手写图形的方法流程图。
具体实施方式
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
结合图1，本发明提出一种实时识别连续手写图形的方法，初始化准备：建立一个数据队列，队列内容为数据关键点的图像坐标，初始化状态为等待状态；所述方法包括以下步骤：
步骤1、通过图像采集工具采集图像；
步骤2、通过图像处理方法在图像中识别出手势为可识别关键点的手势，此时设置当前状态为识别状态，执行步骤3；
步骤3、获取手势中关键点坐标，若当前所述关键点的图像坐标与上一点的坐标的距离超过第一阈值，则将所述关键点存储到数据队列中，否则，舍弃识别结果并返回步骤1；
步骤4、将数据队列中的所有关键点形成一条不规则的曲线，并将曲线平滑处理；
步骤5、判断数据队列中的关键点所形成的曲线长度是否超过第二阈值，若超过则执行步骤6，否则执行步骤1；
步骤6、将曲线等比例压缩到一个固定大小的正方形区域内；
步骤7、将曲线进行等自定义长度的分割，并重新确定所有关键点坐标，组成新的数据队列；
步骤8、若新生成的数据队列关键点个数小于第三阈值，则在新生成的数据队列中填充与最后一个有效关键点相同的点，直至填满个数至第三阈值，截取整个数据队列中的关键点数据，若新生成的数据队列关键点个数大于等于第三阈值，则截取n个关键点数据，n等于第三阈值；
步骤9、将截取后的关键点数据整合为一个矩阵，识别当前状态，若当前状态处于识别状态，则将所述矩阵输入到第一长短期记忆网络，获得N个手势图形加上不稳态图形共N+1个图形的离散型概率分布，若不稳态图形的概率持续小于第六阈值且概率最大的图形持续为同一图形，且持续过程中有效关键点增长数大于第七阈值，则判断当前书写的图形为概率最大的图形，并将数据队列中在稳定起始点前的数据删除，输出判断出的图形，返回步骤1，否则返回步骤1；若当前状态处于停止状态，则将所述矩阵输入到第二长短期记忆网络，获得N个手势图形共N个图形的离散型概率分布，若概率最高的图形的概率大于第八阈值时，则输出判断出的图形，返回步骤1，否则直接返回步骤1。
在步骤2中，若通过图像处理方法在图像中未识别出手势为可识别关键点的手势，且当前处于识别状态下，则计算第一帧未识别手势到当前的时间，若一直丢失手势，且丢失事件持续时间超过第四阈值，则设置当前状态为停止状态，执行步骤3，否则返回步骤1。
在步骤2中，若通过图像处理方法在图像中未识别出手势为可识别关键点的手势，且当前没有处于识别状态的同时上一帧状态为停止状态，则设置当前状态为等待状态，返回步骤1。
在步骤2中，若通过图像处理方法在图像中未识别出手势为可识别关键点的手势，且当前没有处于识别状态的同时上一帧状态为等待状态，则返回步骤1。
本发明所述方法属于轨迹识别，所以不仅仅是手势图像，点光源移动、触摸屏、画板等同样可以输出轨迹点数据的输出设备都可以适用于本发明所述方法的输入。
实施例1-手势输入控制升降桌
利用本发明所述方法仅仅需要一个较小的相机，在视场区域内伸出一指，利用算法判断关键点为指尖，在视场区域内空中书写数字图形即可。后台接收指尖轨迹，判断出连续书写的数字图形，将数字图形序列转化为指令传到控制装置中，进行指定高度的升降。此外还可以伸出两指进行操作，算法会识别出两个不同的关键点，当同时出现两个不同的关键点时，两指向前或向后分别对应两个关键点生成的两个轨迹的向前向后，可转化为上升和下降的控制信号。
同时可以将摄像头替换为一个小的触摸板，用一指或两指在触摸板上进行书写，识别书写轨迹，转化为控制信号。
实施例2-手势输入控制电梯升降
利用本发明所述方法仅仅需要一个较小的相机，在视场区域内伸出一指，利用算法判断关键点为指尖，在视场区域内空中书写数字图形即可。后台接收指尖轨迹，判断出连续书写的数字图形，将数字图形序列转化为指令传到控制装置中。从而进行楼层的升降，双手食指伸出比划开门关门的动作，可以识别出两只手的左右滑动的相对运动，进行开关门命令的转化。
以上对本发明所提出的一种实时识别连续手写图形的方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (4)
1.一种实时识别连续手写图形的方法，其特征在于：初始化准备：建立一个数据队列，队列内容为数据关键点的图像坐标，初始化状态为等待状态；所述方法包括以下步骤：
步骤1、通过图像采集工具采集图像；
步骤2、通过图像处理方法在图像中识别出手势为可识别关键点的手势，此时设置当前状态为识别状态，执行步骤3；
步骤3、获取手势中关键点坐标，若当前所述关键点的图像坐标与上一点的坐标的距离超过第一阈值，则将所述关键点存储到数据队列中，否则，舍弃识别结果并返回步骤1；
步骤4、将数据队列中的所有关键点形成一条不规则的曲线，并将曲线平滑处理；
步骤5、判断数据队列中的关键点所形成的曲线长度是否超过第二阈值，若超过则执行步骤6，否则执行步骤1；
步骤6、将曲线等比例压缩到一个固定大小的正方形区域内；
步骤7、将曲线进行等自定义长度的分割，并重新确定所有关键点坐标，组成新的数据队列；
步骤8、若新生成的数据队列关键点个数小于第三阈值，则在新生成的数据队列中填充与最后一个有效关键点相同的点，直至填满个数至第三阈值，截取整个数据队列中的关键点数据，若新生成的数据队列关键点个数大于等于第三阈值，则截取n个关键点数据，n等于第三阈值；
步骤9、将截取后的关键点数据整合为一个矩阵，识别当前状态，若当前状态处于识别状态，则将所述矩阵输入到第一长短期记忆网络，获得N个手势图形加上不稳态图形共N+1个图形的离散型概率分布，若不稳态图形的概率持续小于第六阈值且概率最大的图形持续为同一图形，且持续过程中有效关键点增长数大于第七阈值，则判断当前书写的图形为概率最大的图形，并将数据队列中在稳定起始点前的数据删除，输出判断出的图形，返回步骤1，否则返回步骤1；若当前状态处于停止状态，则将所述矩阵输入到第二长短期记忆网络，获得N个手势图形共N个图形的离散型概率分布，若概率最高的图形的概率大于第八阈值时，则输出判断出的图形，返回步骤1，否则直接返回步骤1。
2.根据权利要求1所述的方法，其特征在于：在步骤2中，若通过图像处理方法在图像中未识别出手势为可识别关键点的手势，且当前处于识别状态下，则计算第一帧未识别手势到当前的时间，若一直丢失手势，且丢失事件持续时间超过第四阈值，则设置当前状态为停止状态，执行步骤3，否则返回步骤1。
3.根据权利要求2所述的方法，其特征在于：在步骤2中，若通过图像处理方法在图像中未识别出手势为可识别关键点的手势，且当前没有处于识别状态的同时上一帧状态为停止状态，则设置当前状态为等待状态，返回步骤1。
4.根据权利要求3所述的方法，其特征在于：在步骤2中，若通过图像处理方法在图像中未识别出手势为可识别关键点的手势，且当前没有处于识别状态的同时上一帧状态为等待状态，则返回步骤1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010189394.5A CN111460933B (zh) | 2020-03-18 | 2020-03-18 | 一种实时识别连续手写图形的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010189394.5A CN111460933B (zh) | 2020-03-18 | 2020-03-18 | 一种实时识别连续手写图形的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111460933A true CN111460933A (zh) | 2020-07-28 |
| CN111460933B CN111460933B (zh) | 2022-08-09 |
Family
ID=71683162
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010189394.5A Active CN111460933B (zh) | 2020-03-18 | 2020-03-18 | 一种实时识别连续手写图形的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111460933B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103927056A (zh) * | 2014-04-28 | 2014-07-16 | 西北工业大学 | 用于智能手绘输入的基于混合特征的笔划分割方法 |
| CN106354252A (zh) * | 2016-08-18 | 2017-01-25 | 电子科技大学 | 一种基于stdw的连续字符手势轨迹识别方法 |
| CN107015658A (zh) * | 2017-04-25 | 2017-08-04 | 北京视据科技有限公司 | 一种空间图形数据可视化的控制方法及装置 |
| CN107180226A (zh) * | 2017-04-28 | 2017-09-19 | 华南理工大学 | 一种基于组合神经网络的动态手势识别方法 |
| CN107239733A (zh) * | 2017-04-19 | 2017-10-10 | 上海嵩恒网络科技有限公司 | 连续手写字识别方法及系统 |
| CN108509880A (zh) * | 2018-03-21 | 2018-09-07 | 南京邮电大学 | 一种视频人物行为语义识别方法 |
| CN109558855A (zh) * | 2018-12-06 | 2019-04-02 | 哈尔滨拓博科技有限公司 | 一种基于手掌轮廓特征与模版匹配法相结合的空间手势识别方法 |
| JP2019079347A (ja) * | 2017-10-25 | 2019-05-23 | ネットスマイル株式会社 | 文字種推定システム、文字種推定方法、および文字種推定プログラム |
| US20190370324A1 (en) * | 2018-05-29 | 2019-12-05 | Microsoft Technology Licensing, Llc | System and method for automatic language detection for handwritten text |
| CN110889387A (zh) * | 2019-12-02 | 2020-03-17 | 浙江工业大学 | 一种基于多轨迹匹配的实时动态手势识别方法 |
-
2020
- 2020-03-18 CN CN202010189394.5A patent/CN111460933B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103927056A (zh) * | 2014-04-28 | 2014-07-16 | 西北工业大学 | 用于智能手绘输入的基于混合特征的笔划分割方法 |
| CN106354252A (zh) * | 2016-08-18 | 2017-01-25 | 电子科技大学 | 一种基于stdw的连续字符手势轨迹识别方法 |
| CN107239733A (zh) * | 2017-04-19 | 2017-10-10 | 上海嵩恒网络科技有限公司 | 连续手写字识别方法及系统 |
| CN107015658A (zh) * | 2017-04-25 | 2017-08-04 | 北京视据科技有限公司 | 一种空间图形数据可视化的控制方法及装置 |
| CN107180226A (zh) * | 2017-04-28 | 2017-09-19 | 华南理工大学 | 一种基于组合神经网络的动态手势识别方法 |
| JP2019079347A (ja) * | 2017-10-25 | 2019-05-23 | ネットスマイル株式会社 | 文字種推定システム、文字種推定方法、および文字種推定プログラム |
| CN108509880A (zh) * | 2018-03-21 | 2018-09-07 | 南京邮电大学 | 一种视频人物行为语义识别方法 |
| US20190370324A1 (en) * | 2018-05-29 | 2019-12-05 | Microsoft Technology Licensing, Llc | System and method for automatic language detection for handwritten text |
| CN109558855A (zh) * | 2018-12-06 | 2019-04-02 | 哈尔滨拓博科技有限公司 | 一种基于手掌轮廓特征与模版匹配法相结合的空间手势识别方法 |
| CN110889387A (zh) * | 2019-12-02 | 2020-03-17 | 浙江工业大学 | 一种基于多轨迹匹配的实时动态手势识别方法 |
Non-Patent Citations (6)
| Title |
|---|
| YAROSLAV SHKARUPA 等: "Offline Handwriting Recognition Using LSTM Recurrent Neural Networks", 《THE 28TH BENELUX CONFERENCE ONARTIFICIAL INTELLIGENCE》 * |
| 张新峰 等: "基于双向LSTM的手写文字识别技术研究", 《南京师大学报(自然科学版)》 * |
| 杨丽丽: "基于人工神经网络的手写数字模式识别和分类", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
| 杨维信: "基于路径重积分特征和深度学习方法的轨迹数据的表征和识别", 《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》 * |
| 贾殊凯: "基于RNN的手写轨迹序列生成与分类系统的设计与实现", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
| 马驰: "基于主曲线算法的手写字符特征分析与提取", 《计算机工程与应用》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111460933B (zh) | 2022-08-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8599157B2 (en) | Techniques for recognizing a series of touches with varying intensity or angle of descending on a touch panel interface | |
| US20210191611A1 (en) | Method and apparatus for controlling electronic device based on gesture | |
| CN100587660C (zh) | 一种手写字符预测识别的方法和装置 | |
| CN109344793B (zh) | 用于识别空中手写的方法、装置、设备以及计算机可读存储介质 | |
| EP2650766A1 (en) | Multi-character continuous handwriting input method | |
| Roy et al. | A CNN based framework for unistroke numeral recognition in air-writing | |
| CN103971102A (zh) | 基于手指轮廓和决策树的静态手势识别方法 | |
| CN106527940B (zh) | 书写笔迹确定方法及装置 | |
| CN103208002A (zh) | 基于手轮廓特征的手势识别控制方法和系统 | |
| CN104899601A (zh) | 一种手写维吾尔文单词识别方法 | |
| CN104850264B (zh) | 一种触控板上多样化手势操作的检测控制方法及系统 | |
| CN108846356B (zh) | 一种基于实时手势识别的手心追踪定位的方法 | |
| CN107220634B (zh) | 基于改进d-p算法与多模板匹配的手势识别方法 | |
| WO2021012513A1 (zh) | 手势操作方法、装置以及计算机设备 | |
| CN103176651B (zh) | 一种手写信息快速采集方法 | |
| CN104915009A (zh) | 手势预判的方法及系统 | |
| CN111460933B (zh) | 一种实时识别连续手写图形的方法 | |
| KR101433543B1 (ko) | 제스처 기반으로 한 인간과 컴퓨터의 상호작용에 대한 방법, 시스템 및 컴퓨터 기록 매체 | |
| CN103902100A (zh) | 用于智能手绘输入的基于速度特征的笔划分割方法 | |
| CN113220114A (zh) | 一种融合人脸识别的可嵌入非接触式电梯按键交互方法 | |
| CN103176603A (zh) | 计算机手势输入系统 | |
| CN104793727B (zh) | 实现个性化多模式输入的方法及系统 | |
| CN103400118B (zh) | 一种映射关系自适应调整的手势控制方法 | |
| Kostakos et al. | A directional stroke recognition technique for mobile interaction in a pervasive computing world | |
| CN110868498A (zh) | 一种在手机屏左右侧边滑动实现快捷操作的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |