CN108805224A - 具备可持续学习能力的多符号手绘草图识别方法及装置 - Google Patents

具备可持续学习能力的多符号手绘草图识别方法及装置 Download PDF

Info

Publication number
CN108805224A
CN108805224A CN201810523245.0A CN201810523245A CN108805224A CN 108805224 A CN108805224 A CN 108805224A CN 201810523245 A CN201810523245 A CN 201810523245A CN 108805224 A CN108805224 A CN 108805224A
Authority
CN
China
Prior art keywords
symbol
stroke
sketch
sym
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810523245.0A
Other languages
English (en)
Other versions
CN108805224B (zh
Inventor
黄健
潘崇煜
龚建兴
袁兴生
陈程
张中杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN201810523245.0A priority Critical patent/CN108805224B/zh
Publication of CN108805224A publication Critical patent/CN108805224A/zh
Application granted granted Critical
Publication of CN108805224B publication Critical patent/CN108805224B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/242—Division of the character sequences into groups prior to recognition; Selection of dictionaries
    • G06V30/244—Division of the character sequences into groups prior to recognition; Selection of dictionaries using graphical properties, e.g. alphabet type or font
    • G06V30/2455—Discrimination between machine-print, hand-print and cursive writing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Character Discrimination (AREA)

Abstract

本发明公开了一种具备可持续学习能力的多符号手绘草图识别方法及装置，本发明将多符号草图的每个图形符号看作是由多个单笔画基元构成的图形，用户预先绘制单符号草图，系统会基于长短时记忆网络识别每个笔画基元，并对符号的空间构成关系建模，将用户绘制的笔画构成及其空间关系存入符号库中；当用户绘制多符号草图时，基于长短时记忆网络在线识别每个笔画基元类型并对笔画之间的空间位置关系进行建模，根据用户输入的笔画序列和关系序列构建一个隐马尔可夫链，并结合之前构建的符号库进行多符号草图在线推断和识别。本方法支持用户自定义符号库并随时进行符号库增加和删除等更新操作，具备多符号草图在线识别和可持续学习能力。

Description

具备可持续学习能力的多符号手绘草图识别方法及装置
技术领域
本发明涉及移动终端上的轨迹识别技术，具体涉及一种具备可持续学习能力的多符号手绘草图识别方法及装置。
背景技术
近年来，随着各种移动终端设备(包括平板电脑，手写板，绘画板，智能手机等)的日益普及，手写输入已经成为越来越重要的人机交互方式。一图胜千言，相对于文字等表达方式，手绘草图能够更直观、简洁、形象地表达多种信息，尤其是在军事态势图标绘、机械制图等应用领域，基于草图的交互方式起着不可替代的重要作用。相比于传统的WIMP(Windows窗口，Icon按钮，Menu菜单，Point device点选)风格的图形交互方式，基于草图的交互具有简明直观、易学易用、符合人类思维模式的独特优势。基于草图的人机交互关键问题就是手绘草图识别。手绘草图识别是将用户在电子输入板上绘制的不同风格的模糊草图映射为精确的图形类别的过程，即从交互过程中不断获取笔画信息，挖掘草图特征，从不规则的，模糊的，具有不确定性的草图中理解用户意图，并识别处特定草图类型。因此，如何实现手绘草图识别，并且允许用户在使用过程中不断更新符号库，具备持续学习能力，更好地满足各类用户需求，已经成为一项亟待解决的关键技术问题。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供一种具备可持续学习能力的多符号手绘草图识别方法及装置，本发明针对多符号以及小样本条件下的草图识别，采用数据驱动方法识别笔画基元，结合手绘草图的绘制过程信息和整体图像信息对草图进行建模，在此基础上，采用隐马尔可夫概率模型对多符号草图进行在线概率推断，生成使得后验概率最大的多符号分割和识别结果，具有识别精度和准确率高、模型泛化能力强、具备可持续学习能力以及小样本学习能力的优点。
为了解决上述技术问题，本发明采用的技术方案为：
一种具备可持续学习能力的多符号手绘草图识别方法，实施步骤包括：
1)读入草图序列(x1,x2,…xt)构成的待识别草图，将待识别草图的草图序列(x1,x2,…xt)转化为笔画序列Si＝(x1,x2,…xni),i＝1,2…l；
2)基于训练好的双向长短时记忆网络BiLSTM对笔画序列Si进行属性识别形成笔画属性序列Attributei；
3)基于预设的笔画位置关系模型对笔画序列Si进行空间关系建模形成笔画关系序列Relationi；
4)将待识别草图的l个笔画构成的符号保存进入预设的符号库，形成新的库存符号Symmm＝(Attributei＝1,2…l,Relationi＝1,2…l)；
5)结合当前符号库中的库存符号，对待识别草图的笔画属性序列Attributei以及笔画关系序列Relationi基于隐马尔可夫模型进行概率推断识别得到草图识别结果并输出。
优选地，步骤2)中的双向长短时记忆网络BiLSTM由输出端通过sigmod函数相连的前向LSTM和反向LSTM网络构成。
优选地，所述前向LSTM和反向LSTM网络均由式(1)所示长短时记忆网络LSTM构成；
式(1)中，ft,it,ot,ht,ct分别为t时刻的h维的遗忘门向量、输入门向量、输出门向量、系统输出向量、单元状态向量，下标t表示t时刻的系统状态，ct∈Rh，Rh表示h维实数向量；ht-1为t-1时刻的h维的系统输出向量，xt表示t时刻的输入向量；°表示2个同维向量对应元素相乘，σ为sigmod函数，tanh(·)为tanh激活函数，Wf,Uf,bf,Wi,Ui,bi,Wo,Uo,bo,Wc,Uc,bc分别为长短时记忆网络LSTM的权重参数矩阵以及偏移向量且通过误差反向传播算法迭代训练得出。
优选地，步骤3)中预设的笔画位置关系模型中第1个笔画的位置关系relation(i)的值为0、其余任意当前第i个笔画的位置关系relation(i)如式(2)所示；
式(2)中，Start(i)表示第i个笔画的起始点坐标，End(i)表示第i个笔画的终点坐标，Middle(i)表示第i笔画的中点坐标，Start(i-1)表示第i-1个笔画的起始点坐标，End(i-1)表示第i-1个笔画的终点坐标，Middle(i-1)表示第i-1个笔画的中点坐标，RD_threshold为笔画关系判别的距离阈值，函数D表示二维空间的欧氏距离。
优选地，步骤4)的详细步骤包括：
4.1)将待识别草图的l个笔画(S1,S2…Sl)、以及在第l笔画后外加一个终点构成的l+1个节点的隐马尔可夫序列模型HMM的笔画序列图；
4.2)在当前符号库中依次选择每一个库存符号Symj(j＝1,2…m)，从笔画序列图的第一个节点开始，与以当前节点开始的连续lenj个节点序列进行单符号匹配，并计算当前符号Symj和序列(Si,Si+1,…Si+lenj-1)匹配的条件概率，并记录从节点i到节点(i+lenj-1)的路径及其对应库存符号Symj；其中lenj是指Symj的笔画数，i＝1,2,…(l+2-lenj)，l是指待识别草图的笔画数量；
4.3)基于单符号匹配生成的所有路径，搜索从第1个到第l+1个节点的所有单向通路，计算每一条通路的完整后验概率；
4.4)在所有单向通路中选择后验概率最小的通路，该条通路中的多条路径对应待识别草图的符号分割，该路径对应的库存匹配符号即为该符号识别结果；
4.5)将所有符号识别结果构成的草图识别结果(sketch1,sketch2,…sketchk)输出。
优选地，步骤4.2)中条件概率的计算函数表达式如式(3)所示；
式(3)中，P(Symi|Symj)表示两个笔画数均为r的符号Symi和Symj之间符号相似度的判别条件概率，sym_attribute(i,rr)，sym_ralation(i,rr)分别表示符号Symi中r维属性序列和关系序列的第rr个元素，sym_attribute(j,rr)，sym_ralation(j,rr)分别表示符号Symj中r维属性序列和关系序列的第rr个元素，r表示符号Symi和Symj两者笔画属性序列Attributei的维度，rr表示符号Symi和Symj两者笔画关系序列Relationi的维度。
本发明还提供一种具备可持续学习能力的多符号手绘草图识别装置，包括计算机设备，该计算机设备被编程以执行本发明具备可持续学习能力的多符号手绘草图识别方法的步骤。
和现有技术相比，本发明具有下述有益效果：
1、本发明基于数据驱动的笔画基元识别，不仅识别精度高，而且避免了人工设计笔画特征的过程，可识别的笔画种类数目更多，模型泛化能力更强。
2、本发明通过笔画基元识别和笔画空间位置关系建模，结合了手绘草图的笔画信息和整体图像信息，提高了草图识别的准确率。
3、本发明方法采用隐马尔可夫概率推断模型，可进行多符号草图识别，同时支持符号库的在线更新，具备可持续学习能力以及小样本学习能力。
附图说明
图1为本发明实施例方法的基本流程示意图。
图2为本发明实施例中长短时记忆网络LSTM的内部结构示意图。
图3为本发明实施例中双向长短时记忆网络BiLSTM的结构示意图。
图4为本发明实施例中空间位置建模的位置关系示意图。
图5为本发明实施例中基于HMM的概率推断模型及其推断过程。
图6为本发明实施例中的算例测试符号库(COAD)。
图7为本发明实施例中的算例测试笔画基元。
图8为本发明实施例中的待识别多符号草图(重叠度由0.1依次增加到1.0)。
图9为本发明实施例中的算例测试识别率结果。
具体实施方式
如图1所示，本实施例具备可持续学习能力的多符号手绘草图识别方法的实施步骤包括：
1)读入草图序列(x1,x2,…xt)构成的待识别草图，将待识别草图的草图序列(x1,x2,…xt)转化为笔画序列Si＝(x1,x2,…xni),i＝1,2…l；
2)基于训练好的双向长短时记忆网络BiLSTM对笔画序列Si进行属性识别形成笔画属性序列Attributei；
3)基于预设的笔画位置关系模型对笔画序列Si进行空间关系建模形成笔画关系序列Relationi；
4)将待识别草图的l个笔画构成的符号保存进入预设的符号库，形成新的库存符号Symmm＝(Attributei＝1,2…l,Relationi＝1,2…l)；
5)结合当前符号库中的库存符号，对待识别草图的笔画属性序列Attributei以及笔画关系序列Relationi基于隐马尔可夫模型进行概率推断识别得到草图识别结果并输出。
针对笔画绘制过程中可能存在的反序问题，本实施例提出了基于双向LSTM(Bidirectional LSTM,BiLSTM)的笔画基元识别方法。本实施例中，步骤2)中的双向长短时记忆网络BiLSTM由输出端通过sigmod函数相连的前向LSTM和反向LSTM网络构成。
长短时记忆网络(Long Short Term Memory,LSTM)是针对时间序列数据的一种循环神经网络模型，其内部结构包括记忆单元，输入门，输出门以及遗忘门。本实施例中，前向LSTM和反向LSTM网络均由式(1)所示长短时记忆网络LSTM构成，如图2所示；
式(1)中，ft,it,ot,ht,ct分别为t时刻的h维的遗忘门向量、输入门向量、输出门向量、系统输出向量、单元状态向量，下标t表示t时刻的系统状态，ct∈Rh，Rh表示h维实数向量；ht-1为t-1时刻的h维的系统输出向量，xt表示t时刻的输入向量；°表示2个同维向量对应元素相乘，σ为sigmod函数，tanh(·)为tanh激活函数，Wf,Uf,bf,Wi,Ui,bi,Wo,Uo,bo,Wc,Uc,bc分别为长短时记忆网络LSTM的权重参数矩阵以及偏移向量且通过误差反向传播算法迭代训练得出。
如图3所示，本实施例中双向长短时记忆网络BiLSTM由输出端通过sigmod函数相连的前向LSTM和反向LSTM网络构成，前向LSTM和反向LSTM网络均由式(1)所示长短时记忆网络LSTM构成，其中，(x1,x2,…,xn)为构成笔画的轨迹点二维坐标序列，和分别是前向LSTM网络和反向LSTM网络的输出向量，hn为最终的识别结果。
如图4所示，本实施例中预设的笔画位置关系模型在对构成草图的基元笔画进行属性识别之后，本实施例方法中对草图的绘制过程进行空间位置建模，主要针对每一笔画的起始点与上一笔画之间的位置关系进行建模，如图4所示，每一笔画的起始点与上一笔画之间的位置关系包括首首相连、首尾相连、首中相连以及不相连四种。
根据当前笔画起始点与上一笔画起始点，终点以及中点的位置关系，本实施例步骤3)中预设的笔画位置关系模型中第1个笔画的位置关系relation(i)的值为0，即：
relation(1)＝0
其余任意当前第i个笔画的位置关系relation(i)如式(2)所示；
式(2)中，Start(i)表示第i个笔画的起始点坐标，End(i)表示第i个笔画的终点坐标，Middle(i)表示第i笔画的中点坐标，Start(i-1)表示第i-1个笔画的起始点坐标，End(i-1)表示第i-1个笔画的终点坐标，Middle(i-1)表示第i-1个笔画的中点坐标，RD_threshold为笔画关系判别的距离阈值，函数D表示二维空间的欧氏距离。
基于上述笔画基元识别和空间位置建模，多笔画构成的草图可以表示为笔画基元属性序列attribute和空间位置关系序列relation，符号库存储的是用户自定义的草图符号Symi＝(sym_attribute(i),sym_relation(i)),其中，sym_attribute(i),sym_relation(i)分别为第i个符号Symi的属性序列和关系序列。对于两个笔画数均为r的符号Symi，Symj，定义符号相似度的判别条件概率如式(3)所示；
式(3)中，P(Symi|Symj)表示两个笔画数均为r的符号Symi和Symj之间符号相似度的判别条件概率，sym_attribute(i,rr)，sym_ralation(i,rr)分别表示符号Symi中r维属性序列和关系序列的第rr个元素，sym_attribute(j,rr)，sym_ralation(j,rr)分别表示符号Symj中r维属性序列和关系序列的第rr个元素，r表示符号Symi和Symj两者笔画属性序列Attributei的维度，rr表示符号Symi和Symj两者笔画关系序列Relationi的维度。
基于上述定义，将多符号草图识别问题描述如下：
已知符号库{Symi,i＝1,2…m}，对待识别的多符号草图Sketch＝(sketch_attribute,sketch_relation)进行多符号推断识别，即将Sketch顺序分割为k个连续符号sketch1,sketch2,…sketchk，并在符号库中识别出对应的符号Symy1,Symy2…Symyk,使得整张草图的后验概率最大，即使用数学模型可表示为：
为求解上述最大化后验概率问题，本方法采用隐马尔可夫序列模型(HiddenMarkov Model,HMM)对笔画序列建模，采用动态规划方法转化为最短路径问题进行模型求解。
本实施例中，步骤4)的详细步骤包括：
4.1)将待识别草图的l个笔画(S1,S2…Sl)、以及在第l笔画后外加一个终点构成的l+1个节点的隐马尔可夫序列模型HMM的笔画序列图，如图5(a)所示；
4.2)如图5(b)所示，在当前符号库中依次选择每一个库存符号Symj(j＝1,2…m)，从笔画序列图的第一个节点开始，与以当前节点开始的连续lenj个节点序列进行单符号匹配，并计算当前符号Symj和序列(Si,Si+1,…Si+lenj-1)匹配的条件概率，并记录从节点i到节点(i+lenj-1)的路径及其对应库存符号Symj；其中lenj是指Symj的笔画数，i＝1,2,…(l+2-lenj)，l是指待识别草图的笔画数量；
4.3)基于单符号匹配生成的所有路径，搜索从第1个到第l+1个节点的所有单向通路，计算每一条通路的完整后验概率；如图5(c)所示，S1—>Si—>Sl-1—>END(黑色实线标示)以及S1—>S2—>Si+1—>END(红色虚线标示)均为完整的单向通路，以S1—>Si—>Sl-1—>END通路为例，其后验概率为：
其中，j*,j**,j***分别为形成该路径时对应的匹配库存符号。
4.4)在所有单向通路中选择后验概率最小的通路，该条通路中的多条路径对应待识别草图的符号分割，该路径对应的库存匹配符号即为该符号识别结果；如路径S1—>Si+1表示(S1,S2,…Si)为一个连续的完整符号，该路径对应的库存匹配符号即为该符号识别结果；
4.5)将所有符号识别结果构成的草图识别结果(sketch1,sketch2,…sketchk)输出。
本实施例中，步骤4.2)中条件概率的计算函数表达式如式(3)所示。
为了对本发明具备可持续学习能力的多符号手绘草图识别方法进行进一步验证，本实施例中使用如图6所示美军部分军标符号构成的COAD(Course Of Action Diagrams)草图数据(共20类符号)为基准展开，首先构建笔画基元数据集，如图7所示，包括横，竖，撇，捺，圆共5类笔画基元。针对草图识别过程中存在的多符号重叠问题，本算例采集了10种不同程度的符号重叠草图，如图8所示，每张草图由多个符号随机构成，在横坐标维度上重叠程度依次由0.1上升到1.0(相邻符号的重叠比例)10个等级。
测试实验共进行10组，每组实验中，每个重叠等级各包含100张多符号草图，每张草图中的多个符号均正确识别则认定该样本识别正确，定义正确识别的样本比例作为识别准确率，作为识别准确性的评价指标。作为对照实验，本算例采用目前图像领域中广泛使用的多目标检测识别算法RCNN(Regions with CNN features)进行多符号草图识别对比验证。RCNN和本方法在10种不同重叠程度的多符号草图数据集上的识别准确率统计结果如表1所示，其中，本实施例方法识别率括弧中给出的是10组测试实验的方差。
表1算例测试识别率结果统计表。
根据表1的数据整理得到的本实施例具备可持续学习能力的多符号手绘草图识别方法和现有的多目标检测识别算法RCNN测试识别率结果如图9所示。参见图9可知，本实施例具备可持续学习能力的多符号手绘草图识别方法在重叠度从0.1～1均能够实现0.8左右的识别率，虽然在0.1～0.28左右的重叠度下识别率相对较差，但是在更高重叠度下的识别率相对现有的多目标检测识别算法RCNN具有显著的改善。
多符号草图包含多个按先后顺序绘制的图形符号，将每个图形符号看作是由多个单笔画基元构成的图形。本实施例具备可持续学习能力的多符号手绘草图识别方法包括用户符号自定义和多符号草图在线识别两个部分。在用户符号自定义部分，用户绘制单符号草图，系统会基于长短时记忆网络识别每个笔画基元，并对符号的空间构成关系建模，将用户绘制的笔画构成及其空间关系存入符号库中。当用户绘制多符号草图时，首先基于长短时记忆网络在线识别每个笔画基元类型并对笔画之间的空间位置关系进行建模，之后根据用户输入的笔画序列和关系序列构建一个隐马尔可夫链，并结合之前构建的符号库进行多符号草图在线推断和识别。本方法支持用户自定义符号库并随时进行符号库增加和删除等更新操作，具备多符号草图在线识别和可持续学习能力。此外，本实施例还提供一种具备可持续学习能力的多符号手绘草图识别装置，包括计算机设备，该计算机设备被编程以执行本实施例具备可持续学习能力的多符号手绘草图识别方法的步骤。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种具备可持续学习能力的多符号手绘草图识别方法，其特征在于实施步骤包括：
1)读入草图序列(x1,x2,…xt)构成的待识别草图，将待识别草图的草图序列(x1,x2,…xt)转化为笔画序列Si＝(x1,x2,…xni),i＝1,2…l；
2)基于训练好的双向长短时记忆网络BiLSTM对笔画序列Si进行属性识别形成笔画属性序列Attributei；
3)基于预设的笔画位置关系模型对笔画序列Si进行空间关系建模形成笔画关系序列Relationi；
4)将待识别草图的l个笔画构成的符号保存进入预设的符号库，形成新的库存符号Symmm＝(Attributei＝1,2…l,Relationi＝1,2…l)；
5)结合当前符号库中的库存符号，对待识别草图的笔画属性序列Attributei以及笔画关系序列Relationi基于隐马尔可夫模型进行概率推断识别得到草图识别结果并输出。
2.根据权利要求1所述的具备可持续学习能力的多符号手绘草图识别方法，其特征在于，步骤2)中的双向长短时记忆网络BiLSTM由输出端通过sigmod函数相连的前向LSTM和反向LSTM网络构成。
3.根据权利要求2所述的具备可持续学习能力的多符号手绘草图识别方法，其特征在于，所述前向LSTM和反向LSTM网络均由式(1)所示长短时记忆网络LSTM构成；
式(1)中，ft,it,ot,ht,ct分别为t时刻的h维的遗忘门向量、输入门向量、输出门向量、系统输出向量、单元状态向量，下标t表示t时刻的系统状态，ct∈Rh，Rh表示h维实数向量；ht-1为t-1时刻的h维的系统输出向量，xt表示t时刻的输入向量；°表示2个同维向量对应元素相乘，σ为sigmod函数，tanh(·)为tanh激活函数，Wf,Uf,bf,Wi,Ui,bi,Wo,Uo,bo,Wc,Uc,bc分别为长短时记忆网络LSTM的权重参数矩阵以及偏移向量且通过误差反向传播算法迭代训练得出。
4.根据权利要求1所述的具备可持续学习能力的多符号手绘草图识别方法，其特征在于，步骤3)中预设的笔画位置关系模型中第1个笔画的位置关系relation(i)的值为0、其余任意当前第i个笔画的位置关系relation(i)如式(2)所示；
式(2)中，Start(i)表示第i个笔画的起始点坐标，End(i)表示第i个笔画的终点坐标，Middle(i)表示第i笔画的中点坐标，Start(i-1)表示第i-1个笔画的起始点坐标，End(i-1)表示第i-1个笔画的终点坐标，Middle(i-1)表示第i-1个笔画的中点坐标，RD_threshold为笔画关系判别的距离阈值，函数D表示二维空间的欧氏距离。
5.根据权利要求1～4中任意一项所述的具备可持续学习能力的多符号手绘草图识别方法，其特征在于，步骤4)的详细步骤包括：
4.1)将待识别草图的l个笔画(S1,S2…Sl)、以及在第l笔画后外加一个终点构成的l+1个节点的隐马尔可夫序列模型HMM的笔画序列图；
4.2)在当前符号库中依次选择每一个库存符号Symj(j＝1,2…m)，从笔画序列图的第一个节点开始，与以当前节点开始的连续lenj个节点序列进行单符号匹配，并计算当前符号Symj和序列(Si,Si+1,…Si+lenj-1)匹配的条件概率，并记录从节点i到节点(i+lenj-1)的路径及其对应库存符号Symj；其中lenj是指Symj的笔画数，i＝1,2,…(l+2-lenj)，l是指待识别草图的笔画数量；
4.3)基于单符号匹配生成的所有路径，搜索从第1个到第l+1个节点的所有单向通路，计算每一条通路的完整后验概率；
4.4)在所有单向通路中选择后验概率最小的通路，该条通路中的多条路径对应待识别草图的符号分割，该路径对应的库存匹配符号即为该符号识别结果；
4.5)将所有符号识别结果构成的草图识别结果(sketch1,sketch2,…sketchk)输出。
6.根据权利要求5所述的具备可持续学习能力的多符号手绘草图识别方法，其特征在于，步骤4.2)中条件概率的计算函数表达式如式(3)所示；
式(3)中，P(Symi|Symj)表示两个笔画数均为r的符号Symi和Symj之间符号相似度的判别条件概率，sym_attribute(i,rr)，sym_ralation(i,rr)分别表示符号Symi中r维属性序列和关系序列的第rr个元素，sym_attribute(j,rr)，sym_ralation(j,rr)分别表示符号Symj中r维属性序列和关系序列的第rr个元素，r表示符号Symi和Symj两者笔画属性序列Attributei的维度，rr表示符号Symi和Symj两者笔画关系序列Relationi的维度。
7.一种具备可持续学习能力的多符号手绘草图识别装置，包括计算机设备，其特征在于：所述计算机设备被编程以执行权利要求1～6中任意一项所述具备可持续学习能力的多符号手绘草图识别方法的步骤。
CN201810523245.0A 2018-05-28 2018-05-28 具备可持续学习能力的多符号手绘草图识别方法及装置 Active CN108805224B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810523245.0A CN108805224B (zh) 2018-05-28 2018-05-28 具备可持续学习能力的多符号手绘草图识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810523245.0A CN108805224B (zh) 2018-05-28 2018-05-28 具备可持续学习能力的多符号手绘草图识别方法及装置

Publications (2)

Publication Number Publication Date
CN108805224A true CN108805224A (zh) 2018-11-13
CN108805224B CN108805224B (zh) 2021-10-01

Family

ID=64090528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810523245.0A Active CN108805224B (zh) 2018-05-28 2018-05-28 具备可持续学习能力的多符号手绘草图识别方法及装置

Country Status (1)

Country Link
CN (1) CN108805224B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109766795A (zh) * 2018-12-25 2019-05-17 同济大学 基于循环神经网络的虚拟现实场景下人机交互方法及系统
CN110837798A (zh) * 2019-11-05 2020-02-25 北京邮电大学 一种基于视觉特性的草图笔画编组方法
CN110929634A (zh) * 2019-11-19 2020-03-27 广东工业大学 基于双向Tree-GRU的联机手写数学公式识别方法
CN111476867A (zh) * 2020-04-07 2020-07-31 华中科技大学 一种基于变分自编码和生成对抗网络的手绘草图生成方法
CN112183046A (zh) * 2020-09-25 2021-01-05 北京有竹居网络技术有限公司 一种手写字的质量评价方法、装置、设备和存储介质
CN112257785A (zh) * 2020-10-23 2021-01-22 中科院合肥技术创新工程院 基于记忆巩固机制与gan模型的序列化任务完成方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101627398A (zh) * 2007-03-06 2010-01-13 微软公司 用于手写东亚字符的基于偏旁的hmm建模
US20120141032A1 (en) * 2010-12-03 2012-06-07 Massachusetts Institute Of Technology Sketch recognition system
CN103106309A (zh) * 2013-02-06 2013-05-15 浙江大学 计算机辅助设计过程中的草图行为识别方法及系统
CN106407874A (zh) * 2016-03-25 2017-02-15 东南大学 基于笔迹坐标序列的手写识别方法
CN106569998A (zh) * 2016-10-27 2017-04-19 浙江大学 一种基于Bi‑LSTM、CNN和CRF的文本命名实体识别方法
CN106980856A (zh) * 2016-01-15 2017-07-25 上海谦问万答吧云计算科技有限公司 公式识别方法及系统和符号推理计算方法及系统
CN107301864A (zh) * 2017-08-16 2017-10-27 重庆邮电大学 一种基于Maxout神经元的深度双向LSTM声学模型
CN107331384A (zh) * 2017-06-12 2017-11-07 平安科技（深圳）有限公司 语音识别方法、装置、计算机设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101627398A (zh) * 2007-03-06 2010-01-13 微软公司 用于手写东亚字符的基于偏旁的hmm建模
US20120141032A1 (en) * 2010-12-03 2012-06-07 Massachusetts Institute Of Technology Sketch recognition system
CN103106309A (zh) * 2013-02-06 2013-05-15 浙江大学 计算机辅助设计过程中的草图行为识别方法及系统
CN106980856A (zh) * 2016-01-15 2017-07-25 上海谦问万答吧云计算科技有限公司 公式识别方法及系统和符号推理计算方法及系统
CN106407874A (zh) * 2016-03-25 2017-02-15 东南大学 基于笔迹坐标序列的手写识别方法
CN106569998A (zh) * 2016-10-27 2017-04-19 浙江大学 一种基于Bi‑LSTM、CNN和CRF的文本命名实体识别方法
CN107331384A (zh) * 2017-06-12 2017-11-07 平安科技（深圳）有限公司 语音识别方法、装置、计算机设备及存储介质
CN107301864A (zh) * 2017-08-16 2017-10-27 重庆邮电大学 一种基于Maxout神经元的深度双向LSTM声学模型

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHEN ZUO等: "Convolutional recurrent neural networks: Learning spatial dependencies for image representation", 《2015 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS 》 *
邓维等: "具有连续反馈的在线草图符号识别算法", 《国防科技大学学报》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109766795A (zh) * 2018-12-25 2019-05-17 同济大学 基于循环神经网络的虚拟现实场景下人机交互方法及系统
CN109766795B (zh) * 2018-12-25 2023-06-30 吉林动画学院 基于循环神经网络的虚拟现实场景下人机交互方法及系统
CN110837798A (zh) * 2019-11-05 2020-02-25 北京邮电大学 一种基于视觉特性的草图笔画编组方法
CN110837798B (zh) * 2019-11-05 2022-10-11 北京邮电大学 一种基于视觉特性的草图笔画编组方法
CN110929634A (zh) * 2019-11-19 2020-03-27 广东工业大学 基于双向Tree-GRU的联机手写数学公式识别方法
CN110929634B (zh) * 2019-11-19 2023-04-18 广东工业大学 基于双向Tree-GRU的联机手写数学公式识别方法
CN111476867A (zh) * 2020-04-07 2020-07-31 华中科技大学 一种基于变分自编码和生成对抗网络的手绘草图生成方法
CN112183046A (zh) * 2020-09-25 2021-01-05 北京有竹居网络技术有限公司 一种手写字的质量评价方法、装置、设备和存储介质
CN112257785A (zh) * 2020-10-23 2021-01-22 中科院合肥技术创新工程院 基于记忆巩固机制与gan模型的序列化任务完成方法及系统

Also Published As

Publication number Publication date
CN108805224B (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
CN108805224A (zh) 具备可持续学习能力的多符号手绘草图识别方法及装置
Avola et al. Exploiting recurrent neural networks and leap motion controller for the recognition of sign language and semaphoric hand gestures
Zhang et al. A gru-based encoder-decoder approach with attention for online handwritten mathematical expression recognition
Yan et al. Learning 4D action feature models for arbitrary view action recognition
Quattoni et al. Hidden-state conditional random fields
CN101627398B (zh) 用于手写东亚字符的基于偏旁的hmm建模
CN103226388A (zh) 一种基于Kinect的手写方法
Wang et al. MASD: A multimodal assembly skill decoding system for robot programming by demonstration
Peterson et al. Grouping strokes into shapes in hand-drawn diagrams
Joshi et al. A random forest approach to segmenting and classifying gestures
Dai Nguyen et al. Recognition of online handwritten math symbols using deep neural networks
Kim et al. Analysis of 3d hand trajectory gestures using stroke-based composite hidden markov models
CN111444488A (zh) 一种基于动态手势的身份认证方法
Burke et al. Pantomimic gestures for human–robot interaction
Nguyen et al. Online handwritten mathematical symbol segmentation and recognition with bidirectional context
Laviola Jr Mathematical sketching: a new approach to creating and exploring dynamic illustrations
Tung et al. Stroke-order-free on-line Chinese character recognition by stroke adjustment of two-layer bipartite weighted matching
Kara et al. A sketch-based interface for the design and analysis of simple vibratory mechanical systems
Heryadi et al. Stochastic regular grammar-based learning for basic dance motion recognition
Kim et al. 3d space handwriting recognition with ligature model
Sober-Mira et al. Pen-based music document transcription
Zare et al. Handwritten recognition based on hand gesture recognition using deterministic finite automata and fuzzy logic
De Silva et al. Sketch-based spatial queries for retrieving human locomotion patterns from continuously archived gps data
Hall et al. A combinatorial approach to multi-domain sketch recognition
Paulson Rethinking pen input interaction: Enabling freehand sketching through improved primitive recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant