CN112861709A - 一种基于简笔画的手绘草图识别方法 - Google Patents

一种基于简笔画的手绘草图识别方法 Download PDF

Info

Publication number
CN112861709A
CN112861709A CN202110160832.XA CN202110160832A CN112861709A CN 112861709 A CN112861709 A CN 112861709A CN 202110160832 A CN202110160832 A CN 202110160832A CN 112861709 A CN112861709 A CN 112861709A
Authority
CN
China
Prior art keywords
points
sketch
stroke
coordinate
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110160832.XA
Other languages
English (en)
Inventor
赵海峰
丁浩然
吴孝安
沈乾彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinling Institute of Technology
Original Assignee
Jinling Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinling Institute of Technology filed Critical Jinling Institute of Technology
Priority to CN202110160832.XA priority Critical patent/CN112861709A/zh
Publication of CN112861709A publication Critical patent/CN112861709A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/333—Preprocessing; Feature extraction
    • G06V30/347—Sampling; Contour coding; Stroke extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/36—Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Character Discrimination (AREA)

Abstract

本发明涉及一种基于简笔画的手绘草图识别方法。以简笔画的方式画出草图，对草图线条进行等间隔采样，获取组成线条的点的集合。将线条上相邻两点组成的线段看作向量，根据向量之间的夹角找出线条的所有拐点，然后以落笔点为起点，抬笔点为终点，将相邻拐点之间确定的直线连接，确定其方向向量，最后以拐点集和方向向量集为特征与已定义的草图特征进行匹配，从而识别出简笔画图形类别。本发明可以运用在设计、动漫、虚拟(增强)现实、基于手绘草图的游戏等方面，适用于简笔画草图基本图形的识别，具有识别准确率高，模型稳定性高，适用性强，不受简笔画方向、大小等因素的影响的优点，是一种对于识别简笔画草图的全新方法，为简笔画草图的快速高效识别提供了新的方法和思路。

Description

一种基于简笔画的手绘草图识别方法
技术领域
本发明基于坐标数据识别简笔画草图的领域，特别是涉及一种基于简笔画的手绘草图识别方法。
背景技术
草图交互是人机交互领域中的重要方面之一，它不仅使得一些产品或概念设计方面的便捷性与高效性得到了提高，也对设计、动漫、虚拟(增强)现实等各领域有着重要的意义。近年来，随着计算机科学技术的高速发展和互联网的普及，设计、动漫、虚拟(增强)现实等产业迅速发展，草图与这些行业的发展息息相关，因此草图交互受到越来越多研究人员的重视。
草图具有间接性和直观性，人们通常手绘一些基本图形来表达他们的想法或创意。而简笔画草图要求草图都是简笔画成的，由一条到多条简单线条组成，再次降低了绘制草图的难度，同时基于简笔画的规则使得草图识别更加高效、准确。
传统的草图识别流程一般分为四个步骤：图像采集、图像预处理、特征提取、图像识别。对于简笔画草图来说，由于画图者自身绘画熟练程度以及一些外部因素使得简笔画草图的线条产生抖动与偏差噪声，需要进行处理消除噪声。典型的方法最小二乘法进行线性拟合。最小二乘法能够通过最小化平方误差寻找数据的最佳函数匹配，具有较好的拟合效果。
近年来，随着智能手机、互联网的不断发展，使得草图交互成为设计、动漫、虚拟(增强)现实等领域不可或缺的一种交互方式。草图识别能够使创作者的创作效率更高，创作体验感更佳。基于简笔画的草图再次降低了创作的门槛，让更多的人参与到创作中，为设计、动漫、虚拟(增强)现实、游戏等领域创造应有的价值。将简笔画方式绘制的草图稳定高效地识别出来，从而促进草图交互，提升用户体验是本发明主要解决的问题。
发明内容
为解决上述问题，本发明提出了一种基于简笔画的手绘草图识别方法，该方法通过对简笔画草图进行规整预处理，提取其特征，并根据这些草图特征与已定义的特征进行匹配，完成对基于简笔画的草图识别，从而提升草图交互的效率。
本发明提供一种基于简笔画的手绘草图识别方法，具体步骤如下：
1)使用简笔画方式绘制草图，获取草图笔划上的所有点的集合，对集合中的点进行筛选预处理，提取出有效的笔划点；
具体步骤如下：
①简笔画出草图，存储所有笔划点的二维坐标值；
②根据相邻笔划点的坐标值，剔除重复笔划点，筛选出不重复的有效笔划点，其筛选条件为
Coordinate[i].x≠Coordinate[i+1].x||Coordinate[i].y≠Coordinate[i+1].y (1)
其中Coordinate为所有笔划点坐标的集合，i为笔划点的索引值，x和y分别为平面直角坐标系下像素点的横坐标与纵坐标；
③将符合条件(1)的所有笔划点提取出来，更新到Coordinate中；
2)按照笔划点的索引顺序，对有效笔划点进行等间隔采样，计算相邻采样点之间的向量夹角，从而提取草图的拐点；
具体步骤如下：
①按照间隔大小为Δ进行采样，将相邻的两个采样点组成向量，其公式为
Vector[i]＝Coordinate[i]-Coordinate[i+Δ] (2)
其中式中，Vector为采样点所组成的向量集合，i为向量索引值，Δ为采样点的间隔值；
②计算相邻向量之间的夹角θ[i]，其公式为
Figure BDA0002936545960000021
其中式中，Vector[i]和Vector[i+1]表示向量集合中的两个相邻向量；
③根据θ[i]的大小，与先验阈值T比较，筛选出所有的拐点，其筛选条件为
θ[i]≥T (4)
其中，T为根据实际应用场景事先确定的阈值，经验值为50。
3)以落笔点位起点，抬笔点为终点，按照笔划顺序将相邻拐点依次连接，使草图简化为由多条线段组成的图形；
4)提取线段的方向向量到集合中；
5)以步骤2)中的拐点集合和步骤4)中的方向向量集为特征向量与已定义的特征向量进行模板匹配，识别出简笔化图形的类型。
有益效果：草图识别受到线条抖动偏差、线条连续性、草图起点和落点位置等多种因素的共同影响。其中线条连续性、线条抖动偏差、草图起落点这三个因素对草图识别的影响最大。现有草图识别方法对于这些容易产生大误差的草图的识别效率不高、部分模型需要大量的训练，难度较大。本发明提出了一种基于简笔画的草图识别方法，有效解决了上述问题。首先，识别的草图必须是简笔画，每一笔都有唯一的起点和落点，保证了线条的连续性和完整性。其次，在草图线条易抖动和产生偏差方面，采用等间隔采样估计主方向向量的方式来进行线条拟合，减少了噪声的影响，减小了估计误差。第三，以拐点数量与方向向量数量作为基本特征，与数据库中预存的特征进行模板匹配，提升了草图识别的简便性、准确性与高效性，本发明具有很强的推广应用的能力，可以运用在设计、动漫、虚拟(增强)现实、绘图、游戏等领域，具有很强的实用价值。
附图说明
图1为基于简笔画的草图识别的流程图；
图2为在基于Unity引擎的游戏中画出一个简笔画正方形草图的举例；
图3为在基于Unity引擎的游戏中对实时绘制的简笔画草图进行识别并生成对应三维模型的举例。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述：
本发明提出了一种基于简笔画的手绘草图识别方法，通过对简笔画草图进行规整预处理，提取其特征，并根据这些草图特征与已定义的特征进行匹配，解决基于简笔画的草图识别问题。
下面对基于Unity引擎的游戏应用中简笔画草图的绘制、识别与生成为例，对本发明进行进一步详细描述，但不作为对本发明的限定。
1)打开Unity，在游戏中画出简笔画的草图，以简笔画正方形草图为例，如附图中图2所示。
2)后台编写C#脚本，并存储简笔画草图的像素点到集合Coordinate中，其中Coordinate是三维坐标集合的形式。由于草图为平面图形，第三维设置为0。
3)根据Coordinate中相邻像素点坐标的值，然后按以下条件筛选出不重复的有效像素点：
Coordinate[i].x！＝Coordinate[i+1].x||Coordinate[i].y！＝Coordinate[i+1]·y (1)
其中Coordinate为所有像素点坐标的集合，i像素点的索引值，x和y分别为平面直角坐标系下像素点的横坐标与纵坐标。
4)将符合条件(1)的所有像素点提取出来，更新到Coordinate中。
5)将Coordinate集合中的像素点向量化，其公式为
Vector[i]＝Coordinate[i]-Coordinate[i+x] (2)
其中式中，Vector为像素点分段向量化后的向量集，i为索引值，x为像素点的间隔值。为x赋值3，即表示每3个像素点为间隔来采取向量。
6)计算各向量之间的夹角，其公式为
Figure BDA0002936545960000041
其中式中，Vector[i]和Vector[i+1]表示向量集合中的两个相邻向量；
7)根据θ[i]的大小，与先验阈值T比较，筛选出所有的拐点，其筛选条件为
θ[i]≥T (4)
其中，T为根据实际应用场景事先确定的阈值，经验值为50。
该例中筛选后的拐点数量为3。
8)以落笔点位起点，抬笔点为终点，按照笔划顺序将相邻拐点依次连接，使草图简化为由多条线段组成的图形；
9)提取线段的方向向量到集合中，提取后的集合为{(1,0,0),(0,-1,0),(-1,0,0),(0,1,0)}。
10)以步骤7)中的拐点集合和步骤8)中的方向向量集为特征与已定义的特征进行比较，对简笔画草图进行模板识别。已定义的简笔画正方形草图的拐点特征为3，筛选完的拐点数量也为3，吻合；已定义的简笔画正方形草图的向量集为{(1,0,0),(0,-1,0),(-1,0,0),(0,1,0)}，而提取的拟合后的方向向量集中的每一个元素都在此集合中，且元素个数相同，吻合。所以经过拐点和方向向量集这两组特征的匹配，对例中的简笔画正方形草图进行了模板匹配，识别成功。
11)将简笔画草图在Unity中生成与之相对应的三维模型，以便观察草图识别的准确性。
以上所述，仅是本发明的较佳实施例之一，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

Claims (2)

1.一种基于简笔画的手绘草图识别方法，具体步骤如下，其特征在于：
1)使用简笔画方式绘制草图，获取草图笔划上的所有点的集合，对集合中的点进行筛选预处理，提取出有效的笔划点；
具体步骤如下：
①简笔画出草图，存储所有笔划点的二维坐标值；
②根据相邻笔划点的坐标值，剔除重复笔划点，筛选出不重复的有效笔划点，其筛选条件为
Coordinate[i].x≠Coordinate[i+1].x||Coordinate[i].y≠Coordinate[i+1].y(1)
其中Coordinate为所有笔划点坐标的集合，i为笔划点的索引值，x和y分别为平面直角坐标系下像素点的横坐标与纵坐标；
③将符合条件(1)的所有笔划点提取出来，更新到Coordinate中；
2)按照笔划点的索引顺序，对有效笔划点进行等间隔采样，计算相邻采样点之间的向量夹角，从而提取草图的拐点；
具体步骤如下：
①按照间隔大小为Δ进行采样，将相邻的两个采样点组成向量，其公式为
Vector[i]＝Coordinate[i]-Coordinate[i+Δ](2)
其中式中，Vector为采样点所组成的向量集合，i为向量索引值，Δ为采样点的间隔值；
②计算相邻向量之间的夹角θ[i]，其公式为
Figure FDA0002936545950000011
其中式中，Vector[i]和Vector[i+1]表示向量集合中的两个相邻向量；
③根据θ[i]的大小，与先验阈值T比较，筛选出所有的拐点，其筛选条件为
θ[i]≥T(4)
其中，T为根据实际应用场景事先确定的阈值，经验值为50。
3)以落笔点位起点，抬笔点为终点，按照笔划顺序将相邻拐点依次连接，使草图简化为由多条线段组成的图形；
4)提取线段的方向向量到集合中；
5)以步骤2)中的拐点集合和步骤4)中的方向向量集为特征向量与已定义的特征向量进行模板匹配，识别出简笔化图形的类型。
2.根据权利要求1所述的一种基于简笔画的手绘草图识别方法，其特征在于：所述草图识别方法的应用条件是可提取其坐标点的简笔画，可提取的点数不少于50个。
CN202110160832.XA 2021-02-05 2021-02-05 一种基于简笔画的手绘草图识别方法 Pending CN112861709A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110160832.XA CN112861709A (zh) 2021-02-05 2021-02-05 一种基于简笔画的手绘草图识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110160832.XA CN112861709A (zh) 2021-02-05 2021-02-05 一种基于简笔画的手绘草图识别方法

Publications (1)

Publication Number Publication Date
CN112861709A true CN112861709A (zh) 2021-05-28

Family

ID=75988077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110160832.XA Pending CN112861709A (zh) 2021-02-05 2021-02-05 一种基于简笔画的手绘草图识别方法

Country Status (1)

Country Link
CN (1) CN112861709A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114820873A (zh) * 2022-05-13 2022-07-29 南京大学 基于涂色的草图规整化方法、装置及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1664846A (zh) * 2005-04-01 2005-09-07 清华大学 基于统计结构特征的联机手写汉字识别方法
CN1920857A (zh) * 2006-09-08 2007-02-28 华南理工大学 手写汉字首末笔段的联机提取方法
CN101354747A (zh) * 2008-09-18 2009-01-28 炬力集成电路设计有限公司 一种手写符号的识别方法及装置
CN102184395A (zh) * 2011-06-08 2011-09-14 天津大学 基于字符串核的手绘草图识别方法
CN105549890A (zh) * 2015-12-29 2016-05-04 清华大学 一维手写文字输入设备和一维手写文字输入方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1664846A (zh) * 2005-04-01 2005-09-07 清华大学 基于统计结构特征的联机手写汉字识别方法
CN1920857A (zh) * 2006-09-08 2007-02-28 华南理工大学 手写汉字首末笔段的联机提取方法
CN101354747A (zh) * 2008-09-18 2009-01-28 炬力集成电路设计有限公司 一种手写符号的识别方法及装置
CN102184395A (zh) * 2011-06-08 2011-09-14 天津大学 基于字符串核的手绘草图识别方法
CN105549890A (zh) * 2015-12-29 2016-05-04 清华大学 一维手写文字输入设备和一维手写文字输入方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
苏蕊: "基于结构理解的笔迹智能编辑和单字分类", 《中国优秀硕士学位论文全文数据库》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114820873A (zh) * 2022-05-13 2022-07-29 南京大学 基于涂色的草图规整化方法、装置及介质

Similar Documents

Publication Publication Date Title
Liao et al. Stroke segmentation by Bernstein-Bezier curve fitting
CN102542264A (zh) 基于数字手写设备的汉字书写正误自动评测方法和装置
CN111931710B (zh) 一种联机手写文字识别方法、装置、电子设备及存储介质
CN105243139A (zh) 一种基于深度学习的三维模型检索方法及其检索装置
CN112990183B (zh) 离线手写汉字同名笔画提取方法、系统、装置
CN110472652A (zh) 基于语义引导的少量样本分类方法
CN111488937B (zh) 一种基于多尺度邻居深度神经网络的图像匹配方法
Cai et al. A novel saliency detection algorithm based on adversarial learning model
Putra et al. Structural off-line handwriting character recognition using approximate subgraph matching and levenshtein distance
CN112861709A (zh) 一种基于简笔画的手绘草图识别方法
CN109543525B (zh) 一种通用表格图像的表格提取方法
Maergner et al. Graph-based offline signature verification
Wang et al. Common visual pattern discovery via nonlinear mean shift clustering
Pithadia et al. A review on feature extraction techniques for optical character recognition
CN110070626B (zh) 一种基于多视角分类的三维物体检索方法
Firdaus et al. Arabic letter segmentation using modified connected component labeling
Cao et al. FAPP: Extremely fast approach to boosting image matching precision
CN110781851A (zh) 一种基于图片的装修户型图识别方法
Putra et al. Structural offline handwriting character recognition using Levenshtein distance
CN110737364B (zh) 一种安卓系统下触摸书写加速的控制方法
CN111259726B (zh) 在线笔迹认证中一种笔画动态特征的提取及认证方法
Deng et al. On-line sketch recognition using direction feature
Chen et al. An Automatic Stroke Extraction Method using Manifold Learning.
AbdElNafea et al. Efficient preprocessing algorithm for online handwritten Arabic strokes
CN112329389A (zh) 一种基于语义分割与禁忌搜索的汉字笔画自动提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210528

RJ01 Rejection of invention patent application after publication