CN102999282A - 基于实时笔画输入的数据对象逻辑控制系统及其方法 - Google Patents
基于实时笔画输入的数据对象逻辑控制系统及其方法 Download PDFInfo
- Publication number
- CN102999282A CN102999282A CN201110265524XA CN201110265524A CN102999282A CN 102999282 A CN102999282 A CN 102999282A CN 201110265524X A CN201110265524X A CN 201110265524XA CN 201110265524 A CN201110265524 A CN 201110265524A CN 102999282 A CN102999282 A CN 102999282A
- Authority
- CN
- China
- Prior art keywords
- stroke
- data object
- input
- computer
- graphic data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明涉及一种基于实时笔画输入的数据对象逻辑控制系统及其方法,其中系统包括计算机输入装置、预处理模块、简笔画识别模块、计算机数据库、控制模块和计算机显示输出装置,方法包括:通过计算机输入装置获取实时笔画输入、去噪声识别并从计算机数据库中调出对应的图形数据对象;再根据被调出图形数据对象各自的动态属性和图形数据对象之间的互动逻辑实时生成动态演示数据,并通过显示输出装置进行显示。这种控制方法,基于笔画对简笔画进行识别,并根据简笔画识别结果,依变化逻辑和互动逻辑生成不同的动画效果,最终实现简笔动画故事描述。该系统与传统幼儿培育软件相比,增加了人机交互的参与性和趣味性,更容易为幼儿所接受。
Description
技术领域
本发明涉及计算机辅助创作、计算机手绘图识别以及计算机动画,具体涉及一种基于实时笔画输入的数据对象逻辑控制系统及其方法。
背景技术
(一)人机交互技术的研究进展及应用
在二十世纪末,自然语音界面开始出现。人们开始使用语音识别技术进行文字录入,电话的总机也可以通过直接说出部门或人员的名称来进行转接的操作。电话可以通过语音进行拨号,一些玩具机器人也能听懂一些简单的、预设的语句。
近几年图像识别技术被应用到很多的多媒体交互艺术作品当中,并且使用投影、大屏幕等大型输出设备,营造较大的空间氛围,使用户真正融入到作品当中,大大增加了用户的参与感。计算机可以通过摄像头看见人类了,能辨认主人的面容,也能根据人类的肢体动作做出一定的反应。而且这种技术也随着互联网带宽的不断增加,某些网站也能实时地应用上了这种人机交互的方式。
另外一种不可不提的人机交互设备就是触摸屏了,这种技术虽然还没有广泛应用到台式计算机,但在个人数字助理PDA以及笔记本电脑上已经应用非常广泛了,在触摸屏上我们可以用原有的书写方式输入文字,用自己的手指直接点击,拖动屏幕上的元素,使操作变得更加直观。有的触摸屏还可以感应到手指按压的力度做出相应的反应,如画出一条粗细浓淡,变化丰富的线条。当今触摸屏技术已经发展到了新的阶段,称为“多点触摸”(Multi-Touch)技术,之前的触摸屏只能辨认一个触摸点,多点触摸技术能够准确辨认多个触摸点,并且能够通过多个触摸点的运动变化特征来判定人的操作指令,使得整个操作过程更加有趣、更加自然。基于多点触控技术的主要应用有微软桌面电脑(MS Surface)、虚拟墙(Virtual Wall)、苹果手机以及平板电脑iPad。
微软公司在2007年推出的桌面式电脑,是基于漫射照明的多点触控技术,放弃了鼠标和键盘这两种传统的输入设备。用户对电脑的操作通过自然的手势、触摸完成,并通过无线射频识别技术与手机、数码相机等设备进行数据传输,可以用双手方便地对资料进行整理。
另一种多点触控的交互设备,称为虚拟墙。2008年美国大选期间,CNN电视台在分析选举形势时所采用的触控屏正是虚拟墙。专业人员指出,当需要解释一堆复杂的数据时,此项技术远比目前的鼠标或触控笔等方式直观。
2007年苹果公司推出了基于投射电容式技术的iPhone手机,首次将多点触控应用在手持设备上,被称为手机用户界面设计中划时代的产品。iPhone舍弃了传统的手机键盘,在同样大小的手机上为用户提供了更大的可视区域。iPhone提供了许多人性化的操作,比如在屏幕上用两个手指做出分开、合拢地动作,手机屏幕上的内容就会相应地放大、缩小。iPhone一经推出就得到了消费者得青睐。同时苹果公司也在其笔记本产品中引入多点触控技术,为消费者带来更多的交互体验。
2010年,苹果公司又推出一款更加人性化的平板电脑--iPad。iPad定位于苹果的智能手机iPhone和笔记本电脑之间的产品,通体只有四个按键,使用的是全屏触摸的输入方式,其移动性和人机交互性更好。由于不再局限于鼠标和键盘的固定输入方式,可以采用手写和触摸的方式进行操作,因此,无论是站立还是移动中都可以进行操作。iPad还可以用作电子书,由于其轻便的体积和重量,使人们可以直接捧在手上进行阅读,这样改变了人们在电脑上进行阅读的习惯。手写识别、文字输入方便的iPad可以像掌上电脑一样用手写笔进行文字输入和绘图,还支持数字墨水技术,用户手写输入的文字形状不用转换成文本,就像我们用普通的笔在纸上写字一样,大大提高了工作效率。
除此之外,会震动的游戏控制器,电子气味发生器,任天堂Wii游戏机的平衡板等都是为了不断增强人机交互过程中的感官感受,增加用户的参与度与真实感。总而言之,在人机交互中结合更多的感官通道能够使人有更强烈的真实感、投入感与认同感,使作品在各种感官上直接打动用户。
任天堂的Wii游戏机控制器,用户拿着手中的控制器做出各种的动作,控制器在空间中的三维运动数据就会被传送到游戏主机中,画面中的三维图像也随之发生变化,如:用户拿着控制器做出击球的动作,屏幕中的球就会被击中,并且还会根据不同的速度、角度、力度做出相应的变化。这种革命性的创新首次把原来鼠标只能传递二维空间信息提升到了可以直接传递X、Y、Z轴的三维空间定位信息,让用户能使用日常的行为方式控制计算机,使得整个游戏的体验过程变得十分真实和有趣。
本发明具体实施例的简笔动画系统可以以市场上常见的自然人机交互设备,如手写板、手写屏等作为绘图工具进行简笔动画或故事情节动画的创作。在本发明具体实施例的实现中,把鼠标作为了输入工具。
(二)幼儿培育软件的发展及应用
信息化的今天,信息技术已经渗透到人类生活的各个领域。在教育领域我们看到的是信息技术正在改变着传统的学习方式,教育软件的应用越来越广泛,特别是幼儿培养方面的软件。
幼儿培育软件的设计都是在一定的教育理论指导下开展的,早期的幼儿培育软件设计主要基于行为主义理论,强调知识的传授和练习。儿童被动接受软件内容的刺激,按部就班地操作,其主动探究的能力发展受到了限制。20世纪80年代以后,建构主义思想的兴盛改变了传统的学习观和发展观,改变了人们对学习环境的理解,进而也影响到对幼儿培育软件的理解。建构主义认为优秀的幼儿培育软件,不仅应具有年龄适宜性和友好的人机界面设计,同时还应具有开放性,能够激发儿童的主动探索,为儿童主动建构知识和技能创设良好的学习环境。
在软件设计理念变更的同时,作为软件载体的计算机硬件也发生了日新月异的变化。硬件技术的发展提高了教育软件的可接近性,为儿童操作计算机提供了便利,为更多儿童使用教育软件提供了可能。与此同时,随着计算机技术的突飞猛进,计算机的使用者已经从计算机专家迅速扩展到未受过专门训练的普通用户,甚至是年幼的儿童。现在,计算机已经逐渐成为儿童生活中所必不可少的一部分了。因此,我们可以利用计算机将丰富多彩的信息以更加形象、更具吸引力、更容易接受的方式呈现给儿童,为儿童的早期教育提供一个强有力的工具,这种方式无疑是对传统教育的一个很好的补充。
考虑到儿童的读写能力和理解能力是有限的,因此以幼儿为中心的人机交互方式必须简单、易操作。目前,为了真正体现“以人为中心”的自然交互准则,人机交互方式正在经历一场重大的变革,即从键盘、鼠标发展成为笔式、语音和视觉这三种自然交互方式。在这三种交互方式中,无论从其复杂性、互动性还是操作的独立性来说,笔式交互都是儿童与计算机交互时最理想的方式。
现在市场上有许多幼儿培育软件,大致可分为三类:
(1)成语、故事学习软件
目前用于幼儿学成语、学故事的软件主要有:“少儿故事大全”、“幼教通一启蒙读物”等。这类幼儿软件通常结合多媒体的方式,集图、文、声、动画于一体,收集大量的成语故事、童话故事、民间传说、科普人物故事等供幼儿学习使用。虽然多媒体的直观性和形象性能使幼儿更加容易理解成语和故事,但对于幼儿来说文字性质的学习晦涩难懂,理解起来还是有一定的困难,容易造成幼儿的学习效率底下。因此,不适合用于幼儿的教育培养。
(2)汉字学习软件
目前用于幼儿汉字教育的软件主要有:“WAWAYAYA”、“小熊幼儿家庭辅助学习软件小熊幼儿家庭辅助学习软件”、“幼儿宝典”、“洪恩宝宝看世界系列”等。这类幼儿培育软件一般是结合心理学、记忆学的原理,将右脑形象学习法用于汉字学习,再通过运用多媒体的直观形象性,使平面的、抽象的汉字变得立体化、形象化,从而减轻了教师讲解的难度,对丰富知识、开阔视野、陶冶情操具有良好的效果,但是对于幼儿创造性的发展并没有很大的作用。
(3)拼音学习软件
目前用于幼儿拼音学习的软件是根据汉语拼音的声母和韵母分类,每个拼音都有童声伴读的动能,让孩子们能够自由组织拼写和练习,并能让电脑智能朗读出所有学习者自由组织出来的符合规范的字母组合拼音。软件会根据学习者的学习规律,由浅入深、由易到难,从声母和韵母的组合拼写,到单字的拼写、词组、多音字、轻声字的拼写,再到整句、整篇的拼写学习。此类软件对于幼儿的创造性发展也没有很大的作用。
这三类幼儿培育软件对幼儿的教育的确有一定的推动作用,但是对于幼儿在想象力和创造力方面的发展并没有帮助。因为这些软件一般都只是让儿童进行简单的选择和判断来获得反馈,并不能完全按照儿童自己的意愿进行操作,阻碍了儿童想象力和创造力的发展。如果能让儿童自己操纵计算机的图像、声音和各种其他信息,而不是在电脑的控制下,机械地完成任务,那么对于儿童的想象力和创造力的发展将会有很大的帮助。
发明内容
本发明需要解决的技术问题是,如何提供一种基于实时笔画输入的数据对象逻辑控制系统及其方法,能有效识别简单绘图并能与客观世界或想象世界对应、动态显示所画对象,尤其满足儿童绘画创作的需要,提升他们的想象力和创造力。
本发明的第一个技术问题这样解决:构建一种基于实时笔画输入的数据对象逻辑控制方法,其特征在于,包括以下步骤:
通过计算机输入装置获取用户的实时笔画输入,并对用户输入的笔画进行识别;
根据笔画识别结果,从计算机数据库中查找对应的图形数据对象;
若查找到对应的图形数据对象,在计算机数据库中查找所述图形数据对象各自的动态属性和图形数据对象之间的互动逻辑;
若查找到动态属性,根据所述查找到的动态属性实时生成所述图形数据对象的动态演示数据,并通过显示输出装置进行显示;若查找到互动逻辑,根据所述查找到的互动逻辑生成对应互动形式的动态演示数据,然后通过计算机显示输出装置进行显示。
按照本发明提供的控制方法,所述获取包括对计算机输入装置进行数据采样和去噪声处理;所述去噪声处理包括重新采样,优选等时间间隔重采样。
按照本发明提供的控制方法,所述识别包括以下步骤:
对实时笔画输入中每个笔画进行判别并标记为直线、曲线、圆、三角形、矩形或椭圆,同时在标记中记录每个笔画的位置和输入次序(笔画顺序);
根据所述标记或标记集合通过决策查找树输出识别结果。
按照本发明提供的控制方法,所述识别还包括将笔画输入过程中落笔到抬笔之间光标的移动轨迹识别为一个笔画。
按照本发明提供的控制方法,所述判别包括以下步骤:
根据首尾点距离与累积弦长的比率大小判断笔画输入是否为直线;
对于非直线的笔画采用长度封闭性判断笔画输入是否封闭,若不封闭则判断笔画输入为曲线;
对于封闭的非直线笔画,则根据周长与面积的比率大小判断封闭笔画输入是圆、三角形、矩形或椭圆。
按照本发明提供的控制方法,所述计算机数据库中进一步存储有所述图形数据对象的动态属性或变化逻辑,当根据识别结果查找到所述图形数据对象后,根据所述动态属性或图形数据对象之间的互动逻辑生成动态演示数据再通过计算机显示输出装置进行显示;所述动态演示包括但不限制于对所述图形数据对象进行颜色变化、位置变化或形状变化。
按照本发明提供的控制方法,所述形状变化包括但不限制于放大或缩小。
按照本发明提供的控制方法,所述控制方法包括以下步骤:
通过计算机输入装置获取用户的实时笔画输入并进行数据采样;
对所述数据采样进行重新采样和去噪声处理,然后对经过去噪声处理的用户输入的笔画或笔画集合进行识别,并通过决策查找树输出识别结果;
根据所述识别结果,从计算机数据库中查找对应的图形数据对象;
若查找到对应的图形数据对象,在计算机数据库中查找所述图形数据对象各自的动态属性和图形数据对象之间的互动逻辑;
若查找到动态属性,根据所述查找到的动态属性实时生成所述图形数据对象的动态演示数据,并通过显示输出装置进行显示;若查找到互动逻辑,根据所述查找到的互动逻辑生成对应互动形式的动态演示数据,然后通过计算机显示输出装置进行显示。
本发明的另一个技术问题这样解决:构建一种基于实时笔画输入的数据对象逻辑控制系统,包括用于输入笔画的计算机输入装置,其特征在于,还包括:
预处理模块:用于对原始笔画数据进行重新采样和去噪声处理;
简笔画识别模块:用于对实时笔画输入中每个笔画进行判别并标记并根据标记或标记集合通过决策查找树输出识别结果;所述标记是直线、曲线、圆、三角形、矩形或椭圆及每个笔画的位置和输入次序;
计算机数据库:用于存储图形数据对象、对应动态属性或动态演示控制标记以及互动逻辑;
控制模块:用于根据简笔画识别模块输出的识别结果查找计算机数据库中对应图形数据对象、根据图形数据对象查找计算机数据库中各自对应的动态属性或者图形数据对象之间的互动逻辑、生成动态演示数据再控制计算机显示输出装置显示;
计算机显示输出装置:用于显示输出所述图形数据对象或动态演示数据。
按照本发明提供的控制系统,所述计算机输入装置包括但不限制于是鼠标、手写板或触摸屏。
本发明提供的基于实时笔画输入的数据对象逻辑控制方法,基于笔画对简笔画进行识别,并根据简笔画的识别结果,依变化逻辑和关系逻辑生成不同的动画效果,最终实现简笔动画故事情节的描述。该系统与传统的幼儿培育软件相比,增加了人机交互的参与性和趣味性,更容易为幼儿所接受。
附图说明
下面结合附图和具体实施例进一步对本发明进行详细说明。
图1是简笔画示例图;
图2是本发明具体实施例系统流程示意图;
图3是本发明具体实施例系统界面示意图;
图4是本发明具体实施例菜单界面一示意图;
图5是本发明具体实施例菜单界面二示意图;
图6是本发明具体实施例简笔画学习界面一示意图;
图7是本发明具体实施例简笔画学习界面二示意图;
图8是本发明具体实施例简笔动画实现界面一示意图;
图9是本发明具体实施例简笔动画实现界面二示意图;
图10是本发明具体实施例简笔动画实现界面三示意图;
图11是本发明具体实施例简笔动画实现界面四示意图;
图12是本发明具体实施例基本图形的识别算法对应的三个特殊的图形示意图;
图13是本发明具体实施例使用的圆形面积和周长比值示意图;
图14是本发明具体实施例使用的三角形面积和周长比值示意图;
图15是本发明具体实施例使用的矩形面积和周长比值示意图;
图16是本发明具体实施例使用的椭圆面积和周长比值示意图;
图17是含有噪声的笔画示意图;
图18是含有聚点的笔画示意图;
图19是本发明具体实施例单个笔画的识别流程示意图;
图20是图元的包围盒示意图;
图21是长度封闭性判断示意图;
图22是角度封闭性判断一示意图;
图23是凸包计算示意图;
图24是角度封闭性判断二示意图;
图25是漂移的帽子一示意图;
图26是漂移的帽子二示意图;
图27是漂移的帽子三示意图;
图28是情节动画实现一示意图;
图29是情节动画实现二示意图;
图30是情节动画实现三示意图;
图31是情节动画实现四示意图;
图32是情节动画实现五示意图;
图33是情节动画实现六示意图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步说明。
首先,说明本发明基本思路:
本发明具体实施例中的简笔动画系统是先基于口诀式的简笔画学习,即以临摹为先,再基于所学得的简笔画技能进行个人故事情节动画的创作。学习简笔画得从临摹开始,根据口诀由简单的事物开始学画简笔画。口诀式的简笔画学习为小朋友提供了易看易懂易学的学习步骤,并利用朗朗上口、便于记忆的儿歌作为辅助,帮助孩子们轻松地学会画简笔画。当然,临摹的目的是为了最终的创作。如果说临摹属于简笔画造型的继承,那么基于简笔画的故事情节动画创作就是创新的过程。虽然,简笔画的创作是受规则引导的,但是用学会的简笔画来创造一个个不同的场景却不会受到任何规则的限制。构思,贯穿于故事情节动画创作的全过程,强调作品的个性,给孩子们宽松的自主发挥空间,才能使他们敢于有自己的想法和创新。该系统中所包含的简笔画造型简单,并带有很强的主观能动性,最大限度地尊重了幼儿的主体地位,任其自由表达。
如图1所示,我们可以看出简笔画大多是用简练的线条、形状来表现的,无论多么复杂的结构和繁琐的细节,都可归纳为简单的基本形状。这也体现出了简笔画的原则:删繁就简,将复杂的形体概括成简单的基本形。
因此,简笔画的识别可以从对常见的线形、基本几何图形以及它们不同的组合的识别入手。常见的线形是指凡是能感知为线性的物体都可以用线条来表示,如树枝、须发等以及人物、动物的骨骼结构。基本几何图形是指三角形、矩形、圆形等。
本发明具体实施例以鼠标作为输入设备,先将鼠标输入的内容进行参数化曲线的拟合,获得矢量化的输入笔画。然后将输入的笔画识别为简单的几何图形之后,再提取各个图形之间的空间位置关系,从而进行识别,识别的依据是决策查找树。
决策查找树是用户绘图的笔画信息的树型组织形式。它由根节点、叶节点、中间节点和节点间的边组成。根节点是检索过程的入口。叶节点是简笔画的ID号,也就是检索的结果。中间节点是图元的类型,每个中间节点表示一种图元。节点之间的边指相邻两种图元之间的空间位置关系,每一个非叶节点根据本节点表示的图元和下一个图元之间的空间位置关系,进行分支。
简笔画的正确识别能够触发实现简笔动画的效果。本发明具体实施例事先将每个简笔画都进行动画的预定义,因此,根据检索的结果,画出场景的同时,也实现了动画的效果和情节的描述。
第二,简要说明本发明具体实施例的系统:
该系统用于实现简笔画的识别以及简笔动画的实现。整个系统的流程如图2所示,该系统本质上是模拟了一个绘图程序,通过鼠标作为输入,将输入的图像矢量化保存,并通过参数化样条曲线的拟合将其呈现出来。由于以矢量化的形式保存,因此在修改图像的过程中,无论放大缩小图像,都是不会改变各点之间的位置关系。目前有很多类似的大型软件,如“flash”,“Photoshop”等。与他们不同的是本程序在绘制完场景的同时,场景中的元素能够“活”起来,具有一定的智能型,提高了系统的吸引力。
如图3-5,整个系统的界面由工作区(画布)以及菜单组成,其中工作区(画布)为接收鼠标数据以及显示处理后笔画信息的地方,菜单主要是用于选择需要学习的简笔画的内容。如图6-7,在选择了想要学习的简笔画内容后,会出现简笔画学习的界面。如图8-11,在选择画故事后,出现简笔动画实现以及情节描述的界面。
第三,详细描述本发明具体实施例的实现:
(一)基于笔画的简笔画识别方法的基本思想及实现
基于笔画的简笔画识别方法的基本思想:以单个笔画,即用户一次落笔和提笔之间的取样点为识别的最小单位进行笔画识别,可以将笔画识别为各种简单的基本形状,例如,直线、圆弧、三角形、矩形等。然后根据基本形状之间时间(笔序)关系和空间(位置)关系构造决策查找树。
决策查找树是用户绘图的笔画信息的树型组织形式。它由根节点、叶节点、中间节点和节点间的边组成。根节点是检索过程的入口。叶节点是简笔画的ID号,也就是检索的结果。中间节点是图元的类型,每个中间节点表示一种图元。节点之间的边指相邻两种图元之间的空间位置关系,每一个非叶节点根据本节点表示的图元和下一个图元之间的空间位置关系,进行分支。
现有技术中一种基本图形的识别算法,其算法的基本思想是:当用户输入一些草图后,我们对草图进行处理,求出三个特殊的图形(图12所示):(1)草图所包围的封闭区域的图形,即草图的凸包,用ch表示;(2)该图形的最小外围矩形,用er表示;(3)该图形的最大内接三角形,用lt表示。三个图形相对应的面积和周长,以前面加A或者P表示。
确定了三个特殊的图形之后,如图13-16所示,根据这些图形的面积和周长比值来可以区分圆形、三角形、矩形、椭圆和菱形。
这个算法虽然在个别图形的识别上存在着误差,需要用户的输入较为精确。但从总体上来看,算法简单,并且在处理不同的图形上,自由发挥度比较大。因此,本发明具体实施例的简笔画识别在此识别算法的基础上,实现的基于笔画的简笔画识别算法。
整个简笔画识别的实现过程主要分为数据采集与预处理和基于笔画的简笔画识别两个部分。
(1)数据采集与预处理
数据采集一般采用专门的外设。目前较为普及的手写输入设备有电磁式感应板或压敏式感应板,除此之外,还有其他的一些设备也可以用作输入装置,如鼠标、手写板以及手写屏等。这些设备的书写方式与传统的纸笔书写方式相同。在本发明具体实施例的实验中,由于设备条件的限制,采用鼠标来完成原始手绘图形的数据采集,把鼠标从按下到抬起之间的全部采样点作为一个笔画,以事件驱动的方式进行采样,采样方式为等时采样。
数据采样后的下一步工作是进行预处理。预处理的目的是消除因输入条件的限制和输入习惯的差异而存在于笔画中的噪声。如图17中的笔画中含有非常多的噪声。噪声主要来源于:绘图时,由于手无意识的抖动造成笔画有很多毛刺;或者绘图较慢时,造成很多的点重复取样。如果不处理这些噪声会严重影响到后面识别时的计算复杂度。
从输入装置采集的原始数据通常都含有少量的噪声,这种噪声是由于采集器本身的噪声或者量化噪声混合而成的,这种噪声对笔迹的影响表现为笔迹坐标的快速抖动。减少这种噪声的方法是采用线性平滑算子或非线性平滑算子来处理笔迹数据。比如现有技术中:(一)采用每隔两点计算其中心点,然后连接这些中心点作为后续处理笔划的方法。(二)通过限定草图的点间距的方法过滤多余的手绘点。但是,此方法可能会丢失手绘时的一些动态特征,如速度,加速度等,造成实际分段点的丢失。(三)首先消除笔划中的冗余点,然后根据笔画上点的密度消除据点(据点分为沟和圈,如图18所示),最后进行端点校正的方法取得不错的效果。
另外,还有一类笔迹扰动是由人的书写不稳定产生的。例如在起笔和抬笔时,可能会发生手抖而造成的笔迹弯曲或抖动,这种噪声通常只出现在一个笔画的端点附近,因此在预处理中也可以采取适当的方法加以消除。
目前,大多数预处理方法都要求对原始的笔迹坐标数据进行重采样。通常是以等距离采样为多;也有以等时间间隔进行采样的方法,目的是提取笔尖移动的速度信息。
本发明具体实施例使用等时间间隔的方法进行重新采样。
(2)基于笔画的简笔画识别
对于简笔画的识别,本发明具体实施例采用对鼠标从按下到抬起之间的一个笔画进行逐个识别,从而识别出正确的简笔画原型。单个笔画的主要识别步骤如图19所示。
1)判断输入的笔画是否为直线
直线的特征是线性化,依据此特点,判断输入内容是否为直线一般有以下三种方法:
i)图元首尾点距离与采样点序列的累积长的壁纸是否大于一个给定的阈值。具体如下:
图元首尾点距离d为:
图元采样点的累积弦长L为:
直线率Rz为:
由于L≥d≥0,故Rz∈[0,1]。可以看出直线率Rz越趋近于1,笔画是直线的可能性越大。直线率Rz的判断阈值可以由实验或经验确定。
ii)图元上各个采样点到图元首尾连线的距离超过固定阈值点的个数是否在允许的范围内。计算图元上除了首尾点外的所有点到首尾点连线的距离d,设定合理的点到直线的距离阈值,使得凡是在阈值范围内的点都近似看作是直线上的点。同时设定漂移点(超过阈值的点)的将最大数量u作为线性化的依据。若图元上的漂移点数量不超过u,则此图元被识别为直线。
iii)图元包围盒的长宽比是否小于某一阈值,图元的包围盒如图4.16所示:
直线的长宽比范围为0或者无穷大。
经过比较,方法I和III更有效,而且便于实现。I的算法复杂度小,所以本发明具体实施例采用第一种方式进行直线识别。
2)判断输入的笔画是否封闭
封闭性判断可以由长度封闭性和角度封闭性两种方法来判断。
长度封闭性:笔画首尾点距离与采样点序列的累积弦长的比值是否小于一个给定的阈值,阈值的设置应该接近于0(如图21所示)。
角度封闭性判断:笔画首尾点与中心点之间的夹角与2的比值是否小于某一阈值(如图22所示)。
本发明具体实施例中选用长度封闭性判断进行判断。
3)对于判断为非直线且非弧线的笔画,计算它的凸包、最小外围矩形和最大内接三角形,并求得这些特殊图形相应的面积和周长,分别用Pch,Ach;Per,Aer;Plt,Alt表示。
i)凸包的计算
遍历所有的采样点,选中最下面或者最左边的点为第一个点H,作为基点。然后按照其它各点p和基点构成的向量<H,p>与x轴的夹角进行排序,夹角由大至小进行顺时针扫描,反之则进行逆时针扫描。以图23为例,基点为H,根据夹角由小至大排序后依次为H、K、C、D、L、F、G、E、I、B、A、J。下面进行逆时针扫描。
线段<H,K>一定在凸包上接着加入C。假设线段<K,C>也在凸包上,因为就H,K,C三点而言,它们的凸包就是由此三点所组成。但是接下来加入D时会发现,线段<K,D>才会在凸包上,所以将线段<K,C>排除,C点不可能是凸包。因此,当加入一点时必须考虑到前面的线段是否会出现在凸包上。从基点开始,凸包上每条相邻的线段的旋转方向应该一致,并与扫描方向相反。如果发现新加的点使得新线段与上个线段的旋转方向发生变化,则可判定上一点必然不在凸包上。实现时,可用向量叉积进行判断。
由图24可知,加入K点时,由于线段<H,K>相对于<H,C>为顺时针旋转,所以C点不在凸包上,应该删除,保留K点。接着加入D点,由于线段<K,D>相对<H,K>为逆时针旋转,故D点保留。按照上述步骤进行扫描,直到点集中所有的点都遍历完成,即得到凸包。
ii)最小外围矩形的计算
本发明具体实施例采用了以下的方法进行最小外围矩形的计算:先求所有采样点两两之间的距离,所求得的最大值即为最小外围矩形的长。然后根据此矩形长的两个端点求出相应的直线方程,并计算其余各点到上述直线的距离(保留正、负),分别记录最大距离和最小距离,则最大值与最小值的差即为最小外围矩形的宽。
iii)最大内接三角形的计算
本发明具体实施例采用了以依次遍历所有采样点,然后找出组成面积最大的三角形三个顶点的方法计算最大的内接三角形。该方法执行效率较低,在以后的工作中将采用更优化的方法。
根据计算得出的三个图形的周长和面积的比率范围,根据以下规则进行简单图形的识别:
圆形:(pch*pch)/ach<13.5
三角形:alt/ach>0.7
矩形:alt/ach>=0.5且alt/ach<0.7
椭圆:(ach*ach)/(aer*alt)<=3且(ach*ach)/(aer*alt)>=1.47。
(二)简笔动画的实现
简笔动画的实现过程就是使一幅简笔画“活”起来的过程。使用动画的方式将简笔画呈现出来,可以清楚的表现出每一个事物变化的过程,展现出一个活灵活现的画面。其实现原理与计算机动画的原理是一致的:采用连续播放静止图像的方法产生物体运动的效果。无论何种动画,都是利用了一种视觉原理。医学已证明,人类的眼睛具有“视觉暂留”的特性,就是说当人的眼睛看到一幅图或一个物体后,它的影像就会投射到我们的视网膜上,如果这个物体突然移开,它的影像仍会在我们的眼睛里停留一段极短的时间,在1/24秒内不会消失,这时如果有另一个物体在这段极短的时间内出现,我们将看不出中间有断续的感觉,这便是“视觉暂留”的原理。
该系统中,简笔动画构成的规则主要有以下三点:
(1)动画由多画面组成,并且画面是连续且存在差异的。
(2)动画的运动轨迹是经过预先设定的。
(3)画面表现的动作是连续的,即后一幅画面是前一幅画面的继续。
例如太阳闪烁的动画,其实现的过程就是不停地用两种不同的颜色对太阳进行重画,从而使得太阳有闪烁的效果。
又如图25-27中帽子漂移的过程,其实现的过程就是随着时间的变化根据电脑计算的轨迹不停地重画帽子在预设路径上的状态。
(三)基于简笔动画的情节描述
①基本思路
《神笔马良》的故事中,主人公马良拥有一支神笔。当他用这支神笔画鸟,鸟就在天上飞;画鱼,鱼就在水中游。当他因为不能满足财主的贪心而被关入马厩中时,他就画了一架梯子,逃跑了;又画了一匹大骏马骑上它,财主追不上了;当他又一次因为不能满足皇帝的贪婪而被打入大牢时,他就画了一座小岛,岛上画了株金光闪闪的摇钱树,又画了一条大木船,当皇帝和将军们坐船取钱时,他又画了大风大浪将他们全都吞没了。
本发明具体实施例所设计的简笔动画系统其最终目的就是希望让孩子们能够和马良一样,拥有一支神笔,通过自己的想象力和创造力来画出心中的故事,而简笔画则是孩子们进行故事创作的基础。基于本系统所提供的简笔画素材,孩子们可以将这些素材进行组合,设计绘制出只属于自己的故事情节动画。
②情节描述实例
(1)情节逻辑设计
由于目前系统所能识别的简笔画的类型有限,因此,现在所能实现的动画情节很简单。实验情节设计如下:
首先,在画布上画一个太阳,画出的太阳会以变色的方式达到闪烁的效果。接着画一个小雪人,画完后小雪人在原地上下地跳动。最后在地上画一顶小帽子,小帽子发现了小雪人,飘到了小雪人的头顶上。
(2)情节动画的实现
主要实现的方法就是不断地在画面上添加想要的景物,并设计景物的动态属性和景物之间的逻辑关系,实现一个逻辑驱动的小动画。
具体步骤是:
1)画一个太阳,若系统能够准确识别出输入的内容为太阳,就会在太阳的动态属性——闪烁的驱动下生成并显示太阳闪烁的动画。
2)再画一个小雪人,若系统能够准确识别出输入的内容为雪人,就会在雪人的动态属性——跳跃的驱动下生成并显示雪人上下跳动的动画。
3)最后在画面中加上一顶小帽子。本系统中在小帽子和小雪人同时存在的场景中,设计了帽子会飞到小雪人的头顶上的逻辑。这样,在该逻辑的驱动下,小帽子会飞到小雪人的头顶上。
(3)实验结果与分析
如图28-33是本节设计的一个简单的情节动画描述的实例,图中所实现的是动画序列。
实验结果分析:
由实验结果可以看出,每个景物在场景中都有相应的动画效果,通过想象和组合,发展出不同的故事情节。实验结果表明,实现的简笔动画系统具有较好的交互性和趣味性,适合幼儿的使用。
Claims (10)
1.一种基于实时笔画输入的数据对象逻辑控制方法,其特征在于,包括以下步骤:
通过计算机输入装置获取用户的实时笔画输入,并对用户输入的笔画进行识别;
根据笔画识别结果,从计算机数据库中查找对应的图形数据对象;
若查找到对应的图形数据对象,在计算机数据库中查找所述图形数据对象各自的动态属性和所述图形数据对象之间的互动逻辑;
若查找到动态属性,根据所述查找到的动态属性实时生成所述图形数据对象的动态演示数据,并通过显示输出装置进行显示;若查找到互动逻辑,根据所述查找到的互动逻辑生成对应互动形式的动态演示数据,然后通过计算机显示输出装置进行显示。
2.根据权利要求1所述控制方法,其特征在于,所述获取包括对计算机输入装置进行数据采样和去噪声处理;所述去噪声处理包括等时间间隔重采样。
3.根据权利要求1所述控制方法,其特征在于,所述识别包括以下步骤:
对实时笔画输入中每个笔画进行判别并标记为直线、曲线、圆、三角形、矩形或椭圆,同时在标记中记录每个笔画的位置和输入次序;
根据所述标记或标记集合通过决策查找树输出识别结果。
4.根据权利要求3所述控制方法,其特征在于,所述识别还包括将笔画输入过程中落笔到抬笔之间光标的移动轨迹识别为一个笔画。
5.根据权利要求3所述控制方法,其特征在于,所述判别包括以下步骤:
根据首尾点距离与累积弦长的比率大小判断笔画输入是否为直线:是则判断笔画输入是直线;
否则进一步采用长度封闭性判断笔画输入是否封闭:
是则根据周长与面积的比率大小判断封闭笔画输入是圆、三角形、矩形或椭圆;
否则判断笔画输入为曲线。
6.根据权利要求1所述控制方法,其特征在于,所述计算机数据库中进一步存储有所述图形数据对象的动态属性或图形数据对象之间的互动逻辑,当根据识别结果查找到所述图形数据对象后,根据查找到的所述图形数据对象各自的动态属性实时生成动态演示数据并通过计算机显示输出装置显示或者根据查找到的所述图形数据对象之间的互动逻辑生成动态演示数据再通过计算机显示输出装置进行显示;所述动态演示包括对所述图形数据对象进行颜色变化、位置变化或形状变化。
7.根据权利要求6所述控制方法,其特征在于,所述形状变化包括放大或缩小。
8.根据权利要求1-7中任一项所述控制方法,其特征在于,所述控制方法包括以下步骤:
通过计算机输入装置获取用户的实时笔画输入并进行数据采样;
对所述数据采样进行重新采样和去噪声处理,然后对经过去噪声处理的用户输入的笔画或笔画集合进行识别,并通过决策查找树输出识别结果;
根据所述识别结果,从计算机数据库中查找对应的图形数据对象;
若查找到对应的图形数据对象,在计算机数据库中查找所述图形数据对象各自的动态属性和所述图形数据对象之间的互动逻辑;
若查找到动态属性,根据所述查找到的动态属性实时生成所述图形数据对象的动态演示数据,并通过显示输出装置进行显示;若查找到互动逻辑,根据所述查找到的互动逻辑生成对应互动形式的动态演示数据,然后通过计算机显示输出装置进行显示。
9.一种基于实时笔画输入的数据对象逻辑控制系统,包括用于输入笔画的计算机输入装置,其特征在于,还包括:
预处理模块:用于对原始笔画数据进行重新采样和去噪声处理;
简笔画识别模块:用于对实时笔画输入中每个笔画进行判别并标记并根据标记或标记集合通过决策查找树输出识别结果;所述标记是直线、曲线、圆、三角形、矩形或椭圆及每个笔画的位置和输入次序;
计算机数据库:用于存储图形数据对象、对应动态属性或动态演示控制标记以及互动逻辑;
控制模块:用于根据简笔画识别模块输出的识别结果查找计算机数据库中对应图形数据对象、根据图形数据对象查找计算机数据库中各自对应的动态属性或者图形数据对象之间的互动逻辑、生成动态演示数据再控制计算机显示输出装置显示;
计算机显示输出装置:用于显示输出所述图形数据对象或动态演示数据。
10.根据权利要求9所述控制系统,其特征在于,所述计算机输入装置是鼠标、手写板或触摸屏。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110265524.XA CN102999282B (zh) | 2011-09-08 | 2011-09-08 | 基于实时笔画输入的数据对象逻辑控制系统及其方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110265524.XA CN102999282B (zh) | 2011-09-08 | 2011-09-08 | 基于实时笔画输入的数据对象逻辑控制系统及其方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102999282A true CN102999282A (zh) | 2013-03-27 |
CN102999282B CN102999282B (zh) | 2015-11-25 |
Family
ID=47927907
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110265524.XA Active CN102999282B (zh) | 2011-09-08 | 2011-09-08 | 基于实时笔画输入的数据对象逻辑控制系统及其方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102999282B (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106710318A (zh) * | 2016-12-08 | 2017-05-24 | 福建天泉教育科技有限公司 | 一种根据手绘图案构建物理实验的方法 |
CN106846954A (zh) * | 2017-02-09 | 2017-06-13 | 广东小天才科技有限公司 | 一种数字互动方法和装置 |
CN106873893A (zh) * | 2017-02-13 | 2017-06-20 | 北京光年无限科技有限公司 | 用于智能机器人的多模态交互方法及装置 |
CN107003806A (zh) * | 2014-12-02 | 2017-08-01 | 迈思慧公司 | 用于识别几何形状的系统和方法 |
CN107015792A (zh) * | 2016-12-09 | 2017-08-04 | 阿里巴巴集团控股有限公司 | 一种图表统一动画的实现方法以及设备 |
CN107969150A (zh) * | 2015-06-15 | 2018-04-27 | Bsh家用电器有限公司 | 用于辅助家庭中用户的设备 |
WO2018121542A1 (zh) * | 2016-12-27 | 2018-07-05 | 北京市商汤科技开发有限公司 | 业务对象的操作方法、装置和电子设备 |
WO2018157377A1 (zh) * | 2017-03-03 | 2018-09-07 | 小天才科技有限公司 | 一种顺序绘图方法和装置 |
CN108537858A (zh) * | 2018-03-23 | 2018-09-14 | 浙江工业大学 | 一种基于绘画时序的笔划线条动态合并方法 |
CN109446929A (zh) * | 2018-10-11 | 2019-03-08 | 浙江清华长三角研究院 | 一种基于增强现实技术的简笔画识别系统 |
CN109886262A (zh) * | 2019-03-06 | 2019-06-14 | 武汉几古几古科技有限公司 | 一种便于幼儿参与的实时笔画输入数据对象逻辑控制系统 |
CN112396875A (zh) * | 2020-10-16 | 2021-02-23 | 南京大学 | 一种基于笔式交互的物理运动实验演示系统 |
CN113448486A (zh) * | 2021-09-01 | 2021-09-28 | 广州朗国电子科技股份有限公司 | 电子白板用笔笔锋实现方法、装置、存储介质及电子白板 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107454312A (zh) * | 2017-06-14 | 2017-12-08 | 普联技术有限公司 | 自动拍照方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020130894A1 (en) * | 2001-03-15 | 2002-09-19 | Young Christopher I. | Web page character |
CN101101706A (zh) * | 2006-07-05 | 2008-01-09 | 香港理工大学 | 中文书写学习机及中文书写学习方法 |
CN201518164U (zh) * | 2009-04-28 | 2010-06-30 | 中国科学院软件研究所 | 一种面向儿童的网络集成创作系统 |
-
2011
- 2011-09-08 CN CN201110265524.XA patent/CN102999282B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020130894A1 (en) * | 2001-03-15 | 2002-09-19 | Young Christopher I. | Web page character |
CN101101706A (zh) * | 2006-07-05 | 2008-01-09 | 香港理工大学 | 中文书写学习机及中文书写学习方法 |
CN201518164U (zh) * | 2009-04-28 | 2010-06-30 | 中国科学院软件研究所 | 一种面向儿童的网络集成创作系统 |
Non-Patent Citations (1)
Title |
---|
任磊 等: "基于笔交互的智能动态几何可视化白板系统", 《软件学报》 * |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107003806A (zh) * | 2014-12-02 | 2017-08-01 | 迈思慧公司 | 用于识别几何形状的系统和方法 |
JP2018503179A (ja) * | 2014-12-02 | 2018-02-01 | マイスクリプト | 幾何学的形状を認識するためのシステムおよび方法 |
CN107969150A (zh) * | 2015-06-15 | 2018-04-27 | Bsh家用电器有限公司 | 用于辅助家庭中用户的设备 |
CN106710318A (zh) * | 2016-12-08 | 2017-05-24 | 福建天泉教育科技有限公司 | 一种根据手绘图案构建物理实验的方法 |
CN107015792A (zh) * | 2016-12-09 | 2017-08-04 | 阿里巴巴集团控股有限公司 | 一种图表统一动画的实现方法以及设备 |
CN107015792B (zh) * | 2016-12-09 | 2020-10-30 | 创新先进技术有限公司 | 一种图表统一动画的实现方法以及设备 |
WO2018121542A1 (zh) * | 2016-12-27 | 2018-07-05 | 北京市商汤科技开发有限公司 | 业务对象的操作方法、装置和电子设备 |
CN106846954A (zh) * | 2017-02-09 | 2017-06-13 | 广东小天才科技有限公司 | 一种数字互动方法和装置 |
CN106873893A (zh) * | 2017-02-13 | 2017-06-20 | 北京光年无限科技有限公司 | 用于智能机器人的多模态交互方法及装置 |
WO2018157377A1 (zh) * | 2017-03-03 | 2018-09-07 | 小天才科技有限公司 | 一种顺序绘图方法和装置 |
CN108537858A (zh) * | 2018-03-23 | 2018-09-14 | 浙江工业大学 | 一种基于绘画时序的笔划线条动态合并方法 |
CN109446929A (zh) * | 2018-10-11 | 2019-03-08 | 浙江清华长三角研究院 | 一种基于增强现实技术的简笔画识别系统 |
CN109886262A (zh) * | 2019-03-06 | 2019-06-14 | 武汉几古几古科技有限公司 | 一种便于幼儿参与的实时笔画输入数据对象逻辑控制系统 |
CN112396875A (zh) * | 2020-10-16 | 2021-02-23 | 南京大学 | 一种基于笔式交互的物理运动实验演示系统 |
CN113448486A (zh) * | 2021-09-01 | 2021-09-28 | 广州朗国电子科技股份有限公司 | 电子白板用笔笔锋实现方法、装置、存储介质及电子白板 |
Also Published As
Publication number | Publication date |
---|---|
CN102999282B (zh) | 2015-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102999282B (zh) | 基于实时笔画输入的数据对象逻辑控制系统及其方法 | |
Sinclair et al. | The haptic nature of gesture: Rethinking gesture with new multitouch digital technologies | |
US8358320B2 (en) | Interactive transcription system and method | |
CN106919251A (zh) | 一种基于多模态情感识别的虚拟学习环境自然交互方法 | |
Levin et al. | Code as creative medium: a handbook for computational art and design | |
Yao et al. | Extracting the trajectory of writing brush in Chinese character calligraphy | |
Kim et al. | EasySketch2: a novel sketch-based interface for improving children's fine motor skills and school readiness. | |
Daniels | Children’s engagement with iPads in early years classrooms: Exploring peer cultures and transforming practices | |
Wang et al. | A pen and speech-based storytelling system for Chinese children | |
Maurer et al. | Foundations of MIRACLE: Multimedia Information Repository, A Computer-supported Language Effort. | |
do Amaral et al. | Sign language 3D virtual agent | |
Kim | Analysis of children's sketches to improve recognition accuracy in sketch-based applications | |
Ito | A practice and evaluation of “Pictogramming” from the viewpoint of design and art education | |
Shuto et al. | A handwritten character training system with haptization of instructor's brush-strokes | |
Sturdevant et al. | Delivering data differently | |
Abdou et al. | Artificial tutor for arabic handwriting training | |
Amin et al. | Visual haptic approach complements learning process of Jawi handwriting skills | |
CN111459296B (zh) | 形拼意汉字输入方法及电子设备 | |
KR102678380B1 (ko) | 손글씨 학습방법 및 그 시스템 | |
Murugan | Revolutionizing the Way Bharatanatyam Hastas are Taught and Learned with Computer Vision. | |
Ou | Multimodal Music Teaching Mode Based on Human-computer Interaction Technology | |
Yuen | Paper dreams: real-time collaboration with machine learning for artistic expression | |
Kim | A Fine Motor Skill Classifying Framework to Support Children's Self-Regulation Skills and School Readiness | |
Nørgaard | Can you picture this? Instructions for using Sketchnotes to help novices improve their design sketching skills | |
Szép | Eds. Christian Mosbæk Johaannessen and Theo van Leeuwen, The Materiality of Writing. A Trace-Making Perspective |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |