CN104391651B - 基于光学原理的书法笔迹呈现方法 - Google Patents
基于光学原理的书法笔迹呈现方法 Download PDFInfo
- Publication number
- CN104391651B CN104391651B CN201410763911.XA CN201410763911A CN104391651B CN 104391651 B CN104391651 B CN 104391651B CN 201410763911 A CN201410763911 A CN 201410763911A CN 104391651 B CN104391651 B CN 104391651B
- Authority
- CN
- China
- Prior art keywords
- writing
- style
- image
- electro
- optical imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Position Input By Displaying (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供了一种基于光学原理的书法笔迹呈现方法。该方法包括:光电图像传感器实时采集用户使用毛笔在手写板上的笔触图像;该手写板为透光板,基于手写板产生影像的方式在手写板对应位置设置有光源,以使毛笔与手写板接触面形成影像;光电图像传感器将采集的笔触图像发送给图像处理装置;图像处理装置实时收集笔触图像,并对收集到的笔触图像进行处理,提取出笔触形状轮廓数据,将笔触形状轮廓数据绘制在画布上,并在绘制的笔触形状轮廓内填充颜色,连续绘制并填充颜色的笔触形状轮廓形成书法笔迹,以及将画布呈现在显示装置上。通过本发明,用户依然可以使用传统的毛笔,画布上图像与用户真实书写的图像仿真效果比较接近,硬件要求较低。
Description
技术领域
本发明涉及数字影像处理领域,具体而言,涉及基于光学原理的书法笔迹呈现方法。
背景技术
随着现代科技的进步,计算机的普及和相关技术的飞速发展,人们拥有了新的书法创作方式。传统的笔、墨、纸、砚,也已不再是书写文字的必要工具。在多数情况下,人们是借助键盘和鼠标进行文字输入工作。因此,在汲取传统书法艺术的基础上,为了继承、弘扬和发展书法艺术,对其进行科学的仿真就成为当前艺术及科技领域最具挑战的课题之一。同时,书法初学者要对很多优秀的书法作品进行大量的临摹训练以学习书法的用笔、结构、章法和意境等知识和技巧。对书法临摹与创作过程进行计算机模拟有利于人们更快速、简便、干净的练习书法,而且减少了笔墨纸砚的浪费,也激发了人们学习书法的热情。
现有技术中对毛笔的模拟多种多样,例如:根据笔下压的力度和运笔的速度产生笔迹的粗细变化、笔迹形状的变化等的软件算法,给人一种使用毛笔书写的感受;还有一种通过建立笔头的三维模型,动态计算笔头的形态而产生笔迹的算法。这些软件方法的优点是可以利用现有的计算机输入设备,比如鼠标、手写笔等,易于推广,研发和应用成本较低。但是一般软件模拟算法,需要消耗的计算机资源较大,尤其是使用三维、动态变形等技术模拟毛笔的软件算法需要大量迭代浮点运算,这就要求计算机有非常高的配置,且仿真效果不理想。
发明人在研究中发现,现有技术中的软件模拟书法的方式存在对硬件(如计算机)配置要求较高且仿真效果不理想的问题。
发明内容
有鉴于此,本发明实施例的目的在于提供基于光学原理的书法笔迹呈现方法,以降低书法笔迹呈现时硬件的配置要求并提升仿真效果。
本发明实施例提供了一种基于光学原理的书法笔迹呈现方法,包括:光电图像传感器实时采集用户使用毛笔在手写板上的笔触图像;其中,该手写板为透光板,基于手写板产生影像的方式在手写板对应位置设置有光源,以使毛笔与手写板接触面形成影像;光电图像传感器将采集的笔触图像发送给图像处理装置;图像处理装置实时收集笔触图像,并对收集到的笔触图像进行处理,提取出笔触形状轮廓数据,将笔触形状轮廓数据绘制在画布上,并在绘制的笔触形状轮廓内填充颜色,连续绘制并填充颜色的笔触形状轮廓形成书法笔迹;图像处理装置将画布呈现在显示装置上。
本发明实施例提供了第一种可能的实施方式,其中,上述光电图像传感器实时采集用户使用毛笔在手写板上的笔触图像包括:光电图像传感器对用户通过蘸有透明液体的毛笔在手写板上书写的毛笔字进行实时图像采集,得到毛笔与手写板接触面的笔触图像。
上述方法还可以包括:预先根据光电图像传感器的分辨率和显示装置的分辨率对手写板与显示装置进行校准,建立手写区域与显示区域之间的映射关系。
上述预先根据光电图像传感器的分辨率和显示装置的分辨率对手写板与显示装置进行校准可以包括:预先根据光电图像传感器的分辨率和显示装置的分辨率,采用网格型校准方式对手写板与显示装置进行校准。
上述图像处理装置实时收集笔触图像,并对收集到的笔触图像进行处理可以包括:当图像处理装置接收到来自多个光电图像传感器发送的笔触图像时,图像处理装置根据各个光电图像传感器的位置关系,对接收到的笔触图像进行拼接处理,得到完整的笔触图像。
上述对收集到的笔触图像进行处理,提取出笔触形状轮廓数据可以包括:图像处理装置根据光电图像传感器的安装方向和液晶显示面板的显示方向确定是否对笔触图像进行镜像处理,如果是,对笔触图像进行镜像处理;依次对笔触图像进行背景减除处理、模糊处理、高通滤波处理、放大处理和二值化处理,提取出笔触形状轮廓数据。
上述图像处理装置将笔触形状轮廓数据绘制在画布上可以包括:图像处理装置通过计算笔触形状轮廓数据对应不同帧的笔触形状之间的时间和位置关系进行状态跟踪,得到笔触的抬起、按下状态数据,从而判读出一个笔画的开始和结束;图像处理装置根据判读的结果,对同一笔画的相邻两个笔触形状轮廓数据依据疏密度进行基于形状变形的轮廓插值操作,增加笔触形状;图像处理装置将插值后的笔触形状轮廓数据绘制到画布上。
上述光电图像传感器可以为能够获取平面光学影像的传感器。
上述手写板产生影像的方式包括以下之一:投影方式、全内反射方式和激光平面方式。
上述显示装置为设置于手写板底部的液晶显示面板,或者为液晶显示器,或者为投影仪。
本发明实施例提供的方法通过光电图像传感器采集手写板上的笔触图像,并将该图像传输给图像处理装置,经图像处理装置处理后得到笔触轮廓数据,将该笔触形状轮廓数据绘制在画布上,并在绘制的笔触形状轮廓内填充颜色,连续绘制并填充颜色的笔触形状轮廓形成书法笔迹,将该画布呈现在显示装置上,即可以得到与用户手写一致的书法笔迹,实现过程中,用户依然可以使用传统的毛笔,不需要进行电子笔的学习过程,并且这种基于光学原理采集的图像与用户真实书写的图像仿真效果比较接近,硬件要求较低,适于推广应用。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例所提供的基于光学原理的书法笔迹呈现系统的结构框图;
图2示出了本发明实施例所提供的基于光学原理的书法笔迹呈现方法流程图;
图3示出了本发明实施例所提供的基于全内反射方式的书法笔迹呈现系统的结构框图;
图4示出了本发明实施例所提供的基于激光平面方式的书法笔迹呈现系统的结构框图;
图5示出了本发明实施例所提供的基于投影方式的书法笔迹呈现系统的结构框图。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供的基于光学原理的书法笔迹呈现方法,可以采用图1所示的基于光学原理的书法笔迹呈现系统的结构框图实现,该系统中包括:手写板12,手写板12为透光板;
基于手写板产生影像的方式设置的光源11;
显示装置13,该显示装置13可以是设置于手写板12的底部的液晶显示面板,也可以是计算机的显示器;
用于采集手写板12上的笔触图像的光电图像传感器14;
与光电图像传感器14和显示装置13均连接的图像处理装置15,图像处理装置15用于实时收集光电图像传感器14采集的笔触图像,并对连续收集到的笔触图像进行处理,提取出笔触轮廓数据,将笔触形状轮廓数据绘制在画布上,并在绘制的笔触形状轮廓内填充颜色,连续绘制并填充颜色的笔触形状轮廓形成书法笔迹,以及将画布传输给显示装置13;
显示装置13用于呈现上述画布;
上述系统还包括:为光源11、显示装置13、图像处理装置15和光电图像传感器14供电的电源(图中未示意出,该电源可以是多个,每个电源与其被供电的部件匹配),以及支撑手写板12、光源11、显示装置13和上述光电图像传感器14的支架16。
上述光电图像传感器14包括任何能够获取平面光学影像的传感器,比如:摄像头、透明红外图形传感器面板、柔性图像传感器、光电图像传感器阵列等。
本发明实施例中各个部件间的连接可以是直接连接,也可以是间接连接,具体连接方式可以是有线连接,也可以是无线连接。
参见图2所示的基于光学原理的书法笔迹呈现方法流程图,该方法包括以下步骤:
步骤S202,光电图像传感器实时采集用户使用毛笔在手写板上的笔触图像;其中,该手写板为透光板,基于该手写板产生影像的方式在手写板对应位置设置有光源,以使毛笔与手写板接触面形成影像,该影像可以是暗影或亮斑;此外,该手写板也可以当作普通的触摸屏使用,通过手指操作相应的系统和软件。
步骤S204,光电图像传感器将采集的笔触图像发送给图像处理装置。
步骤S206,图像处理装置实时收集上述笔触图像,并对收集到的笔触图像进行处理,提取出笔触形状轮廓数据,将笔触形状轮廓数据绘制在画布上,并在绘制的笔触形状轮廓内填充颜色,连续绘制并填充颜色的笔触形状轮廓形成书法笔迹;其中,该轮廓内填充的颜色可以是预先规定的颜色,该颜色可以是单色,也可以是多种颜色随机填充,还可以是根据算法模拟的墨在纸上扩散的颜色,连续绘制的笔触形状组成书法笔迹图像。
步骤S208,图像处理装置将上述画布呈现在显示装置上,该显示装置可以为设置于手写板底部的液晶显示面板,或者为液晶显示器,或者为投影仪。
本实施例的方法通过光电图像传感器采集手写板上的笔触图像,并将该图像传输给图像处理装置,经图像处理装置处理后得到笔触形状轮廓数据,将笔触形状轮廓数据绘制在画布上,并在绘制的笔触形状轮廓内填充颜色,连续绘制并填充颜色的笔触形状轮廓形成书法笔迹,将该画布呈现在显示装置上,即可以得到与用户手写一致的书法笔迹,实现过程中,用户依然可以使用传统的毛笔,不需要进行电子笔的学习过程,并且这种基于光学原理采集的图像与用户真实书写的图像仿真效果比较接近,硬件要求较低,适于推广应用。
考虑到清洁问题,本实施例的手写板优选采用水代替传统的墨汁,当然也可以采用其它无色、透明、无味、无毒、易清理的液体。用户可以使用传统毛笔在手写板上书写,这样用户能够获得与毛笔在纸上书写一样的感受,并且产生的结果也最接近于真实,而且,传统毛笔价格便宜、品类众多,用户可根据自己的经验和习惯选择合适的毛笔,因此,本发明实施例优选传统毛笔作为手写工具。基于此,上述光电图像传感器实时采集用户使用毛笔在手写板上的笔触图像可以包括:光电图像传感器对用户通过蘸有透明液体(例如,水)的毛笔在手写板上书写的过程进行实时图像采集,得到该毛笔与手写板接触面的笔触图像。选择传统毛笔和透明液体来书写的方式,在产品设计时考虑尽量让液体流出,可以将上述手写板倾斜设置,且底部边缘设置有用于将书写使用的液体导走的导流槽。考虑到书写过程中,液体在手写板上可能会形成水珠影响成像质量,对图像采集产生干扰,因此手写板为做过表面防雾处理的手写板,即本发明实施例中,可以采用具有防雾功能的手写板,以杜绝或者减少水珠形成。
本发明实施例中的光电图像传感器可以是摄像头,实际应用中,可以选取分辨率为640×480、帧率为120FPS、接口为USB2.0的摄像头;如果光源采用红外照明,还可以在该摄像头前设置一个红外过滤镜。
本实施例中,手写板产生影像的方式包括以下之一:投影方式、全内反射方式和激光平面方式。对于不同的图像影像方式,需要不同的光源组成,投影方式的光源选择范围比较广,可以使用点光源、灯管、LED灯条等各种方式,只要均匀照亮手写板就可以了,需要注意的是灯光必须从四周向中心均匀照射,以免产生非接触面物体的阴影,比如笔杆,手等的阴影,所以光源一般布置在手写板四周,比如,灯管或者LED灯条组成的矩形框。
全内反射方式,需要在手写板的边沿(至少是两个边)放置条状光源,LED光带或者光条比较适合。
激光平面方式需要使用一线激光光源,激光产生的光面与手写板平行并且在其上方不远的距离,为了防止毛笔或者手指接触触摸板时,背向光源的面产生阴影,激光光源至少需要两个,分别放置在手写板对角点上。
针对手写板产生影像的方式不同,光源的选取和位置也不同,例如:手写板12产生影像的方式为投影影像方式,光源11可以围绕手写板12的四周上方均匀设置。手写板12产生影像的方式为全内反射方式,光源11为条状光源,对称设置在手写板12的两边或四周,手写板四周要光滑透明。这三种影像方式下的光源11可以为红外LED灯。基于此,光电图像传感器14设置有红外过滤镜。
上述图像处理装置可以为计算机,也可以是定制开发的图形处理电路板。
以全内反射方式为例,参见图3所示的基于全内反射方式的书法笔迹呈现系统的结构框图,该系统包括:8mm厚的高透明亚克力板31、850nm的红外LED灯条32、液晶显示面板33、液晶背光灯管34、纳米导光板35、计算机主板36、摄像头37、液晶驱动电路板38和液晶电源电路板39。其中,液晶背光灯管34和纳米导光板35可以集成在液晶显示面板33上;计算机主板36、液晶驱动电路板38和液晶电源电路板39可以集成在一个装置中。
以激光平面方式为例,参见图4所示的基于激光平面方式的书法笔迹呈现系统的结构框图,该系统包括:一字平面激光头41,其频率:850nm,功率:5mW。5mm厚的高透明亚克力板42;液晶显示面板43;液晶背光灯管44;纳米导光板45;计算机主板46;摄像头47;液晶驱动电路板48;液晶电源电路板49;其中,液晶背光灯管44和纳米导光板45和液晶显示面板43可以集成为一体;计算机主板46、液晶驱动电路板48和液晶电源电路板49可以集成在一个装置中。
以投影方式为例,参见图5所示的基于投影方式的书法笔迹呈现系统的结构框图,该系统包括:850nm红外LED光条51;匀光遮光罩52;半透明投影幕53;5mm厚高透明亚克力板54;液晶显示面板55;液晶背光灯管56;纳米导光板57;计算机主板58;摄像头59;液晶驱动电路板60;液晶电源电路板61;其中,液晶背光灯管56、纳米导光板57和液晶显示面板55可以集成为一体;计算机主板58、液晶驱动电路板60和液晶电源电路板61可以集成在一个装置中。
上述纳米导光板也可以是普通的导光板。
图3至图5所示系统未示意出支架,支架的具体结构可以根据上述各个部件的位置设计,以体积适中为宜,这里不再详述。
考虑到一般情况下,光电图像传感器的分辨率与显示装置的分辨率可能不相同,以及由于光电图像传感器的取景范围不确定以及光电图像传感器的图像畸变等因素影响,如果要求显示的位置与手写的位置完全重合,则需要建立手写区域与显示区域之间的映射关系。基于此,上述方法还包括:预先根据光电图像传感器的分辨率和显示装置的分辨率对手写板与显示装置进行校准,建立手写区域与显示区域之间的映射关系。
以显示装置为液晶显示面板为例,这里的校准可以仅校准手写板与液晶显示面板的四个角点,也可以采用网格型校准方式,也就是不只有四角的四个点,在液晶显示面板上等距离划分M行和N列的网格,网格上的每个交叉点都是校准点,网格的行数(M)和列数(N)需要根据光电图像传感器的畸变度确定,网格数越多,手写板与液晶显示面板的对应关系越精确,但操作实现的难度越大。网格划分时需要考虑通过多个光电图像传感器采集图像的方式,为图像软拼接留出过渡区域的校准点。基于此,上述预先根据光电图像传感器的分辨率和显示装置的分辨率对手写板与显示装置进行校准可以包括:预先根据光电图像传感器的分辨率和显示装置的分辨率,采用网格型校准方式对手写板与显示装置进行校准。
由于光电图像传感器(例如:摄像头)与被拍摄物体需要有一定距离(物距),因此,对于较大尺寸的手写面板拍摄的清晰度会比较低,或者虽然手写面板不大,但是为了尽可能减小物距,从而减小产品的厚度,则可以使用多个光电图像传感器同时拍摄,每个光电图像传感器负责一部分区域,通常是按照行、列来布置光电图像传感器,每个光电图像传感器拍摄相等面积的矩形区域,在图像采集时需要将所有光电图像传感器拍摄的图像拼接为一个完整的手写区域图像,拼接的方法有两种,一种是硬拼接,就是简单的把每个光电图像传感器的图像拼接起来,这需要将光电图像传感器位置、角度等调整的比较准确,否则相邻光电图像传感器之间的图像可能会有重叠或者缝隙;另外一种拼接方法是软拼接,就是拼接时,在相邻光电图像传感器的图像之间划出一个过渡区域,从一个光电图像传感器的图像渐变到另一个光电图像传感器的图像,这样即使光电图像传感器位置稍微有些偏差,拼接出的图像也不会有很明显的跳变。基于此,上述图像处理装置实时收集笔触图像,并对连续收集到笔触图像进行处理可以包括:当图像处理装置接收到来自多个光电图像传感器发送的笔触图像时,图像处理装置根据各个光电图像传感器的位置关系,对接收到的笔触图像进行拼接处理,得到完整的笔触图像。这种方式能够减小拍摄的物距,从而减小产品的厚度,且得到的图像更清晰。
具体应用中,上述图像处理装置实时收集所述笔触图像,并对收集到的笔触图像进行处理,提取出笔触形状轮廓数据还可以包括:图像处理装置根据光电图像传感器的安装方向和显示装置的显示方向确定是否对收集到的笔触图像进行镜像处理,如果是,对笔触图像进行镜像处理;然后依次对镜像处理后的笔触图像进行背景减除处理、模糊处理、高通滤波处理、放大处理和二值化处理,提取出笔触形状轮廓数据。
因为光电图像传感器安装的方向可能与显示装置的显示方向不一致,为了快速将他们的方向调整为一致,搜索方法中增加了镜像处理,通过该方法,将获取的图像镜像反转,以便与显示图像匹配。镜像的种类有左右镜像和上下镜像,也可以同时执行上下和左右镜像。
上述背景减除指从光电图像传感器拍摄下的画面中去掉背景画面,只保留前景画面,在这里所说的前景就是笔触影像。在书写开始前,可以保存一幅光电图像传感器拍摄的画面作为背景,书写过程中,通过像素减法将这个背景画面减去就得到仅有前景的画面。由于背景画面也可能变化,可以采用动态背景去除算法,出于实时性的考虑,采用的算法比较简单快速,只是将每次的画面通过加权值累加到背景画面上,然后减除,如果在一段时间内保持不变的图像就会认为是背景,就会被剪除掉。
上述二值化指将图像转化为只包括黑色和白色两种颜色的图像,这样才能进行后续的笔触轮廓提取以及相关的计算工作,二值化时,首先需要确定一个阈值,高于此阈值的颜色就认为是白色,低于此阈值的就认为是黑色,这样白色表示前景,也就是笔触图像,黑色表示背景。
由于光电图像传感器的分辨率可能比较低,获取到的图像在液晶显示面板上显示时能够看到边缘的锯齿,基于此,上述方法中增加了模糊处理,用以去掉这些锯齿,使边缘光滑,所以也称为光滑算法,通常采用的光滑算法是最简单的均匀平滑算法。
上述高通滤波处理是将画面根据颜色值进行过滤,将颜色值低于某个阈值的像素滤除,保留高于此阈值的像素。该方式主要用途是去除部分背景和环境光的干扰。
上述放大处理的含义是将颜色值按比例放大,就是将每个像素的颜色值乘以一个系数,这样使图像的对比度加大,便于下一步的二值化处理。
经过以上图形算法,可以获得了比较清晰的笔触图像,值得注意的是,上面的算法步骤并不是每一步都是必须的,比如镜像算法,在光电图像传感器获取的图像与显示内容方向一致时就不需要。
上述图像处理装置将笔触形状轮廓数据绘制在画布上包括:图像处理装置通过计算所述笔触形状轮廓数据对应不同帧的笔触形状之间的时间和位置关系进行状态跟踪,得到笔触的抬起、按下状态数据,从而判读出一个笔画的开始和结束;图像处理装置根据判读的结果,对同一笔画的相邻两个笔触形状轮廓数据依据疏密度进行基于形状变形的轮廓插值操作,增加笔触形状;图像处理装置按照设定的颜色将插值后的笔触形状轮廓数据绘制到画布上该方式中,图像处理装置根据同一笔画的相邻两个笔触点的疏密程度,通过图形变形方法进行笔触点插值操作,以使绘画出的笔画平滑连续,没有间断。
上述笔触状态跟踪的主要目的是对笔的行为状态进行跟踪分析,将连续的笔触形状图像转化为触摸笔事件,比如笔压下、移动、抬起等事件,由于上述方法是基于笔触的形状影像,因此上述方法能够获得毛笔在手写板上形成的影像,不能获得笔的压下、抬起等状态信息。基于此,本实施例在分析状态跟踪事件信息时,主要是通过计算不同帧的笔触形状之间时间和位置关系来判断,维护一个笔对象列表,当发现有新的笔触形状时,如果位置与列表中的某个接近,则认为是同一个笔在移动,如果列表中的笔对象没有在新笔触形状中发现,则认为这个笔画书写结束,笔抬起,如果新的笔触形状不在笔对象列表中,则认为是一个新笔压下。
由于上述跟踪主要依据不同时间笔触的相对位置,因此,书写时移动速度不能太快,否则会出现断线或者连笔情况发生,如果想要书写速度加快,需要提高光电图像传感器的帧率和图像处理装置的处理速度。
由于光电图像传感器的帧率通常不是非常高,如果仅仅依靠获得的笔触形状绘制笔迹,则会出现笔迹不平滑甚至断线,为了避免出现这种现象,上述方法中增加了插值操作,就是在两个笔触形状之间,根据这两个笔触形状距离的远近插入适当数量的笔触图形。因为上述方法中获取到的是笔触的图形,插值也应该是笔触的图形,由于插值起点和终点的图形的形状和大小都有可能不同,因此,如何插值是个问题,本实施例考虑可以使用形状动画变形算法来实现此插值,以插值起点的形状作为变形的原图,插值终点的形状作为变形的目标图,插值的数目则是变形的步数。因此,可以选择二维图形变形算法。
在获取到笔触形状图像以及插值图像以后,只要将这些图像累加绘制在一起就形成了完整的笔迹图像。这对于现在的GUI编程来说是一个非常容易的事情,无论使用操作系统提供的API,如微软的GDI,或者是第三方通用图形开发库,如OpenGL,都可以轻松实现,以GDI+编程为例:首先需要创建一个画布,然后根据笔触的事件触发,当笔按下和移动时根据随事件传递过来的笔触信息数据绘制每一个笔触形状,绘制时将笔触形状轮廓上的所有点按顺序连接成一个路径,然后调用填充路径函数将笔触形状绘制到画布上,填充的颜色可以根据需要变化,最后将画布显示出来就可以看到书写的笔迹了。
上述方法可以应用于任何需要软笔书写的环境,比如:小学生练习书法、书法专业人士练习书法或者创造书法,软笔绘画等。
下面给出上述实施例的方法最优实现过程,可以如下所述:
1.方案选择
如前所述,基于光学的书法笔迹呈现技术方案有多种,具体到本发明应用的场景使用哪种方式最合适,这需要通过分析他们的各自的特点来决定。首先,考虑书写形式是使用传统毛笔蘸水书写,而全内反射方式当有水的软质物体触摸平板时有非常高的对比度,图像非常清晰,该手写板透明,对于下面的显示设备展现的内容完全没有遮挡。其次,本发明实施例中,希望能够集成显示设备,因为,我们使用传统毛笔蘸水书写,形式与当前十分流行的水写布相像,通过增加显示内容,用户可以参照显示的碑帖进行临摹,并且可以保存书写的作品。基于这一点要求,选择红外线光源,在显示设备的选择上,选择液晶显示面板作为显示设备,这就要求手写板尽量透明,避免遮挡显示内容,形成的笔触影像清晰准确,没有光线遮挡的全内反射方式恰巧满足了该需要。基于以上分析,选定全内反射方式进行。
2.硬件安装
方案确定以后,确定硬件材料和组装,可以使用组合货架所用的角铁搭建支架,这种方式的好处是材料容易获得、成本低廉、组合模式灵活,可以像搭积木一样构建需要的结构;
选用亚克力作为手写板材料,厚度可以为5mm、8mm和10mm的亚克力板,由于计划使用全内反射方式,需要从亚克力的边缘输入光线,因此,亚克力板的边缘要光滑透明,可以使用激光切割;
选用850nm贴片红外LED作为光源,每个芯片电流150ma,将这些芯片焊接到四个铝基板上,铝基板的长度与亚克力四边相同,然后将铝基板插入铝槽中,用胶带将这些铝槽固定在亚克力的四周,引出的电源线连接到稳压电源输出端上,这样就产生了全内反射方式的手写板;
显示设备方面,可以采用液晶显示面板,其配备有照明灯管和纳米导光板,这样既能照亮液晶面板,又对笔迹影像没有明显影响;
光电图像传感器选用了一款120帧/秒的摄像头,并且在摄像头镜头里增加850nm带通滤光片,只让850nm红外光进入摄像头,摄像头与图像处理装置通过USB接口连接。
图像处理装置选用计算机。
3.软件开发
以计算机方式进行图像采集和处理,这种方式开发周期最短、编程资源更丰富,能够更迅速的验证本文所述电子基于光学原理的书法笔迹呈现方法的可行性和效果。根据图像处理装置的上述处理操作,可以分为服务端和客户端两个程序:服务端和客户端。服务端就如同设备驱动一样,负责从摄像头拍摄的图像中提取出笔触数据,并将这些数据发送给客户端应用,其主要包括的功能有:图像采集、多摄像头拼接、校准与映射、图像处理、数据发送等。服务端程序也可以全部移植到独立的嵌入设备中;客户端则获取服务端发送来的笔触数据,将这些数据转化为触摸事件,触发应用绘画出书法作品,客户端的主要功能是:数据接收、状态跟踪、轮廓插值、笔迹绘制等。
以上实施例的方法通过光电图像传感器采集手写板上的笔触图像,并将该图像传输给图像处理装置,经图像处理装置处理后得到书法笔触数据,再对该数据进行处理得到画布上的笔触形状轮廓,然后在该轮廓中填充颜色,将该画布呈现在显示装置上,即可以得到与用户手写一致的书法笔迹,实现过程中,用户依然可以使用传统的毛笔或其它软笔,不需要进行电子笔的学习过程,并且这种基于光学原理采集的图像与用户真实书写的图像仿真效果比较接近,硬件要求较低,适于推广应用。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统和方法,可以通过其它的方式实现。以上所描述的方法实施例仅仅是示意性的,所述图像处理装置的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (9)
1.一种基于光学原理的书法笔迹呈现方法,其特征在于,包括:
光电图像传感器实时采集用户使用毛笔在手写板上的笔触图像;其中,所述手写板为透光板,基于所述手写板产生影像的方式在手写板对应位置设置有光源,以使毛笔与手写板接触面形成影像,所述光电图像传感器实时采集用户使用毛笔在手写板上的笔触图像包括:光电图像传感器对用户通过蘸有透明液体的毛笔在手写板上书写的过程进行实时图像采集,得到该毛笔与手写板接触面的笔触图像;
所述光电图像传感器将采集的所述笔触图像发送给图像处理装置;
所述图像处理装置实时收集所述笔触图像,并对收集到的所述笔触图像进行处理,提取出笔触形状轮廓数据,将所述笔触形状轮廓数据绘制在画布上,并在绘制的笔触形状轮廓内填充颜色,连续绘制并填充颜色的笔触形状轮廓形成书法笔迹;
所述图像处理装置将所述画布呈现在显示装置上;
对收集到的所述笔触图像进行处理,提取出笔触形状轮廓数据包括:
所述图像处理装置根据所述光电图像传感器的安装方向和液晶显示面板的显示方向确定是否对所述笔触图像进行镜像处理,如果是,对所述笔触图像进行镜像处理;
依次对所述笔触图像进行背景减除处理、模糊处理、高通滤波处理、放大处理和二值化处理,提取出笔触形状轮廓数据。
2.根据权利要求1所述的方法,其特征在于,光电图像传感器实时采集用户使用毛笔在手写板上的笔触图像包括:
光电图像传感器对用户通过蘸有透明液体的毛笔在手写板上书写的毛笔字进行实时图像采集,得到所述毛笔与手写板接触面的笔触图像。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
预先根据所述光电图像传感器的分辨率和所述显示装置的分辨率对所述手写板与显示装置进行校准,建立手写区域与显示区域之间的映射关系。
4.根据权利要求3所述的方法,其特征在于,预先根据所述光电图像传感器的分辨率和所述显示装置的分辨率对所述手写板与显示装置进行校准包括:
预先根据所述光电图像传感器的分辨率和所述显示装置的分辨率,采用网格型校准方式对所述手写板与显示装置进行校准。
5.根据权利要求1所述的方法,其特征在于,所述图像处理装置实时收集所述笔触图像,并对收集到的所述笔触图像进行处理包括:
当所述图像处理装置接收到来自多个所述光电图像传感器发送的笔触图像时,所述图像处理装置根据各个光电图像传感器的位置关系,对接收到的所述笔触图像进行拼接处理,得到完整的笔触图像。
6.根据权利要求1所述的方法,其特征在于,所述图像处理装置将所述笔触形状轮廓数据绘制在画布上包括:
所述图像处理装置通过计算所述笔触形状轮廓数据对应不同帧的笔触形状之间的时间和位置关系进行状态跟踪,得到笔触的抬起、按下状态数据,从而判读出一个笔画的开始和结束;
所述图像处理装置根据判读的结果,对同一笔画的相邻两个笔触形状轮廓数据依据疏密度进行基于形状变形的轮廓插值操作,增加笔触形状;
所述图像处理装置将插值后的笔触形状轮廓数据绘制到画布上。
7.根据权利要求1所述的方法,其特征在于,所述光电图像传感器为能够获取平面光学影像的传感器。
8.根据权利要求1至7中任一项所述的方法,其特征在于,所述手写板产生影像的方式包括以下之一:投影方式、全内反射方式和激光平面方式。
9.根据权利要求1至7中任一项所述的方法,其特征在于,所述显示装置为设置于所述手写板底部的液晶显示面板,或者为液晶显示器,或者为投影仪。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410763911.XA CN104391651B (zh) | 2014-12-11 | 2014-12-11 | 基于光学原理的书法笔迹呈现方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410763911.XA CN104391651B (zh) | 2014-12-11 | 2014-12-11 | 基于光学原理的书法笔迹呈现方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104391651A CN104391651A (zh) | 2015-03-04 |
CN104391651B true CN104391651B (zh) | 2017-12-08 |
Family
ID=52609562
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410763911.XA Active CN104391651B (zh) | 2014-12-11 | 2014-12-11 | 基于光学原理的书法笔迹呈现方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104391651B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107358229A (zh) * | 2017-08-25 | 2017-11-17 | 马新禹 | 一种手写智能笔 |
CN108509078A (zh) * | 2018-03-19 | 2018-09-07 | 北京华文众合科技有限公司 | 一种硬笔临摹系统 |
CN109299649B (zh) * | 2018-07-25 | 2023-04-18 | 高金山 | 一种动态书法字的处理方法及装置 |
CN109147004B (zh) * | 2018-08-20 | 2023-06-09 | 广州视源电子科技股份有限公司 | 笔迹显示方法、装置、设备及存储介质 |
CN109087553B (zh) * | 2018-08-23 | 2021-12-28 | 广东智媒云图科技股份有限公司 | 一种临摹绘画方法 |
CN113138692A (zh) * | 2021-04-07 | 2021-07-20 | 维沃移动通信有限公司 | 输入设备、方法和装置 |
CN115083230A (zh) * | 2022-07-15 | 2022-09-20 | 北京博学广阅教育科技有限公司 | 辅助学习的方法及装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN86104541A (zh) * | 1986-07-15 | 1988-01-27 | 赵楠 | 书法习字仿摹板 |
US6972753B1 (en) * | 1998-10-02 | 2005-12-06 | Semiconductor Energy Laboratory Co., Ltd. | Touch panel, display device provided with touch panel and electronic equipment provided with display device |
CN201812396U (zh) * | 2010-07-16 | 2011-04-27 | 朱嘉慧 | 电脑型书法绘画学习机 |
CN102521858B (zh) * | 2011-11-28 | 2014-04-02 | 北京盛世宣合信息科技有限公司 | 电子毛笔书写笔迹生成方法 |
CN103617642B (zh) * | 2013-11-22 | 2017-03-15 | 深圳市掌网科技股份有限公司 | 一种数字书画方法及装置 |
CN103885598A (zh) * | 2014-04-04 | 2014-06-25 | 哈尔滨工业大学 | 自然交互界面下的书法数字化系统及利用该系统实现书法实时书写的方法 |
-
2014
- 2014-12-11 CN CN201410763911.XA patent/CN104391651B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN104391651A (zh) | 2015-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104391651B (zh) | 基于光学原理的书法笔迹呈现方法 | |
CN104391613B (zh) | 基于光学原理的书法笔迹获取系统 | |
JP4991154B2 (ja) | 画像表示装置、画像表示方法及びコマンド入力方法 | |
US9268418B2 (en) | Simulation of an erodible tip in a natural media drawing and/or painting simulation | |
Vandoren et al. | IntuPaint: Bridging the gap between physical and digital painting | |
CN104408978B (zh) | 基于光学原理的书法笔迹呈现系统 | |
CN102937848A (zh) | 对手写笔迹进行编辑处理的方法及电子设备 | |
JPH11202758A (ja) | 画家の描画または彩画の作成をシュミレーションする方法、およびその方法を達成するための装置 | |
CN103617642B (zh) | 一种数字书画方法及装置 | |
CN108628455B (zh) | 一种基于触摸屏手势识别的虚拟沙画绘制方法 | |
CN105093289A (zh) | 一种基于图像处理的地震层位识别方法 | |
Xu et al. | Model-guided 3D sketching | |
Wong et al. | Model-based analysis of Chinese calligraphy images | |
CN109387501A (zh) | 利用快速三维拉曼光谱重构技术鉴定交叉笔画顺序的方法 | |
CN105354812A (zh) | 基于多Kinect协同的深度阈值分割算法识别轮廓交互方法 | |
CN204303184U (zh) | 基于光学原理的书法笔迹呈现系统 | |
CN102004584B (zh) | 有源笔定位显示方法及装置 | |
CN107424157A (zh) | 动物黏附接触区实际接触面积的计算方法及计算系统 | |
Fujinami et al. | Painting an Apple with an Apple: A tangible tabletop interface for painting with physical objects | |
CN104732570B (zh) | 一种图像生成方法及装置 | |
Baxter III | Physically-based modeling techniques for interactive digital painting | |
Muller | Multi-touch displays: design, applications and performance evaluation | |
CN104777944B (zh) | 一种基于笔影检测模拟手绘板的方法 | |
CN207557895U (zh) | 一种应用于大型显示屏幕或投影屏幕的设备定位装置 | |
Fender et al. | InfinitePaint: Painting in Virtual Reality with Passive Haptics Using Wet Brushes and a Physical Proxy Canvas |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |