CN109299649B - 一种动态书法字的处理方法及装置 - Google Patents
一种动态书法字的处理方法及装置 Download PDFInfo
- Publication number
- CN109299649B CN109299649B CN201810828218.4A CN201810828218A CN109299649B CN 109299649 B CN109299649 B CN 109299649B CN 201810828218 A CN201810828218 A CN 201810828218A CN 109299649 B CN109299649 B CN 109299649B
- Authority
- CN
- China
- Prior art keywords
- falling
- image
- writing
- trace
- display panel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/32—Digital ink
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
- G06V30/1423—Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Position Input By Displaying (AREA)
Abstract
本发明涉及一种动态书法字的处理方法及装置,其中方法包括:实时获取书写显示面板当前帧的图像,并确定图像中每个像素的红外图像亮度值,根据图像中每个像素的亮度值确定图像中是否包含落迹;当图像中包含落迹时,确定当前帧落迹的坐标信息;取出上一帧的点画数据,并将当前帧的落迹添加至上一帧点画数据的相应位置作为当前帧的点画数据。其中装置包括:通过采集蘸有透明液体的毛笔书写时的红外图像,得到一系列含有完整笔锋状态变化的落迹和点画数据,呈现书法字的形成过程。
Description
技术领域
本发明涉及书法字图像信息处理技术,特别涉及一种动态书法字的处理方法及装置。
背景技术
作为世界非物质文化遗产的中国书法,是中华民族的文化瑰宝。用柔软的毛笔写出骨感遒劲的艺术字,关键在笔法,在于毛笔头最终落到书写表面的笔锋的状态。而书法艺术的形成过程,极其微妙,很难用文字或静止的图像准确地表现。
中国专利CN100520859C公开了一种书法视频采集方法及装置,采用毛笔蘸墨汁在纸上书写,纸放在毛玻璃上,检测光设置在毛玻璃的侧上方,摄像头在毛玻璃下面拍摄书法字的形成过程。
使用该方法时,由于墨迹是黑色的,蘸有黑色墨汁的笔锋与写在纸上的墨迹重叠在一起,一旦起笔后,看不清楚笔锋的形态。如在逆锋起笔时,起笔时笔锋的方向正好和笔画行笔的方向相反,即所谓“欲右先左、欲下先上”。由于墨迹是黑色的,起笔后,黑色的笔锋和写过的墨迹重叠在一起,分辨不清笔锋的完整形状。同样地,当藏锋收笔时,由于笔锋被藏在了之前写到纸上的墨汁中,也看不清楚收笔时笔锋的完整状态。
发明内容
为了解决现有技术中由于黑色墨汁对毛笔笔锋的覆盖问题,本发明提供了一种动态书法字的处理方法及装置,用户使用蘸有透明液体的毛笔书写,在书写显示面板下方的摄像头采集一系列含有完整笔锋状态变化的落迹,并通过这些落迹计算点画数据,以点画数据和完整的落迹来呈现书法字的形成过程。其中,落迹是构成书法字的基本元素,指毛笔落笔瞬间,毛笔头与书写表面接触部分的痕迹。任何书法字的点画由一个或多个落迹构成,落迹能够体现笔锋的状态和变化情况,直接反应了笔法的运用。在本专利申请中,落迹具体指蘸清水的毛笔落笔瞬间,毛笔头与书写表面接触部分的图像。
本发明提供一种动态书法字的处理方法,包括:
实时获取书写显示面板当前帧的图像,确定所述图像中每个像素的亮度值,根据所述图像中每个像素的亮度值确定所述图像中是否包含落迹;
当所述图像中包含落迹时,计算组成落迹的像素坐标;
取出上一帧的点画数据,根据所述当前帧的落迹坐标,将所述当前帧的落迹添加至所述上一帧的点画数据的相应位置,作为当前帧的点画数据,存储起来。
通过这种方式,得到含有落迹的书法字写作过程的动态数据,存储在文件中。该文件可以在手机或PC机等设备上播放,呈现含有完整落迹信息的动态书法字形成过程。
优选地,所述根据图像中每个像素的亮度值确定所述红外图像中是否包含落迹,包括:
预先采集所述书写显示面板的背景图像,确定所述背景图像的每个像素的亮度值;
书写时,分别计算所述背景像素与相对应的当前帧图像各像素亮度值之间的差值,并判断所述差值是否大于预设阈值;若存在所述差值大于预设阈值的像素,则所述图像中包含落迹,将大于预设阈值差值相对应的像素集合作为所述图像的落迹;
若所述差值小于预设阈值,则所述图像中不包含落迹。
在一个实施例中,所述动态书法字的处理方法还包括:
当所述图像中包含落迹时,检查落迹标志是否为有效状态。当所述落迹标志为无效状态时,把所检测到的落迹作为书法字第一个点画的第一个落迹保存起来,并把所述落迹标志置为有效状态。
当所述落迹标志为有效状态时,检查空帧数变量是否为零。当所述空帧数变量为零时,表示书写开始后,尚未出现抬笔动作。取出上一帧的点画数据,根据当前帧落迹坐标,将所述当前帧的落迹添加到上一帧点画数据中,形成当前帧的点画数据,保存起来;当所述空帧数变量不为零时,表示之前是抬笔状态,在当前帧又变为了落笔状态。需要把当前帧的落迹作为新点画的第一个落迹保存起来,并把所述空帧数标志清零。
当所述图像中不包含落迹时,检查落迹标志是否为有效状态,当所述落迹标志不为有效状态时,表示书写尚未开始,继续下一帧的处理;当落迹标志有效时,表示处于抬笔状态,将所述空帧数变量加一。并判断所述空帧数是否大于预设最大空帧数;当所述空帧数小于预设的最大空帧数时,将上一帧的点画数据作为当前帧的点画数据保存起来,继续下一帧的图像处理过程。当所述空帧数变量等于预设最大空帧数时,所述空帧数变量清零、落迹标志置为无效状态,表示写一个书法字的过程结束,准备处理下一个书法字或将所得到的动态书法字点画数据保存到文件等操作。
优选的,所述将所述当前帧的点画数据保存起来,包括:将当前帧的点画数据进行左右翻转处理。
本发明实施例提供的一种动态书法字的处理装置,包括:
书写显示面板;
红外图像采集装置,用于实时采集所述书写显示面板当前帧的红外图像,设于所述书写显示面板下方;
红外照明装置,设于所述书写显示面板上侧四周或下侧四周且均匀照射所述书写显示面板上;
图像处理装置,与所述红外图像采集装置连接,用于对所述红外图像采集装置所采集的红外图像进行处理,计算所述红外图像中每个像素的亮度值,根据所述红外图像中每个像素的亮度值确定所述红外图像中是否包含落迹;当所述红外图像中包含落迹时,计算组成落迹的像素坐标;取出上一帧的点画数据,根据所计算的当前帧落迹的像素坐标,将所述当前帧的落迹添加至所述上一帧的点画数据相应位置,作为当前帧的点画数据保存起来;通过这种方法,得到含有完整落迹的书法字书写过程的信息,存储到文件中,此文件可以在动态书法字处理装置或在PC机、手机等设备上运行,呈现含有完整落迹的书法字动态写作过程。
在一个实施例中,所述书写显示面板设为透射型书写显示面板,包括透明支撑层和设于所述透明支撑层上侧或前侧的散射显示层。
优选的,当所述书写显示面板设为透射型书写显示面板时,还包括:
投影装置,设于所述书写显示面板的下方,用于将所述当前帧的点画数据以可见光的形式实时显示至书写显示面板上,达到和用墨汁在纸上书写时相同的所见即所写的效果。
在一个实施例中,所述书写显示面板设为透明显示屏时,所述透明显示屏与图像处理装置相连透明显示屏可以是LCD透明显示屏或OLED透明显示屏,或其它类型的透明显示屏。
当书写显示面板为透明LCD显示屏时,还包括:
背光源,设于所述透明显示屏的下方或后方,背光源采用侧光式或直下式(BottomLighting);光源本身可以是LED、热阴极灯管、冷阴极灯管或其它光源。
在一个实施例中,所述动态书法字的处理装置还包括:
图像采集装置,用于采集用户书写过程中手指或腕部执笔的图像数据,设于所述书写显示面板上方或前方。图像采集装置设为可见光图像采集装置,用于在采集落迹的同时,同步采集用户书写过程中手部执笔的图像数据。
优选的,所述可见光图像采集装置包括具有可见光图像采集功能的摄像机、照相机、摄像头、数字化图像设备和智能终端等的任意一种或多种。
一种动态书法字的处理装置,通过设于所述书写显示面板上侧四周或下侧四周的红外照明装置均匀照射所述书写显示面板,红外图像采集装置预先采集所述书写显示面板的背景图像,图像处理装置得到所述背景图像的每个像素的亮度值。然后,红外图像采集装置实时采集书写过程中的所述书写显示面板的红外图像,得到所述红外图像中每个像素的亮度值。图像处理装置计算所述背景像素亮度值与书写过程中的所述红外图像相对应像素亮度值之间的差值,即:所述背景像素亮度值-书写过程中的所述红外图像亮度值,并将所述差值与预设阈值比较,确认所述红外图像中是否包含落迹,即蘸清水的毛笔是否在书写显示面板上表面进行书写。当所述红外图像中包含落迹时,则图像处理装置计算当前帧落迹的坐标(包括落迹中所有像素点的坐标值),然后取出上一帧的点画数据,根据所述当前帧的落迹坐标,将所述当前帧的落迹添加至所述上一帧的点画数据相应位置,形成新的点画数据作为当前帧的点画数据,存储起来,重复此过程,得到含有完整落迹的书法字写作过程数据。在计算每一帧点画和落迹数据的同时,将所述当前帧的点画和落迹数据通过显示装置以可见光的形式实时显示至书写显示面板上。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其它优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作详细地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以由这些附图得到其它的附图。
图1为本发明实施例中处理一帧图像的主要流程图;
图2为本发明实施例中落迹的采集和点画计算过程的示意图;
图3为本发明第一种实施方式中提供的一种动态书法字处理装置的结构图;
图4为本发明实施例中提供的一种书写显示面板的结构图;
图5为本发明第二种实施方式中提供的一种动态书法字处理装置的结构图;
图6为本发明第三种实施方式中提供的一种动态书法字处理装置的结构图;
图7为本发明第四种实施方式中提供的一种动态书法字处理装置的结构图;
图8为本发明第五种实施方式中提供的一种动态书法字处理装置的结构图;
图9为本发明第六种实施方式中提供的一种动态书法字处理装置的结构图;
图10为本发明第七种实施方式中提供的一种动态书法字处理装置的结构图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、详细地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要说明的是,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本发明提供的一种动态书法字的处理方法,如图1所示,该方法处理每一帧图像数据的流程如下,具体包括步骤101-103:
步骤101:实时获取书写显示面板当前帧的图像,确定所述图像中每个像素的亮度值,根据所述图像中每个像素的亮度值确定所述图像中是否包含落迹。
步骤102:当所述图像中包含落迹时,确定当前帧落迹的坐标。
步骤103:取出上一帧的点画数据,根据所述当前帧落迹的坐标,将所述当前帧的落迹添加至所述上一帧点画数据的相应位置,作为当前帧的点画数据,存储起来。
在所述的本方法中,使用蘸透明液体的毛笔在书写显示面板书写,实时采集所述书写显示面板的图像,并确定所述图像中每个像素的亮度值,通过将所述图像中每个像素的亮度值与预设的亮度阈值比较,确定所述红外图像中是否包含落迹(即毛笔是否在书写显示面板表面书写)。当所述图像中存在像素点的亮度值小于所述预设的亮度阈值时,则说明红外图像中包含落迹。落迹由亮度值小于所述预设的亮度阈值的像素点集合组成。计算组成落迹的每一像素的坐标。然后取出上一帧的点画数据,根据所述当前帧的落迹坐标,将所述当前帧的落迹添加至所述上一帧的点画数据的相应位置,形成新的点画数据,并将新的点画数据作为当前帧的点画数据,保存起来。
所保存的点画数据,包括含有落迹的点画形状数据,可以是构成点画和落迹像素的亮度和坐标;也可以是点画和落迹像素点的轮廓及填充像素亮度的数学公式描述。
显示时,从所保存的数据中,按帧逐一取出对应的点画和落迹像素的亮度和坐标,或取出点画和落迹轮廓及填充像素亮度值的数学公式描述,计算点画和落迹轮廓并加以填充,得到每帧的点画和落迹图形,呈现书法字的书写过程。
本实施例,着重公开了一种动态书法字的处理方法。使用蘸有透明液体的毛笔在书写显示面板上书写,实时采集毛笔与书写面板接触部分的图像,分割出一系列含有完整笔锋状态变化的落迹,并通过这些落迹来计算点画数据,以呈现书法字的形成过程。
具体的,如图2所示,为计算点画d形成过程的示意图。在书写点画d的过程中,其落迹依次为10(图2-a)、20(图2-b)和30(图2-c)。图2-a、图2-b和图2-c为书写过程实际检测到的落迹,图2-a’、图2-b’和图2-c’为根据落迹计算点画形成过程的示意图。
图2-a为在投射型书写显示面板下方采集到的第一个落迹10。经过图像处理(可以去除其纹理),得到落迹10’,见图2-a’。
当毛笔写到第二个落迹时,实时获取到的图像如图2-b中的落迹20所示。检测到落迹后,把落迹20处理成没有纹理的图像,如图2-b’中的20’所示。由于毛笔是蘸透明液体书写的,此时落迹10已经消失(图2-b中的虚线图形所示原来的落迹10)。计算点画数据的过程如下:取出上一帧的点画数据,此时即为落迹10’的数据。并将所述落迹20’添加至所述落迹10’的相应位置,形成当前帧的点画数据如图2-b’所示。从图中可以看到,当前帧的点画数据包括完整的落迹20’和落迹10’的一部分。将当前帧的点画数据保存起来。
当毛笔写到第三个落迹30时,检测到的落迹如图2-c所示。与处理第二个落迹的过程相同,把落迹30处理成没有纹理的图像,如图2-c’中的30’所示。获取上一帧图2-b’的点画数据,并将所述落迹30’添加至上一帧点画数据的相应位置,形成新的点画数据,作为当前帧的点画数据,保存起来。当前帧的点画数据,包括完整的落迹30’以及落迹10’、落迹20’的一部分。最终得到的书写结果如图2-d所示。
为了确定图像中是否包含落迹,优选的技术方案是,所述根据所述图像中每个像素的亮度值确定所述图像中是否包含落迹,包括:
预先采集所述书写显示面板的背景图像,并确定所述背景图像的每个像素的亮度值;
分别计算所述背景像素亮度值与书写过程中的所述图像相对应像素亮度值之间的差值(即所述背景像素亮度值减去所述与图像相对应像素点的亮度值),并判断所述差值是否大于预设阈值;若存在所述差值大于预设阈值的像素点,则所述图像中包含落迹,并将差值大于预设阈值的像素集合作为当前帧的落迹;若所有像素的差值小于预设阈值,则所述图像中不包含落迹。
在本实施例中,为了判断用户书在书写一书法字过程中是否出现抬笔,优选的技术方案是,所述动态书法字的处理方法还包括:
在所述图像中包含落迹时,判断预设的落迹标志(Lmark)是否为有效状态。当所述落迹标志为无效状态时(Lmark=0),说明在当前帧之前没有落迹,即当前帧的落迹为该书法字的第一个落迹。需要将组成落迹的各像素坐标存储起来,并将落迹标志置为有效状态(将Lmark置为1),表示已经开始一个书法字的书写过程。当落迹标志为有效状态(Lmark=1)时,说明在本帧图像之前已经采集到了落迹,则需要进一步判断空帧数变量(EF)是否为零。当所述空帧数变量为零(EF=0)时,说明没有出现抬笔动作,则取出上一帧的点画数据,结合本帧的落迹,计算出本帧的点画数据。当所述空帧数不为零(即当EF>0)时,表示出现了抬笔,并且抬笔在本帧结束,则需要取出之前所有点画数据,结合本帧作为新点画的第一个落迹,保存起来,空帧数变量清零,继续下一帧的图像处理过程。
一般地,一个书法字由多个点画构成,毛笔在书写书法字的点画期间,需要抬笔。在抬笔期间,没有落迹。用蘸水的毛笔书写时,抬笔期间检测到的书写显示面板的图像为背景图像或称为空白帧。但从书法字书写过程的采集而言,抬笔期间的数据不应当是空白,应当为抬笔之前所写的内容。所以,需要取出之前存储的所有点画数据,作为本帧的点画数据保存起来。并且,检测是否满足书写结束的条件,其方法是:每检测到一空白帧,空帧数变量EF加一,并判断所述空帧数变量的值是否大于预设最大空帧数。当所述空帧数变量小于预设最大空帧数时,将上一帧的点画数据(包括之前所有的点画数据)作为当前帧的点画数据保存起来,然后继续获取并处理书写显示面板下一帧的图像。当所述空帧数变量等于预设最大空帧数时,书写一个书法字的流程结束。
一般地,一个书法字点画间的抬笔时间不会超过一个预设时间值,例如5秒,这样最大抬笔时间可以根据空白帧数来计算。例如,设图像的采集帧率为每秒30帧,则最大预设空帧数为帧率(30帧/秒)×点画间抬笔允许的最长时间(5秒)等于150帧。
当所述图像中不包含落迹(抬笔)时,所述空帧数变量EF加1(即EF+1→EF),并判断所述空帧数变量(EF)是否大于预设最大空帧数150;当抬笔时间小于5秒(即空帧数变量小于预设最大空帧数,EF<150)时,则将上一帧的点画数据作为当前帧的点画数据保存起来,继续处理下一帧图像的过程;当抬笔时间等于5秒(即空帧数等于预设最大空帧数,EF=150)时,表示一个书法字的书写流程结束,则初始化所述空帧数变量和所述落迹标志(EF=0,且Lmark=0),准备处理下一个书法字。
本发明第一实施例提供的一种动态书法字的处理装置,如图3所示,包括:
书写显示面板1;
红外图像采集装置2,用于实时采集所述书写显示面板的红外图像,设于所述书写显示面板1下方,所述红外图像采集装置2是具有红外摄像功能的红外摄像机、红外照相机、红外摄像头等设备的任意一种或多种。
红外照明装置3,可以由多个红外LED构成,或由半导体红外器构成,设于所述书写显示面板1的下侧四周,且均匀照射所述书写显示面板1上;
具体的,当红外照明装置3从下侧面照射书写显示面板1时,若蘸水的毛笔没有与书写显示面板1接触,则位于下方的红外图像采集装置2采集的是灰白色的均匀背景图像。当蘸水的深色毛笔6在书写显示面板1的上表面进行书写时,由于深色毛笔的吸光性质,红外图像采集装置2可以检测到落迹。毛笔的颜色越黑,则其吸光越多,所采集到的落迹越清晰。所以优选地使用黑色或深色毛笔。
本实施例中,对于像素点i,背景像素亮度值与书写时所采集的红外图像对应像素亮度值之间的差值ΔL(i)为背景像素亮度值Lint(i)减去当前帧对应像素点的亮度值Lprs(i),即ΔL(i)=Lint(i)-Lprs(i);当差值ΔL(i)大于预设阈值时,像素点i即为组成落迹的一个像素点。一帧图像中所有差值ΔL(i)大于预设阈值的像素构成一个落迹。
具体地,现以8位二进制数字表示一个像素的灰度值为例加以说明。把黑-灰-白连续变化的灰度值量化为256个灰度级,灰度值的范围为0~255,表示亮度从深到浅,对应图像中的颜色为从黑到白。即黑色的灰度值为0,白色的灰度值255。假设,某像素点A的背景亮度值为200,当有落迹时,红外图像中对应的像素点A的亮度值(即灰度值)比没有落迹时的背景灰度值要低,例如为180,则点A的背景亮度与当亮度的差值ΔL(i)为20。如果预设背景亮度与书写时图像亮度的差值阈值为15的话,由于20大于15,则表明本帧图像中有落迹。
在书写过程中,人的手指或手掌难免会接触到书写显示面板1,可能会影响落迹的检测。但可以根据手指或手掌的吸光特性与深色毛笔的吸光特性不同,来正确区别落迹与手指或手掌。具体而言,在所采集的红外图像中,与书写显示面板1接触的手指或手掌图像的亮度值比背景图像的亮度值高,即ΔL(i)为负值,而落迹的ΔL(i)为正值,这样很容易从ΔL(i)的正负来区分是与书写显示面板1接触的手指、手掌图像还是毛笔的落迹。所以采用这种结构的动态书法字处理装置,有利于提高落迹检测的抗干扰性。
图像处理装置4,与所述红外图像采集装置2连接,用于对所述红外图像采集装置2所采集的红外图像进行处理,确定所述红外图像中每个像素的亮度值,根据所述红外图像中每个像素的亮度值确定所述红外图像中是否包含落迹;当所述红外图像中包含落迹时,计算落迹的坐标;取出上一帧的点画数据,根据所述当前帧落迹的坐标,将所述当前帧的落迹添加至所述上一帧的点画数据的相应位置,作为当前帧的点画数据存储起来。用这种方法获得书法字写作过程的点画和落迹数据。
在本实施例中,为了能够将蘸透明液体的毛笔在书写显示面板书写时的点画图像和落迹实时反馈、显示在书写显示面板1上,实现所写即所见、所见即所写的效果,选用的书写显示面板的组成,如图4所示。优选的技术方案是,所述书写显示面板1设为透射型背投屏幕,所述透射型背投屏幕包括透明支撑层1-1和设于所述透明支撑层上侧的散射显示层1-2。
具体的,如图4所示,所述散射显示层1-2除了包括体积比较大、用于吸收光的有机粒子1-21之外,还包括体积较小、用于分散光的无机粒子1-22。所述透明支撑层1-1和所述散射显示层1-2可以设为分离式(例如在玻璃或亚克力板等材料表面粘贴散射型显示层1-2);也可设为一体式的透射型书写显示面板(通过在玻璃或亚克力板等材料表面加工显示层,形成一体化的显示面板)。
优选的,当所述书写显示面板1设为透射型书写显示面板时,还包括:
投影装置5,用于将图像处理装置4计算得到的所述当前帧的点画及落迹数据以可见光的形式实时显示至书写显示面板1上,设于所述书写显示面板1的下方。该显示装置5可以是短焦距的LCD(Liquid Crystal Display,液晶显示器)投影仪或DLP(Digital LightProcession,数字光处理)投影仪,或其他类型的投影仪中的任一种或多种。
蘸透明液体的毛笔6在书写显示面板1上书写时,随着毛笔的移动,移动之前位置的(上一帧)落迹将会消失。这将使书写者看不到书写效果。为了解决此问题,需要通过图像处理的方法,把毛笔6移动之前的点画数据计算出来,并通过设置显示装置5把所写的内容显示出来,实现所写即所见、所见即所写的效果。
为了将书写效果实时反馈、显示在书写显示面板上,优选的技术方案是,将所述当前帧的点画数据以可见光的形式实时显示至书写显示面板1上,包括:
将所述当前帧的点画数据进行左右翻转处理,并将左右翻转后的点画数据以可见光的形式实时显示至书写显示面板1上。
本实施例中,由于从书写显示面板1的下方或后方采集红外图像,故如果把采集到的图像直接进行显示,所显示的图像与原来采集的图像左右相差180度,故需要把显示的图像数据做左右翻转处理。
本实施例,着重于实现一种动态书法字的处理装置,通过设于所述书写显示面板1下侧四周的红外照明装置3均匀照射所述书写显示面板1,通过红外图像采集装置2预先采集所述书写显示面板1的背景图像,通过图像处理装置4得到所述背景图像的每个像素的亮度值,然后通过红外图像采集装置2实时采集所述书写显示面板1在毛笔书写时的红外图像。图像处理装置4计算所述书写显示面板1的背景像素亮度值与所述毛笔6书写时的书写显示面板1红外图像对应像素亮度之差值(所述书写显示面板1的背景像素亮度值-所述毛笔6书写时的书写显示面板1红外图像对应像素的亮度值),并将所述差值与预设阈值比较,根据比较结果,判断所述书写显示面板1的红外图像中是否包含落迹。当所述红外图像中包含落迹时,图像处理装置4计算构成落迹像素的坐标,然后取出上一帧的点画数据,根据所计算的落迹坐标,将所述当前帧的落迹添加至上一帧点画数据相应的位置,形成新的点画数据。并把所形成的新点画数据,作为当前帧的点画数据,保存起来。并将所述当前帧的点画数据通过显示装置5以可见光的形式实时显示至书写显示面板1上。用这种方法,获得呈现书法字写作过程的点画和落迹数据。
在本实施例中,为了获取毛笔书写过程中的落迹,如图3所示,优选的技术方案是,所述动态书法字的处理装置,还包括:
毛笔6,优选深色或黑色毛笔,用于在所述书写显示面板1上书写。书写时所述毛笔6头部蘸有透明液体,所述透明液体包括:水、油、以及其它与墨汁粘度特性相同或相近的无色透明液体中的任意一种;使用水、油、以及其它与墨汁粘度特性相同或相近的无色透明液体中的任意一种,使书法的练习更加清洁、方便,有利于节省纸张。
第二实施例,为了满足书法教学中笔法训练时对书写姿势的不同要求,本装置的书写显示面板1可以与水平面呈一定的角度,一般为0-90度。如图5所示为书写显示面板与水平面呈90度的情况。本实施例除了书写显示面1板的角度与第一实施例不同外,其余的特性和第一实施例相同。
第三实施例,如图6所示。和第一实施例比较,有如下不同:首先,红外照明装置3设置于所述书写显示面板1的上方侧面四周;其次,对毛笔颜色的要求低。除了深色和黑色外,浅色甚至白色毛笔也可以使用。本实施例相对于第一实施例而言,使用同一种毛笔,在相同检测光照度环境下,所检测到的落迹对比度和清晰度高。
第四实施例,如图7所示,为了减小整个动态书法字处理装置的体积,优选的技术方案是,所述动态书法字的处理装置还包括:
反射镜8,倾斜地设于所述书写显示面板1的下方;
具体的,将反射镜8倾斜放置,且红外图像采集装置2和显示装置5均设于所述书写显示面板的右下侧。红外图像采集装置2和显示装置5,经过反射镜8采集和显示图像,可以降低整个动态书法字处理装置的高度和体积。
第五实施例,如图8所示。所述书写显示面板1设为透明显示屏,与图像处理装置4相连;
所述透明显示屏可以为透明LCD显示屏、透明OLED显示屏或其它类型的透明显示屏。
为了能够在书写显示面板1上方,看到图像处理装置由落迹计算得到的点画图像,在透明显示屏的下方或后方,还包括:
背光源9,背光源9可以采用侧光式或直下式(Bottom Lighting),光源本身可以是LED、冷阴极灯管等光源。图中所示的红外检测光源3可以为红外LED,或红外半导体激光器,设于书写显示面板1的上侧方。
为了减小动态书法装置的体积,优选地,红外图像采集装置2采用广角镜头。这样可以使红外图像采集装置2与书写显示面板1的距离减小,达到减低该装置的高度或厚度的目的,使该装置具有便携性。
第六实施例,如图9所示。优选的技术方案是,所述动态书法字的处理装置还包括:
图像采集装置7,用于采集用户书写过程中手部执笔的图像数据,设于所述书写显示面板1上方,与图像处理装置4相连;
所述图像采集装置7设为可见光图像采集装置,包括具有可见光图形采集功能的摄像机、照相机、摄像头、数字化图像设备和智能终端中的任意一种或多种。
本实施例和第三实施例比较,增加了一个具有可见光图形采集功能的图像采集装置7,其余部分,和第三实施例相同。本实施例的特点是在采集书写法字形成过程的落迹、计算点画数据的同时,同步获得手部(包括手指和腕部)执笔的图像。本实施例可以从上下两个方向,全方位获取呈现书法字形成过程数据,特别适用于书法的笔法教学。
第七实施例,如图10所示,本实施例和第五实施例比较,增加了一个具有可见光图形采集功能的图像采集装置7,其余部分,和第五实施例相同。本实施例的特点是在采集书写法字形成过程的落迹、计算点画数据的同时,同步获得手部(包括手指和腕部)执笔的图像。本实施例可以从上下两个方向,全方位获取呈现书法字形成过程数据,特别适用于书法的笔法教学。
显然,上述实施例仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (9)
1.一种动态书法字的处理方法,其特征在于,包括:
实时获取书写显示面板当前帧的图像,并确定所述当前帧图像中每个像素的亮度值,根据所述红外图像中每个像素的亮度值确定所述图像中是否包含落迹;
当所述图像中包含落迹时,确定当前帧落迹的坐标;
取出上一帧的点画数据,根据所述当前帧的落迹坐标,将所述当前帧的落迹添加至所述上一帧的点画数据的相应位置,作为当前帧的点画数据;
所述根据所述图像中每个像素的亮度值确定所述图像中是否包含落迹,包括:
预先采集所述书写显示面板的背景图像,确定所述背景图像的每个像素的亮度值;
计算所述背景像素亮度值与当前帧相对应像素亮度值之间的差值,判断所述差值是否大于预设阈值;若所述差值大于预设阈值,则所述图像中包含落迹;若所述差值小于预设阈值,则所述图像中不包含落迹。
2.如权利要求1所述的动态书法字的处理方法,其特征在于,还包括:
当所述图像中包含落迹时,检查落迹标志是否为有效状态,当所述落迹标志不为有效状态时,把此落迹作为该书法字的第一个落迹存储起来,并把所述落迹标志设置为有效状态;当所述落迹标志为有效状态时,检查空帧数变量是否为零;当所述空帧数变量为零时,根据所述当前帧的落迹坐标,将所述当前帧的落迹添加至所述上一帧点画数据的相应位置,作为当前帧的点画数据;当所述空帧数变量不为零时,把当前帧的落迹作为新点画的第一个落迹,存储起来,并把所述空帧数变量置零,继续下一帧的图像处理;
当所述图像中不包含落迹时,检查落迹标志是否为有效状态;当所述落迹标志不为有效状态时,继续下一帧的处理;当落迹标志为有效状态时,所述空帧数变量加一;并判断所述空帧数是否大于预设最大空帧数;当所述空帧数不大于预设的最大空帧数时,将上一帧的点画数据作为当前帧的点画数据保存起来,然后继续下一帧的图像处理过程;当所述空帧数大于预设最大空帧数时,所述空帧数变量清零、落迹标志置为无效状态,写一个书法字的过程结束。
3.如权利要求1所述的动态书法字的处理方法,其特征在于,将所述当前帧的点画数据存储起来,包括:
将所述当前帧的点画数据进行左右翻转处理。
4.一种动态书法字的处理装置,用于执行权利要求1所述的动态书法字的处理方法,其特征在于,包括:
书写显示面板;
红外图像采集装置,用于实时采集所述书写显示面板当前帧的红外图像,设于所述书写显示面板下方或后方;
红外照明装置,设于所述书写显示面板上侧四周或下侧四周且均匀照射所述书写显示面板;
图像处理装置,与所述红外图像采集装置连接,用于对所述红外图像采集装置所采集的红外图像进行处理,得到基于落迹的书法字形成过程的点画数据,使得在呈现书法字的形成过程中,含有落迹。
5.如权利要求4所述的动态书法字的处理装置,其特征在于,所述书写显示面板设为透射型书写显示面板,所述书写显示面板包括透明支撑层和设于所述透明支撑层上侧或前侧的散射显示层。
6.如权利要求5所述的动态书法字的处理装置,其特征在于,当所述书写显示面板设为透射型书写显示面板时,还包括:
投影装置,用于将所述当前帧的点画数据以可见光的形式实时显示至书写显示面板上,设于所述书写显示面板的下方或后方。
7.如权利要求4所述的动态书法字的处理装置,其特征在于,所述书写显示面板设为透明显示屏时,所述透明显示屏与图像处理装置相连;
所述透明显示屏为透明LCD显示屏、透明OLED显示屏或其它类型的透明显示屏。
8.如权利要求7所述的动态书法字的处理装置,其特征在于,当所述书写显示面板设为LCD显示屏时,还包括:
背光源,设于透明显示屏的下方或后方。
9.如权利要求4所述的动态书法字的处理装置,其特征在于,还包括:
图像采集装置,用于采集用户书写过程中手指或腕部执笔的图像数据,设于所述书写显示面板上方。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810828218.4A CN109299649B (zh) | 2018-07-25 | 2018-07-25 | 一种动态书法字的处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810828218.4A CN109299649B (zh) | 2018-07-25 | 2018-07-25 | 一种动态书法字的处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109299649A CN109299649A (zh) | 2019-02-01 |
CN109299649B true CN109299649B (zh) | 2023-04-18 |
Family
ID=65172344
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810828218.4A Active CN109299649B (zh) | 2018-07-25 | 2018-07-25 | 一种动态书法字的处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109299649B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06266492A (ja) * | 1993-03-12 | 1994-09-22 | Toshiba Corp | 筆跡入力方法及び同装置 |
US6650320B1 (en) * | 2000-08-16 | 2003-11-18 | International Business Machines Corporation | Digital pen using visible image and autocorrelation of substrate pattern |
CN102023759A (zh) * | 2010-11-23 | 2011-04-20 | 广东威创视讯科技股份有限公司 | 一种有源笔书写定位方法 |
CN102289838A (zh) * | 2011-08-26 | 2011-12-21 | 厦门大学 | 一种由书法汉字图像生成其动态书写动画的方法 |
CN103942798A (zh) * | 2014-04-25 | 2014-07-23 | 锐达互动科技股份有限公司 | 一种影像互动模块笔迹的形状位置判断方法 |
CN104391651A (zh) * | 2014-12-11 | 2015-03-04 | 北京轩文文化发展有限公司 | 基于光学原理的书法笔迹呈现方法 |
-
2018
- 2018-07-25 CN CN201810828218.4A patent/CN109299649B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06266492A (ja) * | 1993-03-12 | 1994-09-22 | Toshiba Corp | 筆跡入力方法及び同装置 |
US6650320B1 (en) * | 2000-08-16 | 2003-11-18 | International Business Machines Corporation | Digital pen using visible image and autocorrelation of substrate pattern |
CN102023759A (zh) * | 2010-11-23 | 2011-04-20 | 广东威创视讯科技股份有限公司 | 一种有源笔书写定位方法 |
CN102289838A (zh) * | 2011-08-26 | 2011-12-21 | 厦门大学 | 一种由书法汉字图像生成其动态书写动画的方法 |
CN103942798A (zh) * | 2014-04-25 | 2014-07-23 | 锐达互动科技股份有限公司 | 一种影像互动模块笔迹的形状位置判断方法 |
CN104391651A (zh) * | 2014-12-11 | 2015-03-04 | 北京轩文文化发展有限公司 | 基于光学原理的书法笔迹呈现方法 |
Non-Patent Citations (2)
Title |
---|
基于图像处理的毛笔书法参数化辨识研究;钱自强;《工业控制计算机》;20160925(第09期);全文 * |
浅析书法临摹过程的交互式动画建模方法探析;庞彦霖;《报刊荟萃》;20180110(第01期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN109299649A (zh) | 2019-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8610670B2 (en) | Imaging and display apparatus, information input apparatus, object detection medium, and object detection method | |
CN102508574B (zh) | 基于投影屏幕的多点触控检测方法及多点触控系统 | |
CN104391651B (zh) | 基于光学原理的书法笔迹呈现方法 | |
US10825253B2 (en) | Generating augmented reality objects on real-world surfaces using a digital writing device | |
CN104199550B (zh) | 一种虚拟键盘操作装置、系统及方法 | |
US20170372449A1 (en) | Smart capturing of whiteboard contents for remote conferencing | |
CN107481299A (zh) | 一种书写笔迹显示方法及系统、智能终端及智能书写系统 | |
JP2007011276A (ja) | 画像表示装置、画像表示方法及びコマンド入力方法 | |
WO2012159392A1 (zh) | 一种动态壁纸与桌面组件进行交互的实现方法 | |
CN110489027B (zh) | 手持输入设备及其指示图标的显示位置控制方法和装置 | |
US20220277484A1 (en) | Software Engine Enabling Users to Interact Directly with a Screen Using a Camera | |
CN112767392A (zh) | 图像清晰度确定方法、装置、设备及存储介质 | |
CN104391613A (zh) | 基于光学原理的书法笔迹获取系统 | |
CN106843650A (zh) | 一种触摸屏一体机的触摸识别方法及系统 | |
CN104408978B (zh) | 基于光学原理的书法笔迹呈现系统 | |
JP4270247B2 (ja) | 表示撮像装置、物体検出プログラムおよび物体の検出方法 | |
CN109299649B (zh) | 一种动态书法字的处理方法及装置 | |
CN102023759B (zh) | 一种有源笔书写定位方法 | |
Muller | Multi-touch displays: design, applications and performance evaluation | |
Park et al. | Interactive display of image details using a camera-coupled mobile projector | |
CN204303184U (zh) | 基于光学原理的书法笔迹呈现系统 | |
CN105511649B (zh) | 一种多点定位系统及多点定位方法 | |
CN109964251A (zh) | 描绘装置及描绘方法 | |
CN110781734B (zh) | 一种基于纸笔交互的儿童认知游戏系统 | |
CN110168540B (zh) | 在电子显示器上捕获注释 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |