CN112684922B - 笔迹同步方法、装置、系统、终端设备及存储介质 - Google Patents

Abstract

本申请实施例公开一种笔迹同步方法、装置、系统、终端设备及计算机存储介质，能够进行虚拟笔迹和真实笔迹的同步，该方法包括：在数码笔书写时，通过不可见光摄像模组采集包括数码笔投射在书写面上的光斑的第一图像，以及通过可见光摄像模组采集包括数码笔和书写面的第二图像；数码笔包括光发射器，光发射器用于发射不可见光；根据从第一图像中识别出的光斑生成虚拟笔迹；根据书写面和数码笔在第二图像中的第一相对位置确定虚拟笔迹与虚拟的书写展示页面的第二相对位置；基于第二相对位置在书写展示页面上输出虚拟笔迹，能够进行虚拟笔迹和真实笔迹的同步，还可以为用户保留真实的书写体验。

Description

笔迹同步方法、装置、系统、终端设备及存储介质

技术领域

本申请涉及电子设备技术领域，具体涉及笔迹同步方法、装置、系统、终端设备及存储介质。

背景技术

目前，学生在学习的过程中，若需要将在作业本或者试卷等纸质材料上书写的内容数字化，往往只能在完成书写后对这些材料进行扫描，以生成与这些纸质材料对应的电子文件。在实践中发现，扫描只能在学生完成书写后进行，无法对虚拟笔迹和真实笔迹进行同步。

发明内容

本申请实施例公开了一种笔迹同步方法、装置、系统、终端设备及存储介质，能够进行虚拟笔迹和真实笔迹的同步。

本申请实施例公开一种笔迹生成方法，应用于终端设备，所述终端设备包括不可见光摄像模组和可见光摄像模组；所述方法包括：在数码笔书写时，通过所述不可见光摄像模组采集包括所述数码笔投射在书写面上的光斑的第一图像，以及通过所述可见光摄像模组采集包括所述数码笔和所述书写面的第二图像；所述数码笔包括光发射器，所述光发射器用于发射不可见光，以在所述书写面上形成光斑；根据从所述第一图像中识别出的光斑生成虚拟笔迹；根据所述书写面和所述数码笔在所述第二图像中的第一相对位置确定虚拟笔迹与虚拟的书写展示页面的第二相对位置；基于所述第二相对位置在所述书写展示页面上输出所述虚拟笔迹。

本申请实施例公开一种笔迹同步系统，所述系统包括：终端设备和数码笔；所述终端设备包括不可见光摄像模组和可见光摄像模组，所述数码笔包括光发射器；所述数码笔，用于在书写面上书写时，通过所述光发射器发射不可见光，以在所述书写面上形成光斑；所述终端设备，用于通过所述不可见光摄像模组采集包括所述数码笔投射在书写面上的光斑的第一图像，以及通过所述可见光摄像模组采集包括所述数码笔和所述书写面的第二图像；以及，用于根据从所述第一图像中识别出的光斑生成虚拟笔迹；以及，根据所述书写面和所述数码笔在所述第二图像中的第一相对位置确定虚拟笔迹与虚拟的书写展示页面的第二相对位置；以及，基于所述第二相对位置在所述书写展示页面上输出所述虚拟笔迹。

本申请实施例公开一种笔迹生成装置，应用于终端设备，所述终端设备包括不可见光摄像模组和可见光摄像模组；所述装置包括：采集模块，用于在数码笔书写时，通过所述不可见光摄像模组采集包括所述数码笔投射在书写面上的光斑的第一图像，以及通过所述可见光摄像模组采集包括所述数码笔和所述书写面的第二图像；所述数码笔包括光发射器，所述光发射器用于发射人眼不可见的光线，以在所述书写面上形成光斑；笔迹生成模块，用于根据从所述第一图像中识别出的光斑生成虚拟笔迹；确定模块，用于根据所述书写面和所述数码笔在所述第二图像中的第一相对位置确定虚拟笔迹与虚拟的书写展示页面的第二相对位置；输出模块，用于基于所述第二相对位置在所述书写展示页面上输出所述虚拟笔迹。

本申请实施例公开一种终端设备，包括：存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现本申请实施例公开的任一笔迹同步方法。

本申请实施例公开一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例公开的任一笔迹同步方法。

与相关技术相比，本申请实施例具有以下有益效果：

在数码笔书写时，可通过数码笔的光发射器发射不可见光，从而可以在数码笔的书写面上投射出光斑，该光斑的位置可跟随数码笔的移动而移动。终端设备可通过不可见光摄像模组拍摄该光斑，以得到第一图像，并且还可以通过可见光摄像模组拍摄包含数码笔和书写面的第二图像。终端设备对第一图像中的光斑进行识别，并可根据识别出的光斑生成虚拟笔迹。

数码笔书写的真实笔迹与书写面存在一定的相对位置，例如真实笔迹可能位于书写面的顶端区域、或者位于书写面的左侧区域等。为了确定真实笔迹与书写面之间的相对位置，终端设备可对第二图像中书写面和数码笔之间的第一相对位置进行识别，以得到第一相对位置。终端设备可根据第一相对位置确定虚拟笔迹与虚拟的书写展示页面之间的第二相对位置，即使得虚拟笔迹在书写展示页面上的位置与真实笔迹在书写面上的位置相关联。

当终端设备基于第二相对位置在书写展示页面上输出虚拟笔迹时，可以通过虚拟笔迹对真实笔迹的形态特征进行还原，还可以通过虚拟笔迹与书写展示页面之间的位置关系还原真实笔迹与书写面之间的位置关系，从而可以对虚拟笔迹和真实笔迹进行同步，并且无需借助触控式显示屏或者手写板等电子部件即可完成书写笔迹的数字化，还可以为用户保留真实的书写体验。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例公开的一种笔迹同步系统的应用场景示例图；

图2A是本申请实施例公开的一种不可见光摄像模组拍摄得到的第一图像的示例图；

图2B是本申请实施例公开的一种可见光摄像模组拍摄得到的第二图像的示例图；

图3是本申请实施例公开的另一种笔迹同步方法的流程示意图；

图4A是本申请实施例公开的一种书写面和数码笔之间的第一相对位置的示例图；

图4B是本申请实施例公开的一种终端设备输出虚拟笔迹的示例图；

图5是本申请实施例公开的另一种笔迹同步方法的流程示意图；

图6是本申请实施例公开的一种笔迹同步系统的结构示意图；

图7是本申请实施例公开的一种笔迹生成装置的结构示意图；

图8是本申请实施例公开的一种终端设备的结构示意图；

图9是本申请实施例公开的一种数码笔的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请实施例公开了一种笔迹同步方法、装置、系统、终端设备及计算机存储介质，能够进行虚拟笔迹和真实笔迹的同步。以下分别进行详细说明。

请参阅图1，图1是本申请实施例公开的一种笔迹同步系统的应用场景示例图。如图1所示，可包括终端设备10和数码笔20。其中：

终端设备10可包括智能手机、智能平板、家教机等电子设备，但不限于此。终端设备10还可包括不可见光摄像模组110和可见光摄像模组120。不可见光摄像模组110可用于捕捉人眼不可见的光信号，并基于捕捉到的不可见光生成数字图像。例如，不可见光摄像模组110可包括红外摄像头、夜视摄像头等。不可见光摄像模组110可包括滤光片，该滤光片可允许特定波段的光学信号通过并吸收其他波段的光信号，从而使得不可见光摄像模组110可以基于特定波段的光信号的成像。可见光摄像模组120可用于捕捉人眼可见光学信号，并基于捕捉到的可见光生成数字图像。可见光摄像模组120生成的数字图像与不可见光摄像模组110生成的数字图像相比，可能包括更多的图像细节。例如，可见光摄像模组120生成的数字图像与人眼看到的景象一致，而不可见光摄像模组110生成的数字图像。

可选的，不可见光摄像模组110和可见光摄像模组120均可与终端设备10的显示屏幕设置在同一面。如图1所示，当终端设备10放置在某一放置平面时，不可见光摄像模组110和可见光摄像模组120均可拍摄到放置在放置平面10之上且位于终端设备10的显示屏幕前方的物体。此外，不可见光摄像模组110和可见光摄像模组120可以靠近设置，即不可见光摄像模组110和可见光摄像模组120之间的距离小于预设的距离阈值，以使不可见光摄像模组110与可见光摄像模组120的取景范围较为一致。例如，不可见光摄像模组110和可见光摄像模组120可横向并排设置或者纵向并排设置。

可选的，终端设备10可包括可伸缩旋转的连接机构，不可见光摄像模组110和可见光摄像模组120可设置在该连接结构上，使得不可见光摄像模组110和可见光摄像模组120可以跟随该连接机构伸缩及转动。在拍摄时，图不可见光摄像模组110和可见光摄像模组120可伸出终端设备10的壳体，且旋转至摄像孔朝向放置平面，使得上述两个摄像模组拍摄到的数字图像的畸变较小。或者，不可见光摄像模组110和可见光摄像模组120还可通过架设在终端设备10壳体上的反光镜拍摄放置在终端设备10的显示屏幕前方的物体。反光镜中可包括放置在显示屏幕前方物体的镜像，不可见光摄像模组110和可见光摄像模组120110可通过拍摄该镜像生成包含放置在显示屏幕前方物体的数字图像，也可以减少拍摄到的数字图像的畸变。以上为图像采集装置110拍摄图像的一些可选的实施方式，但不限于此。

数码笔20，可包括集成了一种或多种电子元件的书写工具。在本申请实施例中，数码笔20集成的电子元件可包括光发射器210，该光发射器210可用于发射人眼不可见的光线，诸如红外线、紫外线等，但不限于此。光发射器210可设置在数码笔20的任一位置，例如设置笔尖或者尾部，但不限于此。

在本申请实施例中，数码笔20还可包括笔芯，例如铅笔芯、墨水笔芯等，以使得数码笔20可以提供真实的水墨书写功能。如图1所示，当用户使用数码笔20在书本、试卷等物体上书写时，光发射器210发射的光线投射在书写面40上，可形成光斑30。书写面40可以为平面也可以为曲面，具体不做限定。根据光发射器210的光线射出方向、射出角度的不同，光斑30可能在不同的位置形成。例如，光斑30可在数码笔20的左侧形成；或者，光斑30可在数码笔20的前方形成（如图1所示），但不限于此。光斑30是人眼不可见的，因此投射形成的光斑不会干扰用户的正常书写。数码笔20的位置跟随用户书写动作变化，而光斑30的位置也可相应跟随数码笔20的位置变化，终端设备可利用光斑30的位置变化生成书写笔迹。

可选的，数码笔20可包括接触式开关，该接触式开关可用于根据用户的触及操作触发光发射器210启动或停止发射光线。例如，在光发射器210启动发射光线之后，用户按压一次接触式开关，可启动光发射器210停止发射光线。当光发射器210停止发射光线时，数码笔20可转换为只提供水墨书写功能的书写笔。因此，接触式开光可供用户根据自身需求切换数码笔20的工作状态，有利于减少数码笔20不必要的电量消耗。

可选的，数码笔20还可包括压力传感器，该压力传感器可设置在数码笔的笔尖，用于检测数码笔的笔尖受到的压力。压力传感器在检测到笔尖受到的压力超过压力阈值时，向光发射器210发送脉冲开关信号。当光发射器210接收到该脉冲开关信号时，可启动发射光线。上述的压力阈值可根据实际的业务需求设定，例如可参考用户书写时笔尖受到的平均压力值设定，可设定为略低于笔尖受到的平均压力。当压力传感器检测到笔尖受到的压力超过压力阈值时，可以说明数码笔20正处于书写状态，笔尖与书写面接触。示例性的，在用户利用数码笔20进行书写时，难免会存在提笔的动作，提笔动作可使数码笔20离开书写面，悬浮于书写面上。若将数码笔20悬浮时光发射器210投射的光斑用于生成书写笔迹，则可能导致笔迹粘连。可见，在检测到笔尖受到超过阈值的压力时，再触发光发射器发射光线，有利于减少数码笔20的悬浮对笔迹生成的干扰，可提高笔迹生成的准确性。

在本申请实施例中，终端设备10的不可见光摄像模组110和可见光摄像模组120可以在数码笔20随着书写移动的过程中持续拍摄。不可见光摄像模组110可拍摄得到包含光斑30的第一图像，可见光摄像模组120可拍摄得到包含数码笔20和书写面40的第二图像。示例性的，请参阅图2A和图2B。图2A是本申请实施例公开的一种不可见光摄像模组拍摄得到的第一图像的示例图。如图2A所示，第一图像中可包括一个或多个光斑。由于不可见光摄像模组110的滤光片只允许特定波段的光信号通过，因此可预先过滤其他波段的外界光源的干扰，可减少第一图像中由外界光源投射的光斑的数量，可以减少外界光源的干扰，提高基于光斑生成的虚拟笔迹的准确性。图2B是本申请实施例公开的一种可见光摄像模组拍摄得到的第二图像的示例图。如图2B所示，第二图像中可包括书写面和数码笔，以及还可以包括数码笔书写的真实笔迹。需要说明的是，在本申请实施例中，可见光摄像模组210的感光芯片也可能捕捉到不可见光，因此，第二图像中可能也包括由数码笔20的光发射器210投射的光斑。

请参阅图3，图3是本申请实施例公开的另一种笔迹同步方法的流程示意图，该方法可适用于前述的终端设备。如图3所示，该方法可以包括以下步骤：图3是本申请实施例公开的另一种笔迹同步方法的流程示意图

310、在数码笔书写时，通过不可见光摄像模组采集包括数码笔投射在书写面上的光斑的第一图像，以及通过可见光摄像模组采集包括数码笔和书写面的第二图像。

320、根据从第一图像中识别出的光斑生成虚拟笔迹。

在本申请实施例中，终端设备可对不可见光摄像模组采集到的第一图像进行光斑识别。示例性的，可通过基于特征提取的目标匹配算法进行光斑识别，或者通过神经网络等机器学习算法进行光斑识别。数码笔的光发射器发射的不可见光投射在书写面上可以得到光斑，光发射器发射的不可见光的光照强度可远高于一般照明光源中包括的不可见光的光照强度。因此，不可见光摄像模组拍摄得到的第一图像中包括的光斑往往是由数码笔投射得到的，从第一图像中识别出的光斑可表征数码笔的位置变化。

在本申请实施例中，当终端设备获取到多帧第一图像时，光斑在多帧第一图像中的位置变化可对应于数码笔的位置变化，终端设备在每帧第一图像中识别出的光斑可作为生成虚拟笔迹的特征。因此，终端设备可以按照每帧第一图像的拍摄时间对从每帧第一图像中识别出的光斑进行连接，得到虚拟笔迹。可选的，终端设备可识别每帧第一图像中的光斑轮廓，并基于识别出的光斑轮廓确定光斑的几何中心。终端设备可按照上述的拍摄时间对从每帧第一图像中识别出的光斑的几何中心进行连接，从而得到虚拟笔迹。

330、根据书写面和数码笔在第二图像中的第一相对位置确定虚拟笔迹与虚拟的书写展示页面的第二相对位置。

在本申请实施例中，终端设备可从第二图像中识别出书写面和数码笔，终端设备可根据书写面在第二图像中的图像位置和数码笔在第二图像中的图像位置确定书写面和数码笔在第二图像中的第一相对位置。示例性的，请参阅图4A，图4A是本申请实施例公开的一种书写面和数码笔之间的第一相对位置的示例图。如图4A所示，可将书写面划分为左右两个不同的区域，数码笔与书写面之间的第一相对位置可为数码笔位于书写面的左侧区域。

可选的，终端设备可识别书写面在第二图像中占据的图像区域，识别数码笔在第二图像中的图像位置，并根据数码笔的图像位置和书写面的图像区域确定书写面与数码笔的第一相对位置。示例性的，终端设备在识别出书写面占据的图像区域后，可确定书写面的几何中心，并以书写面的几何中心为原点构建坐标系。终端设备可根据书写面的几何中心在第二图像中的像素坐标和数码笔在第二图像中的像素坐标，将数码笔在第二图像中的像素坐标转换至以书写面的几何中心为原点的坐标系中进行表示，转换后得到的数码笔的坐标可作为书写面与数码笔的第一相对位置。为了还原真实笔迹与书写面之间的相对位置，终端设备可根据数码笔和书写面在第二图像中的第一相对位置转换为虚拟笔迹与书写展示页面之间的第二相对位置。在本申请实施例中，终端设备可直接将第一相对位置确定为第二相对位置；或者，终端设备也可以对第一相对位置进行校正，校正后得到第二相对位置，具体不做限定。

可选的，不可见光摄像模组可通过反光镜拍摄得到第二图像；或者不可见光摄像模组可旋转至摄像孔与书写面平行的位置，再拍摄得到第二图像。通过上述两种方式拍摄得到的第二图像中，书写面和数码笔的畸变较小，因此书写面和数码笔在第二图像中的第一相对位置可以准确反映书写面和数码笔之间真实的相对位置，从而可以提高确定出的第一相对位置的准确性。

在本申请实施例中，终端设备可通过虚拟的书写展示页面显示虚拟笔迹。虚拟的书写展示页面可以是笔迹同步应用程序的某个用户界面，在书写展示页面中，终端设备可输出显示虚拟的书写面。例如，可显示虚拟的格纹纸张、虚拟的单行本纸张等。

340、基于第二相对位置在书写展示页面上输出虚拟笔迹。

在本申请实施例中，终端设备在书写展示页面上输出虚拟笔迹，虚拟笔迹与书写展示页面之间的相对位置为上述的第二相对位置。

示例性的，请参阅图4B，图4B是本申请实施例公开的一种终端设备输出虚拟笔迹的示例图。如图4B所示，终端设备的显示屏幕上可显示虚拟的书写展示页面，虚拟笔迹在书写展示页面上的位置与真实笔迹在书写面上的位置一致，用户可通过显示屏幕查看虚拟笔迹。

可选的，终端设备可根据从第二图像中识别到的书写面生成书写展示页面，以使书写展示页面与书写面一致。例如，若书写面为包括试题的试卷，则终端设备从第二图像中识别出书写面后，可对识别出的书写面进行光学字符识别，以识别出书写面上的试题内容，并生成包括该试题内容的书写展示页面。或者，若书写面为某一课本页面，且该课本页面上设置有用于标识该课本页面的标识符，则终端设备从第二图像中识别出书写面后，也可以从第二图像中对上述的标识符进行识别，以确定与该标识符对应的课本页面信息。终端设备可从数据库中查询出与该课本页面信息相对应的课本页面图像，并根据查询出的课本页面图像生成书写展示页面。需要说明的是，本申请实施例对终端设备生成与书写面一致的书写展示页面的实施方式不做限定。

终端设备在与书写面一致的书写展示页面上输出虚拟笔迹，可以通过数码笔和终端设备之间的交互对用户的书写笔迹进行实时同步，并且可以进一步将真实笔迹的书写面进行数字化还原，有利于通过本申请实施例公开的笔迹同步系统实现电子课堂、数字化作业批改等实际应用。例如，基于本申请公开的笔迹同步系统，孩子在试卷上写下的答案可以进行实时数字化，当孩子完成答案书写时，终端设备可以生成与孩子书写的答案一致的虚拟笔迹，并且虚拟笔迹所在的书写展示页面与试卷一致。若终端设备将包括虚拟笔迹和书写展示页面的文件发送至老师或者家长使用的电子设备，则老师或家长可以轻松地通过电子设备进行试卷查阅和批改。

可见，在前述实施例中，数码笔的光发射器发射不可见光，可以在书写面上投射出光斑。终端设备可以通过不可见光摄像模组拍摄该光斑，并根据该光斑生成虚拟笔迹。此外，终端设备还可以通过可见光摄像模组拍摄包括数码笔和书写面的图像，从而根据图像中数码笔和书写面之间的第一相对位置确定虚拟笔迹与书写展示面之间的第二相对位置，以根据该第二相对位置在书写展示面上输出虚拟笔迹。基于终端设备与数码笔的交互，可以通过虚拟笔迹对真实笔迹的形态特征进行还原，还可以通过虚拟笔迹与书写展示页面之间的位置关系还原真实笔迹与书写面之间的位置关系，从而可以对虚拟笔迹和真实笔迹进行同步，还可以为用户保留真实的书写体验。

请参阅图5，图5是本申请实施例公开的另一种笔迹同步方法的流程示意图。如图5所示，该方法可以包括以下步骤：

510、数码笔的光发射器在压力传感器检测到的压力超过压力阈值时发射不可见光。

在本申请实施例中，光发射器在压力传感器检测到的压力超过压力阈值时发射不可见光，可减少数码笔的悬浮对笔迹生成的干扰，可提高笔迹生成的准确性。

520、数码笔在压力传感器检测到的压力超过压力阈值时通过通信连接向终端设备发送书写触发信号。

在本申请实施例中，数码笔可通过通信模块与终端设备建立通信连接，该通信连接可以为基于Wi-Fi、蓝牙等无线传输信号建立的。数码笔可同时执行上述的步骤510和步骤520，数码笔的压力传感器在检测到笔尖受到饿压力超过压力阈值时，可向光发射器发送脉冲开关信号，并向通信模块发送书写触发信号。光发射器可以在接收到脉冲开关信号时，发射不可见光。通信模块在接收到书写触发信号时，可以将该书写触发信号转发至终端设备。

530、终端设备在接收到书写触发信号时，通过不可见光摄像模组采集包括数码笔投射在书写面上的光斑的第一图像，并通过可见光摄像模组采集包括数码笔和书写面的第二图像。

在本申请实施例中，终端设备在接收到书写触发信号时，可以同步触发不可见光摄像模组和可见光摄像模组进行拍摄。书写触发信号可用于指示数码笔启动书写，此时触发拍摄得到的图像可包括数码笔的书写动作，对于笔迹识别是有意义的。因此，数码笔在检测到压力超过压力阈值时向终端设备发送书写触发信号，使得终端设备可以根据书写触发信号触发不可见光摄像模组和可见光摄像模组进行拍摄，从而可以使得终端设备的拍摄与数码笔的书写同步，有利于提高虚拟笔迹和真实笔迹同步的实时性。此外，还可以避免在数码笔未处于书写过程时拍摄图像，可以进一步减少可能的光源干扰，并且也可以减少由于提笔动作而导致的笔迹粘连。

540、终端设备根据从第一图像中识别出的光斑生成虚拟笔迹。

在本申请实施例中，终端设备可以从第一图像中识别出的光斑进行筛选，并利用筛选后的光斑生成虚拟笔迹。可选的，终端设备可以确定从第一图像中识别出的各个光斑的几何特征参数，几何特征参数可包括光斑面积、光斑位置、光斑形状中的一种或者多种。终端设备可根据上述的几何特征参数从各个光斑中筛选出第一图像的有效光斑，并根据第一图像的有效光斑生成虚拟笔迹。

在本申请实施例中，从第一图像中识别出的光斑可能包括基于数码笔发射的光线形成的光斑，也可能包括基于外界光源发射的光线形成的光斑。外界光源可用于发射可见光或者不可见光，外界光源发射的光线投射至书写面时也可能形成光斑。不同的光源与书写面的距离不同，发射光线的光线强度不同、光线射出孔的形状不同等，不同的光源投射至书写面上形成的光斑在光斑位置、光斑面积、光斑形状等一种或多种几何特征参数上具有明显的差异。例如，数码笔投射至书写面的光斑的光斑面积可能远小于投射灯投射光斑的光斑面积；数码笔投射至书写面的光斑的光斑位置可能始终位于数码笔的左侧，而激光笔投射光斑的光斑位置可能位于数码笔的右侧；数码笔的壳体上设置有六角形的透光通孔，光发射器发射的光线经过该透过通孔投射至书写面时，形成光斑的光斑形状为六角形，而红外遥控器投射光斑的光斑形状一般为圆形。因此，可基于光斑的几何特征参数区分基于不同光源形成的光斑，从而可以从每帧光斑图像包括的多个光斑中筛选出由数码笔发射的光线形成的有效光斑。

在本申请实施例中，根据光斑的几何特征参数从每帧光斑图像中筛选出有效光斑，以减少外界光源的干扰，可以使得根据每帧光斑图像的有效光斑生成的书写笔迹更接近于数码笔在书写面上书写的真实笔迹，提高生成书写笔迹的准确性。

作为一种可选的实施方式，终端设备可以将从第一图像中识别出的光斑的光斑面积与参考面积范围进行对比，将光斑面积位于参考面积范围内的光斑确定为第一图像的有效光斑。参考面积范围可根据数码笔在书写面上书写时，光发射器与书写面之间的相对距离以及光发射器的光线射出角度确定。其中，光发射器的光线射出角度可指射出光线与数码笔的笔身长度之间的夹角大小。

作为另一种可选的实施方式，终端设备还可以将从第一图像中识别出的光斑的光斑位置与参考区域进行对比，将光斑位置位于参考区域内的光斑确定为第一图像的有效光斑。参考区域可根据目标物体在每帧光斑图像中的图像位置确定。目标物体可包括与书写相关的物体，例如数码笔本身、握笔的手；或者书本、试卷、纸张等常见的用于提供书写面的物体；或者，桌面、台面等可为终端设备提供放置平面的物体。目标物体可位于参考区域以内，也可以位于参考区域以外，具体不做限定。

作为另一种可选的实施方式，终端设备还可以将从第一图像中识别出的光斑的光斑形状与预设形状进行对比，将光斑形状与预设形状相匹配的光斑确定为第一图像的有效光斑。上述的预设形状可参考数码笔壳体上透光通孔的形状设置。可以将透光通孔的形状设置为较为特殊的，不常见的形状，例如六角形、不规则的多边形等，以提高光发射器投射的光斑与外界光源投射的光斑之间的区分度，有利于通过光斑形状进行光斑筛选。

550、终端设备根据书写面和数码笔在第二图像中的第一相对位置确定虚拟笔迹与虚拟的书写展示页面的第二相对位置。

在本申请实施例中，终端设备执行步骤550的实施方式可包括以下步骤：

S1、终端设备识别书写面在第二图像中占据的图像区域，并识别数码笔在第二图像中的图像位置。

在本申请实施例中，终端设备可通过对书写面和数码笔的图像特征进行识别，以从第二图像中识别出书写面占据的图像区域以及数码笔的图像位置。可选的，由于数码笔的笔身存在一定的长度，终端设备在对数码笔的图像位置进行识别时，可识别数码笔的笔尖在第二图像中的图像位置作为数码笔在第二图像中的图像位置。

进一步可选的，数码笔的笔尖可设置有标识图形，该标识图形可通过印刷、镭射或者镂空等方式设置在笔尖上。或者，若数码笔的透光通孔设置在数码笔的笔尖，则该标识图形可包括透光通孔的形状。终端设备可以在第二图像中识别该标识图形，从而识别出标识图形在第二图像中的图像位置。

终端设备可根据标识图形在第二图像中的图像位置确定数码笔的笔尖在第二图像中的图像位置。示例性的，终端设备可直接将标识图形在第二图像中的图像位置确定为笔尖的图像位置。或者，终端设备可获取数码笔的产品规格信息，并从产品规格信息中确定标识图形与笔尖末端的实际位置关系，例如标识图形与笔尖末端之间的距离为0.5毫米。终端设备还可进一步根据可见光摄像模组的标定参数确定可见光摄像模组拍摄到的数字图像中各个像素点的像素距离与真实世界中的实际距离之间的转换关系。终端设备可根据像素距离与实际距离之间的转换关系以及产品规格信息包括的标识图形与笔尖末端的实际位置关系，确定标识图形与笔尖末端在第二图像中的图像位置关系，再根据识别出的标识图像在第二图像中的图像位置，确定笔尖末端在第二图像中的图像位置作为笔尖的图像位置。

S2、终端设备根据数码笔在第二图像中的图像位置与书写面在第二图像中的图像区域确定书写面与数码笔的第一相对位置。

S3、终端设备将第一相对位置转换为虚拟笔迹与虚拟的书写展示页面的第二相对位置。

560、终端设备基于第二相对位置在书写展示页面上输出虚拟笔迹。

在本申请实施例中，终端设备执行步骤550-步骤570的实施方式可参见前述实施例，以下内容不再赘述。

在前述实施例中，数码笔在笔尖受到的压力超过压力阈值时投射光斑，可以减少笔迹粘连，提高生成的虚拟笔迹的准确性。并且，数码笔在投射光斑的同时向终端设备发送书写触发信号，以触发不可见光摄像模组和可见光摄像模组进行拍摄，从而可以使得终端设备的拍摄与数码笔的书写同步，可以提高虚拟笔迹和真实笔迹同步的实时性，还可以进一步减少可能的光源干扰，减少笔迹粘连。进一步地，终端设备在根据从图像中识别出的光斑生成虚拟笔迹时，还可以先利用光斑的几何特征参数对光斑进行筛选，并根据筛选后保留的有效光斑生成虚拟笔迹，可以提高虚拟笔迹的准确性。

请参阅图6，图6是本申请实施例公开的一种笔迹同步系统的结构示意图。如图6所示，该笔迹同步系统600包括：数码笔620和终端设备620。其中，数码笔610包括光发射器，终端设备620可包括不可见光摄像模组和可见光摄像模组。

数码笔610，用于在书写面上书写时，通过光发射器发射不可见光，以在书写面上形成光斑。

终端设备620，用于通过不可见光摄像模组采集包括数码笔投射在书写面上的光斑的第一图像，以及通过可见光摄像模组采集包括数码笔和书写面的第二图像；以及，

用于根据从第一图像中识别出的光斑生成虚拟笔迹；以及，根据书写面和数码笔在第二图像中的第一相对位置确定虚拟笔迹与虚拟的书写展示页面的第二相对位置；以及，基于第二相对位置在书写展示页面上输出虚拟笔迹。

在一个实施例中，数码笔610，还可包括压力传感器，该压力传感器用于检测数码笔的笔尖受到的压力；以及，数码笔610的光发射器，还用于在压力传感器检测到的压力超过压力阈值时发射不可见光。

在一个实施例中，数码笔610可与终端设备620建立通信连接，该通信连接可基于Wi-Fi、蓝牙等无线通信信号建立。

数码笔610，还可用于在压力传感器检测到的压力超过压力阈值时，通过通信连接向终端设备发送书写触发信号。

终端设备620，还可用于在接收到数码笔发送的书写触发信号时，通过不可见光摄像模组采集包括数码笔投射在书写面上的光斑的第一图像，并通过可见光摄像模组采集包括数码笔和书写面的第二图像。

在一个实施例中，终端设备620，还可用于检测书写面在第二图像中占据的图像区域，并检测数码笔在第二图像中的图像位置；

以及，根据数码笔的图像位置与书写面的图像区域确定书写面与数码笔的第一相对位置；

以及，将第一相对位置转换为虚拟笔迹与虚拟的书写展示页面的第二相对位置。

在一个实施例中，数码笔的笔尖可设置有标识图形；终端设备620，还可用于在第二图像中识别该标识图形；以及，根据标识图形在第二图像中的图像位置确定数码笔的笔尖在第二图像中的图像位置；以及，将数码笔的笔尖在第二图像中的图像位置确定为数码笔在第二图像中的图像位置。

在一个实施例中，终端设备620，还可用于从第一图像中识别出一个或多个光斑，并确定各个光斑的几何特征参数，该几何特征参数可包括光斑面积、光斑位置、光斑形状中的一种或者多种。以及，终端设备620，还可用于根据各个光斑的几何特征参数从各个光斑中筛选出第一图像的有效光斑；以及，根据第一图像的有效光斑生成虚拟笔迹。

可选的，终端设备620可用于将从第一图像中识别出的光斑的光斑面积与参考面积范围进行对比，将光斑面积位于参考面积范围内的光斑确定为第一图像的有效光斑。或者，终端设备620可用于将从第一图像中识别出的光斑的光斑位置与参考区域进行对比，将光斑位置位于参考区域内的光斑确定为第一图像的有效光斑。或者，终端设备620可用于将从第一图像中识别出的光斑的光斑形状与预设形状进行对比，将光斑形状与预设形状相匹配的光斑确定为第一图像的有效光斑。

可见，在前述实施例中，通过数码笔和终端设备组成的笔迹同步系统，数码笔可以在书写时投射人眼不可见的光斑，终端设备可以基于该光斑生成虚拟笔迹，并根据拍摄到的图像识别出书写面和数码笔之间的相对位置，既可以通过虚拟笔迹对真实笔迹的形态特征进行还原，还可以通过虚拟笔迹与书写展示页面之间的位置关系还原真实笔迹与书写面之间的位置关系，从而可以对虚拟笔迹和真实笔迹进行同步，还可以为用户保留真实的书写体验。

请参阅图7，图7是本申请实施例公开的一种笔迹生成装置的结构示意图。前述实施例中的终端设备可包括该笔迹生成装置，如图7所示，该笔迹生成装置700可包括：采集模块710、笔迹生成模块720、确定模块730和输出模块740。

采集模块710，可用于在数码笔书写时，通过不可见光摄像模组采集包括数码笔投射在书写面上的光斑的第一图像，以及通过可见光摄像模组采集包括数码笔和书写面的第二图像；数码笔包括光发射器，光发射器用于发射人眼不可见的光线。可选的，数码笔还可包括压力传感器，该压力传感器用于检测数码笔的笔尖受到的压力；以及，光发射器，还用于在压力传感器检测到的压力超过压力阈值时发射不可见光。

笔迹生成模块720，可用于根据从第一图像中识别出的光斑生成虚拟笔迹。

确定模块730，可用于根据书写面和数码笔在第二图像中的第一相对位置确定虚拟笔迹与虚拟的书写展示页面的第二相对位置。

输出模块740，可用于基于第二相对位置在书写展示页面上输出虚拟笔迹。

在一个实施例中，笔迹生成装置700，还可包括收发模块。

收发模块，用于接收数码笔发送的书写触发信号，该书写触发信号是数码笔在压力传感器检测到的压力超过压力阈值时通过与终端设备的通信连接发送的。

采集模块710，还可用于在收发模块接收到书写触发信号时，通过不可见光摄像模组采集包括数码笔投射在书写面上的光斑的第一图像，并通过可见光摄像模组采集包括数码笔和书写面的第二图像。

在一个实施例中，确定模块730，可包括：第一识别单元和确定单元。

第一识别单元，可用于识别书写面在第二图像中占据的图像区域，并识别数码笔在第二图像中的图像位置。

确定单元，可用于根据数码笔的图像位置与书写面的图像区域确定书写面与数码笔的第一相对位置；以及，将第一相对位置转换为虚拟笔迹与虚拟的书写展示页面的第二相对位置。

在一个实施例中，数码笔的笔尖可设置有标识图形；第一识别单元，还可用于在第二图像中识别该标识图形；以及，根据标识图形在第二图像中的图像位置确定数码笔的笔尖在第二图像中的图像位置；以及，将数码笔的笔尖在第二图像中的图像位置确定为数码笔在第二图像中的图像位置。

在一个实施例中，笔迹生成模块720，可包括：第二识别单元、筛选单元和生成单元。

第二识别单元，可用于从第一图像中识别出一个或多个光斑，并确定各个光斑的几何特征参数。

筛选单元，可用于根据各个光斑的几何特征参数从各个光斑中筛选出第一图像的有效光斑。

生成单元，可用于根据第一图像的有效光斑生成虚拟笔迹。

可见，在前述实施例中，笔迹生成装置可以拍摄数码笔在书写时通过光发射器投射的光斑，并从拍摄到的图像中识别出该光斑。笔迹生成装置根据识别出的光斑生成虚拟笔迹，并根据拍摄到的图像识别出书写面和数码笔之间的相对位置，既可以通过虚拟笔迹对真实笔迹的形态特征进行还原，还可以通过虚拟笔迹与书写展示页面之间的位置关系还原真实笔迹与书写面之间的位置关系，从而可以对虚拟笔迹和真实笔迹进行同步，还可以为用户保留真实的书写体验。

请参阅图8，图8是本申请实施例公开的一种终端设备的结构示意图。如图8所示，该终端设备800可以包括：

存储有可执行程序代码的存储器810；

与存储器810耦合的处理器820；

其中，处理器820调用存储器810中存储的可执行程序代码，执行前述实施例公开的任意一种笔迹同步方法。

需要说明的是，图8所示的终端设备还可以包括电源、输入按键、摄像头、扬声器、屏幕、RF电路、Wi-Fi模块、蓝牙模块、传感器等未显示的组件，本实施例不作赘述。

请参阅图9，图9是本申请实施例公开的一种数码笔的结构示意图。如图9所示，该数码笔700可包括：光发射器910、压力传感器920和通信模块930。

光发射器910，可用于发射不可见光，以使数码笔900在书写面上书写时，在书写面上形成光斑。在本申请实施例中，光发射器910发射的光斑可以被终端设备的不可见光设备模组拍摄得到第一图像，以使终端设备根据从第一图像中识别出的光斑生成虚拟笔迹。并且，终端设备还可在数码笔900书写时通过可见光摄像模组拍摄包括数码笔900和书写面的第二图像，并根据数码笔900和书写面在第二图像中的第一相对位置确定虚拟笔迹和虚拟的书写展示页面之间的第二相对位置，从而可以基于该第二相对位置在书写展示页面上输出虚拟笔迹。

压力传感器920，可用于检测数码笔900的笔尖受到的压力。在一个实施例中，光发射器910，还用于在压力传感器920检测到的压力超过压力阈值时发射不可见光。

通信模块930，可用于在压力传感器920检测到的压力超过压力阈值时通过与终端设备的通信连接向终端设备发送书写触发信号，以使终端设备在接收到该书写触发信号时，通过终端设备的不可见光摄像模组采集包括数码笔投射在书写面上的光斑的第一图像；以及，通过终端设备的可见光摄像模组采集包括数码笔和书写面的第二图像。

可见，数码笔在书写时通过光发射器投射光斑，可以通过光斑的位置变化表征数码笔的位置变化，从而使得终端设备可通过拍摄并识别光斑生成虚拟笔迹，从而实现虚拟笔迹和真实笔迹的同步。

本申请实施例公开一种数码笔，该数码笔包括：存储有可执行程序代码的存储器；以及，与存储器耦合的处理器；其中，处理器调用存储器中存储的可执行程序代码，执行前述实施例公开的任意一种笔迹同步方法。需要说明的是，本申请实施例公开的数码笔还可以包括电源、输入按键、等未显示的组件，本实施例不作赘述。

本申请实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得被处理器执行时实现前述实施例公开的任意一种笔迹生成方法。

本申请实施例公开一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可操作来使计算机执行前述实施例公开的任意一种笔迹生成方法。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在本申请的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备（可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器）执行本申请的各个实施例上述方法的部分或全部步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器（Read-Only Memory，ROM）、随机存储器（Random Access Memory，RAM）、可编程只读存储器（Programmable Read-only Memory，PROM）、可擦除可编程只读存储器（Erasable Programmable Read Only Memory，EPROM）、一次可编程只读存储器（One-time Programmable Read-Only Memory，OTPROM）、电子抹除式可复写只读存储器（Electrically-Erasable Programmable Read-Only Memory，EEPROM）、只读光盘（CompactDisc Read-Only Memory，CD-ROM）或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上对本申请实施例公开的一种笔迹同步方法、系统、装置、终端设备及计算机存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (9)

1.一种笔迹同步方法，其特征在于，应用于终端设备，所述终端设备包括不可见光摄像模组和可见光摄像模组；所述方法包括：

在数码笔书写时，通过所述不可见光摄像模组采集包括所述数码笔投射在书写面上的光斑的第一图像，以及通过所述可见光摄像模组采集包括所述数码笔和所述书写面的第二图像；所述数码笔包括光发射器，所述光发射器用于发射不可见光，以在所述书写面上形成光斑；所述数码笔的笔尖设置有透光通孔，所述光发射器发射的不可见光通过所述透光通孔投射至所述书写面；

从所述第一图像中识别出一个或多个光斑，并确定所述第一图像中的各个光斑的光斑形状；

将光斑形状与预设形状相匹配的光斑确定为第一图像的有效光斑，并根据所述第一图像的有效光斑生成虚拟笔迹；所述预设形状参考所述透光通孔的形状设置；

识别所述书写面在所述第二图像中占据的图像区域，以及在所述第二图像中识别标识图形，所述标识图形为所述透光通孔的形状；

根据所述标识图形在所述第二图像中的图像位置确定所述数码笔的笔尖在所述第二图像中的图像位置；

将所述数码笔的笔尖在所述第二图像中的图像位置确定为所述数码笔在所述第二图像中的图像位置，并根据所述数码笔的图像位置与所述书写面的所述图像区域确定所述书写面与所述数码笔的第一相对位置；

将所述第一相对位置转换为虚拟笔迹与虚拟的书写展示页面的第二相对位置；

基于所述第二相对位置在所述书写展示页面上输出所述虚拟笔迹。

2.根据权利要求1任一所述的方法，其特征在于，所述数码笔还包括：压力传感器，所述压力传感器用于检测所述数码笔的笔尖受到的压力；以及，所述光发射器，还用于在所述压力传感器检测到的压力超过压力阈值时发射不可见光。

3.根据权利要求2所述的方法，其特征在于，所述数码笔与所述终端设备之间建立通信连接；以及，所述通过所述不可见光摄像模组采集包括所述数码笔投射在书写面上的光斑的第一图像，以及通过所述可见光摄像模组采集包括所述数码笔和所述书写面的第二图像，包括：

在接收到所述数码笔发送的书写触发信号时，通过所述不可见光摄像模组采集包括所述数码笔投射在书写面上的光斑的第一图像，并通过所述可见光摄像模组采集包括所述数码笔和所述书写面的第二图像，其中，所述书写触发信号是所述数码笔在所述压力传感器检测到的压力超过所述压力阈值时通过所述通信连接发送的可见光摄像。

4.一种笔迹同步系统，其特征在于，所述系统包括：终端设备和数码笔；所述终端设备包括不可见光摄像模组和可见光摄像模组，所述数码笔包括光发射器；

所述数码笔，用于在书写面上书写时，通过所述光发射器发射不可见光，以在所述书写面上形成光斑；所述数码笔的笔尖设置有透光通孔，所述光发射器发射的不可见光通过所述透光通孔投射至所述书写面；

所述终端设备，用于通过所述不可见光摄像模组采集包括所述数码笔投射在书写面上的光斑的第一图像，以及通过所述可见光摄像模组采集包括所述数码笔和所述书写面的第二图像；以及，

用于从所述第一图像中识别出一个或多个光斑，并确定所述第一图像中的各个光斑的光斑形状；将光斑形状与预设形状相匹配的光斑确定为第一图像的有效光斑，并根据所述第一图像的有效光斑生成虚拟笔迹；所述预设形状参考所述透光通孔的形状设置；

所述终端设备，还用于识别所述书写面在所述第二图像中占据的图像区域，在所述第二图像中识别标识图形，所述标识图形为所述透光通孔的形状；以及，根据所述标识图形在所述第二图像中的图像位置确定所述数码笔的笔尖在所述第二图像中的图像位置；以及，将所述数码笔的笔尖在所述第二图像中的图像位置确定为所述数码笔在所述第二图像中的图像位置，并根据所述数码笔的图像位置与所述书写面的所述图像区域确定所述书写面与所述数码笔的第一相对位置；将所述第一相对位置转换为虚拟笔迹与虚拟的书写展示页面的第二相对位置；以及，基于所述第二相对位置在所述书写展示页面上输出所述虚拟笔迹。

5.根据权利要求4所述的系统，其特征在于，所述数码笔还包括：压力传感器，所述压力传感器用于检测所述数码笔的笔尖受到的压力；以及，所述光发射器，还用于在所述压力传感器检测到的压力超过压力阈值时发射不可见光。

6.根据权利要求5所述的系统，其特征在于，所述数码笔与所述终端设备通信连接；

所述数码笔，还用于在所述压力传感器检测到的压力超过所述压力阈值时，通过所述通信连接向所述终端设备发送书写触发信号；

所述终端设备，还用于在接收到书写触发信号时，通过所述不可见光摄像模组采集包括所述数码笔投射在书写面上的光斑的第一图像，并，通过所述可见光摄像模组采集包括所述数码笔和所述书写面的第二图像。

7.一种笔迹生成装置，其特征在于，应用于终端设备，所述终端设备包括不可见光摄像模组和可见光摄像模组；所述装置包括：

采集模块，用于在数码笔书写时，通过所述不可见光摄像模组采集包括所述数码笔投射在书写面上的光斑的第一图像，以及通过所述可见光摄像模组采集包括所述数码笔和所述书写面的第二图像；所述数码笔包括光发射器，所述光发射器用于发射人眼不可见的光线；所述数码笔的笔尖设置有透光通孔，所述光发射器发射的不可见光通过所述透光通孔投射至所述书写面；

笔迹生成模块，用于从所述第一图像中识别出一个或多个光斑，并确定所述第一图像中的各个光斑的光斑形状；以及，将光斑形状与预设形状相匹配的光斑确定为第一图像的有效光斑，并根据所述第一图像的有效光斑生成虚拟笔迹；所述预设形状参考所述透光通孔的形状设置；

确定模块，用于识别所述书写面在所述第二图像中占据的图像区域，以及在所述第二图像中识别标识图形，所述标识图形为所述透光通孔的形状；以及，根据所述标识图形在所述第二图像中的图像位置确定所述数码笔的笔尖在所述第二图像中的图像位置；以及，将所述数码笔的笔尖在所述第二图像中的图像位置确定为所述数码笔在所述第二图像中的图像位置，并根据所述数码笔的图像位置与所述书写面的所述图像区域确定所述书写面与所述数码笔的第一相对位置；

将所述第一相对位置转换为虚拟笔迹与虚拟的书写展示页面的第二相对位置；

输出模块，用于基于所述第二相对位置在所述书写展示页面上输出所述虚拟笔迹。

8.一种终端设备，其特征在于，包括：存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如权利要求1至3任一所述的方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一所述的方法。

Images