CN106778720B - 一种对手写过程数字化记录和电子化重建的系统及方法 - Google Patents

Abstract

本发明公开了一种对手写过程数字化记录和电子化重建的系统及方法，该系统包括用于在手写介质上进行书写的手写输入部件；手写工具配套装置，设置在手写输入部件上，用于探测手写输入部件与手写介质之间是否接触；定位与轨迹跟踪装置，用于在接收到开始书写的状态信息后，对手写输入部件的笔尖的运动轨迹图像进行捕捉，并将捕捉到的运动轨迹图像发送出去；终端设备，用于接收定位与轨迹跟踪装置捕捉到的运动轨迹图像，并对其进行识别和处理，通过电子化的方式重建手写输入的轨迹。本发明的输入工具不需要采用完全定制的设备；对承载和记录实际书写痕迹的介质材料无要求；且使用者不需要比对操作，大大提高了书写轨迹识别的通用性和用户体验。

Description

一种对手写过程数字化记录和电子化重建的系统及方法

技术领域

本发明涉及人机交互技术领域，尤其涉及一种对手写过程数字化记录和电子化重建的系统及方法。

背景技术

当前，用于将手写内容输入到电子设备并再现的处理方法已经被提出。

一类典型的解决方法是：由用于进行手写输入的工具部分(电子触控笔或手指触摸、电容屏和电阻屏等电子屏)、用于识别手写内容的模式识别部分、用于确定手写内容与用户目标是否一致的判断部分、用于确定手写操作是否保留的软件控制设置、用于将手写内容在电子设备中重建的模型进行存储的物理存储装置等组成。上述这类设备只能在屏幕上进行书写，所保留的内容也仅有电子文件，且需要边写边比对屏幕、确认和选择屏幕反馈的内容，降低了使用者的书写效率，且使用者必须不断地看屏幕，降低了使用者的使用体验，尤其对于尚处于身体发育期的中小学生视力伤害更大。

另一类典型的解决方法是：现有超声波输入方法,通常为移动轨迹的图形化,对其移动轨迹进一步处理时,由于手写轨迹的弯曲,这种输入技术对于通常的字母或汉字还需要进一步复杂的识别技术,才能将手写轨迹电子化,且不是完全真实的还原，同时对于一些非文字的图形,电子化则比较困难。在这类输入方法上增加红外发生单元，构建的一种虚拟输入系统,包括获取输入信息的信息接收端、操作输入的操作端、进行输入的操作平面,所述操作端包括产生超声波的超声波发生单元以及产生红外信号的红外发生单元,所述信息接收端包括接收所述超声波发生单元产生的超声波的超声波接收单元、接收所述红外发生单元产生的红外信号的红外接收单元以及进行输入控制的控制单元,所述操作平面通过所述控制单元定义输入区域,所述操作端在所述输入区域进行输入操作时,所述超声波发生单元发出超声波,所述超声波接收单元接收所述超声波,所述红外发生单元发出红外信号,所述红外接收单元接收所述红外信号后确定所述操作端的起始位置,所述控制单元根据接收的超声波获取所述操作端的所在输入区域的位置完成输入。这类输入方法需要将进行输入的操作平面、产生超声波的超声波发生单元和产生红外信号的红外发生单元的装置位置固定，而用户又容易移动操作平面，特别是当操作平面是多页纸(例如练习册、作业本)时，每翻一页均要重新固定，使用不方便且影响了用户体验。而且还有另一个弊端，这种集成了超声波单元、红外单元的装置或设备可用于手写输入的区域面积比较小，影响了用户的多场景使用，故难以普及。而且，上述多种方式都需要使用者经常观看屏幕进行比对或检查，影响了用户使用体验。

办公、会议、交流中的书写记录要求快速准确的被记录到物理存储介质中并且电子化、学校或者其他教培机构的老师教学活动中的板书行为要求将过程数字化和结果电子化从而比传统的板书更具交互性和便捷性、学生的作业需要记录过程和电子化、某些需要言行进行交流的场合同时需要手写录入且在无需纸张等情况下进行，等等，综合和提炼这些需求，说明人们需要在不同的应用场景下手写(例如用笔在不限制尺幅的纸上书写和画图、用粉笔在传统黑板上书写和画图、甚至用一根杆状物在任意平面或空间上手写)，对于有墨水、粉笔等材料的情况下，需要保存墨迹等传统痕迹以利于视觉感知，且能迅速电子化展现和将过程数字化演示；对于无墨水、粉笔等材料的情况下，可以在任意介质上(含无介质载体依托)、任意尺幅范围内书写(绘制)且迅速电子化展现和将过程数字化演示。而且，使用者需要尽量减少看屏幕的时间和次数，并不须在具有显示视效的电子设备端对书写(绘制)的内容进行确认。同时，还可以将实体介质上手写的轨迹数字化过程和电子化内容迅速推送到各种带屏或显示的设备上实现互动。

发明内容

本发明要解决的技术问题在于针对现有技术中使用者需要看屏幕进行比对操作，操作平面容易发生移动，人机交互体验较差的缺陷，提供一种对手写过程数字化记录和电子化重建的系统及方法。

本发明解决其技术问题所采用的技术方案是：

本发明提供一种对手写过程数字化记录和电子化重建的系统，包括用于在手写介质上进行书写的手写输入部件，该系统还包括：

手写工具配套装置，设置在手写输入部件上，包括感知模块、辅助模块和第一通信模块；感知模块用于探测手写输入部件与手写介质之间是否接触；辅助模块用于安装和固定手写工具配套装置，并矫正书写姿势；第一通信模块用于发送开始书写的状态信息；

定位与轨迹跟踪装置，设置在手写介质的附近，包括图像采集模块、第二通信模块、电源模块和支持模块；图像采集模块为双摄像头，用于在接收到开始书写的状态信息后，对手写输入部件的笔尖的运动轨迹图像进行捕捉；第二通信模块用于将捕捉到的运动轨迹图像发送出去；电源模块用于为定位与轨迹跟踪装置供电；支持模块用于安装和固定定位与轨迹跟踪装置；

终端设备，用于接收定位与轨迹跟踪装置捕捉到的运动轨迹图像，并对其进行识别和处理，通过电子化的方式重建手写输入的轨迹。

进一步地，本发明的感知模块包括1个或多个传感器；若为多个传感器，多个传感器之间组成蜂窝阵列，通过该蜂窝阵列探测手写输入部件与手写介质之间产生的声波，进而判断是否接触。

进一步地，本发明的感知模块包括声波模型建立单元，用于对采集到的手写输入部件与手写介质之间产生的声波进行处理，过滤掉非手写行为的声波波形，对手写行为的声波波形进行特征提取，建立手写输入部件与书写介质接触时的声波模型。

进一步地，本发明的辅助模块包括空气流通模块、书写工具固定模块、书写姿势矫正模块和电源模块；书写工具固定模块包括标识单元，用于在进行轨迹识别时标识相对位置，作为建立书写轨迹的坐标系的参考坐标点。

进一步地，本发明的终端设备为带有电子屏幕和运算能力的电子设备，包括个人电脑、笔记本电脑、平板电脑、智能电视和手机。

本发明提供一种对手写过程数字化记录和电子化重建的方法，包括以下步骤：

S1、通过蜂窝式阵列传感器获取手写输入部件和书写介质之间产生的声波，并对声波数据进行处理，并发送给定位与轨迹跟踪装置，将双摄像头由休眠状态变换为工作状态；

S2、获取手写输入部件在书写介质上的书写轨迹图像，将其通过无线通信的方式发送给终端设备；

S3、终端设备上的软件对书写轨迹图像进行第一次处理，根据图像中的标识对象的位置，预设的标识对象的尺寸以及标识对象与书写介质之间的距离，对手写输入部件的笔尖位置进行定位；

S4、过滤掉非手写行为的声波波形，对手写行为的声波波形进行特征提取，建立手写输入部件与书写介质接触时的声波模型，通过声波模型判断当前是否为手写行为；

S5、若为非手写行为，终端设备上的软件处于待机状态，不对采集到的图像进行轨迹识别；若为手写行为，终端设备上的软件对书写轨迹图像进行实时处理，以手写输入端为原点构建三维空间坐标系，构建完坐标系后即开始追踪书写轨迹；

S6、根据书写轨迹，在终端设备上重建并显示用户的手写输入内容，并生成笔记电子文件。

S7、用户选择是否对笔记电子文件进行保存。

进一步地，本发明的步骤S3中对手写输入部件的笔尖位置进行定位的方法具体为：

设置标识对象的边缘外沿直径和下边缘外沿直径，先由图像中标识对象上下边缘的比例来确定手写工具配套装置和摄像头的角度；同时由标识对象上下边缘分别到手写输入端的正常距离和采集到的标识对象边缘的相对长度确定笔尖位置；

进一步地，本发明的步骤S5中构建三维空间坐标系的方法具体为：

获取双摄像头采集到的图像深度信息，根据图像深度信息确定书写介质、手写工具配套装置、手写录入轨迹相对于双摄像头的距离，然后根据笔尖到摄像头的距离来计算书写介质、手写工具配套装置、手写录入轨迹相对于手写输入端的距离，从而构建出以手写输入端为原点的三维空间坐标系。

进一步地，本发明的步骤S5中还包括进行翻页操作的方法，具体为：

通过翻页手势可以实现新增空白页，当用户想查看之前保存的手写内容时，通过翻页手势可以返回到前文内容；

对向后翻页和向前翻页建立两个二维模型，存储在终端设备中；

对定位与轨迹跟踪装置传到终端上的图片进行检测，当后一张图片与前一张图片相似度低于70％时即开始检测，并提取后一张图片的不同区域；

检测完成后开使对不用区域进行识别，首先识别该不同点是否为手势，确定为手势之后开始对该手势进行匹配以确定翻页的顺序。

进一步地，本发明的步骤S5中追踪书写轨迹的方法具体为：

根据构建的以手写输入端为原点的三维空间坐标系，对收到的每一帧的图片进行处理，确定每一帧图片中手写输入端的坐标；将前一张图片中的手写输入端的坐标记录在后一张图片中，并不断记录，通过坐标点的变化过程实时的追踪书写轨迹。

本发明产生的有益效果是：本发明的对手写过程数字化记录和电子化重建的系统及方法，输入工具不需要采用完全定制的设备，而是在现有传统的钢笔、铅笔、粉笔甚至任意的杆状物加上一个识别标识类装置；对承载和记录实际书写痕迹的介质材料无要求；且使用者不需要边书写边观看电子屏幕，大大提高了书写轨迹识别的通用性和用户体验。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的手写系统信息处理流程示意图；

图2是本发明实施例的手写工具配套装置组成结构；

图3是本发明实施例的定位与轨迹跟踪装置组成结构；

图4是本发明实施例的手写内容转化系统软件处理部分组成结构；

图5是本发明实施例的带数据线的系统通信流程图；

图6是本发明实施例的完全无线的系统通信流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明实施例的对手写过程数字化记录和电子化重建的系统，包括用于在手写介质上进行书写的手写输入部件，该系统还包括：

手写工具配套装置，设置在手写输入部件上，包括感知模块、辅助模块和第一通信模块；感知模块用于探测手写输入部件与手写介质之间是否接触；辅助模块用于安装和固定手写工具配套装置，并矫正书写姿势；第一通信模块用于发送开始书写的状态信息；

定位与轨迹跟踪装置，设置在手写介质的附近，包括图像采集模块、第二通信模块、电源模块和支持模块；图像采集模块为双摄像头，用于在接收到开始书写的状态信息后，对手写输入部件的笔尖的运动轨迹图像进行捕捉；第二通信模块用于将捕捉到的运动轨迹图像发送出去；电源模块用于为定位与轨迹跟踪装置供电；支持模块用于安装和固定定位与轨迹跟踪装置；

终端设备，用于接收定位与轨迹跟踪装置捕捉到的运动轨迹图像，并对其进行识别和处理，通过电子化的方式重建手写输入的轨迹。

感知模块包括1个或多个传感器；若为多个传感器，多个传感器之间组成蜂窝阵列，通过该蜂窝阵列探测手写输入部件与手写介质之间产生的声波，进而判断是否接触。

感知模块包括声波模型建立单元，用于对采集到的手写输入部件与手写介质之间产生的声波进行处理，过滤掉非手写行为的声波波形，对手写行为的声波波形进行特征提取，建立手写输入部件与书写介质接触时的声波模型。

辅助模块包括空气流通模块、书写工具固定模块、书写姿势矫正模块和电源模块；书写工具固定模块包括标识单元，用于在进行轨迹识别时标识相对位置，作为建立书写轨迹的坐标系的参考坐标点。

终端设备为带有电子屏幕和运算能力的电子设备，包括个人电脑、笔记本电脑、平板电脑、智能电视和手机。

本发明实施例的对手写过程数字化记录和电子化重建的方法，包括以下步骤：

S1、通过蜂窝式阵列传感器获取手写输入部件和书写介质之间产生的声波，并对声波数据进行处理，并发送给定位与轨迹跟踪装置，将双摄像头由休眠状态变换为工作状态；

S2、获取手写输入部件在书写介质上的书写轨迹图像，将其通过无线通信的方式发送给终端设备；

S3、终端设备上的软件对书写轨迹图像进行第一次处理，根据图像中的标识对象的位置，预设的标识对象的尺寸以及标识对象与书写介质之间的距离，对手写输入部件的笔尖位置进行定位；

S4、过滤掉非手写行为的声波波形，对手写行为的声波波形进行特征提取，建立手写输入部件与书写介质接触时的声波模型，通过声波模型判断当前是否为手写行为；

S5、若为非手写行为，终端设备上的软件处于待机状态，不对采集到的图像进行轨迹识别；若为手写行为，终端设备上的软件对书写轨迹图像进行实时处理，以手写输入端为原点构建三维空间坐标系，构建完坐标系后即开始追踪书写轨迹；

S6、根据书写轨迹，在终端设备上重建并显示用户的手写输入内容，并生成笔记电子文件。

S7、用户选择是否对笔记电子文件进行保存。

步骤S3中对手写输入部件的笔尖位置进行定位的方法具体为：

设置标识对象的边缘外沿直径和下边缘外沿直径，先由图像中标识对象上下边缘的比例来确定手写工具配套装置和摄像头的角度；同时由标识对象上下边缘分别到手写输入端的正常距离和采集到的标识对象边缘的相对长度确定笔尖位置；

步骤S5中构建三维空间坐标系的方法具体为：

获取双摄像头采集到的图像深度信息，根据图像深度信息确定书写介质、手写工具配套装置、手写录入轨迹相对于双摄像头的距离，然后根据笔尖到摄像头的距离来计算书写介质、手写工具配套装置、手写录入轨迹相对于手写输入端的距离，从而构建出以手写输入端为原点的三维空间坐标系。

步骤S5中还包括进行翻页操作的方法，具体为：

通过翻页手势可以实现新增空白页，当用户想查看之前保存的手写内容时，通过翻页手势可以返回到前文内容；

对向后翻页和向前翻页建立两个二维模型，存储在终端设备中；

对定位与轨迹跟踪装置传到终端上的图片进行检测，当后一张图片与前一张图片相似度低于70％时即开始检测，并提取后一张图片的不同区域；

检测完成后开使对不用区域进行识别，首先识别该不同点是否为手势，确定为手势之后开始对该手势进行匹配以确定翻页的顺序。

步骤S5中追踪书写轨迹的方法具体为：

根据构建的以手写输入端为原点的三维空间坐标系，对收到的每一帧的图片进行处理，确定每一帧图片中手写输入端的坐标；将前一张图片中的手写输入端的坐标记录在后一张图片中，并不断记录，通过坐标点的变化过程实时的追踪书写轨迹。

在本发明的另一个具体实施例中，包括硬件装置和软件系统两个部分。

硬件装置：

用于采集用户手写内容的智能硬件组，包括手写工具配套装置、定位与轨迹跟踪装置，完成手写输入标识、图像采集识别。

其中，手写工具配套装置与传统手写输入部件(或模块)可灵活组装固定。

传统手写输入部件(或模块)部分包含一个痕迹产生类手写工具(或者非痕迹产生类手写工具)，该工具指目前市场上销售和用户常用的传统手写工具，例如钢笔、铅笔、圆珠笔、粉笔等(这类手写工具规格与当前市场上出售的书写工具规格一样)，具备常见传统手写工具的传统功能。

手写工具配套装置由感知模块、通信模块和辅助模块组成。

感知模块是一个传感器组件，由1-N个传感器组成，当使用多个时为蜂窝状阵列组成，该蜂窝状传感器阵列用于探测手写输入端与承载手写的介质(如纸张、类纸介质等)是否接触。

辅助模块由空气流通模块、标识与固定模块、书写姿势矫正模块、电源模块组成。

在此，先选一个彩色的中空圆台状部件作为标识与固定模块的一个示例，作为标识与固定模块的一个应用(本专利包括但不限于这一种形状的识别物)，此部件可安装在传统手写工具上(例如通过套接等方式固定)，用于图像采集装置捕捉笔尖的运动轨迹，用户可以根据自己的喜好选择识别物的颜色和形状、尺寸(包括红、橙、黄、绿、蓝等七色)，彩色的标识物外圈统一尺寸(见后文计算说明)，内部尺寸大小可选，以利于内部与各种不同尺寸的手写工具套接固定。或者直接以传统手写输入工具作为识别对象，通过机器学习完成捕捉和识别，而不必选择一个特定标识物作为标识。

当手写输入端接触到承载手写的介质后产生声波由传感器阵列接收，未经手写工具配套装置处理的声波信息会传送给终端，经手写工具配套装置处理后的声波信息转换为一个控制信息由手写工具配套装置发送给定位与轨迹跟踪装置以启动图像采集部分的摄像头并选定该装置的图像传输方向。

经过实验和程序校验之后，确定了手写端与承载手写的介质接触时的声波模型区间，从而提高对于书写动作识别的精度。

定位与轨迹跟踪装置由图像采集模块、通信模块、电源模块和支持模块组成，其主要功能部件由两个摄像头和配套装置组成，可以放在承载手写的介质附近(例如课桌上或课桌附近、黑板上或黑板附近)，也可夹在用户衣领、口袋、衣襟等处。使用两个摄像头对笔尖轨迹进行跟踪，并将笔尖运动轨迹信息通过无线传输方式传送到手写笔或者直接传送给终端。

对手写端行为和轨迹的追踪由蜂窝状传感器阵列和摄像头对手写端上安装的标识物(或传统手写工具)的人工智能机器识别技术实现。

当手写端触碰承载手写的介质时，蜂窝状传感器阵列接收到声波，经过处理后向双摄像头发射脉冲通知其开始工作，摄像头启动识别标识物后，根据标识物外圈最大直径和最大直径所在圆任意点到手写端最近距离的比例确定手写端与承载手写的介质接触的点。

摄像头所采集到的图像信息通过定位与轨迹跟踪装置的图像传输天线，以无线通信的方式传输给手写工具配套装置(传输到此装置后，此装置不具备处理能力，所以不需要传输到此装置)，或直接以无线通信的方式传输到终端，终端上配套的软件对信息进行处理(此处所述的终端包含个人电脑、笔记本电脑、平板电脑、智能电视、手机等带有电子屏幕和运算能力的电子设备)。

软件系统：

用于处理采集到的用户手写信息的软件系统及应用系统，包括智能硬件的烧录程序和终端设备的软件。

智能硬件的烧录程序包含：

1、手写工具配套装置上的声波信息处理程序和1号通信程序；

2、定位与轨迹跟踪装置上的图像采集与处理程序和2号通信程序。

终端软件包含书写工具定位模块、运动轨迹跟踪模块、轨迹记录与处理模块、书写内容重建模块、翻页功能模块和配套功能模块。

书写工具定位模块通过建立虚拟坐标系并确定手写起始点虚拟坐标，包含以下步骤：

1、通过处理完整的声波信息和双摄像头采集的图像确定和建立手写输入端位置信息；

2、将步骤1中确定的起始点确定为坐标原点，由双目识别技术建立手写输入介质与输入承载介质端的三维空间坐标系；

3、根据步骤2确定的空间坐标系，通过双摄像头采集到的图像确定出书写介质的规格。

4、由步骤3中确定的书写介质的规格和步骤2中确定的手写输入端的起始点，选择合适的虚拟纸张大小(比如word中选择的A4纸大小)，并根据手写输入端的移动轨迹，在虚拟纸张上重建该运动轨迹。

同时本软件部分还可以选择手写内容的多种保存格式，如txt、word等。

手写输入内容转化系统运行的整个流程为：

步骤一，当手写输入端触碰到输入承载介质时会产生声波，蜂窝状传感器阵列接收到声波之后，经过处理，通过蜂窝雷达向定位与轨迹跟踪装置发出脉冲，双摄像头的信号接收天线接收到手写工具配套装置发送的脉冲，将双摄像头由休眠状态变换为工作状态。

步骤二，摄像头开始工作，连续采集图片，并将采集到的图片经过内置天线传送到手写输入工具配套装置，手写输入工具配套装置将接收的图片通过数据线或无线通信传送到终端。

步骤三，终端上的软件部分将对图像作第一次处理，根据图像寻找到标识对象(前文所述圆台位置，然后根据软件中预设的中空圆台规格和中空圆台与书写端之间的距离寻找到笔尖位置(前文所述可取传统手写工具为标识对象，则根据摄像头学习的传统手写工具规格和手写工具)

具体方法为：设置彩色中空圆台上边缘外沿直径和下边缘外沿直径，先由图像中彩色中空圆台上下边缘的比例来确定手写工具配套装置和摄像头的角度；同时由彩色中空圆台上下边缘分别到手写输入端的正常距离和采集到的彩环中空圆台边缘的相对长度确定笔尖位置。

判断蜂窝传感器阵列所接收的声波是否是笔尖与书写介质接触所发生的，根据手写端位置寻找图像中手写承载介质的位置和大小。

具体方法为：蜂窝传感器阵列接收到声波之后，对声波进行处理，过滤掉非手写行为的波形，然后对波源进行定位(在之前对手写端书写时的声波进行了特征提取，明确采用不同手写介质进行手写行为时的声波特征)，对书写行为开始的1s内的图片进行图像处理，以图片中笔尖所在位置为起点，向四周扩展，提取手写承载介质的边缘轮廓，对提取的轮廓进行判别，从而确定手写承载介质的形状与尺寸规格。

步骤四，由于非手写行为也能够产生某些特征声波并且被蜂窝传感器阵列探测到，因此必须判定产生该声波的行为是否为手写行为。即如果由步骤三图像处理之后得出接收声波时书写端与书写介质没有发生接触，则终端上的软件部分不对之后采集的图像进行运动轨迹的跟踪，继续步骤三中对图像进行的处理，仍然将后续接收到的图像的处理顺序置为1。

步骤五，如果步骤三中图像处理之后得出接收声波时手写录入端与手写录入承载介质发生接触，则终端上的软件部分开始以手写输入端为原点构建三维空间坐标系，构建完坐标系后即开始追踪书写端轨迹。

具体方法为，由于双目摄像头采集到的图像相对单摄像头采集的图像多出了图像的深度信息，根据这些信息可以确定出手写录入介质、手写录入工具配套装置、手写录入轨迹等相对于双目摄像头的距离，然后可以根据笔尖到摄像头的距离来计算手写承载介质、手写录入工具配套装置、手写录入轨迹相对于手写录入端的距离，从而构建出以手写录入端为原点的三维空间坐标系。

进而可以从该三维空间坐标系中分割出手写录入承载介质的二维模型，并且可以根据该二维模型建立以该二维模型为平面的二维坐标系。

步骤六，由步骤五的操作记录手写录入端的运动轨迹，经终端上的软件部分处理之后，在终端上重建并显示用户的手写录入内容原笔迹电子文件。

步骤七，用户选择是否需要将手写内容进行保存，并且终端上的软件部分可提供多种格式用于保存。

图2给出了手写录入工具配套装置图，包含手写录入模块、通信模块、感知模块、辅助模块四个模块。

手写录入模块由传统的手写工具或人体易使用的手录工具提供，包括痕迹产生类手写工具和非痕迹产生类手写工具，将手写工具与手写工具配套装置进行组合，就可以在保持传统手写录入方式和人体自然录入习惯的前提下，进行用户所需的手写录入和电子化。

通信模块由蜂窝雷达和USB Type-C接口及数据传输线组成。

蜂窝雷达用于实现定位与轨迹跟踪装置间的信息交换，主要为：

1、向双目摄像头发送控制脉冲，控制其工作；

2、接收双目摄像头发送的图像信息。

USB Type-C接口，该接口具有传输速度快、充电迅速等特点，其良好的特性是保证用户手写内容能够实时的传输到终端中进行在线的基础。

USB Type-C接口用于通过数据线将手写录入工具配套装置与终端连接，手写开始时，先将感知模块收到的声波信息传输到终端对手写工具的手写录入端进行定位。手写工具的手写录入端定位完成后，采用串行的方式将双目摄像头采集的图像信息传输到终端，供终端上的处理软件进行处理。

感知模块由1-N个传感器(传感器的工作电压为1-3V)构成的蜂窝状阵列和对声波进行处理并发送控制信号的控制电路组成，传感器阵列接收到外界声波，经过处理之后由控制电路驱动通信模块采取相应的操作，相应操作为：

1、通过数据线向终端传送接收到的完整的声波信息；

2、通过蜂窝雷达向定位与轨迹跟踪装置发射开始工作的脉冲。

辅助模块，由空气流通模块、书写工具固定模块、书写姿势矫正模块、电源模块四个模块组成，该模块主要用于保证手写工具配套装置的正常运行和用户正常的书写行为得到实现。

空气流通模块用于平衡手写工具配套装置内部与外部环境之间的气压，防止某些痕迹产生类书写工具出现书写问题(如圆珠笔在书写过程中墨水会减少从而导致笔芯内压强减小，在外部高压强的情况下会出现墨水倒流的现象，情节严重的时候有可能损坏设备，空气流通模块的主要作用就是平衡大气压)。

书写工具固定模块用于将书写工具配套装置与书写工具组合成一个外形相对不变的刚体，保证用户使用该装置配套书写工具书写时和不使用该装置正常进行书写时效果相同。

书写姿势矫正模块，某些用户可能会采取错误的手写方式，但是该错误的手写方式被系统识别为正确的手写方式，这种手写方式不是手写工具配套装置所支持的，因为有可能损坏设备。该模块用于保证使用该装置进行书写时装置的所有功能在系统的正常使用期限内都能正常运行，防止用户采用不正确的使用方式进行书写，或者损坏设备。

电源模块用于提供支持设备正常工作所需的电力，采用锂电池作为充放电容器，通过USB Type-C接口和数据线进行充电。

图3给出了定位与轨迹跟踪装置模块构成图，该部分由图像采集模块、通信模块、电源模块、支持模块四个模块构成。

图像采集模块由双目摄像头组成，开始工作后即以每秒120帧的速率采集照片，当收到终端关于书写工具书写端的定位信息之后，双目摄像头自主进行调焦以追踪手写端与手写承载介质的接触点。

通信模块用于与手写工具配套装置之间进行通信，为了保证图像传输的实时性，通信模块专门配备了图像传输天线用于传输图像采集模块采集到的图像，又采用信号接收天线来单独接收来自手写工具配套装置的控制信号。

图4给出了手写内容转化为数字化内容的系统软件部分，该部分由烧录入手写工具配套装置和定位与轨迹追踪装置内的硬件程序和安装于终端进行书写内容处理的用户软件两部分构成。

硬件烧录程序包括声波信息处理程序、图像采集与处理程序、通信程序。

声波信息处理程序烧录于手写工具配套装置，用于对采集的声波进行处理并分别将不同的信号发送给终端和定位与轨迹跟踪装置，从而满足两者不同的工作需求。

图像采集与处理程序烧录于定位与轨迹跟踪装置，用于对双目摄像头的采集活动进行控制。

通信程序烧录于手写工具配套装置和定位与轨迹跟踪装置，包括手写工具配套装置与终端之间的通信控制、手写工具配套装置和定位与轨迹跟踪装置之间的通信控制。

终端软件包括书写工具定位模块、运动轨迹跟踪模块、轨迹记录与处理模块、书写内容重建模块、翻页功能模块、配套功能模块。

书写工具定位模块包含对蜂窝传感器阵列和书写工具图像的双重处理。

首先对蜂窝传感器阵列采集到的声波完整信息进行处理，得出书写端与书写介质接触的位置和所探测到的环境的轮廓。然后对接收到的图像进行处理，判断出书写端的位置。最后与对蜂窝传感器声波信息的处理结果进行综合处理，确定书写端的坐标。

当确定了手写端的坐标之后，运动轨迹跟踪模块开始对收到的每一帧的图片进行处理，确定每一帧图片中手写端的坐标。然后将每一个坐标信息都由轨迹记录与处理模块记录在一张图片中，具体记录为将前一张图片中的手写端所有坐标记录在后一张图片中，每一张图片就能反应出当时的手写进展情况，这样手写内容重建模块就可以实时(实时即用户书写的内容在人类无法区分的极小时间间隔内重现在终端屏幕上)的确定书写痕迹。

翻页功能模块用于实现终端中文档的换页功能，当一页电子文档被使用完毕之后，通过翻页手势可以实现新增空白页，当用户想查看之前保存的手写内容时，通过翻页手势可以返回到前文内容。

具体实现为：

对向后翻页和向前翻页建立两个二维模型，存储在终端程序中；

对定位和轨迹跟踪装置传到终端上的图片进行检测，当后一张图片与前一张图片相似度低于70％时即开始检测，并提前后一张图片的不同区域；

检测完成后开使对不用区域进行识别，首先识别该不同点是否为手势，确定为手势之后开始对该手势进行匹配以确定翻页的顺序。

配套装置模块包含一些其他的支持软件正常运行的插件、库函数等。

图5给出了本系统的终端、手写工具配套装置和定位与轨迹跟踪装置之间带数据线的通信方式。其过程为：手写工具配套装置对手写行为产生的声波进行处理并判断是否有USB装置连通，在有USB外设连通的情况下，1号通信程序向定位与轨迹跟踪装置发送控制信号使其完成两个任务：1、启动双目摄像头；2、将采集到的图像传输到手写工具配套装置。由数据线将完整声波信息和图像传输到终端。

图6给出了本系统的终端、手写工具配套装置和定位与轨迹跟踪装置之间不带数据线的完全无线通信方式。其过程为：手写工具配套装置对手写行为产生的声波进行处理并判断是否有USB装置连通，在无USB外设连通的情况下，1号通信程序向定位与轨迹跟踪装置发送控制信号使其完成两个任务：1、启动双目摄像头；2、将采集到的图像直接无线传输到终端。手写工具配套装置将完整声波无线传输到终端。

本发明与现有技术相比存在的有益效果是：

一是输入工具不需要采用完全定制的设备，而是在现有传统的钢笔、铅笔、粉笔甚至任意的杆状物(如筷子等)加上一个识别标识类装置；

二是对承载和记录实际书写(绘制)痕迹的介质材料无要求，包括尺寸大小和材质；

三是使用者不需要边书写(绘制)边观看电子屏幕。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (7)

1.一种对手写过程数字化记录和电子化重建的方法，其特征在于,采用对手写过程数字化记录和电子化重建的系统实现，该系统包括用于在手写介质上进行书写的手写输入部件，该系统还包括：

手写工具配套装置，设置在手写输入部件上，包括感知模块、辅助模块和第一通信模块；感知模块用于探测手写输入部件与手写介质之间是否接触；辅助模块用于安装和固定手写工具配套装置，并矫正书写姿势；第一通信模块用于发送开始书写的状态信息；

定位与轨迹跟踪装置，设置在手写介质的附近，包括图像采集模块、第二通信模块、电源模块和支持模块；图像采集模块为双摄像头，用于在接收到开始书写的状态信息后，对手写输入部件的笔尖的运动轨迹图像进行捕捉；第二通信模块用于将捕捉到的运动轨迹图像发送出去；电源模块用于为定位与轨迹跟踪装置供电；支持模块用于安装和固定定位与轨迹跟踪装置；

终端设备，用于接收定位与轨迹跟踪装置捕捉到的运动轨迹图像，并对其进行识别和处理，通过电子化的方式重建手写输入的轨迹；

该方法包括以下步骤：

S1、通过蜂窝式阵列传感器获取手写输入部件和书写介质之间产生的声波，并对声波数据进行处理，并发送给定位与轨迹跟踪装置，将双摄像头由休眠状态变换为工作状态；

S2、获取手写输入部件在书写介质上的书写轨迹图像，将其通过无线通信的方式发送给终端设备；

S3、终端设备上的软件对书写轨迹图像进行第一次处理，根据图像中的标识对象的位置，预设的标识对象的尺寸以及标识对象与书写介质之间的距离，对手写输入部件的笔尖位置进行定位；

S4、过滤掉非手写行为的声波波形，对手写行为的声波波形进行特征提取，建立手写输入部件与书写介质接触时的声波模型，通过声波模型判断当前是否为手写行为；

S5、若为非手写行为，终端设备上的软件处于待机状态，不对采集到的图像进行轨迹识别；若为手写行为，终端设备上的软件对书写轨迹图像进行实时处理，以手写输入端为原点构建三维空间坐标系，构建完坐标系后即开始追踪书写轨迹；

S6、根据书写轨迹，在终端设备上重建并显示用户的手写输入内容，并生成笔记电子文件；

S7、用户选择是否对笔记电子文件进行保存；

步骤S3中对手写输入部件的笔尖位置进行定位的方法具体为：

设置标识对象的上边缘外沿直径和下边缘外沿直径，先由图像中标识对象上下边缘的比例来确定手写工具配套装置和摄像头的角度；同时由标识对象上下边缘分别到手写输入端的正常距离和采集到的标识对象边缘的相对长度确定笔尖位置；

步骤S5中构建三维空间坐标系的方法具体为：

获取双摄像头采集到的图像深度信息，根据图像深度信息确定书写介质、手写工具配套装置、手写录入轨迹相对于双摄像头的距离，然后根据笔尖到摄像头的距离来计算书写介质、手写工具配套装置、手写录入轨迹相对于手写输入端的距离，从而构建出以手写输入端为原点的三维空间坐标系。

2.根据权利要求1所述的对手写过程数字化记录和电子化重建的方法，其特征在于，感知模块包括1个或多个传感器；若为多个传感器，多个传感器之间组成蜂窝阵列，通过该蜂窝阵列探测手写输入部件与手写介质之间产生的声波，进而判断是否接触。

3.根据权利要求2所述的对手写过程数字化记录和电子化重建的方法，其特征在于，感知模块包括声波模型建立单元，用于对采集到的手写输入部件与手写介质之间产生的声波进行处理，过滤掉非手写行为的声波波形，对手写行为的声波波形进行特征提取，建立手写输入部件与书写介质接触时的声波模型。

4.根据权利要求1所述的对手写过程数字化记录和电子化重建的方法，其特征在于，辅助模块包括空气流通模块、书写工具固定模块、书写姿势矫正模块和电源模块；书写工具固定模块包括标识单元，用于在进行轨迹识别时标识相对位置，作为建立书写轨迹的坐标系的参考坐标点。

5.根据权利要求1所述的对手写过程数字化记录和电子化重建的方法，其特征在于，终端设备为带有电子屏幕和运算能力的电子设备，包括个人电脑、笔记本电脑、平板电脑、智能电视和手机。

6.根据权利要求1所述的对手写过程数字化记录和电子化重建的方法，其特征在于，步骤S5中还包括进行翻页操作的方法，具体为：

通过翻页手势可以实现新增空白页，当用户想查看之前保存的手写内容时，通过翻页手势可以返回到前文内容；

对向后翻页和向前翻页建立两个二维模型，存储在终端设备中；

对定位与轨迹跟踪装置传到终端上的图片进行检测，当后一张图片与前一张图片相似度低于70％时即开始检测，并提取后一张图片的不同区域；

检测完成后开始对不同区域进行识别，首先识别该不同区域是否为手势，确定为手势之后开始对该手势进行匹配以确定翻页的顺序。

7.根据权利要求1所述的对手写过程数字化记录和电子化重建的方法，其特征在于，步骤S5中追踪书写轨迹的方法具体为：

根据构建的以手写输入端为原点的三维空间坐标系，对收到的每一帧的图片进行处理，确定每一帧图片中手写输入端的坐标；将前一张图片中的手写输入端的坐标记录在后一张图片中，并不断记录，通过坐标点的变化过程实时的追踪书写轨迹。

Images