CN107301416A - 一种对手写过程的在线采集系统及其方法 - Google Patents

Abstract

本发明公开了一种对手写过程的在线采集系统及其方法，它由桌面微小机器人、伞形笔套、云端服务器、当事人终端组成。桌面微小机器人由微车底、微升降杆、微摄像头组成，在桌面书写纸书写本边沿行走，自动对准当事人手写笔尖；伞形笔套由龙骨、主架、多个微摄像头组成，当事人先让写字笔戴上伞形笔套后开始手写，其中一个微摄像会对准当事人手写笔尖；云端服务器识别上传图像中的手写字符，当出现无法识别手写字符时，推向当事人终端由当事人用输入法填写对应标准字，云端服务器存储所有手写过程及结果文件，以供结果需求方及当事人浏览、阅读、核实。本发明能让当事人不知觉被采集，为当事人向名校名企上传真实资讯提供了简单易行的方法。

Description

一种对手写过程的在线采集系统及其方法

技术领域

本发明涉及利用微电机控制、图像识别等传感测控技术对手写字符这个特定过程进行处理与应用，尤其涉及一种对手写过程的在线采集系统及其方法。

背景技术

在电子化移动化时代，对于青少年而言，手写依就有其不可替代的作用，如为了传承文化而手写汉字与单词，为了应对升学考试而坚持手写作业，因此，手写字符是长期存在的也许会伴随人类文明永远存在。

需要技术措施对手写字符录入到电脑内上传到数据库内，以便长期保存，以便对所写内容进行系统分析与判断，同时还可对手写当事人的特定能力给予评估或给予适度指导帮助。

如图1所示，电脑刚刚普时有一部分人不会拼音也不会五笔输入法，通过手写板让当事人每次手写一个汉字或单词，手写板会显示此字符，写字板侧面有一个机关，触动一次手写板上字符消失以便手写另一个字符；手写板与电脑直接相连，直接上传手写字符到电脑屏幕。手写板并不存储手写笔迹，因手写板面积太小，每次手写内容很少。这个技术措施主要服务于中老年使用电脑。

如图2所示，一个特别定制底板其大小面积与A4纸张一致，这个底板的网格交叉点布设不同容量电容微粒，同时这个网格底板通过无线方式上传数据。当事人用普通的笔手写字符，同时网格交叉点不同电容量被激活，在电脑或服务器端形成笔尖轨迹，从而实现对当事人手写过程在线采集的功能。不足之处：无法采集写字纸上已经存在的印刷字符，如无法采集写作时的标题与要求，无法采集作业时的题目。这个网格底板技术措施要求笔尖用力均恒，这会让手写当事人显得很慌张。

如图3所示，当事人在记事本上手写的小作文、小日志，在作业本试卷上的解题答案，事后当事人或当事人的委托人，可用智能手机拍摄照片，由人工手动调节焦距及亲眼审阅照片上字符清晰度，点击拍摄并上传。青少年年龄越小家长及学校越限制使用智能手机，同时，许多青少年拍摄题目上传求助网络传回标准解题答案，这种具有显示屏幕人机界面的智能手机人工拍摄照片的技术措施不能普通推广。

在各国尤其是亚洲各国高考升学考试要求手写答题，事后让专门工作人员对试卷一页一页扫描的途径，采集试卷及手写答案，供阅卷老师在电脑界面上对当事人的试卷解答原笔迹进行评阅给分。

上述手写字符采集都难以满足如下原则：几乎不需要当事人任何配合，不影响、不干涉、不干扰当事人解题与写作；同步在线采集当事人手写的每一个字、每一个符号、每一条线弧。

迫切需要满足上述原则的新技术措施，唯有如此才能一方面让青少年保留在传统课本作业本记事本上用笔手写的文化传承习惯，另一方面又让青少年分享数字化智能化时代科技成果。

发明内容

鉴于上述现有技术的不足之处，本发明一种对手写过程的在线采集系统及其方法，旨在提供两种不同技术手段让青少年自由自在手写字符，还可在线实时采集其手写的每个字符所手画的每条线弧，是满足“几乎不需要当事人任何配合，不影响、不干涉、不干扰当事人解题与作文写作；同步在线采集当事人手写的每一个字、每一个符号、每一条线弧”原则下的简单、方便、初等的自动技术措施。

为了达到上述目的，本发明采取了以下技术方案：

该对手写过程的在线采集系统特点在于包括了桌面微小机器人、伞形笔套、当事人终端；

所述桌面微小机器人包括了微车底、微升降杆、微摄像头、控制器模块、电源模块组成；

所述伞形笔套包括了主架、龙骨、多个微摄像头；

所述当事人终端是一个APP功能模块，运行在智能手机上。

作为优选，所述微车底包括4个微型麦克纳姆车轮与驱动微电机，麦克纳姆车轮全向移动时所述微摄像头俯视角不变，所述微升降杆由微型步进直流电机驱动，控制器模块的多路PMW驱动回路与所述微车底的驱动微电机相联、与微升降杆的微型步进直流电机相联，控制器模块串口数据接口与微摄像头相联，控制器模块的无线数据接口与云端服务器连接。

作为优选，所述主架末端为开口护套与手写笔杆连接，所述主架首端为固定孔，所述主架中部是空洞用于存放微电池，

所述龙骨一端固定在所述主架首端的一个固定孔，所述龙骨末端固定一个微摄像头，

所述龙骨首末端之间为5厘米左右连接件用于铺设电源线数据线。

一种对手写过程的在线采集方法，包括了桌面微小机器人行走工作流程，伞形笔套选定在线摄像头工作流程，当事人终端响应工作流程。

作为优选，所述桌面微小机器人行走工作流程如下：

(1)桌面微小机器人控制器模块存储各类手指握住笔杆手写二值模板图库；

(2)上电后或激活后桌面微小机器人控制器模块驱动微摄像头拍摄图像，在多个目标区域中判断是不是有手指握住笔杆手写目标区域存在，如果没有，则驱动微车底每次以15度步长及移动一厘米步长行走，继续拍摄照片并识别手指握住笔杆手写目标区域，如果旋转360度移动10厘米后依就没有发现手指握住笔杆手写目标区域，则桌面微小机器人控制器模块停止工作，等待下一次激活；

(3)当摄像头捕获到手指握住笔杆手写目标区域后，控制器模块每一秒重复实现：一方面驱动摄像头采集图像并上传到云端服务器，另一方面判断手指握住笔杆手写目标区域的笔尖是不是在图像画面的三分之一处，如果出现偏差，则通过PMW端口驱动所述微车底的驱动微电机旋转5度或移动1厘米，驱动微升降杆的微型步进直流电机动升降1厘米；

(4)当桌面微小机器人控制器模块无法驱动旋转或无法驱动移动时，则点亮报警灯与驱动蜂鸣器，让处于手写过程中的当事人人工移开阻碍物品，保持桌面微小机器人行走路径通畅。

作为优选，所述伞形笔套选定在线摄像头工作流程如下：

(1)伞形笔套控制器模块存储各类手指握住笔杆手写二值模板图库；

(2)伞形笔套控制器模块依次驱动各根龙骨末端摄像机采集图像，判断所采图像是不是包括了手指握住笔杆手写目标区域，如果全部没有，则此时暂停摄像工作；如果其中一个摄像头包括了手指握住笔杆手写目标区域而其它摄像头没有发现手指握住笔杆手写目标区域，则此后仅仅连续驱动图像中包括了手指握住笔杆手写目标区域的这个摄像头；

(3)伞形笔套控制器模块向云端服务器上传所采集的图像。

作为优选，所述当事人终端响应工作流程如下：

(1)当云端数字图像识别模块对包括了手指握住笔杆手写目标区域的一个字符无法识别时，将此无法识别的这个字符及所在行前后字符一同传输给当事人终端；

(2)当事人在当事人终端界面上由人工用拼音或其它途径输入该无法识别字符所对应的正规字符并人工点击提交功能键，包括该无法识别字符及对应的正规字符一同上传云端服务器；

(3)云端数字图像识别模块将无法识别字符的手写图像与当事人终端上传的正规字符并入到当事人手写字符图像对照数据库表单一行，以后云端数字图像识别模块面对这个无法识别字符手写图像时不必再提交当事人终端帮助，而由云端数字图像识别模块自行从当事人手写字符图像对照数据库表单中查询匹配得到确切字符含义。

本发明与现有技术相比，具有以下优点和效果：伞形笔套仅仅戴在笔杆上，桌面微小机器人仅仅放置在作业本边顺便保持桌面微小机器人行走路径畅通，实现“几乎不需要当事人任何配合“这条原则；两个实时在线采集技术措施在当地仅仅识别手指握住笔杆手写目标区域，桌面微小机器人及伞形笔套并不对手写字符进行识别，而是充分利用云服务器强大图像处理识别功能，这极大减低了桌面微小机器人及伞形笔套的复杂度并提升了采集速度；当事人响应模块可由其委托人在委托人智能手机上协助完成，让青少年安心在传统试卷、记事本、作业本上手写。本发明专利技术在保持手写传承传统与当代科技有机结合方面，具有重要进步意义。

附图说明

图1为手写板电脑录入示意图

图2为在网格底板上手写字符示意图

图3为智能手机拍摄手写结果效果示意图

图4为对手写过程的在线采集系统各组成示意图

图5为桌面微小机器人与手写过程结合示意图

图6为桌面微小机器人合理行走路径示意图

图7为伞形笔套各组成示意图

图8为当事人终端相应效果示意图

图中：1桌面微小机器人、2伞形笔套、3云端服务器、4当事人终端、5结果需求方、6笔尖、7手臂手指、8麦克纳姆轮、9控制器模块、10微升降杆、11微摄像头、12主架首端固定孔、13主架末端开口护套、14龙骨中部连接件、15龙骨末端微摄像头。

具体实施方式

本发明提供一种对手写过程的在线采集系统及其方法。为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

为更好理解本发明实施例，先对本发明专用名词或行为给予定义与描述。

当事人：指正在手写字符的这个人，可以在手写日记、手写短作文、手写作业、手写答题等过程。

当事人委托人：指与当事人有直接利害关系的人，尤其是当事人为青少年时，当事人委托人往往指其父母亲。

手指握住笔杆手写目标区域：摄像头采集一帧图像后，会分割出一个一个独立的区域，并可对分割后区域编号；每个区域有一定的确定内容。每一帧可能有许多区域，手指握住笔杆手写是其中一类区域，本发明特别关注这个目标区域。

上传所采集的图像：摄像头拍摄一帧图像后，当地控制模块可以处理也可以不处理，上传所采集的图像特指不进行深入处理，这可以简化当地控制模块复杂度并提高当地控制模块可靠性。

正规字符：一个字符以三种形式出现，第一种是手写自由体形式，第二种是图书报刊出版物印刷形式，第三种是图书报刊出版是艺术夸张形式。本发明正规字符指第二种。

实施例

如图4所示，对手写过程的在线采集系统主要由4个部分组成，桌面微小机器人、伞形笔套、云端服务器、及当事人终端；图4中5结果需求方是对云端服务器的数据访问接口，云端服务器存储的笔尖数据及识别后规范字符结果可给予当事人、当事人委托人(如家长)使用，也可以向当事人许可的第三方开放，这类第三方如名校招生委员会、如名企的人力资源招聘中心等，这类第三方在青少年心目中有极高威望，青少年愿意通过长时间在线实时笔迹记录等途径，向第三方证实青少年是符合录取条件的。

如图5所示，桌面微小机器人包括了微车底、微升降杆、微摄像头、控制器模块、电源模块组成；

所述微车底包括4个微型麦克纳姆车轮与驱动微电机，麦克纳姆车轮全向移动时所述微摄像头俯视角不变，所述微升降杆由微型步进直流电机驱动。

控制器模块的多路PMW驱动回路与所述微车底的驱动微电机相联、与微升降杆的微型步进直流电机相联，控制器模块串口数据接口与微摄像头相联，控制器模块的无线数据接口与云端服务器连接。

控制器模块运行驱动摄像头拍摄一帧照片，通过对图像进行处理与分割，控制器模块或让微车底旋转移动，或控制器模块让升降杆动作，当目标出现于一帧图像中时，控制器模块将通过无线数据接口上传所采集的图像。控制器模块是所述桌面微小机器人的核心模块，控制器模块主要执行桌面微小机器人行走工作流程。

如图6所示，当笔尖在纸张不同位置时，桌面微小机器人将围绕纸张同步移动，对于右手写字当事人而言，桌面微小机器人在左边及左上方移动。桌面微小机器人的微车底仅仅在水平面行走，不会爬跨障碍。当手写纸张手写记事本手写作业本周边有障碍物时，桌面微小机器人微车底是无法跨越的。控制器模块必须执行桌面微小机器人行走工作流程，通过点亮报警灯与驱动蜂鸣器方式，由当事人人工清理障碍。

如图7所示，所述伞形笔套包括了主架、龙骨、多个微摄像头；尤其是多个微摄像头如按照60度间隔依次布局，微摄像头最优清晰度定在20厘米左右，一帧图像会被手指遮挡，伞形状布局的多个微摄像头必有一个清晰地拍摄到了笔尖。

所述主架末端为13主架开口护套与手写笔杆连接，所述主架首端为12主架固定孔，所述龙骨一端固定于其中一个固定孔；所述主架中部为14主架连接件，该连接件是空洞状用于存放微电池与控制器。

所述龙骨首端是钉钩，固定在所述12主架固定孔的一个固定孔，所述龙骨末端为15龙骨摄像头，固定一个最优清晰度定在20厘米左右的微摄像头，所述龙骨首末端之间为14龙骨连接件，该连接件是5厘米左右软空管件用于铺设电源线数据线。

所述伞形笔套包括了控制器，该控制器位于所述14主架连接件内；伞形笔套控制器是伞形笔套核心模块。伞形笔套控制器执行伞形笔套选定在线摄像头工作流程。

如图8所示，所述当事人终端是一个APP功能模块，运行在智能手机上。该APP功能模块执行当事人终端响应工作流程。

在图8示例中，云端服务器向当事人终端推送了整段词语，其中包括了难以识别的手写字符，用下划线标注。要求所述当事人以拼音输入法填写对应规范字符。

一种对手写过程的在线采集方法，包括了桌面微小机器人行走工作流程，伞形笔套选定在线摄像头工作流程，当事人终端响应工作流程。

所述桌面微小机器人行走工作流程如下：

(1)桌面微小机器人控制器模块存储各类手指握住笔杆手写二值模板图库；

(2)上电后或激活后桌面微小机器人控制器模块驱动微摄像头拍摄图像，在多个目标区域中判断是不是有手指握住笔杆手写目标区域存在，如果没有，则驱动微车底每次以15度步长及移动一厘米步长行走，继续拍摄照片并识别手指握住笔杆手写目标区域，如果旋转360度移动10厘米后依就没有发现手指握住笔杆手写目标区域，则桌面微小机器人控制器模块停止工作，等待下一次激活；

(3)当摄像头捕获到手指握住笔杆手写目标区域后，控制器模块每一秒重复实现：一方面驱动摄像头采集图像并上传到云端服务器，另一方面判断手指握住笔杆手写目标区域的笔尖是不是在图像画面的三分之一处，如果出现偏差，则通过PMW端口驱动所述微车底的驱动微电机旋转5度或移动1厘米，驱动微升降杆的微型步进直流电机动升降1厘米；

(4)当桌面微小机器人控制器模块无法驱动旋转或无法驱动移动时，则点亮报警灯与驱动蜂鸣器，让处于手写过程中的当事人人工移开阻碍物品，保持桌面微小机器人行走路径通畅。

所述伞形笔套选定在线摄像头工作流程如下：

(1)伞形笔套控制器模块存储各类手指握住笔杆手写二值模板图库；

(2)伞形笔套控制器模块依次驱动各根龙骨末端摄像机采集图像，判断所采图像是不是包括了手指握住笔杆手写目标区域，如果全部没有，则此时暂停摄像工作；如果其中一个摄像头包括了手指握住笔杆手写目标区域而其它摄像头没有发现手指握住笔杆手写目标区域，则此后仅仅连续驱动图像中包括了手指握住笔杆手写目标区域的这个摄像头；

(3)伞形笔套控制器模块向云端服务器上传所采集的图像。

所述当事人终端响应工作流程如下：

(1)当云端数字图像识别模块对包括了手指握住笔杆手写目标区域的一个字符无法识别时，将此无法识别的这个字符及所在行前后字符一同传输给当事人终端；

(2)当事人在当事人终端界面上由人工用拼音或其它途径输入该无法识别字符所对应的正规字符并人工点击提交功能键，包括该无法识别字符及对应的正规字符一同上传云端服务器；

(3)云端数字图像识别模块将无法识别字符的手写图像与当事人终端上传的正规字符并入到当事人手写字符图像对照数据库表单一行，以后云端数字图像识别模块面对这个无法识别字符手写图像时不必再提交当事人终端帮助，而由云端数字图像识别模块自行从当事人手写字符图像对照数据库表单中查询匹配得到确切字符含义。

本发明主要对象是青少年手写过程。家庭社会乃至国家一致要求青少年手写汉字英文单词、手写各科作业、手写日记及短作文，本发明桌面微小机器人没有显示屏幕人机界面但控制模块包括语音播放器件，同样，伞形笔套也没有显示屏幕人机界面也可配置语音播放器件，这就为青少年营造了与网络相对隔离的环境，以一个月、一个学期、一个年度积累的实时字迹数据为基础，云服务器可对当事人进行评估与指导；面对当事人解答困难题目请求，本发明仅仅通过语音播放途径播放解题思路而不是完整标准答案的技术措施，是对青少年成长真正帮助与呵护。因此，本发明在青少年手写过程中在不需要当事人配合但能自动采集字迹，在可控局面下分享互联网智能化便捷等方面有特别的效果。

尽管上面结合附图对本发明的优选实施进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意的，并不是限制性的，本领域的普通技术人员在本发明的启发下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可以作出许多形式，这些均属于本发明保护范围之内。

Claims (7)

1.一种对手写过程的在线采集系统,包括了无线传输模块、云端服务器、云端数字图像识别模块，其特征在于，它包括了桌面微小机器人、伞形笔套、当事人终端；

所述桌面微小机器人包括了微车底、微升降杆、微摄像头、控制器模块、电源模块组成；

所述伞形笔套包括了主架、龙骨、多个微摄像头；

所述当事人终端是一个APP功能模块，运行在智能手机上。

2.根据权利要求1所述对手写过程的在线采集系统，其特征在于：所述微车底包括3或4个微型麦克纳姆车轮与驱动微电机，麦克纳姆车轮全向移动时所述微摄像头俯视角不变，所述微升降杆由微型步进直流电机驱动，控制器模块的多路PMW驱动回路与所述微车底的驱动微电机相联、与微升降杆的微型步进直流电机相联，控制器模块串口数据接口与微摄像头相联，控制器模块的无线数据接口与云端服务器连接。

3.根据权利要求1所述对手写过程的在线采集系统，其特征在于：所述主架末端为开口护套与手写笔杆连接，所述主架首端为固定孔，所述主架中部是空洞用于存放微电池，所述龙骨一端固定在所述主架首端的一个固定孔，所述龙骨末端固定一个微摄像头，所述龙骨首末端之间为5厘米左右连接件用于铺设电源线数据线。

4.一种对手写过程的在线采集方法，基于权利要求1所述对手写过程的在线采集系统，其特征在于：包括了桌面微小机器人行走工作流程，伞形笔套选定在线摄像头工作流程，当事人终端响应工作流程。

5.根据权利要求4所述对手写过程的在线采集方法，所述桌面微小机器人行走工作流程如下：

(1)桌面微小机器人控制器模块存储各类手指握住笔杆手写二值模板图库；

(2)上电后或激活后桌面微小机器人控制器模块驱动微摄像头拍摄图像，在多个目标区域中判断是不是有手指握住笔杆手写目标区域存在，如果没有，则驱动微车底每次以15度步长及移动一厘米步长行走，继续拍摄照片并识别手指握住笔杆手写目标区域，如果旋转360度移动10厘米后依就没有发现手指握住笔杆手写目标区域，则桌面微小机器人控制器模块停止工作，等待下一次激活；

(3)当摄像头捕获到手指握住笔杆手写目标区域后，控制器模块每一秒重复实现：一方面驱动摄像头采集图像并上传到云端服务器，另一方面判断手指握住笔杆手写目标区域的笔尖是不是在图像画面的三分之一处，如果出现偏差，则通过PMW端口驱动所述微车底的驱动微电机旋转5度或移动1厘米，驱动微升降杆的微型步进直流电机动升降1厘米；

(4)当桌面微小机器人控制器模块无法驱动旋转或无法驱动移动时，则点亮报警灯与驱动蜂鸣器，让处于手写过程中的当事人人工移开阻碍物品，保持桌面微小机器人行走路径通畅。

6.根据权利要求4所述对手写过程的在线采集方法，所述伞形笔套选定在线摄像头工作流程如下：

(1)伞形笔套控制器模块存储各类手指握住笔杆手写二值模板图库；

(2)伞形笔套控制器模块依次驱动各根龙骨末端摄像机采集图像，判断所采图像是不是包括了手指握住笔杆手写目标区域，如果全部没有，则此时暂停摄像工作；如果其中一个摄像头包括了手指握住笔杆手写目标区域而其它摄像头没有发现手指握住笔杆手写目标区域，则此后仅仅连续驱动图像中包括了手指握住笔杆手写目标区域的这个摄像头；

(3)伞形笔套控制器模块向云端服务器上传所采集的图像。

7.根据权利要求4所述对手写过程的在线采集方法，所述当事人终端响应工作流程如下：

(1)当云端数字图像识别模块对包括了手指握住笔杆手写目标区域的一个字符无法识别时，将此无法识别的这个字符及所在行前后字符一同传输给当事人终端；

(2)当事人在当事人终端界面上由人工用拼音或其它途径输入该无法识别字符所对应的正规字符并人工点击提交功能键，包括该无法识别字符及对应的正规字符一同上传云端服务器；

(3)云端数字图像识别模块将无法识别字符的手写图像与当事人终端上传的正规字符并入到当事人手写字符图像对照数据库表单一行，以后云端数字图像识别模块面对这个无法识别字符手写图像时不必再提交当事人终端帮助，而由云端数字图像识别模块自行从当事人手写字符图像对照数据库表单中查询匹配得到确切字符含义。