CN111047947A - 一种基于ar技术的书写指导器及书写指导方法 - Google Patents

Abstract

本发明公开了一种基于AR技术的书写指导器，包括：摄像模块，用于获取现实书写环境信息；虚拟图像构建模块，用于根据预存的书写指导信息，构建虚拟书写指导图像；数据分析处理模块，用于根据现实书写环境信息，确定虚拟书写指导图像在现实书写环境中的空间位置；AR显示模块，用于在现实书写环境中的相应位置，叠加显示虚拟书写指导图像。本发明将AR技术应用于书写指导，通过AR技术将辅助用户书写的虚拟图像叠加显示在现实环境中，从而让用户可以直观的看到书写指引图像，为用户提供书写指导，培养用户书写习惯，提高书写效率。

Description

一种基于AR技术的书写指导器及书写指导方法

技术领域

本发明涉及教育领域，尤其涉及一种基于AR技术的书写指导器及书写指导方法。

背景技术

由于应试教育、电脑普及、写字教学相对滞后等多种因素所致，全国范围内的大中小学生的书写习惯不容乐观，书写能力低，书写水平差，或者直接表现为根本不会执笔，更不用说书写的结构与章法了。

而现有的书写引导方式，大多数是字帖参照引导，或者描红方式引导，或者电阻式触摸屏。不涉及描红方式的动态引导，而字帖引导的本质是参照式的，学生观察能力弱的话，模仿不出字帖的效果；描红式无法对笔顺进行检测；电阻式触摸屏确实能够解决上述2种引导方式带来的问题，但其自身对触控笔有限制，这与真实的硬笔还是有差别，更不能解决毛笔的书写引导和笔顺监测。

而如果只看写字作业簿，老师或家长只看到最后的笔迹，不知道孩子的笔顺是否正确。对于字的发音，通过作业簿，老师也只看到最后的拼音拼写笔迹，不知道学生的发音是否正确，是否带上了地方音、家乡音？这些问题，除非老师跟着身旁，不然只在课堂上，面对如此多的学生，1位老师是不可能去一一发现学生们的问题，也不可能去一一纠正他们的笔顺和发音的。

更重要的是，汉字是形、生、义三位一体的，因为当代的汉字是从甲骨文嬗变而来，所以要学习和理解一个汉字，尤其是它的“义”，还是要从嬗变过程中学习而来，学生才能真正理解汉字。

发明内容

为了解决上述至少一个技术问题，本发明提供一种基于AR技术的书写指导器及书写指导方法，正确引导孩子们进行书写，提高书写学习效率。

在下述专利的基础上，中国专利201911204216.9本发明公开了一种基于AR技术的姿态矫正器及其矫正方法，其中，基于AR技术的姿态矫正器包括：传感数据模块，用于通过多种传感器实时获取当前身体位姿信息；数据分析处理模块，用于根据当前身体位姿信息，确定用户的当前姿势类型；虚拟姿态构建模块，用于根据当前姿势类型、当前身体位姿信息以及对应的预存身体位姿参数、预存姿态类型，构建虚拟姿态参照系统；AR显示模块，用于根据虚拟姿态参照系统在现实环境中叠加显示虚拟姿态参照图像，以使通过姿态矫正器的视场看到虚拟姿态参照图像。通过本发明，可以给予用户更为全面的正确指引，辅助用户矫正自己的姿势。

具体的，本发明的技术方案如下：一方面，本发明提供了一种基于AR技术的书写指导器，包括：摄像模块，用于获取现实书写环境信息；虚拟图像构建模块，用于根据预存的书写指导信息，构建虚拟书写指导图像；数据分析处理模块，用于根据所述现实书写环境信息，确定所述虚拟书写指导图像在所述现实书写环境中的空间位置；AR显示模块，用于在所述现实书写环境中的相应位置，叠加显示所述虚拟书写指导图像。

优选地，所述基于AR技术的书写指导器还包括：书写指导库，用于存储所述书写指导信息；所述书写指导信息包括：辅助确定字符的书写位置的虚拟辅助定位线、不同字符的笔顺动态虚拟图像、不同用户的标准书写姿势模型。

优选地，所述虚拟辅助定位线包括：基础辅助定位线和/或精准辅助定位线；其中：所述基础辅助定位线，用于给定通用书写定位线；所述精准辅助定位线，用于根据不同类型的字符给定进一步的书写定位线。以汉字为例：基础辅助定位线一般指“田”字格和“米”字格定位显示方式；进一步根据汉字结构，在“田”字格和“米”字格的基础上叠加显示如“川”字格、“三”字格或“匡”字格等。精准辅助定位线，在基础辅助定位线的基础上，在进一步提供动态描红显示，即对每一个笔画顺序的依次显示，也显示每一个笔画的起止位置。

优选地，所述笔顺动态虚拟图像包括汉字、数字、拼音、外语字母的笔顺书写动态虚拟影像。

优选地，所述书写指导库中存储的书写指导信息还包括：以图像、音频、视频、文本之中的任意一种或多种格式存储的字符信息；所述字符信息包括字符的字形、读音、释义、及相应的典故之中的任意一种或多种的组合。

优选地，所述虚拟图像构建模块包括：虚拟字符引导图像子模块，用于从所述书写指导库中调用相应的虚拟字符引导图像；所述虚拟字符引导图像包括：虚拟辅助定位线和/或当前字符的笔顺动态虚拟图像；和/或虚拟姿势引导图像子模块，用于从所述书写指导库中调用当前用户的标准书写姿势模型。

优选地，所述书写指导库，还用于存储不同用户的身体基本信息；所述书写指导器还包括：传感数据获取模块，用于通过多种传感器实时获取当前身体位姿信息；所述虚拟姿势引导图像子模块，还用于根据所述当前身体位姿信息及所述书写指导库中的身体基本信息，构建虚拟姿势参照图像；所述数据分析处理模块，还用于根据所述当前身体位姿信息和/或所述现实书写环境信息，确定所述虚拟姿势参照图像的空间位置；所述AR显示模块，还用于在所述现实书写环境中的相应位置叠加显示所述虚拟姿势参照图像。

优选地，所述传感数据获取模块包括：基础传感子模块和/或体感传感子模块；其中：所述基础传感子模块，用于实时获取所述当前身体位姿信息；所述体感传感子模块，用于获取身体的精细姿势信息。

优选地，所述基础传感子模块包括：高度计、陀螺仪和/或水平仪；所述体感传感子模块包括：Leap Motion传感器、uSens Fingo传感器、Kinect传感器、Xtion Pro传感器、Real Sense传感器之中的任意一种或多种。

优选地，所述虚拟姿势引导图像子模块包括：虚拟站姿图像单元、虚拟坐姿图像单元、虚拟桌面图像单元和/或虚拟握笔图像单元；其中：所述虚拟坐姿图像单元，用于构建身体线、水平肩线；和/或，用于构建身体各部位的虚拟轮廓；所述虚拟桌面图像单元，用于构建书写桌面上叠加显示的手臂定位线；和/或，用于构建书写桌面上叠加显示的手臂摆放轮廓线；所述虚拟握笔图像单元，用于构建握笔姿势虚拟模型；所述握笔姿势包括硬笔握笔姿势、软笔握笔姿势。

优选地，所述基于AR技术的书写指导器还包括：声音采集模块，用于采集用户的语音信息，所述语音信息包括语音指令及字符的拼读语音；声音播放模块，用于在所述数据分析处理模块的控制下，播放字符的标准读音、释义、或视频动画的音频内容。

优选地，所述摄像模块包括：深度摄像头、鱼眼摄像头和/或结构光摄像头。

优选地，所述摄像模块，还用于记录用户书写情况；所述数据分析处理模块，还用于根据所述用户书写情况，给到所述AR显示模块下一步的书写显示指令。

优选地，所述数据分析处理模块，还用于根据所述现实书写环境，确定书写区域。

优选地，所述AR显示模块，还用于对非书写区域进行模糊化显示处理。

另一方面，本发明还公开了一种基于AR技术的书写指导方法，包括：获取现实书写环境信息；根据预存的书写指导信息，构建虚拟书写指导图像；根据所述现实书写环境信息，确定所述虚拟书写指导图像在所述现实书写环境中的空间位置；在所述现实书写环境中的相应位置，叠加显示所述虚拟书写指导图像。

优选地，所述书写指导库，用于存储所述书写指导信息；所述书写指导信息包括：辅助确定字符的书写位置的虚拟辅助定位线、不同字符的笔顺动态虚拟图像、不同用户的标准书写姿势模型。

优选地，所述虚拟辅助定位线包括：基础辅助定位线和/或精准辅助定位线；其中：所述基础辅助定位线，用于给定通用书写定位线；所述精准辅助定位线，用于根据不同类型的字符给定进一步的书写定位线。

优选地，所述笔顺动态虚拟图像包括汉字、数字、拼音、外语字母的笔顺书写动态虚拟影像。

优选地，所述书写指导库中存储的书写指导信息还包括：以图像、音频、视频、文本之中的任意一种或多种格式存储的字符信息；所述字符信息包括字符的字形、读音、释义、及相应的典故之中的任意一种或多种的组合。

优选地，所述根据预存的书写指导信息，构建虚拟书写指导图像包括：从所述书写指导库中调用相应的虚拟字符引导图像；所述虚拟字符引导图像包括：虚拟辅助定位线和/或当前字符的笔顺动态虚拟图像；和/或从所述书写指导库中调用当前用户的标准书写姿势模型。

优选地，所述标准书写姿势模型包括：虚拟坐姿模型、虚拟桌面图像模型、虚拟握笔模型之中的任意一种或多种；其中：所述虚拟坐姿模型包括：虚拟身体线、虚拟水平肩线；和/或身体各部位的虚拟轮廓；所述虚拟桌面图像模型包括：用于在书写桌面上叠加显示的虚拟手臂定位线；和/或虚拟手臂摆放轮廓线；所述虚拟握笔模型包括：虚拟硬笔握笔模型和/或虚拟毛笔握笔模型。

优选地，所述书写指导库，还用于存储不同用户的身体基本信息；所述虚拟姿势图像构建步骤具体还包括：通过多种传感器实时获取当前身体位姿信息；根据所述当前身体位姿信息及所述书写指导库中的身体基本信息，构建虚拟姿势参照图像，并确定所述虚拟姿势参照图像的显示位置。

优选地，所述基于AR技术的书写指导方法还包括：采集用户的语音信息；所述语音信息包括语音指令及字符的拼读语音；解析所述语音信息，确定用户需求；根据所述用户需求及预存的书写指导信息，播放相应的音频内容。

优选地，所述基于AR技术的书写指导方法还包括：拍摄记录用户书写情况；根据所述用户书写情况，给到下一步的书写显示指令。

优选地，所述基于AR技术的书写指导方法还包括：根据所述现实书写环境，确定书写区域。

优选地，所述基于AR技术的书写指导方法还包括：对非书写区域进行模糊化显示处理。

本发明及实施例至少包括以下一项技术效果：

1.本发明的基于AR技术的书写指导器，将AR技术应用于书写指导，通过AR技术将辅助用户书写的虚拟书写指导图像叠加显示在现实环境中，从而让用户可以直观的看到书写指引图像，不仅可以实现对用户的书写指引，还提升了用户体验，实现了沉浸式书写指导。

2.本发明的基于AR技术的书写指导器，从“形”出发，能一笔一笔地引导用户的笔顺书写。更佳的，还能识别用户的笔顺对错，及时进行纠正和指导。也克服了原先不在老师的指导下，无法引导学生写字的问题。

3.本发明的基于AR技术的书写指导器，从“声”出发不但能提示拼音结构和正确的发音，也能识别用户的发音对错，及时进行纠正和指导。

4.本发明的基于AR技术的书写指导器，是听写或默写的好帮手，在家中完成课后作业，不再需要家长的配合协助，可以自动播报单词，并监视学生用户的书写，最后能判断书写的正确与否，并对错误给到正确的讲解。

5.本发明的基于AR技术的书写指导器，可以在解释字“形、声、义”的时候，实时展开各种针对性的演示，比如某汉字的汉字树，比如十二生肖文字的变化由来，比如播放类似美术片《三十六个字》来形象地告诉学生汉字由来的“六书”理论，以及汉字的美学(汉字是形音义合一而生，也复合着复杂的审美意蕴)。

6.本发明的基于AR技术的书写指导器，在佩戴者的视角下除了能看到笔顺的引导，还能看到字帖和/或“定位格”(虚拟辅助定位线)，对于不同字形的字，还有对应的“定位格”，提示用户每笔的起止位置，提示用户字形结构和比例关系，从而培养出良好的书写习惯和美观大方的。

7.本发明的基于AR技术的书写指导器，除了能指导硬笔的握笔方式，还能指导毛笔的握笔方式，提示用户在硬笔对应的正确书写区或者毛笔对应的书写区，进行舒适地书写。

8.本发明的基于AR技术的书写指导器，在引导用户进行字符的书写的同时，还可以就书写的字符进行发声的指导。更佳的，还可以进行拼音教育，提醒某汉字的声母、韵母、整体认读音节等，也看单独播放完整的拼音教学，包括声母、单韵母、复韵母、前鼻音韵母、后鼻音韵母和整体读音。

9、本发明的基于AR技术的书写指导器，除了引导汉字的书写以外，还能引导数字、拼音、英语单词等的书写规范和顺序。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于AR技术的书写指导器的实施例一的结构框图；

图2为本发明基于AR技术的书写指导器的实施例二、三的结构框图；

图3为本发明实施例二中的基础辅助定位线的示意图；

图4a为本发明实施例二中的精准辅助定位线的一种形式示意图；

图4b为本发明实施例二中的精准辅助定位线的另一种形式示意图；

图4c为本发明实施例二中的精准辅助定位线的另一种形式示意图；

图4d为本发明实施例二中的精准辅助定位线的另一种形式示意图；

图5为本发明实施例二中“我”字的笔顺动态虚拟图像效果示意图；

图6为本发明基于AR技术的书写指导器的实施例四的结构框图；

图7为本发明基于AR技术的书写指导方法的实施例五的流程图；

图8a为本申请的基于AR技术的姿态矫正器矫正姿势的侧面原理图；

图8b为在实体桌面上叠加显示虚拟参照线及书写区域示意图；

图9为标准的硬笔握笔姿势示意图。

附图标记：

100--书写指导库；200--摄像模块；300--虚拟图像构建模块；400--数据分析处理模块；500--AR显示模块；600--声音采集模块；700--声音播放模块；800--传感数据获取模块；310--虚拟字符引导图像子模块；320--虚拟姿势引导图像子模块；321--虚拟站姿图像单元；322--虚拟坐姿图像单元；323虚拟桌面图像单元；324--虚拟握笔图像单元；810--基础传感子模块；820--体感传感子模块；501--前倾的身体线；502--眼睛距离写字区域的距离线；503--物理桌面；504--身体距离桌沿的腹线；505--人眼位置，506--桌沿垂直延长线；507--桌沿边界；508--中心线；509--左手臂线；510--右手臂线；511--硬笔书写区域；512--软笔书写区域。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其他实施例中也可以实现本申请。在其他情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所述描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其他特征、整体、步骤、操作、元素、组件和/或集合的存在或添加。

为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘出了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

另外，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

【实施例一】

如图1所示，本实施例提供了一种基于AR技术的书写指导器，通过采用AR技术，引导孩子们进行书写，提高书写学习效率。具体的，本实施例的书写指导器包括：

摄像模块200，用于获取现实书写环境信息；具体的，通过摄像头可采集用户书写时的书写环境信息，比如，书写的桌面等现实书写环境情况，便于后续将构建的虚拟图像在该现实的书写环境中叠加显示。摄像模块可采用深度摄像头、鱼眼摄像头和/或结构光摄像头等进行图像拍摄。

虚拟图像构建模块300，用于根据预存的书写指导信息，构建虚拟书写指导图像；也就是说构建将要通过AR技术显示的虚拟书写指导图像，后续用户通过该虚拟书写指导图像便可指导该怎么进行书写。虚拟的书写指导图像可以是书写的字符的标准书写虚拟图像、也可以是方便用户书写时对每个字符进行定位的定位格式虚拟图像，还可以是引导用户矫正自己书写姿势的书写姿势的虚拟图像等。而这些图像构建的基础，则来源于预存的书写指导信息，该书写指导信息则是对书写进行正确指导的信息，比如字符的书写笔画信息、字符的书写注意事项、书写的标准姿势信息等等。

数据分析处理模块400，用于根据所述现实书写环境信息，确定所述虚拟书写指导图像在所述现实书写环境中的空间位置；具体的，虚拟图像构建模块300构建好了虚拟书写指导图像后，还需要确定该虚拟书写指导图像叠加显示在现实书写环境中的哪个位置，而本实施例中的数据分析处理模块400则主要用来确定虚拟书写指导图像的显示位置。比如，如果虚拟书写指导图像为字符的书写标准虚拟图像，那么便可根据现实书写环境信息，找到书写区域，并将其作为后续该书写标准虚拟图像的叠加显示区域。

AR显示模块500，用于在所述现实书写环境中的相应位置，叠加显示所述虚拟书写指导图像。具体的，AR显示模块500接收到数据分析处理模块的指示后，便可将虚拟书写指导图像叠加显示在相应的位置，比如将字符的书写标准虚拟图像叠加显示在现实书写环境中的书写区域。用户便可通过可穿戴的AR设备直观的看到该书写标准虚拟图像，从而进行相应的书写。

本实施例将AR技术应用于书写指导，通过AR技术将辅助用户书写的虚拟图像叠加显示在现实环境中，从而让用户可以直观的看到书写指引图像，不仅可以实现对用户的书写指引，还提升了用户体验，实现了沉浸式书写指导。

【实施例二】

本实施例的基于AR技术的书写指导器，如图2所示，在上一实施例的基础上，增加了书写指导库100，该书写指导库100，用于存储书写指导信息；具体的，书写指导信息包括：辅助确定字符的书写位置的虚拟辅助定位线、不同字符的笔顺动态虚拟图像、不同用户的标准书写姿势模型之中的任意一种或多种的组合。

其中虚拟辅助定位线包括：基础辅助定位线和/或精准辅助定位线。

以汉字为例：基础辅助定位线，用于给定通用书写定位线。基础辅助定位线，相当于一种通用格式。比如通用于汉字书写的定位线(格式)，比如田字格、米字格等。或者通用于英文字母书写的定位线(格式)、比如四线三格等。也就是说如果书写的是汉字，那么该基础辅助定位线则适用于所有汉字的书写初步定位，例如，用户采用白纸书写，则可在白纸上叠加显示“田字格”或“米字格”，更佳的，如果用户采用的是田字格或米字格的书写本，那么还可在该书写本的田字格或米字格上叠加显示田子方格的内切圆，甚至该内切圆的内切正方形等，从而可以进一步帮助书写者确定字符的书写区域，具体的，如图3所示。

精准辅助定位线，用于根据不同类型的字符给定进一步的书写定位线。精准辅助定位线，是在基础辅助定位线的基础上，进一步给定出更为精准的辅助定位线。具体的，我们以汉字为例，精准辅助定位线，则针对不同字形(不同类型的字符)的字符的书写定位。不同字形的字符可采用不同的精准辅助定位线，比如汉字中各字形各有不同，有的汉字是上下结构、有的是上中下结构，有的是左右结构、或者左中右结构、还有的是半包围结构等等，即“川”字格、“三”字格或“匡”字格等。因此，本实施例的书写指导器可根据字形的不同，进而采用相应的精准辅助定位线来辅助书写者进行书写定位。具体的，如图4a、4b、4c、4d、所示。

笔顺动态虚拟图像包括汉字、数字、拼音、外语字母的笔顺书写动态虚拟影像。比如26个英文字母的笔画顺序书写的动态虚拟影像；以汉字为例：关于汉字的笔顺动态虚拟影像，可以是在书写指导库中存储了字典中的每个汉字的书写笔顺的动态虚拟影像，在基础/精准辅助定位线的基础上，或者在不显示辅助定位线的基础上，在进一步提供动态描红显示，即对每一个笔画顺序的依次显示，也显示每一个笔画的起止位置。比如“我”字，对应存储了该字的书写笔顺的动态虚拟影像。我们以“我”字为例，图5示出了“我”字的动态虚拟影像效果示意图。图5中每子图的黑色笔画部分为显示的笔画，勾勒笔画部分为不显示或者淡显示的笔画。值得一提的是，基于AR技术的书写指导器可以根据书写顺序，检测本步下用户的笔画是否书写完毕，书写完毕且正确，则显示下一笔的笔画。书写完毕但不正确，则调用对应的出错程序，指示该笔画的出错问题，并要求重新书写。当然，也可以是存储汉字中采用的所有笔画书写的动态虚拟影像，而后续在使用时，再根据具体书写的汉字的笔顺，来调用对应的笔画的动态虚拟影像。比如汉字“木”，则根据“木”的正确的笔顺，依次调用“横、竖、撇、捺”的动态虚拟影像。更佳的，同一笔画还设有不同的动态虚拟影像，以满足不同字形结构的汉字需求。比如，同样是“丿”，该笔画应用于“木”字和“科”字，由于“木”和“科”的字形结构不同，一个是整体结构，一个是左右结构，那么对应的“丿”的笔画书写的动态虚拟影像也略有差异。

除此之外，书写指导库中存储的书写指导信息还可以包括：以图像、音频、视频、文本之中的任意一种或多种格式存储的字符信息；所述字符信息包括字符的字形、读音、释义、及相应的典故之中的任意一种或多种的组合。具体的，比如存储了汉字“火”的字形、读音、解释、深圳关于“火”的动画、故事等内容，当然，这些内容的存储格式不限，也可根据需求采用不同的格式进行存储，比如，字形以文本的形式存储，读音以音频的格式存储、动画、故事(典故)以视频的形式存储等。

【实施例三】

本实施例在上述实施例的基础上，如图2所示，本实施例的虚拟图像构建模块300包括：虚拟字符引导图像子模块310和/或虚拟姿势引导图像子模块320；其中：

虚拟字符引导图像子模块310，用于从所述书写指导库100中调用相应的虚拟字符引导图像；所述虚拟字符引导图像包括：虚拟辅助定位线和/或当前字符的笔顺动态虚拟图像。

具体的，虚拟辅助定位线，我们在上一实施例中已有所了解，主要是用来方便用户书写定位的。虽然，书写时一般可通过现实中的书写格子确定书写字符的位置或大小，比如采用田字格等来进行书写，然而即使现实环境中有田字格，然而可能还是不足以让书写者更量化地理解到字符书写时各笔画的书写区域位置，因而，本实施例中采用虚拟定位图像来辅助书写者能更直观地确定书写字符的各个笔画的大体位置。更何况，对于采用白纸进行书写时，虚拟辅助定位线的作用则更加重要。

字符的笔顺动态虚拟图像，即该字符书写时正确的书写顺序。现有的各类书写临摹字帖，我们只可直观的看到字形，但是无法显示书写的笔画顺序，也难以揣摩出书写的字的每个笔画需要注意的事项等。而本实施例则不然，本实施例中的虚拟字符引导图像子模块310，则可以从书写指导库中调取相应字符的笔顺动态虚拟图像，后期再通过AR显示模块500将该笔顺动态虚拟图像叠加显示在现实书写环境中的书写区域中，书写者便可以通过AR设备看到当前字符的各笔画的书写顺序。更佳的，在动态展示笔顺动态虚拟图像时，还可同步配备该字符的各笔画的书写注意事项的图像显示/语音提示，让书写者不仅可以知道当前字符的书写的笔顺，还能理解每一笔画的重点、需要注意的地方等，进而更快速的帮助书写者更好地学习书法，基于理解的基础上更能提高书写学习效率。

虚拟姿势引导图像子模块320，用于从所述书写指导库中调用当前用户的标准书写姿势模型。

具体的，我们在练习书法的时候，字写得好不好，往往还和书写的姿势有关，姿势不准确，一方面长期以往会影响青少年的身体发育，另一方面，也会让书写练习的效率大打折扣。而本实施例的虚拟姿势引导图像子模块，则可在用户书写时，为用户提供标准书写姿势模型，以便用户来矫正自己的书写姿势。标准书写姿势模型可以包括具体的握笔手势的模型，比如毛笔的握笔姿势模型、或者硬笔的握笔姿势模型等。还可以包括用户的标准坐姿模型等。

关于书写姿势的引导，另一中实现形式如下：

具体的，书写指导库100，还用于存储不同用户的身体基本信息；比如，用户的身高、坐高、肩宽、手臂长等等基本信息，还可以存储用户的性别、年龄等等。本实施例的书写指导器还包括：

传感数据获取模块800，用于通过多种传感器实时获取当前身体位姿信息；比如可以通过高度计测量用户佩戴的AR设备对地的高度，从而获取用户当前当前是站姿还是坐姿。

虚拟姿势引导图像子模块320，还用于根据所述当前身体位姿信息及所述书写指导库中的身体基本信息，构建虚拟姿势参照图像；具体的，比如用户当前是坐着写毛笔字，那么便可从书写指导库中调用该用户的坐高、肩宽等信息，来构建辅助该用户书写姿势矫正的竖直身体线和水平肩线(虚拟姿势参照图像)。

数据分析处理模块400，还用于根据所述当前身体位姿信息和/或所述现实书写环境信息，确定所述虚拟姿势参照图像的空间位置；具体的，我们以上述虚拟姿势引导图像子模块320构建的竖直身体线和水平肩线为例，通过摄像模块获取的现实书写环境信息，或者传感数据获取模块获取的该用户当前身体位姿信息，均可定位出用户当前的位置信息，进而定位该竖直身体线和水平肩线在现实环境中的位置。

AR显示模块500，还用于在所述现实书写环境中的相应位置叠加显示所述虚拟姿势参照图像。具体的，AR显示模块500根据数据分析处理模块的指令，在现实书写环境中叠加显示该虚拟姿势参照图像。比如叠加显示上述的水平肩线和竖直身体线，用户可通过佩戴的书写指导器来看到该虚拟姿势参照图像，从而可主动去矫正自己的姿势，比如让自己的肩膀匹配至水平肩线，以避免书写时左右肩膀高低不一，还可通过竖直的身体线来矫正自己坐姿，避免弓背驼腰。

上述实施方式中，传感数据获取模块800包括：基础传感子模块810和/或体感传感子模块820；其中：

基础传感子模块810，用于实时获取所述当前身体位姿信息；具体的，基础传感子模块包括：高度计、陀螺仪和/或水平仪；

体感传感子模块820，用于获取身体的精细姿势信息。体感传感子模块包括：LeapMotion传感器、uSens Fingo传感器、Kinect传感器、Xtion Pro传感器、Real Sense传感器之中的任意一种或多种。值得一提的是，基于AR技术的书写指导器与体感传感子模块，可以是分离的，但可以通过有线或者无线方式进行信息通信连接。

上述实施例中，所述虚拟姿势引导图像子模块320包括：虚拟站姿图像单元321、虚拟坐姿图像单元322、虚拟桌面图像单元323和/或虚拟握笔图像单元324；其中：

所述虚拟坐姿图像单元，用于构建身体线、水平肩线；和/或，用于构建身体各部位的虚拟轮廓；

所述虚拟桌面图像单元，用于构建书写桌面上叠加显示的手臂定位线；和/或，用于构建书写桌面上叠加显示的手臂摆放轮廓线；

所述虚拟握笔图像单元，用于构建握笔姿势虚拟模型；所述握笔姿势包括硬笔握笔姿势、软笔握笔姿势。

【实施例四】

本实施例在上述任一实施例的基础上，如图6所示，本实施例的基于AR技术的书写指导器还包括：

声音采集模块600，用于采集用户的语音信息，所述语音信息包括语音指令及字符的拼读语音；

声音播放模块700，用于在数据分析处理模块400的控制下，播放字符的标准读音、释义、或视频动画的音频内容。

具体的，本实施例中的书写指导器，在上述任一实施例的基础上，增加了声音采集模块600和声音播放模块700，从而可以实现与用户的互动。用户可以与本实施例的书写指导器进行语音通话，通过语音发送书写指令，比如，用户可以语音控制该书写指导器，用户在书写的时候，还可同步播放当前书写的字符的读音、典故等等。此外，还可以采集用户对生字的读音，通过数据分析处理模块分析，判断该读音是否正确，如果拼读出错，则再通过声音播放模块播放出正确的读音，从而不仅帮助用户会写，还会读。

此外，在上述任一实施例的基础上，本实施例的摄像模块200，还用于记录用户书写情况；本实施例的数据分析处理模块400，还用于根据所述用户书写情况，给到所述AR显示模块500下一步的书写显示指令。

具体的，比如，前面实施例中我们提到了笔顺动态虚拟图像，比如一个汉字有四笔，那边便可在用户书写时，按照该字的正确笔画书写顺序依次叠加显示对应的笔画的书写动态虚拟图像。而本实施例中的摄像模块200则还可以实时拍摄记录用户的书写情况，比如，当前叠加显示了某字符的某一笔画的动态虚拟图像，然后用户根据该笔画的虚拟图像书写对应的笔画，而摄像头可实时拍摄记录用户的书写情况，从而可实时监测到用户的书写，而笔顺动态虚拟图像也会根据用户当前的书写进行来进行显示进度的调整。比如，当前显示某字的第一笔画的书写，用户便可按照该笔画书写的虚拟动态图像的指引进行相应的书写，摄像模块200拍摄到用户完成该第一笔画的书写后，再通过AR显示模块500继续显示第二笔画的书写，用户再根据该第二笔画的动态虚拟图像的指引，完成第二笔画的书写......，以此类推，直至该字的所有笔画都书写完成。判断的依据是摄像头识别已书写的笔画在纸上的起止位置和过程位置，即笔迹是否符合数据库中的每一笔画设定的参数。

较佳的，在上述任一实施例的基础上，本实施例的数据分析处理模块400，还用于根据所述现实书写环境，确定书写区域。具体的，在书写的桌面上确定一小块区域作为书写区域，书写区域的正确设定，也有助于书写者保持正确的书写姿势。

更佳的，本实施例的AR显示模块，还用于对非书写区域进行模糊化显示处理。如此，书写者只可看见书写区域内的信息，从而让用户更加专注于书写区域内的书写情况，增强用户注意力。

【实施例五】

基于相同的技术构思，本发明还公开了一种基于AR技术的书写指导方法，具体的，实施例五的书写指导方法如图7所示，包括：

S101，获取现实书写环境信息；

具体的，通过摄像头可采集用户书写时的书写环境信息，比如，书写的桌面等现实书写环境情况，便于后续将构建的虚拟图像在该现实的书写环境中叠加显示。摄像模块可采用深度摄像头、鱼眼摄像头和/或结构光摄像头等进行图像拍摄。

S102，根据预存的书写指导信息，构建虚拟书写指导图像；虚拟的书写指导图像可以是书写的字符的标准书写虚拟图像、也可以是方便用户书写时对每个字符进行定位的定位格式虚拟图像，还可以是引导用户矫正自己书写姿势的书写姿势的虚拟图像等。而这些图像构建的基础，则来源于预存的书写指导信息，该书写指导信息则是对书写进行正确指导的信息，比如字符的书写笔画信息、字符的书写注意事项、书写的标准姿势信息等等。

S103，根据所述现实书写环境信息，确定所述虚拟书写指导图像在所述现实书写环境中的空间位置；比如，如果虚拟书写指导图像为字符的书写标准虚拟图像，那么便可根据现实书写环境信息，确定书写区域，并将其作为后续该书写标准虚拟图像的叠加显示区域。

S104，在所述现实书写环境中的相应位置，叠加显示所述虚拟书写指导图像。具体的，将字符的书写标准虚拟图像叠加显示在现实书写环境中的书写区域。用户便可通过可穿戴的AR设备直观的看到该书写标准虚拟图像，从而进行相应的书写。

本实施例将AR技术应用于书写指导，通过AR技术将辅助用户书写的虚拟图像叠加显示在现实环境中，从而让用户可以直观的看到书写指引图像，不仅可以实现对用户的书写指引，还提升了用户体验，实现了沉浸式书写指导。

【实施例六】

本实施例在上述实施例五的基础上，设立了一书写指导库，该书写指导库用于存储书写指导信息；该书写指导信息包括：辅助确定字符的书写位置的虚拟辅助定位线、不同字符的笔顺动态虚拟图像、不同用户的标准书写姿势模型。

具体的，虚拟辅助定位线包括：基础辅助定位线和/或精准辅助定位线；其中：

基础辅助定位线，用于给定通用书写定位线；比如适用于所有汉字的书写定位的一种虚拟格式；又比如通用于所有英文单词的书写定位的一种虚拟格式。也就是说基础辅助定位线是通用的，当然，汉字和英文可采用不同的基础辅助定位线。

精准辅助定位线，用于根据不同类型的字符给定进一步的书写定位线。具体的，精准辅助定位线则是对具体类型的字符进行了进一步的书写定位，比如，汉字中根据字形结构的不同从而有不同类型的汉字，比如，上下结构、上中下结构，左右结构、左中右结构、半包围结构等等，不同结构的汉字则可采用不同的精确辅助定位线。

本实施例中，笔顺动态虚拟图像包括汉字、数字、拼音、外语字母的笔顺书写动态虚拟影像。比如26个英文字母的笔画顺序书写的动态虚拟影像；关于汉字的笔顺动态虚拟影像，可以是在书写指导库中存储了字典中的每个汉字的书写笔顺的动态虚拟影像，也可以是存储汉字中采用的所有笔画书写的动态虚拟影像，而后续在使用时，再根据具体书写的汉字的笔顺，来调用对应的笔画的动态虚拟影像。

标准书写姿势模型，比如标准的3D站姿模型、标准的3D坐姿模型、标准的握笔姿势3D模型等。此外，还可以设置其它辅助书写指导的姿势模型，比如，我们在写字姿势时，身体距离桌面要保持“一拳”的距离，那么我们便可按照标准“一拳”的尺寸信息，构建出一虚拟的拳头模型，从而，可以在后续写字姿势时，在用户的腹部距离桌面的位置，叠加显示一虚拟拳头模型，让用户通过AR设备可以更加直观的看到写字姿势时应当与桌面保持的距离。

此外，书写指导库中存储的书写指导信息还包括：以图像、音频、视频、文本之中的任意一种或多种格式存储的字符信息；所述字符信息包括字符的字形、读音、释义、及相应的典故之中的任意一种或多种的组合。

【实施例七】

本实施例在上述实施例的基础上，所述根据预存的书写指导信息，构建虚拟书写指导图像包括：

从所述书写指导库中调用相应的虚拟字符引导图像；所述虚拟字符引导图像包括：虚拟辅助定位线和/或当前字符的笔顺动态虚拟图像；

和/或，

从所述书写指导库中调用当前用户的标准书写姿势模型。

具体的，用于矫正书写姿势的各类虚拟姿态模型可提前根据用户的身体位姿信息进行构建，存储在书写指导库中，后续再进行书写姿势矫正时，便可直接调用相应的虚拟姿势模型，方便快捷，也提高了显示速度，增强用户体验。

标准书写姿势模型包括：虚拟坐姿模型、虚拟桌面图像模型、虚拟握笔模型之中的任意一种或多种；其中：

虚拟坐姿模型包括：虚拟身体线、虚拟水平肩线和/或身体各部位的虚拟轮廓；

虚拟桌面图像模型包括：用于在书写桌面上叠加显示的虚拟手臂定位线；和/或虚拟手臂摆放轮廓线；

虚拟握笔模型包括：虚拟硬笔握笔模型和/或虚拟毛笔握笔模型。

此外，本实施例的书写指导库，还用于存储不同用户的身体基本信息；所述虚拟姿势图像构建步骤具体还包括：

通过多种传感器实时获取当前身体位姿信息；

根据所述当前身体位姿信息及所述书写指导库中的身体基本信息，构建虚拟姿势参照图像，并确定所述虚拟姿势参照图像的显示位置。

【实施例八】

本实施例在上述任一实施例的基础上，本实施例的基于AR技术的书写指导方法还包括：

采集用户的语音信息；所述语音信息包括语音指令及字符的拼读语音；

解析所述语音信息，确定用户需求；

根据所述用户需求及预存的书写指导信息，播放相应的音频内容。

此外，还可拍摄记录用户书写情况；然后根据所述用户书写情况，给到下一步的书写显示指令。

具体的，用户可通过语音控制书写指导器来指导书写，尤其是对于低年级的孩子，复杂的操作可能不太适用，而简单的语言则可较好的操控该书写指导器，比如书写指导器当前在指导孩子书写“离”字，而如果孩子还不认识这个字，那么便可对书写指导器说：“这是什么字？”，那么书写指导器采集到该语音后，通过解析，便可明白用户的需求，进而从预存的书写指导信息里调用出该字的相关音频内容，并进行播放。通过语音播放的方式告诉孩子“离”字的读音。甚至该字的组词、解释等等。

在上述任一实施例的基础上，还可根据所述现实书写环境，确定书写区域。

较佳的，确定了书写区域后，还可对非书写区域进行模糊化显示处理。具体的，确定了书写区域后，在用户书写时，对非书写区域进行模糊化显示处理，如此，用户佩戴书写指导器后，只可看到书写区域的内容，而其它区域的地方则为模糊状态，这样做的好处，是可以大大提高孩子的专注力，让孩子把注意力全部放在书写区域内，也就是放在写字上面，从而可以大大提高孩子的书写学习效率，培养良好的书写习惯。

本发明的书写指导器的实施例与本发明的书写指导方法的实施例对应，本发明的书写指导器的实施例的技术细节同样适用于本发明的书写指导方法实施例，为减少重复，不再赘述。

接下来，我们以本发明的书写指导器采用本发明的书写指导方法来指导用户书写为例，对本发明进行进一步详细说明。具体的，如以下实施例所示。

【实施例九】

本实施例中我们以通过AR书写指导器指导用户的书写姿势为例。

首先，使用者坐好后戴上AR头显/AR眼镜，调整设备中的各传感器(高度计、陀螺仪、水平仪、等)的初始状态，包括建立3维坐标系；AR眼镜可以捕捉实物桌面的空间位置，设定虚拟桌面与其重合(但不显示虚拟桌面)。

如图8a(侧视图)、图8b(俯视图)所示，其中，501为前倾的身体线，当然，身体线也可以设置为垂直身体线，具体可根据情况自行设定。502为眼睛距离写字区域的距离线(1尺的距离)；503为物理桌面；504为身体距离桌沿的腹线(一拳距离)；505为人眼位置，506为垂直于物理桌面503的桌沿垂直延长线(实际可不在AR设备中显示)。507为桌面的桌沿边界；508为中心线(身体线501映射在桌面503上形成)；509和510分别表示左手臂线和右手臂线；511为硬笔书写区域；512为毛笔书写区域。

第二、使用者通过AR眼镜除了可以看到水平肩线(图中未示出)、前倾的身体线501(需低头才能查看到)、中心线508(投影至虚拟桌面)，还可以看到腹线504(1拳距离)、2条手臂线(左手臂线509和右手臂线510)和正确的书写区域511(硬笔区/毛笔区，2种区域可选)。值得一提的是，身体线501与中心线508是在同一平面上的不同功能的线，其中垂直的身体线501与投影在水平桌面的中心线508有垂直关系。中心线508投影至虚拟桌面上，也即投影在真实桌面上。

第三，使用者通过书写指导器，根据头显中显示的各种指示线，矫正自己的身体各部位进行正确的姿态贴合；使用者的坐姿不正确，将引发矫正提醒。

第四，使用者手握硬笔或者毛笔时，体感器根据握笔的姿态，确定保留显示的正确书写区域是硬笔区域还是毛笔区域。

第五，AR眼镜通过深度摄像头(TOF)检测用户头部(近视认为是眼部)与书籍的距离，阈值设置在33厘米(1尺)，距离短于该距离则会引发矫正提醒；使用者握住笔，通过AR眼镜(体感传感器)通看到握笔高度线，让自己的握笔指尖与硬笔笔尖的距离，控制在握笔高度线在3厘米(1寸)附近，或者，让自己的握笔指尖与毛笔笔杆尖的距离，控制在握笔高度线在4厘米附近，过大或者过小将引发矫正提醒。此时，leap motion体感器，会检测到硬笔握笔手势*(拇指、食指和中指三指指尖)的空间位置的平均值来测算与笔尖的3厘米间距或者检测到硬笔握笔手势(中指、无名指和小指三指指尖)的空间位置的平均值来测算与笔杆尖的4厘米间距。使用者的握笔姿势不正确，也将引发对应的矫正提醒。具体的，正确的硬笔握笔姿势示意图如图9所示。

第六，AR眼镜通过陀螺仪或者水平仪检测用户头部，是否有的偏向，触及阈值将引发矫正提醒；

第七，(附加功能)在虚拟书写框设定为正确的书写位置，在虚拟书写框外的图像做“磨砂”透明处理。如此，用户如果脱离书写的正确位置，将看不清书写的内容。

本实施例中，关于手势识别，识别出用户当前的握笔姿势，则可以采用LEAPMOTION传感器来实现。具体的，上述提到的LEAP MOTION是一款微米级3D手动交互设备，可以追踪到小至0。01毫米的动作，拥有150度的视角，可以跟踪1个人的10个手指的动作，最大频率是每秒290帧。

LEAP MOTION空间叠加入AR三维展示空间，手势与AR三维展示空间中的物体进行互动/反馈，Leap Motion控制器以超过每秒200帧的速度追踪您的手部移动，被识别对象包括拇指(Thumb finger)、食指(Index finger)、中指(Middle finger)、无名指(Ringfinger)、小拇指(Pinky finger)，每个手指可以获取其初始位置start(X，Y，Z)，终止位置end(X，Y，Z)和方向direction(pitch，roll，yaw)。

基于AR/VR显示系统，结合LeapMotion(2个红外线摄像头)感应器，来实现手势抓取虚拟物体的功能。

1.利用Unity3D引擎，搭建一个3D的虚拟场景空间，在该虚拟场景空间创建某3D虚拟物体。

2.接入高通制作的六自由度的SDK(软件开发工具包(外语首字母缩写：SDK、外语全称：Software Development Kit)一般都是一些软件工程师为特定的软件包、软件框架、硬件平台、操作系统等建立应用软件时的开发工具的集合。)。通过设备上的陀螺仪定位数据，计算设备在虚拟场景中的位置，同时映射到Unity3D创建的虚拟场景空间中，从而实现能够在3D空间中旋转以及行走的6DOF效果。

3.接入Leap Motion提供的识别手势(空间参数)的SDK，在虚拟场景空间中加入手模型(包括手部和手臂)。这里需要Leap Motion的驱动以及硬件设备支持。leapSDK能够把驱动检测到的手势信息参数传递到Unity3D。映射这些信息到手模型上，即可实现将真实的手模拟成虚拟手，并呈现到虚拟的3D场景空间中。

4.在Unity3D引擎中将手势的信息进行分析计算，得到一些特定的手势形状，比如手上3个手指的“握笔”的动作。

我们分析得到“握笔”动作的开始和结束。开始和结束时依照3个指尖的相互距离，是否构成一个空心的三角形(笔所在位置，是该三角形的内切圆)。当三指尖的相互距离小于内切圆的某个半径阈值即为进入“握笔”的状态，大于某个半径阈值，即为离开“握笔”的状态。

5.能够识别“握笔”动作之后，即触发了握笔高度线的测量，Leap Motion识别握笔手上的拇指和/或食指，计算此二指到笔尖的(平均)距离，该(平均)距离的要求为3厘米(1寸)。Leap Motion除了可以检测手指外，也可以检测手持的工具。要求就是细的、笔直的、比手指长的物件。

除了Leap Motion检测指尖外，还可以通过深度摄像头(TOF)对笔尖的识别。

6.通过Unity3D引擎发布成对应硬件使用平台(包括安卓、iOS、PSP、xbox和PC等)的应用程序。

除了Leap Motion通过其感应器和坐标体系能识别(徒手)手势控制以外，还可以uSens Fingo、Kinect、XtionPro、Real Sense等体感传感器。或者通过手柄控制、智慧手套、手表式IMU传感器等控制器获取手部动作参数的空间值和反馈值。只是手部姿势识别的精准度，都不如Leap Motion控制器。

【实施例十】

本实施例，在上述任一实施例的基础上，书写指导器通过叠加显示虚拟辅助定位线来指导用户书写，具体的。使用者坐好后戴上AR头显/AR眼镜，调整设备中的各传感器(高度计、陀螺仪、水平仪、等)的初始状态，包括建立3维坐标系；AR眼镜可以捕捉实物桌面的空间位置，设定虚拟桌面与其重合(但不显示虚拟桌面)

使用者通过AR眼镜看到，看到(与硬笔或毛笔对应的)最佳写字区域(书写区域)，有三种情况无实际字格有虚拟定位格(虚拟定位线)、有实际字格有虚拟定位线、在上述两种情况基础上，增加有虚拟引导范本字。

第1种无实际字格有虚拟字格的情况，通过AR眼镜还可以在最佳写字区域中看到具体虚拟字格：田(普通左右或者上下结构，不带撇捺笔画)、米(在田字格的基础上带撇捺笔画)、三(上中下结构)、川(左中右结构)、井(三、川字格的结合)、回(半包围、全包围结构)等字格辅助定位形式。具体的，虚拟字格的几种形式示意图如图4a、图4b、图4c、及图4d示。

第2种有实际字格有虚拟定位线情况，比如使用者将字帖上的定位“田”字方格置于该区域之中，AR眼镜通过摄像头，根据最佳写字区域中的方格进行寻边拟合，在原有的“田”字方格上再投影出更详细的定位线，比如“米”字对角线、“田”字方格的内切圆、进一步在该内切圆中的2种内切正方形(第一种内切正方形的对角线与“米”字线重合，第二种内切正方形的对角线与“田”字方格内的“十”字线重合)可选择显示或者重叠显示，具体的，如图3所示。

第3种在上面两种情况的任一基础上，增加虚拟引导范本字。比如，使用者通过AR眼镜看到“书写区域(实际)、定位格(实际或虚拟)和定位线(虚拟)”以外，还可以在“定位格和定位线”中看到动态的笔顺引导笔画(虚拟)，使用者根据前一笔画描写完，摄像头确认后才能看到后一笔顺的笔画。值得一提的是，定位格和定位线会根据书写字的不同而不同。比如在基本的字格基础上，如图3所示，如果是横竖笔画没有撇捺笔画的汉字，针对性地只显示第1内切正方形，不显示第2内切正方形。如图4a、4b所示，进一步是左中右结构或者上中下结构对应显示“三或川”字格，更复杂地则显示“井”字格；如果除了横竖笔画，还有撇捺笔画的汉字，就需同时显示第1、第2内切正方形；如果是包围结构字形(包括半包围、全包围等结构)的汉字，除了同时显示第1、第2内切正方形外，还显示“回”字格，如图4d所示。

因为汉字结构有大概10种：单字体、左右、左中右、上下、上中下、半包围、全包围、镶嵌、堆砌、“品”字结构等。汉字结构的书写又有八大美学规律，所以，在上述字格的基础上，引导器不仅能引导笔画(一般笔画顺序：先横后竖，先撇后捺，从上到下，从左到右，从外到内，先中间后两边，先里头后封口)，还要引导字形的美学结构：对称、不对称(黄金比例)、同高、左高右低、同底、左低右高等，即引导书写区域。

每个汉字的笔顺，根据在汉字的笔顺编号数据库中获取，基本的笔画为：点、横、竖、撇、捺、提、折、勾。而笔顺编号为：横1、竖2、撇3、捺4(笔画“点、提”根据方向被认为是笔顺“撇”或者“捺”)、折5(笔画“折、勾”均被认为是笔顺“折”)。如“李”字的笔画编码是横、竖、撇、捺、折、竖、横，转换成笔顺编号是：1234521。

值得一提的是，在正确的书写区域内，当字格转动/倾斜时，虚拟字格也跟着转动/倾斜。

另，对于拼音或者英文字母的书写引导，显示“四线三格”。

寻边拟合，在头显是由所带设备的陀螺仪和6DOF来确定的，“字格”的位置确定有两种方式:

第一种:当用户座位调整好后可以通过手柄或者头显上的按钮来调整各自的书本的位置和角度，通过对各种调整来达到视觉上的虚拟字格和真实字格的重合显示.

第二种：寻边拟合技术，采用OpenCV技术，将书本的特征点通过SIFT进行提取，然后将特征点输入到特征匹配库中，通过设备的摄像头拍摄出视野的所见的照片，然后将原始图像转为单通道灰度图像，进行二值化处理，通过黑白像素值差得到边缘点，在边缘点找到合适的区域，通过处理的2D图片和3DOF相结合，计算出头显和书本的相对距离和坐标，将头显的虚拟书本的坐标移动到和现实书本重合.

图形显示：采用Direct3D或者OpenGL的图像渲染技术，在头显中生成并叠加显示(寻边拟合后)字格，并叠加显示色块的虚像。

关于OpenCV技术说明：OpenCV的全称是Open Source ComputerVision Library，是一个跨平台的计算机视觉库。OpenCV是由英特尔公司发起并参与开发，以BSD许可证授权发行，可以在商业和研究领域中免费使用。OpenCV可用于开发实时的图像处理、计算机视觉以及模式识别程序。该程序库也可以使用英特尔公司的IPP进行加速处理

关于SIFT介绍说明：SIFT(Scale Invariant Feature Transform)—尺度不变特征变换，是由David G.Lowe在1999年(《Object Recognition from Local Scale-InvariantFeatures》)提出的高效区域检测算法，在2004年(《Distinctive ImageFeatures from Scale-Invariant Keypoints》)得以完善。SIFT特征对旋转、尺度缩放、亮度变化等保持不变性，是非常稳定的局部特征，现在应用很广泛。

【实施例十一】

本实施例在上述任一实施例的基础上，对认字的形、声、义教育进行了进一步指导，具体的，汉字认字除了形以外，还涉及声和义，那么汉字的发声，即拼音教学学习就很重要了。

基于AR技术的书写指导器的麦克风和扬声器，不但能提示拼音结构和正确的发音，以及声音比较器应用，也能识别用户的发音对错，及时进行纠正和指导。在具体进行发声的指导时，还可以进行拼音教育，提醒某汉字的声母、韵母、整体认读音节等，也看单独播放完整的拼音教学，包括声母、单韵母、复韵母、前鼻音韵母、后鼻音韵母和整体读音。

该书写指导器的显示器和扬声器可以在解释汉字“义”的时候，实时展开各种针对性的演示，比如十二生肖文字的变化由来，比如汉字的汉字树，比如播放类似美术片《三十六个字》来形象地告诉学生汉字由来的“六书”理论，以及汉字的结构美学和发声美学(汉字是形音义合一而生，也复合着复杂的审美意蕴)。

用AR指导器来执行听写或默写，是家长的好帮手，在家中写默写的课后作业，不再需要家长的配合协助，扬声器会自动读出汉字发声或者英文单词发声，摄像头会检查学生用户的书写，最后能判断书写的正确与否，存储器能记忆用户的书写笔画顺序，并翻译成笔顺编码与数据库中的正确笔顺编码进行对比，进而判断笔顺的书写正确与否，最后做统计评分并对错误给到正确的针对性的讲解。比如“李”字写对了，但笔顺有错误，正确的笔顺应该是“横、竖、撇、捺、折、竖、横”，并同时进行虚拟笔画书写演示。

【实施例十二】

本实施例中，书写指导器采用了AR技术，在硬件上采用的AR眼镜除了反射镜、主透镜、显示屏外，还包括摄像头、深度摄像头TOF、陀螺仪、高度传感器和体感传感器(从权特征)、根据需要还设有扬声器、麦克风以及语音、可以语义解析的数据分析处理模块等。整个书写指导器还用到了，寻边拟合技术、手势识别技术、图像识别和图像覆盖技术等。

书写指导器中还包括各种汉字的笔顺数据库(笔顺编号：横1、竖2、撇3、捺4、折5)、各种字体字库、拼音数据库、五笔输入法编码数据库，以及硬笔矫正位识别点和毛笔矫正位识别点，还可以存入用户使用存档记录等。

初始化，向AR眼镜输入个人身体参数，包括年龄、身高、坐高、拳宽、肩宽、上臂长和小臂长等(用于在AR显示中生成双臂线、身体线等)。可设置成账户模式，方便多个用户使用。

首先，使用者坐好后戴上AR头显/AR眼镜，调整设备中的各传感器(高度计、陀螺仪、水平仪、等)的初始状态，包括建立3维坐标系；

第二，使用者通过AR眼镜通看到水平肩线、身体线、腹线/间隔距离线(虚拟小拳头形状)、2条手臂线、握笔高度线(硬笔是3厘米，毛笔是4厘米)，让自己的身体部位贴合到那些矫正线附近；

第三，使用者握住笔，通过AR眼镜通看到，让自己的指尖与笔尖的距离，控制在握笔高度线边界附近。此时，leap motion体感器，会检测到硬笔的握笔姿势或者毛笔的握笔姿势；

第四，使用者通过AR眼镜看到，看到(与硬笔或毛笔对应的)最佳写字区域。使用者将纸的书写区放置在该区域之中，或者，使用者将字帖上的定位“田”字方格置于该区域之中；

第五，AR眼镜通根据最佳写字区域中的方格进行寻边拟合，在原有的“田”字方格上再投影出更详细的定位线，比如“米”字线、“田”字方格的内切圆、进一步在该内切圆中的内切正方形(一种正方形的对角线与“米”字线重合，另一种正方形的对角线与“田”字方格内的“十”字线重合)。

第六，使用者通过AR眼镜看到“最佳写字区域、定位格和定位线”以外，还可以在“定位格和定位线”中看到动态的笔顺引导笔画，使用者根据前一笔画描写完，摄像头确认后才能看到后一笔顺的笔画。

第七，发音教学、字义教学，甚至于该字对应的五笔输入法教学。

另外，AR眼镜中还可以显示正确的3D坐姿演示和正确的3D握硬笔或毛笔演示，方便用户模仿。在坐姿矫正、书写纠正或者正确姿势演示的过程中，扬声器能播放指定的指导语，方便使用者矫正、纠正和注意，并且扬声器还能指导使用者的正确发音。

本实施例中的书写指导器，除了AR眼镜一体机的硬件系统外，用到了计算机图形学中的寻边拟合技术、手势识别技术、图像识别技术等多种计算，打通了实物字贴与虚拟字贴、实物汉字与虚拟汉字、真实人手和虚拟人手间的互动控制，通过摄像头的图像跟踪技术以及捕捉技术，完成书写笔顺的矫正和提醒；通过麦克风和扬声器配合，及时发现用户发音的对错，完成对用户发音的矫正和提醒。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (27)

1.一种基于AR技术的书写指导器，其特征在于，包括：

摄像模块，用于获取现实书写环境信息；

虚拟图像构建模块，用于根据预存的书写指导信息，构建虚拟书写指导图像；

数据分析处理模块，用于根据所述现实书写环境信息，确定所述虚拟书写指导图像在所述现实书写环境中的空间位置；

AR显示模块，用于在所述现实书写环境中的相应位置，叠加显示所述虚拟书写指导图像。

2.根据权利要求1所述的一种基于AR技术的书写指导器，其特征在于，还包括：

书写指导库，用于存储所述书写指导信息；所述书写指导信息包括：辅助确定字符的书写位置的虚拟辅助定位线、不同字符的笔顺动态虚拟图像、不同用户的标准书写姿势模型。

3.根据权利要求2所述的一种基于AR技术的书写指导器，其特征在于，

所述虚拟辅助定位线包括：基础辅助定位线和/或精准辅助定位线；其中：

所述基础辅助定位线，用于给定通用书写定位线；

所述精准辅助定位线，用于根据不同类型的字符给定进一步的书写定位线。

4.根据权利要求2所述的一种基于AR技术的书写指导器，其特征在于，所述笔顺动态虚拟图像包括汉字、数字、拼音、外语字母的笔顺书写动态虚拟影像。

5.根据权利要求2所述的一种基于AR技术的书写指导器，其特征在于，所述书写指导库中存储的书写指导信息还包括：以图像、音频、视频、文本之中的任意一种或多种格式存储的字符信息；所述字符信息包括字符的字形、读音、释义、及相应的典故之中的任意一种或多种的组合。

6.根据权利要求2所述的一种基于AR技术的书写指导器，其特征在于，所述虚拟图像构建模块包括：

虚拟字符引导图像子模块，用于从所述书写指导库中调用相应的虚拟字符引导图像；所述虚拟字符引导图像包括：虚拟辅助定位线和/或当前字符的笔顺动态虚拟图像；

和/或，

虚拟姿势引导图像子模块，用于从所述书写指导库中调用当前用户的标准书写姿势模型。

7.根据权利要求6所述的一种基于AR技术的书写指导器，其特征在于，所述书写指导库，还用于存储不同用户的身体基本信息；所述书写指导器还包括：

传感数据获取模块，用于通过多种传感器实时获取当前身体位姿信息；

所述虚拟姿势引导图像子模块，还用于根据所述当前身体位姿信息及所述书写指导库中的身体基本信息，构建虚拟姿势参照图像；

所述数据分析处理模块，还用于根据所述当前身体位姿信息和/或所述现实书写环境信息，确定所述虚拟姿势参照图像的空间位置；

所述AR显示模块，还用于在所述现实书写环境中的相应位置叠加显示所述虚拟姿势参照图像。

8.根据权利要求7所述的一种基于AR技术的书写指导器，其特征在于，所述传感数据获取模块包括：基础传感子模块和/或体感传感子模块；其中：

所述基础传感子模块，用于实时获取所述当前身体位姿信息；

所述体感传感子模块，用于获取身体的精细姿势信息。

9.根据权利要求8所述的一种基于AR技术的书写指导器，其特征在于，

所述基础传感子模块包括：高度计、陀螺仪和/或水平仪；

所述体感传感子模块包括：Leap Motion传感器、uSens Fingo传感器、Kinect传感器、Xtion Pro传感器、Real Sense传感器之中的任意一种或多种。

10.根据权利要求6所述的一种基于AR技术的书写指导器，其特征在于，所述虚拟姿势引导图像子模块包括：虚拟站姿图像单元、虚拟坐姿图像单元、虚拟桌面图像单元和/或虚拟握笔图像单元；其中：

所述虚拟坐姿图像单元，用于构建身体线、水平肩线；和/或，用于构建身体各部位的虚拟轮廓；

所述虚拟桌面图像单元，用于构建书写桌面上叠加显示的手臂定位线；和/或，用于构建书写桌面上叠加显示的手臂摆放轮廓线；

所述虚拟握笔图像单元，用于构建握笔姿势虚拟模型；所述握笔姿势包括硬笔握笔姿势、软笔握笔姿势。

11.根据权利要求1所述的一种基于AR技术的书写指导器，其特征在于，还包括：

声音采集模块，用于采集用户的语音信息，所述语音信息包括语音指令及字符的拼读语音；

声音播放模块，用于在所述数据分析处理模块的控制下，播放字符的标准读音、释义、或视频动画的音频内容。

12.根据权利要求1所述的一种基于AR技术的书写指导器，其特征在于，所述摄像模块包括：深度摄像头、鱼眼摄像头和/或结构光摄像头。

13.根据权利要求1-12任一项所述的一种基于AR技术的书写指导器，其特征在于，

所述摄像模块，还用于记录用户书写情况；

所述数据分析处理模块，还用于根据所述用户书写情况，给到所述AR显示模块下一步的书写显示指令。

14.根据权利要求1-12任一项所述的一种基于AR技术的书写指导器，其特征在于，

所述数据分析处理模块，还用于根据所述现实书写环境，确定书写区域。

15.根据权利要求14所述的一种基于AR技术的书写指导器，其特征在于，

所述AR显示模块，还用于对非书写区域进行模糊化显示处理。

16.一种基于AR技术的书写指导方法，其特征在于，包括：

获取现实书写环境信息；

根据预存的书写指导信息，构建虚拟书写指导图像；

根据所述现实书写环境信息，确定所述虚拟书写指导图像在所述现实书写环境中的空间位置；

在所述现实书写环境中的相应位置，叠加显示所述虚拟书写指导图像。

17.根据权利要求16所述的一种基于AR技术的书写指导方法，其特征在于，所述书写指导库，用于存储所述书写指导信息；所述书写指导信息包括：辅助确定字符的书写位置的虚拟辅助定位线、不同字符的笔顺动态虚拟图像、不同用户的标准书写姿势模型。

18.根据权利要求17所述的一种基于AR技术的书写指导方法，其特征在于，

所述虚拟辅助定位线包括：基础辅助定位线和/或精准辅助定位线；其中：

所述基础辅助定位线，用于给定通用书写定位线；

所述精准辅助定位线，用于根据不同类型的字符给定进一步的书写定位线。

19.根据权利要求17所述的一种基于AR技术的书写指导方法，其特征在于，所述笔顺动态虚拟图像包括汉字、数字、拼音、外语字母的笔顺书写动态虚拟影像。

20.根据权利要求17所述的一种基于AR技术的书写指导方法，其特征在于，所述书写指导库中存储的书写指导信息还包括：以图像、音频、视频、文本之中的任意一种或多种格式存储的字符信息；所述字符信息包括字符的字形、读音、释义、及相应的典故之中的任意一种或多种的组合。

21.根据权利要求17所述的一种基于AR技术的书写指导方法，其特征在于，所述根据预存的书写指导信息，构建虚拟书写指导图像包括：

从所述书写指导库中调用相应的虚拟字符引导图像；所述虚拟字符引导图像包括：虚拟辅助定位线和/或当前字符的笔顺动态虚拟图像；

和/或，

从所述书写指导库中调用当前用户的标准书写姿势模型。

22.根据权利要求21所述的一种基于AR技术的书写指导方法，其特征在于，所述标准书写姿势模型包括：虚拟坐姿模型、虚拟桌面图像模型、虚拟握笔模型之中的任意一种或多种；其中：

所述虚拟坐姿模型包括：虚拟身体线、虚拟水平肩线和/或身体各部位的虚拟轮廓；

所述虚拟桌面图像模型包括：用于在书写桌面上叠加显示的虚拟手臂定位线；和/或虚拟手臂摆放轮廓线；

所述虚拟握笔模型包括：虚拟硬笔握笔模型和/或虚拟毛笔握笔模型。

23.根据权利要求17所述的一种基于AR技术的书写指导方法，其特征在于，所述书写指导库，还用于存储不同用户的身体基本信息；所述虚拟姿势图像构建步骤具体还包括：

通过多种传感器实时获取当前身体位姿信息；

根据所述当前身体位姿信息及所述书写指导库中的身体基本信息，构建虚拟姿势参照图像，并确定所述虚拟姿势参照图像的显示位置。

24.根据权利要求16所述的一种基于AR技术的书写指导方法，其特征在于，还包括：

采集用户的语音信息；所述语音信息包括语音指令及字符的拼读语音；

解析所述语音信息，确定用户需求；

根据所述用户需求及预存的书写指导信息，播放相应的音频内容。

25.根据权利要求16-24任一项所述的一种基于AR技术的书写指导方法，其特征在于，还包括：

拍摄记录用户书写情况；

根据所述用户书写情况，给到下一步的书写显示指令。

26.根据权利要求16-24任一项所述的一种基于AR技术的书写指导方法，其特征在于，还包括：

根据所述现实书写环境，确定书写区域。

27.根据权利要求26所述的一种基于AR技术的书写指导方法，其特征在于，还包括：

对非书写区域进行模糊化显示处理。

Images