CN105988567B - 手写信息的识别方法和装置 - Google Patents

Abstract

本发明公开了一种手写信息的识别方法和装置，该方法包括：跟踪实时检测的书写焦点，拍摄局部书写区域；从拍摄的局部书写区域的图片中获取局部笔迹；拼接获取的局部笔迹，得到全局笔迹；根据得到的全局笔迹识别出用户手写信息。应用本发明，可以提高识别出的手写信息的准确度。

Description

手写信息的识别方法和装置

技术领域

本发明涉及终端技术领域，尤其涉及手写信息的识别方法和装置。

背景技术

目前，智能眼镜作为一种新兴的头部穿戴式设备，引起了人们越来越多地关注。由于此种设备通常不配备键盘或触摸屏等输入设备，所以人机交互一般只能通过语音和手势来进行；这一局限给智能眼镜在文本信息的录入方面造成了不便。

相关技术中提供了一种允许用户使用任意的书写工具和书写平面进行手写笔迹的提取方法，其主要是通过摄像头跟踪书写工具的笔尖，从跟踪得到的笔尖的运动轨迹确定手写笔迹(即手写信息)。

但是，实际应用中，用户书写过程中的提笔动作所导致的笔尖相对书写平面的垂直位移往往非常小，通过远距离的摄像头难以捕捉到提笔信息，而用户在提笔状态下的笔尖运动不产生笔迹，因此，这种方法提取出的手写笔迹的准确度不高。

另外，现有的手机等智能设备在识别手写信息时，准确度也不高。

因此，有必要提供一种能够准确提取出用户的手写笔迹的方案。

发明内容

针对上述现有技术存在的缺陷，本发明提供了一种手写信息的识别方法和装置，用以提高识别出的手写信息的准确度。

根据本发明的一个方面，提供了一种手写信息的识别方法，包括：

跟踪实时检测的书写焦点，拍摄局部书写区域；

从拍摄的局部书写区域的图片中获取局部笔迹；

拼接获取的局部笔迹，得到全局笔迹；

根据得到的全局笔迹识别出用户的手写信息。

所述书写焦点是根据视觉焦点确定的；或者，所述书写焦点是根据检测到的书写工具的笔尖位置确定的。

所述书写工具的笔尖位置是通过如下方法确定的：

根据预先注册的书写工具的笔尖的形状，从实时拍摄的图片中识别出所述书写工具的笔尖；

根据识别出的书写工具的笔尖，确定出所述书写工具的笔尖位置。

从拍摄的局部书写区域的图片中获取局部笔迹，包括：根据笔迹颜色从所述图片中提取出所述局部笔迹。

根据笔迹颜色从所述图片中提取出所述局部笔迹，包括：

根据预先注册的书写工具的笔迹颜色，从所述图片中提取出所述局部笔迹；或者

根据笔迹颜色与书写背景之间的颜色差异，从所述图片中提取出所述局部笔迹。

根据笔迹颜色与书写背景之间的颜色差异，从所述图片中提取出所述局部笔迹，包括：

根据笔迹颜色与书写平面之间的颜色差异，对所述图片进行二值化处理，得到二值化图像；

从所述二值化图像中确定出线条状的图像区域；

提取所述线条状的图像区域作为所述局部笔迹。

所述拼接获取的局部笔迹，得到全局笔迹，包括：

将当前帧和前一帧图片中提取出的局部笔迹进行比对，确定出当前帧图片的增量笔迹；将各帧图片的增量笔迹进行拼接，得到全局笔迹；

将当前帧图片之前的所有前序帧图片的增量笔迹进行拼接，获得当前帧的前序拼接笔迹，将当前帧图片的增量笔迹与当前帧图片的前序拼接笔迹进行拼接，获得下一帧图片的前序拼接笔迹，重复前述步骤，直至拼接出全局笔迹。

所述根据得到的全局笔迹识别出用户的手写信息之后，还包括以下至少之一：

将识别出的手写信息保存为不具有版面信息的文档文件；

根据识别出的手写信息，生成具有版面信息的文档文件；

将得到的全局笔迹保存到图片文件中；

根据各帧图片的增量笔迹及其时序信息，生成视频文件。

所述具有版面信息的文档文件还根据下述至少一种信息生成：

换行信息、删除标记、替换标记、重复特征符号、插入的内容、插入标记、位置调整标记、重点符号、和注释的内容。

在根据重复特征符号，生成具有版面信息的文档文件之前，还包括：

确定首次出现的重复特征符号，将首次出现的重复特征符号所标示的内容，复制到在后的重复特征符号所在位置处。

上述方法还包括：

接收拍摄局部书写区域期间产生的音频数据；

将所述音频数据和所述局部笔迹进行对应。

将所述音频数据和所述局部笔迹进行对应，包括：

将所述音频数据和包含所述局部笔迹的文件对应保存；和/或

保存所述音频数据和所述局部笔迹之间的对应关系。

在保存所述音频数据和所述局部笔迹之间的对应关系的情况下，所述方法还包括：

在包含所述局部笔迹的文件中，对与所述局部笔迹对应的内容进行标记，所述标记用于表明存在与所述内容对应的音频数据。

在将所述音频数据和所述局部笔迹进行对应之后，还包括：

根据所述音频数据和所述局部笔迹的对应关系，生成包含所述音频数据和所述局部笔迹的视频文件。

将所述音频数据和所述局部笔迹进行对应，包括：

将当前帧的拍摄时间点、及其相邻帧图片的拍摄时间点之间所接收的音频数据，与根据当前帧及其相邻帧图片确定出的增量笔迹进行对应。

所述获取局部笔迹之后，上述方法还包括：

确定换行信息，根据换行信息进行局部笔迹拼接。

所述确定换行信息，包括以下至少之一：

当检测到相邻帧局部笔迹之间没有笔迹重合部分时，确定检测到所述换行信息；

当检测到换行标记时，确定检测到所述换行信息；

当接收到指示换行的音频数据时，确定检测到所述换行信息。

所述根据换行信息进行局部笔迹拼接，包括：

根据换行信息确定局部笔迹的拼接起点或拼接终点，进行局部笔迹拼接。

上述方法还包括：

检测是否存在暂停信号；

当检测到所述暂停信号时，暂停提取局部笔迹，并对全局区域进行监控。

在检测到以下至少一种情形时确定检测到所述暂停信号：

从拍摄的图片中无法提取到新的笔迹信息；

用户的视觉焦点离开书写平面；

用户的头部姿势的变化角度超过设定角度；

检测不到书写工具的笔尖的位置；

接收到指示暂停的音频数据。

在检测到所述暂停信号之后，还包括：缓存以下信息：

拼接得到的全局笔迹、和拍摄得到的书写平面的图片。

在所述检测到所述暂停信号之后，上述方法还包括：

在所述全局区域检测是否存在恢复信号，当检测到所述恢复信号时，恢复提取局部笔迹；

根据缓存的信息继续进行局部笔迹的拼接。

在检测到以下至少一种情形时确定检测到所述恢复信号：

当前拍摄得到的所述全局区域的图片与缓存的书写平面的图片匹配；

所述用户的视觉焦点回到书写平面；

书写工具在书写平面上产生新的笔迹信息；

接收到指示恢复的音频数据。

上述方法还包括：

检测是否存在结束信号；

当检测到所述结束信号时，结束对所述用户的手写信息的识别。

在检测到以下至少一种情形时确定检测到所述结束信号：

所述用户的视觉焦点离开书写平面超过设定时间段；

设定时间段内未检测出新的笔迹信息；

接收到结束指令；

接收到指示结束的音频数据。

所述拼接获取的局部笔迹前，上述方法还包括：

对所述局部笔迹进行增强处理。

在下述至少一种情形下，对所述局部笔迹进行增强处理：

拍摄时光线亮度或清晰度不符合预设的要求；

拍摄的图片中笔迹宽度小于设定宽度；

拍摄的图片中笔迹颜色与背景颜色的色差小于设定值。

所述增强处理包括下述至少一种处理：

根据拍摄时光线亮度或清晰度，调整所述摄像头的光圈或对焦；

根据拍摄的图片中笔迹宽度，调整所述摄像头的放大倍数；

对拍摄的图片进行倾斜、和/或旋转校正；

对拍摄的图片进行亮度、和/或对比度校正；

对提取的局部笔迹进行平滑处理。

所述增强处理包括：将局部笔迹中置信度评估值低于阈值的笔划去除。

所述笔划的置信度评估值是根据如下至少一种参数确定的：

所述笔划的长度；

所述笔划的宽度；

所述笔划的曲率；

所述笔划的颜色；

所述笔划与其前后笔划的相对位置关系、或连贯性；

所述笔划与所述笔尖的运动轨迹的匹配度。

根据本发明的另一个方面，还提供了一种手写信息的识别装置，包括：

拍摄模块，用于跟踪实时检测的书写焦点，拍摄局部书写区域；

获取模块，用于从拍摄的局部书写区域的图片中获取局部笔迹；

拼接模块，用于拼接获取的局部笔迹，得到全局笔迹；

识别模块，用于根据得到的全局笔迹识别出用户的手写信息。

本发明的技术方案中，可以跟踪书写工具的书写焦点进行局部区域的拍摄；从拍摄的局部区域的图片中提取出用户在局部区域所书写的笔迹后，再进行拼接，得到用户在全局区域所书写的全局笔迹，从而根据全局笔迹识别出用户输入的手写信息。由于提取的笔迹是用户已经书写在书写平面上的笔迹，与用户提笔落笔无关，从而避免因为直接根据书写工具的笔尖的运动轨迹判定手写笔迹而造成的提取的笔迹准确度不高的问题，提高了用户手写信息的识别准确性。

进一步地，本发明的技术方案中，通过记录拍摄局部书写区域期间接收的音频数据，可以便于后续对识别出的用户手写笔迹进行校对，提高提取出的手写笔迹的准确度。

进一步的，本发明的技术方案中，通过保存音频数据与同步输入的局部笔迹之间的对应关系，可以便于后续在显示书写内容时，播放相应的音频数据，从而在提高用户体验的同时，有利于对识别出的用户手写笔迹进行校对，提高提取出的手写笔迹的准确度。

附图说明

图1A为本发明实施例提供的一种手写信息的识别方法的流程示意图；

图1B为本发明实施例提供的使用按钮触发笔迹识别的示意图；

图1C为本发明实施例提供的使用外部控制器触发笔迹识别的示意图；

图1D和图1E为本发明实施例提供的根据视觉焦点确定书写焦点的示意图；

图1F和图1G为本发明实施例提供的根据笔尖位置确定书写焦点的示意图；

图1H和图1I为本发明实施例提供的选取局部书写区域的示意图；

图1J和图1K为本发明实施例提供的提取局部笔迹的示意图；

图1L和图1M为本发明实施例提供的增量笔迹的示意图；

图1N为本发明实施例提供的手写内容的连续帧的示意图；

图1O和图1P为本发明实施例提供的笔迹拼接的示意图；

图1Q为本发明实施例提供的一种获得增量笔迹的内部像素之间的时序信息的示意图；

图1R为本发明实施例提供的另一种获得增量笔迹的内部像素之间的时序信息的示意图；

图1S为本发明实施例提供的又一种获得增量笔迹的内部像素之间的时序信息的示意图；

图1T、图1U、图1V和图1W分别为本发明实施例提供的一种全局笔迹示意图；

图2A为本发明实施例提供的另一种手写信息的识别方法的流程示意图；

图2B和图2C分别为本发明实施例提供的一种图片预处理的示意图；

图3A为本发明实施例提供的又一种手写信息的识别方法的流程示意图；

图3B和图3C为本发明实施例提供的一种局部笔迹的增强处理示意图；

图4A为本发明实施例提供的注册书写工具的示意图；

图4B和4C分别为本发明实施例提供的注册的书写工具笔尖形状的示意图；

图5为本发明实施例提供的再一种手写信息的识别方法的流程示意图

图6为本发明实施例提供的全局笔迹与音频数据对应存储的关系示意图；

图7A为本发明实施例提供的中文用户手写信息的示意图；

图7B为根据图7A生成的具有版面信息的文件的示意图；

图7C为本发明实施例提供的英文用户手写信息的示意图；

图7D为根据图7C生成的具有版面信息的文件的示意图；

图7E为本发明实施例提供的在中文手写内容中使用替换标记的示意图；

图7F为根据图7E生成的具有版面信息的文件的示意图；

图7G为本发明实施例提供的在英文手写内容中使用替换标记的示意图；

图7H为根据图7G生成的具有版面信息的文件的示意图；

图7I为根据图7G生成的图片文件的示意图；

图7J为根据图7C生成的图片文件的示意图；

图8为本发明实施例提供的手写信息的识别装置的结构示意图；

图9为本发明实施例提供的识别手写信息的电子设备的结构示意图。

具体实施方式

以下将结合附图对本发明的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本申请使用的“模块”、“系统”等术语旨在包括与计算机相关的实体，例如但不限于硬件、固件、软硬件组合、软件或者执行中的软件。例如，模块可以是，但并不仅限于：处理器上运行的进程、处理器、对象、可执行程序、执行的线程、程序和/或计算机。举例来说，计算设备上运行的应用程序和此计算设备都可以是模块。一个或多个模块可以位于执行中的一个进程和/或线程内，一个模块也可以位于一台计算机上和/或分布于两台或更多台计算机之间。

本技术领域技术人员可以理解，这里所使用的“终端”、“智能设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，进行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(Personal Communications Service，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；PDA(Personal Digital Assistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global Positioning System，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备；穿戴式设备，其包括头戴式穿戴设备(例如，智能眼镜、智能头盔等)、智能手环、智能手表等。这里所使用的“终端”、“智能设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“智能设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(Mobile Internet Device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能眼镜、智能手环、智能手表等等设备。

本发明的主要思路为，智能设备跟踪实时检测的书写焦点，拍摄局部书写区域，获取局部笔迹；拼接局部笔迹，得到全局笔迹后，根据全局笔迹识别出用户的手写信息。由于提取的笔迹是用户已经书写在书写平面上的笔迹，与用户提笔落笔无关，从而避免因为直接根据书写工具的笔尖的运动轨迹判定手写笔迹而造成的提取的笔迹准确度不高的问题，提高了用户手写信息的识别准确性。

另外，由于本发明的技术方案是对局部区域进行拍摄的，可以保证拍摄图片中的笔迹的清晰度，便于后续从图片中进行笔迹信息的提取，避免了相关技术中直接拍摄用户的全部手写笔迹时笔迹痕迹较细、模糊不清的问题。

下面结合附图详细说明本发明的技术方案。

实施例一

本发明实施例提供了一种手写信息的识别方法，该方法可以由智能设备实现，如图1A所示，该方法具体可以包括如下步骤：

S101:跟踪实时检测的书写焦点，拍摄局部书写区域。

本步骤中，可以在接收到用户输入的笔迹识别触发指令之后，对用户的书写过程进行连续拍摄，通过跟踪实时检测的书写焦点来拍摄局部书写区域。

其中，笔迹识别触发指令可以由用户在开始书写时通过多种途径触发产生，上述途径包括以下至少之一：语音、按钮、手势、增强现实的人机交互界面、和外部控制器(比如，与智能设备相关联的手机等具有遥控功能的设备)。

当笔迹识别触发指令是通过语音触发时，如果用户发出声控指令“开始笔迹识别”，智能设备接收该声控指令，并对该声控指令进行语音识别，从而确定出该声控指令是笔迹识别触发指令，开始进行笔迹识别操作。在智能设备中可以存储有声控指令和笔迹识别触发指令的对应关系，例如，采用对应表的形式，将以下声控指令都与笔迹识别触发指令相对应：“开始笔迹识别”、“笔迹识别开始”、“识别开始”等中英文指令或其他语言的指令。当然，声控指令不限于上述例子，也可以是用户预先设置的其他信息，只要用户和智能设备都知道该信息是对应于笔迹识别触发指令的声控指令即可。

当笔迹识别触发指令是通过按钮触发时，该按钮既可以是智能设备上的硬件按钮，例如：home键、声音调节键、电源键、节目调节键、新增的按键、或图1B所示的按钮，也可以是智能设备UI(User Interface，用户界面)上的虚拟按钮。当用户以预定方式按下该按钮时，智能设备确定接收到笔迹识别触发指令。其中，预定方式可以是：短按、长按、短按预定次数、短按和长按交替进行等。

当笔迹识别触发指令是通过手势触发时，该手势可以是单手完成的手势，也可以是双手完成的手势，手势的具体内容可以是：挥手、手画圆、手画方块、手画三角、手画星等。智能设备可以采用现有的手势探测设备检测和识别手势的具体内容，根据识别的手势的具体内容确定接收到笔迹识别触发指令。

当笔迹识别触发指令来自外部控制器时，例如，当来自与拍摄局部书写区域的智能设备有连接的手机时，如果智能设备接收到手机传来的指示拍摄的指令，则开始拍摄局部书写区域。其中，该连接可以是物理连接(如图1C所示)，也可以是通过以下至少一种网络的无线连接：宏网络、WiFi(Wireless Fidelity，无线保真)网络、局域网等，该指令可以是红外指令，也可以是手机传送过来的消息。

在本发明实施例中，也可以不使用笔迹识别触发指令，智能设备一直处于手写信息识别状态。

在具体实现时，可以但不限于采用以下方式之一来确定书写焦点：

方式一、通过跟踪实时检测出的视觉焦点来跟踪书写焦点，该方式可以由智能眼镜等头部穿戴式设备来实现。

用户在书写过程中，视觉焦点往往会随书写焦点移动，如图1D和图1E所示，用户在书写时，视线会落到正在书写的区域，因此，可以根据用户的视觉焦点确定书写焦点。

视觉焦点可以通过如下方法检测出：实时检测用户的头部姿势和/或用户的眼球动作，根据检测的头部姿势和/或眼球动作确定用户的视觉焦点。例如，可以根据检测到的头部姿势确定人脸的朝向，根据眼球运动检测人眼的朝向，然后，根据人脸的朝向和/或人眼的朝向，确定用户的视觉焦点。其中，头部姿势可以通过检测头部姿态的检测设备来检测；眼球运动可以通过现有的眼球运动检测设备来检测到。

例如，用户在书写“今天天气很好”时，智能眼镜检测到用户的视觉焦点位于“好”字，则确定书写焦点为“好”字。

方式二、通过跟踪书写工具的笔尖来跟踪书写焦点，该方式可以由具有摄像头的智能设备来实现。

用户在书写过程中，书写焦点会随书写工具的笔尖位置移动，如图1F和图1G所示，用户在书写时，笔尖会落到正在书写的区域，因此，可以根据实时检测的书写工具的笔尖位置来确定书写焦点。

书写工具的笔尖位置可以通过如下方法检测出：根据预先注册的书写工具的笔尖的形状，从拍摄的图片中识别出书写工具的笔尖，进而确定出书写工具的笔尖位置。

在具体实现时，还可以通过手的握笔姿势来进行辅助定位。

可以通过检测人手确定手指夹笔的方向，沿此方向找到笔尖状物品，从而对书写工具的笔尖位置进行辅助定位。例如，检测到用户A的握笔习惯是：指尖距离笔尖3厘米，书写工具与书写平面之间的夹角为60度，则检测到用户A的手指位置为点C后，根据手指朝向确定指尖朝向为向左，即可确定出书写工具的笔尖位置为C点向左1.5厘米处。

还可以事先通过统计得到人们在书写时的一般握笔习惯，例如：手指夹笔的位置距笔尖的距离范围；在实际检测笔尖时以此为参考，确定笔尖的大概范围，智能设备只需要在这个范围内检测笔尖形状即可，从而缩小了用于检测笔尖的区域范围，便于成功定位。

另外，还可以使用智能手环或智能手表等穿戴式设备协助定位。例如，检测到用户A的握笔习惯是：智能手环或智能手表等穿戴式设备在手腕上的位置距离笔尖8厘米，手腕与书写平面之间的夹角为30度，在书写过程中手腕向右移动，则检测到智能手环或智能手表等穿戴式设备的位置后，即可确定出书写工具的笔尖位置；或者，统计出人们在书写时的一般握笔习惯，例如，手腕距离笔尖的距离范围是5-15厘米，手腕与书写平面指尖的夹角范围为15度到65度，在实际检测笔尖时以此为参考，确定笔尖的大概范围，智能设备只需要在这个范围内检测笔尖形状即可，从而缩小了用于检测笔尖的区域范围，便于成功定位。

在检测到书写焦点之后，可以根据实时检测的用户书写焦点的变化，调整摄像头的拍摄焦点。在具体实现时，既可以将笔尖位置直接作为书写焦点，使用该书写焦点作为摄像头的拍摄焦点进行拍摄；也可以将笔尖位置叠加一个偏移量作为书写焦点，使用该书写焦点作为摄像头的拍摄焦点进行拍摄。该偏移量可以是事先人工设定的，例如，根据用户的书写习惯，设定为左移或者右移，如果用户从左向右书写，则可以设定为左移1cm(厘米)，如果用户从右向左书写，则可以设定为向右移动1cm；该偏移量也可以是时变的，例如，偏移量是智能设备检测出的用户视觉焦点位置的函数或者是用户头部运动的函数。

例如，用户正在书写“今天天气很好”，智能设备检测到笔尖位置位于“好”字，此时，既可以以“好”字作为拍摄焦点进行拍摄，还可以将将拍摄焦点左移1cm，以“很”为拍摄焦点进行拍摄。

拍摄的局部书写区域应该具有合适的大小，区域过大，受限于摄像头分辨率，用户的书写笔迹在拍摄得到的图像帧中会显得过细，不利于后续笔迹的提取；区域过小，则包含的信息量过少，不利于后续局部笔迹的拼接。局部书写区域的大小可以由本领域技术人员根据经验进行预先设定的，例如，该区域可以是以拍摄焦点为中心的正方形，该正方形的边长为2cm；局部书写区域的大小也可以是智能头戴式设备等智能设备与书写平面距离的函数，在拍摄过程中实时变化。

例如，图1H和图1I示出了选取局部书写区域的示意图，如图1H所示，用户的笔尖位置已经位于“好”字，为了清楚地拍摄到书写的内容，可以将笔尖位置左移获得拍摄焦点，并选取方框内的区域作为局部书写区域进行拍摄。图1I中局部书写区域的选取方式和图1H相同。

又如，用户正在书写“今天天气很好”，在确定拍摄焦点为“很”之后，对以“很”为中心的边长为2cm的区域进行拍摄，获得包含“气很好”的局部书写区域的图片。

在实际应用中，为了清晰地拍摄局部书写区域，在实时拍摄过程中，还可以自适应地调整摄像头的拍摄参数(比如焦点、焦距、光圈、放大倍数、和白平衡)。

例如，在拍摄过程中可以根据对局部书写区域拍摄时的光线、和对焦等情况，对摄像头的拍摄参数进行动态自适应调整。当光线强度较低时，放大摄像头的光圈；当书写平面距离摄像头很远时，调整摄像头使得焦点落入书写平面内。

优选地，在拍摄局部书写区域的过程中，还可以通过检测用户头部姿势的变化角度来确定摄像头的目前朝向、以及与书写平面的相对位置，并据此调整摄像头的拍摄参数。其中，对用户头部运动的检测可以通过头部穿戴式设备中内置的运动传感器来实现。

例如，当用户佩戴智能眼镜时，由于眼镜架是固定的，除非摄像头可以360度自由调整方向，否则眼睛/头部的朝向和摄像头的朝向应该是一致的。如果摄像头是固定在智能眼镜上，用户在书写过程中，智能眼镜检测到头部姿势向右转动30度，则确定摄像头的当前朝向向右调整了30度。头转动后，眼睛到书写平面的距离必然是变化的。由于角度调整前摄像头的焦点和焦距是已知的，因此，可根据转过的角度和位移，估算新的焦点和焦距的，使得摄像头的焦点位于书写焦点附近。

在拍摄的过程中，可以通过时间戳记录图片的拍摄时间点，并按照时间点的顺序将拍摄的图片进行排列，形成一个图片帧序列；也可以根据拍摄时间使用一个序列来对拍摄图片进行排序。例如，记录的拍摄时间点包括：0.01s、0.02s、0.03s、……2.95s、3.00s，这样，可以根据各拍摄时间点的时间顺序，使用一个序列1、2、3、4……295、300，来对各拍摄时间点所对应的拍摄图片进行排序。该实施例保留了用户书写笔迹的时序信息，从而可以使采用联机的手写识别方法对所提取笔迹进行识别成为可能，相对于脱机识别方法具有更好的识别精度。

S103：从拍摄的局部书写区域的图片中提取出局部笔迹。

在具体应用中，局部笔迹可以是根据笔迹颜色信息从拍摄的局部书写区域的图片中提取出的。如图1J和图1K所示，拍摄得到的局部书写区域的图片为左图，根据笔迹颜色信息，可以提取出右图所示的局部笔迹。

可以根据如下两种方案之一从局部书写区域的图片中提取出局部笔迹：

方案一，根据预先注册的书写工具的笔迹颜色信息，从局部书写区域的图片中提取出局部笔迹。

在具体实现时，可以将局部书写区域的图片中与预先注册的书写工具的笔迹颜色相同的内容提取出来，作为局部笔迹。

例如，预先注册的书写工具的笔迹颜色为红色，局部书写区域的图片中红色的区域为“今天天气很好”，则智能设备将“今天天气很好”提取出来作为局部笔迹信息。

在实际应用中，还可以采用二值化的方式从局部书写区域的图片中提取局部笔迹。具体地，将当前帧图片中与书写工具的笔迹颜色信息相同的像素点标记为1，其他像素点标记为0，提取当前帧图片的二值化图像中所有标记为1的像素点，并将其作为当前帧图片对应的局部书写区域的笔迹信息，即当前帧图片的局部笔迹。

例如，注册的书写工具的笔迹颜色为红色，书写平面的颜色为白色，局部书写区域的图片中红色的区域为“今天天气很好”，则将当前帧图片中红色区域的像素标记为1，其他像素点(即，白色的像素点)标记为0，提取图片中所有标记为1的像素点得到“今天天气很好”，这就是当前帧图片的局部笔迹。

方案二，根据笔迹颜色与书写背景之间的颜色差异，从局部书写区域的图片中提取出局部笔迹。

在具体实现时，根据笔迹颜色与书写平面之间的颜色差异，可以对局部书写区域的图片进行二值化处理，将其中一种颜色覆盖的区域标记为0，另一种颜色覆盖的区域标记为1，得到二值化图像；从二值化图像中确定出线条状的图像区域；由于笔迹通常是线条状的，因此，可以提取线条状的图像区域作为局部笔迹。

例如，用户使用黑色墨水笔在白纸上书写“今天天气很好”，则智能设备在对用户手写内容进行拍照后得到一张图片，图片上显示白色纸张上有黑色字迹：“今天天气很好”。智能设备将图片上白色覆盖的区域标记为0，这部分区域都是背景，一般为片状区域，将黑色覆盖的区域标记为1，这部分区域是笔迹，一般为线条状区域；在二值化图像中，将线条状的区域提取出来得到“今天天气很好”，这句话就是局部笔迹。

可选地，在判定出笔迹后，将笔迹的区域内的所有像素点标记为1，其他像素点标记为0，这样，在最终得到的图像中，局部书写笔迹的像素点标记为1，背景像素点标记为0。

在实际应用中，图片上可能不止两种颜色，此时，可以对图片中的所有像素点的像素求平均；根据计算出的平均值对当前帧图片进行二值化处理，得到该图片的二值化图像。

其中，根据计算出的平均值对图片进行二值化处理的方法可以包括：针对图片中每个像素点，若该像素点的像素小于计算出的平均值，则将该像素点标记为0，否则标记为1。这样，图片可以划分为：由所有标记为1的像素点组成的图像区域、以及由所有标记为0的像素点组成的图像区域。然后，确定出各图像区域的形状，将图片中线条状的图像区域确定为局部笔迹。

例如，用户使用黑色墨水笔在白纸上书写“今天天气很好”，白纸上存在黄色的区域，或者由于光线照射，白纸的部分区域可能反射黄色的光。智能设备在对用户手写内容进行拍照后得到一张图片，该图片上不但显示白色纸张上有黑色字迹：“今天天气很好”，还显示白色纸张上有黄色的区域。智能设备对图片中的所有像素点的像素求平均，得到平均值，假设黄色和白色的像素小于平均值，黑色的像素大于平均值，则将图片上白色和黄色覆盖的区域标记为0，黑色覆盖的区域标记为1，得到二值化图像；在二值化图像中标记为1的区域为线条状的区域，将线条状的区域提取出来得到“今天天气很好”，这句话就是局部笔迹。

在本实施例中，由于笔迹信息是根据笔迹的颜色信息提取出来的，所以只要用户笔迹与书写平面在颜色上可区分，用户可以使用传统的书写工具在任意书写平面上进行书写，从而有利于用户方便地识别出手写笔迹信息，提高了用户的体验。

S105:拼接获取的局部笔迹，得到全局笔迹。

在本步骤中，可以通过以下方式之一来对局部笔迹进行拼接，获得全局笔迹：

方式一、将当前帧和前一帧图片中提取出的局部笔迹进行比对，确定出当前帧图片的增量笔迹；将各帧图片的增量笔迹进行拼接，得到全局笔迹。其中，增量笔迹是指在当前帧图片中存在、但前一帧图片中不存在的笔迹部分。

本步骤中，将当前帧和前一帧图片中提取出的局部笔迹进行比对，确定出当前帧图片的增量笔迹的过程包括：将当前帧图片的局部笔迹的二值化图像与前一帧图片的局部笔迹的二值化图像依照笔迹重合部分进行比对，将当前帧图片中存在、但前一帧图片中不存在的笔迹信息确认为当前帧图片相对前一帧图片的增量笔迹，即当前帧图片的增量笔迹。其中，局部笔迹的二值化图像可以是根据步骤S103中提及的任一种二值化处理方法得到的。

例如，图1L和图1M示出了增量笔迹的示意图，如图1L所示，左面方框显示的是第t帧图片，右面方框显示的是第t+1帧图片，其中，t为正整数，将这两帧图片按照笔迹重合的部分进行对比，第t+1帧图片相对于第t帧图片增加的内容为“天”字捺笔的后半部分，所以，第t+1帧图片的增量笔迹为“天”字捺笔的后半部分。图1M中提取增量笔迹的方式和图1L相同。

又如，用户在白纸上书写“今天天气很好”，在书写过程中，智能设备拍摄了两帧连续的图片，第一帧图片中显示白纸上书写“今天天气很”，第二帧图片上显示“天天气很好”，这两帧图片上的局部笔迹分别为“今天天气很”和“天天气很好”，将这两帧图片按照笔迹重合部分进行对比，第二帧图片相对于第一帧图片多了笔迹“好”，“好”即为第二帧图片的增量笔迹。需要说明的是，本实施例仅是用于说明增量笔迹，在实际应用中，各帧之间的间隔不一定会很长，各帧的增量笔迹有可能只是一个笔划的一部分。图1N示出了书写“今”字时得到的4帧图片，每帧图片的增量笔迹较短，后一帧图片相对于前一帧图片增加的内容即为后一帧的增量笔迹。

在获得增量笔迹之后，可以依照各帧图片的增量笔迹之间的时序关系，依次连接各帧图片的增量笔迹，得到包含时序信息的全局笔迹。

例如，用户使用黑色墨水笔在白纸上书写“很好”的过程中，拍摄了四帧连续图片，各帧图片的增量笔迹分别为“ㄔ”、“艮”、“女”、和“子”，将所有增量笔迹按照连续图片的时序信息拼接起来，得到全局笔迹“很好”。需要说明的是，本实施例仅是用于说明增量笔迹的拼接方法，在实际应用中，各帧之间的间隔不一定会很长，各帧的增量笔迹有可能只是一个笔划的一部分。图1N示出了书写“今”字时得到的4帧图片，每帧图片的增量笔迹较短，将这4帧图片的增量笔迹按照连续图片的时序信息进行拼接，即可获得手写的“今”字。

其中，增量笔迹的时序关系可以通过以下方法获得：按照时序，依次处理每帧图片，可以得到每一帧增量笔迹之间的时序关系，例如，根据对应当前帧图片记录的时间戳、以及其与相邻帧图片之间的时间顺序关系，可以得到当前帧图片的增量笔迹所对应的时间戳、以及其与相邻帧图片的增量笔迹之间时间顺序关系。

图1O和图1P分别示出了中英文的增量笔迹拼接方法，如图1O所示，每个方框代表一帧图片，用户按照从左到右的顺序书写“今天天气很好”，智能设备按照时间的先后顺序，拍摄得到从左到右的多帧图片，并记录各帧图片的时序信息，例如，记录左边第1帧的拍摄时间戳为2014年10月31日14:10:04，记录左边第2帧拍摄时间戳为2014年10月31日14:10:05，以此类推，得到所有帧的时间戳，然后，按照各帧图片的时间戳的先后顺序来拼接各帧图片的增量笔迹。图1P的拼接方式与图1O相同，仅是将拼接的文字换成英文。

另外，也可以通过相对信息来表示时序信息。例如，针对图1O中的各帧图片，用户按照从左到右的顺序书写“今天天气很好”，智能设备按照时间的先后顺序，拍摄得到从左到右的多帧图片，智能设备可以按照从左到右帧序号增加或减少的方式记录各帧的时序信息，例如，可以记录左边第1帧的帧序号为1，左边第2帧的帧序号为2，以此类推，得到所有帧的帧序号，然后，按照各帧图片的帧序号表示的时间关系来拼接各帧图片的增量笔迹。

另外，增量笔迹的时序关系还可以包括：当前帧增量笔迹的内部像素之间的时序关系。可以通过以下方案至少之一来确定当前帧增量笔迹的内部像素之间的时序关系：

1、若当前帧的增量笔迹与前序帧拼接得到的笔迹相连通，则以此连通点为当前帧增量笔迹的笔划的起点，该笔划的另一端点为终点，将起点与终点之间的像素点依次编号；

如图1Q所示，左边的方框表示帧t的图片，右边的方框表示帧t+1的图片，a到b之间的笔迹为帧t+1的增量笔迹，帧t+1的增量笔迹与前序帧拼接得到的笔迹在a点连通，此时，在帧t+1的增量笔迹内部，可以以a点作为起点，b点作为终点，将a和b之间的像素点依次进行编号，得到帧t+1的增量笔迹内部的时序信息。

2、若当前帧的增量笔迹与前序帧拼接得到的笔迹不连通，则计算当前帧增量笔迹中所有笔划的端点到前序帧拼接得到的笔迹的最短距离，选取距离最短的端点作为当前帧增量笔迹的起点，该笔划的另一端点为终点，将起点与终点之间的像素点依次编号；

如图1R所示，c到d之间的笔迹为帧t+1的增量笔迹，帧t+1的增量笔迹与前序帧拼接得到的笔迹不连通，分别计算c和d到前序帧拼接得到的笔迹的最短距离，根据计算结果可知，c到前序帧拼接得到的笔迹的距离较短，因此，可以以c点作为起点，d点作为终点，将c和d之间的像素点依次进行编号，得到帧t+1的增量笔迹内部的时序信息。

3、若当前帧增量笔迹包含至少两个笔划，则首先通过计算当前帧增量笔迹中所有笔划的端点到前序帧拼接得到的笔迹的最短距离，选取距离最短的端点作为当前帧增量笔迹中第一个笔划的起点，该笔划的另一端点为终点，将起点与终点之间的像素点依次编号。然后，计算当前所有未标记时序的笔划的所有端点到所有已标记笔划的最短距离，选取距离最短的端点作为下一个笔划的起点，该笔划的另一端点为终点，将起点与终点之间的像素点依次编号。重复以上过程，直到所有的笔划和像素点均已标记时序。

如图1S所示，e到f之间的笔迹以及h到i之间的笔迹均为帧t+1的增量笔迹，帧t+1的增量笔迹与前序帧拼接得到的笔迹不连通，分别计算e、f、g、和h到前序帧拼接得到的笔迹的最短距离，根据计算结果可知，e到前序帧拼接得到的笔迹的距离最短，因此，可以以e点作为起点，f点作为终点，将e和f之间的像素点依次进行编号。然后，计算h和i与已标记笔划的最短距离，根据计算结果可知，h到已标记笔划的距离较短，因此，可以以h为起点，i点作为终点，将h和i之间的像素点依次进行编号，从而得到了帧t+1的增量笔迹内部的时序信息。

以上方案是对笔划的划分。可以通过上述方案对当前帧图片的增量笔迹进行连通情况分析，将不连通的部分划分为不同的笔划；对于增量笔迹中的交叉笔划，可以首先在交叉点将交叉笔划切分为若干个无交叉的子笔划，然后根据用户或相应语种的习惯书写方向(例如：从左到右，从上到下)将子笔划两个一组在交叉点连通，得到完整笔划(例如：图1S中，首先将ef和hi两个笔划在交叉点g处断开，得到四个子笔划，然后根据从左到右，从上到下的原则，将eg、gf两子笔划相连通成笔划ef，将ig、ih两子笔划相连通成笔划hi)；对于增量笔迹中的环形笔划，可以在环形笔划的任一点断开作为该环形笔划的起点和终点。由于摄像头实际拍摄的采样频率要远远大于用户书写的速度，所以拍摄的相邻两帧图片之间往往存在大面积的笔迹重合部分，相邻两帧图片的增量笔迹之间的差异笔迹通常比较短小，基本不会出现包含多个笔划的情况。

在通过上述方案确定出当前帧图片的增量笔迹的起点和终点之后，即确定当前帧图片的局部笔迹的拼接起点和拼接终点之后，进行增量笔迹的拼接，例如，将当前帧图片的增量笔迹中第一个笔划的起点作为当前帧图片的局部笔迹的拼接起点，将当前帧图片的增量笔迹中最后一个笔划的终点作为当前帧图片的局部笔迹的拼接终点。

在获得增量笔迹之后，可以对增量笔迹的笔划进行置信度评估，实际应用中，局部笔迹中笔划的置信度评估值可以是根据如下至少之一来确定：笔划的长度、笔划的宽度、笔划的曲率、笔划的颜色、笔划与其前后笔划的相对位置关系或连贯性、和笔划与笔尖的运动轨迹的匹配度。

例如，可以设定合理的笔划长度区间，如果笔划长度过短，例如，笔划仅是一个点，则该笔划可能是用户的误操作，而并不是要书写的一部分，此时可以降低该笔划的置信度评估值。

又如，笔划与其前后笔划的连贯性越高，则其置信度评估值越高，反义亦然。例如，用户书写“今天天气很好”时，“好”中的“女”字与前后笔划的连贯性很高，因此，其置信度评估值也比较高。

再如，笔划与笔尖的运动轨迹的匹配度越高，则其置信度评估值越高，反义亦然。例如，用户书写“今天天气很好”时，“天”字的最后一笔后半段可能会比较浅，但是后半段在笔尖的运动轨迹上，因此，其置信度评估值也比较高。

其中，笔尖的运动轨迹可以通过如下方法获得：在摄像头对用户的书写过程进行拍摄的过程中，可以根据书写工具的笔尖的形状和笔尖位置，对已注册的书写工具的笔尖进行目标跟踪，并获得笔尖的运动轨迹。书写工具的笔尖的形状是用户在注册书写工具时所注册存储的；目标跟踪方法在相关领域已被广泛研究和应用，在此不再赘述。笔划与相应位置的笔尖的运动轨迹的匹配过程可以选择任何能够比较两条运动轨迹是否相符的算法或模型实现，例如，可以包括但不限于以下之一：DTW(Dynamic Time Wrapping，动态时间弯折)算法、HMM(Hidden Markov Model，隐马尔科夫模型)、和人工神经网络。

当未通过笔划与笔尖的运动轨迹的匹配度确定笔划的置信度评估值时，还可以通过笔划与笔尖的运动轨迹的匹配度对笔划进行增强处理，例如，对于置信度评估值低于阈值的笔划，如果该笔划在笔划与笔尖的运动轨迹上，则可以保留置信度评估值低于阈值的笔划。

方式二、将当前帧图片之前的所有前序帧图片的增量笔迹进行拼接，获得当前帧的前序拼接笔迹，将当前帧图片的增量笔迹与当前帧图片的前序拼接笔迹进行拼接，获得下一帧图片的前序拼接笔迹，以此类推(即重复前述步骤)，直至拼接出全局笔迹。

例如，可以根据当前帧图片的增量笔迹的时序信息，将当前帧图片的所有前序帧图片(即拍摄时间点在当前帧图片之前的图片)的增量笔迹进行拼接，并将拼接得到的笔迹作为当前帧图片的前序拼接笔迹。继而，将当前帧图片的增量笔迹与当前帧图片的前序拼接笔迹进行拼接，得到下一帧图片的前序拼接笔迹。比如，可以将当前帧图片的增量笔迹的起点与当前帧图片的前序拼接笔迹的终点进行拼接，得到下一帧图片的前序拼接笔迹。

例如，用户使用黑色墨水笔在白纸上书写“很好”的过程中，拍摄了四帧连续图片，各帧图片的增量笔迹分别为“ㄔ”、“艮”、“女”、和“子”，将第一帧图片和第二帧图片的增量笔迹拼接起来，得到第三帧图片的前序拼接笔迹“很”，将第三帧图片的增量笔迹和前序拼接笔迹进行拼接，得到第四帧图片的前序拼接笔迹“很女”，将第四帧图片的前序拼接笔迹和第四帧图片的增量笔迹进行拼接，得到下一帧图片的前序拼接笔迹“很好”，以此类推，直到拼接出全局笔迹。需要说明的是，本实施例仅是用于说明增量笔迹的拼接方法，在实际应用中，各帧之间的间隔不一定会很长，各帧的增量笔迹有可能只是一个笔划的一部分。图1N示出了书写“今”字时得到的4帧图片，每帧图片的增量笔迹较短，可以将前三帧的增量笔迹图片拼接起来，得到如帧3所示的第四帧图片的前序拼接笔迹，将第四帧图片的前序拼接笔迹和第四帧图片的增量笔迹进行拼接，得到下一帧图片的前序拼接笔迹“今”字。

在方式二中，获得增量笔迹的方法可以和方式一相同，获得时序信息的方法也可以和方式一相同，在此不再赘述。

方式三、直接利用各帧图片的局部笔迹进行拼接：将后一帧图片的局部笔迹与前序图片的拼接笔迹的重复部分叠加后，得到下一帧图片的前序图片的拼接笔迹；以此类推，将所有图片的局部笔迹进行拼接，得到全局笔迹。

例如，用户使用黑色墨水笔在白纸上书写“很好”的过程中，拍摄了四帧连续图片，各帧图片的局部笔迹分别为“ㄔ”、“很”、“很女”、和“好”，将第一帧图片和第二帧图片的局部笔迹的重合部分“ㄔ”叠加后，得到两帧图片的拼接笔迹“很”，将两帧图片的拼接笔迹和第三帧图片的局部笔迹重合部分“很”拼接之后，得到拼接笔迹“很女”，将三帧图片的拼接笔迹和第四帧图片的局部笔迹重合部分“女”拼接之后，得到拼接笔迹“很好”。需要说明的是，本实施例仅是用于说明局部笔迹的拼接方法，在实际应用中，各帧之间的间隔不一定会很长。图1N示出了书写“今”字时得到的4帧图片，每帧图片的间隔较短，局部笔迹重合部分较多，将帧1和帧2局部笔迹重合的部分(即，帧1的局部笔迹)叠加，得到两帧图片的拼接笔迹，以此类推，得到拼接笔迹“今”字。

实际应用中，拼接得到的全局笔迹可以是一个字或词，如图1T所示的中文或图1U所示的英文单词；拼接得到的全局笔迹也可以是一个语句，如图1V和图1W所示；拼接得到的全局笔迹还可以是包含多行文字且具有版面信息的全局笔迹。

S106：根据得到的全局笔迹识别出用户的手写信息。

本步骤中，可以对得到的全局笔迹进行内容识别，识别出用户的手写信息。

例如，采用Online(联机)手写识别方式进行内容识别，该方式依据笔迹的时序信息、撰写的先后顺序和/或提笔落笔信息来进行内容识别。

又如，采用Offline(脱机)手写识别方式进行内容识别，该方式可以不知道撰写的先后顺序，只从图片显示的信息进行内容识别。

再如，对全局笔迹进行字符识别时，可以首先对拍摄的图像进行预处理，如果存在倾斜或畸变，则进行校正处理，若图像质量较低，则进行图像增强处理，然后终端设备对拍摄对象的图像进行版面分析，通过二值化、块切分、行切分、字符切分等处理，得到版面信息，版面信息包含文字区域的段和行的坐标、段和行的先后顺序、每个字符的坐标、插图区域的坐标和文字环绕方式、背景等，然后基于得到的版面信息，进一步进行字符识别，得到字符信息，包含每个字符的字体、字号、对应的内码等信息。

在上述各种方式中，都可以采用手写文字识别引擎对得到的全局笔迹进行文字内容识别，将得到的文字识别结果作为用户的手写信息。其中，手写文字识别引擎进行文字识别的手段可以采用本领域技术人员所熟知的技术手段，在此不再赘述。

本实施例一通过直接提取笔迹信息来识别手写信息，避免了现有笔尖跟踪方法中提笔/落笔判定困难的问题，提高了手写识别的准确性。另外，本实施例一采用拍摄局部书写区域获取笔迹的方法可以保证拍摄的笔迹的清晰度，再利用拍摄的笔迹进行拼接，得到清晰的全局笔迹；克服了现有技术全局拍摄笔迹导致获取的笔迹不清晰的问题；而且使用单一的摄像头实现了在智能设备中录入手写信息，无需添加过多硬件，降低了成本。

实施例二

本发明实施例二提供了一种手写信息的识别方法，该方法可以由智能设备实现，如图2A所示，该方法具体可以包括如下步骤：

S101:跟踪实时检测的书写焦点，拍摄局部书写区域。

本步骤的实现方式与实施例一相同，在此不再赘述。

S102：对拍摄的局部书写区域的图片进行预处理。

实际应用中，拍摄的局部书写区域的图片中除了包括书写平面上显示的用户的笔迹，还包括书写工具和用户的手。在这种情况下，预处理的操作可以包括：从拍摄的图片中将用户的手和书写工具均与书写平面分离。

例如，智能设备在拍摄到局部书写区域的图片之后，根据预先注册的书写工具的笔尖形状，确定出图片中书写工具的笔尖形状及位置，将书写工具从该图片中分离出来；智能设备可以根据用户习惯的握笔姿势和握笔时手的形状，将用户的手从图片中分离出来。

图2B和图2C分别是对中文手写内容和英文手写内容进行预处理的示意图，如图2B所示，用户在手写过程中，智能设备拍摄得到图2B的左图，其中包含用户的手和书写工具，然后，智能设备对图2B的左图进行预处理，将其中的手和书写工具从图片中分离出来，得到图2B的右图。图2C的处理方式与图2B的处理方式相同，仅是文字改为英文。

此外，为了便于后续笔迹的提取，预处理的操作还可以包括：对拍摄的每一帧图片进行归一化处理。其中，归一化处理的操作包括以下至少之一：调整每一帧图片的大小，使得每一帧图片具有相同的几何大小；对每一帧图片进行倾斜、和/或旋转校正，使得每一帧图片具有相同的方向；对每一帧图片进行亮度、和/或对比度的校正。

通过上述预处理工作，可以将图片调整为适于识别笔迹的形式。

S103：从拍摄的局部书写区域的图片中提取出局部笔迹。

本步骤的实现方式与实施例一相同，在此不再赘述。

S105:拼接获取的局部笔迹，得到全局笔迹。

本步骤的实现方式与实施例一相同，在此不再赘述。

S106：根据得到的全局笔迹识别出用户的手写信息。

本步骤的实现方式与实施例一相同，在此不再赘述。

在本实施例中，局部书写区域的图片是经过步骤S102预处理的图片。由于经预处理的图片中所包含的颜色主要是用户的笔迹的颜色和书写平面的颜色，相比实施例一未经过预处理的图片，使用经过预处理的图片进行笔迹识别的准确性更高。

实施例三

本发明实施例提供了一种手写信息的识别方法，该方法可以由智能设备实现，如图3A所示，该方法具体可以包括如下步骤：

S101:跟踪实时检测的书写焦点，拍摄局部书写区域。

本步骤的实现方式与实施例一相同，在此不再赘述。

S103：从拍摄的局部书写区域的图片中提取出局部笔迹。

本步骤的实现方式与实施例一相同，在此不再赘述。

S104：对提取的局部笔迹进行增强处理。

为了提高识别手写信息的准确性，可以在下述至少一种情形下，对局部笔迹进行增强处理：拍摄时光线亮度或清晰度不符合预设的要求；拍摄的图片中笔迹宽度小于设定宽度；拍摄的图片中笔迹颜色(即被提取为局部笔迹的像素点的颜色)与背景颜色(即书写平面的颜色)的色差小于设定值。

优选地，增强处理包括下述至少之一：根据拍摄时光线亮度或清晰度，调整摄像头的光圈或对焦；根据拍摄的图片中笔迹宽度，调整摄像头的放大倍数；对拍摄的图片进行倾斜和/或旋转的校正；对拍摄的图片进行亮度和/或对比度校正；对提取的局部笔迹进行修正。

其中，对提取的局部笔迹进行修正可以包括对提取出的局部笔迹进行平滑处理。当智能设备检测到二值化过程中产生的噪声点，可以将这些噪声点滤除，从而对提取出的局部笔迹进行平滑处理，得到可供识别的笔迹数据。

图3B和图3C分别是对中文手写内容和英文手写内容进行修正的示意图，如图3B的左图所示，在拍摄的局部书写区域的图片中，存在一些噪声点，智能设备检测到这些噪声点后，将噪声点滤除，得到如图3B右图所示的可供识别的笔迹数据。图3C的处理方式与图3B的处理方式相同，仅是文字改为英文。

此外，增强处理还可以包括：根据笔划的置信度对局部笔迹进行处理。例如，在局部笔迹中存在置信度评估值低于阈值的笔划的情形下，将置信度评估值低于阈值的笔划去除，保留置信度评估值高于预设门限的笔划。

S105:拼接获取的局部笔迹，得到全局笔迹。

本步骤的实现方式与实施例一相同，在此不再赘述。

S106：根据得到的全局笔迹识别出用户的手写信息。

本步骤的实现方式与实施例一相同，在此不再赘述。

实施例四

在进行手写信息的识别之前，可以对书写工具进行注册，并选择合适的书写工具进行手写信息的识别。本实施例四对书写工具的注册和选择进行详细说明。

在本发明实施例中，书写工具是可以在书写平面上书写并产生笔迹的物品，例如，铅笔、钢笔、圆珠笔、或粉笔；书写平面是可供书写工具书写的表面，例如，纸张、或黑板；笔迹是指书写工具在书写平面上书写时产生的具有一定长度、一定宽度、一定颜色的线条或线条的集合，该线条可以是直线段，也可以是曲线段；相邻落笔与提笔之间的笔迹称为笔划。

在本发明实施例中，在进行用户的手写信息的识别之前，可以进行书写工具的注册，其中，书写工具的注册包括：书写工具笔迹颜色的注册、和/或书写工具笔尖形状的注册。

用户在注册书写工具时，向头部穿戴式设备(比如智能眼镜)、或带有摄像头的移动终端(比如手机、或平板电脑)等智能设备输入注册指令，该注册指令的输入方法可以包括以下至少之一：语音、按钮、手势、增强现实的人机交互界面、和外部控制器(比如，与智能眼镜相关联的手机等具有遥控功能的设备)。

例如，注册指令是通过语音输入时，如果用户发出声控指令“开始注册”，智能设备接收该声控指令，并对该声控指令进行语音识别，从而确定出该声控指令是注册指令，开始进行书写工具的注册。在智能设备中可以存储有声控指令和注册指令的对应关系，例如，采用对应表的形式，将以下声控指令都与注册指令相对应：“开始注册”、“注册开始”、“注册手写工具”等中英文指令或其他语言的指令。当然，声控指令不限于上述例子，也可以是用户预先设置的其他信息，只要用户和智能设备都知道该信息是对应于注册指令的声控指令即可。

当注册指令是通过按钮输入时，该按钮可以是智能设备上的硬件按钮，例如：home键、声音调节键、电源键、节目调节键、新增的按键，也可以是智能设备UI上的虚拟按钮，当用户以预定方式按下该按钮时，智能设备确定接收到注册指令。其中，预定方式可以是：短按、长按、短按预定次数、短按和长按交替进行等。

当注册指令是通过手势输入时，该手势可以单手完成的手势，也可以是双手完成的手势，手势的具体内容可以是：挥手、手划圆、手划方块、手划三角、手划星等。智能设备可以采用现有的手势探测设备检测和识别手势的具体内容，根据识别的手势的具体内容确认用户是否输入注册指令。

当注册指令来自外部控制器时，例如，当来自与拍摄局部书写区域的智能设备有连接的手机时，如果智能设备接收到手机传来的指示注册的指令，则开始注册书写工具。其中，该连接可以是物理连接，也可以是通过以下至少一种网络的无线连接：宏网络、WiFi网络、局域网等，该指令可以是红外指令，也可以是手机传送过来的消息。当书写工具的注册包括书写工具笔迹颜色的注册时，智能设备接收到注册指令后，通过摄像头拍摄书写工具在书写平面上书写时所产生的笔迹；并将提取出笔迹的颜色注册为该书写工具的笔迹颜色信息。

图4A示出了书写平面、虚拟书写框以及用户书写笔迹的示意图；其中，301是书写平面，302是智能设备投影到书写平面上的虚拟书写框，303是用户书写的笔迹。智能设备在用户的视野中投影或显示位于书写平面上的书写框(书写区域)，引导用户在此书写框内进行注册书写。这样，在注册书写工具的过程中，摄像头可以对用户的注册书写过程进行拍摄，并对拍摄得到的所有图像帧进行归一化处理，然后，从已归一化处理的图像帧中提取出书写工具的笔迹颜色信息。

在具体实现时，可以通过如下三种方式之一来得到书写工具的笔迹颜色：

方式一：从已归一化处理的每一帧图像中，将用户的手和书写工具均与书写平面进行分离后，通过比较相邻两帧图像中书写平面部分的差异，提取出差异像素点，差异像素点的颜色即为书写工具的笔迹颜色。

例如，用户在注册书写工具的过程中书写“好”字，相邻两帧的图像分别为“女”和“好”，书写平面部分的差异为“子”所在的区域，如果“子”所在的像素点为红色，则确定书写工具的笔迹颜色为红色。

方式二：比较用户注册书写工具前的图像帧与用户书写完成后的图像帧，提取两帧图像的差异像素点，差异像素点的颜色即为书写工具的笔迹颜色。其中，用户书写完成后的图像帧可以是用户的手和书写工具均已移出书写框后所拍摄的图像，拍摄的图像不包含手和书写工具等干扰元素，易于准确识别出书写工具的颜色。对用户的手和书写工具是否已移出书写框的判断，可以通过运动物体检测方法来实现。

例如，如果书写平面为白色物体，则在用户注册书写工具之前，图像帧仅显示了白色的像素点，若用户注册时书写的是红色的笔迹，在用户书写完成后的图像帧中既包含白色的像素点，又包含红色的像素点，其中，红色像素点为新增的像素点，即，差异像素点，因此，可以确定注册的书写工具的笔迹颜色为红色。

方式三：在书写工具注册过程中，还可以在智能设备中预设虚拟图案以便进行注册，用户使用待注册的书写工具书写该虚拟图案，智能设备对用户撰写的虚拟图案进行拍摄，提取图像中虚拟图案所对应的像素点的颜色作为书写工具的笔迹颜色。

其中，该虚拟图案可以是：直线段、曲线段、圆圈、三角形、正方形、长方形、菱形、梯形、井号、星号、冒号、双引号等。

例如，智能设备在屏幕上显示虚拟图案为三角形或者直接在书写平面投影三角形，用户使用待注册的书写工具在书写平面的任一位置上画了一个三角形，智能设备对其进行拍照得到包含三角形的图片，然后，智能设备提取图片中三角形的颜色作为书写工具的颜色。

又如，智能设备还可以在书写平面上投影三角形，并指定用户在投影的位置上书写三角形，用户使用待注册的书写工具在投影位置上画了一个三角形，智能设备对其进行拍照得到包含三角形的图片，然后，智能设备从图片的预定位置(即，投影的位置)提取三角形，并将该三角形的颜色注册为书写工具的颜色。

在书写工具注册过程中，智能设备还可以采取一定的手段来引导用户正确地使用书写工具完成虚拟图案的描绘，例如，显示说明性文字，提示用户按照显示的内容或投影的内容进行书写；显示箭头指示每一个笔划的描绘方向；显示动画演示如何绘制虚拟图案；通过声音提示用户在何时何处绘制何种图案。

另外，智能设备也可以接收用户直接输入的笔迹颜色信息，将该输入的笔迹颜色信息与书写工具进行对应。其中，输入的笔迹颜色信息可以是笔迹颜色的RGB值，也可以是红、黄、蓝、黑等任一颜色名。

例如，用户知道某一书写工具的笔迹颜色是红色，则可以直接在智能设备中输入为红色，并在智能设备中将红色作为该书写工具的笔迹颜色与该书写工具相对应；用户也可以在智能设备中输入红色的RGB值：(255，0，0)，并在智能设备中将该RGB值作为该书写工具的笔迹颜色与该书写工具相对应。

当书写工具的注册包括书写工具笔尖形状的注册时，可以通过检测摄像头所拍摄视频中的最大运动物体，来确定用户的手和书写工具的位置，并据此提取出书写工具的形状；对书写工具的形状进行端点检测，选择最尖或曲率最大的端点为笔尖的位置；然后，对笔尖的形状建立模型，以便用于后续的跟踪过程。视频中运动物体的检测在相关领域有着广泛研究和应用，笔尖形状模型也可以采用在模型识别领域中常用的模型表示形式，在此不再赘述。

例如，在注册如图4B和4C所示的书写工具的笔尖形状时，智能设备拍摄用户使用该书写工具书写的过程，获得一段视频，从该视频中确定最大运动物体为钢笔和手，由于手的形状是可以预先获得的，因此，可以据此确定出钢笔的形状；由于钢笔最尖的端点即为笔尖，因此，可以对钢笔的形状进行端点检测，选择最尖的位置(即，图4B和图4C中虚线方框所示的部分)作为笔尖。

另外，智能设备也可以根据用户的输入获得待注册的书写工具的笔尖形状。下面简要介绍两种根据用户输入获得笔尖形状的方式。

方式一、不同种类书写工具的笔尖形状是不同的，且不同类型的书写工具通常具有统一的笔尖形状，因此，当用户注册书写工具时，可以直接将书写工具的名称输入到智能设备中，智能设备根据该名称确定出对应的笔尖形状。例如，用户注册的书写工具A为铅笔，则用户直接将“铅笔”输入到智能设备中，智能设备根据书写工具和笔尖形状的对应关系，确定出书写工具A的笔尖形状。其中，书写工具和笔尖形状的对应关系可以是存储在智能设备中的，也可以是存储在与该智能设备连接的其他设备中，该连接可以是有线的连接，也可以是无线的连接。

方式二、智能设备中存储有各种笔尖形状的图片，当进行书写工具笔尖形状的注册时，智能设备向用户显示这些图片供用户选择，并将用户选择的笔尖形状作为待注册书写工具的笔尖形状进行保存。

例如，智能设备中存储有各种笔尖形状的图片，包括：铅笔的笔尖形状、钢笔的笔尖形状、圆珠笔的笔尖形状、签字笔的笔尖形状等，用户要对书写工具A的笔尖形状进行注册，书写工具A为铅笔，在触发笔尖形状的注册之后，智能设备显示各种笔尖形状的图片，并接收了用户选择铅笔的笔尖形状所对应的图片的指令，则将铅笔的笔尖形状作为书写工具A的笔尖形状进行保存。

实际应用中，通过上述方式提取到的笔尖的形状与实际笔尖的形状相比可能存在一定的偏差，其主要原因在于笔尖的位置可能会产生偏移，进而易造成所提取笔迹的偏移。因此，后续在提取出用户的手写笔迹后，还可以通过逐帧跟踪笔尖的位置，得到笔尖的运动轨迹；并计算实际提取出的手写笔迹和笔尖的运动轨迹之间在平面坐标系下的横、纵坐标偏移，利用此偏移量对笔尖的形状和位置信息进行调整。

在通过上述方式完成书写工具的注册之后，可以选择合适的书写工具。在实际应用中，可以根据书写工具的笔迹颜色和书写平面颜色的差异来选择书写工具。

在具体实现时，可以将注册的书写工具的笔迹颜色信息与书写平面的背景色进行比对，若二者颜色差异大于预先设定的门限值，则判定二者颜色可区分，否则判定二者颜色不可区分。当判定二者颜色不可区分时，需要提醒用户更换书写工具或书写平面。其中，书写平面的背景色可以通过在用户书写开始之前，对书写平面进行拍摄获得。

例如，如果书写工具的笔迹颜色是黑色，书写平面的背景色是白色，则二者颜色可以区分，可以使用黑色的书写工具在白色的书写平面上进行书写。

又如，如果书写工具的笔迹颜色是黄色，书写平面的背景色也是黄色，则二者颜色不可区分，此时，可以提醒用户更换书写工具或书写平面。提醒的方式可以是弹出对话框，在对话框中显示“请更换书写工具或书写平面”；也可以是发出告警音，提示当前使用的书写工具或书写平面有问题；还可以是发出语音“请更换书写工具或书写平面”。

实际应用中，用户从已注册的书写工具中选择出笔迹颜色信息与书写平面的背景色可区分的书写工具后，可以利用选择的书写工具在书写平面上进行书写，从而进行手写信息的识别。

实施例五

在手写信息的识别过程中，还需要考虑一些特殊情况，下面对这些特殊情况进行具体说明。

1、换行

用户在书写过程中可能会书写多行文字，而换行前的图片与换行后的图片之间可能没有笔迹重合部分，例如，用户在第一行书写“今天天气很好”，在第二行书写“我步行去公司”，其中，第一行的最后一帧图片可能只显示“很好”，第二行的第一帧图片可能只显示“我”，在这种情况下，将第一行的最后一帧图片和第二行的第一帧图片进行拼接是不合适的。

为了应对上述情况，提高识别出的用户的手写信息的完整性和准确度，在将各帧图片的局部笔迹进行拼接过程中，还可以检测是否存在换行信息，如果存在换行信息，则根据换行信息进行局部笔迹的拼接。

可以检测相邻帧图片的局部笔迹之间是否存在笔迹重合部分，当检测到相邻帧局部笔迹之间没有笔迹重合部分时，则确定检测到换行信息。例如，用户在第一行书写“今天天气很好”，在第二行书写“我步行去公司”，其中，第一行的最后一帧图片可能只显示“很好”，第二行的第一帧图片可以只显示“我”，当检测到第一行的最后一帧图片和第二行的第一帧图片之间没有笔迹重合部分时，确定在第一行的最后一帧图片和第二行的第一帧图片之间检测到换行信息。

在具体实现时，还可以检测各帧图片的局部笔迹中是否存在换行标记，当检测到换行标记时，确定检测到换行信息，其中，该换行标记可以是预先定义的。

换行标记可以采用标记符号的形式实现，该标记符号具体可以包括下述符号中的至少一种：底色、下划线、点划线、波浪线、矩形框、着重符、括号、三角符、五角星、星号、和井号。

在实际应用中，还可以通过指示换行的音频数据来表示换行信息。当接收到指示换行的音频数据时，确定检测到换行信息。例如，如果用户发出声控指令“换行”，智能设备接收该声控指令，并对该声控指令进行语音识别，从而确定出该声控指令是换行指令。在智能设备中可以存储有声控指令和换行指令的对应关系，例如，采用对应表的形式，将以下声控指令都与换行指令相对应：“换行”、“另起一行”、“下一行”等中英文指令或其他语言的指令。当然，声控指令不限于上述例子，也可以是用户预先设置的其他信息，只要用户和智能设备都知道该信息是对应于换行指令的声控指令即可。

在确定换行信息后，可以根据换行信息进行局部笔迹拼接。具体地，可以根据换行信息确定局部笔迹的拼接起点或拼接终点，进行局部笔迹拼接。

当检测到换行信息时，可以将当前帧图片的前序拼接笔迹作为当前行的拼接笔迹信息；将当前帧图片作为下一行的第一帧图片，并将当前帧图片的局部笔迹作为下一行的拼接笔迹信息的拼接起点，将当前帧图片的局部笔迹与检测到下一个换行信息之前的所有帧图片的局部笔迹进行拼接，得到下一行的拼接笔迹信息。这样，可以根据时间顺序，拼接各行的拼接笔迹信息，得到用户输入的具有版面信息(如行信息)的全局笔迹。

例如，用户在练习本上书写“今天天气很好”，然后，在书写了换行标记“三角符”之后，书写“我步行去公司”，则智能终端会将换行标记“三角符”之前的“好”的最后一个增量笔迹作为拼接终点，获得换行前的笔迹，将换行标记“三角符”之后的“我”的第一个增量笔迹作为拼接起点进行换行后笔迹的拼接。

2、暂停

用户在书写过程中，由于某些原因可能会暂时停止书写手写内容，例如，在课堂记录笔记时，用户抬头看黑板上的板书内容后又继续记录笔迹。由于暂停书写期间并没有产生新的笔迹，因此，可以在检测到存在暂停信号时，暂停提取局部笔迹，并对全局区域进行监控。通过该实施例，避免了在没有新的笔迹期间提取局部笔迹，减少了冗余数据，提高了识别手写信息的效率；并且，在没有新的笔迹期间不再提取局部笔迹，减少了处理器的工作量，节约了运算资源。

实际应用中，在以下至少一种情形时可以确定检测到暂停信号：

从拍摄的图片中无法提取到新的笔迹信息；例如，用户在白纸上书写“今天天气很好”之后，没有继续书写新的内容，智能设备连续拍摄到的图片都是“很好”，没有提取出新的笔迹，在这种情况下，即可确定用户已经暂停书写。

用户的视觉焦点离开书写平面；用户在书写手写内容期间，视觉焦点往往落在书写平面内，当用户的视觉焦点离开平面，观看其他信息时，例如，看黑板的板书、看电脑屏幕，用户通常会暂停书写，因此，当检测到用户的视觉焦点离开书写平面时，可以确定检测到暂停信号。

用户的头部姿势的变化角度超过设定角度；例如，用户在长时间撰写之后，可能会停下来活动颈部，此时头部活动的角度会很大，因此，如果检测到用户的头部姿势的变化角度超过设定角度，则确定检测到暂停信号。

检测不到书写工具的笔尖的位置；在本实施例中，智能设备用于识别使用书写工具书写的笔迹，如果在一段时间内(例如5秒)，智能设备拍摄的图片上都检测不到书写工具的笔尖位置，则可以确定用户在这段时间内暂停书写。

检测到暂停标记；暂停标记可以采用标记符号的形式实现，该标记符号具体可以包括下述符号中的至少一种：底色、下划线、点划线、波浪线、矩形框、着重符、括号、三角符、五角星、星号、和井号。

检测到指示暂停的音频数据。使用音频指示暂停时，如果用户发出声控指令“暂停”，智能设备接收该声控指令，并对该声控指令进行语音识别，从而确定出该声控指令是暂停指令。在智能设备中可以存储有声控指令和暂停指令的对应关系，例如，采用对应表的形式，将以下声控指令都与暂停指令相对应：“暂停”、“停一会”、“休息一会”等中英文指令或其他语言的指令。当然，声控指令不限于上述例子，也可以是用户预先设置的其他信息，只要用户和智能设备都知道该信息是对应于暂停指令的声控指令即可。

为了便于用户手写笔迹的完整提取，在检测到暂停信号之后，可以确定出检测到暂停信号时所拍摄的最后一帧图片，并将该图片的增量笔迹与该图片的前序拼接笔迹进行拼接后得到的全局笔迹、拍摄得到的书写平面的图片进行缓存。优选地，还可以将根据拼接得到的全局笔迹识别出的用户的手写信息、各帧图片的增量笔迹及其时序信息进行缓存。

例如，用户在白纸上书写“今天天气很好”之后，智能设备确定检测到暂停标记，则缓存以下信息至少之一：前序拼接笔迹“今天天气很好”、拍摄得到的书写平面的图片、各帧图片的增量笔迹及其时序信息，以便后续接收到恢复信号时使用。

3、恢复

在暂停之后，还可能恢复局部笔迹的提取。由于对全局区域的书写过程的拍摄并不暂停，因此，在检测到暂停信号之后，可以在全局区域检测是否存在恢复信号，当检测到恢复信号时，恢复提取局部笔迹。

在实际应用中，在检测到以下至少一种情形时确定检测到恢复信号：

后续拍摄得到的全局区域的图片与缓存的书写平面的图片匹配；当暂停书写时，用户可能会将智能终端的焦点移出书写平面，这样智能终端拍摄的图片中不包含书写平面，如果恢复书写，用户可能会将智能终端的焦点移回到书写平面上，这样智能终端拍摄到的图片重新包含书写平面，因此，可以通过判断拍摄得到的全局区域的图片与缓存的书写平面的图片匹配，来确定是否检测到恢复信号。

用户的视觉焦点回到书写平面；在暂停书写时，用户的视觉焦点很有可能会移出书写平面，如果恢复书写，用户的视觉焦点很可能移回到书写平面上，因此，可以通过判断用户的视觉焦点是否回到书写平面，来确定是否检测到恢复信号。例如，如果用户正在课堂上边记笔记边听讲，当用户查看黑板上的板书时，书写已经暂停，并且用户的视觉焦点离开了用于记录笔记的笔记本，当用户查看完板书时，视线会回到笔记本上，继续记录笔记，此时书写已经恢复，并且用户的视觉焦点回到了当前的书写平面笔记本上。

书写工具在书写平面上产生新的笔迹信息；在暂停书写时，用户不再在书写平面上书写，从而不会在书写平面上产生新的笔迹，如果恢复书写，用户需要使用书写工具在书写平面上书写内容，即，会产生新的笔迹信息，因此，可以通过判断书写工具是否在书写平面上产生新的笔迹信息，来确定是否检测到恢复信号。例如，用户在写完“今天天气很好”之后，就暂停书写，智能设备监控拍摄的图片，判断是否书写平面上是否有新的笔迹产生，如果用户继续书写“我步行去上班”，则智能设备能够确定书写平面上产生了新的笔迹，此时即可确定检测到恢复信号。

检测到恢复标记；恢复标记可以采用标记符号的形式实现，该标记符号具体可以包括下述符号中的至少一种：底色、下划线、点划线、波浪线、矩形框、着重符、括号、三角符、五角星、星号、和井号。

接收到指示恢复的音频数据。如果用户发出声控指令“恢复”，智能设备接收该声控指令，并对该声控指令进行语音识别，从而确定出该声控指令是恢复指令。在智能设备中可以存储有声控指令和恢复指令的对应关系，例如，采用对应表的形式，将以下声控指令都与恢复指令相对应：“恢复”、“重新开始”、“继续识别”等中英文指令或其他语言的指令。当然，声控指令不限于上述例子，也可以是用户预先设置的其他信息，只要用户和智能设备都知道该信息是对应于恢复指令的声控指令即可。

优选地，在检测到恢复信号之后，针对检测到恢复信号后拍摄的图片，从中提取局部笔迹，并根据前一次检测到暂停信号时缓存的信息继续进行笔迹信息的拼接。

例如，用户在白纸上书写“很好”的过程中，拍摄了四帧图片，各帧图片的增量笔迹分别为“ㄔ”、“艮”、“女”、和“子”。在用户写完“ㄔ”、“艮”、和“女”之后，智能设备检测到暂停信号，则将之前提取的局部笔迹“ㄔ”、“艮”、和“女”以及这些局部笔迹之间的时序信息进行缓存。随后，智能设备检测到恢复信号，并检测到恢复后图片的增量笔迹为“子”。智能设备将恢复后的图片的增量信息和缓存的信息(“ㄔ”、“艮”、和“女”以及这些局部笔迹之间的时序信息)进行拼接，得到笔迹“很好”。需要说明的是，本实施例仅是用于说明包含暂停情况时的增量笔迹拼接方法，在实际应用中，各帧之间的间隔不一定会很长，各帧的增量笔迹有可能只是一个笔划的一部分。图1N示出了书写“今”字时得到的4帧图片，每帧图片的增量笔迹较短，在拍摄帧3之后，可能会收到暂停信号，智能设备会缓存帧1、帧2和帧3的增量笔迹，并记录增量笔迹之间的时序关系，然后，智能设备接收到恢复信号，继续拍摄得到帧4，则可以将这4帧的增量笔迹拼接起来，得到“今”字。

4、结束

在本发明实施例中，在无法检测到新的笔迹信息的时候，应及时停止识别用户的手写信息。例如，检测是否存在结束信号；当检测到结束信号时，结束用户的手写信息的识别，并保存识别出的用户的手写信息。

在具体实现时，可以在检测到以下至少一种情形时确定检测到结束信号：

用户的视觉焦点离开书写平面超过设定时间段；在书写过程中，用户的视觉焦点经常会落在书写平面内，如果智能设备检测到用户的视觉焦点长时间不在书写平面内，则可以确定用户结束了书写。

设定时间段内未检测出新的笔迹信息；在书写过程中，用户会在书写平面上产生新的笔迹信息，如果智能设备长时间没有检测到新的笔迹信息，则可以确定用户结束了书写。

检测到结束标记；结束标记可以采用标记符号的形式实现，该标记符号具体可以包括下述符号中的至少一种：底色、下划线、点划线、波浪线、矩形框、着重符、括号、三角符、五角星、星号、和井号。

接收到结束指令或接收到指示结束的音频数据。使用音频指示结束时，如果用户发出声控指令“结束”，智能设备接收该声控指令，并对该声控指令进行语音识别，从而确定出该声控指令是结束指令。在智能设备中可以存储有声控指令和结束指令的对应关系，例如，采用对应表的形式，将以下声控指令都与结束指令相对应：“结束”、“停止”、等中英文指令或其他语言的指令。当然，声控指令不限于上述例子，也可以是用户预先设置的其他信息，只要用户和智能设备都知道该信息是对应于结束指令的声控指令即可。

当采用标记符号标记换行、暂停、恢复、和结束时，换行、暂停、恢复、和结束所对应的标记符号应该不同。

实施例六

本发明实施例提供了一种手写信息的识别方法，该方法可以由智能设备实现。如图5所示，本实施例的方法可以包括：

S201:跟踪实时检测的书写焦点，拍摄局部书写区域，获得局部笔迹；接收拍摄局部书写区域期间产生的音频数据。

在本实施例中，拍摄局部书写区域的设备和接收音频数据的设备可以相同，也可以不同。

例如，用户A使用智能手机来对局部书写区域进行拍摄，并使用该智能手机接收音频数据。

又如，用户A同时拥有智能眼镜和智能手机，可以使用智能眼镜对局部书写区域进行拍摄，使用智能手机接收音频数据，随后，可以将局部书写区域和音频数据传到同一设备上进行关联，该同一设备可以是对局部书写区域进行拍摄的智能眼镜，也可以是接收音频数据的智能手机，还可以是其他设备。

再如，用户A和其他多个用户在开会，会议室可能很大，使用用户A的设备采集其他用户的音频数据的清晰度可能不好，此时，可以使用用户A的智能设备对局部书写区域进行拍摄，使用其他用户的智能设备接收音频数据。随后，可以将局部书写区域和音频数据传到同一设备上进行关联，该同一设备可以是对局部书写区域进行拍摄的智能设备，也可以是接收音频数据的智能设备，还可以是其他设备。

拍摄局部书写区域的方式以及获得局部笔迹的方式和实施例一相同，在此不再赘述。下面对音频数据的接收进行详细说明。

可以根据接收到的声音记录触发指令，在拍摄局部书写区域的同时，利用内置或外部相关联的声音采集装置，记录期间接收的音频数据。

其中，声音记录触发指令可以由用户通过多种途径触发，上述途径包括以下至少之一：语音、按钮、手势、增强现实的人机交互界面、和外部控制器(比如，与智能眼镜相关联的手机等具有遥控功能的设备)。

例如，如果用户发出声控指令“开始录音”，智能设备接收该声控指令，并对该声控指令进行语音识别，从而确定出该声控指令是声音记录触发指令，开始进行录音操作。在智能设备中可以存储有声控指令和声音记录触发指令的对应关系，例如，采用对应表的形式，将以下声控指令都与声音记录触发指令相对应：“开始录音”、“录音开始”、“记录语音”等中英文指令或其他语言的指令。当然，声控指令不限于上述例子，也可以是用户预先设置的其他信息，只要用户和智能设备都知道该信息是对应于声音记录触发指令的声控指令即可。

又如，当声音记录触发指令是按钮时，该按钮可以是智能设备上的硬件按钮，例如：home键、声音调节键、电源键、节目调节键、新增的按键，也可以是智能设备UI上的虚拟按钮，该虚拟按钮可以是麦克风图标。当用户以预定方式按下该按钮时，智能设备确定接收到声音记录触发指令。其中，预定方式可以是：短按、长按、短按预定次数、短按和长按交替进行等。

再如，当声音记录触发指令是手势时，该手势可以单手完成的手势，也可以是双手完成的手势，手势的具体内容可以是：挥手、手画圆、手画方块、手画三角、手画星等。智能设备可以采用现有的手势探测设备检测和识别手势的具体内容。

当笔迹识别触发指令来自外部控制器时，例如，当来自与拍摄局部书写区域的智能设备有连接的手机时，如果智能设备接收到手机传来的指示开始接收语音的指令，则开始接收语音。其中，该连接可以是物理连接，也可以是通过以下至少一种网络的无线连接：宏网络、WiFi网络、局域网等，该指令可以是红外指令，也可以是手机传送过来的消息。

在本发明实施例中，也可以不使用声音记录触发指令，智能设备一直处于接收语音的状态。

声音采集装置可以是一个麦克风，也可以是包含多个麦克风的麦克风阵列。麦克风阵列可能在一个设备中，也可能在多个设备中。例如，现有的很多智能手机就存在两个或以上的麦克风，这就相当于一个麦克风阵列。当麦克风阵列在多个设备中时，在采用麦克风阵列进行音频数据的接收之前，还需要对各路麦克风之间的时钟进行同步。

记录的音频数据包括但不限于人声和音乐；且记录的音频数据可以由正在书写的用户发出，也可以由周围的人或物品发出。

当书写的用户周围只有自己时，记录的音频数据由该用户自己发出；如果书写的用户正处于会议中，记录的音频数据可以是会议中任何人发出的，如果正在书写的用户记录的是会议纪要，则可以通过记录的音频数据来对会议纪要进行修正和补充。

例如，用户A记录会议纪要时，会议成员B介绍了几种提高工作效率的方法，而用户A只记录了关键词“提高工作效率”，则可以在会后根据记录的音频数据对此进行补充。

在本发明实施例的一个优选实例中，在记录音频数据的过程中，需要记录音频数据中每个音频采样点的采样时间点，作为音频数据的时间属性。实际应用中，在常见的音频数据存储格式中(包括但不限于wav、mp3等)，可以通过音频采样点的序号与采样频率计算出每个音频采样点的采样时间点。

本发明实施例中，局部书写区域的拍摄时间点与音频数据中各音频采样点的采样时间点可以由同一个时钟产生，也可以由两个不同的时钟产生。而在采用两个不同的时钟时，为了实现音频与手写笔迹的同步，需要在两个时钟之间建立同步。

例如，用户A使用智能眼镜拍摄局部书写区域及接收音频数据，此时，局部书写区域的拍摄时间点与音频数据中各音频采样点的采样时间点可能都是由智能眼镜的同一个时钟产生的，因此，不需要进行时钟同步。

再如，用户A有多个智能设备，使用智能眼镜拍摄局部书写区域，使用智能手机接收音频数据，此时，局部书写区域的拍摄时间点是由智能眼镜的时钟产生的，音频数据中各音频采样点的采样时间点是由智能手机的时钟产生的，为了实现音频和手写笔迹的同步，需要在两个时钟之间建立同步。

又如，用户A使用智能眼镜拍摄局部书写区域，用户B使用智能手机接收音频数据，此时，局部书写区域的拍摄时间点与音频数据中各音频采样点的采样时间点是由不同时钟产生的，为了实现音频和手写笔迹的同步，需要在两个时钟之间建立同步。

实际应用中，当采用麦克风阵列接收音频数据时，对于接收到的多路音频数据可以分路存储，例如：采用多声道音频格式或每一路音频数据单独存储，也可以仅保存经声音增强处理后的合路音频数据。当采用每一路音频数据单独存储的方式时，需要确保每一路保存的音频数据在时间轴上是同步的。

S202：将局部笔迹和音频数据进行对应；

在具体实现时，可以通过以下方式至少之一来实现局部书写局域的内容和音频数据的对应：

方式一、将音频数据和包含局部笔迹的文件对应保存。

例如，根据音频数据生成音频文件，根据局部书写区域的内容生成包含局部笔迹的以下文件至少之一：不包含版面信息的文本文档、包含版面信息的文档文件、图片文件、和视频文件，将音频文件和包含局部笔迹的文件保存到同一个文件夹中，或者保存到有关联关系的两个文件夹中。

在具体实现过程中，可以先获得音频数据和局部笔迹的对应关系，进而可以获得音频数据和包含局部笔迹的文件的对应关系。其中，音频数据和局部笔迹的对应关系可以通过以下方式获得：在确定出当前帧图片的增量笔迹之后，可以根据记录的音频数据中的每个音频采样点的采样时间点，确定出当前帧、及其相邻帧图片的拍摄时间点之间所记录的音频数据。优选地，在确定出对应关系之后，将当前帧、及其相邻帧图片的拍摄时间点之间所记录的音频数据，对应确定出的增量笔迹进行保存。

方式二、保存音频数据和局部笔迹之间的对应关系。

在实际应用中，可以使用表格来保存音频数据和局部笔迹之间的对应关系，也可以在包含局部笔迹的文件中保存音频数据和局部笔迹之间的对应关系，还可以使用视频文件来保存音频数据和局部笔迹之间的对应关系。

当使用表格保存上述对应关系时，可以在表格中将局部笔迹的帧序号和音频数据的时间戳进行对应。其中，局部笔记的帧序号表示局部笔记的拍摄时间点，音频数据的时间戳表示音频数据的音频采样点的采样时间点。

如图6所示，确定出当前图片相对于前一帧的增量笔迹，确定出与当前图片对应的音频数据，该对应的音频数据可以是在撰写该增量笔迹时接收到的音频数据；将当前图片的帧号和当前图片对应的音频数据的时间戳在表格中对应保存，从而实现了将局部笔迹和音频数据进行对应。

又如，智能设备在存储所提取的增量笔迹以及所采集的音频数据之前，将二者依照时间戳进行同步；以当前帧增量笔迹所关联的时间戳为时间起点，以下一帧增量笔迹所关联的时间戳为时间终点，利用所采集的音频数据的音频采样点与时间戳的对应关系，可以取出在相应时间范围内所采集的音频数据。将该时间范围内所采集到的音频数据与当前帧的增量笔迹相互关联，建立一一对应的关系，共同存储。

当使用包含局部笔迹的文件保存上述对应关系时，可以在文件中局部笔迹处设置标识，通过该标识链接到对应的音频数据。例如，首先确定出当前图片相对于前一帧的增量笔迹，确定出与当前图片对应的音频数据，该对应的音频数据可以是在撰写该增量笔迹时接收到的音频数据；在文件中该增量笔迹对应的位置设置标识，通过该标识可以链接到对应的音频数据，从而实现了将局部笔迹和音频数据对应。

为了便于用户在阅读文本文档(或图像文档)的同时聆听所录制的音频信息，可以在呈现文档时在具有音频数据对应的字符、单词、句子、段落、章节、图表(或对应的像素点)周围显示播放音频标识符，用户通过某种方式触发此播放音频标识符后，可以聆听所录制的声音。

播放音频标识符的标记粒度可以是字符、单词、句子、段落、章节、图表。播放音频标识符的表现形式包括但不限于：图标、文字、动画、颜色、字体等等，播放音频标识符可以包括至少一种：底色、下划线、点划线、波浪线、矩形框、着重符、括号、三角符、五角星、星号、和井号，其触发方式包括但不限于：用户点击、滑动、悬浮手势、眼球凝视等等。

用户可以一次性触发多个播放音频标识符，例如：用户用手依次滑过多个播放音频标识符，此时系统需按照所触发播放音频标识符的时间先后顺序播放音频。如果用户同时触发了多个播放音频标识符，例如：用户用手势画了个大圈，圈中了文档中的多个播放音频标识符，那么需要按照各个播放音频标识符所对应音频的时间戳顺序依次播放音频。

当使用视频文件来保存上述对应关系时，可以通过在视频中同时包含书写轨迹和音频数据，并将书写轨迹和音频数据进行同步来实现。例如，在根据得到的全局笔迹识别出用户的手写信息之后，可以根据全局笔迹中各帧图片的增量笔迹及其时序信息，以及各帧图片的增量笔迹所对应的音频数据，生成包含音频数据的视频文件，从而实现通过视频文件播放增量笔迹的书写过程的同时，播放对应的音频数据。也可以在确保音频文件与视频文件在时间轴上是同步的情况下，将音频文件与视频文件分别存储。

关于如何存储音频文件和视频文件，可以由用户进行选择设置。比如，用户可以在进行手写笔迹识别或音频数据接收之前进行设置，选择生成包含音频的视频文件、或选择分别存储。或者，智能设备在保存视频文件之前，弹出对话框来询问用户，并由用户做出选择；如果用户不选择，则智能设备可以默认生成包含音频的视频文件，或者不包含音频的视频文件。

在实际应用中，可以以当前帧图片的增量笔迹所对应的时间戳为时间起点，以下一帧图片的增量笔迹所对应的时间戳为时间终点；或者，以当前帧图片的增量笔迹所对应的时间戳为时间终点，以上一帧图片的增量笔迹所对应的时间戳为时间起点；然后，根据音频数据中各音频采样点的采样时间点，从记录的音频数据中提取出在时间起点到时间终点之间的所有音频采样点，组成与当前帧图片的增量笔迹对应的音频数据。

本发明实施例中，在将音频数据与增量笔迹进行对应之前，还可以对记录的音频数据进行声音增强处理。

智能设备在接收要记录的声音的同时，可能也会接收到噪声，例如，用户在较为嘈杂的环境下使用智能设备接收自己的声音，可能会记录下周围的噪声，因此，智能设备可以对记录的声音进行去噪，滤除背景声音，凸显出用户需要的声音。

另外，当智能设备同时接收到要记录的声音和噪声时，可以对要记录的声音(即，前景声音)进行加强和修饰。例如，用户在较为嘈杂的环境下使用智能设备接收自己的声音，可能会记录下周围的噪声，此时，智能设备可以对用户自己的声音进行加强和修饰，使得用户自己的声音相对于噪声的辨识度更高。

智能设备接收到的声音来自多个方向，而想要记录的声音来自特定声源的方向，此时，智能设备可以选择接收特定声源方向的声音。

上述声音增强处理的方案可以在接收音频数据之前预先设定，也可以在接收过程中调整，也可以在记录完成后通过对音频数据进行后处理实现。

本发明实施例中，如果在将各帧图片的局部笔迹进行拼接过程中检测到暂停信号，则在暂停提取局部笔迹的同时，暂停接收音频数据，并保存之前接收到的音频数据。相应地，在后续检测到恢复信号时，在继续提取局部笔迹的同时，继续接收音频数据。

例如，用户在朗读的同时书写朗读的内容，智能设备对用户书写的内容进行局部书写区域的拍摄，对朗读的内容进行录音，当用户朗读并书写到“今天天气很好”时，智能设备接收到暂停信号，则智能设备暂停提取笔迹以及录音，并缓存“今天天气很好”的局部笔迹和音频数据。在智能设备接收到恢复信号之后，用户继续书写并朗诵“我步行去上班”，智能设备继续提取“我步行去上班”的局部笔迹，并继续对朗诵的内容进行录音。

在另一种实现方式中，在接收到暂停信号之后，智能设备继续接受音频数据，并将暂停期间接收到的音频数据和收到暂停信号前的最后一帧图片的局部笔迹或增量笔迹进行对应。

例如，用户A记录会议纪要时，会议成员B介绍了几种提高工作效率的方法，而用户A只记录了关键词“提高工作效率”，在用户A记录完“提高工作效率”之后，智能设备接收到暂停信号，此时，智能设备暂停提取局部笔迹，继续记录会议成员B发出的关于“提高工作效率的方法”的声音，以便用户A在会后根据记录的音频数据对会议纪要进行补充。

为了实现书写与音频数据同步，在检测到结束信号后，结束用户手写信息的识别的同时，停止接收音频数据。

在本实施例中，在拍摄局部书写区域的同时，记录拍摄局部书写区域期间接收的音频数据，有利于后续根据记录的音频数据对提取出的手写笔迹进行准确度的验证，提高用户体验。

实施例七

在识别出用户的手写信息之后，还可以根据用户的手写信息生成不同形式的文件，本实施例将对此进行具体说明。

在根据得到的全局笔迹识别出用户的手写信息之后，还可以根据用户的手写信息生成如下至少一种文件：不具有版面信息的文档文件、具有版面信息的文档文件、图片文件、和视频文件。这些文件既可以保存于智能设备的存储空间中，也可通过无线或有线的网络连接传送并保存于其他的存储设备或介质中。可以在计算机上利用文字处理软件对这些文件进行编辑和修改。

下面对这四种文档生成方法分别进行说明：

不具有版面信息的文档文件：采用手写文字识别引擎对用户的手写笔迹进行识别，将识别结果保存为文档文件，该文档文件可以是txt格式的文本文档，也可以是word格式的文档文件，还可以是其他格式的文档文件。

例如，用户在练习本写手写了两行信息，第一行是“今天天气很好，”，第二行是“我步行前往公司”。当生成不具有版面信息的文档文件时，不会显示行信息，只是在文件的同一行中记录“今天天气很好，我步行前往公司”。

具有版面信息的文档文件：实际应用中，可以根据识别出的手写信息生成具有版面信息的文档文件。可以采用版面分析器对用户的手写笔迹进行分析，当存在换行信息时，也可以采用版面分析器对换行信息进行分析，在分析过程中，可以通过全局笔迹中各笔划间的相对位置关系，得到用户书写信息的排版格式，通过对全局笔迹中各笔划性质的判定将用户的手写信息分离为文字部分和绘图部分。然后，使用手写文字识别引擎对所分离出的文字部分进行识别，对识别结果依照分析得到的排版格式进行排版，将排版后的文字与所提取的绘图进行组合，最后保存为图文并茂的文档文件。版面分析器进行排版格式的分析、文字部分和绘图部分的分离的手段可以采用本领域技术人员所熟知的技术手段，在此不再赘述。

例如，用户在练习本写手写了两行信息，第一行是“今天天气很好，”，第二行是“我步行前往公司”。当生成具有版面信息的文档文件时，文档的第一行中记录“今天天气很好，”，第二行记录“我步行前往公司”。

又如，用户手写了图7A所示的手写内容，智能设备对用户书写的内容进行拍摄，去除其中的手和书写工具，获得局部笔迹，将局部笔迹拼接为全局笔迹，并保留手写内容中的排版，得到图7B所示的具有版面信息的文档文件。其中，图7B显示的内容是印刷体的内容，这样有利于用户方便地识别出显示的笔迹内容。

图7C是用户手写的英文内容的示意图，图7D为根据图7C生成具有版面信息的文档文件的示意图，其实现方式和图7A和图7B类似。

可以根据下述至少一种信息生成具有版面信息的文档文件：换行信息、删除标记、替换标记、重复特征符号、插入的内容、插入标记、位置调整标记、重点符号、和注释的内容。

其中，删除标记、替换标记、重复特征符号、插入标记、位置调整标记、和重点符号均可以包括下述符号中的至少一种：底色、下划线、点划线、波浪线、矩形框、着重符、括号、三角符、五角星、星号、和井号。

考虑到用户在手写过程中可能需要书写一些重复的内容(比如，相同的文字、词语、语句、段落、图表等)，本发明技术方案中，可以利用重复特征符号来避免用户对相同内容的重复书写，以提高书写效率。

例如，用户在书写过程中，在第一次书写词语“手写信息”时，可以在“手写信息”的书写处标记重复特征符号，并在之后的书写过程中，利用该重复特征符号代替“手写信息”。

在生成具有版面信息的文档文件之前，可以检测重复特征符号，并确定首次出现的重复特征符号的位置。之后在文档文件中将首次出现的重复特征符号所标示的内容，复制到在后的重复特征符号所在位置处，从而生成具有版面信息的文档文件。

其中，重复特征符号所标示的内容具体为根据该重复特征符号所识别出的信息(比如：文字、词语、语句、段落、图表等)。

用户在手写过程中，可能会对手写的内容进行替换。如图7E所示，假设x为修改标记，用户要使用“作用”来替换“分类”，则可以采用图3C所示的方法来修改，智能设备在检测到替换标记x之后，进行内容的替换，然后生成如图7F所示的带有版面信息的文件。

图7G是包含替换标记的用户手写的英文内容的示意图，图7H为根据图7G生成具有版面信息的文档文件的示意图，其实现方式和图7E和图7F类似。

图片文件：直接将提取的用户笔迹保存为图片文件，例如，将得到的全局笔迹保存到图片文件中。如图7I所示，该图示出了手写内容为图7E的图片文件，图7J示出了手写内容为图7C的图片文件。此文件记录了用户的原始手写笔迹。

视频文件：可以按照所提取用户笔迹中像素点的时序关系，将用户笔迹制作成视频文件，例如，根据各帧图片的增量笔迹及其时序信息，生成视频文件进行保存。该视频文件记录了用户书写的全过程。

具有版面信息的文档文件、不具有版面信息的文档文件、图片文件、和视频文件之间可以相互关联。若在拍摄局部书写区域的同时记录了相应的音频数据，根据该音频数据生成的音频文件可以和以下任一种文件相关联：具有版面信息的文档文件、不具有版面信息的文档文件、图片文件、和视频文件。

本发明实施例中，关于上述各种文件之间的相互关联可以包含两个层面：文件层面的关联和内容层面的关联。下面对这两个层面分别进行说明。

文件层面的关联是指基于同一书写过程所生成的各种类型文件之间建立的一一对应的关系，使得后续通过其中任意一种类型的文件可以迅速查找并获得其他类型的文件。

假如，用文件名代表一个文件，那么，这一文件层面的关联包含如下对应关系：“所生成的文档文件名←→所生成的图片文件名”、“所生成的图片文件名←→所生成的视频文件名”、“所生成的文档文件名←→所生成的视频文件名”；其中，←→表示对应关系。

如果还保存有音频文件，则上述文件层面的关联还包含如下对应关系：“所生成的文档文件名←→所生成的音频文件名”、“所生成的图片文件名←→所生成的音频文件名”、“所生成的音频文件名←→所生成的视频文件名”。

实际应用中，上述对应关系可以通过映射表的方式进行存储，也可以通过在文件名中设置同样的前缀信息来体现。

内容层面的关联包括：文档文件中的字符与图片文件中的像素点之间的对应关系、文档文件中的字符与视频文件中的各帧图片之间的对应关系等。

例如，可以根据生成文档文件过程中，各字符与增量笔迹的对应关系，以及生成图片文件过程中，各像素点与增量笔迹的对应关系，确定出文档文件中的字符与图片文件中的像素点之间的对应关系。

上述对应关系可以通过映射表的方式进行存储。这样，后续查看文档文件的字符时，可以通过查找映射表，查找到对应该字符的实际书写过程和笔迹。

若在拍摄局部书写区域的同时记录了相应的音频数据，则上述内容层面的关联还可以包括：文档文件中的字符与音频文件中的音频采样点的对应关系。这样，后续查看文档文件的字符时，可以查找到书写该字符时所记录的音频数据。

本发明实施例中，可以将文本文档、具有版面信息的文档文件、图片文件、视频文件、音频文件、以及各文件之间的对应关系保存于智能设备(比如，智能眼镜)内置的存储空间中；或者也可以通过无线或有线的网络连接传送、保存于其他的存储设备或介质中，以便后续使用。

实施例八

本发明实施例还提供了一种手写信息的识别装置，该装置可以用于实现上述任一种方法。该装置可以是智能设备本身。其内部结构如图8所示，可以包括：

拍摄模块402，用于跟踪实时检测的书写焦点，拍摄局部书写区域；

获取模块404，用于从拍摄的局部书写区域的图片中获取局部笔迹；

拼接模块406，用于拼接获取的局部笔迹，得到全局笔迹；

识别模块408，用于根据得到的全局笔迹识别出用户的手写信息。

在本发明实施例的一个优选实例中，书写焦点是根据视觉焦点确定的；或者，书写焦点是根据检测到的书写工具的笔尖位置确定的。

在本发明实施例的另一个优选实例中，所述书写工具的笔尖位置是通过如下方法确定的：根据预先注册的书写工具的笔尖的形状，从实时拍摄的图片中识别出所述书写工具的笔尖；根据识别出的书写工具的笔尖，确定出所述书写工具的笔尖位置。

在具体实现时，获取模块404用于根据笔迹颜色从所述图片中提取出所述局部笔迹。

优选地，获取模块404用于通过以下方式实现根据笔迹颜色从所述图片中提取出所述局部笔迹：根据预先注册的书写工具的笔迹颜色，从所述图片中提取出所述局部笔迹；或者，根据笔迹颜色与书写背景之间的颜色差异，从所述图片中提取出所述局部笔迹。

在本发明实施例的一个优选实例中，获取模块404用于通过以下方式实现根据笔迹颜色与书写背景之间的颜色差异，从所述图片中提取出所述局部笔迹：根据笔迹颜色与书写平面之间的颜色差异，对所述图片进行二值化处理，得到二值化图像；从所述二值化图像中确定出线条状的图像区域；提取所述线条状的图像区域作为所述局部笔迹。

在本发明实施例的另一个优选实例中，拼接模块406用于：将当前帧和前一帧图片中提取出的局部笔迹进行比对，确定出当前帧图片的增量笔迹；将各帧图片的增量笔迹进行拼接，得到全局笔迹。

优选地，所述装置还包括：生成模块，用于在所述根据得到的全局笔迹识别出用户的手写信息之后，通过以下方式生成并保存文件：将识别出的手写信息保存为文档文件；根据识别出的手写信息，生成具有版面信息的文档文件；将得到的全局笔迹保存到图片文件中；根据各帧图片的增量笔迹及其时序信息，生成视频文件。

可选地，所述具有版面信息的文档文件还根据下述至少一种信息生成：换行信息、删除标记、替换标记、重复特征符号、插入的内容、插入标记、位置调整标记、重点符号、和注释的内容。

在具体实现时，生成模块还用于在生成具有版面信息的文档文件之前，确定首次出现的所述重复特征符号的位置，将首次出现的重复特征符号所标示的内容，复制到在后的重复特征符号所在位置处。

在本发明实施例的另一个优选实例中，该装置还包括：接收模块，用于接收拍摄局部书写区域期间产生的音频数据；对应模块，用于将所述音频数据和所述局部笔迹进行对应。

在实际应用中，对应模块可以通过以下方式实现将所述音频数据和所述局部笔迹进行对应：将所述音频数据和包含所述局部笔迹的文件对应保存；和/或，保存所述音频数据和所述局部笔迹之间的对应关系。

在本发明实施例的一个优选实例中，在保存所述音频数据和所述局部笔迹之间的对应关系时，所述生成模块还用于：在包含所述局部笔迹的文件中，对与所述局部笔迹对应的内容进行标记，所述标记用于表明存在与所述内容对应的音频数据。

在本发明实施例的一个优选实例中，生成模块还用于在将所述音频数据和所述局部笔迹进行对应之后，根据所述音频数据和所述局部笔迹的对应关系，生成包含所述音频数据和所述局部笔迹的视频文件。

在具体实现时，对应模块用于：将当前帧的拍摄时间点、及其相邻帧图片的拍摄时间点之间所接收的音频数据，与根据当前帧及其相邻帧图片确定出的增量笔迹进行对应。

在本发明实施例的一个优选实例中，上述装置还包括：换行信息确定模块，用于确定换行信息，拼接模块406用于根据换行信息进行局部笔迹拼接。

优选地，换行信息确定模块用于：当检测到相邻帧局部笔迹之间没有笔迹重合部分时，确定检测到所述换行信息；或者，当检测到换行标记时，确定检测到所述换行信息；当接收到指示换行的音频数据时，确定检测到所述换行信息。

在本发明实施例的一个优选实例中，拼接模块406用于通过以下方式实现根据换行信息进行局部笔迹拼接：根据换行信息确定局部笔迹的拼接起点或拼接终点，进行局部笔迹拼接。

在本发明实施例的另一个优选实例中，上述装置还包括：暂停信号检测模块，用于检测是否存在暂停信号；获取模块404用于当检测到所述暂停信号时，暂停提取局部笔迹，并对全局区域进行监控。

在具体实现时，在检测到以下至少一种情形时，暂停信号检测模块确定检测到所述暂停信号：

从拍摄的图片中无法提取到新的笔迹信息；

用户的视觉焦点离开书写平面；

用户的头部姿势的变化角度超过设定角度；

检测不到书写工具的笔尖的位置；

接收到指示暂停的音频数据。

优选地，该装置还包括：缓存模块，用于在检测到所述暂停信号之后，缓存以下信息：拼接得到的全局笔迹、和拍摄得到的书写平面的图片。

在实际应用中，该装置还可以包括：恢复信号检测模块，用于在检测到所述暂停信号之后，在所述全局区域检测是否存在恢复信号，获取模块404用于当检测到所述恢复信号时，恢复提取局部笔迹；拼接模块406用于根据缓存的信息继续进行局部笔迹的拼接。

在本发明实施例的一个优选实例中，恢复信号检测模块用于在检测到以下至少一种情形时确定检测到所述恢复信号：

当前拍摄得到的所述全局区域的图片与缓存的书写平面的图片匹配；

所述用户的视觉焦点回到书写平面；

书写工具在书写平面上产生新的笔迹信息；

接收到指示恢复的音频数据。

上述装置还可以包括：结束信号检测模块，用于检测是否存在结束信号；识别模块408用于当检测到所述结束信号时，结束对所述用户的手写信息的识别。

优选地，在检测到以下至少一种情形时结束信号检测模块确定检测到所述结束信号：

所述用户的视觉焦点离开书写平面超过设定时间段；

设定时间段内未检测出新的笔迹信息；

接收到结束指令；

接收到指示结束的音频数据。

在本发明实施例的一个优选实例中，上述装置还可以包括：增强处理模块，用于在拼接获取的局部笔迹前，对所述局部笔迹进行增强处理。

在具体实现时，在下述至少一种情形下，增强处理模块对所述局部笔迹进行增强处理：拍摄时光线亮度或清晰度不符合预设的要求；拍摄的图片中笔迹宽度小于设定宽度；拍摄的图片中笔迹颜色与背景颜色的色差小于设定值。

在本发明实施例的另一个优选实例中，增强处理模块通过以下至少一种方式进行增强处理：

根据拍摄时光线亮度或清晰度，调整所述摄像头的光圈或对焦；

根据拍摄的图片中笔迹宽度，调整所述摄像头的放大倍数；

对拍摄的图片进行倾斜、旋转校正；

对拍摄的图片进行亮度、对比度校正；

对提取的局部笔迹进行平滑处理。

在本发明实施例的又一个优选实例中，增强处理模块通过以下至少一种方式进行增强处理：将局部笔迹中置信度评估值低于阈值的笔划去除。

在具体实现时，所述笔划的置信度评估值可以是根据如下至少一种参数计算得到的：

所述笔划的长度；

所述笔划的宽度；

所述笔划的曲率；

所述笔划的颜色；

所述笔划与其前后笔划的相对位置关系、或连贯性；

所述笔划与所述笔尖的运动轨迹的匹配度。

图9示出了按照本申请的实施例识别手写信息的电子设备的结构示意图。

如图9所示，电子设备1100包括：至少一个处理器1110，例如中央处理器(CentralProcessing Unit，CPU)，至少一个输出接口1120或者其他用户接口1130，存储器1140，至少一个通信总线1150。通信总线1150用于实现上述组件之间的连接通信。电子设备1100可选的包含其他用户接口1130，包括显示器，键盘或者点击设备(例如，鼠标，轨迹球(trackball)，触感板或者触感显示屏)。存储器1140可能包含高速随机存取存储器(RandomAccess Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1140可选的可以包含至少一个位于远离前述处理器1110的存储装置。

在一些实施方式中，存储器1140存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集:

操作系统1141，包含各种系统程序，用于实现各种基础业务以及处理基于硬件的任务。

应用程序1142，包含各种应用程序，用于实现各种应用业务。

其中，应用程序包括用于执行上述方法的程序，例如，应用程序包括：

拍摄单元，用于跟踪实时检测的书写焦点，拍摄局部书写区域；

获取单元，用于从拍摄的局部书写区域的图片中获取局部笔迹；

拼接单元，用于拼接获取的局部笔迹，得到全局笔迹；

识别单元，用于根据得到的全局笔迹识别出用户的手写信息。

其他应用程序可以参见上述方法实施例，在此不再赘述。

在本实施例中，处理器1110通过调用存储器1140中存储的程序或指令执行相应步骤，例如，处理器1110，用于：跟踪实时检测的书写焦点，拍摄局部书写区域；从拍摄的局部书写区域的图片中获取局部笔迹；拼接获取的局部笔迹，得到全局笔迹；根据得到的全局笔迹识别出用户的手写信息。

处理器1110能够用于实现上述方法实施例，处理器1110的其他操作可以参见上述方法实施例，在此不再赘述。

本发明实施例还提供了一种计算机可读介质，该计算机可读介质存储于用于执行上述方法的计算机程序，计算机程序执行的方法的具体内容可以参见上述方法实施例，在此不在赘述。

本技术领域技术人员可以理解，本发明包括涉及用于执行本申请中所述操作中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中，所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random Access Memory，随即存储器)、EPROM(Erasable ProgrammableRead-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically ErasableProgrammable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。

本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处理器来执行本发明公开的结构图和/或框图和/或流图的框或多个框中指定的方案。

本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (64)

1.一种手写信息的生成方法，其特征在于，包括：

确定第一书写焦点和第二书写焦点，包括：跟踪书写工具的笔尖，确定书写工具的笔尖位置；根据确定的书写工具的笔尖位置，确定第一书写焦点和第二书写焦点；

顺序地获取第一局部书写区域的图片和第二局部书写区域的图片，其中，第一局部书写区域位于第一书写焦点的预设范围内，第二局部书写区域位于第二书写焦点的预设范围内；

从第一局部书写区域的图片中获取第一笔迹，从第二局部书写区域的图片中获取第二笔迹；

融合第一笔迹和第二笔迹；

根据融合的结果得到用户的手写信息；

其中，确定书写工具的笔尖位置包括：

获取用户书写工具的笔尖的形状信息；

从第一局部书写区域的图片和第二局部书写区域的图片中的至少一个检测出所述书写工具的笔尖；

根据所述书写工具的笔尖的检测结果，确定所述书写工具的笔尖位置。

2.根据权利要求1所述的方法，其特征在于，确定第一书写焦点和第二书写焦点，还包括：

跟踪用户的视觉焦点，根据视觉焦点确定第一书写焦点和第二书写焦点。

3.根据权利要求1所述的方法，其特征在于，从第一局部书写区域的图片中获取第一笔迹，从第二局部书写区域的图片中获取第二笔迹，包括：

根据笔迹颜色从图片中提取出笔迹。

4.根据权利要求3所述的方法，其特征在于，还包括：

从用户获取关于笔迹颜色的信息。

5.根据权利要求3所述的方法，其特征在于，根据笔迹颜色从图片中提取出笔迹，包括：

根据预先注册的书写工具的笔迹颜色，从图片中提取出笔迹；或者

根据笔迹颜色与书写背景之间的颜色差异，从图片中提取出笔迹。

6.根据权利要求5所述的方法，其特征在于，根据笔迹颜色与书写背景之间的颜色差异，从图片中提取出笔迹，包括：

根据笔迹颜色与书写平面之间的颜色差异，对图片进行二值化处理，得到二值化图像；

从二值化图像中确定出线条状的图像区域；

提取所述线条状的图像区域作为笔迹。

7.根据权利要求1所述的方法，其特征在于，融合第一笔迹和第二笔迹，包括：

将第一笔迹和第二笔迹进行比对，根据比对结果确定出第一局部书写区域的图片和第二局部书写区域的图片之间的增量笔迹；根据确定出的结果融合增量笔迹；或者，

将第一局部书写区域的图片和第二局部书写区域的图片中当前帧图片之前的所有前序帧图片的增量笔迹进行拼接，获得当前帧的前序拼接笔迹，将当前帧图片的增量笔迹与当前帧图片的前序拼接笔迹进行拼接，获得下一帧图片的前序拼接笔迹，重复前述步骤，直至拼接出全局笔迹。

8.根据权利要求1所述的方法，其特征在于，所述手写信息包括局部笔迹的时序信息和版面信息中的至少一个；

所述根据融合的结果得到手写信息之后，还包括以下至少之一：

将手写信息保存为文档文件、图片文件和视频文件中的至少一种。

9.根据权利要求8所述的方法，其特征在于，所述版面信息包括以下至少一种：

换行信息、删除标记、替换标记、重复特征符号、插入的内容、插入标记、位置调整标记、重点符号、和注释的内容。

10.根据权利要求9所述的方法，其特征在于，在根据重复特征符号，生成具有版面信息的文档文件之前，还包括：

确定首次出现的重复特征符号，将首次出现的重复特征符号所标示的内容，复制到在后的重复特征符号所在位置处。

11.根据权利要求1所述的方法，其特征在于，还包括：

获取在获取第一局部书写区域的图片和第二局部区域的图片期间产生的音频数据；

将所述音频数据和所述手写信息进行对应，包括，将所述音频数据对应于第一笔迹和第二笔迹。

12.根据权利要求11所述的方法，其特征在于，将所述音频数据和所述手写信息进行对应，包括：

将所述音频数据和包含所述第一笔迹和第二笔迹的文件对应保存；和/或

保存所述音频数据和所述第一笔迹和第二笔迹之间的对应关系。

13.根据权利要求12所述的方法，其特征在于，在保存所述音频数据和所述第一笔迹和第二笔迹之间的对应关系的情况下，所述方法还包括：

在包含所述第一笔迹和第二笔迹的文件中，对与所述第一笔迹和第二笔迹对应的内容进行标记，所述标记用于表明存在与所述内容对应的音频数据。

14.根据权利要求11所述的方法，其特征在于，还包括：

根据所述音频数据和所述第一笔迹和第二笔迹的对应关系，生成包含所述音频数据和所述第一笔迹和第二笔迹的视频文件。

15.根据权利要求11所述的方法，其特征在于，将所述音频数据和所述手写信息进行对应，包括：

将在第一局部书写区域的图片的获取时间点及第二局部书写区域的图片的获取时间点之间所接收的音频数据，与根据第一书写区域的图片及第二书写区域的图片确定出的增量笔迹进行对应。

16.根据权利要求1所述的方法，其特征在于，所述获取第一笔迹和第二笔迹之后，还包括：

确定换行信息，根据换行信息进行第一笔迹和第二笔迹的融合。

17.根据权利要求16所述的方法，其特征在于，所述确定换行信息，包括以下至少之一：

当检测到相邻帧笔迹之间没有笔迹重合部分时，确定检测到所述换行信息；

当检测到换行标记时，确定检测到所述换行信息；

当接收到指示换行的音频数据时，确定检测到所述换行信息。

18.根据权利要求16所述的方法，其特征在于，所述根据换行信息进行第一笔迹和第二笔迹的融合，包括：

根据换行信息确定第一笔迹和第二笔迹的拼接起点或拼接终点，进行第一笔迹和第二笔迹的融合。

19.根据权利要求1所述的方法，其特征在于，还包括：

检测是否存在暂停信号；

当检测到所述暂停信号时，暂停提取笔迹和笔迹融合，并对全局区域进行监控。

20.根据权利要求19所述的方法，其特征在于，在检测到以下至少一种情形时确定检测到所述暂停信号：

第一局部书写区域的图片和第二局部书写区域的图片之间没有增量笔迹；

用户的视觉焦点离开书写平面；

用户的头部姿势的变化角度超过设定角度；

检测不到书写工具的笔尖的位置；

接收到指示暂停的音频数据

用户的视觉焦点与书写焦点之间的距离超过设定值；

接收到暂停指令。

21.根据权利要求19所述的方法，其特征在于，在检测到所述暂停信号之后，还包括：缓存以下信息：

融合得到的手写信息、和拍摄得到的书写平面的图片。

22.根据权利要求21所述的方法，其特征在于，在所述检测到所述暂停信号之后，还包括：

在所述全局区域检测是否存在恢复信号，当检测到所述恢复信号时，恢复提取笔迹；

根据缓存的信息继续进行笔迹的融合。

23.根据权利要求22所述的方法，其特征在于，在检测到以下至少一种情形时确定检测到所述恢复信号：

当前拍摄得到的所述全局区域的图片与缓存的书写平面的图片匹配；

所述用户的视觉焦点回到书写平面；

书写工具在书写平面上产生新的笔迹信息；

接收到指示恢复的音频数据。

24.根据权利要求1所述的方法，其特征在于，还包括：

检测是否存在结束信号；

当检测到所述结束信号时，结束对所述用户的手写信息的识别。

25.根据权利要求24所述的方法，其特征在于，结束对所述用户的手写信息的识别，包括：

结束笔迹的获取、笔迹的融合以及手写信息的提供。

26.根据权利要求24所述的方法，其特征在于，在检测到以下至少一种情形时确定检测到所述结束信号：

所述用户的视觉焦点离开书写平面超过设定时间段；

设定时间段内未检测出新的笔迹信息；

接收到结束指令；

接收到指示结束的音频数据。

27.根据权利要求1-26任一所述的方法，其特征在于，所述融合第一笔迹和第二笔迹前，还包括：

对所述第一笔迹和第二笔迹进行增强处理。

28.根据权利要求27所述的方法，其特征在于，在下述至少一种情形下，对笔迹进行增强处理：

拍摄时光线亮度或清晰度不符合预设的要求；

获取的第一笔迹或第二笔迹的笔迹宽度小于设定值；

拍摄的图片中笔迹颜色与背景颜色的色差小于设定值。

29.根据权利要求28所述的方法，其特征在于，所述增强处理包括下述至少一种处理：

根据拍摄时光线亮度或清晰度，调整摄像头的光圈或对焦；

根据拍摄的图片中笔迹宽度，调整所述摄像头的放大倍数；

对拍摄的图片进行倾斜、和/或旋转校正；

对拍摄的图片进行亮度、和/或对比度校正；

对提取的笔迹进行平滑处理。

30.根据权利要求27所述的方法，其特征在于，所述增强处理包括：

将第一笔迹和第二笔迹中置信度评估值低于阈值的笔划去除。

31.根据权利要求30所述的方法，其特征在于，笔划的置信度评估值是根据如下至少一种参数确定的：

所述笔划的长度；

所述笔划的宽度；

所述笔划的曲率；

所述笔划的颜色；

所述笔划与其前后笔划的相对位置关系、或连贯性；

所述笔划与所述笔尖的运动轨迹的匹配度。

32.一种手写信息的生成装置，其特征在于，包括：

拍摄模块，用于顺序地获取第一局部书写区域的图片和第二局部书写区域的图片；其中，第一局部书写区域位于第一书写焦点的预设范围内，第二局部书写区域位于第二书写焦点的预设范围内；

获取模块，用于从第一局部书写区域的图片中获取第一笔迹，从第二局部书写区域的图片中获取第二笔迹；

拼接模块，用于融合获取的第一笔迹和第二笔迹；

识别模块，用于根据融合结果得到手写信息；

其中，第一书写焦点和第二书写焦点是通过以下方式确定的：

跟踪书写工具的笔尖，确定书写工具的笔尖位置；根据确定的书写工具的笔尖位置，确定第一书写焦点和第二书写焦点；

所述书写工具的笔尖位置是通过以下方式确定的：

获取用户书写工具的笔尖的形状信息；从第一局部书写区域的图片和第二局部书写区域的图片中的至少一个检测出所述书写工具的笔尖；根据所述书写工具的笔尖的检测结果，确定所述书写工具的笔尖位置。

33.根据权利要求32所述的装置，其特征在于，

所述书写焦点是根据视觉焦点确定的。

34.根据权利要求32所述的装置，其特征在于，所述获取模块用于根据笔迹颜色从图片中提取出笔迹。

35.根据权利要求34所述的装置，其特征在于，所述获取模块用于通过以下方式实现根据笔迹颜色从图片中提取出笔迹：

根据预先注册的书写工具的笔迹颜色，从图片中提取出笔迹；或者

根据笔迹颜色与书写背景之间的颜色差异，从图片中提取出笔迹。

36.根据权利要求35所述的装置，其特征在于，所述获取模块用于通过以下方式实现根据笔迹颜色与书写背景之间的颜色差异，从图片中提取出笔迹：

根据笔迹颜色与书写平面之间的颜色差异，对图片进行二值化处理，得到二值化图像；

从所述二值化图像中确定出线条状的图像区域；

提取所述线条状的图像区域作为笔迹。

37.根据权利要求32所述的装置，其特征在于，所述拼接模块用于：

将第一笔迹和第二笔迹进行比对，根据比对结果确定出第一局部书写区域的图片和第二局部书写区域的图片之间的增量笔迹；根据确定出的结果融合增量笔迹；或者，

将第一局部书写区域的图片和第二局部书写区域的图片中当前帧图片之前的所有前序帧图片的增量笔迹进行拼接，获得当前帧的前序拼接笔迹，将当前帧图片的增量笔迹与当前帧图片的前序拼接笔迹进行拼接，获得下一帧图片的前序拼接笔迹，重复前述步骤，直至拼接出全局笔迹。

38.根据权利要求32所述的装置，其特征在于，所述手写信息包括局部笔迹的时序信息和版面信息中的至少一个；

所述装置还包括生成模块；

所述生成模块，用于将手写信息保存为文档文件、图片文件和视频文件中的至少一种。

39.根据权利要求38所述的装置，其特征在于，所述版面信息包括以下至少一种：

换行信息、删除标记、替换标记、重复特征符号、插入的内容、插入标记、位置调整标记、重点符号、和注释的内容。

40.根据权利要求39所述的装置，其特征在于，所述生成模块还用于在生成具有版面信息的文档文件之前，确定首次出现的重复特征符号，将首次出现的重复特征符号所标示的内容，复制到在后的重复特征符号所在位置处。

41.根据权利要求32所述的装置，其特征在于，所述装置还包括接收模块与对应模块；

所述接收模块，用于获取在获取第一局部书写区域的图片和第二局部区域的图片期间产生的音频数据；

所述对应模块，用于生成手写信息以使得所述音频数据和所述第一笔迹和第二笔迹相对应。

42.根据权利要求41所述的装置，其特征在于，所述对应模块用于：

将所述音频数据和包含所述第一笔迹和第二笔迹的文件对应保存；和/或

保存所述音频数据和所述第一笔迹和第二笔迹之间的对应关系。

43.根据权利要求42所述的装置，其特征在于，在保存所述音频数据和所述第一笔迹和第二笔迹之间的对应关系时，所述对应模块还用于：

在包含所述第一笔迹和第二笔迹的文件中，对与所述第一笔迹和第二笔迹对应的内容进行标记，所述标记用于表明存在与所述内容对应的音频数据。

44.根据权利要求41所述的装置，其特征在于，所述对应模块还用于在将所述音频数据和所述第一笔迹和第二笔迹进行对应之后，根据所述音频数据和所述第一笔迹和第二笔迹的对应关系，生成包含所述音频数据和所述第一笔迹和第二笔迹的视频文件。

45.根据权利要求41所述的装置，其特征在于，所述对应模块用于将在第一局部书写区域的图片的获取时间点及第二局部书写区域的图片的获取时间点之间所接收的音频数据，与根据第一书写区域的图片及第二书写区域的图片确定出的增量笔迹进行对应。

46.根据权利要求32所述的装置，其特征在于，所述装置还包括换行信息确定模块；

所述换行信息确定模块，用于确定换行信息；

所述拼接模块，用于根据换行信息进行第一笔迹和第二笔迹的融合。

47.根据权利要求46所述的装置，其特征在于，所述换行信息确定模块用于：

当检测到相邻帧笔迹之间没有笔迹重合部分时，确定检测到所述换行信息；

当检测到换行标记时，确定检测到所述换行信息；

当接收到指示换行的音频数据时，确定检测到所述换行信息。

48.根据权利要求46所述的装置，其特征在于，所述拼接模块用于通过以下方式实现根据换行信息进行第一笔迹和第二笔迹的融合：

根据换行信息确定第一笔迹和第二笔迹的拼接起点或拼接终点，进行第一笔迹和第二笔迹的融合。

49.根据权利要求32所述的装置，其特征在于，所述装置还包括暂停信号检测模块；

所述暂停信号检测模块用于检测是否存在暂停信号；以及用于当检测到所述暂停信号时，暂停提取笔迹和笔迹融合，并对全局区域进行监控。

50.根据权利要求49所述的装置，其特征在于，在检测到以下至少一种情形时，暂停信号检测模块确定检测到所述暂停信号：

第一局部书写区域的图片和第二局部书写区域的图片之间没有增量笔迹；

用户的视觉焦点离开书写平面；

用户的头部姿势的变化角度超过设定角度；

检测不到书写工具的笔尖的位置；

接收到指示暂停的音频数据；

用户的视觉焦点与书写焦点之间的距离超过设定值；

接收到暂停指令。

51.根据权利要求49所述的装置，其特征在于，所述装置还包括缓存模块；

所述缓存模块，用于在检测到所述暂停信号之后，缓存以下信息：

融合得到的手写信息、和拍摄得到的书写平面的图片。

52.根据权利要求51所述的装置，其特征在于，所述装置还包括恢复信号检测模块；

所述恢复信号检测模块用于在检测到所述暂停信号，在所述全局区域检测是否存在恢复信号；

所述获取模块用于当检测到所述恢复信号时，恢复提取笔迹；

所述拼接模块用于根据缓存的信息继续进行笔迹的融合。

53.根据权利要求52所述的装置，其特征在于，所述恢复信号检测模块用于在检测到以下至少一种情形时确定检测到所述恢复信号：

当前拍摄得到的所述全局区域的图片与缓存的书写平面的图片匹配；

所述用户的视觉焦点回到书写平面；

书写工具在书写平面上产生新的笔迹信息；

接收到指示恢复的音频数据。

54.根据权利要求32所述的装置，其特征在于，所述装置还包括结束信息检测模块；

所述结束信息检测模块用于检测是否存在结束信号；

所述识别模块用于当检测到所述结束信号时，结束对所述用户的手写信息的识别。

55.根据权利要求54所述的装置，其特征在于，在检测到以下至少一种情形时，结束信息检测模块确定检测到所述结束信号：

所述用户的视觉焦点离开书写平面超过设定时间段；

设定时间段内未检测出新的笔迹信息；

接收到结束指令；

接收到指示结束的音频数据。

56.根据权利要求32-55任一所述的装置，其特征在于，所述装置还包括增强处理模块；

所述增强处理模块，用于在融合第一笔迹和第二笔迹前，对所述第一笔迹和第二笔迹进行增强处理。

57.根据权利要求56所述的装置，其特征在于，在下述至少一种情形下，所述增强处理模块对笔迹进行增强处理：

拍摄时光线亮度或清晰度不符合预设的要求；

获取的第一笔迹或第二笔迹的笔迹宽度小于设定值；

拍摄的图片中笔迹颜色与背景颜色的色差小于设定值。

58.根据权利要求57所述的装置，其特征在于，所述增强处理模块通过以下至少一种方式进行增强处理：

根据拍摄时光线亮度或清晰度，调整摄像头的光圈或对焦；

根据拍摄的图片中笔迹宽度，调整摄像头的放大倍数；

对拍摄的图片进行倾斜、和/或旋转校正；

对拍摄的图片进行亮度、和/或对比度校正；

对提取的笔迹进行平滑处理。

59.根据权利要求56所述的装置，其特征在于，所述增强处理模块通过以下至少一种方式进行增强处理：

将第一笔迹和第二笔迹中置信度评估值低于阈值的笔划去除。

60.根据权利要求59所述的装置，其特征在于，笔划的置信度评估值是根据如下至少一种参数计算得到的：

所述笔划的长度；

所述笔划的宽度；

所述笔划的曲率；

所述笔划的颜色；

所述笔划与其前后笔划的相对位置关系、或连贯性；

所述笔划与所述笔尖的运动轨迹的匹配度。

61.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-31任一项所述的手写信息的生成方法。

62.根据权利要求61所述的电子设备，其特征在于，所述电子设备还包括摄像头和用户接口；

所述用户接口被配置为接收用户输入；

所述处理器被配置为采用所述摄像头顺序地获取第一局部书写区域的图片和第二局部书写区域的图片。

63.根据权利要求62所述的电子设备，所述处理器被配置为根据笔迹颜色从图片中提取出笔迹；

所述用户接口还被配置为：从用户接收关于笔迹颜色的信息。

64.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现权利要求1-31任一项所述的手写信息的生成方法。

Images