CN111857332A - 获取笔记信息的方法和装置 - Google Patents

Abstract

本发明提供了一种获取笔记信息的方法和装置，其中，所述方法包括：实时拍摄获取对拍摄对象所做的笔记信息；关联拍摄对象和笔记信息并显示。本发明提供的技术方案满足了用户对书本等拍摄对象做笔记的需求，尤其在不能将书本带走或不能在书本上涂写的情况下，用户也可以方便的对书本等做笔记，大大提高了做笔记的便捷性；而且，用户可以非常方便地使用终端设备对做好的笔记进行查阅，给用户带来了极大方便。

Description

获取笔记信息的方法和装置

本发明为申请号为201510077202.0发明名称为“获取笔记信息的方法和装置”的发明专利申请的分案申请。

技术领域

本发明涉及多媒体技术领域，具体而言，本发明涉及获取笔记信息的方法和装置。

背景技术

随着科技的不断发展，诸如智能手机、平板电脑等移动终端逐渐普及，移动终端的功能也日益丰富，人们可以使用移动终端进行通话、拍照(或摄像)、听音乐、玩游戏、上网浏览等，非常方便。

利用移动终端的拍摄功能，人们可以非常方便地将自己喜欢或需要的对象拍摄下来。例如，存放在图书馆的书本往往不允许阅读者在上面进行涂写，也不能随意带回家，更不能把相关书页撕下来，因此人们在图书馆看书时，可以利用移动终端的拍摄功能将一些重要内容所在的书页拍下来保存到移动终端中，以备后续查阅。相比于用手抄写的方式，使用移动终端对重要内容进行拍摄更为快捷方便，给阅读者带来了便利性。

但是，使用移动终端对这些重要内容进行拍摄，阅读者仅能得到一些相关书页的图片，通过这些图片并不易得知书页中哪些内容是自己曾经想要记录或标记的内容，也就是说仅仅使用移动终端对相关书页进行拍摄，不能满足阅读者对书中的内容做笔记的需求。

再比如，一个特别爱惜书的人有了一本新书，不舍得在新书上涂写任何内容，希望新书保持干干净净的，但又希望对新书中的一些精彩内容做些笔记。此时，新书的拥有者，或者违背自己的意愿在新书上进行涂写，或者放弃对这些精彩内容做笔记。

即便是阅读者可以对阅读的书本进行涂写做笔记，阅读者也需要翻看这些书本才可以查阅做好的笔记信息。在阅读者没有携带相关书本的情况下，查阅做好的笔记信息便成为不太可能的事情。

因此，如何满足人们对书本等做笔记的需求，并且方便用户查阅做好的笔记信息已成为亟待解决的技术问题之一。

发明内容

本发明提供了一种获取笔记信息的方法和装置，以满足人们对书本等做笔记的需求，并方便用户查阅做好的笔记信息。

本发明提供了一种获取笔记信息的方法，包括：

实时拍摄获取对拍摄对象所做的笔记信息；

关联所述拍摄对象和所述笔记信息并显示。

在某些实施方式中，获取对拍摄对象所做的笔记信息，具体包括：通过跟踪在所述拍摄对象上的操作或在显示屏幕上的操作，获取对拍摄对象所做的笔记信息。

在某些实施方式中，在所述拍摄对象上的操作具体包括有痕操作或无痕操作。

在某些实施方式中，若在所述拍摄对象上的操作为有痕操作，则获取对拍摄对象所做的笔记信息，具体包括：跟踪书写工具的笔头位置，检测笔头在所述拍摄对象上的操作，得到对拍摄对象所做的笔记信息；或根据当前帧图像的增量信息，确定对拍摄对象所做的笔记信息。

在某些实施方式中，根据当前帧图像的增量信息，确定对拍摄对象所做的笔记信息，具体包括：将当前帧图像与上一帧图像进行比对，确定出当前帧图像相对于上一帧图像的增量信息，将各帧图像的增量信息进行拼接，得到对拍摄对象所做的笔记信息；或将当前帧图像与初始帧图像进行比对，将得到的当前帧图像相对于初始帧图像的增量信息确认为对拍摄对象所做的笔记信息。

在某些实施方式中，若在所述拍摄对象上的操作为无痕操作，则获取对拍摄对象所做的笔记信息，具体包括：跟踪书写工具的笔头位置，检测笔头在所述拍摄对象上的操作，得到对拍摄对象所做的笔记信息。

在某些实施方式中，所述书写工具的笔头位置是通过如下方法确定的：根据预先注册的书写工具的形状，从实时拍摄的图像中识别出所述书写工具的笔头，根据识别出的书写工具的笔头，确定出所述书写工具的笔头位置；或

将实时拍摄的图像与不包含书写工具的基准图像进行比对，识别出所述书写工具的笔头，根据识别出的书写工具的笔头，确定出所述书写工具的笔头位置。

在某些实施方式中，获取对拍摄对象所做的笔记信息，具体包括：确定笔记信息在拍摄对象中的位置；确定对拍摄对象所做的笔记信息的笔记内容；根据笔记信息在拍摄对象中的位置以及笔记信息的笔记内容，确定对拍摄对象所做的笔记信息。

在某些实施方式中，确定笔记信息在拍摄对象中的位置，具体包括：检测在所述拍摄对象或显示屏幕上做的笔记位置选择操作，根据所述笔记位置选择操作，确定笔记信息在拍摄对象中的位置；或根据对输入的语音进行语音识别后输出的信息，确定笔记信息在拍摄对象中的位置。

在某些实施方式中，确定对拍摄对象所做的笔记信息的笔记内容，具体包括：确定对拍摄对象所做的笔记信息的笔记类型；根据所述笔记类型，确定对拍摄对象所做的笔记信息的笔记内容。

在某些实施方式中，通过下述方式中的至少一种确定对拍摄对象所做的笔记信息的笔记类型：用户输入的语音、按键、手势、增强现实的人机交互界面、外部控制器。

在某些实施方式中，所述外部控制器为手写笔。

在某些实施方式中，关联所述拍摄对象和所述笔记信息，具体包括：确定所述笔记信息在拍摄对象中的位置；根据所述笔记信息在拍摄对象中的位置，关联所述拍摄对象和所述笔记信息。

在某些实施方式中，确定所述笔记信息在拍摄对象中的位置，具体包括：对实时拍摄的拍摄对象的图像进行字符识别；根据字符识别结果，确定笔记信息与拍摄对象的内容之间的相对位置，并将所述相对位置确认为所述笔记信息在拍摄对象中的位置。

在某些实施方式中，确定所述笔记信息在拍摄对象中的位置，具体包括：获取实时拍摄的拍摄对象的全局图像，并对全局图像进行字符识别；对当前实时拍摄的拍摄对象的局部图像进行字符识别；根据对局部图像和全局图像的字符识别结果，确定所述局部图像在全局图像中的位置以及笔记信息与所述局部图像的内容之间的相对位置；根据所述局部图像在全局图像中的位置以及笔记信息与所述局部图像的内容之间的相对位置，确定所述笔记信息与所述全局图像的内容之间的相对位置，并将笔记信息与全局图像的内容之间的相对位置确认为笔记信息在拍摄对象中的位置。

在某些实施方式中，还包括：若检测到抖动操作，则对所述笔记信息进行纠偏处理。

在某些实施方式中，所述抖动操作包含下述操作中的至少一种：拍摄对象的抖动操作、终端设备的抖动操作、书写工具的抖动操作。

在某些实施方式中，对所述笔记信息进行纠偏处理，具体包括：根据抖动操作前所述笔记信息在所述拍摄对象中的位置、抖动方向和抖动距离，确定抖动操作后所述笔记信息在所述拍摄对象中的位置；根据抖动操作后所述笔记信息在所述拍摄对象中的位置，对所述笔记信息进行纠偏处理。

在某些实施方式中，所述笔记信息包括：标记符号和/或编辑信息。

在某些实施方式中，所述标记符号具体包括下述符号中的至少一种：底色，下划线，点划线，波浪线，矩形框，着重符，括号，三角符，五角星，星号，井号。

在某些实施方式中，所述编辑信息包括下述信息中的至少一种：插入的内容，插入符，删除符，位置调整符，重点符号，注释的内容。

在某些实施方式中，还包括：接收到内容调整指令后，根据所述笔记信息，对拍摄对象的内容进行调整，并显示调整后的内容。

在某些实施方式中，通过下述方式中的至少一种，对拍摄对象的内容进行调整：在拍摄对象的内容中，将删除符涉及的内容删除；将插入的内容插入到所述插入符所指示的位置处；在拍摄对象的内容中，对位置调整符所涉及的内容进行位置调整；在拍摄对象的内容中，将重点符号所涉及的内容进行突出显示。

在某些实施方式中，还包括以下至少一种处理：接收到检索指令时，优先在指定信息中进行检索；接收到检索指令时，根据指定信息确定检索词，并根据所述检索词执行检索操作；接收到检索指令后，在检索结果中优先显示与指定信息相关的检索结果；接收到突出显示指令时，突出显示指定信息；接收到缩放指令后，对指定信息进行缩放显示。

在某些实施方式中，通过以下至少一种方式突出显示指定信息：加粗字体、放大字体、高亮显示、加底色、隐藏指定信息之外的其他信息。

在某些实施方式中，所述指定信息包括以下至少一种信息：笔记信息；拍摄对象的内容中，笔记信息所涉及的内容；笔记信息或拍摄对象的内容中，指定区域的内容或指定类型的内容。

在某些实施方式中，通过下述方式确定指定区域：检测在拍摄对象的内容中选择的局部区域；根据所述拍摄对象对应的版面信息，对检测的局部区域进行调整。

在某些实施方式中，还包括：若所述拍摄对象为三维模型展示页面，则调用并显示与该三维模型展示页面相应的三维模型图。

在某些实施方式中，还包括：根据实时拍摄的拍摄角度，实时调整所述三维模型图的显示视角。

在某些实施方式中，还包括：将所述笔记信息与以下至少一种内容关联保存：实时拍摄得到的拍摄对象的图像；实时拍摄得到的图像的字符识别结果；笔记信息与拍摄对象的内容之间的相对位置。

本发明还提供了一种获取笔记信息的装置，包括：

笔记获取单元，用于实时拍摄获取对拍摄对象所做的笔记信息；

笔记关联显示单元，用于关联所述拍摄对象和所述笔记信息并显示。

本发明提供的获取笔记信息的方法和装置中，终端设备对拍摄对象进行实时拍摄时获取用户对拍摄对象所做的笔记信息，并将笔记信息和拍摄对象进行关联显示，满足了用户对书本等拍摄对象做笔记的需求，尤其在不能将书本带走或不能在书本上涂写的情况下，用户也可以方便的对书本等做笔记，大大提高了做笔记的便捷性；而且，用户可以非常方便地使用终端设备对做好的笔记进行查阅，给用户带来了极大方便。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例一中，获取笔记信息的方法流程示意图；

图2a为本发明实施例一中，实时笔记触发指令为按键的示意图；

图2b为本发明实施例一中，实时笔记触发指令来自外部控制器的示意图；

图3a为本发明实施例一中，预先注册的铅笔的形状示意图；

图3b为本发明实施例一中，预先注册的手写笔的形状示意图；

图4a和图4b为本发明实施例一中，拍摄对象的图像中，书写工具的笔头位置示意图；

图5a为本发明实施例一中，从第t帧图像中得到的笔记信息示意图；

图5b为本发明实施例一中，第t+1帧图像相对于第t帧图像的增量信息示意图；

图5c为本发明实施例一中，第t+1帧图像的笔记信息示意图；

图5d和图5e为本发明实施例一中，将各帧图像的增量信息进行拼接得到笔记信息的示意图；

图6为本发明实施例一中，用户在拍摄对象上做笔记的示意图；

图7为本发明实施例二中，获取笔记信息的方法流程示意图；

图8为本发明实施例二中，用户在显示屏幕上做笔记的示意图；

图9为本发明实施例三中，获取笔记信息的方法流程示意图；

图10a和图10c为本发明实施例三中，用户选取的局部区域的示意图；

图10b和图10d为本发明实施例三中，根据版面信息对局部区域进行调整后的区域示意图；

图10e和图10g为本发明实施例三中，用户选取的局部区域的示意图；

图10f和图10h为本发明实施例三中，调整后的局部区域的示意图；

图11a和图11f为本发明实施例三中，用户在显示屏幕上选择需要做笔记的局部区域的示意图；

图11b和图11g为本发明实施例三中，用户选择添加语音笔记的示意图；

图11c和图11h为本发明实施例三中，通过麦克风等音频数据采集设备采集用户输入的语音的示意图；

图11d和图11i为本发明实施例三中，显示语音笔记播放标识符的示意图；

图11e和图11j为本发明实施例三中，用户触发语音笔记播放标识符后，终端设备播放语音笔记的示意图；

图12a和图12d为本发明实施例四中，实时拍摄得到的拍摄对象的图像示意图；

图12b和图12e为本发明实施例四中，对图像进行版面分析的示意图；

图12c和图12f为本发明实施例四中，对图像进行字符切分的示意图；

图13a为本发明实施例四中，用户选择的需要做笔记的局部区域示意图；

图13b为本发明实施例四中，用户通过箭头将手写内容与需要做笔记的局部区域进行关联的示意图；

图13c为本发明实施例四中，在局部区域周围显示插入的手写内容的示意图；

图13d为本发明实施例四中，在局部区域周围显示由手写字符转换得到的印刷体字符的示意图；

图14为本发明实施例四中，采用动态拍摄的方法获取笔记信息的示意图；

图15a为本发明实施例四中，拍摄对象发生抖动的示意图；

图15b为本发明实施例四中，终端设备发生抖动的示意图；

图15c为本发明实施例四中，书写工具发生抖动的示意图；

图15d为本发明实施例四中，用户在拍摄对象上做笔记时，书写工具的抖动操作的示意图；

图15e为本发明实施例四中，对笔记信息进行纠偏处理后的示意图；

图15f为本发明实施例四中，用户在拍摄对象上做笔记时，拍摄对象的抖动操作的示意图；

图15g为本发明实施例四中，对笔记信息进行纠偏处理后的示意图；

图15h和图15j为本发明实施例四中，用户在拍摄对象上做笔记时，终端设备的抖动操作的示意图；

图15i和图15k为本发明实施例四中，对笔记信息进行纠偏处理后的示意图；

图15l和图15n为本发明实施例四中，用户在显示屏幕上做笔记时，终端设备的抖动操作的示意图；

图15m和图15o为本发明实施例四中，对笔记信息进行纠偏处理后的示意图；

图16a和图16c为本发明实施例六中，未进行自适应排版，直接对显示图像进行显示的示意图；

图16b和图16d为本发明实施例六中，对显示图像中的内容进行自适应排版后的示意图；

图16e和图16g为本发明实施例六中，对显示图像进行自适应排版前，用户所做的笔记信息的示意图；

图16f和图16h为本发明实施例六中，对显示图像和笔记信息进行自适应排版的示意图；

图16i为本发明实施例六中，将手写字符转换为印刷体字符后，对显示图像和笔记信息进行自适应排版的示意图；

图17a和图17d为本发明实施例六中，缩放操作前用户所做的笔记信息示意图；

图17c为本发明实施例六中，对图17a中的波浪线所涉及的内容进行缩放操作的示意图；

图17b和图17e为本发明实施例六中，对星号标记所涉及的内容进行缩放操作的示意图；

图17f～图17i为本发明实施例六中，终端设备针对指定区域进行缩放的示意图；

图17j为本发明实施例六中，用户选取的需要进行缩放操作的指定区域的示意图；

图17k为本发明实施例六中，对指定内容进行缩放后的边缘框的示意图；

图17l为本发明实施例六中，调整后的边缘框的示意图；

图18a和图18c为本发明实施例六中，用户所做的笔记信息的示意图；

图18b和图18d为本发明实施例六中，擦除了笔记信息所涉及的内容的示意图；

图19a和图19b为本发明实施例六中，横竖屏转换时进行重排版显示的示意图；

图19c和图19e为本发明实施例六中，横竖屏转换前用户所做的笔记信息的示意图；

图19d和图19f为本发明实施例六中，横竖屏转换后，对笔记信息进行自适应排版的示意图；

图20a和图20c为本发明实施例六中，用户所做的编辑信息的示意图；

图20b和图20d为本发明实施例六中，根据编辑信息调整后的内容示意图；

图21a和图21b为本发明实施例六中，仅显示文字以及仅显示插图的示意图；

图21c为本发明实施例六中，隐藏注释的内容的示意图；

图22a和22e为本发明实施例六中，用户选择需要调整笔记类型的笔记信息的示意图；

图22b和图22f为本发明实施例六中，终端设备在UI中向用户提供更改笔记类型的虚拟按键的示意图；

图22c和图22g为本发明实施例六中，终端设备在UI中将事先统计的笔记类型对应的虚拟按键提供给用户的示意图；

图22d和图22h为本发明实施例六中，终端设备根据用户的选择对笔记信息的笔记类型进行调整的示意图；

图22i为本发明实施例六中，在UI中提供编辑笔记的虚拟按键的示意图；

图22j为本发明实施例六中，在UI中提供扩大笔记范围和缩小笔记范围的虚拟按键的示意图；

图22k和图22m为本发明实施例六中，用户点击了扩大笔记范围及缩小笔记范围的虚拟按键的示意图；

图22l和图22n为本发明实施例六中，用户通过在显示屏幕上向下或向上滑动来扩大或缩小笔记范围的示意图；

图22o为本发明实施例六中，在UI中提供转换字符格式的虚拟按键的示意图；

图22p为本发明实施例六中，将手写字符转换为印刷体字符的示意图；

图23a和图23c为本发明实施例六中，检索词为粗体的字符时的检索结果的示意图；

图23b和图23d为本发明实施例六中，检索结果的示意图；

图24为本发明实施例七中，获取笔记信息的装置结构示意图；

图25为本发明实施例七中，终端设备的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

本技术领域技术人员可以理解，这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，进行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(Personal Communications Service，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；PDA(PersonalDigitalAssistant_，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global Positioning System，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(Mobile Internet Device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。

本发明的发明人注意到，手机等带有摄像头的终端设备是人们日常生活中随身携带的物件，因此发明人考虑到用户可以使用终端设备的摄像头，实时拍摄获取用户对书本等拍摄对象所做的笔记信息，然后终端设备将书本等拍摄对象和获取的笔记信息进行关联后在终端设备的显示屏幕中进行显示。这样就满足了用户对书本等拍摄对象做笔记的需求，尤其在不能将书本带走或不能在书本上涂写的情况下，用户也可以方便的对书本等做笔记，大大提高了做笔记的便捷性；而且，用户可以非常方便地使用终端设备对做好的笔记进行查阅，给用户带来了极大方便。

下面结合附图详细说明本发明的技术方案。

本发明实施例中，笔记信息具体可以包括：标记符号和/或编辑信息。

其中，标记符号具体可以包括下述符号中的至少一种：底色，下划线，点划线，波浪线，矩形框，着重符，括号，三角符，五角星，星号，井号。

编辑信息具体可以包括下述信息中的至少一种：插入的内容，插入符，删除符，位置调整符，重点符号，注释的内容。

本发明实施例提出，用户可以通过下述中的至少一种操作对书本等拍摄对象做笔记：在拍摄对象上的操作、在显示屏幕上的操作、输入语音。终端设备通过用户的上述操作能够获取用户对拍摄对象所做的笔记信息，并关联显示笔记信息和拍摄对象。

此外，用户还可以先在拍摄对象上做笔记，当用户实时拍摄该拍摄对象时，终端设备识别出用户所做的笔记，得到笔记信息。

实施例一

本发明实施例一提出，终端设备可以通过实时跟踪用户通过书写工具的操作来获取笔记信息，其中，用户通过书写工具的操作包含在所述拍摄对象上所做的操作以及在显示屏幕上所做的操作。本发明实施例一详细介绍通过实时跟踪用户在拍摄对象上的操作来获取笔记信息的方法流程，参见图1，具体包括如下步骤S101至S103：

S101：终端设备实时拍摄拍摄对象。

本发明实施例中，终端设备可包括手机、平板电脑、可穿戴式设备(如智能眼镜)等带有摄像头的移动终端设备，还可包括连接有摄像头的非移动终端设备。所述拍摄对象指的是具有字符信息或图形信息的物体，具体可以是书本、报刊、杂志等，也可以是名片、网页页面等。

终端设备可以在接收到实时笔记触发指令后，开启摄像功能或拍照功能(也可以称为实时预览功能)，本发明实施例中，将终端设备的拍照功能和摄像功能统称为拍摄，终端设备通过摄像头等摄像工具对需要做笔记的拍摄对象进行实时拍摄以获取用户所做的笔记信息。

其中，实时笔记触发指令可以通过多种途径触发产生，上述途径包括以下至少之一：语音、按键、手势、增强现实的人机交互界面和外部控制器(比如，与终端设备相关联的手写笔等具有遥控功能的设备)。

例如，实时笔记触发指令是语音时，如果用户发出声控指令“开始进行实时笔记”，终端设备接收该声控指令，并对该声控指令进行语音识别，从而确定出该声控指令是实时笔记触发指令，因此终端设备开始进行实时拍摄。在终端设备中可以存储声控指令和实时笔记触发指令的对应关系，例如，采用对应表的形式，将以下声控指令都与实时笔记触发指令相对应：“开始实时笔记”、“实时笔记开始”等中英文指令或其他语言的指令。当然，声控指令不限于上述例子，也可以是用户预先设置的其他信息，只要用户和终端设备都知道该信息是对应于实时笔记触发指令的声控指令即可。

当实时笔记触发指令是按键时，该按键既可以是终端设备上的硬件按键，例如：home键、声音调节键、电源键、节目调节键、新增的按键，参照图2a，此时终端设备为智能眼镜。该按键也可以是终端设备UI(User Interface，用户界面)上的虚拟按键，例如，摄像功能启动按键、实时笔记应用启动按键等。当用户以预定方式按下该按键时，终端设备确定接收到实时笔记触发指令。其中，预定方式可以是：短按、长按、短按预定次数、短按和长按交替进行等。

当实时笔记触发指令是手势时，该手势可以是单手完成的手势，也可以是双手完成的手势，手势的具体内容可以是：挥手、手划圆、手划方块、手划三角形等。终端设备可以采用现有的手势探测设备检测和识别手势的具体内容。

当实时笔记触发指令来自外部控制器时，例如，对拍摄对象进行实时拍摄的终端设备连接有手写笔时，如果终端设备接收到手写笔发送的指示实时拍摄的指令，则终端设备开始对拍摄对象进行实时拍摄。其中，该连接可以是物理连接(如图2b所示，此时终端设备为智能眼镜)，也可以是通过以下至少一种网络的无线连接：蓝牙、超宽带、ZigBee、Wi-Fi(wireless fidelity，无线保真)、宏网络等，该指令可以是红外指令，也可以是外部控制器发送的消息。

在本发明实施例中，也可以不使用实时笔记触发指令，终端设备可以一直处于实时拍摄拍摄对象以获取笔记信息的状态。

由于终端设备在实时拍摄时，可能需要实时分析拍摄对象的图像以得到用户对拍摄对象所做的笔记信息，因此终端设备可以缓存拍摄得到的拍摄对象的图像。

当终端设备启动的是摄像功能时，终端设备可以缓存拍摄得到的拍摄对象的视频中的每帧图像，并针对每帧图像实时进行分析以得到用户所做的笔记信息。

当终端设备启动的是实时预览功能时，此时终端设备的摄像头为实时预览状态，本发明实施例一提出，终端设备的摄像头在实时预览时，终端设备也可以缓存摄像头采集的拍摄对象的图像，其中，终端设备可以按照设定的缓存时间间隔缓存通过摄像头实时采集的拍摄对象的图像，该缓存时间间隔可以和摄像头进行摄像时缓存图像的时间间隔一致，也可以由用户进行设置，还可以由终端设备根据自身的处理资源进行设置，例如，终端设备当前冗余的处理资源比较多时，可以设置较小的时间间隔，若终端设备当前冗余的处理资源比较少时，可以设置较大的时间间隔。

S102：终端设备通过跟踪用户在拍摄对象上的操作，获取用户对拍摄对象所做的笔记信息。

用户在拍摄对象上的操作具体可以是无痕操作或有痕操作。无痕操作具体指不会在拍摄对象上留下如笔迹般的痕迹的操作，有痕操作具体指会在拍摄对象上留下如笔迹般的痕迹的操作。

本发明实施例一中，用户可以通过手指或手写笔等无痕迹的书写工具在拍摄对象上做无痕操作，例如，用户使用手指或手写笔在书本中的一行文字下方做出划波浪线的滑动操作，这些滑动操作并不会在拍摄对象上留下如笔迹般的痕迹，因此为无痕操作；此外，用户在使用有痕迹的书写工具(例如铅笔或圆珠笔)时也可以做出无痕操作，具体的，用户可以在对拍摄对象做笔记时使有痕迹的书写工具不接触拍摄对象，书写工具处于悬浮状态，那么此时用户虽然使用了有痕迹的书写工具对拍摄对象做笔记，但是并未在拍摄对象上留下如笔迹般的痕迹，因此为无痕操作。

用户可以通过有痕迹的书写工具(例如铅笔或圆珠笔)在拍摄对象上做有痕操作，例如，用户使用铅笔在书本中的一行文字下方做出划波浪线的滑动操作，这些滑动操会在书本上留下痕迹，因此为有痕操作；此外，用户在使用无痕迹的书写工具(例如手指或手写笔)时也可以做出有痕操作，具体的，当拍摄对象的材质为只要接触就会产生痕迹的材质时，用户可以在对拍摄对象做笔记时使无痕迹的书写工具接触拍摄对象，那么此时用户虽然使用了无痕迹的书写工具对拍摄对象做笔记，但是会在拍摄对象上留相应的痕迹，因此为有痕操作。

其中，书写工具是可以在书写平面上书写的工具，有痕迹的书写工具包含铅笔、钢笔、圆珠笔等，无痕迹的书写工具包含手指、手写笔等；笔迹是指书写工具在书写平面上书写时产生的具有一定长度、一定宽度、一定颜色的线条或线条的集合，该线条可以是直线段，也可以是曲线段；书写平面是可供书写工具书写的表面，例如纸张等，本发明实施例中，书写平面为拍摄对象的表面或显示屏幕的表面。

本发明实施例一中，终端设备对拍摄对象进行实时拍摄时，缓存当前拍摄得到的拍摄对象的图像，并对缓存的图像进行分析，终端设备通过连续对实时拍摄得到的图像进行分析，就可以获取到用户对拍摄对象所做的笔记信息。

1、当用户在拍摄对象上的操作为无痕操作时，终端设备可以跟踪书写工具的笔头位置，检测笔头在拍摄对象上的操作从而得到笔记信息。其中，书写工具的笔头指的是书写工具用于标示操作的尖部，例如手指的指尖、铅笔的笔尖等。

其中，终端设备可以但不限于通过下述三种方式确定书写工具的笔头位置，下面分别进行介绍。

第一种确定笔头位置的方式，根据预先注册的书写工具的形状，从实时拍摄的图像中识别出书写工具的笔头，根据识别出的书写工具的笔头，确定出书写工具的笔头位置。如图3a所示，为预先注册的铅笔的形状，其中，方框中的区域为铅笔的笔头，如图3b所示，为预先注册的手写笔的形状，其中，方框中的区域为手写笔的笔头。

第二种确定笔头位置的方式，终端设备进行实时拍摄时，可以将拍摄得到的不包含书写工具的拍摄对象的图像作为基准图像；之后，用户使用书写工具在拍摄对象上进行笔记相关操作，终端设备可以将当前实时拍摄的图像与不包含书写工具的基准图像进行比对，从而在当前实时拍摄的图像中识别出书写工具的笔头，然后根据识别出的书写工具的笔头，确定出书写工具的笔头位置。

在本实施方式中，用户可以在进行实时笔记时，先使用终端设备拍摄需要进行笔记的拍摄对象，终端设备就能够得到不包含书写工具的基准图像，然后用户使用书写工具在拍摄对象上做笔记，终端设备通过将实时拍摄的图像和基准图像进行比对，就能够从拍摄得到的每帧图像中检测出书写工具的笔头位置。

其中，基准图像中不包含书写工具的图像，若实时拍摄时用户使用了书写工具在拍摄对象上做笔记，那么实时拍摄得到的图像中就包含了书写工具的图像，此时实时拍摄的图像相对于基准图像所增加的插图中包含用户使用书写工具的图像，终端设备对上述所增加的插图进行识别，可以得到书写工具的笔头，进而确定出书写工具的笔头位置。

在具体实现时，终端设备可以通过手的握笔姿势进行笔头的辅助识别。例如，实时拍摄的图像相对于基准图像所增加的插图中，包含人手握笔的图像，终端设备在上述插图中识别出人手握笔的方向，沿此方向找到笔尖状物品，该笔尖状物品即为书写工具的笔头；或者，事先通过统计得到人们在书写时习惯的握笔位置，即：手指夹笔的位置距书写工具的笔头的距离，终端设备在实时拍摄的图像相对于基准图像所增加的插图中，识别出手指夹笔的位置，然后根据事先统计的手指夹笔的位置距书写工具的笔头的距离，就能够得到书写工具的笔头位置，这种方式能够缩小检测笔头的区域范围，便于成功识别出书写工具的笔头。

第三种确定笔头位置的方式，可以使用智能手环或智能手表等可穿戴式设备协助定位笔头位置。例如，检测到用户A的握笔习惯是：智能手环或智能手表等可穿戴式设备在手腕上的位置距离笔尖7厘米，手腕与书写平面指尖的夹角为35度，在书写过程中手腕向右移动，则终端设备能够检测到智能手环或智能手表等可穿戴式设备的位置后，即可确定出笔头在书写平面上的位置。

终端设备通过上述方式能够从实时拍摄得到的拍摄对象的每帧图像中确定出书写工具的笔头位置，如图4a和图4b所示，并通过跟踪书写工具在各帧图像中的笔头位置，检测出笔头在拍摄对象上的操作，从而得到用户对拍摄对象所做的笔记信息。其中，终端设备是通过对拍摄得到的图像进行分析得到的书写工具的笔头位置，因此笔头位置为书写工具的笔头在实时拍摄的拍摄对象的图像中的位置，也可以理解为笔头在终端设备的显示屏幕上显示时的位置，该位置可以为笔头在终端设备的显示屏幕上显示时的像素坐标。

本发明实施例一中，用户使用书写工具在拍摄对象上做笔记时，书写工具的笔头的运动轨迹中，可能只有部分轨迹段或轨迹点与笔头在拍摄对象上的操作对应，例如，用户使用书写工具在拍摄对象的第N行文字下方划了一条波浪线，然后用户将书写工具的笔头移至第M行文字下方，并在第M行文字下方划了一条波浪线，从用户此段的运动轨迹可以看出，笔头在第N行文字下方划波浪线的操作以及在第M行文字下方划波浪线的操作为笔头在拍摄对象上的操作，笔头从第N行文字下方移动至第M行文字下方的操作并非笔头在拍摄对象上的操作，因此在书写工具的笔头的运动轨迹中，只有在第N行文字下方划波浪线的轨迹段和在第M行文字下方划波浪线的轨迹段与笔头在拍摄对象上的操作对应。

由上可见，终端设备在检测笔头在拍摄对象上的操作时，需要从笔头的运动轨迹中识别出笔头在拍摄对象上的操作所对应的轨迹段或轨迹点。对此，本发明实施例一提出，用户使用书写工具在拍摄对象上进行操作时，终端设备可以识别出笔头的起笔位置和落笔位置，然后根据起笔位置和落笔位置，得到笔头在拍摄对象上的操作所对应的轨迹段或轨迹点。其中，终端设备可以在检测到笔头起笔后，将笔头当前的位置作为起笔位置，然后跟踪笔头的位置，其中，终端设备可以分析实时拍摄得到的每帧图像，在每帧图像中确定笔头位置，当检测到笔头落笔后，将笔头当前的位置作为落笔位置，此时认为笔头完成了一次在拍摄对象上的操作，终端设备可以不再跟踪笔头的位置，直至下次检测到笔头起笔。上述起笔位置为笔头在拍摄对象上的操作所对应的轨迹段或轨迹点的起始位置，上述落笔位置为笔头在拍摄对象上的操作所对应的轨迹段或轨迹点的结束位置。

其中，终端设备跟踪笔头的位置时，可以每隔设定时间间隔就记录笔头当前所在位置，或者每当检测到笔头位移了设定阈值时，就记录笔头当前所在位置。由此，终端设备就能够得到起笔位置到落笔位置之间的若干个轨迹点的位置，由起笔位置、落笔位置以及上述若干个轨迹点的位置，就能够得到笔头在拍摄对象上的操作所对应的轨迹段或轨迹点。其中，起笔位置、落笔位置以及若干个轨迹点的位置可以为在显示屏幕上显示时的位置，例如为在显示屏幕上显示时的像素坐标。

进一步的，本发明实施例一提出，终端设备可以通过手势识别的方式来检测笔头的起笔和落笔。具体的，可以预先设定起笔动作以及落笔动作，用户在使用笔头起笔之前，先执行预先设定的起笔动作，终端设备检测到该起笔动作之后，确认笔头起笔，将笔头当前的位置作为起笔位置，然后终端设备开始跟踪笔头的位置，当笔头落笔之后，用户可以执行落笔动作，终端设备检测到该落笔动作后，确认笔头落笔，将笔头在落笔动作之前的位置作为落笔位置。

例如，预先设定的起笔动作为用户在空中划一个圆圈，落笔动作为用户在空中划一个三角形，用户想要在拍摄对象的某行文字下方划一条波浪线，用户在使用笔头起笔之前，先在空中划一个圆圈的形状，终端设备检测到用户在空中划圆圈的动作后，确认笔头起笔，将笔头当前的位置(即用户在空中划圆圈之后，笔头所在的位置)作为起笔位置，终端设备开始跟踪笔头的位置，当用户划完了波浪线之后，可以在空中划一个三角形的形状，终端设备检测到用户在空中划三角形的动作后，确认笔头落笔，将用户在空中划三角形之前，笔头所在的位置作为落笔位置。根据上述起笔位置、落笔位置以及终端设备在跟踪笔头位置时记录的若干个轨迹点的位置，就能够得到笔头此次在拍摄对象上所划的波浪线的位置。

其中，用户可以设置不同的起笔动作和落笔动作，也可以设置相同的起笔动作和落笔动作，此时终端设备可以在用户第(2n+1)次做设定的动作时，确认笔头起笔，当用户第(2n+2)次做设定的动作时，确认笔头落笔，n为0及正整数。

2、当用户在拍摄对象上的操作为有痕操作时，终端设备可以但不限于通过下述两种方式获取用户对拍摄对象所做的笔记信息，具体的：

第一种获取方式，跟踪书写工具的笔头位置，检测笔头在拍摄对象上的操作从而得到笔记信息。其中，书写工具的笔头指的是书写工具用于标示操作的尖部，例如手指的指尖、铅笔的笔尖等。

其中，用户在拍摄对象上做有痕操作时，终端设备通过跟踪书写工具的笔头位置来获取笔记信息的方式，与用户在拍摄对象上做无痕操作时，终端设备通过跟踪书写工具的笔头位置来获取笔记信息的方式一致，这里不再赘述。

第二种获取方式，终端设备还可以通过检测摄像工具拍摄的当前帧图像的增量信息，根据该增量信息确定用户对拍摄对象所做的笔记信息。具体的，终端设备可以通过下述两种方式之一来得到对拍摄对象所做的笔记信息：

(1)将当前帧图像与上一帧图像进行比对，确定出当前帧图像相对于上一帧图像的增量信息，将各帧图像的增量信息进行拼接，得到对拍摄对象所做的笔记信息。

本发明实施例一中，终端设备可以根据笔迹颜色来检测当前帧图像的增量信息。在一种实现方式中，终端设备可以根据预先注册的书写工具的笔迹颜色信息，从当前帧图像中提取出相对于上一帧图像的增量信息。

例如，预先注册的书写工具的笔迹颜色为红色，当前帧图像相对于上一帧图像增了笔迹颜色为红色的内容“好”，终端设备可以将笔迹颜色为红色的内容“好”作为用户所做的笔记信息。

在实际应用中，还可以采用二值化的方式从当前帧图像中提取出增量信息。例如，将当前帧图像中与书写工具的笔迹颜色信息相同的像素点标记为1，其他像素点标记为0，提取当前帧图像的二值化图像中所有标记为1的像素点，并将其作为当前帧图像相对于基准帧图像的增量信息，从而得到用户所做的笔记信息。

在本实施例中，由于增量信息是根据笔迹的颜色信息提取出来的，所以只要用户所做的笔记与拍摄对象的内容在颜色上可区分，用户可以使用传统的书写工具在拍摄对象上进行书写，从而有利于终端设备方便地识别出用户的笔记信息，提高了用户的体验。

本发明实施例一提出，终端设备对每帧图像进行分析时，若得到了当前帧图像相对于上一帧图像的增量信息，则可以将该增量信息与对上一帧图像分析时拼接得到的笔记信息进行拼接，即可得到当前帧图像中的笔记信息，也就是说，针对每帧图像，终端设备均要进行增量信息提取以及笔记拼接的处理，那么终端设备就能够得到实时的笔记信息。如图5a所示，为终端设备对第t帧图像进行分析时得到的笔记信息，如图5b所示，为第t+1帧图像相对于第t帧图像的增量信息，将该增量信息与图5a中的笔记信息进行拼接，即可得到第t+1帧图像的笔记信息，如图5c所示。

此外，终端设备也可以在得到若干帧图像的增量信息后，再对这些帧图像的增量信息进行拼接得到用户当前所做的笔记信息。其中，终端设备可以依照各帧图像的增量信息之间的时序关系，依次连接各帧图像的增量信息，得到用户对拍摄对象所做的笔记信息。

其中，增量信息的时序关系可以通过以下方法获得：对每帧图像进行分析时，记录该图像的时间戳，后续可以根据各帧图像的时间戳来确定各帧图像的增量信息的时序关系。

如图5d和5e所示，每个方框代表一帧图像，用户按照从左到右的顺序进行书写，终端设备按照时间的先后顺序，拍摄得到从左到右的多帧图像，并记录各帧图像的时间戳，例如，记录左边第1帧图像的时间戳为2014年10月31日14:10:04，记录左边第2帧图像的时间戳为2014年10月31日14:10:06，以此类推，得到所有帧图像的时间戳，然后按照各帧图像的时间戳的先后顺序来拼接各帧图像的增量信息。

另外，也可以通过相对信息来表示增量信息的时序关系。例如，针对图5d和5e中的各帧图像，用户按照从左到右的顺序进行书写，终端设备按照时间的先后顺序，拍摄得到从左到右的多帧图像，终端设备可以按照从左到右帧序号增加或减少的方式记录各帧的时序信息，例如，可以记录左边第1帧图像的帧序号为1，左边第2帧图像的帧序号为2，以此类推，得到所有帧图像的帧序号，然后按照各帧图像的帧序号表示的时间关系来拼接各帧图像的增量信息。

(2)将当前帧图像与初始帧图像进行比对，将得到的当前帧图像相对于初始帧图像的增量信息确认为对拍摄对象所做的笔记信息。初始帧图像可以是终端设备对拍摄对象进行实时拍摄得到的第一帧图像。

其中，终端设备可以根据笔迹颜色的信息来检测当前帧图像相对于初始帧图像的增量信息，具体的检测方式与方式(1)中检测增量信息的方法一致，这里不再赘述。

由上述处理过程可知，终端设备通过步骤S102不仅能够获知用户通过书写工具在拍摄对象上做了哪些笔记信息，即笔记信息的内容，终端设备也能够获知用户在拍摄对象的图像上的哪些位置做了笔记信息，即笔记信息在拍摄对象的图像上的绝对位置。例如，拍摄对象为某本书，用户在当前页面的某行文字下方划了一条波浪线，通过步骤S102，终端设备能够获知用户在当前页面做的笔记信息为波浪线，以及该波浪线的宽度、颜色等信息，终端设备还能够获知用户所划的波浪线中的各轨迹点在当前拍摄的图像中的位置。

S103：终端设备关联拍摄对象和获取的笔记信息并显示。

终端设备在实时拍摄时，用户通过书写工具在拍摄对象上做笔记，终端设备需要将实时获取的笔记信息显示在显示屏幕上，同时，终端设备在显示屏幕上也需要显示实时拍摄的拍摄对象的图像，因此终端设备需要将拍摄对象和笔记信息进行关联并显示。

图6示出了用户直接在拍摄对象上做笔记的示意图，可以看出，用户可使用手指等书写工具在书本上做笔记，终端设备在显示屏幕上关联显示拍摄对象的内容以及所做的笔记信息。

实施例二

本发明实施例二详细介绍通过实时跟踪用户在显示屏幕上的操作来获取笔记信息的方法流程，参见图7，具体包括如下步骤S701至S703：

S701：终端设备实时拍摄拍摄对象。

终端设备可以在接收到实时笔记触发指令后，开启摄像头等摄像工具的拍摄功能进行实时拍摄以获取笔记信息。其中，实时笔记触发指令的触发方式与本发明实施例一中的触发方式一致，这里不再赘述。

S702：终端设备通过跟踪用户在显示屏幕上的操作，获取用户对拍摄对象所做的笔记信息。

其中，用户在显示屏幕上的操作具体可以是用户通过手指或手写笔等书写工具所做的操作。例如，终端设备实时拍摄某本书时，终端设备的显示屏幕上实时显示当前所拍摄的图像，用户使用手指或手写笔，在显示屏幕上显示的某行文字下方做出了划波浪线的滑动操作，终端设备能够获取到用户在显示屏幕上所做的上述滑动操作。

具体地，终端设备检测到用户的手指或手写笔等书写工具在显示屏幕上的操作后，根据手指或手写笔的运动轨迹，获取用户对拍摄对象所做的笔记信息。其中，终端设备检测手指或手写笔等书写工具在显示屏幕上的操作的方法与现有技术中的方法一致，这里不再赘述。

其中，用户在显示屏幕上做笔记时，可以选择笔记的颜色、线条宽度等信息，终端设备根据用户选择的信息在显示屏幕上显示笔记信息。此外，也可以根据用户使用书写工具时的力度，确定笔记的线条宽度、笔迹颜色等信息，例如，终端设备如果通过压力传感器检测到用户使用书写工具在显示屏幕上操作时的力度比较大，则确定用户所做的笔记的线条比较宽，且颜色比较深，如果通过压力传感器检测到用户使用书写工具在显示屏幕上操作时的力度比较小，则确定用户所做的笔记的线条比较细，且颜色比较浅。

由上可见，终端设备通过检测用户在显示屏幕上的操作，不仅能够获知用户通过书写工具在显示屏幕上做了哪些笔记信息，即笔记信息的内容，终端设备也能够获知笔记信息在实时拍摄的拍摄对象的图像中的绝对位置，即笔记信息在显示屏幕上显示时的位置，该位置可以是笔记信息在终端设备的显示屏幕上显示时，对应的各轨迹点的像素坐标。

例如，用户使用终端设备对书本进行实时拍摄时，显示屏幕显示实时拍摄的当前页面的内容，用户可以使用手指在显示屏幕显示的某行文字下方划一条波浪线，终端设备实时检测手指在显示屏幕上的运动轨迹，终端设备能够获知用户在当前页面做的笔记信息为波浪线，以及该波浪线的宽度、颜色等信息，终端设备还能够获知用户所划的波浪线中的各轨迹点在当前拍摄的图像中的位置。

S703：终端设备关联拍摄对象和获取的笔记信息并显示。

终端设备在实时拍摄时，用户通过书写工具在显示屏幕上做笔记，终端设备需要将实时获取的笔记信息显示在显示屏幕上，同时，终端设备在显示屏幕上也需要显示实时拍摄的拍摄对象的图像，因此终端设备需要将拍摄对象和笔记信息进行关联并显示。

图8示出了用户在终端设备的显示屏幕上做笔记的示意图。终端设备在实时拍摄拍摄对象时，用户通过手指等书写工具在显示屏幕上做笔记，终端设备在显示屏幕上关联显示拍摄对象的内容以及所做的笔记信息。

实施例三

本发明实施例三提出，终端设备在获取笔记信息时，可以分别确定笔记信息在拍摄对象中的位置以及笔记信息的笔记内容，然后根据笔记信息在拍摄对象中的位置以及笔记内容，就可以得到对拍摄对象所做的笔记信息。参见图9，具体包括如下步骤S901至S904：

S901：终端设备确定笔记信息在拍摄对象中的位置。

终端设备可以但不限于通过下述两种方式来确定笔记信息在拍摄对象中的位置：

第一种确定位置的方式，用户通过书写工具在拍摄对象上或在终端设备的显示屏幕上进行笔记位置选择操作，以选择需要做笔记的位置，该位置可以为位置点或局部区域。

本实施方式中，用户通过书写工具在拍摄对象上的操作可以为有痕操作，也可以为无痕操作。

终端设备可以但不限于通过下述方式中的至少一种来选取局部区域，具体的：

在第一种实现方式中，用户可以通过拖动光标的方式来选取局部区域。例如，用户可以在显示屏幕上执行长按操作，终端设备检测到长按操作后，确定长按操作的光标起始、终止坐标，将确定的光标起始、终止坐标之间的内容作为用户选取的内容。这种区域选取方式与现有的文本选取方式类似，均是通过拖动光标来选取。

在第二种实现方式中，可以通过用户的点击操作来选取位置点或局部区域，例如，用户可以在显示屏幕显示的内容中进行单击操作(即点击显示屏幕一次)，终端设备接收到单击事件后，确定出单击事件的点击坐标点，该坐标点即为选取的位置点，或者用户可以在显示屏幕显示的内容中进行双击操作(即点击显示屏幕两次)，终端设备接收到双击事件后，确定出双击事件的点击坐标所在的字符，将该字符所属句子作为选取的局部区域中的内容，或者，用户在显示屏幕显示的内容中进行三击操作(即点击显示屏幕三次)，终端设备接收到三击事件后，确定出三击事件的点击坐标所在的字符，将该字符所属的段落作为选取的局部区域中的内容。

在第三种实现方式中，用户可以通过拖动区域选择框的边缘位置来选取局部区域。该区域选择框可以为矩形、多边形、圆形等形状。

在第四种实现方式中，可以通过用户的滑动操作来选取局部区域。例如，用户通过书写工具在显示屏幕上划了一个圆圈，终端设备检测到用户的滑动操作后，确定滑动操作所圈选的区域为用户选取的局部区域。

本发明实施例三提出，终端设备可以直接将用户通过上述方式所选的局部区域确认为需要做笔记的局部区域。

此外，终端设备也可以根据对实时拍摄的拍摄对象的图像进行字符识别得到的版面信息，对所选的局部区域进行调整，并将调整后的区域确认为需要做笔记的局部区域。

其中，对图像进行字符识别得到的版面信息包含文字区域的段和行的坐标、段和行的先后顺序、每个字符的坐标、插图区域的坐标和文字环绕方式、背景、页边距、段距、行距、字符间距、对齐方式等信息。对图像进行字符识别的具体过程将在本发明实施例四中进行详细介绍。

具体的，终端设备在检测出用户所选取的局部区域后，根据上述版面信息判断所选取的局部区域是否为完整的句子或段落，若不是，则终端设备对上述所选取的局部区域进行调整，使得调整后的局部区域为完整的句子或段落。

如图10a和图10c所示，为用户选取的局部区域，如图10b和图10d所示，为终端设备根据版面信息分别对图10a和图10c中的局部区域进行调整后的区域。

本发明实施例三中，用户所选取的局部区域可以是任意形状的，如矩形、多边形、自由绘制的不规则封闭区域等，终端设备调整后的局部区域也可以是矩形、多边形等形状。图10e和图10g示出了用户所选取的局部区域示意图，图10f和图10h示出了终端设备调整后的局部区域的示意图。

在确定出需要做笔记的局部区域后，终端设备可以通过加底色、加边缘框等方式突出显示局部区域中的信息，如果用户发现有一部分希望选取的内容未被选取，或者多选取了一部分不希望选取的内容，用户可以通过拖动指定区域边缘框的位置对局部区域进行调整。

第二种确定位置的方式，根据对输入的语音进行语音识别后输出的信息，确定笔记信息在拍摄对象中的位置。对语音进行语音识别后输出的信息可以为文字信息，也可以为对文字信息进行语义分析后得到的信息。

用户在使用终端设备对拍摄对象进行实时拍摄时，可以输入一些笔记相关的语音。在本发明实施例三中，实时拍摄拍摄对象的设备和采集音频数据的设备可以相同，也可以不同。

若终端设备包括麦克风等能够采集音频数据的设备，则终端设备可以在实时拍摄拍摄对象的过程中，实时采集音频数据，从音频数据中提取出用户输入的语音。例如，用户A使用智能手机对需要做笔记的拍摄对象进行实时拍摄，并使用该智能手机实时采集音频数据。

其中，当终端设备使用摄像功能对拍摄对象进行实时拍摄时，终端设备不仅需要采集拍摄对象的图像，同时也要通过麦克风等设备实时采集音频数据。当终端设备使用拍照功能对拍摄对象进行实时拍摄时，摄像头处于实时预览状态，此时需要用户指示终端设备开始采集音频数据，本发明实施例三提出，用户可以通过音频采集触发指令，触发终端设备开始采集音频数据。

终端设备也可以连接其他设备，在终端设备实时拍摄拍摄对象的过程中，连接的其他设备实时采集音频数据，并将采集的音频数据实时传输给该终端设备，终端设备从中提取出用户输入的语音，或者由连接的其他设备从采集的音频数据中提取出用户输入的语音，并将提取出的语音实时传输给该终端设备。例如，用户A同时拥有智能眼镜和智能手机，可以使用智能眼镜对拍摄对象进行实时拍摄，使用智能手机实时采集音频数据，同时，智能手机可以将采集到的音频数据实时传输给智能眼镜。

其中，本发明实施例三提出，当实时拍摄的设备和采集音频数据的设备不同时，用户可以通过音频采集触发指令，触发采集音频数据的设备开始采集音频数据。

下面详细介绍通过音频采集触发指令触发采集音频数据的方式。

音频采集触发指令可以由用户通过多种途径触发，上述途径包括以下至少之一：语音、按键、手势、增强现实的人机交互界面、和外部控制器(比如，与智能眼镜相关联的手机等具有遥控功能的设备)。

例如，如果用户发出声控指令“开始录音”，设备接收到该声控指令后，对该声控指令进行语音识别，从而确定出该声控指令是音频采集触发指令，设备开始采集音频数据。在设备中可以存储有声控指令和音频采集触发指令的对应关系，例如，采用对应表的形式，将以下声控指令都与音频采集触发指令相对应：“开始录音”、“录音开始”、“记录语音”等中英文指令或其他语言的指令。当然，声控指令不限于上述例子，也可以是用户预先设置的其他信息，只要用户和采集音频数据的设备都知道该信息是对应于音频采集触发指令的声控指令即可。

又如，当音频采集触发指令是按键时，该按键可以是设备上的硬件按键，例如：home键、声音调节键、电源键、节目调节键、新增的按键，也可以是设备UI上的虚拟按键，该虚拟按键可以是麦克风图标或语音笔记的图标等。当用户以预定方式按下该按键时，设备确定接收到音频采集触发指令。其中，预定方式可以是：短按、长按、短按预定次数、短按和长按交替进行等。

再如，当音频采集触发指令是手势时，该手势可以是单手完成的手势，也可以是双手完成的手势，手势的具体内容可以是：挥手、手划圆、手划方块、手划三角形等。采集音频数据的设备可以采用现有的手势探测设备检测和识别手势的具体内容。

当实时拍摄的设备和采集音频数据的设备不同时，也可以由实时拍摄的设备通过上述方式接收到音频采集触发指令后，指示采集音频数据设备开始实时采集音频数据。其中，实时拍摄的设备和采集音频数据的设备之间的连接可以是物理连接，也可以是通过以下至少一种网络的无线连接：蓝牙、超宽带、ZigBee、Wi-Fi、宏网络等。

此外，也可以不使用音频采集触发指令，采集音频数据的设备可以一直处于采集音频数据的状态。

本发明实施例三提出，用户可以在输入的语音中指示笔记信息的位置，即需要在拍摄对象上的哪些位置做笔记，终端设备获取到用户输入的语音后，对输入的语音进行语音识别，对识别出的信息进行语义分析，根据语义分析结果，确定用户通过语音指示的笔记信息在拍摄对象中的位置。

例如，用户向终端设备输入一段语音：“在句子‘目前智能手机通常采用触摸屏技术’下面标记下划线”。终端设备首先对这段语音进行语音识别，对识别出的文字信息进行语义分析，从文字信息中分析出笔记信息为标记符号中的下划线，并可分析出下划线在拍摄对象中的位置。

再如，用户向终端设备输入一段语音：“删除句子‘我们该回家了’”。终端设备首先对该段语音进行语音识别，对识别出的文字信息进行语义分析，分析出笔记信息为编辑信息中的删除符，并可分析出删除符在拍摄对象中的位置。

S902：终端设备确定对拍摄对象所做的笔记信息的笔记内容。

其中，笔记信息的笔记内容包含笔记信息的笔记类型，还可以包含笔记信息的线条宽度、笔记颜色等，若笔记中包含非手写字符(例如系统支持的字体格式的印刷体字符)，则笔记信息的笔记内容还可以包含字符的字体、字号、对应的内码等信息。

终端设备可以先确定对拍摄对象所做的笔记信息的笔记类型，然后根据确定出的笔记类型，确定对拍摄对象所做的笔记信息的笔记内容。

其中，用户可以但不限于通过下述途径中的至少一种来将笔记信息的笔记类型通知给终端设备：用户输入的语音、按键、手势、增强现实的人机交互界面和外部控制器(比如，与终端设备相关联的手写笔等具有遥控功能的设备)。

通过语音将笔记类型通知给终端设备时，终端设备接收用户输入的语音，其中，终端设备接收用户输入语音的过程与步骤S901中介绍的过程一致，这里不再赘述。终端设备对接收到的语音进行语音识别，然后再进行语义分析，根据语义分析结果确定笔记信息的笔记类型。

例如，在终端设备实时拍摄一本书时，用户通过麦克风输入的语音的内容为“在第X段的第Y行下方标记下划线”，进行语义分析后可知，这段语音中“第X段的第Y行”用来指示笔记信息的位置，也可以识别出笔记信息的笔记类型为下划线。

通过按键将笔记类型通知给终端设备时，该按键既可以是终端设备上的硬件按键，例如：home键、声音调节键、电源键、节目调节键、新增的按键。该按键也可以是终端设备UI上的虚拟按键，终端设备可以事先统计用户常用的笔记类型，然后在终端设备确定出笔记位置后，在UI界面上提供用户常用的笔记类型的虚拟按键，用户通过点击虚拟按键将与虚拟按键对应的笔记类型通知给终端设备。例如，当用户选择了笔记位置后，终端设备可以在UI上提供添加字符的虚拟按键，如果用户点击了该虚拟按键，则终端设备可以确认笔记类型为注释的内容。再如，当用户选择了笔记位置后，终端设备可以在UI上提供添加语音笔记的虚拟按键，如果用户点击了该虚拟按键，则终端设备可以确认笔记类型为注释的内容。

通过手势将笔记类型通知给终端设备时，该手势可以是单手完成的手势，也可以是双手完成的手势，每个手势与一种笔记类型对应，手势的具体内容可以是：挥手、手划圆、手划方块、手划三角形等。终端设备可以采用现有的手势探测设备检测和识别手势的具体内容。

通过外部控制器将笔记类型通知给终端设备时，该外部控制器可以但不限于为书写工具，例如手写笔等。

在具体实现时，可以事先统计用户常用的笔记类型，然后在书写工具上设置与常用的笔记类型对应的按键，或者将书写工具上已有的按键与常用的笔记类型对应，用户可以通过按下书写工具上的按键，将与按键对应的笔记类型通知给终端设备。其中，当用户按下书写工具上的某个按键时，书写工具将包含该按键对应的标识发送给终端设备，终端设备预先存储了书写工具的各按键的标识与笔记类型的对应关系表，终端设备接收到书写工具发送的按键的标识后，通过查询该对应关系表，就能够获知用户想要做的笔记信息的笔记类型。

例如，经过统计，用户常用的笔记类型为波浪线及下划线，手写笔上设置有两个按键，那么就可以将这两个按键和常用的两个笔记类型分别对应，当用户想要在拍摄对象的某段文字的下方划波浪线时，用户可以先使用该手写笔在拍摄对象上圈选该段文字所在的局部区域，然后用户再按下手写笔上与波浪线这一笔记类型对应的按键，手写笔将该按键的标识通知给终端设备，终端设备就能够获知用户想要做的笔记信息的笔记类型为波浪线，且通过书写工具所圈选的局部区域，终端设备也能够获知在哪些文字下方划波浪线。

如果用户做的笔记为非字符类的笔记，如下划线、波浪线、点划线等，则终端设备可以预先设置笔记的线条宽度、笔记颜色等信息，通过上述方式得到笔记类型后，根据预先设置的线条宽度、笔记颜色等信息，终端设备就可以绘制出相应的符号。此外，若用户做的笔记为三角符，五角星，星号等，终端设备也可以将对应的图片作为笔记内容，例如，用户选择的笔记类型为星号，则终端设备可以在存储的图片中查找星号对应的图片，并将查找到的图片作为笔记内容。

如果用户所做的笔记为注释的内容等字符类笔记，则终端设备可以在确定出笔记类型后，进一步获取用户想要添加的内容。

在第一种实现方式中，终端设备可以将用户输入的语音作为用户想要添加的内容，即，将用户输入的语音作为语音笔记。

例如，在终端设备实时拍摄一本书时，用户通过麦克风，输入了针对当前页面中的某一段的注释语音，内容为“这一段的描述非常严谨”，此时，终端设备可以将输入的语音直接作为用户所做的注释内容。

其中，当用户选择了笔记位置后，终端设备可以在UI上提供添加语音笔记的虚拟按键，如果用户点击了该虚拟按键，则终端设备确认笔记类型为注释的内容，此时终端设备可以启动麦克风等音频数据采集设备，实时采集用户输入的语音，当用户确认完成语音笔记后，终端设备可以关闭麦克风等音频数据采集设备，从而完成了语音笔记的添加。

在第二种实现方式中，终端设备从对输入的语音进行语音识别后输出的信息中，提取出对拍摄对象所做的笔记信息的笔记内容。

其中，若用户输入的语音的内容全部为用户所做的笔记信息的内容，则终端设备可以直接将语音识别得到的文字信息作为对拍摄对象所做的笔记信息的笔记内容。例如，对用户输入的语音进行语音识别后得到的文字信息为“这一段的描述非常严谨”，那么识别得到的上述文字信息就可以作为用户所做的注释内容。

此外，用户输入的语音的内容也可能只有部分为用户所做的笔记信息的笔记内容，其他内容可以用来指示笔记信息的位置等，此时，终端设备可以先对输入的语音进行语音识别，然后再进行语义分析，根据语义分析结果获取笔记信息的笔记内容。其中，终端设备可以根据语义分析结果，从输入的语音中截取笔记信息对应的语音片段作为用户所做的笔记信息的笔记内容，也可以从语音识别得到的文字信息中提取出笔记信息对应的文字信息作为用户所做的笔记信息的笔记内容。

例如，在终端设备实时拍摄一本书时，用户通过麦克风输入的语音的内容为“在第X段的第Y行旁注释，注释内容为：非常严谨”，进行语义分析后可知，这段语音中“第X段的第Y行”用来指示笔记信息的位置，终端设备可以从语音中截取“非常严谨”这一部分的语音作为笔记信息的笔记内容，也可以将文字信息“非常严谨”作为笔记信息的笔记内容。

在第三种实现方式中，用户可以通过书写工具在拍摄对象或显示屏幕上的手写操作来输入手写字符，此时，终端设备将获取到的手写字符作为用户所做的笔记信息的笔记内容。例如，当用户选择了笔记位置后，终端设备可以在UI上提供添加字符的虚拟按键，如果用户点击了该虚拟按键，则终端设备可以确认笔记类型为注释的内容，用户可以通过书写工具在拍摄对象或显示屏幕上的手写操作来添加手写字符。

在第四种实现方式中，用户可以通过系统中的输入法来输入非手写字符(例如系统支持的字体格式的印刷体字符)。例如，当用户选择了笔记位置后，终端设备可以在UI上提供添加字符的虚拟按键，如果用户点击了该虚拟按键，则终端设备可以确认笔记类型为注释的内容，用户可以通过系统的输入法来添加印刷体字符，当用户确认完成字符的添加后，终端设备可以在拍摄对象的图像中显示所添加的字符。

S903：根据笔记信息在拍摄对象中的位置以及笔记信息的笔记内容，确定对拍摄对象所做的笔记信息。

终端设备通过笔记信息在拍摄对象中的位置以及笔记信息的笔记内容，就能够获知用户在拍摄对象中的哪些位置做了哪些笔记。例如，终端设备确定出笔记信息在拍摄对象中的位置为第X段的第Y行，笔记信息的笔记类型为下划线，且预先设置了笔记的线条宽度、笔记颜色等信息，因此终端设备就能够获知用户需要在第X段的第Y行下方划下划线。

S904：关联所述拍摄对象和所述笔记信息并显示。

终端设备在实时拍摄时，用户通过书写工具在拍摄对象上做笔记，终端设备需要将实时获取的笔记信息显示在显示屏幕上，同时，终端设备在显示屏幕上也需要显示实时拍摄的拍摄对象的图像，因此终端设备需要将拍摄对象和笔记信息进行关联并显示。

为了便于用户在实时拍摄以及后续查阅笔记信息时聆听语音笔记(语音作为笔记内容的笔记)，终端设备可以在该语音笔记所涉及的内容周围显示语音笔记播放标识符，用户通过某种方式触发此标识符后，可以聆听语音笔记。例如，语音笔记的内容为“这一段描述的非常严谨”，该语音笔记在拍摄对象中的位置为第X段的第Y行，也就是说，第X段的第Y行的内容是该语音笔记所涉及的内容，因此，终端设备可以在第X段的第Y行的内容旁显示语音笔记播放标识符，用户通过某种方式触发此标识符后，可以聆听该语音笔记。

标识的具体表现形式包括但不限于：图标、文字、动画、颜色、字体等等，其触发方式包括但不限于：用户点击、滑动、悬浮手势、眼球凝视等等。用户可以一次性触发多个语音笔记播放标识符，例如：用户用手依次滑过多个标识符，此时系统需按照所触发标识符的时间先后顺序播放语音笔记。如果用户同时触发了多个标识符，例如：用户用手势划了个大圈，圈中了文档中的多个标识符，那么可以按照各语音笔记所涉及的内容在拍摄对象的内容中的位置，依次播放语音笔记，也可以按照语音笔记的标识符在内容中的位置依次播放语音笔记。

如图11a和图11f所示，为用户在显示屏幕上选择需要做笔记的局部区域的示意图；

如图11b和图11g所示，为用户选择添加语音笔记的示意图；

如图11c和图11h所示，为终端设备通过麦克风等音频数据采集设备采集用户输入的语音的示意图；

如图11d和图11i所示，为终端设备显示语音笔记播放标识符的示意图；

如图11e和图11j所示，为用户触发语音笔记播放标识符后，终端设备播放语音笔记的示意图。

除了上述实施例一至实施例三提出的获取笔记信息的方法，终端设备还可以在实时拍摄时，从实时拍摄得到的图像中识别出预先在拍摄对象上所做的笔记，并将识别出的笔记作为笔记信息。

其中，从实时拍摄得到的图像中识别出的笔记可以是用户预先在拍摄对象上做的笔记，也可以是其他人在拍摄对象上做的笔记。

终端设备可以通过字符识别技术及手写体识别技术，从实时拍摄得到的图像中识别出已存在的笔记内容，例如已存在的波浪线、下划线、注释的内容等。

实施例四

下面详细介绍终端设备关联拍摄对象和笔记信息并显示的具体过程。

本发明实施例四中，终端设备可以根据用户所做的笔记信息在拍摄对象中的位置，来关联拍摄对象和笔记信息。

在一种实现方式中，终端设备可以将笔记信息在实时拍摄的拍摄对象的图像中的绝对位置作为笔记信息在拍摄对象中的位置。具体的，终端设备能够获知用户在拍摄对象的图像上的哪些位置做了笔记信息，也就是说终端设备能够获知笔记信息在拍摄对象的图像中的绝对位置，即笔记信息在终端设备的显示屏幕上显示时的位置，该位置可以为笔记信息在终端设备的显示屏幕上显示时，对应的各轨迹点的像素坐标，终端设备根据各轨迹点的像素坐标，在显示屏幕上显示该笔记信息。

例如，拍摄对象为一本书，用户在当前页面的某行文字下方划了一条波浪线，该波浪线即为用户对拍摄对象所做的笔记信息，通过步骤S102，终端设备可以获知该波浪线在终端设备的显示屏幕上显示时，对应的各轨迹点的像素坐标，然后终端设备根据各轨迹点的像素坐标，在显示屏幕上显示该波浪线。

在另一种实现方式中，终端设备可以对实时拍摄的拍摄对象的图像进行字符识别，然后基于字符识别结果确定笔记信息与拍摄对象的内容之间的相对位置，并将确定出的相对位置作为笔记信息在拍摄对象中的位置。

由于OCR(Optical Character Recognition，光学字符识别)技术对字符识别的抗干扰(如较低分辨率、模糊、倾斜畸变、阴影反光等)能力较强，可以支持对多种复杂图像的字符识别，因此，在本发明实施例四中，可以采用OCR技术对拍摄对象的图像进行字符识别。

其中，采用OCR技术对拍摄对象的图像进行字符识别时，可以首先对拍摄对象的图像进行预处理，如果存在倾斜或畸变，则进行校正处理，若图像质量较低，则进行图像增强处理；然后终端设备对拍摄对象的图像进行版面分析，通过二值化、块切分、行切分、字符切分等处理，得到版面信息，版面信息包含文字区域的段和行的坐标、段和行的先后顺序、每个字符的坐标、插图区域的坐标和文字环绕方式、背景等，还可以包含页边距、段距、行距、字符间距、对齐方式等信息；然后基于得到的版面信息，进一步进行字符识别，得到字符信息，字符信息包含每个字符的字体、字号、对应的内码等。

例如，图12a和图12d示出了终端设备实时拍摄得到的拍摄对象的图像，图12b和图12e示出了分别对图12a和图12d的图像进行版面分析的示意图，图12c和图12f示出了分别对图12a和图12d的图像进行字符切分的示意图，可以得到每个字符的坐标。

本发明实施例四提出，终端设备在实时拍摄拍摄对象时，可以对拍摄得到的每帧图像实时进行字符识别，并根据得到的字符识别结果以及笔记信息在当前帧图像中的绝对位置，确定出用户所做的笔记信息与拍摄对象的内容之间的相对位置，并根据得到的相对位置，关联显示拍摄对象和笔记信息。其中，字符识别结果包含上述版面信息和字符信息。笔记信息与拍摄对象的内容之间的相对位置包含笔记信息所在段的段号、所在行的行号、所涉及的字符、与字符之间的距离等。

例如，拍摄对象为一本书，用户在当前页面的某行文字下方划了一条波浪线，该波浪线即为用户所做的笔记信息，终端设备可以根据对当前页面的图像进行字符识别后得到的版面信息以及字符信息，确定出该波浪线划在哪一段、哪一行、哪些字符下方，以及波浪线与字符之间的距离，然后根据得到的上述信息，在显示屏幕中显示该波浪线。

本发明实施例四提出，终端设备可以缓存对实时拍摄的图像实时进行字符识别得到的字符识别结果，终端设备还可以缓存实时获取的笔记信息的内容以及笔记信息与拍摄对象的内容之间的相对位置。

在上述关联笔记信息与拍摄对象并显示的实现方式中，由于终端设备确定出了笔记信息与拍摄对象的内容之间的相对位置，那么即使后续拍摄对象的内容发生变化(例如进行了重排版)，终端设备也可以根据上述相对位置，确定出笔记信息在变化后的内容中的位置，从而将笔记信息和拍摄对象进行关联显示。

本发明实施例四还提出，若笔记为非字符类的笔记，如下划线、波浪线、点划线等，则笔记信息与拍摄对象的内容之间的相对位置可以为笔记上各轨迹点与拍摄对象的内容之间的相对位置，轨迹点与内容之间的相对位置包含轨迹点所在段的段号、所在行的行号、所涉及的字符、与字符之间的距离等；若笔记为字符类笔记，例如注释的内容等，且字符为用户的手写字符，则笔记信息与拍摄对象的内容之间的相对位置也可以为笔记上各轨迹点与拍摄对象的内容之间的相对位置；若笔记为三角符，五角星，星号等，且终端设备将对应的图片作为笔记内容，则笔记信息与拍摄对象的内容之间的相对位置可以为对应图片在拍摄对象中的位置；若笔记为字符类笔记，例如注释的内容等，且字符为非手写字符，则笔记信息与拍摄对象的内容之间的相对位置可以为字符与拍摄对象的内容之间的相对位置，即字符在拍摄对象的内容中的坐标。

若终端设备采用本发明实施例三中提到的方式获取笔记信息，即分别获取笔记信息在拍摄对象中位置和笔记信息的笔记内容，那么当用户想要针对某段文字插入注释内容时，该段文字周围空白的区域可能比较小，用户很难使用书写工具在空白的区域中插入手写内容，此时，本发明实施例四提出，用户选择了需要做笔记的位置后，可以在拍摄对象的任意位置处插入手写内容，终端设备在显示插入的手写内容时，可以根据拍摄对象的字符识别结果，获知需要做笔记的位置周围空白区域的大小，然后根据空白区域的大小，确定该手写内容在显示时的位置和大小，从而得到手写内容与拍摄对象的内容之间的相对位置，手写内容与拍摄对象的内容之间的相对位置可以为手写内容的各轨迹点与拍摄对象的内容之间的相对位置，终端设备根据该相对位置显示插入的手写内容。若需要做笔记的位置周围的空白区域比较大，则终端设备显示的手写内容也会相应较大，如果需要做笔记的位置周围的空白区域比较小，那么终端设备显示的手写内容也会相应较小。

具体的，用户可以手动将手写内容和需要做笔记的位置相关联，终端设备检测到用户的关联操作后，在显示手写内容时自动调整手写内容的显示位置和大小。例如，用户可以通过箭头等符号将手写内容和需要做笔记的位置相关联，箭头的起点为手写内容的位置，箭头的指向为用户选择的需要做笔记的位置，或者箭头的起点为用户选择的需要做笔记的位置，箭头的指向为手写内容的位置。如图13a所示，用户选择的需要做笔记的局部区域为图13a中所圈选的区域，用户输入的手写内容为“注：我的读后感：”，如图13b所示，用户通过箭头将手写内容与需要做笔记的局部区域进行关联，终端设备根据局部区域周围空白区域的大小，确定该手写内容在上述局部区域周围显示时的位置和大小，从而得到手写内容与该局部区域的内容之间的相对位置，如图13c所示，终端设备根据确定出的相对位置，在上述局部区域周围显示插入的手写内容。

终端设备也可以识别用户插入的手写字符的内容，将手写字符转换为系统支持的字体格式的印刷体字符，并在局部区域周围显示转换后的印刷体字符。如图13d所示，为在局部区域周围显示由手写字符转换得到的印刷体字符的示意图。

此外，终端设备也可以自动检测是否需要自动调整手写内容的显示位置和大小。例如，终端设备选择了需要做笔记的局部区域后，在拍摄对象上插入手写内容，终端设备检测出手写内容的位置与需要做笔记的局部区域之间距离过远(如大于设定的距离阈值)，则认为需要调整手写内容在显示时的位置和大小。

由上可见，当用户输入手写内容时，可以在拍摄对象的任意位置处进行输入，终端设备显示手写内容时，可以根据拍摄对象的字符识别结果自动调整手写内容的位置和大小，从而大大提高了用户输入手写内容的便利性。

在实际应用中，拍摄对象可能是面积较大的书页，如杂志书刊的页面，若将书页作为整体进行实时拍摄从而获取笔记信息，可能会使得拍摄的图像中的文字太小，不便于查看，因此，较优地，用户可以采取动态拍摄的方法获取笔记信息。

具体地，用户可以先通过终端设备获取拍摄对象的全局图像，终端设备对全局图像进行字符识别，得到字符识别结果，然后用户将摄像头焦点靠近拍摄对象的局部区域，使得到的局部图像中的文字大小适中且清晰，此时，用户可在拍摄对象或显示屏幕上做笔记。与此同时，终端设备对当前拍摄的局部图像进行字符识别，得到字符识别结果，终端设备根据局部图像的字符识别结果以及全局图像的字符识别结果，确定局部图像在全局图像中的位置，根据局部图像在全局图像中的位置以及笔记信息与局部图像的内容之间的相对位置，终端设备可以确定出笔记信息与全局图像的内容之间的相对位置，即笔记信息在全局图像中的位置，终端设备根据确定出的该相对位置关联并显示拍摄对象和笔记信息。

在具体实现过程中，可以在实时笔记应用中设置动态笔记应用，当用户启动动态笔记应用时，终端设备提示用户先拍摄全局图像，此时用户将摄像头的焦点对准全局区域，使摄像头能够采集到拍摄对象的全部内容，用户点击确认拍摄的硬件按键或虚拟按键，终端设备确认当前拍摄得到的图像为全局图像，然后用户就可以将摄像头焦点靠近想要做笔记的局部区域，终端设备获取到全局图像后，将后续实时拍摄的每帧图像均作为局部图像进行处理。

对全局图像和局部图像进行字符识别时，得到的字符识别结果包含版面信息以及字符信息。终端设备可以根据局部图像和全局图像中的字符信息来确定局部图像在全局图像中的位置，例如，终端设备在全局图像的字符中检索局部图像中的字符，根据检索结果，终端设备能够确定出局部图像在全局图像中的位置。

终端设备也可以根据局部图像和全局图像中的版面信息来确定局部图像在全局图像中的位置，例如，根据局部图像的版面信息可知，局部图像中包含某一段文字，该段文字的行数为7行，而根据全局图像的版面信息可知，全局图像中只有一个文字段落的行数为7行，因此终端设备根据该文字段落在全局图像中的位置以及在局部图像中的位置，就能够确定出局部图像在全局图像中的位置。

此外，终端设备也可以根据局部图像和全局图像中的版面信息及字符信息，来确定局部图像在全局图像中的位置，例如，根据局部图像的版面信息可知，局部图像中包含某一段文字，该段文字的行数为5行，而根据全局图像的版面信息可知，全局图像中有两个文字段落的行数为5行，进一步的，根据局部图像的字符信息可知，该段文字的字号为三号，根据全局图像的字符信息可知，行数均为5行的文字段落中，一个文字段落的字号为三号，一个文字段落的字号为四号，因此终端设备根据字号为三号的文字段落在全局图像中的位置以及在局部图像中的位置，就能够确定出局部图像在全局图像中的位置。

本发明实施例四提出，终端设备将摄像头焦点靠近拍摄对象的局部区域的方式包括如下至少一种：对终端设备进行移动，使终端设备的摄像头靠近拍摄对象的局部区域；改变终端设备的摄像头的变焦倍数。

图14示出了采用动态拍摄的方法获取笔记信息的示意图，用户可以通过移动摄像头的位置和/或改变摄像头的变焦倍数，来变化拍摄区域，参照图14，用户可以先拍摄①所标示的局部区域，然后拍摄②所标示的局部区域，再拍摄③所标示的局部区域，并在得到的不同的局部图像中分别做笔记。这样，终端设备根据用户所做的笔记信息与局部图像的内容之间的相对位置以及局部图像在全局图像中的位置，能够确定出笔记信息在全局图像中的位置，例如，笔记信息与全局图像的内容之间的相对位置，从而终端设备就能够关联并显示拍摄对象和笔记信息。

由于用户手持手机等终端设备对拍摄对象进行拍摄时，手部可能会存在一些轻微的抖动，也就会使得终端设备产生抖动操作，此外，终端设备所拍摄的拍摄对象也可能发生抖动操作，用户使用书写工具对拍摄对象做笔记时，书写工具也可能发生抖动操作。当拍摄对象、终端设备或书写工具发生抖动操作时，用户所做的笔记信息可能发生偏差。

对此，本发明实施例四提出，终端设备还可以实时检测抖动操作，抖动操作包含下述操作中的至少一种：拍摄对象的抖动操作、终端设备的抖动操作或书写工具的抖动操作。当终端设备检测到抖动操作后，可以对显示的笔记信息进行纠偏处理。

终端设备可以通过下述方式检测抖动操作：

若检测到拍摄对象的内容在显示屏幕上显示的位置发生了满足设定抖动条件的移动，则确认拍摄对象发生抖动操作或终端设备发生抖动操作；

若检测到书写工具的笔头的位置相对于拍摄对象的内容发生了满足设定抖动条件的移动，且拍摄对象的内容在显示屏幕上显示的位置并未发生满足设定抖动条件的移动(即拍摄对象和终端设备并未发生抖动)，则确认书写工具发生抖动操作。

上述抖动操作可以理解为拍摄对象、终端设备或书写工具发生的意外的移动，这种移动持续的时间都比较短，而且移动时的位置移动速率比较大，因此可以据此设定抖动条件，例如，抖动条件为抖动持续时长小于设定的时长阈值，抖动时的移动速率大于设定的速率阈值。

若在用户进行实时笔记的过程中，拍摄对象发生了抖动，则拍摄对象的内容在显示屏幕上显示的位置会发生改变，如图15a所示；

若在用户进行实时笔记的过程中，终端设备发生了抖动，则拍摄对象的内容在显示屏幕上显示的位置会发生改变，如图15b所示。

若在用户进行实时笔记的过程中，书写工具发生了抖动，则书写工具的笔头的位置相对于拍摄对象的内容发生了偏移，如图15c所示。

本发明实施例四还提出，为了区别拍摄对象的抖动操作和终端设备的抖动操作，终端设备也可以通过一些传感器来进行辅助检测，当终端设备检测到拍摄对象的内容在显示屏幕上显示的位置发生了满足设定抖动条件的移动时，若同时检测到终端设备也发生了移动，则可以认为是终端设备发生了抖动操作，若检测到终端设备并未发生移动，则可以认为是拍摄对象发生了抖动操作。其中，终端设备可以但不限于使用加速度传感器等检测装置来检测终端设备是否发生了移动。

本发明实施例四中，终端设备可以通过下述方式对显示的笔记信息进行纠偏处理：

根据抖动操作前，笔记信息在拍摄对象中的位置、抖动方向和抖动距离，确定抖动操作后，笔记信息在拍摄对象中的位置；根据抖动操作后，笔记信息在拍摄对象中的位置，对笔记信息进行纠偏处理。

情况1、用户通过在拍摄对象上的操作来做笔记时，书写工具发生了抖动操作。

书写工具发生抖动操作后，相对于拍摄对象的内容，书写工具的笔头位置发生了偏移，用户若发现了偏移，可能会将书写工具的笔头移至正确位置，此时，只有发生抖动操作到用户移动书写工具的笔头这一时间段内用户所做的笔记信息会发生偏差，此时终端设备只需要对这一时间段内用户所做的笔记信息进行纠偏处理即可。其中，用户移动书写工具的笔头需要满足设定条件，终端设备才会认为用户将书写工具的笔头移至正确位置，该设定条件可以为：用户移动书写工具的笔头的移动方向与抖动操作的抖动方向相反，且移动距离与抖动距离之间的差值不大于设定的阈值。

如图15d所示，在抖动操作前，用户通过书写工具在拍摄对象上操作，在“家庭小课堂”下方划了波浪线，由于用户手持书写工具时发生抖动操作，书写工具的笔头移动到“主要观察孩子有没有兴趣”这一行文字下方，并且由于用户的滑动惯性，用户在抖动操作后继续划了一段波浪线，参照图15d，波浪线划在了“子有没”下方，此时用户发现了抖动操作，并及时移动书写工具的笔头位置，将笔头移至“样重要”下方继续划波浪线，由此可见，只有“子有没”下方的波浪线需要进行纠偏处理，也就是说，终端设备只需要对发生抖动操作到用户移动书写工具的笔头至正确位置这一时间段内用户所做的笔记信息进行纠偏处理。

针对需要进行纠偏处理的笔记信息中的每个轨迹点，终端设备可以根据抖动操作前该轨迹点在拍摄对象的图像中的位置、此次抖动操作的抖动方向和抖动距离，确定抖动操作后该轨迹点应该在拍摄对象的图像中所处的位置，然后终端设备将该轨迹点的位置由当前的实际位置纠正到确定出的位置处。

如图15e所示，为终端设备对图15d中的“子有没”下方的波浪线进行纠偏处理后的示意图。

情况2、用户通过在拍摄对象上的操作来做笔记时，拍摄对象发生了抖动操作。

拍摄对象发生抖动操作后，拍摄对象的内容在显示屏幕上显示的位置会发生偏移，若书写工具并未发生抖动，则相对于拍摄对象的内容，书写工具的笔头位置会发生了偏移，用户若发现了偏移，可能会将书写工具的笔头移至正确位置，此时，只有发生抖动操作到用户移动书写工具的笔头这一时间段内用户所做的笔记信息会发生偏差，此时终端设备只需要对这一时间段内用户所做的笔记信息进行纠偏处理即可。其中，用户移动书写工具的笔头需要满足设定条件，终端设备才会认为用户将书写工具的笔头移至正确位置，该设定条件可以为：用户移动书写工具的笔头的移动方向与抖动操作的抖动方向相同，且移动距离与抖动距离之间的差值不大于设定的阈值。

如图15f所示，在抖动操作前，用户通过书写工具在拍摄对象上的操作，在“家庭小课堂”下方划了波浪线，由于拍摄对象的抖动操作，书写工具的笔头移动到“王楠先带着女儿去试听一些课，”这一行文字下方，并且由于用户的滑动惯性，用户在抖动操作后继续划了一段波浪线，参照图15f，波浪线划在了“儿去试”下方，此时用户发现了抖动操作，并及时移动书写工具的笔头位置，将笔头移至“样重要”下方继续划波浪线，由此可见，只有“儿去试”下方的波浪线需要进行纠偏处理，也就是说，终端设备只需要对发生抖动操作到用户移动书写工具的笔头这一时间段内用户所做的笔记信息进行纠偏处理。

针对需要进行纠偏处理的笔记信息中的每个轨迹点，终端设备可以根据抖动操作前该轨迹点在拍摄对象的图像中的位置、此次抖动操作的抖动方向和抖动距离，确定抖动操作后该轨迹点应该在拍摄对象的图像中所处的位置，然后终端设备将该轨迹点的位置由当前的实际位置纠正到确定出的位置处。

如图15g所示，为终端设备对图15f中的“儿去试”下方的波浪线进行纠偏处理后的示意图。

情况3、用户通过在拍摄对象上的操作来做笔记时，终端设备发生了抖动操作。

终端设备发生抖动操作后，拍摄对象的内容在显示屏幕上显示的位置会发生偏移，那么抖动操作前用户所做的笔记信息在显示屏幕上显示的位置也会发生改变，用户无需移动书写工具，此时，只有抖动操作前用户所做的笔记信息在显示时会发生偏差，终端设备只需要这些笔记信息进行纠偏处理即可。

终端设备针对需要进行纠偏处理的笔记信息中的每个轨迹点，可以根据抖动操作前该轨迹点在拍摄对象的图像中的位置、此次抖动操作的抖动方向和抖动距离，确定抖动操作后该轨迹点应该在拍摄对象的图像中所处的位置，然后终端设备将该轨迹点的位置由当前的实际位置纠正到确定出的位置处。

此外，本发明实施例四提出，若终端设备对实时拍摄得到的拍摄对象的图像实时进行字符识别，并根据笔记信息与拍摄对象的内容之间的相对位置关联显示笔记信息与拍摄对象的内容，那么终端设备可以不对抖动操作前所做的笔记信息进行纠偏，终端设备对抖动操作后实时拍摄得到的图像进行字符识别即可得到笔记信息与拍摄对象的内容之间的相对位置，根据该相对位置关联显示笔记信息和拍摄对象就可以将抖动操作前的笔记信息显示在正确位置。

如图15h所示，在抖动操作前，用户通过在拍摄对象上的操作，在“家庭小课堂”下方划了波浪线，由于终端设备的抖动操作，终端设备向上移动了距离d，发生抖动操作后，用户在抖动操作前所划的波浪线发生了显示偏差，显示在“王楠先带着女”下方，此时终端设备需要对抖动操作前用户所划的波浪线进行显示纠偏。

如图15i所示，为终端设备对图15h中的“王楠先带着女”下方的波浪线进行纠偏处理后的示意图。

如图15j所示，当拍摄对象为英文内容时，在抖动操作前，用户通过在拍摄对象上的操作，在“And Featuring”下方划了波浪线，由于终端设备的抖动操作，终端设备向上移动了距离d，发生抖动操作后，用户在抖动操作前所划的波浪线发生了显示偏差，此时终端设备需要对抖动操作前用户所划的波浪线进行显示纠偏。

如图15k所示，为终端设备对图15j中抖动操作前用户所划的波浪线进行纠偏处理后的示意图。

情况4、用户通过在显示屏幕上的操作来做笔记时，书写工具发生了抖动操作。

书写工具发生抖动操作后，相对于拍摄对象的内容，书写工具的笔头位置发生了偏移，用户若发现了偏移，可能会将书写工具的笔头移至正确位置，此时，只有发生抖动操作到用户移动书写工具的笔头这一时间段内用户所做的笔记信息会发生偏差，此时终端设备只需要对这一时间段内用户所做的笔记信息进行纠偏处理即可。其中，用户移动书写工具的笔头需要满足设定条件，终端设备才会认为用户将书写工具的笔头移至正确位置，该设定条件可以为：用户移动书写工具的笔头的移动方向与抖动操作的抖动方向相反，且移动距离与抖动距离之间的差值不大于设定的阈值。

针对需要进行纠偏处理的笔记信息中的每个轨迹点，终端设备可以根据抖动操作前该轨迹点在拍摄对象的图像中的位置、此次抖动操作的抖动方向和抖动距离，确定抖动操作后该轨迹点应该在拍摄对象的图像中所处的位置，然后终端设备将该轨迹点的位置由当前的实际位置纠正到确定出的位置处。

情况5、用户通过在显示屏幕上的操作来做笔记时，拍摄对象发生了抖动操作。

拍摄对象发生抖动操作后，拍摄对象的内容在显示屏幕上显示的位置会发生偏移，若书写工具并未发生抖动，则相对于拍摄对象的内容，书写工具的笔头位置会发生了偏移，用户若发现了偏移，可能会将书写工具的笔头移至正确位置，此时，只有发生抖动操作到用户移动书写工具的笔头这一时间段内用户所做的笔记信息会发生偏差，此时终端设备只需要对这一时间段内用户所做的笔记信息进行纠偏处理即可。其中，用户移动书写工具的笔头需要满足设定条件，终端设备才会认为用户将书写工具的笔头移至正确位置，该设定条件可以为：用户移动书写工具的笔头的移动方向与抖动操作的抖动方向相同，且移动距离与抖动距离之间的差值不大于设定的阈值。

针对需要进行纠偏处理的笔记信息中的每个轨迹点，终端设备可以根据抖动操作前该轨迹点在拍摄对象的图像中的位置、此次抖动操作的抖动方向和抖动距离，确定抖动操作后该轨迹点应该在拍摄对象的图像中所处的位置，然后终端设备将该轨迹点的位置由当前的实际位置纠正到确定出的位置处。

情况6、用户通过在显示屏幕上的操作来做笔记时，终端设备发生了抖动操作。

终端设备发生抖动操作后，拍摄对象的内容在显示屏幕上显示的位置会发生偏移。

情况(1)、书写工具的笔头随着终端设备一起发生了抖动，也就是说，书写工具的笔头和显示屏幕之间没有相对位移，此时，若用户没有及时发现抖动现象，并未及时将书写工具的笔头移至正确位置，而是继续在显示屏幕上做笔记，后续用户发现抖动现象后，若还需要继续做笔记，可以将书写工具的笔头移至正确位置，在这种情况下，用户移动书写工具的笔头之前用户所做的笔记信息均会发生偏差，此时终端设备需要对移动书写工具的笔头之前的笔记信息进行纠偏处理。其中，用户移动书写工具的笔头需要满足设定条件，终端设备才会认为用户将书写工具的笔头移至正确位置，该设定条件可以为：用户移动书写工具的笔头的移动方向与抖动操作的抖动方向相反，且移动距离与抖动距离之间的差值不大于设定的阈值。

此外，在这种情况下，用户也可能在发现抖动现象之前就完成了笔记信息的操作，因此终端设备需要对当前所做的所有笔记信息进行纠偏处理。

如图151所示，在抖动操作前，用户通过在显示屏幕上的操作，在“家庭小课堂”下方划了波浪线，由于用户的抖动操作，终端设备向上移动了距离d，发生抖动操作后，用户在抖动操作前所划的波浪线发生了显示偏差，显示在“王楠先带着女”下方，用户并未发现抖动操作，并继续划波浪线，因此会继续在“儿去试听一些课，”下方划波浪线，此时，终端设备需要对“王楠先带着女儿去试听一些课”下方的波浪线进行显示纠偏。

终端设备针对需要进行纠偏处理的笔记信息中的每个轨迹点，可以根据抖动操作前该轨迹点在拍摄对象的图像中的位置、此次抖动操作的抖动方向和抖动距离，确定抖动操作后该轨迹点应该在拍摄对象的图像中所处的位置，然后终端设备将该轨迹点的位置由当前的实际位置纠正到确定出的位置处。

此外，本发明实施例四提出，若终端设备对实时拍摄得到的拍摄对象的图像实时进行字符识别，并根据笔记信息与拍摄对象的内容之间的相对位置关联显示笔记信息与拍摄对象的内容，那么终端设备可以不对抖动操作前所做的笔记信息进行纠偏，终端设备对抖动操作后实时拍摄得到的图像进行字符识别即可得到笔记信息与拍摄对象的内容之间的相对位置，根据该相对位置关联显示笔记信息和拍摄对象就可以将抖动操作前的笔记信息显示在正确位置。

如图15m所示，为终端设备对图151中“王楠先带着女儿去试听一些课”下方的波浪线进行纠偏处理后的示意图。

如图15n所示，当拍摄对象为英文内容时，在抖动操作前，用户通过在拍摄对象上的操作，在“And Featuring”下方划了波浪线，由于终端设备的抖动操作，终端设备向上移动了距离d，发生抖动操作后，用户并未移动书写工具，此时终端设备需要对用户所划的所有波浪线进行显示纠偏。

如图15o所示，为终端设备对图15n中用户所划的波浪线进行纠偏处理后的示意图。

情况(2)、书写工具的笔头并未随着终端设备一起发生抖动，也就是说，书写工具的笔头和显示屏幕之间有相对位移，那么只有抖动操作前用户所做的笔记信息的显示发生偏差，此时终端设备只需要对抖动操作前用户所做的笔记信息的显示偏差进行纠偏处理。其中，终端设备对抖动操作前用户所做的笔记信息进行纠偏处理的过程和第3种情况时的纠偏处理过程一致，这里不再赘述。

通过上述对抖动操作的纠偏处理，可以使用户对拍摄对象所做的笔记信息更加准确的显示在显示屏幕中，提高了用户体验。

实施例五

为便于后续查阅笔记信息，用户可以选择保存笔记信息，当终端设备接收到保存笔记信息的指令时，终端设备将获取到的用户对拍摄对象所做的笔记信息与实时拍摄得到的拍摄对象的图像的关联保存。

终端设备也可以将获取到的用户所做的笔记信息、实时拍摄得到的图像、对实时拍摄得到的图像进行字符识别后得到的字符识别结果关联保存，此外，终端设备也可以对应存储笔记信息与拍摄对象的内容之间的相对位置。

其中，终端设备可以将笔记信息存储到独立的笔记文件中，笔记文件中还可以对应存储笔记信息与拍摄对象的内容之间的相对位置。

若笔记为非字符类的笔记，如下划线、波浪线、点划线等，则保存的笔记信息可以包含笔记信息的线条宽度、笔记颜色等信息。笔记信息与拍摄内容之间的相对位置可以为笔记的各轨迹点与拍摄对象的内容之间的相对位置。若笔记为字符类笔记，例如注释的内容等，且字符为用户的手写字符，则笔记信息与拍摄对象的内容之间的相对位置也可以为笔记上各轨迹点与拍摄对象的内容之间的相对位置；若笔记为三角符，五角星，星号等，且终端设备将对应的图片作为笔记内容，则笔记信息与拍摄对象的内容之间的相对位置可以为对应图片在拍摄对象中的位置；若笔记为字符类笔记，例如注释的内容等，且字符为非手写字符，则笔记信息与拍摄对象的内容之间的相对位置可以为字符与拍摄对象的内容之间的相对位置，即字符在拍摄对象的内容中的坐标。

若用户所做的笔记中包含语音笔记，则保存的笔记信息还可以包含音频文件，音频文件的格式可以为CD格式、MP3格式、MIDI格式等，其中，终端设备可以但不限于通过超链接等方式，将音频文件的存储地址与对应的语音播放标识符进行关联，用户通过某种方式触发语音播放标识符后，终端设备从对应的存储位置获取音频文件，并进行播放。

此外，用户也可将笔记信息中标记符号所涉及的内容作为摘抄内容，通过终端设备提供的一键摘抄功能，将相关摘抄内容存储到摘抄笔记；较优地，保存摘抄笔记时，还可以记录时间、笔记来源等信息；笔记来源可以是如书名、作者、出版社、文字标题等信息；而且，笔记来源可以是用户使用终端设备的摄像头对纸质书的封面进行拍摄后，对拍摄的图像进行字符识别得到的封面中的书名、作者等信息；或者，用户也可使用摄像头以及终端设备中安装的条码扫描软件对书的条码进行扫描来获取笔记来源的信息；再或者，用户也可手动添加笔记来源的信息，将笔记来源等信息与摘抄笔记对应保存。这样，当用户在图书馆等场所看书时，可使用手机等终端设备对感兴趣或重要的内容进行“摘抄”，并保存为电子摘抄笔记，非常方便快捷。

实施例六

终端设备在实时拍摄时，可以对拍摄对象做笔记，并关联显示实时拍摄的图像和笔记信息。

此外，对于已经关联保存过笔记信息的拍摄对象的图像，当用户使用终端设备对拍摄对象进行实时拍摄时，可以获取与实时拍摄的图像关联的笔记信息，并关联显示实时拍摄的图像和该笔记信息。具体的，终端设备根据图像识别技术，将实时拍摄的图像与保存的图像进行比对，如果检测出实时拍摄的图像与保存的某图像关联，则终端设备可以获取关联保存的笔记信息及笔记信息与保存的图像的内容之间的相对位置，并根据笔记信息与保存的图像的内容之间的相对位置、保存的图像的字符识别结果、以及实时拍摄的图像的字符识别结果，确定出笔记信息与实时拍摄的图像中的内容之间的相对位置，并根据确定出的相对位置关联显示实时拍摄的图像与获取的笔记信息。

本发明实施例六提出，当用户对拍摄对象进行实时拍摄时，拍摄的区域不仅可以是保存的拍摄对象的图像的完整区域，还可以是保存的拍摄对象的图像的某局部区域。终端设备只要检测到实时拍摄的拍摄对象的图像和保存的拍摄对象的图像有部分内容关联，就可以在实时拍摄时关联显示对应的笔记信息，大大提高了查阅笔记信息的便利性。

在上述情况中，终端设备保存的笔记信息不仅可以是用户之前对拍摄对象所做的笔记信息，也可以是从其他设备传输过来的笔记信息，进一步，还可以是从云端获取的笔记信息。

例如，用户A参加了一个培训班，使用手机在培训书本中做了很多笔记，并存储在手机中；而用户B并未参加相应的培训班。此时，用户A可将使用手机做的笔记共享给用户B。用户B使用手机对培训书本实时拍摄时，可以直接加载显示用户A共享的笔记，从而能够轻松查看用户A对培训书本所做的笔记。由于用户所做的笔记是保存在终端设备中的电子笔记，因此，用户可以不在书中做任何涂写就能满足做笔记的需求。

本发明实施例六还提出，当用户通过终端设备浏览静态图像时，也可以对该静态图像做笔记，并关联显示所做的笔记信息和该静态图像。

或者，当用户通过终端设备浏览静态图像时，若想要查阅自己或其他人在该静态图像上所做的笔记信息，则终端设备可以从本地、其他设备或云端获取与该静态图像相关联的笔记信息，并在显示屏幕上关联显示笔记信息和该静态图像。

其中，上述静态图像可以为上述实施例中终端设备实时拍摄时获取的拍摄对象的图像，也可以是终端设备本地保存的静态图像，还可以是终端设备从其他设备或云端获取的静态图像。

为了描述方便，在本发明实施例六以下的描述中，将终端设备显示的实时拍摄的图像以及静态图像，均称为显示图像。

本发明实施例六提出，终端设备在显示图像时，还可以包括下述操作中的至少一种：

自适应排版显示；根据笔记调整内容；突出显示；调整笔记内容；检索操作；背景显示；三维模型显示；缩略图显示。

下面分别对上述各操作进行介绍。

一、自适应排版显示。

为便于用户对显示图像中的内容进行查阅，终端设备可以对显示图像进行字符识别(例如OCR识别)，然后根据得到的字符识别结果进行自适应排版显示。若显示图像的内容进行了自适应排版，那么与显示图像关联的笔记信息也可以进行相应的自适应排版显示，此外，终端设备也可以单独针对笔记信息进行自适应排版。

对显示图像的内容进行自适应排版后，用户可以通过点击显示屏幕上的保存按键向终端设备发送保存指令，终端设备在接收到用户的保存指令后，将自适应排版后得到的图像保存为指定的格式，如txt、doc、pdf、rtf、jpg/jpeg、tif和bmp等。这样，用户后续就可以直接加载保存的图像进行查看，无需再次进行排版操作。

若随着显示图像的内容的自适应排版，笔记信息也进行了自适应排版，则终端设备在接收到用户的保存指令后，也可以将排版后的笔记信息与排版后的显示图像关联保存。

若终端设备只对笔记信息进行了自适应排版，则在接收到用户的保存指令后，终端设备可以将排版后的笔记信息与显示图像关联保存。

其中，笔记信息与显示图像关联保存的方式与本发明实施例五中的保存方式一致，这里不再赘述。

其中，自适应排版的方式可以但不限于包括下述中的至少一种：

1、根据显示视图进行自适应排版。

1)对显示图像的内容进行自适应排版。

终端设备可以根据当前显示视图的尺寸，根据显示图像的字符识别结果，对显示图像的内容进行自适应排版，然后在显示屏幕上显示自适应排版后的图像。当前显示视图的宽度可以由显示屏幕的当前宽度决定；显示屏幕的当前宽度与显示屏幕的横屏或竖屏等显示方式有关。

如果显示图像的内容中包含文字区域，则终端设备对文字区域中的字符进行自适应排版时，可根据当前显示视图的宽度以及字符的显示字号，计算出适应当前显示视图的宽度的行字符数(即每一行所容纳的字符的数量)，根据计算出的行字符数以及字符的显示字号，对识别出的文字区域中的字符进行自适应排版(如自动换行等)，从而适应显示屏幕进行显示。其中，字符的显示字号具体可以是字符识别得到的字符的字号，也可以是用户人为预先设定的字号，还可以是终端设备的系统中默认的字号，还可以是终端设备根据用户的浏览阅读习惯而确定出的字号。

较优地，终端设备对识别出的文字区域中的字符进行自适应排版时，还可先根据识别出的字符的字号与预设的显示字号最大值和最小值的关系，针对每个字符确定出该字符的显示字号。例如，对于识别出的一个字符，当识别出的该字符的字号大于预设的显示字号最大值时，将预设的显示字号最大值作为该字符的显示字号；当识别出的该字符的字号小于预设的显示字号最小值时，将预设的显示字号最小值作为该字符的显示字号；当识别出的该字符的字号在预设的显示字号最大值和最小值之间时，将识别出的该字符的字号作为该字符的显示字号。这样，终端设备可根据当前显示视图的宽度以及确定出的字符的显示字号，对字符识别结果的文字区域中的字符进行排版，从而适应显示屏幕进行显示。其中，预设的显示字号最大值和最小值具体可以由用户人为预先设定。由此，终端设备可根据当前显示视图的宽度以及每个字符的显示字号，依据字符识别结果的文字区域中的字符的顺序或坐标进行排版显示。

例如，图16a和图16c示出了当显示图像只包含文字内容时，终端设备未进行自适应排版，直接对显示图像进行显示的示意图，图16b和图16d示出了终端设备对显示图像中的内容进行自适应排版后进行显示的示意图。由图16a和16b的对比以及图16c和16d的对比可以明显看出，自适应排版后的内容更便于用户进行阅读，用户无需对显示图像进行多次的缩放、左右拖动操作便可方便地阅读显示图像中的内容。

本实施例提出，终端设备在进行上述自适应排版时，可以以贴图的方式在显示屏幕中显示文字区域中的字符，即：终端设备根据当前显示视图的尺寸，将文字区域的字符识别结果中切分好的单个字符块拼接成行，如需要换行，则将相应的字符块拼接新的一行。这种显示方式类似“活字印刷术”，且在这种显示方式下，缩放处理实际上是像素级的缩放。

或者，终端设备也可以以非贴图的方式在显示屏幕中显示文字区域中的字符，即：终端设备根据识别出的字符对应的内码、字体、字号以及字符坐标等信息，对字符进行显示，相当于将文字区域中的字符进行文本化，转换成文本文档。这种显示方式下，缩放处理实际上就是改变字符的字号。而且，采用这种显示方式，终端设备对识别出的文字区域中的字符进行自适应排版时，可以将识别出的字符按照设定的显示字体进行显示，也可直接按照识别出的字符的字体进行显示。

如果显示图像的内容中既有文字区域又有插图区域，即显示图像为图文并茂的图像，较优地，终端设备可以根据每个插图区域的文字环绕方式、对齐方式、与文字段落的相对位置、当前显示视图的尺寸以及文字区域中各段落的段落信息，对文字区域中的字符以及插图区域进行重新排版显示。而且，用户还可以拖动插图区域来改变插图区域与文字区域的位置关系。

对于显示图像中的文字区域中有分栏或不规则区域的情况，较优地，对显示图像进行字符识别得到的字符识别结果中还包括分栏信息，终端设备可以根据识别出的各栏或不规则区域的位置，按照从左到右、从上到下的排版规则依次对文字区域中各分栏内拆栏后，将拆栏得到的有先后顺序的字符进行自适应排版显示。

2)对笔记信息进行自适应排版。

若显示图像的内容进行了自适应排版，那么与显示图像关联的笔记信息也可以进行相应的自适应排版显示。

若笔记为非字符类的笔记，如下划线、波浪线、点划线等，则笔记信息与显示图像的内容之间的相对位置可以为笔记上各轨迹点与显示图像的内容之间的相对位置，轨迹点与内容之间的相对位置包含轨迹点所在段的段号、所在行的行号、所涉及的字符、与字符之间的距离等。在这种情况下，终端设备对笔记信息进行自适应排版时，可以根据自适应排版后的显示图像的字符识别结果(版面信息和字符信息)以及各轨迹点在自适应排版前与显示图像的内容之间的相对位置，确定出各轨迹点在自适应排版后与显示图像的内容之间的相对位置，从而可以根据该相对位置显示自适应排版后的笔记信息。其中，可以根据自适应排版后显示图像的字符的字号、行间距等信息，调整笔记中各轨迹点与显示图像的字符之间的距离，例如，若自适应排版后显示图像的字符的字号和行间距变大，则相应增大笔记中各轨迹点与显示图像的字符之间的距离。

若笔记为三角符，五角星，星号等，且终端设备将对应的图片作为笔记内容，则笔记信息与显示图像的内容之间的相对位置可以为对应图片在显示图像的内容中的位置，终端设备对笔记信息进行自适应排版时，可以根据自适应排版后的显示图像的字符识别结果以及对应图片在自适应排版前的显示图像的内容中的位置，确定出对应图片在自适应排版后的显示图像的内容中的位置，从而可以根据该位置显示对应图片。其中，可以根据自适应排版后显示图像的字符的字号、行间距等信息，调整对应图片的大小，例如，若自适应排版后显示图像的字符的字号和行间距变大，则对相应图片进行放大操作。

如图16e所示，为对显示图像进行自适应排版前，用户所做的笔记信息的示意图，终端设备对显示图像的内容进行自适应排版后，显示图像的内容中，各字符的坐标发生了变化，那么用户所划的波浪线中各轨迹点在显示图像中的位置也要相应发生变化，此外，星号标记在显示图像的内容中的位置也会相应发生变化，终端设备根据自适应排版后的显示图像的字符识别结果，确定自适应排版后，波浪线中各轨迹点与显示图像的内容之间的相对位置，以及星号标记在显示图像的内容中的位置，如图16f所示，为对显示图像和笔记信息进行自适应排版的示意图。由图16f可以看出，显示图像的内容进行了自适应排版后，笔记信息也会相应的进行自适应排版显示。

其中，若笔记信息自适应排版后，相邻轨迹点之间的距离比较大(例如大于设定的距离阈值)，为了平滑显示笔记的线条，终端设备可以采用插值算法，在相邻轨迹点中插入若干个轨迹点，并依次连接各轨迹点即可得到自适应排版后的笔记信息。

若笔记为字符类笔记，例如注释的内容等，且字符为用户的手写字符，则笔记信息与显示图像的内容之间的相对位置也可以为笔记上各轨迹点与显示图像的内容之间的相对位置。注释的内容一般位于显示图像的空白处，因此终端设备可以根据自适应排版后的显示图像的字符识别结果，获知笔记位置周围空白区域的大小，然后根据空白区域的大小以及排版前各轨迹点与显示图像的内容之间的相对位置，确定出各轨迹点在自适应排版后与显示图像的内容之间的相对位置，从而可以根据该相对位置显示自适应排版后的笔记信息。

如图16g所示，为对显示图像进行自适应排版前，用户所做的笔记信息的示意图，如图16h所示，为对显示图像和笔记信息进行自适应排版的示意图。

此外，终端设备也可以在对笔记进行自适应排版时，识别用户输入的手写字符的内容，将手写字符转换为系统支持的字体格式的印刷体字符，并在空白区域自适应显示转换后的印刷体字符。如图16i所示，为将手写字符转换为印刷体字符后，对显示图像和笔记信息进行自适应排版的示意图。

若笔记为字符类笔记，例如注释的内容等，且字符为非手写字符，可能是用户通过系统提供的输入功能输入的印刷体字符，或由手写字符转换得到的印刷体字符，则笔记信息与显示图像的内容之间的相对位置可以为各字符在显示图像的内容中的坐标。注释的内容一般位于显示图像的空白处，因此终端设备可以根据自适应排版后的显示图像的字符识别结果，获知笔记位置周围空白区域的大小，然后根据空白区域的大小以及排版前笔记中的各字符在显示图像的内容中的坐标，确定出自适应排版后笔记中的各字符在显示图像的内容中的坐标，另外，根据空白区域的大小以及排版后显示图像的字符的字号，确定出自适应排版后笔记中的各字符的字号，从而可以根据自适应排版后笔记中的各字符在显示图像的内容中的坐标以及字号，显示自适应排版后的笔记信息。

当显示的图像中包含有痕的手写笔记时，这些笔记可能并不是用户本人做的，而是在显示图像中已经存在的笔记，而这些笔记对于用户来说可能是不需要的，或用户只需要其中某一部分的笔记，或已存在的笔记可能非常凌乱，影响了用户的正常阅读，在上述情况下，用户可能希望得到一个整洁的文档，只保留需要的笔记。本发明实施例六提出，终端设备可以对显示图像进行字符识别及手写体识别，识别出已存在的笔记内容，终端设备可以将识别出的笔记信息和显示图像关联保存，并保存笔记信息与显示图像的内容之间的相对位置。后续，用户可以在显示图像上对识别出的笔记信息进行缩放、编辑、突出显示以及调整笔记排版等相关操作。

当用户完全不需要已存在的笔记时，可以通过终端设备提供的一键擦除功能，在显示图像上擦除笔记内容，终端设备将笔记内容的像素替换成文档的背景图像。此外，用户也可以只擦除部分笔记内容，用户选择需要擦除的笔记内容后，通过终端设备提供的擦除功能进行擦除，擦除的笔记内容的像素替换成文档的背景图像。

当用户希望得到一个整洁的不包含笔记内容的文档时，终端设备可以在接收到用户的隐藏笔记的指令后，隐藏笔记信息，并在接收到用户的显示笔记的指令后，显示笔记信息。

当已存在的笔记内容很乱时，终端设备也可以在UI上提供手写字符转换为印刷体字符的虚拟按键，当用户点击该虚拟按键时，终端设备将识别出的手写字符转换为印刷体字符。

由上可见，通过对显示图像中已存在的笔记进行自适应重排版，用户可以得到一个整洁的、含所需要的笔记内容的文档，大大提高了用户的阅读体验。

2、针对缩放操作的自适应排版。

现有技术对图像进行缩放(缩小或放大)时，仅能对图像进行像素级等比例的缩放，对图像本身像素的大小依赖较大，另一方面，如果图像本身较大，其中的字符较小，用户需要放大显示，但是放大显示时，整个图像也被放大，想要查看全部图像内容就要上下左右来回反复拖动图像，很不方面。而本发明实施例六中，终端设备可以对显示图像先进行字符识别(例如OCR识别)，然后根据得到的字符识别结果进行自适应排版显示，那么当用户进行缩放操作时，由于已经获取了字符的内码，因此字符缩放并不是字符的像素的缩放，而是通过改变字符的字号以及自动换行来实现缩放，这样就省去了反复拖动图像的麻烦，仅上下翻动图像即可方便的阅读全部内容，不受图像分辨率的限制。

本发明实施例六中，缩放操作的对象可以是图像中的全部内容，即进行全文缩放。缩放操作的对象也可以为指定信息，此时，终端设备只针对指定信息进行缩放，其他内容的大小保持不变。

其中，上述指定信息包括下述信息中的至少一种：

笔记信息；

显示图像的内容中，笔记信息所涉及的内容；

笔记信息以及显示图像的内容中，指定区域的内容或指定类型的内容。

其中，笔记信息所涉及的内容是笔记信息实际针对的内容，例如，“目前智能手机通常采用触摸屏技术”下方标记有下划线，那么该下划线所涉及的内容即为“目前智能手机通常采用触摸屏技术”。

1)全文缩放。

在进行全文缩放时，若显示图像关联有笔记信息，那么笔记信息需要进行相应的自适应排版。

若笔记为非字符类的笔记，如下划线、波浪线、点划线等，终端设备对全文进行缩放后，显示图像中的字符的位置和字号大小发生了变化，终端设备此时可以根据缩放后的显示图像的字符识别结果以及各轨迹点与缩放前的显示图像的内容之间的相对位置，确定出各轨迹点与缩放后的显示图像的内容之间的相对位置，从而可以根据该相对位置显示自适应排版后的笔记信息。其中，可以根据缩放后显示图像的字符的字号、行间距等信息，调整笔记中各轨迹点与显示图像的字符之间的距离，例如，若缩放后显示图像的字符的字号和行间距变大，则相应增大笔记中各轨迹点与显示图像的字符之间的距离。

若笔记为三角符，五角星，星号等，且终端设备将对应的图片作为笔记内容，则终端设备可以根据缩放后的显示图像的字符识别结果以及对应图片在缩放前的显示图像的内容中的位置，确定出对应图片在缩放后的显示图像的内容中的位置，从而可以根据确定出的位置来显示对应图片。其中，可以根据缩放后显示图像的字符的字号、行间距等信息，调整对应图片的大小。

若笔记为字符类笔记，例如注释的内容等，且字符为用户的手写字符，则终端设备可以根据缩放后的显示图像的字符识别结果，获知笔记位置周围空白区域的大小，然后根据空白区域的大小以及各轨迹点与缩放前的显示图像的内容之间的相对位置，确定出各轨迹点与缩放后的显示图像的内容之间的相对位置，从而可以根据该相对位置显示自适应排版后的笔记信息，终端设备在对手写字符进行自适应排版时，可以实现适应空白区域的自动换行。

若笔记为字符类笔记，例如注释的内容等，且字符为非手写字符，则终端设备可以根据缩放后的显示图像的字符识别结果，获知笔记位置周围空白区域的大小，然后根据空白区域的大小以及笔记中的各字符在缩放前的显示图像的内容中的坐标，确定出笔记中的各字符在缩放后的显示图像的内容中的坐标，另外，根据空白区域的大小以及缩放后的显示图像的字符的字号，确定出自适应排版后笔记中的各字符的字号，从而可以根据自适应排版后笔记中的各字符在显示图像的内容中的坐标以及字号，显示自适应排版后的笔记信息，终端设备在对非手写字符进行自适应排版时，可以实现适应空白区域的自动换行。

2)针对笔记信息的缩放。

若笔记为非字符类的笔记，如下划线、波浪线、点划线等，则终端设备对笔记信息的缩放可以理解为对笔记的线条宽度进行相应的减小或增大。

若笔记为三角符，五角星，星号等，且终端设备将对应的图片作为笔记内容，则终端设备对笔记信息的缩放操作可以理解为对相应图片的缩放操作。

若笔记为字符类笔记，例如注释的内容等，且字符为用户的手写字符，则终端设备对笔记信息的缩放操作可以理解为在空白区域中对手写字符进行缩放操作，并在缩放时对手写字符进行适应空白区域的自动换行。终端设备根据显示图像的字符识别结果，获知笔记位置周围空白区域的大小，然后根据空白区域的大小、缩放指令指示的缩放级别、缩放操作前各轨迹点与显示图像的内容之间的相对位置，确定出各轨迹点在缩放操作后与显示图像的内容之间的相对位置，根据该相对位置显示笔记信息，从而实现了对笔记信息的缩放操作。

若笔记为字符类笔记，例如注释的内容等，且字符为非手写字符，则终端设备对笔记信息的缩放操作可以理解为对字符的字号进行缩放操作，并在缩放时对各字符进行适应空白区域的自动换行。终端设备根据缩放指令指示的缩放级别、缩放操作前笔记中各字符的字号，确定缩放操作后笔记中的各字符的字号，另外，根据空白区域的大小、缩放操作后字符的字号以及缩放操作前笔记中各字符在显示图像的内容中的坐标，确定出缩放操作后笔记中的各字符在显示图像的内容中的坐标，根据确定出的相对位置和字符的字号显示笔记信息，从而实现了对笔记信息的缩放操作。

本发明实施例六提出，终端设备可以针对全部笔记信息进行缩放操作，即用户通过手势、语音、按键等方式触发缩放指令后，终端设备可以对显示图像中的所有笔记信息进行缩放操作。

此外，终端设备也可以对指定类型的笔记信息或指定的笔记信息进行缩放操作。例如，终端设备针对笔记信息中所有注释的内容进行缩放操作，或者终端设备只针对某一个注释的内容进行缩放操作。

3)针对笔记信息所涉及的内容的缩放。

终端设备也可以针对笔记信息所涉及的内容进行缩放操作，其中，可以针对全部笔记信息所涉及的内容进行缩放操作，或是针对指定类型的笔记信息所涉及的内容或指定的笔记信息所涉及的内容进行缩放操作。例如，终端设备可以针对所有标记了下划线的文字进行缩放操作，或者只针对其中的某一条下划线对应的文字进行缩放操作。

如图17a和图17d所示，为缩放操作前用户所做的笔记信息示意图，如图17b和图17e所示，为用户对星号标记所涉及的内容进行缩放操作的示意图，如图17c所示，为用户对图17a中的波浪线所涉及的内容进行缩放操作的示意图。

本发明实施例六中，终端设备对笔记信息所涉及的内容进行缩放时，也可以对笔记信息进行相应的自适应排版。其中，对笔记信息进行自适应排版的方式和全文缩放时对笔记信息进行自适应排版的方式一致，这里不再赘述。

4)针对指定区域的缩放。

用户可以在笔记信息以及显示图像的内容中，选取指定区域，终端设备从而能够确定出进行缩放操作的指定区域，终端设备接收到用户的缩放指令后，对上述指定区域中的内容进行缩放显示，其他内容大小保持不变。

其中，用户选取指定区域的方式和本发明实施例三中用户选择需要作笔记的局部区域的方式一致，这里不再赘述。

在确定出指定区域后，终端设备可以通过加底色、加边缘框等方式突出显示指定区域中的信息，如果用户发现有一部分希望选取的内容未被选取，或者多选取了一部分不希望选取的内容，用户可以通过拖动指定区域边缘框的位置对指定区域进行调整。

图17f～图17i均示出了终端设备针对指定区域进行缩放的示意图。

本发明实施例六中，终端设备对指定区域的内容进行缩放时，如果用户对指定区域做了笔记，则也可以对笔记信息进行相应的自适应排版。其中，对笔记信息进行自适应排版的方式和全文缩放时对笔记信息进行自适应排版的方式一致，这里不再赘述。

此外，当终端设备对指定区域的内容进行缩放操作后，指定区域的边缘框也需要相应进行调整，终端设备根据缩放后的指定区域的内容调整边缘框。如图17j所示，为用户选取的需要进行缩放操作的指定区域的示意图，如图17k所示，为对指定内容进行缩放后的边缘框的示意图，如图17l所示，为调整后的边缘框的示意图。

5)针对指定类型的内容的缩放。

本发明实施例六中，指定类型的内容可以但不限于为指定字体的内容、指定格式的内容、指定符号、标题、提纲、目录、出现频率较高的内容、文字、插图等。

终端设备通过字符识别技术(例如OCR技术)，可以从显示图像中自动检测出指定字体的内容，如粗体的内容、斜体的内容等，也能够检测出指定格式的内容，如不同字体颜色的内容、字号较大的内容、高亮显示的内容等，还能够检测出指定符号(如引号、书名号等)、文字、插图等内容。

本发明实施例六提出，对于排版较规范的文档，终端设备可以自动提取文档提纲或目录。其中，终端设备可以根据对显示图像进行字符识别得到的字体、字号、对齐方式等信息，识别出文档的大标题、副标题、小标题、重点内容等大致文档结构，整合得到的上述信息就可以得到文档的提纲或目录，终端设备可以将文档的内容与得到的提纲或目录相关联。

由于得到了提纲或目录信息，用户在阅读含有很多字符的显示图像时，就会非常方便。用户在阅读显示图像时，可以随时调出提纲视图或目录，然后选择想要关注的部分，对应的内容就会立即呈现在显示屏幕上，这在很大程度上提高了用户阅读的效率以及阅读体验。

此外，终端设备也可以通过字符识别技术(例如OCR技术)，从显示图像中检测出出现频率较高的内容(例如出现频率大于设定的频率阈值)，检测出的这些内容可能是用户想要重点关注的内容，因此也可以作为指定类型的内容。

终端设备对指定类型的内容进行缩放时，如果用户对指定类型的内容做了笔记，则也可以对笔记信息进行相应的自适应排版。其中，对笔记信息进行自适应排版的方式和全文缩放时对笔记信息进行自适应排版的方式一致，这里不再赘述。

3、针对编辑操作的自适应排版。

本发明实施例六提出，终端设备对显示图像进行字符识别(例如OCR识别)后，用户可以针对字符识别结果进行剪切、复制、粘贴、擦除等编辑操作，终端设备根据用户的编辑操作对内容进行相应的编辑处理。

当用户执行复制操作时，终端设备将用户选取的需要复制的内容复制到剪贴板，以便后续进行粘贴等操作。

当用户执行剪切、粘贴、擦除等操作时，由于终端设备显示的内容发生了改变，因此终端设备可以对显示的内容进行重新排版后显示。

本发明实施例六中，终端设备可以针对上述指定信息进行编辑操作。例如，如图18a和图18c所示，为用户所做的笔记信息的示意图，如图18b所示，终端设备在图18a中只擦除了标记符号

的笔记信息所涉及的内容，如图18d所示，终端设备在图18c中只擦除了标记符号“★”和

的笔记信息所涉及的内容。

在对显示的内容进行部分擦除时，用户可以点击橡皮擦擦除键向终端设备发送橡皮擦擦除指令，终端设备接收到橡皮擦擦除指令后，若进一步检测到用户在显示屏幕上的滑动操作，则确定滑动操作的滑动轨迹，并将该滑动轨迹所经过的字符从文字区域中删除，然后再将其他内容进行重排版后显示。

现有的针对图像的橡皮擦擦除功能允许用户直接在图像中进行涂抹，被涂抹掉的位置会成为空白区域，而本发明实施例六的橡皮擦擦除功能支持擦除后的重排版，被擦除字符的位置会被周围的上下文字符填补，不会出现空白区域，更为美观，且可使得用户阅读也更为舒适。

4、横竖屏转换时的自适应排版。

当终端设备进行横竖屏转换时，可以根据转换后的显示屏幕的宽度，重新确定当前显示视图的尺寸，根据重新确定的当前显示视图的尺寸以及显示图像的字符识别结果，对显示图像的内容进行重新排版后在显示屏幕上显示。

现有的图像显示方式中，在终端设备进行横竖屏转换时，仅能改变图像的横向或竖向显示，当图像为竖版，而屏幕置于横屏状态时，图像的显示会默认以高度满屏显示，这个时候显示的图像会被缩小，不便于用户查看阅读。而本发明实施例六支持横竖屏转换时，重新确定显示视图的尺寸，并将显示的内容重新适应显示屏幕，以便于用户查看阅读。

图19a和图19b示出了横竖屏转换时进行重排版显示的示意图。

其中，用户可通过对终端设备进行旋转操作，来改变横屏及竖屏的显示方式。

本发明实施例六中，若显示图像关联有笔记信息，则当横竖屏转换时，显示图像中的字符的位置及大小可能发生变化，因此与显示图像关联的笔记信息也可以进行相应的自适应排版显示。其中，终端设备对笔记信息进行自适应排版的方式和根据显示视图对笔记信息进行自适应排版的方式一致，这里不再赘述。

如图19c和图19e所示，为横竖屏转换前用户所做的笔记信息的示意图，如图19d和图19f所示，为横竖屏转换后，对笔记信息进行自适应排版的示意图。

二、根据笔记调整内容。

若显示图像关联了笔记信息，用户想要根据笔记对显示图像的内容进行调整，则可以启动内容调整功能，终端接收到内容调整指令后，根据笔记信息对显示图像的内容进行调整，并对调整后的内容进行重排版后显示。

其中，终端设备具体可通过下述方式中的至少一种对显示图像的内容进行调整：

在显示图像的内容中，将删除符涉及的内容删除；

将插入的内容插入到所述插入符所指示的位置处；

在显示图像的内容中，对位置调整符所涉及的内容进行位置调整；

在显示图像的内容中，将重点符号所涉及的内容进行突出显示。

图20a和图20c示出了用户所做的编辑信息的示意图。其中，编辑信息①为插入符和插入的内容，编辑信息②为删除符，编辑信息③为位置调整符。若用户启动内容调整功能，则终端设备可以根据上述编辑信息调整图像的内容，调整后的内容如图20b和图20d所示。

由上可见，用户可通过对显示内容的调整，将一些杂乱显示的笔记信息和显示的内容调整为自己所期望的显示方式，提升了自身查阅笔记信息的体验。

三、突出显示。

终端设备可以设置突出显示功能，用户启动突出显示功能时，终端设备接收到突出显示指令，然后突出显示指定信息。上述指定信息包括下述信息中的至少一种：

笔记信息；

显示图像的内容中，笔记信息所涉及的内容；

笔记信息以及显示图像的内容中，指定区域的内容或指定类型的内容。

其中，终端设备可以在接收到突出显示指令后，突出显示全部笔记信息、指定类型的笔记信息或指定的笔记信息。例如，用户在对书本进行实时拍摄时，在某一段落旁加入了一段注释内容“这一段写的太好了”，那么终端设备在接收到突出显示指令后，可以通过加底色等方式突出显示上述注释内容。

终端设备可以在接收到突出显示指令后，突出显示全部笔记信息所涉及的内容、或是指定类型的笔记信息所涉及的内容、或是指定的笔记信息所涉及的内容。例如，用户在对书本进行实时拍摄时，在某一段文字下方标记了下划线，那么终端设备在接收到突出显示指令后，可以通过高亮显示等方式突出显示标记了下划线的文字。

终端设备可以在接收到突出显示指令后，突出显示指定区域的内容。其中，用户可以在笔记信息和显示图像的内容中，选取指定区域，后续终端设备可以突出显示指定区域中的内容。指定区域的选取方式和本发明实施例三中用户选择需要作笔记的局部区域的方式一致，这里不再赘述。

终端设备可以在接收到突出显示指令后，突出显示笔记信息和显示图像的内容中，指定类型的内容。其中，指定类型的内容可以但不限于为指定字体的内容、指定格式的内容、指定符号、标题、提纲、目录、出现频率较高的内容、文字、插图等。

其中，终端设备可以但不限于通过加粗字体、放大字体、高亮显示、加底色、隐藏指定信息之外的其他信息等方式，突出显示上述指定信息。

本发明实施例六中，在笔记信息和显示图像的内容中，用户可能只想要关注某些重点信息，此时，终端设备可以只显示用户选择的指定信息，而隐藏指定信息之外的其他信息。例如，用户选择的指定信息为文字，则终端设备根据当前显示视图的尺寸，仅将显示图像的内容中的文字重新排版后在显示屏幕上显示，将插图部分进行隐藏；再如，用户选择的指定信息为插图，则终端设备可以仅将显示图像的内容中的插图在显示屏幕上显示，将文字部分进行隐藏；又如，用户在显示图像上做了很多笔记，有时候用户可能希望看到的是一个干净整洁的文档，而不需要查看所做的笔记，此时终端设备可以在接收到用户的隐藏笔记的指令后，隐藏笔记信息，并在接收到用户的显示笔记的指令后，显示笔记信息。

当隐藏指定信息之外的其他信息时，用户可随时调出隐藏的内容。例如，终端设备可以通过折叠隐藏的方式对其他信息进行隐藏，用户可随时对隐藏的内容展开显示。

此外，终端设备可以完全隐藏指定信息之外的其他信息，当指定信息之外的其他信息中含有插图时，也可以对插图进行半透明化或模糊处理后，将插图直接置于指定信息下方作为背景画面进行显示。

图21a和图21b示出了终端设备可以仅显示文字以及仅显示插图。

图21c示出了终端设备可以隐藏注释的内容。

四、调整笔记内容。

本发明实施例六提出，终端设备在显示笔记信息时，可以根据用户的需要调整笔记信息的笔记类型。用户可以先选择需要调整笔记类型的笔记信息，终端设备在UI中向用户提供更改笔记类型的虚拟按键，当用户点击了该虚拟按键后，终端设备在UI中将事先统计的用户常用的笔记类型对应的虚拟按键提供给用户，用户选择调整后的笔记类型，并点击对应的虚拟按键，终端设备根据用户的选择对笔记信息的笔记类型进行调整。

例如，用户在显示图像的某段文字下方划了波浪线，当用户想要更改该波浪线的笔记类型时，可以点击该波浪线在显示屏幕中显示时的显示位置，终端设备在UI中向用户提供更改笔记类型的虚拟按键，当用户点击了该虚拟按键后，终端设备确定用户想要更改该波浪线的笔记类型，因此终端设备通过UI界面，将事先统计的笔记类型对应的虚拟按键提供给用户，用户根据需要选择调整后的笔记类型，并点击对应的虚拟按键，终端设备根据用户的选择对笔记信息的笔记类型进行调整。

如图22a和22e所示，用户选择了需要调整笔记类型的笔记信息；如图22b和图22f所示，终端设备在UI中向用户提供更改笔记类型的虚拟按键；如图22c和图22g所示，终端设备在UI中将事先统计的用户常用的笔记类型对应的虚拟按键提供给用户；如图22d和图22h所示，终端设备根据用户的选择对笔记信息的笔记类型进行调整。

本发明实施例六提出，终端设备也可以调整笔记信息所涉及的内容。用户可以先选择需要调整所涉及的内容的笔记信息，终端设备在UI中向用户提供编辑笔记信息的虚拟按键，当用户点击了该虚拟按键后，终端设备在UI中向用户提供扩大笔记范围和缩小笔记范围的虚拟按键，若用户点击了扩大笔记范围的虚拟按键，则可以通过在显示屏幕上的上下滑动来扩大笔记范围，从而扩大了笔记所涉及的内容，若用户点击了缩小笔记范围的虚拟按键，则可以通过在显示屏幕上的上下滑动来缩小笔记范围，从而缩小了笔记所涉及的内容。

如图22i所示，用户选择了需要调整笔记类型的笔记信息后，终端设备在UI中向用户提供编辑笔记的虚拟按键；如图22j所示，终端设备在UI中向用户提供扩大笔记范围和缩小笔记范围的虚拟按键；如图22k所示，用户点击了扩大笔记范围的虚拟按键；如图221所示，用户可以通过在显示屏幕上向下滑动来扩大笔记范围；如图22m所示，用户点击了缩小笔记范围的虚拟按键；如图22n所示，用户可以通过在显示屏幕上向上滑动来缩小笔记范围。

此外，当用户所做的笔记中包含手写字符时，终端设备可以从笔记信息中识别出手写字符，将识别出的字符由手写格式转换为印刷体格式，并显示转换后的字符。

其中，用户可以设置转换后的字符的字体格式以及字符的字号；终端设备也可以根据显示图像的内容中字符的字体和字号，确定转换后的字符的字体格式和字号。

终端设备可以在用户选择手写字符后，在UI中向用户提供转换字符格式的虚拟按键，如果用户确认将手写字符转换为印刷体字符，则终端设备将手写字符转换为印刷体字符，并显示转换后的字符。

如图22o所示，用户选择手写字符后，终端设备在UI中向用户提供转换字符格式的虚拟按键，如图22p所示，用户点击了转换为印刷体字符的虚拟按键后，终端设备将手写字符转换为印刷体字符。

此外，本发明实施例六还提出，用户也可以根据需要删除某些笔记信息，例如，用户在查看笔记信息时，删除了某个注释的内容，后续用户点击了保存按键后，终端设备将删除了该注释的内容之后的笔记信息与显示图像关联保存。

本发明实施例六提出，终端设备若检测到用户所做的笔记存在明显的偏差，则可以自动进行纠偏处理，或是询问用户是否进行纠偏处理，并在用户确认纠偏后，对检测出的笔记信息进行纠偏。

其中，终端设备在检错笔记是否存在明显偏差时，可以针对笔记上的每个轨迹点，分别预估下一个轨迹点的位置，将预估的位置和下一个轨迹点的实际位置进行比对，若比对得到预估的位置和下一个轨迹点的实际位置之间的距离超过了设定距离阈值，则将该下一个轨迹点作为偏差轨迹点，若连续设定数目个轨迹点均为偏差轨迹点，则可以认为笔记存在明显偏差。其中，终端设备可以根据轨迹点的预估位置，来估计下一个轨迹点的位置。

终端设备在进行纠偏处理时，针对每一个偏差轨迹点，可以根据该偏差轨迹点的预估位置对该偏差轨迹点进行纠偏处理，例如，将该偏差轨迹点在显示图像中的位置调整为预估出的该偏差轨迹点的位置。后续用户点击了保存按键后，终端设备保存纠偏后的笔记信息与显示图像的内容之间的相对位置。

五、检索操作。

本发明实施例六提出，用户可以在终端设备显示的内容中进行检索。

在第一种实现方式中，用户在终端设备的UI中输入检索词，终端设备根据用户输入的检索词，在显示图像的内容中进行检索。由于上述提到的指定信息(例如笔记信息或笔记信息所涉及的内容)一般为用户重点关注的信息，因此，本发明实施例六提出，终端设备根据检索词在显示图像的内容中进行检索时，可以优先在上述指定信息中检索，如果终端设备按照检索的先后顺序显示检索结果，那么用户可以先看到在指定信息中的检索结果，从而提高了检索效率及用户的检索体验。

其中，终端设备可以在接收到检索指令后，优先在全部笔记信息、指定类型的笔记信息或指定的笔记信息中进行检索。例如，用户输入检索词后，终端设备优先在用户输入的注释的内容中进行检索，那么终端设备就会优先显示在注释的内容中的检索结果。

终端设备可以在接收到检索指令后，优先在全部笔记信息所涉及的内容、或是指定类型的笔记信息所涉及的内容、或是指定的笔记信息所涉及的内容中进行检索。例如，用户输入检索词后，终端设备优先在标记了下划线和波浪线的内容中进行检索，那么终端设备就会优先显示在标记了下划线和波浪线的内容中的检索结果。

终端设备可以在接收到检索指令后，优先在指定区域的内容中进行检索。指定区域的选取方式和本发明实施例三中用户选择需要作笔记的局部区域的方式一致，这里不再赘述。

终端设备可以在接收到检索指令后，优先在指定类型的内容中进行检索，其中，指定类型的内容可以但不限于为指定字体的内容、指定格式的内容、指定符号、标题、提纲、目录、出现频率较高的内容、文字、插图等。

在第二种实现方式中，终端设备可以在接收到用户发送的检索指令后，根据上述指定信息确定检索词，并根据确定出的检索词执行检索操作。由于上述提到的指定信息(例如笔记信息或笔记信息所涉及的内容)一般为用户重点关注的信息，因此，终端设备根据上述指定信息确定出的检索词进行检索时，可以更为快速的检索到用户想要的信息，提高了检索效率及用户的检索体验。

终端设备可以根据上述指定信息，自动为用户确定出检索词，终端设备可以将指定信息的完整内容作为检索词，也可以从指定信息中提取出关键内容作为检索词。

其中，终端设备可以在接收到检索指令后，根据全部笔记信息、指定类型的笔记信息或指定的笔记信息确定检索词。例如，用户输入的注释的内容为“需要重点关注孩子的心理健康”，终端设备接收到检索指令后，可以从注释的内容中提取出“心理健康”这一关键内容作为检索词，那么终端设备就会根据该检索词进行检索。

终端设备可以在接收到检索指令后，根据全部笔记信息所涉及的内容、或是指定类型的笔记信息所涉及的内容、或是指定的笔记信息所涉及的内容确定检索词。例如，用户在“心理健康”下方划了波浪线，或在“孩子的心理健康非常重要”下方划了波浪线，终端设备接收到检索指令后，可以将“心理健康”作为检索词，那么终端设备就会根据该检索词进行检索。

终端设备可以在接收到检索指令后，根据指定区域的内容确定检索词。指定区域的选取方式和本发明实施例三中用户选择需要作笔记的局部区域的方式一致，这里不再赘述。

终端设备可以在接收到检索指令后，根据指定类型的内容确定检索词，其中，指定类型的内容可以但不限于为指定字体的内容、指定格式的内容、指定符号、标题、提纲、目录、出现频率较高的内容、文字、插图等。

此外，终端设备也可以根据上述指定信息，实时为用户提供可选的检索信息作为输入检索词时的参考，帮助用户快速准确的确定检索词。由于上述提到的指定信息(例如笔记信息或笔记信息所涉及的内容)一般为用户重点关注的信息，所以当用户在UI提供的检索词输入框中输入检索词时，终端设备可以根据上述指定信息确定出参考检索词加载到输入框的下方，以供用户选择。若用户在参考检索词中选择了某一检索词，则终端设备可以直接根据该检索词执行检索操作，大大提高了用户检索的便利性。

终端设备还可以根据用户当前输入的检索词的部分内容，在上述指定信息中实时匹配，并实时更新当前显示的参考检索词，这样当用户输入部分内容时，终端设备能预先快速匹配到用户真正想要输入的检索词。

其中，终端设备可以将指定信息的完整内容作为参考检索词，也可以从指定信息中提取出关键内容作为参考检索词。

终端设备根据上述指定信息确定出检索词后，可以按照现有的方式进行检索，也可以按照第一种实现方式，优先在指定信息中进行检索。

在第三种实现方式中，终端设备接收到检索指令后，可以在检索结果中优先显示与上述指定信息相关的检索结果，由于上述提到的指定信息(例如笔记信息或笔记信息所涉及的内容)一般为用户重点关注的信息，因此用户可以在检索结果中快速的看到所重点关注的信息，而不需要翻找检索结果，提高了用户的检索体验。

其中，终端设备可以在执行检索操作后，优先显示与全部笔记信息、指定类型的笔记信息或指定的笔记信息相关的检索结果。例如，用户输入的注释的内容为“需要重点关注孩子的心理健康”，终端设备执行检索操作后，可以优先显示与心理健康相关的检索结果。

终端设备可以在执行检索操作后，优先显示与全部笔记信息所涉及的内容、或是指定类型的笔记信息所涉及的内容、或是指定的笔记信息所涉及的内容相关的检索结果。例如，用户在“心理健康”下方划了波浪线，或在“孩子的心理健康非常重要”下方划了波浪线，终端设备执行检索操作后，可以优先显示与心理健康相关的检索结果。

终端设备可以在执行检索操作后，优先显示与指定区域的内容相关的检索结果。指定区域的选取方式和本发明实施例三中用户选择需要作笔记的局部区域的方式一致，这里不再赘述。

终端设备可以在执行检索操作后，优先显示与指定类型的内容相关的检索结果，其中，指定类型的内容可以但不限于为指定字体的内容、指定格式的内容、指定符号、标题、提纲、目录、出现频率较高的内容、文字、插图等。

其中，终端设备可以按照现有的检索方法执行检索操作，也可以按照上述第一种实现方式执行检索操作，还可以按照上述第二种实现方式执行检索操作。

终端设备执行检索操作时，可以在云端存储的数据中进行检索，也可以在终端设备存储的内容中进行检索，还可以在终端设备当前显示的图像的内容及笔记信息中进行检索。

此外，为了便于用户阅读，终端设备还可将检索结果进行突出显示，如高亮显示、加底色显示等。

如图23a和图23c示出了检索词为粗体的字符时，终端设备检索到的检索结果的示意图；图23b示出了用户指定的检索词为“linux”时，终端设备检索到的检索结果的示意图；图23d示出了用户指定的检索词为“艾艾”时，终端设备检索到的检索结果的示意图。

六、背景显示。

终端设备在显示图像的内容时，还可以显示图像中的背景。

在一种实现方式中，终端设备从显示图像中提取出完整背景图像，将提取出的完整背景图像作为显示图像的背景图像进行显示。其中，终端设备可以根据显示图像中的非字符区域的背景信息还原得到完整背景图像。而且，终端设备还可根据显示屏幕的尺寸调整背景图像的尺寸。由此可见，在这种显示背景图像的方法中，若对显示图像的内容进行了调整(例如删除了某段文字或是调整了文字的字体)，那么背景图像保持不变。

在另一种实现方式中，终端设备针对显示图像中的每个字符，分别提取出对应的背景图像，并将提取出的背景图像作为对应字符的背景图像进行显示，也就是说，各字符对应的背景图像是不同的。由此可见，在这种显示背景图像的方法中，若对显示图像的内容进行了调整，那么背景图像是变化的，例如，删除了某段文字，则删除的文字对应的背景图像也相应删除，再如，插入了某段文字，则根据周围文字的背景图像对插入的文字对应的背景图像进行拟合。

七、三维模型显示。

若终端设备实时拍摄的拍摄对象为三维模型展示页面或者终端设备显示的静态图像为三维模型展示页面的图像，则终端设备在显示图像时，可以调用并显示与该三维模型展示页面相应的三维模型图。

其中，终端设备中可以预先安装有三维模型展示软件，当终端设备检测到显示图像中包含三维模型图，且用户选择展示该三维模型图时，可以从本地存储的数据或是从云端存储的数据中调用该三维模型图并进行显示。

终端设备在实时拍摄时，还可以根据实时拍摄的拍摄角度，实时调整三维模型图的显示视角。具体地，三维模型展示页面上有至少三个标示位，终端设备可以实时根据摄像头与各标示位之间的距离、角度等参数，对三维模型图的显示视角进行调整。

八、缩略图显示。

在实际应用中，实时拍摄的拍摄对象可能是面积较大的书页，如杂志书刊的页面，或者终端设备当前显示的图像可能为面积较大的书页的图像，那么图像中的文字会比较小，不便于查看，因此，用户可以针对某个局部区域进行查看，此时，可以在显示屏幕中显示当前查看的局部区域在全局区域中的缩略图，从而能够获知当前查看的局部区域在整体中的位置。

此外，在终端设备实时拍摄时，若当前拍摄的区域为拍摄对象的局部区域，终端设备也可以在显示屏幕中显示当前拍摄的局部区域在全局区域中的缩略图。

需要注意的是，本发明实施例一至本发明实施例六提出的获取笔记信息的方法可以适用于各种语言种类的拍摄对象(书本或报刊等)，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，当拍摄对象为除中文或英语之外的其他语种的书本或报刊时，终端设备同样可以采用本发明的原理执行上述处理流程，这些都应视为本发明的保护范围。

实施例七

基于上述的获取笔记信息的方法，本发明实施例七提出一种获取笔记信息的装置，其内部结构框图如图24所示，包括：

笔记获取单元2401，用于实时拍摄获取对拍摄对象所做的笔记信息；

笔记关联显示单元2402，用于关联上述拍摄对象和上述笔记信息并显示。

进一步地，笔记获取单元2401，具体用于通过跟踪在上述拍摄对象上的操作或在显示屏幕上的操作，获取对拍摄对象所做的笔记信息。

进一步地，在上述拍摄对象上的操作具体包括有痕操作或无痕操作。

进一步地，若在上述拍摄对象上的操作为有痕操作，则笔记获取单元2401，具体用于跟踪书写工具的笔头位置，检测笔头在上述拍摄对象上的操作，得到对拍摄对象所做的笔记信息；或根据当前帧图像的增量信息，确定对拍摄对象所做的笔记信息。

进一步地，当笔记获取单元2401根据当前帧图像的增量信息，确定对拍摄对象所做的笔记信息时，笔记获取单元2401，具体用于将当前帧图像与上一帧图像进行比对，确定出当前帧图像相对于上一帧图像的增量信息，将各帧图像的增量信息进行拼接，得到对拍摄对象所做的笔记信息；或将当前帧图像与初始帧图像进行比对，将得到的当前帧图像相对于初始帧图像的增量信息确认为对拍摄对象所做的笔记信息。

进一步地，若在上述拍摄对象上的操作为无痕操作，则笔记获取单元2401，具体用于跟踪书写工具的笔头位置，检测笔头在上述拍摄对象上的操作，得到对拍摄对象所做的笔记信息。

进一步地，笔记获取单元2401通过如下方法确定书写工具的笔头位置：根据预先注册的书写工具的形状，从实时拍摄的图像中识别出上述书写工具的笔头，根据识别出的书写工具的笔头，确定出上述书写工具的笔头位置；或将实时拍摄的图像与不包含书写工具的基准图像进行比对，识别出上述书写工具的笔头，根据识别出的书写工具的笔头，确定出上述书写工具的笔头位置。

进一步地，笔记获取单元2401具体包括：

第一位置确定子单元，用于确定笔记信息在拍摄对象中的位置；

笔记内容确定子单元，用于确定对拍摄对象所做的笔记信息的笔记内容；

笔记信息确定子单元，用于根据笔记信息在拍摄对象中的位置以及笔记信息的笔记内容，确定对拍摄对象所做的笔记信息。

进一步地，上述第一位置确定子单元，具体用于检测在上述拍摄对象或显示屏幕上做的笔记位置选择操作，根据上述笔记位置选择操作，确定笔记信息在拍摄对象中的位置；或根据对输入的语音进行语音识别后输出的信息，确定笔记信息在拍摄对象中的位置。

进一步地，上述笔记内容确定子单元，具体用于确定对拍摄对象所做的笔记信息的笔记类型；根据上述笔记类型，确定对拍摄对象所做的笔记信息的笔记内容。

进一步地，上述笔记内容确定子单元通过下述方式中的至少一种确定对拍摄对象所做的笔记信息的笔记类型：用户输入的语音、按键、手势、增强现实的人机交互界面、外部控制器。

进一步地，上述外部控制器可以为手写笔。

进一步地，上述笔记关联显示单元2402具体包括：

第二位置确定子单元，用于确定上述笔记信息在拍摄对象中的位置；

关联子单元，用于根据上述笔记信息在拍摄对象中的位置，关联上述拍摄对象和上述笔记信息。

进一步地，上述第二位置确定子单元，具体用于对实时拍摄的拍摄对象的图像进行字符识别；根据字符识别结果，确定笔记信息与拍摄对象的内容之间的相对位置，并将上述相对位置确认为上述笔记信息在拍摄对象中的位置。

进一步地，第二位置确定子单元，具体用于获取实时拍摄的拍摄对象的全局图像，并对全局图像进行字符识别；对当前实时拍摄的拍摄对象的局部图像进行字符识别；根据对局部图像和全局图像的字符识别结果，确定上述局部图像在全局图像中的位置以及笔记信息与上述局部图像的内容之间的相对位置；根据上述局部图像在全局图像中的位置以及笔记信息与上述局部图像的内容之间的相对位置，确定上述笔记信息与上述全局图像的内容之间的相对位置，并将笔记信息与全局图像的内容之间的相对位置确认为笔记信息在拍摄对象中的位置。

进一步地，上述装置还包括纠偏处理单元，用于在检测到抖动操作时，对上述笔记信息进行纠偏处理。

进一步地，抖动操作包含下述操作中的至少一种：拍摄对象的抖动操作、终端设备的抖动操作、书写工具的抖动操作。

进一步地，上述纠偏处理单元，具体用于根据抖动操作前上述笔记信息在上述拍摄对象中的位置、抖动方向和抖动距离，确定抖动操作后上述笔记信息在上述拍摄对象中的位置；根据抖动操作后上述笔记信息在上述拍摄对象中的位置，对上述笔记信息进行纠偏处理。

进一步地，上述笔记信息包括：标记符号和/或编辑信息。

进一步地，上述标记符号具体包括下述符号中的至少一种：底色，下划线，点划线，波浪线，矩形框，着重符，括号，三角符，五角星，星号，井号。

进一步地，上述编辑信息包括下述信息中的至少一种：插入的内容，插入符，删除符，位置调整符，重点符号，注释的内容。

进一步地，上述装置还包括内容调整单元，用于接收到内容调整指令后，根据上述笔记信息，对拍摄对象的内容进行调整，并显示调整后的内容。

进一步地，上述内容调整单元通过下述方式中的至少一种，对拍摄对象的内容进行调整：在拍摄对象的内容中，将删除符涉及的内容删除；将插入的内容插入到上述插入符所指示的位置处；在拍摄对象的内容中，对位置调整符所涉及的内容进行位置调整；在拍摄对象的内容中，将重点符号所涉及的内容进行突出显示。

进一步地，上述装置还包括以下至少一个单元：

第一检索单元，用于接收到检索指令时，优先在指定信息中进行检索；

第二检索单元，用于接收到检索指令时，根据指定信息确定检索词，并根据上述检索词执行检索操作；

第三检索单元，用于接收到检索指令后，在检索结果中优先显示与指定信息相关的检索结果；

突出显示单元，用于接收到突出显示指令时，突出显示指定信息；

缩放单元，用于接收到缩放指令后，对指定信息进行缩放显示。

进一步地，上述突出显示单元通过以下至少一种方式突出显示指定信息：加粗字体、放大字体、高亮显示、加底色、隐藏指定信息之外的其他信息。

进一步地，上述指定信息包括以下至少一种信息：笔记信息；拍摄对象的内容中，笔记信息所涉及的内容；笔记信息或拍摄对象的内容中，指定区域的内容或指定类型的内容。

进一步地，通过下述方式确定指定区域：检测在拍摄对象的内容中选择的局部区域；根据上述拍摄对象对应的版面信息，对检测的局部区域进行调整。

进一步地，上述装置还包括三维显示单元，用于在上述拍摄对象为三维模型展示页面时，调用并显示与该三维模型展示页面相应的三维模型图。

进一步地，上述三维显示单元，还用于根据实时拍摄的拍摄角度，实时调整上述三维模型图的显示视角。

进一步地，上述装置还包括存储单元，用于将上述笔记信息与以下至少一种内容关联保存：实时拍摄得到的拍摄对象的图像；实时拍摄得到的图像的字符识别结果；笔记信息与拍摄对象的内容之间的相对位置。

上述的获取笔记信息的装置中的各单元、单元的具体功能可参考上述本发明介绍的获取笔记信息的方法中的具体实现方式。

综上所述，本发明实施例提供的获取笔记信息的装置中，笔记获取单元对拍摄对象进行实时拍摄时获取用户对拍摄对象所做的笔记信息，笔记关联显示单元将笔记信息和拍摄对象进行关联显示，满足了用户对书本等拍摄对象做笔记的需求，尤其在不能将书本带走或不能在书本上涂写的情况下，用户也可以方便的对书本等做笔记，大大提高了做笔记的便捷性；而且，用户可以非常方便地使用终端设备对做好的笔记进行查阅，给用户带来了极大方便。

进一步参考图25，其示出了按照本发明实施例获取笔记信息的终端设备的结构示意图。

如图25所示，终端设备2500包括：至少一个处理器2510，例如CPU(CentralProcessing Unit，中央处理器)，至少一个输出接口2520或者其他用户接口2530，存储器2540，至少一个通信总线2550。通信总线2550用于实现上述组件之间的连接通信。终端设备2500可选的包含其他用户接口2530，包括显示器，键盘或者点击设备(例如，鼠标，trackball(轨迹球)，触感板或者触感显示屏)。存储器2540可能包含高速RAM(RandomAccess Memory，随机存取存储器)，也可能还包括non-volatile memory(非易失性存储器)，例如至少一个磁盘存储器。存储器2540可选的可以包含至少一个位于远离前述处理器2510的存储装置。

在一些实施方式中，存储器2540存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集:

操作系统2541，包含各种系统程序，用于实现各种基础业务以及处理基于硬件的任务。

应用程序2542，包含各种应用程序，用于实现各种应用业务。

具体的，应用程序2542中可以但不限于包括：

笔记获取单元，用于实时拍摄获取对拍摄对象所做的笔记信息；

笔记关联显示单元，用于关联上述拍摄对象和上述笔记信息并显示。

进一步地，笔记获取单元，具体用于通过跟踪在上述拍摄对象上的操作或在显示屏幕上的操作，获取对拍摄对象所做的笔记信息。

进一步地，在上述拍摄对象上的操作具体包括有痕操作或无痕操作。

进一步地，若在上述拍摄对象上的操作为有痕操作，则笔记获取单元，具体用于跟踪书写工具的笔头位置，检测笔头在上述拍摄对象上的操作，得到对拍摄对象所做的笔记信息；或根据当前帧图像的增量信息，确定对拍摄对象所做的笔记信息。

进一步地，当笔记获取单元根据当前帧图像的增量信息，确定对拍摄对象所做的笔记信息时，笔记获取单元，具体用于将当前帧图像与上一帧图像进行比对，确定出当前帧图像相对于上一帧图像的增量信息，将各帧图像的增量信息进行拼接，得到对拍摄对象所做的笔记信息；或将当前帧图像与初始帧图像进行比对，将得到的当前帧图像相对于初始帧图像的增量信息确认为对拍摄对象所做的笔记信息。

进一步地，若在上述拍摄对象上的操作为无痕操作，则笔记获取单元2401，具体用于跟踪书写工具的笔头位置，检测笔头在上述拍摄对象上的操作，得到对拍摄对象所做的笔记信息。

进一步地，笔记获取单元通过如下方法确定书写工具的笔头位置：根据预先注册的书写工具的形状，从实时拍摄的图像中识别出上述书写工具的笔头，根据识别出的书写工具的笔头，确定出上述书写工具的笔头位置；或将实时拍摄的图像与不包含书写工具的基准图像进行比对，识别出上述书写工具的笔头，根据识别出的书写工具的笔头，确定出上述书写工具的笔头位置。

进一步地，笔记获取单元具体包括：

第一位置确定子单元，用于确定笔记信息在拍摄对象中的位置；

笔记内容确定子单元，用于确定对拍摄对象所做的笔记信息的笔记内容；

笔记信息确定子单元，用于根据笔记信息在拍摄对象中的位置以及笔记信息的笔记内容，确定对拍摄对象所做的笔记信息。

进一步地，上述第一位置确定子单元，具体用于检测在上述拍摄对象或显示屏幕上做的笔记位置选择操作，根据上述笔记位置选择操作，确定笔记信息在拍摄对象中的位置；或根据对输入的语音进行语音识别后输出的信息，确定笔记信息在拍摄对象中的位置。

进一步地，上述笔记内容确定子单元，具体用于确定对拍摄对象所做的笔记信息的笔记类型；根据上述笔记类型，确定对拍摄对象所做的笔记信息的笔记内容。

进一步地，上述笔记内容确定子单元通过下述方式中的至少一种确定对拍摄对象所做的笔记信息的笔记类型：用户输入的语音、按键、手势、增强现实的人机交互界面、外部控制器。

进一步地，上述外部控制器可以为手写笔。

进一步地，上述笔记关联显示单元具体包括：

第二位置确定子单元，用于确定上述笔记信息在拍摄对象中的位置；

关联子单元，用于根据上述笔记信息在拍摄对象中的位置，关联上述拍摄对象和上述笔记信息。

进一步地，上述第二位置确定子单元，具体用于对实时拍摄的拍摄对象的图像进行字符识别；根据字符识别结果，确定笔记信息与拍摄对象的内容之间的相对位置，并将上述相对位置确认为上述笔记信息在拍摄对象中的位置。

进一步地，第二位置确定子单元，具体用于获取实时拍摄的拍摄对象的全局图像，并对全局图像进行字符识别；对当前实时拍摄的拍摄对象的局部图像进行字符识别；根据对局部图像和全局图像的字符识别结果，确定上述局部图像在全局图像中的位置以及笔记信息与上述局部图像的内容之间的相对位置；根据上述局部图像在全局图像中的位置以及笔记信息与上述局部图像的内容之间的相对位置，确定上述笔记信息与上述全局图像的内容之间的相对位置，并将笔记信息与全局图像的内容之间的相对位置确认为笔记信息在拍摄对象中的位置。

进一步地，上述装置还包括纠偏处理单元，用于在检测到抖动操作时，对上述笔记信息进行纠偏处理。

进一步地，抖动操作包含下述操作中的至少一种：拍摄对象的抖动操作、终端设备的抖动操作、书写工具的抖动操作。

进一步地，上述纠偏处理单元，具体用于根据抖动操作前上述笔记信息在上述拍摄对象中的位置、抖动方向和抖动距离，确定抖动操作后上述笔记信息在上述拍摄对象中的位置；根据抖动操作后上述笔记信息在上述拍摄对象中的位置，对上述笔记信息进行纠偏处理。

进一步地，上述笔记信息包括：标记符号和/或编辑信息。

进一步地，上述标记符号具体包括下述符号中的至少一种：底色，下划线，点划线，波浪线，矩形框，着重符，括号，三角符，五角星，星号，井号。

进一步地，上述编辑信息包括下述信息中的至少一种：插入的内容，插入符，删除符，位置调整符，重点符号，注释的内容。

进一步地，上述装置还包括内容调整单元，用于接收到内容调整指令后，根据上述笔记信息，对拍摄对象的内容进行调整，并显示调整后的内容。

进一步地，上述内容调整单元通过下述方式中的至少一种，对拍摄对象的内容进行调整：在拍摄对象的内容中，将删除符涉及的内容删除；将插入的内容插入到上述插入符所指示的位置处；在拍摄对象的内容中，对位置调整符所涉及的内容进行位置调整；在拍摄对象的内容中，将重点符号所涉及的内容进行突出显示。

进一步地，上述装置还包括以下至少一个单元：

第一检索单元，用于接收到检索指令时，优先在指定信息中进行检索；

第二检索单元，用于接收到检索指令时，根据指定信息确定检索词，并根据上述检索词执行检索操作；

第三检索单元，用于接收到检索指令后，在检索结果中优先显示与指定信息相关的检索结果；

突出显示单元，用于接收到突出显示指令时，突出显示指定信息；

缩放单元，用于接收到缩放指令后，对指定信息进行缩放显示。

进一步地，上述突出显示单元通过以下至少一种方式突出显示指定信息：加粗字体、放大字体、高亮显示、加底色、隐藏指定信息之外的其他信息。

进一步地，上述指定信息包括以下至少一种信息：笔记信息；拍摄对象的内容中，笔记信息所涉及的内容；笔记信息或拍摄对象的内容中，指定区域的内容或指定类型的内容。

进一步地，通过下述方式确定指定区域：检测在拍摄对象的内容中选择的局部区域；根据上述拍摄对象对应的版面信息，对检测的局部区域进行调整。

进一步地，上述装置还包括三维显示单元，用于在上述拍摄对象为三维模型展示页面时，调用并显示与该三维模型展示页面相应的三维模型图。

进一步地，上述三维显示单元，还用于根据实时拍摄的拍摄角度，实时调整上述三维模型图的显示视角。

进一步地，上述装置还包括存储单元，用于将上述笔记信息与以下至少一种内容关联保存：实时拍摄得到的拍摄对象的图像；实时拍摄得到的图像的字符识别结果；笔记信息与拍摄对象的内容之间的相对位置。

在本实施例中，处理器2510通过调用存储器2540中存储的程序或指令执行相应步骤。

本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处理器来执行本发明公开的结构图和/或框图和/或流图的框或多个框中指定的方案。

本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (34)

1.一种获取笔记信息的方法，其特征在于，包括：

获取拍摄对象的图像，以及对所述拍摄对象所做的笔记信息；

确定所述笔记信息和拍摄对象中与笔记信息相关的内容之间的位置关系；

根据所述位置关系，确定所述笔记信息的显示方式；

按照所述显示方式，在图像中显示所述笔记信息。

2.根据权利要求1所述的方法，其特征在于，所述确定笔记信息和拍摄对象中与笔记信息相关的内容之间的位置关系，包括：

在接收将笔记信息与笔记信息相关内容的位置相关联的关联操作时，确定笔记信息和拍摄对象中与笔记信息相关的内容之间的位置关系。

3.根据权利要求1所述的方法，其特征在于，所述确定所述笔记信息和拍摄对象中与笔记信息相关的内容之间的位置关系，包括：

确定所述笔记信息和拍摄对象中与笔记信息相关的内容之间的距离。

4.根据权利要求3所述的方法，其特征在于，所述根据所述位置关系，确定所述笔记信息的显示方式，包括：

若所述距离大于设定距离阈值，调整所述笔记信息的显示方式。

5.根据权利要求4所述的方法，其特征在于，所述调整所述笔记信息的显示方式，包括：

确定图像中与所述与笔记信息相关的内容相邻的空白区域；

根据所述空白区域的尺寸，调整所述笔记信息的显示方式。

6.根据权利要求1所述的方法，其特征在于，按照所述显示方式，在图像中显示所述笔记信息，包括：

显示所述拍摄对象的图像，其中，按照所述显示方式在图像中与所述与笔记信息相关的内容相邻的空白区域中显示所述笔记信息。

7.根据权利要求1至6中任一项所述的方法，其特征在于，获取对所述拍摄对象所做的笔记信息，包括：

检测在拍摄对象的图像上的做笔记操作或者在播放拍摄对象的显示屏幕上的做笔记操作；

基于检测到的做笔记操作，获取对拍摄对象所做的笔记信息。

8.根据权利要求7所述的方法，其特征在于，检测做笔记操作包括检测拍摄对象的图像帧之间的增量信息作为做笔记操作。

9.根据权利要求1至6中任一项所述的方法，其特征在于，所述显示方式包括显示位置和/或显示尺寸。

10.根据权利要求1至6中任一项所述的方法，其特征在于，所述笔记信息包括手写字符，所述按照所述显示方式，在图像中显示所述笔记信息，包括：

将所述手写字符转换为印刷体字符；

按照所述显示方式，在图像中显示所述印刷体字符。

11.根据权利要求1至6中任一项所述的方法，其特征在于，所述确定笔记信息和拍摄对象中与笔记信息相关的内容之间的位置关系，包括：

对拍摄对象的图像进行字符识别；

根据字符识别结果，确定笔记信息和拍摄对象中与笔记信息相关的内容之间的位置关系。

12.根据权利要求1至6中任一项所述的方法，其特征在于，还包括：

将拍摄对象的图像进行自适应排版显示。

13.根据权利要求12所述的方法，其特征在于，将拍摄对象的图像进行自适应排版显示，包括：

对拍摄对象的图像进行字符识别；

根据字符识别结果，确定字符大小的变化和/或印刷体字符的自动换行性能。

14.根据权利要求1中6中任一项所述的方法，其特征在于，所述笔记信息包括编辑信息，其中，所述编辑信息包括以下至少一项：

插入符，插入的内容，删除符，位置调整符，重点符号，注释的内容；

所述方法还包括：

根据所述编辑信息对图像的内容进行调整。

15.根据权利要求1至6中任一项所述的方法，其特征在于，还包括：

若检测到抖动操作，则对所述笔记信息进行纠偏处理；

其中，所述抖动操作包含下述操作中的至少一种：

拍摄对象的抖动操作、将笔记信息输入到拍摄对象的图像中的设备的抖动操作、书写工具的抖动操作、终端设备的抖动操作。

16.根据权利要求1至6中任一项所述的方法，其特征在于，所述按照所述显示方式，在图像中显示所述笔记信息，包括：

按照所述显示方式，在图像中关联显示所述笔记信息和拍摄对象中与笔记信息相关的内容。

17.一种获取笔迹信息的装置，其特征在于，包括：

信息获取模块，用于获取拍摄对象的图像，以及对所述拍摄对象所做的笔记信息；

位置关系确定模块，用于确定所述笔记信息和拍摄对象中与笔记信息相关的内容之间的位置关系；

显示方式确定模块，用于根据所述位置关系，确定所述笔记信息的显示方式；

显示模块，用于按照所述显示方式，在图像中显示所述笔记信息。

18.根据权利要求17所述的装置，其特征在于，所述位置关系确定模块用于：

在接收将笔记信息与笔记信息相关内容的位置相关联的关联操作时，确定笔记信息和拍摄对象中与笔记信息相关的内容之间的位置关系。

19.根据权利要求17所述的装置，其特征在于，所述位置关系确定模块在确定所述笔记信息和拍摄对象中与笔记信息相关的内容之间的位置关系时，用于：

确定所述笔记信息和拍摄对象中与笔记信息相关的内容之间的距离。

20.根据权利要求19所述的装置，其特征在于，所述显示方式确定模块在根据所述位置关系，确定所述笔记信息的显示方式时，用于：

在所述距离大于设定距离阈值时，调整所述笔记信息的显示方式。

21.根据权利要求20所述的装置，其特征在于，所述显示方式确定模块在调整所述笔记信息的显示方式时，用于：

确定图像中与所述与笔记信息相关的内容相邻的空白区域；

根据所述空白区域的尺寸，调整所述笔记信息的显示方式。

22.根据权利要求17所述的装置，其特征在于，所述显示模块用于：

显示所述拍摄对象的图像，其中，按照所述显示方式在图像中与所述与笔记信息相关的内容相邻的空白区域中显示所述笔记信息。

23.根据权利要求17至22中任一项所述的装置，其特征在于，所述信息获取模块在获取对所述拍摄对象所做的笔记信息时，用于：

检测在拍摄对象的图像上的做笔记操作或者在播放拍摄对象的显示屏幕上的做笔记操作；

基于检测到的做笔记操作，获取对拍摄对象所做的笔记信息。

24.根据权利要求23所述的装置，其特征在于，检测做笔记操作包括检测拍摄对象的图像帧之间的增量信息作为做笔记操作。

25.根据权利要求17至22中任一项所述的装置，其特征在于，所述显示方式包括显示位置和/或显示尺寸。

26.根据权利要求17至22中任一项所述的装置，其特征在于，所述笔记信息包括手写字符，所述显示模块在按照所述显示方式，在图像中显示所述笔记信息时，用于：

将所述手写字符转换为印刷体字符；

按照所述显示方式，在图像中显示所述印刷体字符。

27.根据权利要求17至22中任一项所述的装置，其特征在于，所述位置关系确定模块在所述确定笔记信息和拍摄对象中与笔记信息相关的内容之间的位置关系时，用于：

对拍摄对象的图像进行字符识别；

根据字符识别结果，确定笔记信息和拍摄对象中与笔记信息相关的内容之间的位置关系。

28.根据权利要求17至22中任一项所述的装置，其特征在于，所述显示模块还用于：

将拍摄对象的图像进行自适应排版显示。

29.根据权利要求28所述的装置，其特征在于，所述显示模块在将拍摄对象的图像进行自适应排版显示时，用于：

对拍摄对象的图像进行字符识别；

根据字符识别结果，确定字符大小的变化和/或印刷体字符的自动换行性能。

30.根据权利要求17中22中任一项所述的装置，其特征在于，所述笔记信息包括编辑信息，其中，所述编辑信息包括以下至少一项：

插入符，插入的内容，删除符，位置调整符，重点符号，注释的内容；

所述装置还包括内容调整模块，所述内容调整模块用于：

根据所述编辑信息对图像的内容进行调整。

31.根据权利要求17至22中任一项所述的装置，其特征在于，所述装置还包括纠偏处理模块，所述纠偏处理模块用于：

在检测到抖动操作时，对所述笔记信息进行纠偏处理；

其中，所述抖动操作包含下述操作中的至少一种：

拍摄对象的抖动操作、将笔记信息输入到拍摄对象的图像中的设备的抖动操作、书写工具的抖动操作、终端设备的抖动操作。

32.根据权利要求17至22中任一项所述的装置，其特征在于，所述显示模块用于：

按照所述显示方式，在图像中关联显示所述笔记信息和拍摄对象中与笔记信息相关的内容。

33.一种电子设备，其特征在于，所述电子设备包括存储器和处理器；

所述存储器中存储有计算机程序，所述处理器在运行所述计算机程序执行权利要求1至16中任一项所述的方法。

34.一种计算机可读存储介质，其特征在于，所述存储介质中存储有计算机程序，所述计算器程序在被处理器运行时，所述处理器执行权利要求1至16中任一项所述的方法。

Images