CN109508137B - 用于再现内容的方法和装置 - Google Patents

Abstract

提供了一种用于再现内容的方法和装置，所述装置包括：显示单元，配置为基于用户的模拟手写输入显示手写内容；用户输入单元，接收选择显示单元上显示的所述手写内容的一部分的用户输入；控制单元，再现与所述手写内容同步的多媒体内容之中的与所述手写内容的所述部分相应的多媒体内容片段。

Description

用于再现内容的方法和装置

本申请是申请日为2015年5月22日，申请号为201580000566.7，发明名称为“用于再现内容的方法和装置”的发明专利申请的分案申请。

技术领域

示例性实施例的各方面涉及一种用于再现由用户选择的部分手写内容的方法和装置。

背景技术

移动终端可被配置为执行各种功能，例如数据和语音通信功能，拍照或运动图像功能，语音存储功能，经由扬声器系统再现音乐文件的功能，以及显示图像或视频的功能。

一些移动终端可具有用于再现游戏的附加功能，其它移动终端可被实现为多媒体装置。另外，根据智能电话的发展加速，越来越多地开发和使用各种应用。

发明内容

问题的解决方案

示例性实施例的一个或多个方面包括通过使用部分手写内容中包括的笔画的时间信息再现部分手写内容的方法和装置。

示例性实施例的一个或多个方面包括再现多媒体内容中与部分手写内容同步的部分片段的方法和装置。

在下面的描述中将部分阐述附加方面，附加方面的部分将从描述变得明显，或者可通过示例性实施例的实践而得知。

发明的有利效果

根据以上示例性实施例的中一个或多个，装置可通过使用笔画的时间信息再现由用户选择的部分手写内容的绘制过程。

附图说明

从结合附图进行的示例性实施例的以下描述，以上这些和其它方面将变得明显并且更容易理解，在附图中：

图1是用于描述根据示例性实施例的用于提供再现部分手写内容的功能的装置的示图；

图2是根据示例性实施例的由装置再现部分手写内容的方法的流程图；

图3是根据示例性实施例的由装置创建手写内容的方法的流程图；

图4A至图4C是用于描述根据示例性实施例的由装置创建手写内容的示例的示图；

图5是用于描述手写内容的存储格式的示例的示图；

图6是根据示例性实施例的由装置同步并存储手写内容和音频内容的方法的流程图；

图7A至图7E是用于描述由装置同步并存储手写内容和音频内容的示例的示图；

图8是用于描述手写内容和音频内容的存储格式的示例的示图；

图9是根据示例性实施例的由装置同步并存储手写内容和运动图像内容的方法的流程图；

图10A和图10B是用于描述由装置同步并存储手写内容和运动图像内容的示例的示图；

图11A是用于描述手写内容和运动图像内容的存储格式的示例的示图；

图11B是描述用于将手写内容的笔画与运动图像内容的帧相关联的关联信息的示图；

图12、图13A、图13B是用于描述由装置存储手写内容、音频内容和运动图像内容的示图；

图14是根据示例性实施例的由装置同步并存储手写内容和情绪信息的方法的流程图；

图15是用于描述由装置在创建手写内容的同时获得情绪信息的示图；

图16是根据示例性实施例的由装置选择与感兴趣区域相应的部分手写内容的方法的流程图；

图17是用于描述用于指定感兴趣区域的输入的示例的示图；

图18、图19、图20A、图20B是用于描述用于指定感兴趣区域的用户界面(UI)的示例的示图；

图21和图22是用于确定与感兴趣区域相应的部分手写内容的图形用户界面(GUI)的示例的示图；

图23A是由装置在弹出窗口上显示用于确定与感兴趣区域相应的笔画的示例的示图；

图23B是由装置显示用于引导感兴趣区域的指定的引导图像的示例的示图；

图24是用于以片段单位选择部分手写内容的UI的示例的示图；

图25是由装置区别地显示要与其它笔画区分的被选择的笔画的示例的示图；

图26是根据示例性实施例的由装置经由控制面板接收再现请求的方法的流程图；

图27A和图27B是用于描述由装置提供包括再现功能按钮或编辑功能按钮的控制面板的示例的示图；

图28是根据示例性实施例的由装置在单独的层上显示由用户选择的部分手写内容的方法的流程图；

图29是由装置在单独的层上显示由用户选择的部分手写内容的示例的示图；

图30是根据示例性实施例的由装置通过使用感兴趣区域中的笔画的时间信息再现部分手写内容的方法的流程图；

图31是由装置选择感兴趣区域中的笔画的示例的示图；

图32A是由装置提取关于感兴趣区域中的笔画的信息的示例的示图；

图32B是由装置通过使用关于感兴趣区域中的笔画的信息创建堆栈(stack)的示例的示图；

图33A至图33D是由装置通过使用关于堆栈中包括的笔画的信息再现部分手写内容的示例的示图；

图34是由装置通过使用关于堆栈中包括的笔画的信息在单独的窗口上再现部分手写内容的示例的示图；

图35是根据示例性实施例的由装置编辑部分手写内容的方法的流程图；

图36是根据示例性实施例的由装置对部分手写内容执行撤销或恢复功能的方法的流程图；

图37是根据示例性实施例的手写内容中包括的多个笔画的列表的示图；

图38是根据示例性实施例的包括关于感兴趣区域中的笔画的信息的第一堆栈和包括关于删除的笔画的信息的第二堆栈的示例的示图；

图39A和图39B是第一堆栈和第二堆栈根据用户的撤销输入而改变的示图；

图40A至图40C是用于描述由装置对部分手写内容执行撤销功能和恢复功能的示例的示图；

图41A和图41B是用于描述由装置对部分手写内容执行撤销功能和笔画添加功能的示例的示图；

图42是根据示例性实施例的由装置用外部手写内容替代部分手写内容的方法的流程图；

图43A至图43D是用于描述由装置用外部手写内容替代部分手写内容的示例的示图；

图44是根据示例性实施例的由装置通过反映关于部分手写内容的编辑信息来再现整个手写内容的方法的流程图；

图45A至图45C是用于描述由装置通过反映关于部分手写内容的编辑信息来再现整个手写内容的示例的示图；

图46是根据示例性实施例的由装置对部分手写内容执行光学字符识别(OCR)的方法的流程图；

图47A和图47B是用于描述由装置对部分手写内容执行OCR的示例的示图；

图48是根据示例性实施例的由装置通过使用与部分手写内容相应的情绪信息添加背景图像、图标或背景音乐的方法的流程图；

图49是由装置显示与部分手写内容相应的脉搏信息的示例的示图；

图50是根据示例性实施例的由装置再现多个部分手写内容的方法的流程图；

图51A是用于描述由装置再现多个部分手写内容的示例的示图；

图51B和图51C是用于描述由装置将多个部分手写内容的位置彼此交换的示例的示图；

图52是根据示例性实施例的由装置通过使用关于部分手写内容中包括的笔画的信息来再现音乐的方法的流程图；

图53A至图53C是用于描述由装置通过使用关于部分手写内容中包括的笔画的信息来再现音乐的示例的示图；

图54是根据示例性实施例的由装置提取与部分手写内容相应的运动图像内容或音频内容的方法的流程图；

图55A至图55C是用于描述由装置提取与部分手写内容相应的运动图像内容的示例的示图；

图56是根据示例性实施例的由装置提供与多个部分手写内容相应的多个运动图像内容的列表的方法的流程图；

图57是根据示例性实施例的与多个部分手写内容相应的多个运动图像内容的列表的示图；

图58是根据示例性实施例的由装置提供从多个外部装置接收的多个手写内容的方法的流程图；

图59是由装置提供从多个外部装置接收的多个手写内容的示例的示图；

图60A和图60B是用于描述由装置向多个外部装置中的每个外部装置发送多个手写内容的示例的示图；

图61是根据示例性实施例的由第一装置接收第二装置编辑的手写内容的方法的流程图；

图62A是由第二装置再现从第一装置接收的手写内容的示例的图；

图62B是由第二装置编辑部分手写内容的示例的示图；

图62C是由第一装置通过反映关于部分手写内容的编辑信息来再现整个手写内容的示例的示图；

图63是根据示例性实施例的由第二装置再现在第一装置上选择的手写内容的一部分的方法的流程图；

图64是由外部显示装置再现在装置上选择的内容的一部分的示例的示图；

图65是由第二装置按照与在第一装置上选择的手写内容的一部分被写下的时间方式相同的时间方式再现手写内容的所述部分的示例的示图；

图66是由多个外部装置再现在第一装置上选择的手写内容的一部分的示例的示图；

图67是由第一装置和第二装置中的每个再现在第一装置上选择的手写内容的一部分的方法的流程图；

图68是由第一装置和第二装置中的每个按照与在第一装置上选择的手写内容的一部分被写下的时间方式相同的方式再现手写内容的所述部分的示例的示图；

图69是根据示例性实施例的由装置提供与选择的抄本相应的部分片段的多媒体内容的方法的流程图；

图70是根据示例性实施例的由装置提供与选择的抄本相应的部分运动图像片段的示例的示图；

图71是由装置基于搜索关键词搜索部分运动图像片段的示例的示图；

图72A和图72B是根据示例性实施例的由装置提供与选择的词相应的部分音频片段的示例的示图；

图73和图74是根据示例性实施例的装置的结构的框图。

具体实施方式

根据示例性实施例的一方面，提供一种装置，包括：显示单元，在屏幕上显示手写；用户输入单元，接收用于选择在显示单元上显示的所述手写的一部分的用户输入；控制单元，被配置为控制显示单元按照所述手写中被选择的部分被手写的相同时间方式再现所述手写的被选择的部分。

根据示例性实施例的一方面，提供了一种在装置的屏幕上再现手写的方法，该方法包括：在装置的屏幕上显示手写；接收选择在屏幕上显示的手写的一部分的用户输入；按照所述手写中被选择的部分被手写的相同时间方式再现所述手写中被选择的部分。

根据示例性实施例的一方面，提供了一种装置，包括：显示单元，被配置为基于用户的模拟手写输入显示手写内容；用户输入单元，接收选择在显示单元上显示的所述手写内容的一部分的用户输入；控制单元，再现与所述手写内容同步的多媒体内容之中的与所述手写内容的所述部分相应的所述多媒体内容的片段。

根据示例性实施例的一方面，提供了一种再现手写内容的方法，该方法包括：在装置的屏幕上显示手写内容；接收选择所述手写内容的一部分的用户输入；再现与所述手写内容同步的多媒体内容之中的与所述手写内容的所述部分相应应的所述多媒体内容的片段。

控制单元可通过基于所述手写内容的所述部分的坐标信息获得所述多媒体内容的时间信息来再现所述片段。

控制单元可在所述片段正在再现的同时再现所述手写内容的所述部分。

控制单元可按与所述手写内容的所述部分被写下的时间方式相同的时间方式再现所述手写内容的所述部分。

控制单元可提取所述手写内容的所述部分中包括的笔画，并且利用与所述笔画相应的时间戳信息确定所述笔画的次序。

控制单元可将所述笔画之中首先输入的第一笔画确定为起始位置，将所述笔画之中最后输入的最后笔画确定为结束位置。

当显示在显示单元上的所述手写内容的多个区域被选择时，控制单元可再现与所述多个区域相应的所述多媒体内容的多个片段。

当所述手写内容的所述部分被选择时，控制单元可控制显示单元在距所述手写内容的所述部分的特定距离内显示包括再现功能按钮的控制面板，并且用户输入单元通过所述控制面板接收激活所述再现功能按钮的输入。

所述控制单元可利用所述手写内容的所述部分中包括的笔画的时间信息编辑所述手写内容。

发明的模式

现在将简要描述这里使用的术语，然后将详细描述一个或多个示例性实施例。

包括这里使用的描述性或技术术语的所有术语应该被解释为具有本领域普通技术人员理解的含义。然而，根据本领域普通技术人员的意图、先前情况或新技术的出现，术语可具有不同含义。而且，一些术语可被申请人选择，在这种情况下，将在详细描述中详细描述选择的术语的含义。因此，这里使用的术语必须基于术语的含义与说明书通篇中的描述一起进行定义。

而且，当部分“包括”或“包含”元素时，除非有相反的特定描述，否则该部分还可包括其它元素，不排除其它元素。在下面的描述中，诸如“单元”和“模块”的术语指示用于处理至少一个功能或操作的单元，其中，单元和框可实施为硬件或软件，或者可通过组合硬件和软件实施。

用在这里时，术语“和/或”包括相关联的列出项的一个或多个的任何和所有组合。诸如“…中的至少一个”的表述位于元素列表后面时修饰整个元素列表，并不修饰列表中的单个元素。

这里，“触摸输入”是在触摸屏上执行的控制装置的用户手势。例如，触摸输入可以是点击、触摸并保持、双击、拖动、平移、轻拂或拖放。

“点击”是用户利用手指或触摸工具(例如，电子笔)触摸屏幕并随后将手指或触摸工具立即从屏幕抬起而不在屏幕上拖动的手势。

“触摸并保持”是用户利用手指或触摸工具(例如，电子笔)触摸屏幕并保持触摸超过临界时段(例如，2秒)的手势。即，在屏幕上触摸的时间点与从屏幕抬起的时间点之间的时间差长于临界时段(例如，2秒)。如果保持触摸输入超过临界时段以使用户识别触摸输入是轻击还是触摸并保持，则可在视觉上、听觉上或触觉上提供反馈信号。临界时段可根据示例性实施例而变化。

“双击”是用户用手指、触摸根据或触控笔触摸屏幕两次的手势。

“拖动”是用户利用手指或触摸工具触摸屏幕并且在保持触摸的同时将手指或触摸工具移动到屏幕中的另一位置的手势。当执行拖动时，对象移动，或者执行下面描述的平移手势。

“平移”手势是用户执行拖动而不选择对象的手势。由于平移不选择特定对象，所以对象不在页面中移动，并且页面在屏幕中移动，或者一组对象在页面中移动。

“轻拂”是用户利用手指或触摸工具以临界速度或更高速度(例如，每秒100个像素)执行拖动的手势。轻拂可基于手指或触摸工具的移动速度是否等于或高于临界速度(例如，100个像素/秒)来与拖动或平移进行区分。

“拖放”是用户利用手指或触摸工具在屏幕中将对象拖动到预定地点并随后将手指或触摸工具从屏幕抬起的手势。

“捏”是用户用两个或更多个手指触摸屏幕并且在不同方向上移动两个手指的手势。捏可以是用于放大对象或页面的捏放(pinch-open)手势，或者是用于从对象或页面缩小的捏合(pinch-close)手势。根据手指之间的距离确定放大或缩小值。

“滑动(swipe)”是用于利用手指或触摸工具触摸屏幕中的对象并且在水平或垂直方向上将手指或触摸工具移动特定距离的手势。在对角方向上的移动可不被识别为滑动事件。

现在将参考附图更充分地描述一个或多个示例性实施例。然而，示例性实施例可按许多不同形式实施，不应被解释为限于这里阐述的示例性实施例；相反，提供这些示例性实施例，使得此公开将是透彻和完整的，并且将向本领域普通技术人员充分传达一个或多个示例性实施例的概念。在下面的描述中，不详细描述公知功能或构造，因为它们将用不必要的细节模糊一个或多个实例性实施例，并且在说明书通篇中，在附图中相似的附图标记表示相似或类似的元件。

图1是用于描述根据示例性实施例的内容再现系统的图。

如图1所示，根据示例性实施例，内容再现系统可包括装置100和输入工具。现在将详细描述装置100和输入工具的结构。

根据示例性实施例，装置100可以是显示手写内容的显示装置。例如，这里描述的装置100可以是移动电话、智能电话、膝上型计算机、平板个人计算机(PC)、电子书终端、数字广播终端、个人数字助理(PDA)、便携式多媒体再现器(PMP)、导航仪、MP3播放器、数码相机、可穿戴装置(例如眼镜或腕表)，但装置不限于此。

在说明书通篇中，“手写内容”可指通过将用户的模拟手写输入转换为数字信息而得到的内容。例如，手写内容可包括数字装置上的手绘制图像或手写文本，手写内容不限于此。

根据示例性实施例的手写内容10可以是以预定先后次序输入的一组笔画。“笔画”可指在从输入工具触摸装置100的时间点起维持触摸的同时通过输入工具绘制的一个轨迹。例如，在“3x+6y＝5”中，如果用户在维持触摸的同时一起绘制3、x、6、y中的每个，则3、x、6、y中的每个可形成一个笔画。关于“+”，因为用户先绘制“-”然后绘制“|”，所以“-”和“|”均可形成一个笔画。根据示例性实施例，一个笔画可形成一个字符或符号，或者笔画的组合可形成一个字符或符号。

同时，手写内容10中包括的各笔画与时间信息相关。这里，笔画的时间信息可与当创建或改变笔画时的时间点相应。而且，可根据指示特定时间的时间戳形式来记录笔画的时间信息。

根据示例性实施例，装置100可接收用户的触摸输入。例如，当装置100在屏幕上显示包括数学问题求解过程的手写内容10时，装置100可接收用于指定感兴趣区域(感兴趣区域)20的触摸输入。感兴趣区域20可以是包括用户感兴趣的对象(例如部分手写内容或至少一个笔画)的区域。

根据示例性实施例，输入工具可以是用户用于向装置100输入特定信息的工具。例如，输入工具可以是手指或电子笔(例如触控笔)，但输入工具不限于此。下文中，为方便描述，假设输入工具是电子笔200。

根据示例性实施例，装置100可在屏幕上显示具有虚拟按钮的控制面板30。例如，装置100可在控制面板30上显示用于控制感兴趣区域20中包括的部分手写内容(例如，-3x+9y＝0和0x+15y＝0)的再现的至少一个按钮(例如，快进按钮，倒退按钮，再现按钮，暂停按钮，再现速度控制按钮)。

现在将参考图2详细描述由装置100再现部分手写内容的方法。

图2是根据示例性实施例的由装置100再现部分手写内容的方法的流程图。在说明书通篇中，下文中，部分手写内容可称为手写内容的一部分。

在操作S210，装置100可在屏幕上显示手写内容。

根据示例性实施例，手写内容可包括以预定次序输入的多个笔画。手写内容中包括的多个笔画可具有各种形状。换言之，多个笔画中的每个笔画的厚度、颜色、亮度、色度和透明度可彼此不同。

根据示例性实施例，装置100上显示的手写内容可由装置100创建或从外部设备(诸如电子笔200、服务器或另一外部装置)接收。例如，装置100可基于用户请求在预定时间内创建包括多个笔画的手写内容。稍后将参考图3至图5详细描述装置100创建手写内容的操作。替代地，装置100可从外部设备接收由另一个源创建的手写内容。

根据示例性实施例，装置100可在屏幕上显示预先存储的手写内容的列表。装置100可接收用于从预先存储的手写内容的列表选择手写内容的用户输入。例如，用户可使用诸如手指或电子笔的输入工具从预先存储的手写内容的列表选择手写内容。装置100可从存储器提取选择的手写内容，并且在屏幕上显示提取的手写内容。

根据示例性实施例，装置100可在由装置100运行的应用的运行窗口上显示手写内容。例如，特定应用可以是便签应用、备忘录应用、日记应用、日程应用、电子书应用、家庭账户应用、写字母应用或在线学习应用，但应用不限于此。

同时，根据示例性实施例，手写内容可与运动图像内容或音频内容同步。在这种情况下，装置100可将运动图像内容或音频内容与手写内容一起同步显示。

在操作S220，装置100可接收对于再现屏幕上显示的手写内容中的部分手写内容的用户输入。部分手写内容可以是手写内容的一部分。根据示例性实施例，用户输入可请求装置100再现部分手写内容。

例如，装置100可接收用于选择手写内容之中的部分手写内容的用户输入。根据显示手写内容的应用的操作，可通过高亮、包围、括在括号内、或者选择部分手写内容的其它方式来进行选择。此时，装置100可显示包括再现按钮的控制面板。装置100可经由控制面板接收用于激活再现功能按钮的用户输入并再现部分手写内容。

替代地，装置100可接收与再现命令相应的预设手势。例如，当用户经由拖动输入选择部分手写内容并随后用两个手指双击部分手写内容时，装置100可将双击手势解释为对于再现部分手写内容的请求。

替代地，用户可利用触摸输入和语音输入来向装置100输入针对部分手写内容的再现命令。例如，用户可经由触摸输入选择部分手写内容，并且经由语音向装置100输入请求再现部分手写内容的指令。

在操作S230，装置100可利用部分手写内容中包括的笔画的时间信息再现部分手写内容。在说明书中，部分手写内容的再现可指再现绘制部分手写内容中包括的笔画的过程。

根据示例性实施例，笔画的时间信息可包括笔画的相对先后次序信息和与各笔画相应的时间戳信息中的至少一个。同时，时间戳信息可以是当笔画被创建时装置100的绝对时间信息(例如，年、月、日、时间、分、秒或2014.05.18.08.53.36)，或者可以是指示与基础时间(例如第一笔画的第一时间戳的时间)的偏移的任意分配数字(例如，0001、0002或0003)。

根据示例性实施例，装置100可提取与部分手写内容相应的笔画。装置100可利用提取的笔画中的每个笔画的时间戳信息确定提取的笔画的次序。例如，提取的笔画中首先输入的第一笔画可被确定为起始位置，提取的笔画中最后输入的第n笔画可被确定为结束位置，其中n是大于1的整数。装置100可利用提取的笔画的时间戳信息和坐标信息从被确定为起始位置的第一笔画开始再现，直到被确定为结束位置的第n笔画。

稍后将参考图3更详细地描述由装置100再现部分手写内容的方法。现在将参考图3描述由装置100直接创建手写内容的操作。

图3是根据示例性实施例的由装置100创建手写内容的方法的流程图。

在操作S310，装置100可接收对于创建手写内容的请求。例如，装置100可接收用于激活与对于创建手写内容的请求相应的预定按钮的输入。替代地，装置100可识别与对于创建手写内容的请求相应的预定语音或预定动作。

在操作S320，装置100可得到与在预定时段内输入的多个笔画中的每个笔画相应的时间戳信息和坐标信息。例如，装置100可按规则时间间隔(例如，0.01秒)跟踪在装置100上绘制的各笔画的坐标值，以得到与多个笔画中的每个笔画相应的时间戳信息和坐标信息。坐标值可以是参考装置100的显示器上的物理位置的坐标值(例如参考显示器上的原点的坐标位置)，或者与便签应用相关联的虚拟位置。

在操作S330，装置100可利用与多个笔画中的每个笔画相应的时间戳信息和坐标信息创建或存储手写内容。现在将参考图4A至图4C描述装置100创建手写内容的示例。

图4A至图4C是用于描述根据示例性实施例的由装置100创建手写内容的示例的示图。

参考图4A，装置100可执行便签应用并显示便签应用的运行窗口。这里，装置100可接收用于激活便签应用的运行窗口中包括的速写记录按钮410的用户输入。响应于用户输入，装置100可开始速写记录。例如，在速写记录按钮410被激活之后，装置100可记录从用户输入的笔画的时间戳信息和坐标信息。替代地，便签应用可响应于便签应用的启动自动记录时间戳信息和坐标信息。

参考图4B，装置100可从用户接收绘制音乐乐谱420的输入。例如，装置100可顺序接收绘制稿纸的输入、绘制G谱号的输入和绘制音符的输入。这里，装置100可顺序记录用户为创建稿纸、G谱号和音符中的每个而执行的笔画的时间戳信息和坐标信息。

参考图4C，在用户完成乐谱420之后，用户可再次选择速写记录按钮410。在这种情况下，装置100可结束速写记录。当用户激活存储按钮430时，装置100存储稿纸、G谱号和音符中的每个的笔画的时间戳信息和坐标信息，从而创建与乐谱420相应的手写内容。再次，装置100可自动记录笔画，并且记录按钮410和存储按钮430可以是可选的。

同时，装置100创建手写内容不限于图4A至图4C的示例。根据示例性实施例，电子笔200可记录用于创建手写内容的笔画的时间戳信息和坐标信息。在这种情况下，电子笔200可经由通信链路向装置100发送手写内容。

图5是用于描述手写内容的存储格式的示例的示图。

在图5中，假设装置100创建手写内容500，在手写内容500中，由用户顺序绘制稿纸、G谱号和音符。

当接收到笔画输入时，装置100可存储笔画的标识(ID)信息510与第一时间戳信息520彼此映射的表。例如，装置100可根据输入次序将第一时间戳(例如，002525)分配给第一笔画S1，将第二时间戳(例如，002688)分配给第二笔画S2，将第三时间戳(例如，003900)分配给第三笔画S3，将第四时间戳(例如，004566)分配给第四笔画S4。

而且，装置100可根据笔画记录坐标信息530。这里，装置100可存储坐标信息530中包括的坐标值映射到第二时间戳信息540的表。例如，装置100可将当输入第一笔画S1时的时间点的第一坐标值(例如，x0，y0)和第1-1时间戳(例如，'000000')彼此映射，将第一笔画S1的第二坐标值(例如，x1，y1)与第1-2时间戳(例如，'000003')彼此映射，将第一笔画S1的第三坐标值(例如，x2，y2)与第1-3时间戳(例如，'00004')彼此映射。

根据示例性实施例，装置100可利用坐标信息530和第二时间戳信息540计算笔画的绘制速度。例如，装置100可利用第一坐标值(例如，x0，y0)与第二坐标值(例如，x1，y1)之间的距离、与第一坐标值(例如，x0，y0)相应的第1-1时间戳(例如，'000000')、与第二坐标值(例如，x1，y1)相应的第1-2时间戳(例如000003')，计算从第一坐标值(例如，x0，y0)到第二坐标值(例如，x1，y1)的绘制速度。

图6是根据示例性实施例的装置100同步并存储手写内容和音频内容的方法的流程图。

在操作S610，装置100可接收对于创建手写内容的请求。

例如，装置100可接收用于激活与对于创建手写内容的请求相应的预定按钮的输入。替代地，装置100可识别与对于创建手写内容的请求相应的预定语音或预定动作。

根据示例性实施例，装置100可得到与响应于请求在预定时段期间输入的多个笔画中的每个笔画相应的时间戳信息和坐标信息。

在操作S620，装置100可在创建手写内容的同时获得音频内容。根据示例性实施例，音频内容可以是语音或音乐，但不限于此。这里，语音可以是正在手写的用户的语音，或者另一个用户(例如老师或教授)的语音。

例如，装置100可在经由触摸屏检测用户的手写的同时经由麦克风检测外部声音。

在操作S630，装置100可在将手写内容与音频内容同步之后存储手写内容。例如，当在第一时间点同时输入第一笔画和第一语音时，装置100可存储第一笔画信息(例如，第一笔画的ID信息和坐标信息)和第一语音信息彼此映射的表。将参考图7A至图7E详细描述图6的方法。

图7A至图7E是用于描述装置100同步并存储手写内容700和音频内容的示例的示图。

在图7A至图7E中，假设手写内容700是勾股定理和图形的面积公式的说明。

参考图7A，装置100可运行便签应用并且显示便签应用的运行窗口。这里，装置100可接收用于激活便签应用的运行窗口中包括的速写记录按钮710的用户输入。作为响应，装置100可开始速写记录并记录输入的手写内容的笔画。

参考图7B，装置100可接收用于激活声音记录按钮720的用户输入。作为响应，装置100可激活麦克风。装置100可经由激活的麦克风检测外部声音。

此外，装置100可提供调色板工具730。在这种情况下，用户可通过调色板工具730选择笔型、颜色和粗细度。

参考图7C和7D，装置100可从用户顺序接收绘制直角三角形的输入，写下勾股定理(例如，a2+b2＝c2)的输入，绘制矩形的输入，以及写下矩形的面积公式(例如，A＝bh)的输入。这里，装置100可顺序记录直角三角形、勾股定理、矩形和面积公式中的每个的笔画的时间戳信息和坐标信息。

同时，装置100可检测外部语音740，例如，“可将勾股定理写为与边a、b、c的长度相关的等式…”，同时从用户顺序接收绘制直角三角形的输入和写下勾股定理(例如，a2+b2＝c2)的输入。

在这种情况下，装置100可将与直角三角形和勾股定理相应的笔画的信息(例如，时间戳信息和坐标信息)和关于记录的外部语音740的信息同步，并存储所述笔画的信息和关于记录的外部语音740的信息。

参考图7E，在用户完成手写之后，用户可再次激活速写记录按钮710。在这种情况下，装置100可结束速写记录。当用户激活存储按钮750时，装置100存储直角三角形、勾股定理、矩形、矩形的面积公式、球体、球体的体积公式、圆形、圆形的面积公式、平行四边形、平行四边形的面积公式中的每个的时间戳信息和坐标信息，从而创建手写内容700。

而且，装置100可创建经由麦克风输入的外部语音740的音频内容。然后，装置100可将输入手写时的时间点与输入外部语音740时的时间点进行比较，以将音频内容和手写内容700同步。

然而，由装置100创建手写内容不限于图7A至图7E的示例。根据示例性实施例，电子笔200可记录用于创建手写内容的笔画的时间戳信息和坐标信息。而且，电子笔200可在创建手写内容的同时检测外部语音，并且可将手写内容与音频内容同步，并存储手写内容和音频内容。电子笔200可经由通信链路向装置100发送与音频内容同步的手写内容。

图8是用于描述手写内容和音频内容的存储格式的示例的示图。

参考图8，当在创建手写内容820的同时获得音频内容810时，装置100可将音频内容810的信息与手写内容820的信息映射，并存储音频内容810的信息和手写内容820的信息。例如，装置100可映射并存储第一音频内容(例如，01.mp3)的ID信息811、时间线信息812和手写内容820中包括的笔画的ID信息813。

当接收到笔画输入时，装置100可存储ID信息813和第一时间戳信息814彼此映射的表。装置100可根据笔画记录坐标信息815。这里，装置100可存储坐标信息815中包括的坐标值和第二时间戳信息816彼此映射的表。由于关于手写内容820的存储格式的描述与图5的描述重复，所以这里不重复其细节。

图9是根据示例性实施例的由装置100同步并存储手写内容和运动图像内容的方法的流程图。

在操作S910，装置100可再现运动图像内容。运动图像内容可变化。例如，运动图像内容可以是教育运动图像(例如，烹饪课运动图像或数学讲座运动图像)、锻炼相关运动图像(例如，瑜伽运动图像或拉伸运动图像)、游戏运动图像、用户创建的内容(UCC)运动图像、展示图像、会议图像或医学图像，但内容不限于此。

在操作S920，装置100可在再现运动图像的同时接收对于创建手写内容的请求。例如，装置100可接收请求运行用于手写输入的应用的输入。装置100可显示用于手写输入的应用(例如，备忘录应用)的运行窗口，并且通过运行窗口接收手写输入。装置100可在正被再现的运动图像内容上显示用于手写输入的应用运行窗口，或者可将用于手写输入的应用的运行窗口显示为不与正被再现的图像内容重叠。

在操作S930，响应于对于创建手写内容的请求，装置100可在再现运动图像内容的同时创建包括多个笔画的手写内容。例如，装置100可在再现第一运动图像内容的第一片段的同时接收第一笔画至第三笔画的输入。此时，装置100可创建包括第一笔画至第三笔画的手写内容。

在操作S940，装置100可在将手写内容与运动图像内容同步之后存储手写内容。例如，当在再现第一运动图像内容的第一片段的同时接收到第一笔画的输入时，装置100可在将第一笔画信息映射到第一片段的时间线之后存储第一笔画信息(例如，第一笔画的ID信息和坐标信息)。将参考图10A和图10B更详细地描述图9的方法。尽管以上描述了音频内容可与手写内容同步并且运动图像内容可与手写内容同步，但任意数量的各种类型的内容可与手写内容相关联。例如，音频内容和运动图像内容二者可与手写内容相关联，或者音频内容和静态图像内容可与手写内容相关联。

图10A和图10B是用于描述装置100同步并存储手写内容和运动图像内容的示例的示图。

参考图10A，装置100可再现烹饪课运动图像1000(视频)。此时，当用户利用电子笔200触摸装置100的屏幕达预定时段时，装置100可提供菜单窗口1010。当用户从菜单窗口1010选择备忘录应用的图标时，装置100可执行备忘录应用。替代地，备忘录应用可被默认启用。

参考图10B，装置100可通过调整烹饪课运动图像1000的大小将烹饪课运动图像1000和备忘录应用的运行窗口1020一起显示。这里，装置100可经由备忘录应用的运行窗口1020从用户接收手写输入。例如，装置100可经由备忘录应用的运行窗口1020接收食谱的手写输入。

图11A是用于描述手写内容和运动图像内容的存储格式的示例的示图。

参考图11A，当在再现运动图像的同时接收到手写输入时，装置100可将视频内容1110的信息与手写内容1120的信息映射，并存储视频内容1110的信息和手写内容1120的信息。例如，装置100可映射并存储第一视频内容(例如，01.avi)的ID信息1111、时间线信息1112和手写内容1120中包括的笔画的ID信息1113。

当接收到笔画输入时，装置100可存储笔画的ID信息1113和第一时间戳信息1114彼此映射的表。装置100可根据笔画记录坐标信息1115。此时，装置100可存储坐标信息1115中包括的坐标值映射到第二时间戳信息1116的表。由于关于手写内容1120的存储格式的描述与图5的描述重复，所以这里不重复其细节。

图11B是描述用于将手写内容的笔画与运动图像内容的帧相关联的关联信息的示图。

参考图11B，装置100可存储用于将手写内容1120的笔画与视频内容1110的帧联系的联系信息。

例如，装置100可存储将第一笔画(例如，S1)的起始坐标值(例如，x0，y0)与第一视频内容(例如，01.avi)的第一帧(例如，起始帧，时间：000000)彼此关联的联系信息。而且，装置100可存储将第一笔画(例如，S1)的最后坐标值(例如，x3，y3)与第一视频内容(例如，01.avi)的第二帧(例如，时间：000003)彼此关联的联系信息。装置100可存储将第四笔画(例如，S4)的起始坐标值(例如，x11，y11)与第一视频内容(例如，01.avi)的第三帧(例如，起始帧，时间：000560)彼此关联的联系信息。

根据示例性实施例，装置100可将特定笔画的起始(或结尾)坐标与特定帧的ID信息相关联。因此，当用户选择特定笔画时，装置100可提取与该特定笔画相关联的特定帧。替代地，当用户选择特定帧时，装置100可提取与该特定帧相关联的特定笔画。

图12、图13A、图13B是用于描述装置100存储手写内容、音频内容和运动图像内容的示图。

如图12所示，根据示例性实施例，装置100可按页面单位存储手写内容。这里，装置100可创建包括笔画信息1210和音频/视频内容信息1220的一个手写内容文件1200。根据示例性实施例，笔画信息1210可包括每个笔画的坐标信息，以及与每个笔画相应的颜色值、粗细度值和样式值(例如，高亮色、笔型和刷型)。

根据示例性实施例，装置100可将笔画的所有坐标值映射到多媒体内容的时间戳(或帧)。根据示例性实施例，装置100可将笔画的坐标值中的一个映射到多媒体内容的ID信息。例如，装置100可将笔画的起始坐标值(或最后坐标值)与特定多媒体内容的ID信息映射。

根据示例性实施例，装置100可将笔画的ID信息和多媒体内容的时间戳(或帧)映射，或者将笔画的ID信息和多媒体内容的ID信息映射。

如图13A所示，根据另一示例性实施例，装置100可单独创建手写内容文件1310和音频/视频内容文件1320。这里，手写内容文件1310可包括笔画信息1311以及音频/视频内容的链接地址信息1312。根据示例性实施例，链接地址信息1312可包括音频/视频内容的ID信息和与每个笔画相应的时间轴信息。

在图13A中，手写内容文件1310包括链接地址信息1312，但示例性实施例不限于此。例如，音频/视频内容文件1320可存储笔画的链接地址信息。

图13B是用于描述链接地址信息1312的示图。

参考图13B，装置100可通过将手写内容中包括的笔画的一部分坐标值与至少一条内容的ID信息映射来生成链接地址信息1312。链接地址信息1312可包括将手写内容中包括的笔画的一部分坐标值与至少一条内容的ID信息相关联的匹配表。

例如，当用户添加关于第12个照片图像的备忘录时，装置100可映射并存储备忘录中包括的第一笔画(例如，S1)的起始坐标值(例如，x0，y0)和第12个照片图像的ID信息(例如，照片图像12)。

此外，当用户向装置100添加与第一应用(或图标)相关的备忘录时，装置100可在备忘录中映射并存储第一应用(或图标)的ID信息(例如，应用1)和手写内容的第四笔画(例如，S4)的起始坐标值(例如，x7，y7)。

同时，当用户向装置100添加与运动图像内容相关的备忘录时，装置100可在备忘录中映射并存储运动图像内容的ID信息(例如，视频3)和手写内容的第九笔画(例如，S9)的起始坐标值(例如，x20，y20)。

在图13B中，笔画的起始坐标值和内容的ID信息彼此映射，但映射不限于此。例如，装置100可将笔画的时间戳与内容的ID信息映射。替代地，装置100可将笔画的ID信息与内容的ID信息映射。

然后，根据示例性实施例，当用户选择特定笔画时，装置100可提取与该特定笔画相关联的特定内容(例如，视频、音频、图标、应用或照片)。替代地，当用户选择特定内容时，装置100可提取与该特定内容关联的特定笔画。

图14是根据示例性实施例的装置100同步并存储手写内容和情绪信息的方法的流程图。

在操作S1410，装置100可接收对于创建手写内容的请求。例如，装置100可接收用于激活与对于创建手写内容的请求相应的预定按钮的输入。替代地，装置100可识别与对于创建手写内容的请求相应的预定语音或预定动作。

根据示例性实施例，响应于请求，装置100可获得与在预定时段期间输入的多个笔画中的每个笔画相应的时间戳信息和坐标信息。

在操作S1420，装置100可在创建手写内容的同时获得用户的情绪信息。根据示例性实施例，情绪信息可包括用户的心情信息(例如，高兴或悲伤)、生物信息(例如，脉搏信息，心电图信息，体温信息)和面部表情信息。

根据示例性实施例，装置100可从外部可穿戴装置接收脉搏信息、心电图信息和体温信息。例如，装置100可从智能手表接收脉搏信息和体温信息。根据示例性实施例，装置100可通过局域通信(例如，蓝牙、近场通信(NFC)或Wi-Fi)从外部可穿戴装置接收脉搏率信息。

而且，根据示例性实施例，装置100可利用图像传感器接收用户的面部表情。例如，装置100可利用图像传感器直接监视用户的面部表情，或者可通过诸如智能眼镜的外部可穿戴装置监视用户的面部表情。

根据示例性实施例，装置100可基于从用户输入的信息获得用户的情绪信息。例如，装置100可分析从用户输入的文本或图像，或者分析用户的语音模式。此时，装置100可通过比较用户的语音模式信息与预先存储的语音模式模板来推断用户的情绪状态。

在操作S1430，装置100可将情绪信息与手写内容同步，并存储情绪信息和手写内容。

例如，当在第一时间点同时执行输入第一笔画和获得第一情绪信息时，装置100可存储第一笔画信息(例如，第一笔画的ID信息和坐标信息)和第一情绪信息彼此映射的表。现在将参考图15更详细地描述图14的方法。

图15是用于描述装置100在创建手写内容的同时获得情绪信息的示图。在图15中，假设手写内容是绘制勾股定理和图形的面积公式的内容。

参考图15，装置100可执行便签应用并且显示便签应用的运行窗口。此时，装置100可接收用于激活便签应用的运行窗口中包括的速写记录按钮的用户输入。响应于用户输入，装置100可开始速写记录。

例如，装置100可从用户顺序接收绘制直角三角形的输入、写下勾股定理(例如，a2+b2＝c2)的输入、绘制矩形的输入和写下矩形的面积公式(例如，A＝bh)的输入。此时，装置100可顺序记录直角三角形、勾股定理、矩形和矩形的面积公式中的每个的时间戳信息和坐标信息。

同时，装置100可在从用户顺序接收绘制直角三角形的输入和写下勾股定理(例如，a2+b2＝c2)的输入的同时从外部可穿戴装置1500接收用户的生物信息。例如，装置100可从外部可穿戴装置1500接收由外部可穿戴装置1500测量的脉搏率信息。

此时，装置100可同步并记录与直角三角形和勾股定理相应的笔画的信息(例如，时间戳信息和坐标信息)和脉搏率信息。

图16是根据示例性实施例的由装置100选择与感兴趣区域(RoI)相应的部分手写内容的方法的流程图。

在操作S1610，装置100可显示手写内容。根据示例性实施例，装置100可在预定应用的运行窗口上显示手写内容。根据示例性实施例，装置100可从用户接收对特定手写内容的选择，并且显示选择的特定手写内容。

在操作S1620，装置100可接收在屏幕上显示的手写内容上指定感兴趣区域的输入。

根据示例性实施例，选择感兴趣区域的用户输入可不同。例如，用户输入可以是键输入、触摸输入(例如，点击、双击、触摸并拖动、轻拂或滑动)、语音输入、运动输入和多输入中的至少一种，但不限于此。

根据示例性实施例，感兴趣区域的形状可不同。例如，感兴趣区域的形状可以是圆形、椭圆形、矩形或自由曲线，但不限于此。而且，感兴趣区域的颜色和图案可不同。

在操作S1630，装置100可选择与感兴趣区域相应的部分手写内容。

根据示例性实施例，装置100可基于笔画单位或坐标单位选择与感兴趣区域相应的部分手写内容。例如，当基于笔画单位选择部分手写内容时，装置100可提取位于感兴趣区域内的笔画或与感兴趣区域重叠的笔画。当基于坐标单位选择部分手写内容时，装置100可选择与感兴趣区域重叠的坐标值作为部分手写内容。现在将参考图17至图20B详细描述指定感兴趣区域的输入。

图17是用于描述用于指定感兴趣区域的输入的示例的示图。

参考图17，装置100可指定基于两点的矩形区域1710作为感兴趣区域。例如，当用户触摸手写内容上的两点时，装置100可指定基于这两点形成的矩形区域1710作为感兴趣区域。

当用户在手写内容上绘制自由曲线时，装置100可指定通过连接自由曲线形成的闭合区域1720作为感兴趣区域。而且，装置100可指定基于中心点和半径绘制的圆形区域1730作为感兴趣区域。

同时，当用户在手写内容上绘制线时，装置100可指定显示与线交叉的笔画的区域1740作为感兴趣区域。

图18、图19、图20A、图20B是用于描述用于指定感兴趣区域的用户界面(UI)的示例的示图。在图18、图19、图20A、图20B中，假设用户希望指定包括圆形和圆形的面积公式的区域作为感兴趣区域。

如图18所示，装置100可提供包括用于指定感兴趣区域的按钮1800的工具栏。为了指定感兴趣区域，用户可激活工具栏上的按钮1800。此时，用户还可选择感兴趣区域的形状(例如，矩形，圆形，三角形或自由曲线)。例如，用户可选择圆形作为感兴趣区域的形状。

装置100可基于用户的触摸输入指定包括圆形和圆形的面积公式的圆形区域1820作为感兴趣区域。

如图19所示，根据示例性实施例，用户可在按下附加至电子笔200的特定按钮201的同时绘制包括圆形和圆形的面积公式的自由曲线。在这种情况下，装置100可选择由自由曲线形成的闭合区域作为感兴趣区域。

如图20A所示，根据示例性实施例，用户可利用电子笔200触摸装置100的屏幕至少达预定时段，例如，达至少2秒。在这种情况下，装置100可显示包括用于基于触摸点在预定距离内指定感兴趣区域的图标2011的菜单窗口2010。

参考图20B，用户可利用电子笔200选择菜单窗口2010中包括的图标2011。在这种情况下，装置100可提供用于设置感兴趣区域的矩形2020。用户可移动矩形2020以包括圆形和圆形的面积公式。替代地，用户可扩展或收缩感兴趣区域以调整感兴趣区域面积。

图21和图22是用于确定与感兴趣区域相应的部分手写内容的图形用户界面(GUI)的示例的示图。在图21中，假设“M”是第一笔画，“erry”是第二笔画。

根据示例性实施例，装置100可提供与用于确定相应于感兴趣区域的笔画的方法对应的菜单。

例如，装置100可提供用于选择与感兴趣区域重叠的笔画作为与感兴趣区域相应的部分手写内容的第一菜单2110，用于选择完全包括在感兴趣区域中的笔画作为与感兴趣区域相应的部分手写内容的第二菜单2120，以及用于选择感兴趣区域中的坐标值作为与感兴趣区域相应的部分手写内容的第三菜单2130。

参考图22的附图标记2210，用户可选择第一菜单2110并且将感兴趣区域2200定位为仅包括整个手写内容(即，Merry Christmas)中的“Merr”。在这种情况下，装置100可选择与感兴趣区域2200重叠的第一笔画(“M”)和第二笔画(“erry”)作为与感兴趣区域2200相应的部分手写内容。

参考图22的附图标记2220，用户可选择第二菜单2120并且将感兴趣区域2200定位为仅包括整个手写内容(即，Merry Christmas)中的“Merr”。在这种情况下，装置100可仅选择完全包括在感兴趣区域2200中的第一笔画(“M”)作为与感兴趣区域2200相应的部分手写内容。

参考图22的附图标记2230，用户可选择第三菜单2130并且将感兴趣区域2200定位为仅包括整个手写内容(即，Merry Christmas)中的“Merr”。在这种情况下，装置100可基于坐标信息选择感兴趣区域2200中包括的“Merr”作为与感兴趣区域2200相应的部分手写内容。

替代地，装置100可基于字典选择笔画。在这点上，装置100可确定与感兴趣区域相应的笔画“Merr”形成单词“Merry”。相应地，装置100可选择单词“Merry”的所有对应笔画，即使单词的笔画在感兴趣区域外部。因此装置100可参照在感兴趣区域中的笔画之前或之后存储的笔画来确定选择的感兴趣区域内的笔画是否是单词的一部分。

另外，装置100可确定感兴趣区域内的笔画是否相应于短语的笔画。相应地，装置100可选择与短语相应的所有笔画。在这种情况下，当选择图22中的感兴趣区域时，装置100可选择与短语“Merry Christmas”相应的笔画。

如上所看到的，可通过感兴趣区域选择手写内容的一部分。相应地，可选择单词、句子、字符、短语、段或字符组。

图23A是装置100在弹出窗口上显示用于确定与感兴趣区域2310相应的笔画的GUI的示例的示图。在图23A中，假设“M”是第一笔画而“erry”是第二笔画。

参考图23A，装置100可接收定位感兴趣区域2310仅包括来自整个手写内容(例如，Merry Christmas)的“Merr”的输入。

响应于定位感兴趣区域2310的输入，装置100可提供包括第一菜单2110至第三菜单2130的弹出窗口2320。根据示例性实施例，装置100可在距感兴趣区域2310的预定距离内显示弹出窗口2320。

例如，用户可将感兴趣区域2310定位为仅包括整个手写内容(即，MerryChristmas)中的“Merr”。这里，装置100可在感兴趣区域2310周围显示第一菜单2110至第三菜单2130。

用户可从弹出窗口2320选择第一菜单2110至第三菜单2130中的一个。例如，用户可从弹出窗口2320选择第二菜单2120。在这种情况下，装置100可仅选择完全包括在感兴趣区域2310中的第一笔画(“M”)作为与感兴趣区域2310相应的部分手写内容。

图23B是由装置100显示用于引导感兴趣区域的指定的引导图像的示例的示图。

如图23B所示，装置100可接收将第一感兴趣区域2330定位为仅包括整个手写内容(例如，Merry Christmas)中的“Merr”和“Ch”的输入。这里，装置100可引导用户将包括与第一感兴趣区域2330重叠的所有笔画(例如，

Merry Christmas)的区域2340设置为感兴趣区域。例如，装置100可显示引导用户增大第一感兴趣区域2330的大小的引导图像2350。

图24是用于以片段单位选择部分手写内容的UI的示例的示图。

参考图24，装置100可半自动地选择感兴趣区域2400。根据示例性实施例，装置100可从用户接收对特定点的选择。例如，装置100可接收触摸显示整个手写内容之中的“my”的区域至少达预定时段(例如，至少2秒的输入)。

根据示例性实施例，装置100可解析整个手写内容并且提取包括特定点(例如，my)的段(例如，“If I have lost confidence in myself,I have the universeagainst.”)。例如，装置100可基于段符号(例如，逗号或回车)提取包括特定点的段。装置100可指定包括提取的段的感兴趣区域2400。替代地，装置100可指定单词、短语或句子。

根据另一示例性实施例，装置100可基于由用户选择的特定点选择具有预定大小(例如，10个像素或5平方厘米)的感兴趣区域2400。预定大小可由用户或装置100预设。

图25是装置100区别地显示要与其它笔画区分的被选择的笔画的示例的示图。

根据示例性实施例，装置100可区别显示要与整个手写内容区分的部分手写内容。

例如，参考图25的附图标记2510，装置100可在部分手写内容中包括的笔画周围显示虚线。

参考图25的附图标记2520，装置100可在部分手写内容中包括的笔画周围添加特定颜色。

参考图25的附图标记2530，装置100可改变部分手写内容中包括的笔画的颜色。

参考图25的附图标记2540，装置100可改变部分手写内容中包括的笔画的粗细度。

区分笔画的方法不限于以上示例。相反，可利用用于区分选择的笔画与未选择的笔画的任意方法。

图26是根据示例性实施例的装置100经由控制面板接收对于再现手写内容的请求的方法的流程图。

在操作S2610，装置100可显示手写内容。

根据示例性实施例，手写内容可包括按次序输入的多个笔画。手写内容中包括的多个笔画的形状可不同。多个笔画的粗细度、颜色、亮度、色度和透明度可彼此不同。

根据示例性实施例，装置100可在预定应用的运行窗口上显示手写内容。根据示例性实施例，装置100可从用户接收对特定手写内容的选择，并且显示选择的特定手写内容。

在操作S2620，装置100可接收从手写内容选择部分手写内容的输入。例如，装置100可接收指定感兴趣区域的用户输入，并且选择与感兴趣区域相应的部分手写内容。替代地，装置100可在电子笔200的预定按钮被按下的同时接收顺序触摸多个笔画的用户输入。这里，装置100可选择由电子笔200触摸的多个笔画作为部分手写内容。

在操作2630，当部分手写内容被选择时，装置100可显示控制面板。根据示例性实施例，装置100可在距部分手写内容的预定距离内显示控制面板。

根据示例性实施例，控制面板可包括再现功能按钮和编辑功能按钮中的至少一个。根据示例性实施例，再现功能按钮可包括再现按钮、暂停按钮、快进按钮、倒退按钮和再现速度控制按钮中的至少一个。

而且，根据示例性实施例，编辑功能按钮可包括撤销按钮、恢复按钮、光学字符识别(OCR)按钮、添加按钮和交换按钮中的至少一个。

同时，根据示例性实施例，控制面板可包括用于搜索部分手写内容的部分片段的搜索栏。

根据示例性实施例，控制面板可显示在与显示手写内容的层相同的层上，或者可单独显示在另一层上。

在操作S2640，装置100可经由控制面板从用户接收按钮选择输入。例如，装置100可从控制面板接收激活再现功能按钮的用户输入。现在将参考图27A和图27B详细描述控制面板。

图27A和图27B是用于描述装置100提供包括再现功能按钮或编辑功能按钮的控制面板的示例的示图。

如图27A所示，装置100可在屏幕上显示包括猫图像的手写内容2710。这里，用户可激活用于利用电子笔200从工具栏指定感兴趣区域2720的按钮2700。然后，用户可利用电子笔200指定包括猫的头的区域作为感兴趣区域2720。

如图27B所示，装置100可基于指定感兴趣区域2720的用户输入改变感兴趣区域2720中包括的笔画的颜色和粗细度。例如，猫图像是黑色，但感兴趣区域2720中包括的头的笔画2740可示出为蓝色。

根据示例性实施例，装置100可在感兴趣区域2720之下显示虚拟控制面板2730。虚拟控制面板2730可包括再现功能按钮和编辑功能按钮中的至少一个。

根据示例性实施例，当用户利用电子笔200激活虚拟控制面板2730上的预定按钮时，装置100可再现或编辑感兴趣区域2720中包括的头的笔画2740。

根据另一示例性实施例，当用户触摸感兴趣区域2720的内部至少达预定时间时，装置100可输出包括猫的头的半透明窗口。当用户在半透明窗口上维持触摸输入的同时将半透明窗口移动到虚拟控制面板2730中的特定按钮的位置时，装置100可再现或编辑感兴趣区域2720中包括的头的笔画2740。

图28是根据示例性实施例的由装置100在单独的层上显示由用户选择的部分手写内容的方法的流程图。

在操作2810，装置100可在第一层上显示手写内容。

在操作S2820，装置100可接收从显示的手写内容选择部分手写内容的输入。

因为操作S2810和S2820对应于图26的操作S2610和S2620，所以这里不重复其细节。

在操作S2830，装置100可在与显示手写内容的第一层区分的第二层上显示部分手写内容。例如，装置100可在弹出窗口上显示由用户从手写内容选择的部分手写内容。弹出窗口可包括虚拟控制面板。例如，弹出窗口可包括再现功能按钮、编辑功能按钮和搜索栏中的至少一个。现在将参考图29详细描述图28的方法。

图29是由装置100在单独的层上显示由用户选择的部分手写内容的示例的示图。

如图29所示，装置100可在屏幕上显示包括猫图像的手写内容2910。这里，用户可激活用于利用电子笔200从工具栏指定感兴趣区域2920的按钮2900。然后，用户利用电子笔200指定包括猫的头的区域作为感兴趣区域2920。

装置100可基于用于指定感兴趣区域2920的用户输入在单独的弹出窗口2930上显示感兴趣区域2920中包括的笔画。弹出窗口2930可包括再现功能按钮、编辑功能按钮和搜索栏中的至少一个。

根据示例性实施例，当用户利用电子笔200激活单独的弹出窗口2930上的预定按钮时，装置100可再现或编辑感兴趣区域2920中包括的猫的头的笔画2940。

图30是根据示例性实施例的由装置100利用感兴趣区域中的笔画的时间信息再现部分手写内容的方法的流程图。

在操作S3005，装置100可接收从手写内容指定感兴趣区域的输入。因为上面已详细描述了由装置100基于用户输入指定感兴趣区域的操作，所以这里不重复其描述。

在操作S3010，装置100可接收请求再现感兴趣区域中的部分手写内容的输入。

例如，装置100可响应于输入显示包括再现按钮的虚拟控制面板。用户可激活虚拟控制面板中的再现按钮以请求再现部分手写内容。

替代地，用户可激活物理再现按钮以请求再现部分手写内容。例如，装置100可检测按下主页按钮至少预定次数(例如，至少两次)的输入，或者按下侧按钮至少达预定时段(例如，至少3秒)的输入。这里，装置100可将检测的输入确定为请求再现部分手写内容的输入。

同时，根据示例性实施例，用户可经由语音命令请求再现部分手写内容。

在操作S3015，装置100可提取部分手写内容中包括的至少一个笔画。例如，装置100可从存储器提取部分手写内容中包括的笔画的信息(例如，笔画的ID信息，笔画的时间戳信息和笔画的坐标信息)。

在操作S3020，装置100可创建按先后次序插入至少一个笔画的堆栈。例如，装置100可比较提取的笔画之间的时间戳信息，并且确定提取的笔画的相对先后次序。装置100可将提取的笔画之中首先创建的笔画插入堆栈的最上层，将提取的笔画之中最后创建的笔画插入堆栈的最下层。在这点上，可确定笔画的次序。

在操作S3025，装置100可从堆栈提取第n笔画的第i坐标值。根据示例性实施例，装置100可提取从堆栈的最上层到最下层的坐标值。例如，装置100可首先从堆栈提取第一笔画的第一坐标值。这里，第一笔画的第一坐标值可以是堆栈的最上层值，并且第一笔画可以是在提取的笔画之中首先创建的笔画。

在操作S3030，装置100可输出基于第i坐标值的点。例如，装置100可输出第一笔画的第一坐标值(堆栈中的最上层值)作为第一点。

在操作S3035，装置100可确定第n笔画的第i坐标值是否是堆栈中的最后的值。例如，当确定第一笔画的第一坐标值是堆栈中的最后的值时，装置100可仅输出该点并且结束部分手写内容的再现操作。

当确定第n笔画的第i坐标值不是堆栈中的最后的值时，装置100可在操作S3040从堆栈提取第n笔画的第i+1坐标值。例如，装置100可提取第一笔画的第二坐标值。

在操作S3045，装置100可确定第n笔画的第i+1坐标值是否是分隔符值。例如，分隔符值可以是时间戳中的最大值。

当确定第n笔画的第i+1坐标值不是分隔符值时，装置100可在操作S3050输出连接第i坐标值和第i+1坐标值的线。

例如，当确定第一笔画的第二坐标值不是分隔符值时，装置100可输出连接第一笔画的第一坐标值和第二坐标值的线。根据示例性实施例，装置100可通过利用第一坐标值、第二坐标值、与第一坐标值相应的时间戳信息、与第二坐标值相应的时间戳信息在第一坐标值与第二坐标值之间插值，来输出将第一坐标值和第二坐标值连接的线。在这点上，可按与输入和记录笔画相同的时间方式输出笔画。

在操作S3055，装置100可将值i增加至i+1，然后执行操作S3035。例如，装置100可确定第n笔画的第i+1坐标值是否是堆栈中的最后的值。例如，装置100可确定第一笔画的第二坐标值是否是堆栈中的最后的值。

当确定第n笔画的第i+1坐标值不是堆栈中的最后的值时，装置100可提取第n笔画的第i+2坐标值并且确定第n笔画的第i+2坐标值是否是分隔符值。例如，当第一笔画的第二坐标值不是堆栈中的最后的值时，装置100可提取第一笔画的第三坐标值并且确定第一笔画的第三坐标值是否是分隔符值。

当确定第n笔画的第i+1坐标值是分隔符值时，装置100可在操作S3060将值n增加至n+1并且初始化值i。例如，当确定第一笔画的第三坐标值是分隔符值时，装置100可输出第一笔画并且从第一坐标值顺序提取第二笔画的坐标值。

在一些实施例中，操作S3005至S3360的顺序可改变。例如，操作S3015和S3020可在操作S3010之前执行。现在将参考图31-34详细描述装置100再现部分手写内容的操作。

如上所述，可基于位置信息和时间戳信息按照输入笔画的相同时间方式输出笔画。因此，通过组合多个笔画，可按输入手写信息的相同时间方式输出手写内容。结果，手写的虚拟回放可在装置100上向用户输出。

图31是由装置100选择感兴趣区域3100中的笔画的示例的示图。

如图31所示，装置100可显示包括第一笔画3101、第二笔画3102、第三笔画3103、第四笔画3104的手写内容。

用户可指定感兴趣区域3100，使得包括手写内容中的第一笔画3101和第三笔画3103。

图32A是由装置100提取关于感兴趣区域3100中的笔画的信息的示例的示图。

参考图32A，装置100可提取感兴趣区域3100中包括的笔画的时间戳信息3210。例如，装置100可提取第一笔画3101的时间戳信息(例如，002525)和第三笔画3103的时间戳信息(例如，003900)。

而且，装置100可提取与笔画的坐标值相应的坐标信息(例如，坐标值3220)和时间戳信息3230。例如，装置100可提取第一笔画3101的坐标信息3201和第三笔画3103的坐标信息3203。

图32B是装置利用关于感兴趣区域中的笔画的信息创建堆栈3200的示例的示图。

参考图32B，装置100可首先比较第一笔画3101的时间戳信息(例如，

002525)和第三笔画3103的时间戳信息(例如，003900)。因为第一笔画3101的时间戳信息(例如，002525)早于第三笔画3103的时间戳信息(例如，003900)，所以装置100可创建堆栈3200，使得第一笔画3101的坐标信息3201的位置在第三笔画3103的坐标信息3203之上。

这里，装置100可调整与第三笔画3103的坐标值相应的时间戳信息3230，使得通过使与第一笔画3101的最后坐标值(例如，x30，y30)相应的时间戳值(例如，001304)增加1而得到的值等于与第三笔画3103的第一坐标值(例如，x0，y0)相应的时间戳值(例如，001305)。

同时，装置100可在第一笔画3103的坐标信息3201与第三笔画3103的坐标信息3203之间插入分隔符值3240。例如，装置100可使用时间戳的最大值(例如，999999)作为分隔符值3240。

图33A至图33D是装置100利用关于堆栈中包括的笔画的信息再现部分手写内容的示例的示图。

参考图33A，装置100可显示手写内容3300。这里，用户可指定感兴趣区域3100，使得包括第一笔画3101和第二笔画3103。

响应于指定感兴趣区域3100的输入，装置100可提供虚拟控制面板3310。

参考图33B，装置100可从虚拟控制面板3310接收激活再现按钮3320的输入。在这种情况下，装置100可通过提取关于第一笔画3101的信息和关于第三笔画3103的信息创建图32B中示出的堆栈3200。

装置100可基于激活再现按钮3320的输入擦除感兴趣区域3100中显示的第一笔画3101和第三笔画3103。然后，装置100可重新再现第一笔画3101和第三笔画3103的绘制过程。

参考图33C和33D，装置100可从堆栈3200提取第一笔画3101的第一坐标值(例如，x0，y0)，并且输出与第一坐标值(例如，x0，y0)的位置处的点。然后，装置100可提取第一笔画3101的第二坐标值(例如，x1，y1)，并且输出连接第一坐标值(例如，x0，y0)和第二坐标值(例如，x1，y1)的线。而且，装置100可提取第一笔画3101的第三坐标值(例如，x2，y2)至第31坐标值(例如，x30，y30)中的每个。装置100可通过输出将第一笔画3101的第三坐标值(例如，x2，y2)至第31坐标值(例如，x30，y30)连接到在前坐标值的线来再现第一笔画3101的绘制过程。

装置100可提取第一笔画3101的第31坐标值(例如，x30，y30)之后的坐标值(例如，0,0)。因为与第一笔画3101的第31坐标值(例如，x30，y30)之后的坐标值(例如，0,0)相应的时间戳是“999999”，所以装置100可确定第一笔画3101的第31坐标值(例如，x30，y30)之后的坐标值(例如，0,0)是分隔符值。在这种情况下，装置100可确定第一笔画3101的绘制过程完成，并且继续输出第三笔画3103的绘制过程。

装置100可提取第三笔画3103的第一坐标值(例如，x0，y0)，并且重新输出与第三笔画3103的第一坐标值(例如，x0，y0)相应的位置处的点。然后，装置100可提取第三笔画3103的第二坐标值(例如，x1，y1)至第13坐标值(例如，x12，y12)中的每个。装置100可通过输出将第三笔画3103的第二坐标值(例如，x1，y1)至第13坐标值(例如，x12，y12)连接到在前坐标值的线来再现第三笔画3103的绘制过程。

根据示例性实施例，装置100可使用与每个坐标值相应的时间戳信息3230来调整部分手写内容(例如，第一笔画3101和第三笔画3103)的再现速度以匹配用户的实际绘制速度。

根据示例性实施例，装置100可仅再现整个手写内容之中的用户感兴趣的部分手写内容的绘制过程。

此外，如上所述，装置100可通过绘制坐标之间的线来再现手写内容。这里，装置100可对坐标的位置中的未记录坐标的位置插值。相应地，可降低手写内容的再现速度。

另外，装置100可对坐标的位置插值以减少存储器存储需求。如此，可降低捕获坐标的速率。

图34是装置100利用关于堆栈中包括的笔画的信息在单独的窗口上再现部分手写内容的示例的示图。

如图34所示，根据示例性实施例，装置100可基于指定感兴趣区域3410的用户输入，在单独的弹出窗口3420上显示感兴趣区域3410中包括的笔画3401和3402。弹出窗口4320可包括再现功能按钮、编辑功能按钮和搜索栏中的至少一个。

根据示例性实施例，当用户利用电子笔200激活单独的弹出窗口3420上的再现按钮3421时，装置100可在单独的弹出窗口3420上再现单独的弹出窗口3420上显示的笔画3401和3402的绘制过程。

同时，在图30至图34中，装置100使用堆栈再现部分手写内容的绘制过程，但示例性实施例不限于此。例如，装置100可通过收集用于访问笔画的坐标信息的链接信息创建表。然后，装置100可利用包括链接信息的表再现部分手写内容的绘制过程。

现在将参考图35描述由装置100基于用户输入编辑部分手写内容的操作。

图35是根据示例性实施例的由装置100编辑部分手写内容的方法的流程图。

在操作S3510，装置100可显示手写内容。

根据示例性实施例，手写内容可包括按次序绘制的多个笔画。手写内容中包括的多个笔画的形状可不同。例如，多个笔画的粗细度、颜色、亮度、色度和透明度可彼此不同。

根据示例性实施例，装置100可在预定应用的运行窗口上显示手写内容。根据示例性实施例，装置100可从用户接收对特定手写内容的选择并且显示选择的特定手写内容。

在操作S3520，装置100可接收请求编辑显示的手写内容中的部分手写内容的用户输入。

根据示例性实施例，请求编辑部分手写内容的用户输入可不同。

例如，装置100可接收从手写内容选择部分手写内容的用户输入。此时，装置100可显示包括编辑功能按钮(例如，撤销按钮，恢复按钮，OCR按钮，添加按钮或交换按钮)的虚拟控制面板。装置100可通过虚拟控制面板接收激活编辑功能按钮的用户输入。

替代地，装置100可接收与编辑命令相应的手势。例如，当用户经由拖动输入选择部分手写内容并随后用两个手指双击选择的部分手写内容时，装置100可确定接收到对部分手写内容的撤销请求。

替代地，用户可利用触摸输入和语音输入向装置100输入关于部分手写内容的编辑命令。例如，用户可经由触摸输入选择部分手写内容，并且经由语音向装置100输入请求编辑部分手写内容的指令。

在操作S3530，装置100可利用部分手写内容中包括的笔画的时间戳信息编辑部分手写内容。

根据示例性实施例，笔画的时间信息可包括笔画之间的相对先后次序信息和与笔画中的每个笔画相应的时间戳信息中的至少一个。同时，时间戳信息可以是创建笔画时装置100的绝对时间信息(例如，年，月，日，小时，分钟，秒，2014.05.18.08.53.36)、任意分配的数字(例如，0001、0002或0003)或与基本时间的偏移。

根据示例性实施例，装置100可提取部分手写内容中包括的笔画。装置100可利用提取的笔画的时间戳信息确定提取的笔画的次序。例如，装置100可将提取的笔画之中首先输入的第一笔画确定为起始位置，将提取的笔画之中最后输入的第n笔画确定为结束位置，其中n是高于1的整数。装置100可利用提取的笔画的时间戳信息和坐标信息编辑提取的笔画。现在将参考图36更详细地描述由装置100编辑部分手写内容的操作。

图36是根据示例性实施例的由装置100对部分手写内容执行撤销或恢复功能的方法的流程图。

在操作S3610，装置100可接收指定关于屏幕上显示的手写内容的感兴趣区域的输入。因为上面详细描述了由装置100基于用户输入指定感兴趣区域的操作，所以这里不重复其描述。根据示例性实施例，装置100可选择与感兴趣区域相应的部分手写内容。

在操作S3620，装置100可提取与感兴趣区域相应的部分手写内容中包括的笔画。

例如，装置100可从存储器提取部分手写内容中包括的笔画的信息(例如，笔画的ID信息，笔画的时间戳信息，以及笔画的坐标信息)。

在操作S3630，装置100可创建按先后次序插入笔画的堆栈。

例如，装置100可创建存储关于感兴趣区域中的笔画的信息的第一堆栈和存储关于检测到的笔画的信息的第二堆栈。下文中，为方便描述，将存储关于部分手写内容中包括的笔画的信息的堆栈定义为第一堆栈，将存储关于删除的笔画的信息的堆栈定义为第二堆栈。

装置100可通过比较提取的笔画之间的时间戳信息确定提取的笔画的相对先后次序。装置100可将提取的笔画之中首先创建的笔画插入第一堆栈的底部，并且将提取的笔画之中最后创建的笔画插入第一堆栈的顶部。

在操作S3640，装置100可接收关于部分手写内容的撤销操作。例如，装置100可接收激活显示在控制面板上的撤销按钮的用户输入。

替代地，装置100可接收与撤销命令相应的手势。例如，当用户用两个手指双击部分手写内容时，装置100可确定接收到关于部分手写内容的撤销请求。替代地，装置100可识别包括关于部分手写内容的撤销命令的语音。

在操作S3650，装置100可基于撤销输入从堆栈删除最后插入的笔画。例如，装置100可从第一堆栈删除位于第一堆栈的最上层的第一笔画信息。然后，装置100可将第一笔画信息插入第二堆栈。稍后将参考图37至图39B更详细地描述由装置100对部分手写内容执行撤销功能的操作。

在操作S3660，装置100可接收关于部分手写内容的恢复输入。例如，装置100可接收激活虚拟控制面板上显示的恢复按钮的用户输入。

替代地，装置100可接收与恢复命令相应的预设手势。例如，当用户用两个手指触摸部分手写内容至少达预定时段(例如，至少2秒)时，装置100可确定接收到关于部分手写内容的恢复请求。替代地，装置100可识别包括关于部分手写内容的恢复命令的语音。

在操作S3670，装置100可基于恢复输入将最后删除的笔画再次插入堆栈。

例如，装置100可根据恢复输入从第二堆栈删除位于第二堆栈的最上层的第一笔画信息。然后，装置100可将第一笔画信息插入第一堆栈的最上层。

稍后将参考图40A至图40C更详细地描述由装置100对部分手写内容执行恢复功能的操作。

在操作S3680，装置100可接收释放指定的感兴趣区域的输入。例如，当完成部分手写内容的编辑时，用户可释放指定的感兴趣区域。

在操作S3690，装置100可基于当释放指定的感兴趣区域时的时间点的堆栈信息更新手写内容中包括的多个笔画的信息。例如，装置100可基于编辑细节(例如，关于删除的笔画的信息和关于添加的笔画的信息)修改预先存储的手写内容中包括的笔画的信息列表。

图37是根据示例性实施例的手写内容中包括的多个笔画的列表的示图。

如图37所示，根据示例性实施例，当创建手写内容3710时，装置100可存储手写内容3710中包括的多个笔画的列表3720。笔画的ID信息、时间戳信息和坐标信息可彼此映射并且存储在列表3720中。

手写内容3710可包括第一笔画3701、第二笔画3702、第三笔画3703、第四笔画3704和第五笔画3705。

图38是根据示例性实施例的包括关于感兴趣区域中的笔画的信息的第一堆栈和包括关于删除的笔画的信息的第二堆栈的示例的示图。

参考图38的附图标记3800-1，用户可指定感兴趣区域3800，使得感兴趣区域3800包括手写内容3710中的第一笔画3701、第三笔画3703和第五笔画3705。

装置100可从手写内容3710中包括的多个笔画的列表3720提取关于第一笔画3701、第三笔画3703和第五笔画3705的信息。装置100可创建包括提取的关于第一笔画3701、第三笔画3703和第五笔画3705的信息的第一堆栈3800-2。例如，装置100可比较第一笔画3701、第三笔画3703和第五笔画3705的时间戳信息，并且将首先绘制的第一笔画3701插入第一堆栈3800-2的底部，然后在第一笔画3701上顺序插入第三笔画3703和第五笔画3705。

同时，根据示例性实施例，装置100可创建存储关于删除的笔画的信息的第二堆栈3800-3。

根据示例性实施例，装置100可提供包括至少一个编辑功能按钮的虚拟控制面板3810。

现在将参考图39A和图39B详细描述由装置100基于激活虚拟控制面板3810中的撤销按钮3820的输入执行撤销功能的操作。

图39A和图39B是第一堆栈3800-2和第二堆栈3800-3根据用户的撤销输入而改变的示图。在图39A和39B中，假设随着感兴趣区域3800被指定，关于第一笔画“a”、关于第三笔画“c”和关于第五笔画“e”的信息包括在第一堆栈3800-2中。

在操作S3901，装置100可接收关于感兴趣区域3800中的部分手写内容的撤销请求。

在操作S3902，响应于撤销请求，装置100可从第一堆栈3800-2删除插入第一堆栈3800-2的上层部分的关于第五笔画“e”的信息。然后，装置100可将关于第五笔画“e”的信息插入第二堆栈3800-3。

在操作S3903，装置100可接收释放指定的感兴趣区域3800的输入。

在操作S3904，装置100可基于释放指定的感兴趣区域3800的输入更新手写内容3710中包括的多个笔画的列表3720。例如，装置100可将第一堆栈3800-2的信息反映到手写内容3710中包括的多个笔画的列表3720。

在操作S3905，装置100可从手写内容3710中包括的多个笔画的列表3720删除第二堆栈3800-3中包括的关于第五笔画“e”的信息。

根据示例性实施例，装置100可基于关于部分手写内容的撤销请求，从相对近期绘制的笔画删除部分手写内容中包括的多个笔画。

图40A至图40C是用于描述由装置100对部分手写内容执行撤销功能和恢复功能的示例的示图。在图40A至图40C中，假设随着感兴趣区域3800被指定，第一堆栈3800-2包括关于第一笔画“a”的信息、关于第三笔画“c”的信息和关于第五笔画“e”的信息。

在操作S4001，装置100可接收关于感兴趣区域3800中的部分手写内容的两个撤销请求。

在操作S4002，响应于第一撤销请求，装置100可从第一堆栈3800-2删除插入第一堆栈3800-2的上层部分的关于第五笔画“e”的信息，并且将关于第五笔画“e”的信息插入第二堆栈3800-3。

然后，响应于第二撤销请求，装置100可从第一堆栈3800-2删除插入第一堆栈3800-2的上层部分的关于第三笔画“c”的信息。接下来，装置100可将关于第三笔画“c”的信息插入第二堆栈3800-3，并且关于第三笔画“c”的信息位于关于第五笔画“e”的信息之上。

在操作S4003，装置100可接收恢复请求。

在操作S4004，响应于恢复请求，装置100可从第二堆栈3800-3删除插入第二堆栈3800-3的上层部分的关于第三笔画“c”的信息，并且将关于第三笔画的信息“c”插入第一堆栈3800-2的上层部分。

在操作S4005，装置100可接收释放指定的感兴趣区域3800的输入。

在操作S4006，装置100可基于释放指定的感兴趣区域3800的输入更新手写内容3710中包括的多个笔画的列表3720。例如，装置100可将关于第一堆栈3800-2的信息反映到手写内容3710中包括的多个笔画的列表3720。

在操作S4007，装置100可从手写内容3710中包括的多个笔画的列表3720删除包括在第二堆栈3800-3中的关于第五笔画“e”的信息。

图41A和图41B是用于描述由装置对部分手写内容执行撤销功能和笔画添加功能的示例的示图。

在图41A和图41B中，假设随着感兴趣区域3800被指定，关于第一笔画“a”的信息、关于第三笔画“c”的信息和关于第五笔画“e”的信息被包括在第一堆栈3800-2中。

在操作S4101，装置100可接收关于感兴趣区域3800中的部分手写内容的两个撤销请求。

在操作S4102，响应于第一撤销请求，装置100可从第一堆栈3800-2删除插入第一堆栈3800-2的上层部分的关于第五笔画“e”的信息，并且将关于第五笔画“e”的信息插入第二堆栈3800-3。

然后，响应于第二撤销请求，装置100可从第一堆栈3800-2删除插入第一堆栈3800-2的上层部分的关于第三笔画“c”的信息。接下来，装置100可将关于第三笔画“c”的信息插入第二堆栈3800-3，并且关于第三笔画“c”的信息位于关于第五笔画“e”的信息之上。

在操作S4103，装置100可接收添加第六笔画“f”的输入。

在操作4104，装置100可根据添加第六笔画“f”的输入将关于第六笔画“f”的信息插入第一堆栈3800-2的上层部分。

在操作S4105，装置100可接收释放指定的感兴趣区域3800的输入。

在操作S4106，装置100可根据释放指定的感兴趣区域3800的输入更新手写内容3710中包括的多个笔画的列表3720。例如，装置100可将第一堆栈3800-2的信息反映到手写内容3710中包括的多个笔画的列表3720。

在操作S4007，装置100可从手写内容3710中包括的多个笔画的列表3720删除包括在第二堆栈3800-3中的关于第五笔画“e”和关于第三笔画“c”的信息。

图42是是根据示例性实施例的装置100用外部手写内容替代部分手写内容的方法的流程图。

在操作S4210，装置100可显示手写内容。

在操作S4220，装置100可接收请求删除部分手写内容的用户输入。例如，装置100可显示包括编辑功能按钮的虚拟控制面板。装置100可通过虚拟控制面板接收激活删除按钮的用户输入。

在操作S4230，装置100可接收添加外部手写内容的输入。例如，装置100可接收在删除了部分手写内容的区域中绘制新笔画的输入。

在操作S4240，装置100可将新笔画添加至部分手写内容被删除的区域。

根据示例性实施例，装置100可将关于新笔画的信息添加至与从多个笔画的列表3720删除的部分手写内容相应的时间轴。根据另一示例性实施例，装置100可将关于新笔画的信息添加至多个笔画的列表3720的结尾。

根据示例性实施例，可基于用户输入用外部手写内容替代部分手写内容，如现在将参考图43A至图43D详细描述的。

图43A至图43D是用于描述由装置100用外部手写内容替代部分手写内容的示例的示图。在图43A至图43D中，假设手写内容4310与运动图像内容4320同步。

如图43A所示，装置100可在屏幕上显示记录蛋糕食谱的手写内容4310。用户可指定蛋糕食谱中用户希望改变的区域(例如，blue)作为感兴趣区域4301。装置100可响应于指定感兴趣区域4301的输入显示虚拟控制面板4302。

根据示例性实施例，当感兴趣区域4301被指定时，装置100可自动提供虚拟控制面板4302。根据另一示例性实施例，装置100可在接收到对于虚拟控制面板4302的请求的用户输入时提供虚拟控制面板4302。

如图43B所示，装置100可接收激活虚拟控制面板4302中的删除按钮4303的用户输入。

基于激活删除按钮4303的用户输入，装置100可删除感兴趣区域4301中包括的笔画，例如blue。

如图43C至图43D所示，装置100可接收新笔画的输入。例如，用户可在删除了“blue”的区域中重新输入“cran”。

根据示例性实施例，装置100可通过反映关于新笔画(例如，“cran”)的信息更新手写内容4310。例如，根据示例性实施例，装置100可将关于与“cran”相应的笔画的信息添加到“Sugar”与“berries”之间的时间线。

根据另一示例性实施例，装置100可添加指示关于与“blue”相应的笔画的信息被删除的标签，并且将关于与“cran”相应的笔画的信息添加到手写内容4310中包括的多个笔画的列表的结尾。这里，装置100可通过将“cran”的链接信息添加到关于与“blue”相应的笔画的信息来显示已经用“cran”替代了“blue”。

同时，根据示例性实施例，当部分手写内容改变时(例如，当“blue”改变为“cran”时)，装置100可再次将图像内容4320与手写内容4310彼此同步。

图44是是根据示例性实施例的装置100通过反映关于部分手写内容的编辑信息再现整个手写内容的方法的流程图。

在操作S4410，装置100可显示手写内容。在操作S4420，装置100可接收请求编辑部分手写内容的用户输入。在操作S4430，装置100可利用部分手写内容中包括的笔画的时间信息编辑部分手写内容。因为操作S4410至操作S4430对应于图35的操作S3510至操作S3530，所以这里不重复其细节。

在操作S4440，装置100可存储关于部分手写内容的编辑信息。例如，装置100可对手写内容应用编辑信息以将编辑的手写内容存储在一个文件中。替代地，装置100可与手写内容分离地存储编辑信息。

同时，根据示例性实施例，装置100可将反映了关于部分手写内容的编辑信息的手写内容与音频/视频内容再次同步。

在操作S4450，装置100可接收对于再现编辑的手写内容的请求。根据示例性实施例，装置100可显示包括再现功能按钮的虚拟控制面板。装置100可经由虚拟控制面板接收激活再现功能按钮的用户输入。

替代地，装置100可接收与再现命令相应的预设触摸输入，或者可接收激活与再现命令相应的物理按钮的输入。同时，用户可经由语音向装置100输入请求再现手写内容的指令。

在操作S4460，装置100可通过反映关于部分手写内容的编辑信息来再现手写内容。例如，装置100可在反映编辑信息的同时再现手写内容的绘制过程。

根据示例性实施例，装置100可在再现原始手写内容的绘制过程之后另外再现编辑过程。替代地，装置100可提供用于选择是否反映关于部分手写内容的编辑信息的选择窗口。现在将参考图45A至图45C详细描述以上各种情况。

图45A至图45C是用于描述由装置100通过反映关于部分手写内容的编辑信息来再现整个手写内容的示例的示图。

参考图45A，装置100可接收请求再现手写内容的用户输入。例如，装置100可接收从工具栏激活再现按钮4510的输入。

参考图45B，装置100可通过反映编辑信息来再现手写内容的绘制过程。例如，当“blue”berries改变为“cran”berries时，装置100可在必须再现与“blue”相应的笔画的绘制过程时的时段期间，再现与“cran”相应的笔画的绘制过程。

参考图45C，当“blue”berries改变为“cran”berries时，装置100可在必须再现与“blue”相应的笔画的绘制过程时的时段期间停止再现手写内容，并且提供用于选择是否反映编辑信息的选择窗口4530。

当用户选择“之前”时，装置100可输出与“blue”相应的笔画的绘制过程。当用户选择“之后”时，装置100可输出与“cran”相应的笔画的绘制过程。

图46是根据示例性实施例的装置100对部分手写内容执行OCR的方法的流程图。

在操作S4610，装置100可显示手写内容。

在操作S4620，装置100可接收请求显示的手写内容中的光学字符识别(OCR)的用户输入。这里，OCR是将图像文档中的韩语、英语或数字字体转换为可编辑文本的技术。

根据示例性实施例，装置100可显示包括OCR功能按钮的虚拟控制面板。装置100可经由虚拟控制面板接收激活OCR功能按钮的用户输入。

替代地，装置100可接收与OCR命令相应的触摸输入，或者可接收激活与OCR命令相应的物理按钮的输入。替代地，用户可经由语音向装置100输入请求关于部分手写内容的OCR的指令。

在操作S4630，装置100可对部分手写内容执行OCR。例如，装置100可对由用户选择的部分手写内容中包括的多个笔画执行OCR。

在操作S4640，装置100可利用OCR结果创建手写内容的索引。根据示例性实施例，装置100可将索引存储在关于手写内容的名称中。根据示例性实施例，用户可使用索引作为用于搜索手写内容的搜索词。

图47A和图47B是用于描述由装置100对部分手写内容执行OCR的示例的示图。

参考图47A，装置100可在屏幕上显示包括圣诞卡的手写内容4700。用户可从手写内容4700指定感兴趣区域4710。

装置100可响应于指定感兴趣区域4710的输入显示虚拟控制面板4720。

根据示例性实施例，装置100可在感兴趣区域4710被指定时自动提供虚拟控制面板4720。根据另一示例性实施例，装置100可在接收到请求虚拟控制面板4720的用户输入时提供虚拟控制面板4720。

根据示例性实施例，装置100可从虚拟控制面板4720接收激活OCR功能按钮4730的输入。

参考图47B，装置100可基于激活OCR功能按钮4730的输入对感兴趣区域4710中包括的部分手写内容(例如，“To.Yuna”)执行OCR功能。

根据示例性实施例，装置100可在虚拟控制面板4720上显示OCR结果4740。根据示例性实施例，装置100可基于用户请求存储OCR结果4740作为手写内容4700的索引。

图48是根据示例性实施例的装置100利用与部分手写内容相应的情绪信息添加背景图像、图标或背景音乐的方法的流程图。

在操作S4810，装置100可显示手写内容。根据示例性实施例，装置100可接收从手写内容选择部分手写内容的用户输入。

在操作S4820，装置100可接收请求添加与部分手写内容有关的附加信息的用户输入。例如，装置100可接收请求添加与部分手写内容有关的背景图像、图标或背景音乐的输入。

在操作S4830，装置100可基于请求添加附加信息的用户输入提取与部分手写内容相应的情绪信息。例如，装置100可提取用户的心情信息(例如，高兴或悲伤)、生物信息(例如，脉搏信息、心电图信息或体温信息)或面部表情信息。

在操作S4840，装置100可利用与部分手写内容相应的情绪信息添加背景图像、图标和背景音乐中的至少一个。例如，装置100可在创建部分手写内容的同时添加与用户的面部表情相应的图标。

图49是装置100显示与部分手写内容相应的脉搏信息的示例的示图。

参考图49，装置100可在屏幕上显示包括圣诞卡的手写内容4900。用户可从手写内容4900指定感兴趣区域4910。

装置100可响应于指定感兴趣区域4910的输入显示虚拟控制面板4920。

根据示例性实施例，装置100可在感兴趣区域4910被指定的同时自动提供虚拟控制面板4920。根据另一示例性实施例，装置100可在接收到对于虚拟控制面板4920的请求的用户输入时提供虚拟控制面板4920。

根据示例性实施例，装置100可从虚拟控制面板4920接收激活情绪信息输出按钮4930的输入。基于激活情绪信息输出按钮4930的用户输入，装置100可提取与感兴趣区域4910中包括的部分手写内容(例如，“To.Yuna”)相应的脉搏率信息。

根据示例性实施例，装置100可在虚拟控制面板4920上显示与脉搏率信息相应的图像4940。根据示例性实施例，装置100可基于用户请求将与脉搏率信息相应的图像4940添加到手写内容4900。

尽管图49中未示出，但根据示例性实施例，装置100可基于与部分手写内容(例如，“To.Yuna”)相应的心率信息将心跳音插入手写内容4900。

图50是根据示例性实施例的由装置100再现多个部分手写内容的方法的流程图。

在操作S5010，装置100可在屏幕上显示手写内容。因为操作S5010对应于图2的操作S210，所以这里不重复其细节。

在操作S5020，装置100可接收从屏幕上显示的手写内容选择第一部分手写内容和第二部分手写内容的用户输入。例如，装置100可接收指定多个感兴趣区域的用户输入。这里，装置100可提取分别与多个感兴趣区域相应的第一部分手写内容和第二部分手写内容。

在操作S5030，装置100可显示控制面板。例如，装置100可响应于指定多个感兴趣区域的用户输入来显示控制面板。这里，控制面板可包括再现按钮。

在操作S5040，装置100可经由控制面板接收激活再现按钮的输入。

在操作S5050，装置100可基于激活再现按钮的输入再现第一部分手写内容和第二部分手写内容。

根据示例性实施例，装置100可利用第一部分手写内容中包括的第一笔画的第一时间信息和第二部分手写内容中包括的第二笔画的第二时间信息，再现第一部分手写内容和第二部分手写内容。

例如，装置100可提取第一部分手写内容中包括的第一笔画和第二部分手写内容中包括的第二笔画。装置100可通过比较第一笔画与第二笔画之间的时间戳信息确定第一笔画和第二笔画的相对先后次序。装置100可创建堆栈，使得将第一笔画和第二笔画之中首先创建的笔画插入最上层并且将第一笔画和第二笔画之中最后创建的笔画插入最下层。

装置100可利用堆栈中包括的第一笔画和第二笔画的坐标值，根据绘制先后次序再现多个感兴趣区域中包括的第一部分手写内容和第二部分手写内容。

图51A是用于描述由装置100再现多个部分手写内容的示例的示图。

参考图51A，装置100可显示曲谱手写内容5100。用户可从曲谱手写内容5100指定第一感兴趣区域5110和第二感兴趣区域5120。

装置100可提供虚拟控制面板5130。装置100可接收激活虚拟控制面板5130上的再现按钮5131的输入。在这种情况下，装置100可提取第一感兴趣区域5110中包括的第一音符的笔画信息和第二感兴趣区域5120中包括的第二音符的笔画信息。笔画信息可包括笔画的ID信息、时间戳信息和坐标信息。

装置100可基于激活再现按钮5131的输入来擦除第一感兴趣区域5110中显示的第一音符和第二感兴趣区域5120中显示的第二音符。然后，装置100可重新再现第一音符和第二音符的绘制过程。

图51B和51C是用于描述装置100将多个部分手写内容的位置彼此交换的示例的示图。

参考图51B，装置100可接收激活虚拟控制面板5130上的交换按钮5132的输入。在这种情况下，装置100可提取第一感兴趣区域5110中包括的第一音符的笔画信息和第二感兴趣区域5120中包括的第二音符的笔画信息。

参考图51C，装置100可基于激活交换按钮5132的输入将第一音符和第二音符的时间戳信息和坐标信息彼此交换。

图52是根据示例性实施例的装置100利用关于部分手写内容中包括的笔画的信息来再现音乐的方法的流程图。

在操作S5210，装置100可显示包括多个音符的手写内容。

在操作S5220，装置100可接收从手写内容指定感兴趣区域的输入。

在操作S5230，装置100可提取感兴趣区域中的音符的信息。例如，装置100可提取感兴趣区域中的音符的坐标信息和时间戳信息。替代地，装置100可通过比较稿纸的坐标值和音符的坐标值或者通过对感兴趣区域执行图像处理，来提取音符的长度(例如，四分音符或十六分音符)、音符的音阶(例如，mi、sol或re)、计时器、休止符信息和主题符号信息(例如，降音符、升音符、自然符号、重升音符、柔板或快板)。

在操作S5240，装置100可利用音符的信息来再现音乐。根据示例性实施例，装置100可提供用于选择乐器的GUI。乐器的类型可不同。乐器的示例包括钢琴、吉他、鼓、小提琴、大提琴和长笛，但不限于此。

根据示例性实施例，当用户经由GUI选择乐器时，装置100可利用感兴趣区域中包括的音符的信息，使用由用户选择的乐器来再现音乐。

图53A至图53C是用于描述由装置100利用关于部分手写内容中包括的笔画的信息再现音乐的示例的示图。

参考图53A，装置100可显示曲谱手写内容5300。用户可从曲谱手写内容5300指定感兴趣区域5310。这里，装置100可提供虚拟控制面板5320。装置100可接收激活虚拟控制面板5320上的音乐按钮5330的输入。这里，装置100可提取感兴趣区域5310中包括的音符5311的信息。例如，装置100可提取感兴趣区域5310中包括的音符5311的时间戳信息、坐标信息、长度(例如，四分音符或十六分音符)、音阶(例如，mi，sol，re)、计时器、休止符信息和主题符号信息(例如，降音符、升音符、自然符号、重升音符、柔板或快板)。

参考图53B，装置100可经由虚拟控制面板5320显示乐器。然后，装置100可经由虚拟控制面板5320选择乐器之一。例如，装置100可接收选择钢琴图标5331的输入。

参考图53C，装置100可利用感兴趣区域5310中包括的音符5311的信息再现钢琴表演5340。

图54是根据示例性实施例的装置100提取与部分手写内容相应的运动图像内容或音频内容的方法的流程图。

参考图S5410，装置100可在屏幕上显示手写内容。

根据示例性实施例，手写内容可包括按预定次序输入的多个笔画。手写内容中包括的多个笔画的形状可不同。例如，多个笔画的粗细度、颜色、亮度、色度和透明度可彼此不同。

根据示例性实施例，装置100可在预定应用的运行窗口上显示手写内容。例如，装置100可在运动图像再现应用的运行窗口上显示手写内容。

根据示例性实施例，装置100可从用户接收对特定手写内容的选择，并且显示选择的特定手写内容。根据示例性实施例，装置100可从用户接收对特定视频内容的选择，并且显示与选择的特定视频内容相应的手写内容。

在操作S5420，装置100可接收从手写内容选择部分手写内容的输入。例如，装置100可接收指定感兴趣区域的用户输入，并且选择与感兴趣区域相应的手写内容。替代地，装置100可在电子笔200的预定按钮被按下的同时接收顺序触摸多个笔画的用户输入。此时，装置100可选择由电子笔200触摸的多个笔画作为部分手写内容。

在操作S5430，装置100可提取与部分手写内容相应的运动图像内容或音频内容。例如，装置100可选择位于与部分手写内容的时间线相应的时间线上的运动图像的部分片段(或部分帧)或音频的部分片段。

在操作S5440，装置100可再现提取的运动图像内容或提取的音频内容。在一些实施例中，可省略操作S5410至操作S5440的一部分。现在将参考图55A至图55C详细描述由装置100提取与部分手写内容相应的运动图像内容的操作。

图55A至图55C是用于描述由装置100提取与部分手写内容相应的运动图像内容的示例的示图。在图55A至图55C中，假设装置100在对在线学习内容5510进行再现的同时创建手写内容5520。装置100可存储在线学习内容5510的信息与手写内容5520的信息彼此映射的映射表(参考图11)。

参考图55A，装置100可在屏幕上显示在线学习内容5510的开始画面和在对在线学习内容5510进行再现的同时所创建的手写内容5520。

参考图55B，装置100可接收从手写内容5520选择部分手写内容的输入。例如，装置100可接收指定感兴趣区域5530的输入。

参考图55C，装置100可基于部分手写内容中包括的笔画的信息选择与部分手写内容相应的部分运动图像片段5540。

例如，装置100可提取感兴趣区域5530中包括的笔画之中首先输入的

“atom”的笔画信息(ID信息，时间戳信息，坐标信息)。装置100可利用提取的笔画信息以及在线学习内容5510的信息与手写内容5520的信息彼此映射的映射表，提取与感兴趣区域5530中首先绘制的第一笔画相应的第一帧(或第一时间线)。

此外，装置100可提取感兴趣区域5530中包括的笔画之中最后输入的“ion”的笔画信息(ID信息，时间戳信息，坐标信息)。装置100可利用提取的笔画信息以及在线学习内容5510的信息与手写内容5520的信息彼此映射的映射表，提取与感兴趣区域5530中最后绘制的第n笔画相应的第n帧(或第n时间线)。

装置100可从在线学习内容5510选择从第一帧(或第一时间线)到第n帧(或第n时间线)的部分运动图像片段5540。然后，装置100可显示或再现选择的部分运动图像片段5540。

根据示例性实施例，用户能够通过指定包括手写内容中的部分手写内容的感兴趣区域容易地找到用户希望再次观看的运动图像片段。

图56是根据示例性实施例的装置100提供与多个部分手写内容相应的多个运动图像内容的列表的方法的流程图。

在操作S5610，装置100可接收选择多个部分手写内容的输入。根据示例性实施例，可从手写内容或不同手写内容选择多个部分手写内容。

例如，可从与第一运动图像内容同步的第一手写内容选择多个部分手写内容。替代地，可从与第一运动图像内容同步的第一手写内容选择部分手写内容，并且可从与第二运动图像内容同步的第二手写内容选择另一部分手写内容。

在操作S5620，装置100可提取分别与多个部分手写内容相应的多个运动图像内容。根据示例性实施例，与部分手写内容相应的运动图像内容可以是运动图像内容的整个片段之中的与部分手写内容相应的部分片段。

在操作S5630，装置100可提供分别与多个部分手写内容相应的多个运动图像内容的列表。在这种情况下，用户可仅收集并且观看用户感兴趣的部分运动图像片段。现在将参考图57详细描述操作S5630。

图57是根据示例性实施例的与多个部分手写内容相应的多个运动图像内容的列表的示图。

如图57所示，装置100可提供与由用户选择的多个部分手写内容相应的多个运动图像内容的列表。例如，当用户从与第一运动图像内容同步的第一手写内容选择第一部分手写内容时，装置100可从第一运动图像内容提取与第一部分手写内容相应的第一运动图像片段5710。这里，装置100可接收对于存储第一运动图像片段5710的请求，并且将关于第一运动图像片段5710的信息存储在历史管理页面5700中。

此外，当用户从与第一运动图像内容同步的第一手写内容选择第二部分手写内容时，装置100可从第一运动图像内容提取与第二部分手写内容相应的第二运动图像片段5720。这里，装置100可接收对于存储第二运动图像片段5720的请求，并且将关于第二运动图像片段5720的信息存储在历史管理页面5700中。

当用户从与第二运动图像内容同步的第二手写内容选择第三部分手写内容时，装置100可从第二运动图像内容提取与第三部分手写内容相应的第三运动图像片段5730。这里，装置100可接收对于存储第三运动图像片段5730的请求，并且将关于第三运动图像片段5730的信息存储在历史管理页面5700中。

根据示例性实施例，装置100可根据用户请求显示历史管理页面5700。这里，装置100可通过历史管理页面5700提供包括关于第一运动图像片段5710的信息、关于第二运动图像片段5720的信息、关于第三运动图像片段5730的信息的多个运动图像内容的列表。

图58是根据示例性实施例的由装置100提供从多个外部装置接收的多个手写内容的方法的流程图。

在操作S5805，装置100可与第一外部装置5810建立连接。例如，装置100可与第一外部装置5810形成局域通信链路，或者可形成移动通信链路，例如3G、4G或5G。局域通信链路的示例包括蓝牙、低功耗蓝牙(BLE)、Wi-Fi直连、超宽带(UWB)、Zigbee、近场通信(NFC)或Ant+，但不限于此。

在操作S5810，装置100可与第二外部装置5820形成通信连接。例如，装置100可与第二外部装置5820形成局域通信链路，或者可形成移动通信链路，例如3G、4G或5G。

在操作S5815，第一外部装置5810可创建第一手写内容。第一外部装置5810可获得与在预定时段内输入的多个笔画中的每个笔画相应的时间戳信息和坐标信息。例如，第一外部装置5810可通过跟踪在第一外部装置5810上绘制的笔画的坐标值，获得与多个笔画中的每个笔画相应的时间戳信息和坐标信息。第一外部装置5810可利用与多个笔画中的每个笔画相应的时间戳信息和坐标信息创建第一手写内容。

在操作S5820，第一外部装置5810可向装置100发送第一手写内容。例如，第一外部装置5810可向装置100发送第一手写内容中包括的笔画的时间戳信息和坐标信息。根据示例性实施例，第一外部装置5810可利用局域通信链路或移动通信链路向装置100发送第一手写内容。

在操作S5825，第二外部装置5820可创建第二手写内容。第二外部装置5820可获得与在预定时段内输入的多个笔画中的每个笔画相应的时间戳信息和坐标信息。例如，第二外部装置5820可通过跟踪在第二外部装置5820上绘制的笔画的坐标值，获得与多个笔画中的每个笔画相应的时间戳信息和坐标信息。第二外部装置5820可利用与多个笔画中的每个笔画相应的时间戳信息和坐标信息，创建第二手写内容。

在操作S5830，第二外部装置5820可向装置100发送第二手写内容。例如，第二外部装置5820可向装置100发送第二手写内容中包括的笔画的时间戳信息和坐标信息。根据示例性实施例，第二外部装置5820可利用局域通信链路或移动通信链路向装置100发送第二手写内容。

在操作S5835，装置100可显示从第一外部装置5810接收的第一手写内容和从第二外部装置5820接收的第二手写内容。第一手写内容和第二手写内容均可包括按预定次序输入的多个笔画。

根据示例性实施例，装置100可接收请求再现第一手写内容中的部分手写内容的用户输入。在这种情况下，装置100可利用部分手写内容中包括的笔画的时间信息来再现部分手写内容。

同时，根据示例性实施例，装置100可接收对于共享第一手写内容和第二手写内容的请求。

在操作S5840，基于对于共享第一手写内容和第二手写内容的请求，装置100可向第一外部装置5810发送第二手写内容。例如，装置100可向第一外部装置5810发送第二手写内容中包括的笔画的时间戳信息和坐标信息。

在操作S5845，基于对于共享第一手写内容和第二手写内容的请求，装置100可向第二外部装置5820发送第一手写内容。例如，装置100可向第二外部装置5820发送第一手写内容中包括的笔画的时间戳信息和坐标信息。

在操作S5850，第一外部装置5810可在屏幕上显示第一手写内容和第二手写内容。在操作S5855，第二外部装置5820也可在屏幕上显示第一手写内容和第二手写内容。

图59是由装置提供从多个外部装置接收的多个手写内容的示例的示图。在图59中，假设装置100是老师的终端并且学生输入勾股定理。

如图59所示，当第一学生在第一装置5910上手写勾股定理时，第一装置5910可记录第一学生的手写过程并且创建第一手写内容5901。然后，第一装置5910可向装置100(即，老师的终端)发送第一手写内容5901。

当第二学生在第二装置5920上手写勾股定理时，第二装置5920可记录第二学生的手写过程并且创建第二手写内容5902。然后，第二装置5920可向装置100(即，老师的终端)发送第二手写内容5902。

当第三学生在第三装置5930上手写勾股定理时，第三装置5930可记录第三学生的手写过程并且创建第三手写内容5903。然后，第三装置5930可向装置100(即，老师的终端)发送第三手写内容5903。

当第四学生在第四装置5940上手写勾股定理时，第四装置5940可记录第四学生的手写过程并且创建第四手写内容5904。然后，第四装置5940可向装置100(即，老师的终端)发送第四手写内容5904。

装置100可显示第一手写内容5901至第四手写内容5904。这里，装置100可提供包括用于再现第一手写内容5901至第四手写内容5904中的每个的再现按钮的控制面板。老师可选择控制面板上的再现按钮以再现第一学生至第四学生的特定手写内容或者特定手写内容的一部分。

图60A和图60B是用于描述装置100向多个外部装置中的每个发送多个手写内容的示例的示图。在图60A和图60B中，假设装置100是老师的终端并且学生向老师的终端提交输入勾股定理的任务。

装置100可与第一学生的第一装置5910共享第一手写内容5901至第四手写内容5904。例如，装置100可向第一学生的第一装置5910发送第二手写内容5902至第四手写内容5904。

装置100可与第二学生的第二装置5920共享第一手写内容5901至第四手写内容5904。例如，装置100可向第二装置5920发送第一手写内容5901、第三手写内容5903和第四手写内容5904。

装置100可与第三学生的第三装置5930共享第一手写内容5901至第四手写内容5904。例如，装置100可向第三装置5930发送第一手写内容5901、第二手写内容5902和第四手写内容5904。

装置100可与第四学生的第四装置5940共享第一手写内容5901至第四手写内容5904。例如，装置100可向第四装置5940发送第一手写内容5901至第三手写内容5903。

根据示例性实施例，第一装置5910至第四装置5940可经由下载或流传输来与装置100共享第一手写内容5901至第四手写内容5904。

根据示例性实施例，第一装置5910至第四装置5940可经由屏幕镜像技术来共享显示第一手写内容5901至第四手写内容5904的装置100的屏幕。

参考图60B，第一装置5910至第四装置5940中的每个可显示第一手写内容5901至第四手写内容5904。

根据示例性实施例，第一学生可利用第一装置5910查看由第二学生至第四学生执行的任务的结果。

此外，当第一学生激活再现按钮时，第一装置5910可再现第二手写内容5902至第四手写内容5904中的至少一个。例如，当第一学生激活再现全部按钮时，第一装置5910可同时再现第二手写内容5902至第四手写内容5904。当第一学生激活针对第二手写内容5902的再现按钮时，第一装置5910可仅再现第二手写内容5902。当第一学生指定包括第三手写内容5903的一部分的感兴趣区域并且激活再现按钮时，第一装置5910可仅再现第三手写内容5903之中的包括在感兴趣区域中的部分手写内容。

图61是根据示例性实施例的由第一装置100-1接收由第二装置100-2编辑的手写内容的方法的流程图。

在操作S6110，第一装置100-1可与第二装置100-2形成通信连接。例如，第一装置100-1可与第二装置100-2形成局域通信链路或移动通信链路(例如，3G、4G或5G)。局域通信的示例包括蓝牙、BLE、Wi-Fi直连、UWB、Zigbee、NFC、Ant+，但不限于此。

在操作S6120，第一装置100-1可创建手写内容。

第一装置100-1可获得与在预定时段内输入的多个笔画中的每个笔画相应的时间戳信息和坐标信息。例如，第一装置100-1可通过跟踪在第一装置100-1绘制的笔画的坐标值，获得与多个笔画中的每个笔画相应的时间戳信息和坐标信息。第一装置100-1可利用与多个笔画中的每个笔画相应的时间戳信息和坐标信息创建手写内容。

在操作S6130，第一装置100-1可向第二装置100-2发送手写内容。例如，第一装置100-1可向第二装置100-2发送手写内容中包括的笔画的时间戳信息和坐标信息。

根据示例性实施例，第一装置100-1可利用局域通信链路或移动通信链路向第二装置100-2发送手写内容。

在操作S6140，第二装置100-2可显示从第一装置100-1接收的手写内容。手写内容可包括按次序输入的多个笔画。

在操作S6150，第二装置100-2可接收对于编辑部分手写内容的请求。

根据示例性实施例，请求编辑部分手写内容的用户输入可不同。例如，第二装置100-2可接收从手写内容选择部分手写内容的用户输入。这里，第二装置100-2可显示包括编辑功能按钮(例如，撤销按钮、恢复按钮、OCR按钮、添加按钮或交换按钮)的虚拟控制面板。第二装置100-2可经由虚拟控制面板接收激活编辑功能按钮的用户输入。

替代地，第二装置100-2可接收与编辑命令相应的手势。例如，当用户经由拖动输入选择部分手写内容并随后用两个手指双击选择的部分手写内容时，第二装置100-2可确定接收到对于撤销部分手写内容的请求。

替代地，用户可利用触摸输入和语音输入向第二装置100-2输入关于部分手写内容的编辑命令。例如，用户可经由触摸输入选择部分手写内容，并且经由语音向第二装置100-2输入请求编辑部分手写内容的指令。

在操作S6160，第二装置100-2可编辑部分手写内容。根据示例性实施例，第二装置100-2可利用部分手写内容中包括的笔画的时间信息编辑部分手写内容。

根据示例性实施例，第二装置100-2可提取部分手写内容中包括的笔画。第二装置100-2可利用提取的笔画的时间戳信息确定提取的笔画的次序。例如，第二装置100-2可将提取的笔画之中首先输入的第一笔画确定为起始位置，并且将提取的笔画之中最后输入的第n笔画确定为结尾位置，其中n是大于1的整数。

根据示例性实施例，第二装置100-2可利用提取的笔画的时间戳信息和坐标信息来编辑提取的笔画。例如，第二装置100-2可撤销、恢复或删除提取的笔画，或者可添加其它笔画。

在操作S6170，第二装置100-2可向第一装置100-1发送编辑的手写内容。根据示例性实施例，第二装置100-2可向第一装置100-1发送手写内容的原始文件和包括编辑信息的编辑文件。替代地，第二装置100-2可通过向手写内容应用编辑信息创建一个文件，并且向第一装置100-1发送创建的一个文件。

根据示例性实施例，第二装置100-2可利用局域通信链路或移动通信链路向第一装置100-1发送编辑的手写内容。

在操作S6180，第一装置100-1可显示由第二装置100-2编辑的手写内容。

根据示例性实施例，第一装置100-1可接收对于再现编辑的手写内容的请求。例如，第一装置100-1可显示包括再现功能按钮的虚拟控制面板。第一装置100-1可经由虚拟控制面板接收激活再现功能按钮的用户输入。

替代地，第一装置100-1可接收与再现命令相应的预设触摸输入，或者可接收激活与再现命令相应的物理按钮的输入。同时，用户可经由语音向第一装置100-1输入请求再现编辑的手写内容的指令。

根据示例性实施例，第一装置100-1可通过反映部分手写内容的编辑信息来再现手写内容。例如，装置100-1可在反映编辑信息的同时再现手写内容的绘制过程。

根据示例性实施例，第一装置100-1可再现原始手写内容的绘制过程，并且另外再现编辑过程。替代地，第一装置100-1可提供用于选择是否应用部分手写内容的编辑信息的选择窗口。现在将参考图62A至图62C更详细地描述手写内容的再现。

图62A是由第二装置100-2再现从第一装置100-1接收的手写内容的示例的示图。在图62A至图62C中，假设第一装置100-1是学生的终端并且第二装置100-2是老师的终端。

如图62A所示，当第一学生在第一装置100-1上手写球体的体积公式和勾股定理时，第一装置100-1可记录第一学生的手写过程并且创建第一手写内容6200。然后，第一装置100-1可向第二装置100-2发送第一手写内容6200。

第二装置100-2可在屏幕上显示从第一装置100-1接收的第一手写内容6200。根据示例性实施例，第二装置100-2可提供包括再现功能按钮的虚拟控制面板。

根据示例性实施例，当老师指定包括“v＝3/4πr3”的感兴趣区域6201的输入并且激活控制面板中包括的再现按钮6210时，第二装置100-2可利用感兴趣区域6201中包括的笔画的时间信息再现部分手写内容(即，“v＝3/4πr3”)的绘制过程。

图62B是由第二装置100-2编辑部分手写内容的示例的示图。

参考图62B，第二装置100-2可接收指定包括“3/4”的感兴趣区域6220的输入并且提供包括取消按钮和添加按钮的控制面板。第二装置100-2可通过控制面板接收将“3/4”修改为“4/3”的输入。此时，第二装置100-2可从第一手写内容6200中包括的多个笔画的列表删除与“3/4”相应的笔画的信息，并且添加与“4/3”相应的笔画的信息，从而编辑第一手写内容6200。替代地，根据示例性实施例，第二装置100-2可通过添加删除标签来编辑第一手写内容6200，而不必删除与“3/4”相应的笔画的信息。

图62C是由第一装置100-1通过反映关于部分手写内容的编辑信息再现整个手写内容的示例的示图。

参考图62C，第二装置100-2可向第一装置100-1发送编辑的手写内容6200'。

根据示例性实施例，第一装置100-1可在屏幕上显示编辑的手写内容6200'。这里，第一装置100-1可接收激活虚拟控制面板上的再现按钮6240的输入。

根据示例性实施例，第一装置100-1可通过反映关于部分手写内容的编辑信息(例如，将“3/4”修改为“4/3”)来再现编辑的手写内容6200'。例如，第一装置100-1可再现编辑的手写内容6200'，使得绘制“4/3”来代替“3/4”。

根据示例性实施例，第一装置100-1可再现第一手写内容6200的绘制过程，然后再现编辑过程(例如，删除“3/4”并添加“4/3”)。替代地，第一装置100-1可提供用于选择是否反映关于部分手写内容的编辑信息的选择窗口。

上文中，描述了装置100上显示的内容是手写内容，但内容不限于此。根据示例性实施例，装置100可显示通过将语言改变为文本获得的抄本(transcript)。稍后将参考图69详细描述由装置100提供抄本的操作。

在图62C中，当激活再现按钮6240时，第一装置100-1再现编辑的手写内容6200'，但示例性实施例不限于此。例如，即使当第一装置100-1接收到激活再现按钮6240的输入时，第二装置100-2可再现编辑的手写内容6200'。

现在将参考图63详细描述由第二装置100-2再现在第一装置100-1上选择的手写内容(或手写内容的一部分)的示例。

图63是根据示例性实施例的由第二装置100-2再现在第一装置上100-1选择的手写内容的一部分的方法的流程图。

在操作S6310，第一装置100-1可与第二装置100-2建立通信连接。例如，第一装置100-1可在局域网中与第二装置100-2通信(直接或通过网络接入点)，或者可通过移动网络(例如，3G、4G或5G)与第二装置100-2通信。局域通信的示例包括蓝牙、BLE、Wi-Fi直连、UWB、Zigbee、NFC或Ant+，但不限于此。

在操作S6320，第一装置100-1可显示手写内容。根据示例性实施例，手写内容可包括按特定时间次序输入的多个笔画。多个笔画可具有不同形状。例如，多个笔画可具有不同粗细度、不同颜色、不同亮度、不同饱和度或不同透明度。

根据示例性实施例，第一装置100-1的屏幕上显示的手写内容可以是原始手写内容编辑的手写内容，但显示的手写内容不限于此。

在操作S6330，第一装置100-1可接收选择手写内容的一部分(下文中，称为部分手写内容)的输入。例如，第一装置100-1可接收指定感兴趣区域的用户输入，并且选择与感兴趣区域相应的部分手写内容。替代地，第一装置100-1可在电子笔200的特定按钮被按下的同时接收通过电子笔200顺序触摸多个笔画的用户输入。此时，第一装置100-1可选择触摸的多个笔画作为部分手写内容。

在操作S6340，第一装置100-1可向第二装置100-2发送指示部分手写内容的信息。第一装置100-1可经由局域通信链路或移动通信链路向第二装置100-2发送关于部分手写内容的信息。

根据示例性实施例，第一装置100-1可发送关于部分手写内容中包括的笔画的信息(例如，笔画ID信息、时间戳信息或坐标信息)。根据示例性实施例，第一装置100-1可在对关于部分手写内容中包括的笔画的信息进行压缩或编码之后，向第二装置100-2发送该信息。此时，第一装置100-1可使用各种压缩或编码算法中的任一种。

根据示例性实施例，第一装置100-1可在再现部分手写内容的同时向第二装置100-2发送关于部分手写内容的信息。替代地，第一装置100-1可在不再现部分手写内容的同时向第二装置100-2发送关于部分手写内容的信息。

在操作S6350，第二装置100-2可按与部分手写内容被写下的时间方式相同的时间方式再现部分手写内容。例如，第二装置100-2可利用从第一装置100-1接收的关于部分手写内容的信息再现部分手写内容。

根据示例性实施例，第二装置100-2可创建按先后次序插入部分手写内容中包括的至少一个笔画的堆栈。例如，第二装置100-2可比较提取的笔画的时间戳信息以确定提取的笔画的相对先后次序。第二装置100-2可将提取的笔画之中最旧的笔画插入堆栈的顶部，并且将提取的笔画之中最近的笔画插入堆栈的底部。第二装置100-2可利用创建的堆栈按与部分手写内容被写下的时间方式相同的时间方式再现部分手写内容。

根据示例性实施例，当由第一装置100-1再现部分手写内容时，第二装置100-2可从第一装置100-1接收部分手写内容的流数据。然后，第二装置100-2可利用接收的流数据按与部分手写内容被写下的时间方式相同的时间方式再现部分手写内容。

图64是由外部显示装置6420再现在装置6410上选择的内容的一部分的示例的示图。

参考图64，装置6410可显示手写内容6400。这里，手写内容6400可包括记录了写下用于计算球体的体积的公式和勾股定理的过程的数据。

装置6410可接收从手写内容6400指定包括球体的形状和v＝4/3πr3的感兴趣区域6401的输入，以及激活控制面板中包括的再现按钮6402的输入。

响应于激活再现按钮6402，装置6410可在请求(或命令)外部显示装置6420再现部分手写内容的同时，向外部显示装置6420发送关于感兴趣区域6401中包括的部分手写内容(例如，球体的形状和v＝4/3πr3)的信息。例如，当装置6410是平板PC时，平板PC可控制具有尺寸大于平板PC的显示器的智能TV再现由用户选择的部分手写内容。

在这种情况下，外部显示装置6420可利用感兴趣区域6401中包括的笔画的时间信息再现部分手写内容的绘制过程6403。例如，外部显示装置6420可基于写下部分手写内容的次序，首先绘制球体，然后在球体中绘制直线和r，然后绘制v＝4/3πr3。

现在将参考图65描述由第二装置100-2再现在第一装置100-1上选择的手写内容的一部分的示例。

图65是由第二装置100-2按与在第一装置100-1上选择的手写内容的一部分被写下的时间方式相同的时间方式再现手写内容的该部分的示例的示图。在图65中，第一装置100-1是老师的终端6500-1而第二装置100-2是学生的终端6500-2。

参考图65，老师的终端6500-1可显示手写内容6500。这里，手写内容6500可包括记录了写下用于计算球体体积的公式和勾股定理的过程的数据。

老师的终端6500-1可接收从手写内容6600指定包括球体的形状和

v＝4/3πr3的感兴趣区域6501的输入，以及激活控制面板中包括的再现按钮6502的输入。

响应于激活再现按钮6502，老师的终端6500-1可向连接到老师的终端6500-1的学生的终端6500-2发送关于感兴趣区域6501中包括的部分手写内容(例如，球体的形状和v＝4/3πr3)的信息。此时，老师的终端6500-1可请求(或命令)学生的终端6500-2再现部分手写内容。

在这种情况下，学生的终端6500-2可根据对于再现部分手写内容的请求(或命令)，利用感兴趣区域6501中包括的笔画的时间信息来再现部分手写内容的绘制过程。例如，在操作6510，学生的终端6500-2可根据部分手写内容被写下的次序，首先输出绘制球体的过程。然后，在操作6520中，学生的终端6500-2可输出在球体中绘制直线和r以及绘制v的过程。接下来，学生的终端6500-2可顺序绘制“＝4/3πr3”。

图66是由多个外部装置再现在第一装置100-1上选择的手写内容的一部分的示例的示图。在图66中，第一装置100-1是老师的终端6610，多个外部装置是多个第一学生的终端6620至第三学生的终端6640。

参考图66，老师的终端6610可显示手写内容6600。这里，老师的终端6610可接收从手写内容6600指定包括球体的形状和v＝4/3πr3的感兴趣区域6601的输入，以及激活控制面板中包括的再现按钮6602的输入。

响应于激活再现按钮6602的输入，老师的终端6610可向连接到老师的终端6610的第一学生的终端6620至第三学生的终端6640发送关于感兴趣区域6601中包括的部分手写内容(例如，球体的形状和v＝4/3πr3)的信息。此时，老师的终端6610可请求(或命令)第一学生的终端6620至第三学生的终端6640再现部分手写内容。

在这种情况下，第一学生的终端6620至第三学生的终端6640中的每个可根据对于再现部分手写内容的请求(或命令)，利用感兴趣区域6601中包括的笔画的时间信息来再现部分手写内容的绘制过程。

例如，第一学生的终端6620可根据部分手写内容被写下的次序，绘制球体，然后在球体中绘制直线和r，然后绘制v＝4/3πr3。而且，第二学生的终端6630可根据部分手写内容被写下的次序，绘制球体，然后在球体中绘制直线和r，然后绘制v＝4/3πr3。第三学生的终端6640也可根据部分手写内容被写下的次序，绘制球体，然后在球体中绘制直线和r，然后绘制v＝4/3πr3。

图67是由第一装置100-1和第二装置100-2中的每个再现在第一装置100-1上选择的手写内容的一部分的方法的流程图。

在操作S6710，第一装置100-1和第二装置100-2可建立通信连接。例如，第一装置100-1可通过局域网与第二装置100-2通信，或者可通过移动网络(例如，3G、4G或5G)与第二装置100-2通信。局域通信的示例包括蓝牙、BLE、Wi-Fi直连、UWB、Zigbee、NFC或Ant+，但不限于此。

在操作S6720，第一装置100-1可显示手写内容。根据示例性实施例，手写内容可包括按特定次序输入的多个笔画。根据示例性实施例，第一装置100-1的屏幕上显示的手写内容可以是原始手写内容或编辑的手写内容，但手写内容不限于此。

在操作S6730，第一装置100-1可接收选择手写内容的一部分(下文中，称为部分手写内容)的输入。例如，第一装置100-1可接收指定感兴趣区域的用户输入，并且选择与感兴趣区域相应的部分手写内容。替代地，第一装置100-1可在电子笔200的特定按钮被按下的同时接收通过电子笔200顺序触摸多个笔画的用户输入。此时，第一装置100-1可选择触摸的多个笔画作为部分手写内容。

在操作S6740，第一装置100-1可按与部分手写内容被写下的时间方式相同的时间方式再现部分手写内容。

根据示例性实施例，第二装置100-2可创建按先后次序插入部分手写内容中包括的至少一个笔画的堆栈。例如，第二装置100-2可比较提取的笔画的时间戳信息以确定提取的笔画的相对先后次序。第二装置100-2可将提取的笔画之中的最旧的笔画插入堆栈的顶部，并且将提取的笔画之中最近的笔画插入堆栈的底部。第二装置100-2可利用创建的堆栈按与部分手写内容被写下的时间方式相同的时间方式再现部分手写内容。

在操作S6750，第一装置100-1可发送关于部分手写内容的信息。例如，第一装置100-1可利用局域通信、移动通信或无线LAN通信向第二装置100-2发送关于部分手写内容的信息。

根据示例性实施例，第一装置100-1可发送关于部分手写内容中包括的笔画的信息(例如，笔画ID信息、时间戳信息或坐标信息)。根据示例性实施例，第一装置100-1可在对关于部分手写内容中包括的笔画的信息进行压缩或编码之后，向第二装置100-2发送该信息。此时，第一装置100-1可使用各种压缩或编码算法中的任一种。

根据示例性实施例，第一装置100-1可在再现部分手写内容的同时向第二装置100-2发送关于正在再现的部分手写内容的流数据。

根据示例性实施例，第一装置100-1可使用Miracast经由镜像技术对部分手写内容进行编码，并通过网络信道向第二装置100-2发送编码后的部分手写内容。网络信道的示例包括WFD、蓝牙、Zigbee、NFC和BLE。不同于Wi-Fi，Miracast在没有便于通信的接入点或路由器的情况下通过装置之间的直接通信提供在装置之间使用内容和服务的基础。

在操作S6760，第二装置100-2可按与部分手写内容被写下的时间方式相同的时间方式再现部分手写内容。例如，第二装置100-2可利用关于从第一装置100-1接收的部分手写内容的信息来再现部分手写内容。

根据示例性实施例，第二装置100-2可不存储关于部分手写内容的信息，但可利用流传输方法立即再现部分手写内容。

替代地，根据另一示例性实施例，第二装置100-2可利用下载方法存储关于部分手写内容的信息，然后利用存储的关于部分手写内容的信息再现部分手写内容。

根据示例性实施例，再现部分手写内容的第一装置100-1的屏幕与第二装置100-2的屏幕可彼此同步。现在将参考图68详细描述将第一装置100-1的屏幕与第二装置100-2的屏幕同步的示例。

图68是由第一装置6800-1和第二装置6800-2中的每个按照与在第一装置6800-1上选择的手写内容6800的一部分被写下的时间方式相同的时间方式再现手写内容6800的该部分的示例的示图。

参考图68的操作6810，第一装置6800-1可显示手写内容6800。这里，手写内容6800可包括记录了写下计算球体体积的公式和勾股定理的过程的数据。

第一装置6800-1可接收从手写内容6400指定包括球体的形状和v＝4/3πr3的感兴趣区域6801的输入，以及激活控制面板中包括的再现按钮6802的输入。

参考图68的操作6820，响应于激活再现按钮6802的输入，第一装置6800-1可再现绘制部分手写内容(球体的形状和v＝4/3πr3)的过程。例如，第一装置6800-1可利用感兴趣区域6801中包括的笔画的时间信息，根据部分手写内容被写下的次序，首先输出绘制球体的过程。

第二装置6800-2也可输出绘制球体的过程。例如，第一装置6800-1可在请求(或命令)第二装置6800-2再现感兴趣区域6801中包括的部分手写内容的同时向第二装置6800-2发送关于感兴趣区域6801中包括的部分手写内容的信息。在这种情况下，类似于在第一装置6800-1，第二装置6800-2可首先输出绘制球体的过程。

而且，第一装置6800-1可利用镜像技术向第二装置6800-2周期性发送显示部分手写内容的屏幕的数据。在这种情况下，第二装置6800-2可显示与第一装置6800-1相同的屏幕。

参考图68的操作6830，在绘制球体之后，第一装置6800-1可显示绘制v＝4/3πr3的过程。此时，第二装置6800-2也可显示绘制v＝4/3πr3的过程。

图69是根据示例性实施例的装置100提供与选择的抄本相应的部分片段的多媒体内容的方法的流程图。

在操作S6910，装置100可显示与多媒体内容(例如，视频内容或音频内容)相应的抄本的列表。在说明书中，抄本可指通过将口头细节转变到书面而获得的记录。根据示例性实施例，一个抄本可以是一个句子。

根据示例性实施例，装置100可通过基于语音至文本(STT)技术将多媒体内容中包括的语音改变为文本，来创建与多媒体内容相应的抄本。这里，抄本可被映射到多媒体内容的再现时间信息。

根据示例性实施例，装置100可通过将多媒体内容中包括的部分语音改变为文本来创建抄本。例如，当语音在预定时段内没有输出然后在再现运动图像讲座内容的同时在特定时间点输出时，装置100可通过将在特定时间点输出的语音改变为文本来创建抄本。根据示例性实施例，装置100可通过将在运动图像内容中改变屏幕时的时间点插入的语音改变为文本来创建抄本。

同时，根据示例性实施例，装置100可在语音的音节为至少预定长度时通过将语音改变为文本来创建抄本。例如，装置100可不创建具有短音节(例如“well”或“no”)的语音的抄本。

在操作S6920，装置100可接收从抄本列表选择第一抄本的输入。

选择第一抄本的输入可不同。根据示例性实施例，装置100可接收从抄本列表指定感兴趣区域的输入。感兴趣区域的形状可不同。例如，感兴趣区域的形状可以是圆形、椭圆形、矩形或自由曲线，但不限于此。而且，感兴趣区域的颜色和图案可不同。

替代地，装置100可接收用于选择第一抄本的手势。例如，装置100可在用户触摸第一抄本至少达预设时段(例如，触摸并保持至少3秒)或触摸第一抄本至少预定次数(例如，双击)时选择第一抄本。

在操作S6930，装置100可从多媒体内容提取与第一抄本相应的部分片段。

例如，装置100可选择在开始创建第一抄本的时间点再现的第一帧。替代地，装置100可选择在结束创建第一抄本的时间点再现的第n帧。装置100可选择与在第一抄本之后创建的第二抄本的时间点相应的第n帧。装置100可提取从第一帧到第n帧的片段作为与第一抄本相应的部分片段。

在操作S6940，装置100可提供提取的部分片段的多媒体内容。

例如，装置100可移动到与第一抄本相应的部分片段的起始帧，并且再现与第一抄本相应的部分片段。替代地，装置100可将多媒体内容的时间线移动到与第一抄本相应的部分片段的起始点。

图70是根据示例性实施例的由装置100提供与选择的抄本相应的部分运动图像片段的示例的示图。

参考图70，装置100将运动图像内容7010中包括的语音改变为文本以创建多个抄本。然后，装置100可显示多个抄本的列表7020。

根据示例性实施例，装置100可显示列表7020上的文本的整个句子，或者列表7020上的文本的预设长度的句子。

根据示例性实施例，装置100可显示与列表7020上的每个抄本相应的运动图像部分片段的再现起始点信息(例如，00.00.10)。

根据示例性实施例，装置100可接收从列表7020选择第二抄本(例如，

“Let's see an example of continuity”)的输入。装置100可提取与第二抄本7021相应的运动图像片段。例如，如果在创建第二抄本7021的同时再现运动图像内容7010的第二片段(00.13.20至00.20.30)，则装置100可提取运动图像内容7010的第二片段。然后，装置100可将运动图像内容7010的时间线移动到第二片段的起始帧。

根据示例性实施例，用户可选择特定抄本以在多媒体内容中方便地搜索感兴趣的帧。

图71是是由装置100基于搜索关键词搜索部分运动图像片段的示例的示图。

参考图71，装置100可将运动图像内容7100中包括的语音改变为文本，从而创建多个抄本。然后，装置100可存储多个抄本的列表7020。这里，抄本可映射到多媒体内容的再现时间信息。

根据示例性实施例，装置100可接收搜索关键词的输入。例如，如果用户希望搜索与“example of discontinuity”有关的部分片段，则用户可向装置100的搜索窗口7100输入“example of discontinuity”作为搜索关键词。

根据示例性实施例，装置100可从多个抄本的列表7020提取包括“example ofdiscontinuity”的第三抄本。然后，装置100可选择在开始创建第三抄本的时间点再现的第一帧7110。而且，装置100可选择在结束创建第三抄本的时间点再现的第二帧7120。

装置100可提取从第一帧7110到第二帧7120的片段作为与第三抄本相应的部分运动图像片段7130，并且再现该部分运动图像片段7130。

图72A和图72B是根据示例性实施例的由装置100提供与选择的单词相应的部分音频片段的示例的示图。

参考图72A，装置100可将音频内容7200中包括的语音改变为文本，从而创建抄本，例如，“Hi,Let me introduce myself.My name is Kim Chul Su.I live in Seoul”。装置100可在再现音频内容7200的同时显示抄本。

根据示例性实施例，装置100可接收选择抄本中包括的特定单词7210(例如“myself”)的输入。

参考图72B，装置100可在输出特定单词7210(例如“myself”)时提取第一时间线，例如，00:10。装置100可将音频内容7200的时间线移动到第一时间线。

图73和图74是根据示例性实施例的装置100的结构的框图。

如图73所示，根据示例性实施例的装置100可包括显示单元111、用户输入单元120和控制单元130。可利用比图67中所示的组件更多或更少的组件实现装置100。

例如，如图74所示，根据示例性实施例的装置100可包括输出单元110、用户输入单元120、控制单元130、通信单元140、感测单元150、音频/视频(A/V)输入单元160和存储器170。

现在将详细描述装置100的以上组件。

输出单元110用于输出音频信号、视频信号或振动信号，并且可包括显示单元111、声音输出单元112和振动电机113。

显示单元111输出并显示由装置100处理的信息。例如，显示单元111可在屏幕上显示手写内容。而且，当部分手写内容被选择时，显示单元111可显示包括再现功能按钮和编辑功能按钮中的至少一个的控制面板。这里，显示单元111可在距部分手写内容的预定距离内显示控制面板。

显示单元111可显示通过将语音改变为文本得到的抄本。例如，显示单元111可显示与多媒体内容(例如语音内容或音频内容)相应的抄本的列表。

同时，当显示单元111通过与触摸板形成层结构而被配置为触摸屏时，显示单元111也可用作输入装置以及输出装置。显示单元111可包括液晶显示器(LCD)、薄膜晶体管液晶显示器(TFT-LCD)、有机发光二极管(OLED)、柔性显示器、3D显示器和电泳显示器中的至少一种。根据装置100的实施例，装置100可包括至少两个显示单元111。

声音输出单元112输出从通信单元140接收的音频数据或存储在存储器170中的音频数据。而且，声音输出单元112输出与由装置100执行的功能有关的声音信号，例如呼叫信号接收音、消息接收音或警报音。声音输出单元112可包括扬声器或蜂鸣器。

振动电机113可输出振动信号。例如，振动电机113可输出与音频数据或视频数据的输出相应的振动信号，例如，呼叫信号接收音或消息接收音。而且，振动电机113可在触摸屏被触摸时输出振动信号。

用户输入单元120被用户使用来输入用于控制装置100的数据。用户输入单元120的示例包括键盘、圆顶开关、触摸板(触摸电容型、压力电阻膜型、红外光检测型、表面超声传导型、整体张力测量型或压电效应型)、拨轮、拨动开关，但不限于此。

用户输入单元120可接收从屏幕上显示的手写内容选择部分手写内容的用户输入。例如，用户输入单元120可接收在屏幕上显示的手写内容上指定感兴趣区域的输入。

根据示例性实施例，用户输入单元120可接收通过控制面板激活再现功能按钮或编辑功能按钮的输入。

再现功能按钮可包括再现按钮、暂停按钮、快进按钮、倒退按钮和再现速度控制按钮中的至少一个。编辑功能按钮可包括撤销按钮、恢复按钮、OCR按钮、添加按钮、交换按钮中的至少一个。控制面板可包括用于搜索部分手写内容的部分片段的搜索栏。

控制器130通常控制装置100的整体操作。例如，控制单元130通常可通过运行存储器170中存储的程序，来控制输出单元110、用户输入单元120、通信单元140、感测单元150和A/V输入单元160。

控制单元130可通过获得与多个笔画中的每个笔画相应的时间戳信息和坐标信息来创建手写内容。而且，控制单元130可利用部分手写内容中包括的笔画的时间信息再现部分手写内容。

控制单元130可在再现多媒体内容的同时创建手写内容，并且在将手写内容与多媒体内容同步之后存储手写内容。多媒体内容可包括视频内容和音频内容中的至少一种。

控制单元130可选择与感兴趣区域相应的部分手写内容。例如，控制单元130可基于笔画单位或坐标单位来选择与感兴趣区域相应的部分手写内容。

控制单元130可提取部分手写内容中包括的笔画，并且利用与笔画相应的时间戳信息确定笔画的次序。例如，控制单元130可将笔画之中首先输入的笔画确定为起始位置，将笔画之中最后输入的笔画确定为结束位置。

控制单元130可提取与部分手写内容相应的运动图像内容或音频内容，并提供提取的运动图像内容或提取的音频内容。

当多个部分手写内容被选择时，控制单元130可提供与多个部分手写内容相应的多个运动图像内容的列表。

控制单元130可利用部分手写内容中包括的笔画的时间信息来编辑部分手写内容。

通信单元140可包括使得装置100能够与外部装置或服务器通信的至少一个组件。例如，通信单元140可包括短距离无线通信单元141、移动通信单元142和广播接收模块143。

短距离无线通信单元141可包括蓝牙通信单元、BLE通信单元、NFC单元、无线局域网(WLAN)(Wi-Fi)通信单元、Zigbee通信单元、红外数据协会(IrDA)通信单元、Wi-Fi直连(WFD)通信单元、UWB通信单元和Ant+通信单元，但短距离无线通信单元141中包括的组件不限于此。

移动通信单元142在移动通信网络上向基站、外部终端和服务器中的至少一个发送无线信号，从基站、外部终端和服务器中的至少一个接收无线信号。这里，无线信号可根据语音呼叫信号、视频电话呼叫信号或文本/多媒体消息的发送和接收包括具有各种格式的数据。

广播接收单元143通过广播信道从外部源接收广播信号和/或广播相关信息。广播信道可包括卫星信道或地面广播信道。在一些实施例中，装置100可不包括广播接收单元143。

通信单元140可向外部服务器或外部装置发送手写内容。通信单元140可从外部装置接收由外部装置编辑的手写内容。

通信单元140可从外部可穿戴装置接收脉搏信息、心电图信息、或体温信息。例如，装置100可从智能手表接收脉搏信息或体温信息。

感测单元150可检测装置100的状态或装置100附近的状态，并将检测到的状态发送到控制单元130。

感测单元150可包括磁传感器151、加速度传感器152、温度/湿度传感器153、红外传感器154、陀螺仪传感器155、诸如全球定位系统(GPS)的位置传感器156、大气传感器157、接近传感器158、诸如照明传感器的红、绿、蓝(RGB)传感器159中的至少一个，但是感测单元150中包括的组件不限于此。因为本领域普通技术人员可基于各传感器的名字直观地推断其功能，所以这里不描述其细节。

A/V输入单元160用于接收音频信号或视频信号，并且可包括相机161和麦克风162。相机161可在视频电话模式或拍摄模式下经由图像传感器获得静态图像或运动图像的图像帧。经由图像传感器捕获的图像可被控制单元130或单独的图像传感器(未示出)处理。

相机161处理的图像帧可存储在存储器170中或通过感测单元150发送到外部装置。根据装置100的实施例，装置100可包括至少两个相机161。

麦克风162接收外部声音信号并且将外部声音信号处理成电语音数据。例如，麦克风162可从外部装置或叙述者接收声音信号。麦克风162可使用各种噪声去除算法中的任一种去除在接收外部声音信号时生成的噪声。

存储器170可存储用于处理和控制控制单元130的程序，并且可存储输入/输出数据，例如应用、手写内容、多媒体内容或抄本。

存储器170可至少包括闪存、硬盘、多媒体卡微型存储器、卡型存储器(例如，安全数字(SD)卡或极端数字(XD)卡)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁存储器、磁盘、光盘之中的存储介质。而且，装置100可操作在互联网中执行存储器170的存储功能的网络存储服务器或云服务器。

存储器170中存储的程序可基于功能归类到多个模块，并且可归类到UI模块171、触摸屏模块172、通知模块173和STT模块174。

UI模块171可根据应用提供链接至装置100的专用UI或GUI。触摸屏模块172可检测用户在触摸屏上的触摸手势，并将关于触摸手势的信息发送到控制单元130。根据示例性实施例的触摸屏模块172可识别并分析触摸代码。触摸屏模块172可被配置为包括控制器的单独硬件。

各种传感器可被布置在触摸屏内部或周围以检测触摸屏上的触摸或接近触摸。用于检测触摸屏上的触摸的传感器的示例包括触觉传感器。触觉传感器检测特定对象上的能被人感觉到的触摸。触觉传感器可检测各种类型的信息，例如接触表面的粗糙度、接触对象的刚度、触摸点的温度。

用于检测触摸屏上的触摸的传感器的另一个示例包括接近传感器。

接近传感器利用电磁场或红外线检测接近预定检测表面或在预定检测表面附近的对象的存在，而不必检测机械接触。接近传感器的示例包括透射光电传感器、直接反射型光电传感器、镜面反射型光电传感器、高频振荡接近传感器、电容型接近传感器、磁型接近传感器、红外接近传感器。用户的触摸手势的示例包括点击、触摸并保持、双击、拖动、平移、轻拂、拖放和滑动。

通知模块173可生成用于通知装置100中的事件发生的信号。装置100中发生的事件的示例包括呼叫信号接收、消息接收、键信号输入和日程通知。通知模块173可通过显示单元111用视频信号格式、通过声音输出单元112用音频信号格式或通过振动电机113用振动信号格式，来输出通知信号。

STT模块174可将多媒体内容中包括的语音改变为文本，从而创建与多媒体内容相应的抄本。这里，抄本可与多媒体内容的再现时间信息相映射。

如上所述，根据以上示例性实施例的一个或多个示例性实施例，装置100可利用笔画的时间信息再现由用户选择的部分手写内容的绘制过程。

以上描述的方法可通过以利用各种计算机执行的计算机程序实现而记录在计算机可读记录介质中。计算机可读记录介质可包括程序命令、数据文件和数据结构中的至少一种。计算机可读记录介质中记录的程序命令可以是专门设计的或对计算机软件领域的普通技术人员公知的。计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光学数据存储装置等。计算机命令的示例包括由编译器制备的机械代码和计算机利用解释器可执行的高级语言。

尽管参考附图描述了一个或多个示例性实施例，本领域普通技术人员将理解，在不脱离所附权利要求限定的本公开的精神和范围的情况下，可作出形式和细节上的各种改变。

Claims (26)

1.一种再现内容的装置，包括：

存储器；

触摸屏，被配置为接收手写输入；

显示器，被配置为同时显示音频和/或视频内容和基于接收到的手写输入的手写内容；

处理器，被配置为在手写输入被输入并且音频和/或视频内容被输出的同时，将手写输入对触摸屏的输入时间与在显示器上显示的音频和/或视频内容的部分的输出时间关联，将与音频和/或视频内容的部分的输出时间关联的手写输入的输入时间存储在存储器中，控制显示器显示手写内容，并且响应于检测到触摸屏上的选择在显示器上正在显示的手写内容的一部分的触摸输入，再现与存储器中存储的与手写内容的所述一部分相应的手写输入对触摸屏的输入时间关联的音频和/或视频内容的一部分。

2.如权利要求1所述的装置，其中，处理器还被配置为：通过基于手写内容的所述一部分的坐标信息获得音频和/或视频内容的时间信息，再现音频和/或视频内容的所述一部分。

3.如权利要求2所述的装置，其中，处理器还被配置为：控制显示器在音频和/或视频内容的所述一部分正被再现的同时显示手写内容的所述一部分。

4.如权利要求3所述的装置，其中，处理器还被配置为：控制显示器按照与手写内容的所述一部分相应的手写输入被输入到触摸屏的时间方式相同的时间方式显示手写内容的所述一部分。

5.如权利要求3所述的装置，其中，处理器还被配置为：提取手写内容的所述一部分中包括的笔划，并通过使用与所述笔划相应的时间戳信息确定所述笔划的顺序。

6.如权利要求5所述的装置，其中，处理器还被配置为：将所述笔划中首先被输入的第一笔划确定为起始位置，并将所述笔划中最后被输入的最后笔划确定为结束位置。

7.如权利要求1所述的装置，其中，手写内容的所述一部分包括手写内容的多个部分，

其中，处理器还被配置为：再现与手写内容的所述多个部分相应的手写输入对触摸屏的输入时间所关联的音频和/或视频内容的多个部分。

8.如权利要求1所述的装置，其中，当手写内容的所述一部分被选择时，处理器还被配置为：控制显示器在距手写内容的所述一部分的特定距离内显示包括再现功能按钮的控制面板，并通过控制面板接收激活再现功能按钮的输入。

9.如权利要求1所述的装置，其中，处理器还被配置为：通过使用手写内容的所述一部分中包括的笔划的时间信息来编辑手写内容。

10.如权利要求1所述的装置，其中，音频和/或视频内容包括音频内容和静止图像内容。

11.如权利要求1所述的装置，其中，在手写输入被输入并且音频和/或视频内容被输出的同时手写输入对触摸屏的输入时间与在显示器上显示的音频和/或视频内容的部分的输出时间的关联包括在手写输入被输入并且音频和/或视频内容被输出的同时手写输入对触摸屏的输入时间与在显示器上显示的音频和/或视频内容的部分的输出时间的同步。

12.一种通过装置再现内容的方法，所述方法包括：

在装置的触摸屏上接收手写输入；

在装置的显示器上同时显示音频和/或视频内容和基于接收到的手写输入的手写内容；

在手写输入被输入并且音频和/或视频内容被输出的同时，将手写输入对触摸屏的输入时间与在显示器上显示的音频和/或视频内容的部分的输出时间关联；

将与音频和/或视频内容的部分的输出时间关联的手写输入的输入时间存储在存储器中；

响应于检测到选择在装置的显示器上正在显示的手写内容的一部分的到触摸屏的触摸输入，再现与存储器中存储的与手写内容的所述一部分相应的手写输入对触摸屏的输入时间关联的音频和/或视频内容的一部分。

13.如权利要求12所述的方法，其中，再现步骤包括：通过基于手写内容的所述一部分的坐标信息获得音频和/或视频内容的时间信息，再现音频和/或视频内容的所述一部分。

14.如权利要求12所述的方法，其中，再现步骤包括：在音频和/或视频内容的所述一部分正被再现的同时在装置的显示器上显示手写内容的所述一部分。

15.如权利要求14所述的方法，其中，再现步骤包括：按照与手写内容的所述一部分相应的手写输入被输入到触摸屏的时间方式相同的时间方式显示手写内容的所述一部分。

16.如权利要求14所述的方法，其中，再现步骤包括：

提取手写内容的所述一部分中包括的笔划；

通过使用与所述笔划相应的时间戳信息确定所述笔划的顺序。

17.如权利要求16所述的方法，其中，确定所述笔划的顺序的步骤包括：将所述笔划中首先被输入的第一笔划确定为起始位置，并将所述笔划中最后被输入的最后笔划确定为结束位置。

18.如权利要求12所述的方法，其中，手写内容的所述一部分包括手写内容的多个部分，

其中，所述方法还包括：

接收对在显示器上显示的手写内容的所述多个部分的选择；

再现与手写内容的所述多个部分相应的手写输入对触摸屏的输入时间所关联的音频和/或视频内容的多个部分。

19.如权利要求12所述的方法，还包括：

在距手写内容的所述一部分的特定距离内显示包括再现功能按钮的控制面板；

通过控制面板接收激活再现功能按钮的输入。

20.如权利要求12所述的方法，还包括：通过使用手写内容的所述一部分中包括的笔划的时间信息来编辑手写内容。

21.一种记录有程序的非暂时性计算机可读记录介质，其中，当所述程序由装置执行时，所述程序使装置执行再现内容的方法，所述方法包括：

在装置的触摸屏上接收手写输入；

在装置的显示器上同时显示音频和/或视频内容和基于接收到的手写输入的手写内容；

在手写输入被输入并且音频和/或视频内容被输出的同时，将手写输入对触摸屏的输入时间与在显示器上显示的音频和/或视频内容的部分的输出时间关联；

将与音频和/或视频内容的部分的输出时间关联的手写输入的输入时间存储在存储器中；

响应于检测到选择在装置的显示器上正在显示的手写内容的一部分的到触摸屏的触摸输入，再现与存储器中存储的与手写内容的所述一部分相应的手写输入对触摸屏的输入时间关联的音频和/或视频内容的一部分。

22.如权利要求21所述的非暂时性计算机可读记录介质，其中，再现步骤包括：通过基于手写内容的所述一部分的坐标信息获得音频和/或视频内容的时间信息，再现音频和/或视频内容的所述一部分。

23.如权利要求21所述的非暂时性计算机可读记录介质，其中，再现步骤包括：在音频和/或视频内容的所述一部分正被再现的同时在装置的显示器上显示手写内容的所述一部分。

24.如权利要求23所述的非暂时性计算机可读记录介质，其中，再现步骤包括：按照与手写内容的所述一部分相应的手写输入被输入到触摸屏的时间方式相同的时间方式显示手写内容的所述一部分。

25.如权利要求23所述的非暂时性计算机可读记录介质，其中，再现步骤包括：

提取手写内容的所述一部分中包括的笔划；

通过使用与所述笔划相应的时间戳信息确定所述笔划的顺序。

26.如权利要求25所述的非暂时性计算机可读记录介质，其中，确定所述笔划的顺序的步骤包括：将所述笔划中首先被输入的第一笔划确定为起始位置，并将所述笔划中最后被输入的最后笔划确定为结束位置。

Images