CN105120195B - 内容录制、再现系统和方法 - Google Patents

Abstract

本发明公开了内容录制、再现系统和方法。该内容录制系统包括内容演示设备、语音拾取设备、笔迹获取设备和信息处理设备。该内容演示设备演示预定内容；该语音拾取设备拾取语音；该笔迹获取设备获取书写笔迹。该信息处理设备接收预定内容的数据流、语音的数据流和书写笔迹的数据流，记录针对预定内容的数据流、语音的数据流、书写笔迹的数据流的一个或多个关联标识符，并且利用一个或多个关联标识符将预定内容的数据流、语音的数据流和书写笔迹的数据流相关联，以使得预定内容的数据流、语音的数据流和书写笔迹的数据流能够被同步地再现。

Description

内容录制、再现系统和方法

技术领域

本发明涉及网络技术领域，具体地涉及用于对课堂教学、网络会议等场景进行内容的记录和再现的系统和方法。

背景技术

在现有的课堂教学、网络会议等录播应用场合中，通常伴随着视频、演示文档(如微软Power Point)文件的播放，教师或演示者可以结合视频或演示文档的播放书写相应的板书。传统的以视频摄制方式生成的录播文件虽然可以实现在一个视频中将视频或演示文档与所书写板书、演示者语音一起回放，但是以视频格式(如AVI)录制的文件的大小通常非常大，极大地限制了所录制文件的传输和存储。此外，这样的视频文件在回放时的清晰度也会受到摄像机、显示器的分辨率的影响。因此，现有的视频录播方式存在录制文件巨大，以及无法对海量的教学/会议资料进行内容检索、定位等诸多问题。

发明内容

根据本发明的一个方面，公开了一种内容录制系统，该系统包括内容演示设备、语音拾取设备、笔迹获取设备和信息处理设备。该内容演示设备演示预定内容，例如视频、图像、演示文档等。该语音拾取设备拾取语音，例如演示者或者观众的讲话。该笔迹获取设备获取书写笔迹，例如由演示者通过笔迹获取设备输入的书写内容。该信息处理设备接收预定内容的数据流、语音的数据流和书写笔迹的数据流，记录针对预定内容的数据流、语音的数据流、书写笔迹的数据流的一个或多个关联标识符，并且利用这些关联标识符将预定内容的数据流、语音的数据流和书写笔迹的数据流相关联，以使得所述预定内容数据流、所述语音的数据流和所述书写笔迹的数据流能够被相关联地同步再现。

根据本发明的另一方面，公开了一种内容录制方法，该方法包括：演示预定内容；拾取语音；获取书写笔迹；接收该预定内容的数据流、该语音的数据流和该书写笔迹的数据流；记录针对该预定内容的数据流、该语音的数据流、该书写笔迹的数据流的一个或多个关联标识符；以及利用这一个或多个关联标识符将该预定内容的数据流、该语音的数据流和该书写笔迹的数据流相关联，以使得该预定内容的数据流、该语音的数据流和该书写笔迹的数据流能够被同步地再现。

根据本发明的又一方面，公开了一种内容再现系统，该系统包括：内容演示设备，该内容演示设备演示预定内容；音频播放设备，该音频播放设备播放语音；笔迹回放设备，该笔迹回放设备回放书写笔迹；控制设备，该控制设备读取针对预定内容、语音和书写笔迹的一个或多个关联标识符以控制内容演示设备、音频播放设备和笔迹回放设备，以使得预定内容、语音和书写笔迹被相关联地同步再现，其中上述一个或多个关联标识符将预定内容的数据流、语音的数据流和书写笔迹的数据流同步地相关联。

根据本发明的又一方面，公开了一种内容再现方法，该方法包括：演示预定内容；播放语音；回放书写笔迹；读取针对预定内容、语音和书写笔迹的一个或多个关联标识符；以及利用一个或多个关联标识符来控制预定内容的演示、语音的播放和笔迹的回放，使得预定内容、语音和书写笔迹被相关联地同步再现，其中上述一个或多个关联标识符将预定内容的数据流、语音的数据流和书写笔迹的数据流同步地相关联。

附图说明

通过参考以下说明和附图，可获得对本发明的更完整了解，其中，相似的标号指示相似的特征。

图1示意性地图示出了根据本发明一个实施例的内容录制系统的框图。

图2示意性地图示出了根据本发明另一实施例的内容录制系统的框图。

图3示意性地图示出了根据本发明一个实施例的时间戳/时间轴关联方式的一个示例。

图4示意性地图示出了根据本发明另一实施例的操纵指令关联方式的一个示例。

图5示意性地图示出了根据本发明又一实施例的内容录制系统的框图。

图6示意性地图示出了根据本发明一个实施例的关联映射表的一部分的示例。

图7示意性地图示出了根据本发明一个实施例的嵌入关联标识符的数据流的一部分的示例。

图8示意性地图示出了根据本发明又一实施例的内容录制系统的框图。

图9示意性地图示出了根据本发明一个实施例的按映射表方式来进一步关联所识别文本以及进行关键词查找的一个示例。

图10示意性地图示出了根据本发明一个实施例的内容录制方法的流程图。

图11示意性地图示出了根据本发明另一实施例的内容录制方法的流程图。

图12示意性地图示出了根据本发明一个实施例的内容再现系统的框图。

图13示意性地图示出了根据本发明一个实施例的内容再现方法的流程图。

图14示意性地图示出了根据本发明一个实施例的查找方法的流程图。

具体实施方式

图1示意性地图示出了根据本发明一个实施例的内容录制系统100的框图。内容录制系统100可用于在诸如会议或课堂教学之类的场景中对各种内容进行录制(采集、记录、制作)。如图1所示，内容录制系统100可以包括内容演示设备101、语音拾取设备102、笔迹获取设备103和信息处理设备104。

内容演示设备101用于播放预定演示内容，例如，预先准备的视频文件、音频文件、演示文档文件(如Power Point)、网页文件以及文本文件等。在一个示例中，内容演示设备101例如可以是计算机、电视机、音视频播放器、演示文档播放器。

语音拾取设备102用于拾取演示者或听众的语音。在一个示例中，语音拾取设备102可以是例如麦克风、微型录音器、平面录音板、网络摄像录音头。

笔迹获取设备103用来输入书写笔迹。该书写笔迹可包括文字、图形、笔划，并且可与演示的预定内容或所拾取的语音有关。在一个示例中，笔迹获取设备103被配置来接收演示者的手写输入信号，对输入信号进行分析，并且生成书写坐标信息和由一系列连续坐标构成的书写轨迹信息。在另一示例中，笔迹获取设备103还可以识别擦除设备，生成擦除信号，并通过分析擦除信号来生成擦除坐标信息和擦除轨迹信息。与通过拍摄视频来记录书写板书相比，通过生成并记录书写板书的坐标和轨迹信息，不仅使要存储和传输的笔迹记录文件大幅减小，同时也能够动态地再现演示者输入笔迹的过程。

在一个示例中，笔迹获取设备103可以是电子白板输入设备，例如，电阻膜型、电磁感应型、红外型、表面光波型、超声波型、CCD(电荷耦合器件)型电子白板书写设备或者液晶式电子白板。然而，笔迹获取设备103可以不限于是电子白板，只要通过该输入设备可以获取输入的笔迹即可。在另一示例中，笔迹获取设备103是在普通教学黑板或普通会议演示白板四周加装触控装置而构成，该触控装置包括红外发射装置和红外接收装置，用于当在该黑板/白板上进行书写时生成书写触控信号，并经过分析获取书写坐标和轨迹信息。

信息处理设备104用来在演示预定内容、拾取语音和/或书写板书的过程中，分别从内容演示设备101、语音拾取设备102、笔迹获取设备103接收预定内容数据流、语音数据流和书写板书数据流，记录用于将所演示的预定内容、所拾取语音、所书写板书的对应部分(数据包、数据块等)一一关联起来的一个或多个关联标识符，以使得预定内容数据流、语音数据流、书写板书数据流能够被同步地再现。在一个示例中，信息处理设备104可以是执行存储在存储器上的一个或多个逻辑或程序的处理器。

在一个实施例中，一个或多个关联标识符可以是时间戳信息。例如，当内容演示设备101演示预定内容时，语音拾取设备102拾取语音时，和/或笔迹获取设备103获取由演示者所书写的板书时，信息处理设备104可以记录所演示的预定内容、所拾取语音和所书写板书的时间戳信息。该时间戳能够将预定内容、语音和/或书写笔迹一一对应地相关联，以使得它们既能够被分开存储、分发以减少存储大小、传输带宽等的限制，又能够被同步地呈现以重现出会议或教学时的场景。

图2示意性地图示出了根据本发明另一实施例的内容录制系统200的框图。内容录制系统200包括内容演示设备201、语音拾取设备202、笔迹获取设备203和信息处理设备204。此外，内容录制系统200还包括操纵指令记录设备205。在一个示例中，当演示者对演示的预定内容进行操纵时，例如打开、关闭内容文件，暂停、快进、倒退、滚动预定内容时(当内容文件为演示文档时，还可对演示文档进行翻页)，则操纵指令记录设备205记录这些操纵指令。此时，信息处理设备204还记录该操纵指令的关联标识符(如，时间戳信息)，用于将操纵指令信息与此刻的预定内容、书写笔迹、语音相关联，从而使得在再现教学或会议场景时，可以实现与笔迹和语音的呈现同步地、自动地执行对预定内容文件的操纵。

在可选实施例中，操纵指令记录设备205还可以与内容演示设备201或信息处理设备204集成在一起。

图3示意性地图示出了根据本发明一个实施例的时间戳/时间轴关联方式的一个示例。例如，在时刻t₀，信息处理设备204开始记录预定内容演示数据流、语音数据流、书写笔迹数据流、操纵指令信息数据流的时间戳，并且以预定的适当采样帧率来持续记录时间戳。因此，利用一个或多个关联标识符将预定内容数据流、语音数据流和书写笔迹数据流相关联可以是根据时间戳按数据包或数据帧相对应/映射的方式将这些数据流同步起来。

在一个示例中，在时刻t_A，演示者对演示文档进行翻页，则操纵指令记录设备205记录下翻页操纵指令信息，并且信息处理设备204记录该翻页操纵指令信息的以及所拾取语音、所书写笔迹和所演示内容的时间戳t_A。当再现教学或会议场景时，根据所记录的时间戳信息，在书写笔迹、语音和预定演示内容被呈现至时间戳t_A时，该演示文档将被自动执行翻页。在另外的示例中，在其它任意时刻，例如时刻t_B，t_C，t_D，还可对演示文档进行快进、倒退、滚动、打开、关闭等操纵，则操纵指令记录设备205记录这些操纵指令，并且信息处理设备204记录这些操纵指令的时间戳信息t_B，t_C，t_D，并且记录与此刻所记录的预定内容的数据包、语音的数据包和书写笔迹的数据包相对应的时间戳t_B，t_C，t_D。

在另一实施例中，一个或多个关联标识符可以是针对预定内容文件的诸如打开、关闭、暂停、快进、倒退、翻页之类的操纵指令。因此，利用一个或多个关联标识符将预定内容的数据流、语音的数据流、书写笔迹的数据流以及操纵指令的数据流相关联可以按例如数据块相对应/映射的方式将这些数据流同步起来。图4示意性地图示出了根据本发明另一实施例的操纵指令关联方式的一个示例。如图4所示，随着预定内容的演示，演示者可在演示进程中的任意内容进程点，例如A、B、C内容进程点，对预定内容文件进行操纵。例如，在演示内容进程点A₁，内容文件被暂停，则操纵指令记录设备205记录该暂停开始操纵指令P_start，并且信息处理设备204记录针对暂停开始之前的预定内容数据块A、语音数据块A₁和笔迹数据块A₁的关联标识符P_start，其标识并对应着各个流中的数据包位置A₁。同时，语音拾取和笔迹书写可继续进行。当执行暂停结束操纵指令P_end时，信息处理设备204记录针对该暂停结束操纵之前的预定内容数据块A、语音数据块A₂和笔迹数据块A₂的关联标识符P_end，其标识并对应着各个流中的数据包位置A₂。这样，内容数据块A、语音数据块A₁、书写笔迹数据块A₁通过关联标识符P_start被一一对应地关联起来，并且语音数据块A₂、书写笔迹数据块A₂通过关联标识符P_end被对应地关联起来。如此，在再现时，根据关联标识符P_start和P_end，内容数据块A、语音数据库A₁和笔迹数据块A₁，语音数据块A₂和笔迹数据块A₂可以被相关联地同步呈现。

又如，在预定内容演示进程中的内容进程点B₁处执行快进操纵指令，则操纵指令记录设备205记录该快进开始指令信息FF_start，并且信息处理设备204记录针对快进开始操纵之前的内容数据块B₁、语音数据块B₁和笔迹数据块B₁的关联标识符FF_start，其标识并对应着各个流中的数据包位置B₁。数据块B₁包含从上一次操纵(例如暂停结束操纵)到此次快进开始操纵之间的数据。接下来，当在内容进程点B₂处执行快进结束操纵时，则操纵指令记录设备205记录该快进结束操纵指令信息FF_end，并且信息处理设备204记录针对快进结束操纵之前的内容数据块B₂、语音数据块B₂和笔迹数据块B₂的关联标识符FF_end，其标识并对应着各个流中的数据包位置B₂。数据块B₂包含从上一次操纵(即快进开始操纵)到此次操纵(即快进结束操纵)之间的数据。如此，当再现时，根据所记录的操纵指令信息FF_start和FF_end，预定内容文件可以自动地被快进。此外，根据关联标识符FF_start，内容数据块B₁、语音数据块B₁和笔迹数据块B₁可以被相关联地同步呈现，并且根据关联标识符FF_end，内容数据块B₂、语音数据块B₂和笔迹数据块B₂可以被相关联地同步呈现。

在又一示例中，在预定内容演示进程中的内容进程点C₁，C₂，…，C_n处执行翻页操纵指令，则操纵指令记录设备205记录该翻页操纵指令信息P_{turn_1}，P_{turn_2}，…，P_{turn_n}，并且信息处理设备204记录针对这些翻页操纵之间的数据块的内容数据块C₁，内容数据块C₂，…，内容数据块C_n，语音数据块C₁，语音数据块C₂，…，语音数据块C_n，以及笔迹数据块C₁，笔迹数据块C₂，…，笔迹数据块C_n的关联标识符P_{turn_1}，P_{turn_2}，…，P_{turn_n}。这些关联标识符对应着并且标识各个流中的数据包位置C₁，C₂，…，C_n。如此，通过记录并存储翻页操纵指令信息P_{turn_1}，P_{turn_2}，…，P_{turn_n}，在再现时，演示内容文件可以自动地被翻页，并且根据关联标识符P_{turn_1}，P_{turn_2}，…，P_{turn_n}，所拾取语音和书写笔迹中的对应数据块C₁，C₂，…，C_n能够与相应页的演示内容数据块相关联地被同步呈现。

图5示意性地图示出了根据本发明又一实施例的内容录制系统500的框图。内容录制系统500除了包括内容演示设备501、语音拾取设备502、笔迹获取设备503、信息处理设备504和操纵指令记录设备505，还包括存储设备506。存储设备506用于单独存储各种数据流，例如，内容演示设备501进行演示的预定内容的数据流、语音拾取设备502拾取的语音数据流、笔迹获取设备503获取的书写笔迹数据流和操纵指令记录设备505记录的操纵指令信息数据流。在可选实施例中，存储设备506还可以将预定内容、语音、书写笔迹和操纵指令信息中的一个或多个打包存储，便于分发和传输。

在一个实施例中，信息处理设备504将一个或多个关联标识符(例如，时间戳、对预定演示内容的操纵指令)、以及预定内容数据流、语音数据流、书写笔迹数据流和操纵指令信息数据流中与一个或多个关联标识符对应的一个或多个数据包位置(例如，数据包编号)进行关联，并生成关联映射表，并且存储设备506分开存储预定内容数据流、语音数据流、书写笔迹数据流、操纵信息数据流和该关联映射表。通过分开记录和存储各个数据流以及关联映射表，可以根据用户需要、网络带宽限制等，选择性地分发，例如拷贝、上传、传输、下载内容数据流、语音数据流、书写笔迹数据流、操纵信息数据流中的一个或多个以及关联映射表，并且可同步地再现这些数据流。

在另一实施例中，信息处理设备504将一个或多个关联标识符分别嵌入预定内容数据流、语音数据流、书写笔迹数据流和操纵指令信息数据流中的对应位置，并且存储设备506分开存储各自嵌入了这一个或多个关联标识符的预定内容数据流、语音数据流、书写笔迹数据流以及操纵指令信息数据流。通过分开记录和存储各个数据流，可以根据用户需要、网络带宽限制等，选择性地分发，例如拷贝、上传、传输、下载内容数据流、语音数据流、书写笔迹数据流、操纵信息数据流中的一个或多个，并且可同步地再现这些数据流。

图6示意性地图示出了根据本发明一个实施例的关联映射表的一部分的示例。如图6所示，每个关联标识符I_n与内容数据流、语音数据流、笔迹数据流、操纵指令信息数据流中相应位置(不一定是相同时间上的对应位置，如操纵指令关联方式的情况中)处的数据包以一一映射的方式被记录，以使得通过该关联映射表，预定内容数据流、语音数据流、书写笔迹数据流、操纵指令信息数据流能够被相关联地再现。

与图6相对应地，图7示意性地图示出了根据本发明一个实施例的嵌入关联标识符的各个数据流的一部分的示例。如图7所示，在预定内容数据流、语音数据流、书写笔迹数据流、操纵指令信息数据流中，分别各自嵌入了关联标识符I₁，I₂，…，I_n-1和I_n。以预定内容数据流为例，在内容数据包A之后的位置嵌入关联标识符I₁，在内容数据包D后嵌入关联标识符I₂。类似地，关联标识符I_n-1和I_n分别被嵌入内容数据包J和K后的位置处。在将时间戳作为关联标识符的关联方式中，取决于加入时间戳的帧率，可以每隔一个或若干个数据包插入时间戳作为关联标识符。在操纵指令关联方式中，取决于操纵指令的发布来在各个数据流中发布指令时刻的相应位置处插入操纵指令信息作为关联标识符。

图8示意性地图示出了根据本发明又一实施例的内容录制系统800的框图。与内容录制系统500不同的是，内容录制系统800还可包括文本识别设备807。在一个实施例中，文本识别设备807接收由内容演示设备801进行演示的预定内容数据流、由语音拾取设备802拾取的语音数据流、由笔迹获取设备803获取的书写笔迹数据流，并且分别识别为演示内容文本、语音文本和书写笔迹文本。此时，信息处理设备804接收演示内容数据流、语音数据流、书写笔迹数据流、操纵信息数据流，并且还从文本识别设备807接收演示内容文本、语音文本和书写笔迹文本。在一个示例中，信息处理设备804利用上述一个或多个关联标识符将演示数据流、语音数据流、书写笔迹数据流和操纵指令信息数据流相关联，并且还利用上述一个或多个关联标识符将演示内容数据流、语音数据流、书写笔迹数据流分别与识别出的相应文本，即，演示内容文本、语音文本和书写笔迹文本相关联。在一个示例中，信息处理设备804可以按照图6所示的关联映射表的方式和/或按照图7所示的嵌入标识符方式，来利用关联标识符将演示内容数据流、语音数据流、书写笔迹数据流、操纵指令信息数据流，以及演示内容文本、语音文本和书写笔迹文本关联起来，以使得既能够分开存储、分发，又能够实现同步呈现。

在另一替代实施例中，文本识别设备807可从信息处理设备804接收已经分别嵌入了关联标识符的预定内容数据流、语音数据流、书写笔迹数据流，并分别识别为内容文本、语音文本和书写笔迹文本。在此情况中，所识别出的内容文本、语音文本和书写笔迹文本中分别保留有与预定内容数据流、语音数据流、书写笔迹数据流中相应位置处的关联标识符相对应的一个或多个关联标识符。

通过将演示内容、语音和书写笔迹识别为文本文字并通过关联标识符进行关联，可以实现对这些信息资源的查找和定位，而在现有的视频录制方式中无法实现对海量视频资源的查找和定位。在一个示例中，当需要查找或定位含有某个关键词的一个或多个数据流时，信息处理设备804接收某关键词查找指令，在所识别出的演示内容文本、语音文本和书写笔迹文本中进行搜索，定位到并列出所有文本中包含该关键词的数据块。图9示意性地图示出了根据本发明一个实施例的按映射表方式来进一步关联所识别文本以及在文本中进行关键词查找的一个示例。在此实施例中，将以搜索关键词“勾股定理”为例进行说明。在一个示例中，当在文本中搜索关键词“勾股定理”时，信息处理设备804可定位到首次出现关键词“勾股定理”的文本中的数据块，例如，内容文本数据包a₄与a₃之间的数据块a_4-3，并且可以通过关联标识符I₄关联到演示内容数据包A₄、语音数据包B₄、笔迹数据包C₄。由此，可以通过关联再现来查看与关键词“勾股定理”相关的对应的内容数据块A_4-3、语音数据块B_4-3和笔迹数据块C_4-3，以及从这个点起往后的所有数据流。在另一示例中，信息处理设备804还可以查找并定位到包含该关键词“勾股定理”的所有文本数据块，并列出对应的流数据块，以供选择性地进行关联查看。在图9所示的示例中，信息处理设备804可定位到内容文本数据块a_4-3、语音文本数据块b_n-2-n-1和笔迹文本数据块c_2-1，并列出关联的内容数据块A_4-3、语音数据块B_n-2-n-1和笔迹数据块C_2-1。从而，可通过关联再现来查看包含关键词“勾股定理”的内容数据块A_4-3及对应的语音数据块B_4-3和笔迹数据块C_4-3，语音数据块B_n-2-n-1及对应的内容数据块A_n-2-n-1和笔迹数据块C_n-2-n-1，笔迹数据块C_2-1及对应的内容数据块A_2-1和语音数据块B_2-1。

图10示意性地图示出了根据本发明一个实施例的内容录制方法1000的流程图。在步骤S1001，开始演示预定内容。预定内容例如可以是演示文档(例如，Power Point文档)、视频、音频、图像、文本等。例如，在课堂教学或会议中，通过电视机或计算机等向观众演示上述预定内容。在步骤S1002，拾取语音。例如，可以通过麦克风拾取演示者的语音。在另一示例中，也可以拾取观众的语音。在步骤S1003，获取书写笔迹。在一个示例中，书写笔迹可以来自演示者的电子白板输入，也可以来自任何观众的电子白板输入。另外，如前所述，书写笔迹的来源可以不限于是电子白板输入，只要通过该输入设备可以获取书写笔迹的输入即可。或者，书写板书可以是来自于任何第三方书写硬件的书写笔记。在一个示例中，书写笔迹被记录为坐标序列，这一方面能够减小书写笔迹的存储大小，另一方面，这些坐标序列能够在再现时用于动态地还原出书写过程中的书写轨迹。在一个实施例中，可选地，在步骤S1004，还可以记录对所演示的预定内容及内容文件的操纵，例如打开、关闭文件，对文件内容进行暂停、快进、翻页等。这些操纵信息可用来在再现时实现对演示文档的自动操纵，并且通过如下所述的关联标识符与语音、书写笔迹的再现同步地被操纵。此外，如上所述，操纵指令信息本身也可以作为关联标识符。步骤S1001、S1002、S1003、S1004并不一定按描述的顺序执行，而是可以根据会议或课堂教学场景中实际产生的任何顺序来执行。在步骤S1005，记录针对预定演示内容的数据流、所拾取语音的数据流、所获取的书写笔迹数据流的一个或多个关联标识符，例如时间戳或操纵指令信息。可选地，当在步骤S1004中记录了操纵指令信息时，还可以在步骤S1005中记录针对操纵指令信息数据流的上述一个或多个关联标识符。在步骤S1007，利用上述一个或多个关联标识符将预定内容数据流、语音数据流、书写笔迹数据流和/或操纵信息数据流相关联，生成关联映射表。在步骤S1008，分别单独存储预定内容数据流、语音数据流、书写笔迹数据流和/或操纵信息数据流，以及关联映射表，以便于选择性地分发、上传、传输、存储。并且，通过关联映射表，所有这些数据流能够被相关联地呈现。可选地，在步骤S1009，将预定内容、语音、书写笔迹识别为预定内容文本、语音文本和书写笔迹文本。在步骤S1010，利用上述一个或多个关联标识符将所识别的各文本与从其被识别出的相应数据流相关联，并生成添加了文本的关联映射表。在步骤S1011，分别单独存储各个文本和添加了文本的关联映射表。根据本发明的上述实施例，通过将各种数据流识别为文本，可以实现海量资源的查找和定位，并且通过关联标识符将文本与对应的数据流、对应数据流与其它数据流关联起来，还可以在定位到包含某个关键词的一个部分后，关联地查找到预定内容流、语音流和书写笔迹流中的其它相对应部分并且同步呈现这些流。

图11示意性地图示出了根据本发明另一实施例的内容录制方法1100的流程图。步骤S1101-S1106与图10的步骤S1001-S1006相同。在步骤S1107，将所记录的一个或多个关联标识符分别嵌入预定内容数据流、语音数据流、书写笔迹数据流和/或操纵指令信息数据流中的对应位置。如前所述，关联标识符可以是时间戳或者用户对预定内容的操纵指令信息。在步骤S1108，分别单独存储嵌入了标识符的内容数据流、语音数据流、书写笔迹数据流和操纵指令信息数据流。通过将标识符分别嵌入各个数据流中，可以根据用户需求、网络带宽等选择性地分发、上传、传输、存储这些数据流，并且同步地呈现这些数据流。可选地，在步骤S1109，将预定内容数据流、语音数据流、书写笔迹数据流识别为预定内容文本、语音文本和书写笔迹文本。在步骤S1110，将上述一个或多个关联标识符嵌入所识别文本中与相应流中的标识符位置相应的位置处。这样，可以将所识别文本与从其被识别出的对应流关联起来。在一个替代实施例中，可以省略步骤S1110，而在步骤S1109中识别嵌入了标识符的各个数据流，在识别的过程中，在文本的相应位置中保留数据流中对应位置上所嵌入的标识符。在步骤S1111，分别单独存储嵌入了标识符的各个流和各个文本。

图12示意性地图示出了根据本发明一个实施例的内容再现系统1200的框图。在一个实施例中，内容再现系统1200可以用于同步地再现通过本发明的内容录制系统所获得的课堂教学/会议场景中的各个数据流，或者通过其它装置获得的这些数据流。内容再现系统1200包括内容演示设备1201、音频播放设备1202、笔迹回放设备1203和控制设备1205。内容演示设备1201接收预定内容数据流或者从存储器读取预定内容文件，并且对预定内容进行演示。预定内容例如可以是在视频会议或者课堂教学之类的环境中进行演示的预定视频文件、音频文件、演示文档文件(如Power Point)、网页文件以及文本文件等。在一个示例中，内容演示设备1201例如可以是计算机、电视机、音视频播放器、演示文档播放器或者播放应用。在一个示例中，内容演示设备1201是教学/会议一体机中的集成内容演示设备或内容演示应用。音频播放设备1202接收语音数据流或者从存储器读取语音数据文件，并且播放语音。例如，语音可以是在视频会议或者网络课堂之类的环境中拾取的演讲者或者观众的声音。笔迹回放设备1203接收笔迹数据流或者从存储器读取笔迹数据文件，并且动态地回放书写笔迹。在一个示例中，笔迹回放设备1203根据在视频会议或网络课堂之类的环境中记录的书写笔记的坐标序列来动态地再现出书写轨迹，还原出书写时的书写过程。通过记录并保存书写笔记的书写坐标和轨迹，不仅能够动态地再现书写时的场景，而且与现有技术使用视频摄制整个场景的情况相比，极大地减小了所需要的存储空间和传输带宽要求。控制设备1205接收控制信息数据流或者读取控制信息，例如，接收或读取针对演示内容、所播放的语音和所回放的笔迹的一个或多个关联标识符(例如，时间戳、用户的操纵等)，以控制内容演示设备1201、音频播放设备1202和笔迹回放设备1203的演示/播放进程，从而同步地呈现出演示内容、语音和书写笔迹的对应部分。书写笔迹可以是例如文字、笔划、图形。因此，根据本发明实施例的内容再现系统1200可以同步地再现在网络会议或课堂教学环境中分开记录的音频、视频、文本等所有资料。与现有技术对整个场景进行视频录制相比，可以在减小录制文件存储空间的情况下，实现对所有资料的一一关联和同步再现。

在另一实施例中，控制设备1205还可以读取所记录的、指示了对演示内容进行操纵的操纵指令信息，以及针对操纵指令信息的一个或多个关联标识符(例如，时间戳、用户的操纵等)，并且控制内容演示设备1201根据这些关联标识符、按照操纵指令信息的指示对预定的演示内容进行操纵。例如，控制设备1205根据所记录的例如在时间t_a处对演示内容进行快进的关联标识符信息和操纵指令信息，来控制内容演示设备1201在演示预定内容的时间t_a处自动地快进该内容，而无需用户手动地快进该内容，并且与所录制的语音、笔迹的播放进程相匹配。操纵的示例包括打开、关闭预定内容文件，对预定内容进行暂停、快进、倒退、翻页。

在又一实施例中，内容再现系统1200还可以包括存储设备1206，用于存储供控制设备1205读取的信息和/或由内容演示设备1201、音频播放设备1202、笔迹回放设备1203进行再现的信息。

在一种实施方式中，存储设备1206分别单独地存储各自嵌入了一个或多个关联标识符的预定内容的数据流文件、语音的数据流文件、书写笔迹的数据流文件，以及操纵指令信息的数据流文件。在可选实施例中，存储设备1206也可以存储包含预定内容、语音、书写笔迹以及操纵指令信息中的一个或多个的打包文件。在此实施例中，一个或多个关联标识符分别被嵌入在预定内容的数据流、语音的数据流、书写笔迹的数据流和操纵指令信息的数据流中的对应位置，如图7所示的示例。在一个实施例中，存储设备1206还可以存储从预定内容识别出的预定内容文本、从语音识别出的语音文本以及从书写笔迹识别出的书写笔迹文本。在一个示例中，该预定内容文本中嵌入了与预定内容数据流中的对应位置处的关联标识符相同的关联标识符，以将预定内容文本与预定内容数据流一一对应地关联起来，该语音文本中嵌入了与语音数据流中的对应位置处的关联标识符相同的关联标识符，以将语音文本与语音数据流一一对应地关联起来，并且书写笔迹文本中嵌入了与书写笔迹数据流中的对应位置处的关联标识符相同的关联标识符，以将书写笔迹文本与书写笔迹数据流一一对应地关联起来。

在另一替代实施方式中，存储设备1206分别单独(可选地，打包存储)存储预定内容的数据流文件、语音的数据流文件、书写笔迹的数据流文件、操纵指令信息的数据流文件，以及关联映射表。在一个示例中，在该关联映射表中一一对应地记录了一个或多个关联标识符、预定内容数据流、语音数据流、书写笔迹数据流和操纵指令信息数据流中与一个或多个关联标识符对应的一个或多个数据部分，例如对应的数据包、数据包位置，如图6所示的示例。在一个实施例中，存储设备1206还可以存储从预定内容识别出的预定内容文本、从语音识别出的语音文本、从书写笔迹识别出的书写笔迹文本。在此实施例中，在上述关联映射表中进一步记录预定内容文本、语音文本、书写笔迹文本中与一个或多个关联标识符一一对应的一个或多个文本数据包位置，如图9所示的示例。

在又一实施例中，可选地，内容再现系统1200还可以包括查找设备1207。该查找设备1207例如可以从用户输入设备接收包含关键词的查找指令，访问存储设备1206，在预定内容文本、语音文本和笔迹文本中查找该关键词，定位到含有该关键词的内容文本中的一个或多个内容文本数据块、语音文本中的一个或多个语音文本数据块和笔迹文本中的一个或多个笔迹文本数据块，并且根据一个或多个关联标识符进而定位到分别与内容文本数据块、语音文本数据块和笔迹文本数据块一一对应的预定内容中的一个或多个数据流块、语音中的一个或多个数据流块和书写笔迹中的一个或多个数据流块。查找的一个示例可以参考图9。根据本发明的上述实施例，通过在各种数据资源的识别文本中进行查找，并利用将文本与对应的数据流相关联的关联标识符，可以实现对特定内容的快速定位，实现对海量教学/会议资源的检索。

在一个实施例中，内容再现系统1200可以由硬件、软件和/或固件来实现，例如，控制设备1205和/或查找设备1207可以是执行存储在计算机可读存储介质上的程序指令来完成上述处理的处理器。

图13示意性地图示出了根据本发明一个实施例的内容再现方法1300的流程图。在S1301，对预定内容进行演示，预定内容例如可以是预定的音频、视频、图像、演示文档或文本。在S1302，播放语音文件，如录制的演讲者或观众的语音。在S1303，动态地回放书写笔迹，如所记录的演讲者在电子平板上书写的笔记内容。一般情况下，步骤S1301-1303可以并行执行，但是也可以根据所需要的顺序执行。可选地，在S1304，读取操纵指令信息，其指示了对预定内容进行的操纵。在一个示例中，操纵可以包括打开或关闭预定内容文件，或者对预定内容进行暂停、快进、倒退、翻页等操纵。在S1305，读取针对预定内容、音频和笔迹的一个或多个关联标识符。可选地，在执行了步骤S1304的情况下，在S1305还读取针对操纵指令信息流的上述关联标识符。在S1306，利用一个或多个关联标识符来控制预定内容的演示、语音的播放和笔迹的回放，使得预定内容、音频和书写笔迹被相关联地同步再现。可选地，如果读取了操纵指令信息，则在S1307，根据一个或多个关联标识符，按照操纵指令信息的指示，与预定内容、音频、笔迹的回放同步地对预定内容进行自动操纵。

在一个示例中，上述S1304和S1305的读取步骤可以读取各自嵌入了一个或多个关联标识符的预定内容的数据流文件、语音的数据流文件、书写笔迹的数据流文件和操纵指令信息的数据流文件。其中，一个或多个关联标识符分别被嵌入在预定内容的数据流、语音的数据流、书写笔迹的数据流和操纵指令信息的数据流中的对应位置处，如图7所示的示例。

在另一示例中，上述S1304和S1305的读取步骤可以读取预定内容的数据流文件、语音的数据流文件、书写笔迹的数据流文件、操纵指令信息的数据流文件，以及关联映射表。例如，在该关联映射表中一一对应地记录了一个或多个关联标识符以及预定内容的数据流、语音的数据流、书写笔迹的数据流和操纵指令信息的数据流中与这一个或多个关联标识符对应的一个或多个数据包位置。

图14示意性地图示出了根据本发明一个实施例的查找方法1400的流程图。在S1401，分别存储预定内容的文本、语音的文本、书写笔迹的文本，以及针对这些文本的关联标识符。

具体地，在一个示例中，在S1401可以存储从预定内容识别出的预定内容文本、从语音识别出的语音文本以及从书写笔迹识别出的书写笔迹文本。其中，预定内容文本中嵌入了与预定内容数据流中的对应位置处相同的关联标识符以便将预定内容文本与预定内容数据流相关联，语音文本中嵌入了与语音数据流中的对应位置处相同的关联标识符以便将语音文本与语音数据流相关联，书写笔迹文本中嵌入了与书写笔迹数据流中的对应位置处相同的关联标识符以便将书写笔迹文本与书写笔迹数据流相关联。

在另一示例中，在S1401可以存储从预定内容识别出的预定内容文本、从语音识别出的语音文本、从书写笔迹识别出的书写笔迹文本，以及关联映射表。其中，在关联映射表中，除了一一对应地记录了一个或多个关联标识符、与一个或多个关联标识符对应的预定内容的数据流、语音的数据流、书写笔迹的数据流和操纵指令信息的数据流中的一个或多个数据包位置以外，还进一步记录了与一个或多个关联标识符一一对应的预定内容文本、语音文本、书写笔迹文本中的一个或多个文本数据包位置，如图9所示的示例。

在S1402，接收包含关键词的查找指令。例如，用户通过输入设备输入关键词“勾股定理”，希望查找并定位到含有该关键词的演示内容片段、语音片段、书写笔迹片段。在S1403，在预定内容文本、语音文本和笔迹文本中查找该关键词。在S1404，定位到含有该关键词的内容文本中的内容文本数据块、语音文本中的语音文本数据块和笔迹文本中的笔迹文本数据块。在S1405，根据内容文本数据块、语音文本数据块和笔迹文本数据块的关联标识符，进一步定位到分别与这些内容文本数据块、语音文本数据块和笔迹文本数据块一一对应的预定内容中的数据流块、语音中的数据流块和书写笔迹中的数据流块。进而，例如，在S1406可以通过预定内容数据流块的关联标识符关联到与之匹配的语音和书写笔迹数据流块，通过语音数据流块的标识符关联到与之匹配的预定内容数据流块和书写笔迹数据流块，以及通过书写笔迹数据流块的标识符关联到与之匹配的预定内容数据流块和语音数据流块。因此，根据本发明的实施例，可以实现对音频、视频、文本等所有教学、会议资料的匹配查找和定位，从而可以同步播放所有资料的匹配部分。

上面描述了本发明的多个实施例，供本领域技术人员更好地理解本发明。根据本发明的一个方面，可以通过多个关联标识符(例如时间轴)将预定内容、语音和书写笔迹同步地关联起来。另一方面，可以将对预定内容的操纵指令作为关联标识符，将预定内容、语音和书写笔迹同步地关联起来，同时还可以实现对预定内容文件的自动操纵。因此，通过本发明的技术方案，可以利用关联标识符将演示者的书写板书与现场所演示的演示文档、演示者的语音等一一对应地关联起来，例如将在课堂教学、会议过程中同步展现出的书写板书、演示文档、语音的对应部分(如数据包、数据块、数据包位置、数据块位置)关联起来，以动态地再现出真实的内容录制时的教学场景或会议场景。

又一方面，通过本发明上述实施例的技术方案，可以单独录制和分开存储教学/会议演示内容、演示者通过诸如电子白板等交互式输入装置输入的书写笔迹文件、对演示者的声音等进行录制形成的语音数据文件，以及可选的对演示内容进行操纵的操纵信息文件，通过分开记录、存储上述各个文件，可以根据查看需要、存储空间、传输带宽等条件，选择性地将这些文件中的一个或多个打包在一起进行分发和传输。并且，通过诸如时间轴之类的关联标识符将文件与文件、操纵指令与文件的呈现关联起来，不仅可以同步地再现演示文件、语音、笔迹，而且可选地可以实现对演示文件的自动操纵，从而再现出真实的录播场景。操纵信息文件可以是所记录的对演示内容文件的操纵指令信息，此外也可以是对教学一体机/会议系统一体机的操纵指令信息。

在又一方面中，通过将书写板书记录为连续采样的坐标序列和书写轨迹，可以保存和再现交互式书写过程，并且与传统的视频录制方式相比，极大地减小了书写笔迹的存储大小，利于存储和传输海量的教学/会议资源。

在又一方面中，本发明通过将各种数据资源识别为文本，并通过关联标识符将文本与对应的数据流、数据流与数据流相关联，可以实现对特定内容的快速检索和定位。例如在教学应用场景中，如果学生希望仅仅学习涉及“勾股定理”的各个部分，那么可以通过在各个文本中检索“勾股定理”，并通过关联标识符定位到包含“勾股定理”的该文本部分所对应的数据流(该文本部分从其被识别出)，进而关联到该对应数据流所对应的其它数据流，来将演示内容、声音、书写笔迹以及操纵方式都调整到与“勾股定理”匹配的部分(例如，数据位置、数据块)，从而实现这些数据资源中相应的特定部分的同步再现。同时，由于存在文本信息可用于检索，也可以实现对海量教学/会议资源的检索和管理。

另外，在本说明书中，处理序列可以通过硬件或软件来执行。由计算机执行的程序可以是根据本说明书中描述的顺序按时间顺序执行处理的程序，或者可以是与其并行地被执行的程序或者在诸如被访问时之类的所需定时处执行处理的程序。

此外，在本说明书中，用于描述记录在记录介质中的程序的步骤不仅包括根据所描述的顺序按时间顺序执行的处理，而且还包括即使无需按时间顺序执行也并行地或分开地被执行的处理。

在本说明书中，系统可由多个独立硬件设备构成，或者由硬件、软件和固件构成，或者由软件模块构成。在上面的描述中，利用一个设备描述的配置可以由多个设备构成。相反，利用多个设备描述的配置可以是由一个设备整体地构成的。此外，上述配置以外的配置可以添加到每个设备的配置中。此外，如果作为整体系统的配置或操作基本上相同，则某个设备的配置的一部分可被包括在另一设备的配置中。

即是说，本发明的实施例不限于上述具体实施方式，而是可以具有不脱离本发明的范围的各种修改。本发明希望覆盖可合理地被包括在所附权利要求限定的本发明的范围内的替换、修改和等同物。

Claims (24)

1.一种内容录制系统，包括：

内容演示设备，所述内容演示设备演示预定内容；

语音拾取设备，所述语音拾取设备拾取语音；

笔迹获取设备，所述笔迹获取设备获取书写笔迹；以及

信息处理设备，所述信息处理设备接收所述预定内容的数据流、所述语音的数据流和所述书写笔迹的数据流，记录针对所述预定内容的数据流、所述语音的数据流、所述书写笔迹的数据流的一个或多个关联标识符，并且利用所述一个或多个关联标识符将所述预定内容的数据流、所述语音的数据流和所述书写笔迹的数据流相关联，以使得所述预定内容的数据流、所述语音的数据流和所述书写笔迹的数据流能够被同步地再现；

操纵指令记录设备，所述操纵指令记录设备记录对所述预定内容进行操纵的操纵指令信息；

所述信息处理设备从所述操纵指令记录设备接收所记录的操纵指令信息的数据流，记录针对所述操纵指令信息的数据流的所述一个或多个关联标识符，并且将所述一个或多个关联标识符以及所述预定内容的数据流、所述语音的数据流、所述书写笔迹的数据流和所述操纵指令信息的数据流中与一个或多个关联标识符一一对应的一个或多个数据包位置相关联，以生成关联映射表；

其中，所述一个或多个关联标识符是时间戳或者对预定内容的操纵指令；所述操纵包括如下项中的至少一者：针对所述预定内容的打开、关闭、暂停、快进、倒退、翻页。

2.如权利要求1所述的内容录制系统，其中，所述预定内容是预定的音频、视频、图像、演示文档或文本。

3.如权利要求1所述的内容录制系统，其中，

所述系统还包括第二存储设备，用于分开存储所述预定内容的数据流、所述语音的数据流、所述书写笔迹的数据流、所述操纵指令信息的数据流和所述关联映射表。

4.如权利要求1所述的内容录制系统，其中，所述笔迹获取设备用来接收所输入的书写笔迹，并获取形成所述书写笔迹的连续采样的坐标序列及书写轨迹，其中，所述书写笔迹包含文字、笔划和图形中的至少一种。

5.如权利要求1所述的内容录制系统，还包括：

文本识别设备，该文本识别设备将所述预定内容的数据流、所述语音的数据流和所述书写笔迹的数据流分别识别为预定内容文本、语音文本和书写笔迹文本。

6.如权利要求5所述的内容录制系统，其中，所述信息处理设备将所述一个或多个关联标识符以及与所述一个或多个关联标识符一一对应的如下位置相关联以生成关联映射表用于存储：所述预定内容的数据流、所述语音的数据流、所述书写笔迹的数据流中的一个或多个数据包位置，以及所述预定内容文本、所述语音文本和所述书写笔迹文本中的一个或多个文本数据包位置。

7.如权利要求6所述的内容录制系统，其中，所述信息处理设备接收包含关键词的查找指令，在所述预定内容文本、所述语音文本和所述书写笔迹文本中查找所述关键词，定位到含有所述关键词的预定内容文本位置、语音文本位置和书写笔迹文本位置，并根据所述一个或多个关联标识符定位到与各个文本位置一一对应的预定内容数据流位置、语音数据流位置和书写笔迹数据流位置。

8.一种内容录制方法，包括：

演示预定内容；

拾取语音；

获取书写笔迹；

接收所述预定内容的数据流、所述语音的数据流和所述书写笔迹的数据流；

记录针对所述预定内容的数据流、所述语音的数据流、所述书写笔迹的数据流的一个或多个关联标识符；以及

利用所述一个或多个关联标识符将所述预定内容的数据流、所述语音的数据流和所述书写笔迹的数据流相关联，以使得所述预定内容的数据流、所述语音的数据流和所述书写笔迹的数据流能够被同步地再现；

记录对所述预定内容进行操纵的操纵指令信息；

接收所记录的操纵指令信息的数据流；

记录针对所述操纵指令信息的数据流的所述一个或多个关联标识符；

将所述一个或多个关联标识符、以及所述预定内容的数据流、所述语音的数据流、所述书写笔迹的数据流和所述操纵指令信息的数据流中与所述一个或多个关联标识符一一对应的一个或多个数据包位置相关联以生成关联映射表；

其中，所述一个或多个关联标识符是时间戳或者对预定内容的操纵指令；所述操纵包括如下项中的至少一者：针对所述预定内容的打开、关闭、暂停、快进、倒退、翻页。

9.如权利要求8所述的内容录制方法，其中，所述预定内容是预定的音频、视频、图像、演示文档或文本。

10.如权利要求8所述的内容录制方法，还包括：

分开存储所述预定内容的数据流、所述语音的数据流、所述书写笔迹的数据流、所述操纵指令信息的数据流和所述关联映射表。

11.如权利要求8所述的内容录制方法，其中，获取书写笔迹的步骤还包括：接收所输入的书写笔迹，并获取形成所述书写笔迹的连续采样的坐标序列及书写轨迹，其中，所述书写笔迹包含文字、笔划和图形中的至少一种。

12.如权利要求8所述的内容录制方法，还包括：

将所述预定内容的数据流、所述语音的数据流和所述书写笔迹的数据流分别识别为预定内容文本、语音文本和书写笔迹文本。

13.如权利要求12所述的内容录制方法，还包括：

将所述一个或多个关联标识符、与一个或多个关联标识符对应的所述预定内容的数据流、所述语音的数据流、所述书写笔迹的数据流中的一个或多个数据包位置以及所述预定内容文本、所述语音文本和所述书写笔迹文本中的一个或多个文本数据包位置进行关联，以生成关联映射表。

14.如权利要求13所述的内容录制方法，还包括：

接收包含关键词的查找指令，在所述预定内容文本、所述语音文本和所述笔迹文本中查找所述关键词，定位到含有所述关键词的预定内容文本位置、语音文本位置和笔迹文本位置，并根据所述一个或多个关联标识符定位到与各个文本位置一一对应的预定内容数据流位置、语音数据流位置和笔迹数据流位置。

15.一种内容再现系统，包括：

内容演示设备，该内容演示设备演示预定内容；

音频播放设备，该音频播放设备播放语音；

笔迹回放设备，该笔迹回放设备回放书写笔迹；

控制设备，该控制设备读取针对所述预定内容、所述语音和所述书写笔迹的一个或多个关联标识符以控制所述内容演示设备、所述音频播放设备和所述笔迹回放设备，以使得所述预定内容、所述语音和所述书写笔迹被相关联地同步再现，其中所述一个或多个关联标识符将所述预定内容的数据流、所述语音的数据流和所述书写笔迹的数据流同步地相关联；

所述控制设备还读取指示对所述预定内容进行操纵的操纵指令信息以及针对所述操纵指令信息的所述一个或多个关联标识符，并且控制所述内容演示设备按照所述操纵指令信息的指示、根据所述一个或多个关联标识符与所述语音的播放、所述书写笔迹的回放同步地对所述预定内容进行操纵；

第二存储设备，该第二存储设备与所述控制设备相连，并且分开存储供所述控制设备读取的所述预定内容的数据流、所述语音的数据流、所述书写笔迹的数据流、所述操纵指令信息的数据流，以及关联映射表，在所述关联映射表中一一对应地记录了所述一个或多个关联标识符、所述预定内容的数据流、所述语音的数据流、所述书写笔迹的数据流和所述操纵指令信息的数据流中与一个或多个关联标识符对应的一个或多个数据包位置；

其中，所述一个或多个关联标识符是时间戳或者对预定内容的操纵指令；所述操纵包括如下项中的至少一者：针对所述预定内容的打开、关闭、暂停、快进、倒退、翻页。

16.如权利要求15所述的内容再现系统，其中，所述预定内容是预定的音频、视频、图像、演示文档或文本。

17.如权利要求15所述的内容再现系统，其中，所述书写笔迹由连续采样的坐标序列形成，并且其中所述笔迹回放设备根据所述书写笔迹动态地呈现笔迹的书写过程，并且其中所述书写笔迹包含文字、笔划和图形中的至少一种。

18.如权利要求15所述的内容再现系统，其中，所述第二存储设备还存储从所述预定内容识别出的预定内容文本、从所述语音识别出的语音文本、从所述书写笔迹识别出的书写笔迹文本，并且其中在所述关联映射表中进一步记录了与所述一个或多个关联标识符一一对应的所述预定内容文本、所述语音文本、所述书写笔迹文本中的一个或多个文本数据包位置。

19.如权利要求18所述的内容再现系统，还包括：

查找设备，该查找设备接收包含关键词的查找指令，在所述预定内容文本、所述语音文本和所述笔迹文本中查找所述关键词，定位到含有所述关键词的所述内容文本中的内容文本位置、所述语音文本中的语音文本位置和所述书写笔迹文本中的书写笔迹文本位置，并且根据所述一个或多个关联标识符定位到分别与所述内容文本位置、所述语音文本位置和所述笔迹文本位置一一对应的所述预定内容中的数据流位置、所述语音中的数据流位置和所述书写笔迹中的数据流位置，并且根据所述一个或多个关联标识符进一步定位到与所述预定内容中的数据流位置相对应的所述语音中的数据流位置和所述书写笔迹中的数据流位置，与所述语音中的数据流位置相对应的所述预定内容中的数据流位置和所述书写笔迹中的数据流位置，以及与所述书写笔迹中的数据流位置相对应的所述预定内容中的数据流位置和所述语音中的数据流位置。

20.一种内容再现方法，包括：

演示预定内容；

播放语音；

回放书写笔迹；

读取针对所述预定内容、所述语音和所述书写笔迹的一个或多个关联标识符；以及

利用所述一个或多个关联标识符来控制所述预定内容的演示、所述语音的播放和所述笔迹的回放，使得所述预定内容、所述语音和所述书写笔迹被相关联地同步再现，其中所述一个或多个关联标识符将所述预定内容的数据流、所述语音的数据流和所述书写笔迹的数据流同步地相关联；

读取指示对所述预定内容进行操纵的操纵指令信息以及针对所述操纵指令信息的所述一个或多个关联标识符，并且按照所述操纵指令信息的指示、根据所述一个或多个关联标识符与所述语音的播放、所述书写笔迹的回放同步地对所述预定内容进行操纵；

分开存储用于读取的所述预定内容的数据流、所述语音的数据流、所述书写笔迹的数据流、所述操纵指令信息的数据流，以及关联映射表，在所述关联映射表中一一对应地记录了所述一个或多个关联标识符以及所述预定内容的数据流、所述语音的数据流、所述书写笔迹的数据流和所述操纵指令信息的数据流中与所述一个或多个关联标识符对应的一个或多个数据包位置；

其中，所述一个或多个关联标识符是时间戳或者对预定内容的操纵指令；所述操纵包括如下项中的至少一者：针对所述预定内容的打开、关闭、暂停、快进、倒退、翻页。

21.如权利要求20所述的内容再现方法，其中，所述预定内容是预定的音频、视频、图像、演示文档或文本。

22.如权利要求20所述的内容再现方法，其中，所述书写笔迹由连续采样的坐标序列形成，并且其中所述回放步骤根据所述书写笔迹动态地呈现笔迹的书写过程，并且其中所述书写笔迹包含文字、笔划和图形中的至少一种。

23.如权利要求20所述的内容再现方法，还包括：

存储从所述预定内容识别出的预定内容文本、从所述语音识别出的语音文本、从所述书写笔迹识别出的书写笔迹文本，并且其中在所述关联映射表中进一步记录了与所述一个或多个关联标识符一一对应的所述预定内容文本、所述语音文本、所述书写笔迹文本中的一个或多个文本数据包位置。

24.如权利要求23所述的内容再现方法，还包括：

接收包含关键词的查找指令；

在所述预定内容文本、所述语音文本和所述笔迹文本中查找所述关键词；

定位到含有所述关键词的所述内容文本中的内容文本位置、所述语音文本中的语音文本位置和所述笔迹文本中的笔迹文本位置；

根据所述一个或多个关联标识符定位到分别与所述内容文本位置、所述语音文本位置和所述书写笔迹文本位置一一对应的所述预定内容中的数据流位置、所述语音中的数据流位置和所述书写笔迹中的数据流位置；以及

根据所述一个或多个关联标识符进一步定位到与所述预定内容中的数据流位置相对应的所述语音中的数据流位置和所述书写笔迹中的数据流位置，与所述语音中的数据流位置相对应的所述预定内容中的数据流位置和所述书写笔迹中的数据流位置，以及与所述书写笔迹中的数据流位置相对应的所述预定内容中的数据流位置和所述语音中的数据流位置。