CN103186583A - 一种基于移动终端的信息记录和检索方法及装置 - Google Patents

Abstract

本发明公开了一种基于移动终端的信息记录和检索方法及装置。该方法包括：记录包含至少一个笔迹信息及各笔迹信息对应的时间信息的笔迹数据、包含至少一个笔迹识别结果的文本信息的文本数据以及包含至少一个音频信息及各音频信息对应的时间信息的音频数据；接收用户发出的第一检索标识，并确定所述检索标识属于笔迹类型或文本类型或音频类型；在与所述第一检索标识对应的数据中进行检索，以获取第二检索标识和第一检索结果，以及根据第二检索标识在关联的数据中进行检索，获得第二检索结果。

Description

一种基于移动终端的信息记录和检索方法及装置

技术领域

本发明涉及通信领域，特别涉及一种基于移动终端的信息记录和检索方法及装置。

背景技术

移动终端凭借其存储量大，携带方便，显示效果好的特点，受到越来越多的人欢迎和喜爱。随着技术的发展，移动终端上的手写功能也越来越普及，很多人会利用移动终端的手写功能做会议记录、听课笔记或者在旅行途中做随笔，方便快捷。除了手写输入之外，利用移动终端上的录音功能做会议记录的用户也很多。

目前，手写记录的内容已经能够通过手写或者利用键盘输入关键词等方式进行检索，解决了一部分会议记录整理或者课堂笔记整理的问题。但是，手写进行会议记录或者课堂笔记的记录时远没有录音记录的内容详细。但是录音文件只能整段播放，不够灵活，而且不能通过检索确定想要播放的信息。

由此可见，现有技术中手写记录的内容和录音记录的内容各自独立，且录音文件不易检索，导致用户无法方便地将手写记录和录音记录的内容结合起来检索并整理。

发明内容

本发明提供了一种基于移动终端的信息记录和检索方法及装置，用以解决现有技术中手写记录的内容和录音记录的内容各自独立，且录音文件不易检索，导致用户无法方便地将手写记录和录音记录的内容结合起来检索并整理的问题。

一种基于移动终端的信息记录和检索方法，包括：

记录包含至少一个笔迹信息及各笔迹信息对应的时间信息的笔迹数据、包含至少一个笔迹识别结果的文本信息的文本数据以及包含至少一个音频信息及各音频信息对应的时间信息的音频数据，所述笔迹数据中的至少一个笔迹信息与所述音频数据中的至少一个音频信息通过对应的时间信息同步记录，所述笔迹数据中的至少一个笔迹信息与该笔迹信息的识别结果通过位置信息关联；

接收用户发出的第一检索标识，并确定所述检索标识属于笔迹类型或文本类型或音频类型；

在与所述第一检索标识对应的数据中进行检索，以获取第二检索标识和第一检索结果，以及根据第二检索标识在关联的数据中进行检索，获得第二检索结果。

所述在与所述第一检索标识对应的数据中进行检索，以获取第二检索标识和第一检索结果，以及根据第二检索标识在关联的数据中进行检索，获得第二检索结果，具体为：

当所述第一检索标识属于笔迹类型时，在所述笔迹数据中查找包含该检索标识的笔迹信息；并根据该笔迹信息对应的时间信息，在所述音频数据中查找与该笔迹信息同步记录的音频信息；

当所述第一检索标识属于文本类型时，在所述文本数据中查找包含该检索标识的文本信息；并根据该文本信息对应的位置信息，在所述笔迹数据中检索对应的笔迹信息，以获得笔迹信息对应的时间信息；根据所述时间信息在所述音频数据中查找与该文本信息同步记录的音频信息；

当所述第一检索标识属于音频类型时，在所述音频数据中查找包含该检索标识的音频信息；并根据该音频信息对应的时间信息，在所述笔迹数据中查找与该音频信息同步记录的笔迹信息，或，在所述笔迹数据中查找与该音频信息同步记录的笔迹信息之后根据笔迹信息对应的位置信息在所述文本数据中查找对应的文本信息。

一种基于移动终端的信息检索装置，包括：

记录单元，用于记录包含至少一个笔迹信息及各笔迹信息对应的时间信息的笔迹数据、包含至少一个笔迹识别结果的文本信息的文本数据以及包含至少一个音频信息及各音频信息对应的时间信息的音频数据，所述笔迹数据中的至少一个文本信息与所述音频文件中的至少一个音频信息通过对应的时间信息同步记录，所述笔迹数据中的至少一个笔迹信息与该笔迹信息的识别结果通过位置信息关联；

接收单元，用于接收用户发出的检索标识，并确定所述检索标识属于文本类型或笔迹类型或音频类型；

检索单元，用于在与所述第一检索标识对应的数据中进行检索，以获取第二检索标识和第一检索结果，以及根据第二检索标识在关联的数据中进行检索，获得第二检索结果。

所述检索单元具体用于：

当所述第一检索标识属于笔迹类型时，在所述笔迹数据中查找包含该检索标识的笔迹信息；并根据该笔迹信息对应的时间信息，在所述音频数据中查找与该笔迹信息同步记录的音频信息；

当所述第一检索标识属于文本类型时，在所述文本数据中查找包含该检索标识的文本信息；并根据该文本信息对应的位置信息，在所述笔迹数据中检索对应的笔迹信息，以获得笔迹信息对应的时间信息；根据所述时间信息在所述音频数据中查找与该文本信息同步记录的音频信息；

当所述第一检索标识属于音频类型时，在所述音频数据中查找包含该检索标识的音频信息；并根据该音频信息对应的时间信息，在所述文本文件中查找与该音频信息同步记录的笔迹信息，或，在所述笔迹数据中查找与该音频信息同步记录的笔迹信息之后根据笔迹信息对应的位置信息在所述文本数据中查找对应的文本信息。

通过采用本实施例中的方法，利用时间信息将手写记录的笔迹数据和录音记录的音频数据同步记录，从而将笔记数据和音频数据关联起来，实现了笔迹数据和音频数据和文本数据之间的相互检索，满足了用户将手写记录和录音记录的内容结合起来检索并整理的需求。

附图说明

图1为本发明实施例提供的基于移动终端的信息记录和检索方法流程图；

图2为本发明实施例中应用文字识别时记录笔迹信息的示意图；

图3为本发明实施例中应用文字识别时对关键词进行查找的示意图；

图4为本发明实施例提供的基于移动终端的信息记录和检索装置结构图。

具体实施方式

本发明实施例提供了一种基于移动终端的信息记录和检索方法及装置，可以解决现有技术中手写记录的内容和录音记录的内容各自独立，且录音文件不易检索，导致用户无法方便地将手写记录和录音记录的内容结合起来检索并整理的问题。

本发明实施例提供的基于移动终端的信息记录和检索方法，如图1所示，包括以下几个步骤。

S101：记录包含至少一个笔迹信息及各笔迹信息对应的时间信息的笔迹数据、包含至少一个笔迹识别结果的文本信息的文本数据以及包含至少一个音频信息及各音频信息对应的时间信息的音频数据，所述笔迹数据中的至少一个笔迹信息与所述音频数据中的至少一个音频信息通过对应的时间信息同步记录，所述笔迹数据中的至少一个笔迹信息与该笔迹信息的识别结果通过位置信息关联。其中，所述文本数据和笔迹数据可以记录在一个文件中，也可以分别记录在不同的文件中；如果采用定制的音频播放软件，音频数据也可以和文本数据、笔迹数据记录在一个文件中，本申请对此不作限定。

S102：接收用户发出的第一检索标识，并确定所述第一检索标识属于文本类型或笔记类型或音频类型。

S103：在与所述第一检索标识对应的数据中进行检索，以获取第二检索标识和第一检索结果，以及根据第二检索标识在关联的数据中进行检索，获得第二检索结果。所述第一检索标识不同于第二检索标识。

具体为，当所述第一检索标识属于笔迹类型时，在所述笔迹数据中查找包含该检索标识的笔迹信息；并根据该笔迹信息对应的时间信息，在所述音频数据中查找与该笔迹信息同步记录的音频信息。

当所述第一检索标识属于文本类型时，在所述文本数据中查找包含该检索标识的文本信息；并根据该文本信息对应的位置信息，在所述笔迹数据中检索对应的笔迹信息，以获得笔迹信息对应的时间信息；根据所述时间信息在所述音频数据中查找与该文本信息同步记录的音频信息。

当所述第一检索标识属于音频类型时，在所述音频数据中查找包含该检索标识的音频信息；并根据该音频信息对应的时间信息，在所述笔迹数据中查找与该音频信息同步记录的笔迹信息，或，在所述笔迹数据中查找与该音频信息同步记录的笔迹信息之后根据笔迹信息对应的位置信息在所述文本数据中查找对应的文本信息。

本实施例中提到的笔迹数据中的至少一个笔迹信息，可以是根据时间段进行划分的笔迹信息，例如，每五分钟或每一分钟内记录的内容作为一个笔迹信息；或者，也可以是根据字符数进行划分的笔迹信息，例如，每1个字、每10个字或每100个字作为一个笔迹信息，并记录各笔迹信息对应的时间信息。所述字符数可以根据笔迹信息中的字符结束标志确定。

其中，所述笔迹数据中的笔迹信息与所述音频数据中的音频信息通过对应的时间信息同步记录时，可以通过如下两种方式实现。

在第一种实现方式中，所述笔迹数据中包含的与各笔迹信息对应的时间信息为记录该笔迹信息时的实际时间，所述音频数据中包含的与各音频信息对应的时间信息为记录该音频信息时的实际时间，则所述笔记数据中的笔迹信息与所述音频数据中的音频信息通过该实际时间同步记录。

在第二种实现方式中，记录所述笔迹数据和音频数据的步骤之前，还包括：接收用户发出的同步指令，则所述笔迹数据中包含的与各笔迹信息对应的时间信息为记录该笔迹信息时，相对于接收到同步指令时的相对时间；所述音频数据中包含的与各音频信息对应的时间信息也为记录该音频信息时，相对于接收到同步指令时的相对时间，则所述笔迹数据中的至少一个笔迹信息与所述音频数据中的至少一个音频信息通过该相对时间同步记录。

较佳的，所述移动终端记录所述包含至少一个文本信息与笔迹信息通过位置信息关联，所述移动终端记录所述包含至少一个笔迹识别结果的文本信息的文本数据的步骤具体包括：接收用户手写输入的笔迹信息，并记录至少一个笔迹信息相对与笔迹数据的起始偏移；识别所述笔迹数据中的笔迹信息，并在文本数据中记录识别结果和该笔迹信息对应的起始偏移。

较佳的，为了方便用户修改文本数据，在所述文本数据中查找到包含该检索标识的文本信息的步骤之后，还包括：接收用户发出的修改指令，并根据所述修改指令对所述文本数据进行修改；其中，所述修改指令包括：添加指令和删除指令。

较佳的，在所述音频数据中查找包含该检索标识的音频信息时，通过语音识别的方式对所述检索标识进行识别后根据识别结果在所述音频数据中查找。

通过采用本实施例中的方法，利用时间信息将手写记录的笔迹数据和录音记录的音频数据同步记录，从而将笔记数据和音频数据关联起来，实现了笔迹数据和音频数据之间的相互检索，进一步地，通过笔迹数据还可以检索文本数据，满足了用户将手写记录和录音记录的内容结合起来检索并整理的需求。

下面以优选实施例详细介绍一下本发明提供的基于移动终端的信息记录和检索方法。该方法可以广泛应用于各类具有文字录入和语音录入功能的移动终端，如手机、PDA等。优选地，该移动终端支持手写输入，从而用户可以直接手写进行文字录入，以加快录入的速度。另外，该移动终端通常还具有显示屏，能够显示录入信息和检索信息。本实施例中，将文本数据、笔迹数据和音频数据分别记录在三个不同的文件中。该信息检索方法具体包括以下步骤：

步骤一、采集文字信息和语音信息，并将采集到的文字信息和语音信息同步记录。

在采集文字信息时，以手写输入为例进行说明，但是在实际情况中，也可以通过键盘录入等方式实现。当移动终端接收到用户手写输入的笔迹信息后，可以采用如下两种方式进行采集并记录。在第一种实现方式中，移动终端需要记录用户手写输入的笔迹信息，将笔迹信息和笔迹信息对应的时间信息存储在笔迹文件中，并通过文字识别的方式得到该笔迹信息对应的识别结果，并将该识别结果记录在文本文件中，此时需要在文本文件中同时记录该识别结果对应的笔迹信息记录的时间或者在笔迹文件中的位置；在第二种实现方式中，移动终端只需记录用户手写输入的笔迹信息，并将该笔迹信息记录在笔迹文件中即可。在上述第一种实现方式中，文字识别也可以在所有笔迹信息记录结束之后再进行，此时记录的文本文件中需要包含至少一个文本信息和该文本信息对应的识别笔迹信息在笔迹文件中的位置。在这两种实现方式中，记录笔迹信息时都可以采用如下方法：获取包括手写笔迹的坐标点信息、笔画顺序、两笔画之间停顿的时间等的手写笔迹信息，并将获取的手写笔迹信息按照设定格式进行记录，如按照获取笔迹点的顺序将笔迹点坐标记录在文件中，其中，笔画结束标志可以设置为(-1，0)，字结束标志可以设置为(-1，-1)。具体地，为了实现文字信息和语音信息的同步记录，在记录笔迹信息的同时，还需要记录该笔迹信息对应的时间信息。其中，每一条笔迹信息对应一条时间信息，记录笔迹的起始和结束的相对时间，具体的，笔迹信息“一”，不仅对应其相应的笔迹信息，还对应起始结束时间：开始时间为1s，结束时间为2s。此时间信息可以与笔迹信息记录在同一种数据结构中，例如，一种结构pentrace{笔迹信息，笔迹起始时间，笔迹结束时间}；也可以存储在两个结构中，一个为笔迹信息结构，一个为时间信息结构，但两种结构是一一对应的，即，有几条笔迹信息，就对应几条时间信息。

如果还记录了文本信息，每一条笔迹信息还应该包括位置信息，如笔迹信息序号，用于和文本文件中的文本信息关联。相应的，记录所有笔迹信息对应的识别结果的文本文件中的文本信息的数据结构可以为regTxt{文本编码，笔迹位置}或者同样采用时间信息关联，则文本信息的数据结构可以为regTxt{文本编码串，，笔迹起始时间，笔迹结束时间}。采用位置信息将笔迹信息和文本信息进行关联，可以精确定位到一个字符，即将笔迹信息中的每一个字符的笔迹序号(根据笔记数据中字符结束标志确定)和文本文件中相应的识别结果对应，使搜索的结果更准确。如识别结果中的第5个字符文本对应笔记数据中的第5个字符的笔迹数据(根据字符结束标志确定)。

在采集语音信息时，可以直接通过移动终端的录音功能实现，例如，可以通过点击设置在移动终端外部的录音按键实现，或者，也可以通过移动终端显示屏上的虚拟按键来实现。具体地，设置在移动终端外部的录音按键以及移动终端显示屏上的虚拟按键可以包括“录音”、“播放”、“暂停”、“向前”和“向后”等功能，来具体控制录音过程。录制后的录音文件可以按照一定的格式进行记录，具体格式的选择取决于移动终端的功能，例如，有些移动终端仅支持mp3格式，则这时生成的录音文件只能通过mp3格式进行记录；有些移动终端支持多种格式，则这时生成的录音文件可以由用户选择采用指定的格式记录。具体地，为了实现笔迹信息和语音信息的同步记录，在记录语音信息的同时，还需要记录该语音信息对应的时间信息，并且将笔迹信息与语音信息一一对应。具体的一段语音信息的时间信息可以为相对的起始结束时间，即开始时间为1s，结束时间为10s。笔迹信息与语音信息的对应，可以有两种方式。一种是一个笔迹信息文件对一个语音信息文件，将这两个文件统一放在同一个文件夹下，可以表明两个文件是对应的。另一种方法是多个笔迹信息文件对应多个语音信息文件，将笔迹信息文件和对应语音信息文件用映射的数据结构对应起来，例如，笔迹信息1，对应语音信息文件“1”，存储的结构为map(笔迹信息1，语音信息文件“1”)，最后将此映射结构存成文件，以便下次打开时使用。

上面分别介绍了笔迹信息和语音信息的采集和记录过程，在具体实现时，笔迹信息和语音信息是通过时间信息进行同步记录的。也就是说，在记录笔迹信息的笔迹文件中，除了记录笔迹信息外，还针对每处笔迹信息分别记录该处笔迹信息所对应的时间信息；在记录语音信息的语音文件中，除了记录语音信息外，还针对每处语音信息分别记录该处语音信息所对应的时间信息，通过时间信息，将笔迹文件中的文字信息和语音文件中的语音信息关联起来，并实现同步记录。

具体实现时，可以通过如下两种方式实现同步记录：

在第一种实现方式中，记录的时间信息为实际时间。例如，在生成的笔迹文件中包含以下内容“每一个人，当他年轻时，都应该努力去实现一个梦想，那会使他在今后的人生旅途中获得一种信念，一种对生活前景的信仰。这应该是一个伟大的、重要，你认为人可能实现的梦。”的笔迹，其中，“每一个人，当他年轻时，都应该努力去实现一个梦想，那会使他在今后的人生旅途中获得一种信念”对应的笔迹信息是在上午10:30分录入的，则该处笔迹信息对应的时间信息即为录入时的实际时间上午10:30分；“这应该是一个伟大的、重要，你认为人可能实现的梦”对应的笔迹信息是在上午10:35分录入的，则该处笔迹信息对应的时间信息即为录入时的实际时间上午10:35分。同理，在生成的语音文件中通常也应包含相应的语音内容，这是由于本实施例通常的应用场景为会议记录等记录场景，因此，笔迹文件通常是对语音文件中的语音内容的笔迹记录，因此，二者在生成的时间上应该是基本同步的，在内容上应该也是大致相同的。所以，依然以上述情况为例，语音文件中应该也包含两部分语音信息，其中，第一部分语音信息大致对应于“每一个人，当他年轻时，都应该努力去实现一个梦想，那会使他在今后的人生旅途中获得一种信念”的笔迹信息，其对应的时间信息应该与该处笔迹信息所对应的时间信息大致相同，例如，录入第一部分语音信息时的实际时间为上午10:29分；第二部分语音信息大致对应于“这应该是一个伟大的、重要，你认为人可能实现的梦”的笔迹信息，其对应的时间信息应该与该处文字信息所对应的时间信息大致相同，例如，录入第二部分语音信息时的实际时间为上午10:33分。由此可见，针对笔迹文件中的每处文字信息，以及语音文件中的每处语音信息，都对应记录了相应的实际时间，从而实现了笔迹文件和语音文件的同步记录，将笔迹文件和语音文件关联起来，以便于后续检索。

在第二种实现方式中，记录的时间信息为相对时间。这时，需要额外设置一个同步按钮，该同步按钮同样可以通过设置在移动终端外部的实体按键或设置在移动终端显示屏上的虚拟按键等方式实现。当用户点击该同步按钮时，移动终端则接收到同步指令，并从接收到该同步指令时开始记录时间，这时记录的时间为当前时刻相对于接收到同步指令的时刻的相对时间。例如，上述例子中的“每一个人，当他年轻时，都应该努力去实现一个梦想，那会使他在今后的人生旅途中获得一种信念”对应的笔迹信息是在接收到该同步指令后2秒录入的，则该处笔迹信息对应的时间信息相对于同步指令的相对时间则为2秒；“这应该是一个伟大的、重要，你认为人可能实现的梦”对应的笔迹信息是在接收到该同步指令后7秒录入的，则该处笔迹信息对应的时间信息相对于同步指令的相对时间则为7秒。同理，语音文件中的第一部分语音信息录入时相对于同步指令的相对时间则为1秒；第二部分语音信息录入时相对于同步指令的相对时间则为5秒。由此可见，针对笔迹文件中的每处笔迹信息，以及语音文件中的每处语音信息，都对应记录了相对于同步指令的相对时间，从而实现了笔迹文件和语音文件的同步记录，以便于后续检索。

步骤二、接收用户发出的检索标识，并根据检索标识的类型进行相应的处理。

下面分别以检索标识为文本类型和笔迹类型和语音类型为例进行介绍。

首先，介绍一下检索标识为笔迹类型时的处理方式。当检索标识为笔迹类型时，根据接收到的检索标识在笔迹文件中进行检索，并将检索到的包含检索标识的笔迹信息突出显示，以便用户快速定位到检索标识所在的笔迹信息。进一步地，根据所述笔迹信息对应的时间信息，查找相应的音频文件。根据原笔迹进行检索适用于没有文字识别步骤的情况。

如果记录时不包含文字识别步骤时，则不会存储文本文件，以记录对用户手写输入的笔迹信息进行识别后的识别结果，而是仅记录了用户手写输入的笔迹信息。这时，笔迹信息并不会以标准的宋体或楷体进行显示，而是直接以用户的手写字体进行显示。当用户需要输入检索词时，可以通过手写输入方式进行输入。当用户进行手写输入之后，移动终端并不需要对用户手写输入的关键词进行文字识别，得到文字识别结果，而只需采用模式识别的方式，直接将用户手写输入的关键词与文本文件中记录的用户手写输入的笔迹信息进行矢量特征的比对，根据手写笔画的相似度等信息，在笔迹文件中查找关键词对应的笔迹信息并突出显示。

当在笔迹文件中查找到关键词之后，还需要在语音文件中查找与该关键词同步记录的语音信息，即：根据笔迹文件中记录的关键词对应的时间信息，查找该时间信息在语音文件中所对应的语音信息。例如，笔迹信息“一”的开始时间为1s，结束时间为2s，在相应的音频文件中查找1s到2s之间的音频信息，作为检索结果。

其次，当所述检索标识属于文本类型时，在所述文本数据中查找包含该检索标识的文本信息；并根据该文本信息对应的位置信息，在所述笔迹数据中检索对应的笔迹信息，以获得笔迹信息对应的时间信息；根据所述时间信息在所述音频数据中查找与该文本信息同步记录的音频信息。所述文本标识可以通过键盘输入或手写识别输入或语音识别输入或剪贴板输入，本发明对此不做限定。例如，如图2所示，用户在图2的上方的方框区域进行手写输入，移动终端对手写输入的笔迹信息进行文字识别后，在下方的方框区域显示识别后得到的识别结果，识别结果通常是以标准的宋体或楷体进行显示的。根据识别结果在文本文件中查找相应的文本信息，并显示查找到的文本信息及该文本信息所在的文本文件。在图2中，是将移动终端的窗口区域分为上下两个区域，使手写输入的笔迹信息和识别后得到的识别结果同时显示在屏幕上的，另外，也可以增加一个通过软件或硬件方式实现的切换选项，使移动终端的窗口区域只显示手写输入的笔迹信息或者识别后的识别结果，通过切换选项，在笔迹信息和识别结果之间灵活切换。当用户需要输入检索标识，即关键词时，可以通过手写输入或键盘输入等方式进行输入，当用户进行手写输入之后，移动终端首先对用户手写输入的关键词进行文字识别，得到关键词对应的识别结果后，在记录有对用户手写输入的笔迹信息进行识别后的识别结果的文本文件中，对关键词对应的识别结果进行检索，并在文本文件中突出显示该关键词对应的识别结果。例如，如图3所示，用户手写输入关键词后，移动终端对用户的手写笔迹进行识别，得到该手写笔迹对应的识别结果“年轻”，然后在文本文件中进行查找，并将“年轻”突出显示。

根据检索到的文本信息，确定该文本信息在文本文件中的信息，根据确定的位置信息，在与该文本文件关联的笔迹文件中查找相应的笔迹信息。如，检索到的文本信息“年轻”为文本文件中的第8和第9个字符，即位置信息为8和9，然后根据确定的位置信息检索相应的笔迹信息，就可以定位到“年轻”对应的笔迹信息，及该笔迹信息对应的时间信息为上午10:30:10，结束时间信息为上午10:30:40。最后，根据所述时间信息在所述音频数据中查找与该文本信息同步记录的音频信息。例如，当该时间信息为实际时间时，移动终端通过检索发现关键词“年轻”在笔迹文件中所对应的起始时间信息为上午10:30:10，结束时间信息为上午10:30:40，则移动终端在语音文件中查找时间信息为上午10:30:10时所记录的语音信息，并将语音文件定位到上午10:30:10到10:30:40时所记录的语音信息处进行播放。由于笔迹文件和语音文件是分别对同一场景的两种记录方式，例如，语音文件是用户听报告时的报告录音，而笔迹文件是用户在听报告时根据报告内容进行的记录或者是根据报告内容所引发的灵感，总之，笔迹文件和语音文件在时间上具备一定的关联性，在相同的时间段内记录的笔迹文件和语音文件的内容应该相同或相关。因此，通过这种基于时间信息相互查找笔迹文件和语音文件，并进一步查找文本文件的方式，可以使用户快速找到相关联的文字信息和语音信息，以便于用户对文本文件进行整理。当时间信息为相对时间时，检索方式类似，此处不再赘述。

最后，当所述检索标识属于音频类型时，在所述音频数据中查找包含该检索标识的音频信息；并根据该音频信息对应的时间信息，在所述笔迹数据中查找与该音频信息同步记录的笔迹信息。当检索标识为语音类型时，处理方式与之类似。这里，用户输入的语音类型的检索标识可以是用户发出的话音等。所述音频数据中查找包含该检索标识的音频信息，可以通过音频匹配的方式进行。首先在语音文件中查找该检索标识，并确定该检索标识对应的时间信息，然后，根据该时间信息在笔迹文件中查找相应的笔迹信息，从而实现语音信息和笔迹信息的关联查找。进一步地，在所述笔迹数据中查找与该音频信息同步记录的笔迹信息之后，还可以根据笔迹信息对应的位置信息在所述文本数据中查找对应的文本信息。

另外，当用户利用本发明实施例中的方法实现了笔迹文件、文本文件和语音文件的相互查找之后，可以一边收听语音文件的内容，一边根据语音内容对文本文件进行修改，例如，可以在文本文件中添加、删除一些文字。这种方法尤其适用于用户听报告或听讲座时记笔记时间较紧，因此，笔记内容有所遗漏或偏差的情况。通过这种方式，用户在听报告之后，可以根据语音文件方便地修改文本文件，使用户可以快速整理出会议记录，从而为用户节省了大量时间，提高了用户体验。

上述实施例中是以记录笔迹信息的笔迹文件、记录文字信息的文本文件以及记录语音信息的语音文件为例进行描述的，实际情况中，文本文件中除了文字信息之外，也可以记录其他信息，如表格、图片信息等。另外，语音文件也可以由其他的音频文件代替，例如，采用演奏会的音乐作为音频文件等。另外，本实施例中的文本文件也可以采用多种格式记录，如txt、word、PDF等。而且，当本实施例中的文本文件通过文字识别的方式记录识别结果时，可以设定当移动终端检测到手写输入结果后，如手写输入装置抬起后2秒内没有继续落下时才调用文字识别功能进行文字识别，而在此之前，用户可以随意擦除、修改所写内容，而且手写输入也不必受到不同输入法的限制，因此，大大方便了用户进行文字录入的过程。

通过采用本发明实施例提供的基于移动终端的信息记录和检索方法，用户可以将文本文件和语音文件和笔迹文件结合起来进行记录，并可以在文本文件和语音文件和笔迹文件之间相互检索，从而实现相互补充的效果。

本发明实施例还提供了一种基于移动终端的信息记录和检索装置，如图4所示，包括：

记录单元41，用于记录包含至少一个笔迹信息及各笔迹信息对应的时间信息的笔迹数据、包含至少一个笔迹识别结果的文本信息的文本数据以及包含至少一个音频信息及各音频信息对应的时间信息的音频数据，所述笔迹数据中的至少一个文本信息与所述音频文件中的至少一个音频信息通过对应的时间信息同步记录，所述笔迹数据中的至少一个笔迹信息与该笔迹信息的识别结果通过位置信息关联；

接收单元42，用于接收用户发出的第一检索标识，并确定所述检索标识属于文本类型或笔迹类型或音频类型；

检索单元43，用于在与所述第一检索标识对应的数据中进行检索，以获取第二检索标识和第一检索结果，以及根据第二检索标识在关联的数据中进行检索，获得第二检索结果。所述第一检索标识不同于第二检索标识。

具体的，所述检索单元43用于：

当所述第一检索标识属于笔迹类型时，在所述笔迹数据中查找包含该检索标识的笔迹信息；并根据该笔迹信息对应的时间信息，在所述音频数据中查找与该笔迹信息同步记录的音频信息；

当所述第一检索标识属于文本类型时，在所述文本数据中查找包含该检索标识的文本信息；并根据该文本信息对应的位置信息，在所述笔迹数据中检索对应的笔迹信息，以获得笔迹信息对应的时间信息；根据所述时间信息在所述音频数据中查找与该文本信息同步记录的音频信息；

当所述第一检索标识属于音频类型时，在所述音频数据中查找包含该检索标识的音频信息；并根据该音频信息对应的时间信息，在所述文本文件中查找与该音频信息同步记录的笔迹信息，或，在所述笔迹数据中查找与该音频信息同步记录的笔迹信息之后根据笔迹信息对应的位置信息在所述文本数据中查找对应的文本信息。

较佳的，所述记录单元41中记录的所述笔迹数据中包含的与各笔迹信息对应的时间信息为记录该笔迹信息时的实际时间，所述音频数据中包含的与各音频信息对应的时间信息为记录该音频信息时的实际时间，则所述笔迹数据中的笔迹信息与所述音频数据中的音频信息通过该实际时间同步记录。

较佳的，还包括：同步单元，用于接收用户发出的同步指令，则所述记录单元中记录的所述笔迹数据中包含的与各笔迹信息对应的时间信息为记录该笔迹信息时，相对于接收到同步指令时的相对时间；所述音频数据中包含的与各音频信息对应的时间信息为记录该音频信息时，相对于接收到同步指令时的相对时间，则所述笔迹数据中的至少一个笔迹信息与所述音频数据中的至少一个音频信息通过该相对时间同步记录。

较佳的，还包括：修改单元，用于接收用户发出的修改指令，并根据所述修改指令对所述文本数据进行修改；其中，所述修改指令包括：添加指令和删除指令。

通过采用本实施例中的装置，利用时间信息将手写记录的笔迹数据和录音记录的音频数据同步记录，从而将笔迹数据和音频数据关联起来，进一步地，通过位置信息将笔记数据和文本数据关联起来，实现了文本数据和音频数据和笔记数据之间的相互检索，满足了用户将手写记录和录音记录的内容结合起来检索并整理的需求。

本领域技术人员可以理解，虽然上述说明中，为便于理解，对方法的步骤采用了顺序性描述，但是应当指出，对于上述步骤的顺序并不作严格限制。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读取存储介质中，如：ROM/RAM、磁碟、光盘等。

还可以理解的是，附图或实施例中所示的装置结构仅仅是示意性的，表示逻辑结构。其中作为分离部件显示的模块可能是或者可能不是物理上分开的，作为模块显示的部件可能是或者可能不是物理模块。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种基于移动终端的信息记录和检索方法，其特征在于，包括：

记录包含至少一个笔迹信息及各笔迹信息对应的时间信息的笔迹数据、包含至少一个笔迹识别结果的文本信息的文本数据以及包含至少一个音频信息及各音频信息对应的时间信息的音频数据，所述笔迹数据中的至少一个笔迹信息与所述音频数据中的至少一个音频信息通过对应的时间信息同步记录，所述笔迹数据中的至少一个笔迹信息与该笔迹信息的识别结果通过位置信息关联；

接收用户发出的第一检索标识，并确定所述检索标识属于笔迹类型或文本类型或音频类型；

在与所述第一检索标识对应的数据中进行检索，以获取第二检索标识和第一检索结果，以及根据第二检索标识在关联的数据中进行检索，获得第二检索结果。

2.如权利要求1所述的信息检索方法，其特征在于，所述笔迹数据中的至少一个笔迹信息与所述音频数据中的至少一个音频信息通过对应的时间信息同步记录具体包括：

所述笔迹数据中包含的与各笔迹信息对应的时间信息为记录该笔迹信息时的实际时间，所述音频数据中包含的与各音频信息对应的时间信息为记录该音频信息时的实际时间，则所述笔迹数据中的笔迹信息与所述音频数据中的音频信息通过该实际时间同步记录。

3.如权利要求1所述的信息检索方法，其特征在于，在记录所述笔迹数据和音频数据的步骤之前，还包括：接收用户发出的同步指令，则所述笔迹数据中的至少一个笔迹信息与所述音频数据中的至少一个音频信息通过对应的时间信息同步记录具体包括：

所述笔迹数据中包含的与各笔迹信息对应的时间信息为记录该笔迹信息时，相对于接收到同步指令时的相对时间；所述音频数据中包含的与各音频信息对应的时间信息为记录该音频信息时，相对于接收到同步指令时的相对时间，则所述笔迹文件中的至少一个笔迹信息与所述音频文件中的至少一个音频信息通过该相对时间同步记录。

4.如权利要求1所述的信息检索方法，其特征在于，所述移动终端记录所述包含至少一个笔迹识别结果的文本信息的文本数据的步骤具体包括：

接收用户手写输入的笔迹信息，并记录至少一个笔迹信息相对于笔迹数据的起始偏移；

识别所述笔迹数据中的笔迹信息，并在文本数据中记录识别结果和该笔迹信息对应的起始偏移。

5.如权利要求1所述的信息检索方法，其特征在于，所述在与所述第一检索标识对应的数据中进行检索，以获取第二检索标识和第一检索结果，以及根据第二检索标识在关联的数据中进行检索，获得第二检索结果，具体为：

当所述第一检索标识属于笔迹类型时，在所述笔迹数据中查找包含该检索标识的笔迹信息；并根据该笔迹信息对应的时间信息，在所述音频数据中查找与该笔迹信息同步记录的音频信息；

当所述第一检索标识属于文本类型时，在所述文本数据中查找包含该检索标识的文本信息；并根据该文本信息对应的位置信息，在所述笔迹数据中检索对应的笔迹信息，以获得笔迹信息对应的时间信息；根据所述时间信息在所述音频数据中查找与该文本信息同步记录的音频信息；

当所述第一检索标识属于音频类型时，在所述音频数据中查找包含该检索标识的音频信息；并根据该音频信息对应的时间信息，在所述笔迹数据中查找与该音频信息同步记录的笔迹信息，或，在所述笔迹数据中查找与该音频信息同步记录的笔迹信息之后根据笔迹信息对应的位置信息在所述文本数据中查找对应的文本信息。

6.如权利要求1所述的信息检索方法，其特征在于，在所述文本数据中查找到包含该检索标识的文本信息的步骤之后，还包括：

接收用户发出的修改指令，并根据所述修改指令对所述文本数据进行修改；其中，所述修改指令包括：添加指令和删除指令。

7.如权利要求5所述的信息检索方法，其特征在于，在所述音频数据中查找包含该检索标识的音频信息时，通过语音识别的方式对所述检索标识进行识别后根据识别结果在所述音频数据中查找，并获得所述检索标识对应的音频数据中的时间信息。

8.一种基于移动终端的信息检索装置，其特征在于，包括：

记录单元，用于记录包含至少一个笔迹信息及各笔迹信息对应的时间信息的笔迹数据、包含至少一个笔迹识别结果的文本信息的文本数据以及包含至少一个音频信息及各音频信息对应的时间信息的音频数据，所述笔迹数据中的至少一个文本信息与所述音频文件中的至少一个音频信息通过对应的时间信息同步记录，所述笔迹数据中的至少一个笔迹信息与该笔迹信息的识别结果通过位置信息关联；

接收单元，用于接收用户发出的检索标识，并确定所述检索标识属于文本类型或笔迹类型或音频类型；

检索单元，用于在与所述第一检索标识对应的数据中进行检索，以获取第二检索标识和第一检索结果，以及根据第二检索标识在关联的数据中进行检索，获得第二检索结果。

9.如权利要求8所述的信息检索装置，其特征在于，所述记录单元中记录的所述笔迹数据中包含的与各笔迹信息对应的时间信息为记录该笔迹信息时的实际时间，所述音频数据中包含的与各音频信息对应的时间信息为记录该音频信息时的实际时间，则所述笔迹数据中的笔迹信息与所述音频数据中的音频信息通过该实际时间同步记录。

10.如权利要求8所述的信息检索装置，其特征在于，还包括：同步单元，用于接收用户发出的同步指令，则所述记录单元中记录的所述笔迹数据中包含的与各笔迹信息对应的时间信息为记录该笔迹信息时，相对于接收到同步指令时的相对时间；所述音频数据中包含的与各音频信息对应的时间信息为记录该音频信息时，相对于接收到同步指令时的相对时间，则所述笔迹数据中的至少一个笔迹信息与所述音频数据中的至少一个音频信息通过该相对时间同步记录。

11.如权利要求8所述的信息检索装置，其特征在于，还包括：

修改单元，用于接收用户发出的修改指令，并根据所述修改指令对所述文本信息进行修改；其中，所述修改指令包括：添加指令和删除指令。

12.如权利要求8所述的信息检索装置，其特征在于，所述检索单元具体用于：

当所述第一检索标识属于笔迹类型时，在所述笔迹数据中查找包含该检索标识的笔迹信息；并根据该笔迹信息对应的时间信息，在所述音频数据中查找与该笔迹信息同步记录的音频信息；

当所述第一检索标识属于文本类型时，在所述文本数据中查找包含该检索标识的文本信息；并根据该文本信息对应的位置信息，在所述笔迹数据中检索对应的笔迹信息，以获得笔迹信息对应的时间信息；根据所述时间信息在所述音频数据中查找与该文本信息同步记录的音频信息；

当所述第一检索标识属于音频类型时，在所述音频数据中查找包含该检索标识的音频信息；并根据该音频信息对应的时间信息，在所述文本文件中查找与该音频信息同步记录的笔迹信息，或，在所述笔迹数据中查找与该音频信息同步记录的笔迹信息之后根据笔迹信息对应的位置信息在所述文本数据中查找对应的文本信息。

Images