CN104572712A - 浏览多媒体文件的系统及方法 - Google Patents

Abstract

本发明公开一种浏览多媒体文件的系统及方法，其通过具有将多媒体教学文件被播放时位于文字辨识区域中的内容转换为影像文字信息，并将多媒体教学文件中的声音信号转换为声音文字信息后，产生包含影像文字信息与相对应的影像时间信息以及包含声音文字信息与相对应的声音时间信息的索引文件，并在由索引文件中读取与被输入的关键字词对应的影像时间信息及声音时间信息后，依据所读出的影像时间信息及声音时间信息播放多媒体教学档案的技术手段，可以检索多媒体教学文件的播放内容，并达成迅速开始观看与被检索的关键字词相关的内容的技术功效。

Description

浏览多媒体文件的系统及方法

技术领域

本发明涉及一种多媒体文件的播放系统及其方法，特别是指一种建立索引文件以浏览多媒体文件的系统及其方法。

背景技术

随着科技的进步以及网络的发展，许多的行为突破了空间的限制，例如，传统的教学模式需要在预定时间于预定的地点进行，但若有学习者无法在预定的时间抵达预定的地点，则可以在预定的时间通过网络在其他的地点进行，学习者也可以在事后通过教学时所录制的多媒体教学文件进行学习。

在学习者进行传统的教学模式后，或学习者跟随多媒体教学文件学习后，若觉得教学过程中的某个部分尚未理解，则学习者可以观看多媒体教学文件再次学习。

但由于目前无法对多媒体档案的播放内容进行检索，且学习者通常不会记录欲观看的片段在多媒体教学文件中的起始播放时间，因此，学习者必须要持续拖动播放时间轴上的播放进度指针或是快转多媒体教学文件，藉以在多媒体教学文件中搜寻欲观看的片段，这明显造成学习者的不便。

综上所述，可知现有技术中长期以来一直存在无法对多媒体教学文件的播放内容进行搜索的问题，进而造成学习者的不便，因此有必要提出改进的技术手段，来解决此一问题。

发明内容

有鉴于现有技术存在无法对多媒体教学文件的播放内容进行检索的问题，本发明遂揭露一种浏览多媒体文件的系统及方法，其中：

本发明所揭露的浏览多媒体文件的系统，至少包含：辨识区域设定模块，用以于多媒体教学文件中设定文字辨识区域，文字辨识区域显示该多媒体教学文件中的影像信息；影像文字转换模块，用以将文字辨识区域中的影像信息转换为影像文字信息，并记录影像文字信息对应多媒体教学文件的影像时间信息；语音文字转换模块，用以将多媒体教学文件中的声音信号转换为声音文字信息，并记录声音文字信息对应多媒体教学文件中的声音时间信息；索引文件产生模块，用以生成索引文件，索引文件包含影像文字信息与相对应的影像时间信息、及声音文字信息与相对应的声音时间信息的索引文件；输入模块，用以提供输入关键字词；播放数据读取模块，用以比对关键字词及索引文件，并依据索引文件中与关键字词对应的影像文字信息及声音文字信息，读取与影像文字信息及声音文字信息对应的影像时间信息与声音时间信息；文件播放模块，用以依据影像时间信息与声音时间信息播放多媒体教学文件。

本发明所揭露的浏览多媒体文件的方法，其步骤至少包括：于多媒体教学文件中设定文字辨识区域，文字辨识区域显示多媒体教学文件的影像信息；转换文字辨识区域中的影像信息为影像文字信息，并记录影像文字信息对应多媒体教学文件的影像时间信息；转换多媒体教学文件中的声音信号为声音文字信息，并记录声音文字信息对应多媒体教学文件的声音时间信息；生成索引文件，索引文件包含影像文字信息与相对应的影像时间信息、及声音文字信息与相对应的声音时间信息；输入关键字词；比对关键字词与索引文件，并依据索引文件中与关键字词对应的影像文字信息及声音文字信息，读取与影像文字信息及声音文字信息对应的影像时间信息与声音时间信息；依据影像时间信息及声音时间信息播放多媒体教学文件。

本发明所揭露的系统与方法如上，与现有技术之间的差异在于本发明通过将多媒体教学文件被播放时位于文字辨识区域中的内容转换为影像文字信息，并将多媒体教学文件中的声音信号转换为声音文字信息后，产生包含影像文字信息与相对应的影像时间信息以及包含声音文字信息与相对应的声音时间信息的索引文件，并在由索引文件中读取与被输入的关键字词对应的影像时间信息及声音时间信息后，依据所读出的影像时间信息及声音时间信息播放多媒体教学档案，藉以解决现有技术所存在的问题，并可以达成迅速开始观看与被检索的关键字词相关的内容的技术功效。

附图说明

图1为本发明所提的浏览多媒体文件的系统架构图。

图2为本发明所提的浏览多媒体文件的方法流程图。

图3A为本发明实施例所提的显示范围示意图。

图3B为本发明实施例所提的框选文字辨识区域的示意图。

【符号说明】

101    储存媒体

110    文件加载模块

120    辨识区域设定模块

140    影像文字转换模块

150    语音文字转换模块

160    索引文件产生模块

170    输入模块

180    播放数据读取模块

190    文件播放模块

300    显示区域

310    黑板

320    光标

330    文字辨识区域

具体实施方式

以下将配合图式及实施例来详细说明本发明的特征与实施方式，内容足以使本领域技术人员能够轻易地充分理解本发明解决技术问题所应用的技术手段并据以实施，藉此实现本发明可达成的功效。

本发明可以对多媒体教学文件被播放时所显示的影像信息与所输出的声音信号进行辨识，并记录与所辨识出的影像文字信息及声音文字信息对应的影像时间信息及声音时间信息，再依据影像文字信息与声音文字信息以及相对应的影像时间信息与声音时间信息产生索引文件，之后，当索引文件中包含使用者所输入的关键字词时，可以依据在索引文件中与关键字词对应的影像时间信息与声音时间信息播放多媒体教学文件。

以下先以「图1」本发明所提的浏览多媒体文件的系统架构图来说明本发明的系统运作。如「图1」所示，本发明的系统含有文件加载模块110、辨识区域设定模块120、影像文字转换模块140、语音文字转换模块150、索引文件产生模块160、输入模块170、播放数据读取模块180、以及文件播放模块190。

文件加载模块110负责加载预先建立的多媒体教学文件。

文件加载模块110可以由执行本发明的装置中的储存媒体101中读取多媒体教学文件，也可以由执行本发明的装置外部的储存装置（图中未示）中下载多媒体教学文件，但文件加载模块110加载多媒体教学文件的方式并不以上述为限。

辨识区域设定模块120负责在文件加载模块110所加载的多媒体教学文件中设定多媒体教学文件被播放时会显示出包含文字的影像信息的区域，例如，设定多媒体教学文件被播放时所显示的黑/白板或字幕在多媒体教学文件的画面中的位置，其中，辨识区域设定模块120所设定的区域在本发明中被称为「文字辨识区域」。

辨识区域设定模块120可以提供在显示多媒体教学文件的影像的显示范围中定义文字辨识区域，例如，提供使用鼠标在显示多媒体教学文件的影像的显示范围中进行拖曳，藉以将在显示范围中被框选出的区域设定为文字辨识区域；辨识区域设定模块120也可以对多媒体教学文件所包含的一个影格进行影像分析，藉以判断黑/白板或字幕在多媒体教学文件的画面中的区域，并将所判断出的区域设定为文字辨识区域，或是比对多媒体教学文件所包含的多个影格，并将被比对的影格中所呈现出的画面不同的区域设定为文字辨识区域等。

影像文字转换模块140负责将在文件加载模块110所加载的多媒体教学文件被播放时所显示的画面中，于辨识区域设定模块120所设定的文字辨识区域的影像信息进行影像文字转换，藉以在进行转换后取得一个或多个数据，在本发明中，影像文字转换模块140在对影像进行转换后所取得的数据被称为「影像文字信息」。

一般而言，影像文字转换模块140可以使用文字辨识（CharacterRecognition）技术，由文件加载模块110所加载的多媒体教学文件所呈现出的画面中辨识出影像文字信息，也就是说，影像文字转换模块140所转换出的影像文字信息为由文字或符号所组成的信息。但影像文字转换模块140转换产生影像文字信息的方式并不以此为限。

影像文字转换模块140也负责判断进行文字转换后所取得的影像文字信息对应到文件加载模块110所加载的多媒体教学文件的影像时间信息，并记录影像文字信息对应的影像时间信息。影像文字转换模块140所取得的每一个影像文字信息都会具有至少一个相对应的影像时间信息，其中，影像时间信息可以包含从多媒体教学文件中转换出相对应的影像文字信息的画面开始被播放的时间，这个时间在本发明中被称为「起始播放时间」，影像时间信息也可以包含在多媒体教学文件播放时持续显示与被转换出的影像文字信息对应的画面的时间，这个时间在本发明中被称为「持续播放时间」，实际上，影像时间信息也可以同时包含起始播放时间与持续播放时间，本发明并没有特别的限制。

语音文字转换模块150负责对文件加载模块110所加载的多媒体教学文件中的声音信号进行语音文字转换，藉以在语音文字转换后取得一个或多个数据，在本发明中，语音文字转换模块150在转换后所取得的数据被称为「声音文字信息」。

一般而言，语音文字转换模块150可以使用如语音转文字（Speech-to-Text,STT）等语音辨识技术由文件加载模块110所加载的多媒体教学文件中辨识出声音文字信息，也就是说，语音文字转换模块150所转换出的声音文字信息为由文字或符号所组成的信息。但语音文字转换模块150转换产生声音文字信息的方式并不此为限。

语音文字转换模块150也负责判断进行语音转换后所取得的声音文字信息对应到文件加载模块110所加载的多媒体教学文件的声音时间信息，并记录所判断出的与声音文字信息对应的声音时间信息。与影像文字转换模块140相似的，语音文字转换模块150所取得的每一个声音文字信息都会具有至少一个相对应的声音时间信息，其中，声音时间信息可以包含相对应的声音文字信息在多媒体教学文件中开始被播放的时间，这个时间在本发明中同样被称为「起始播放时间」，声音时间信息也可以包含在多媒体教学文件播放时持续发出与被产生的声音文字信息对应的声音所经过的时间，这个时间在本发明中也同样被称为「持续播放时间」，声音时间信息也可以同时包含起始播放时间与持续播放时间，本发明并没有特别的限制。

索引文件产生模块160负责产生索引文件。索引文件产生模块160所产生的索引文件可以是纯文字的数据、也可以是数据库中的数据表的数据，本发明没有特别的限制，凡数据格式可以被用来对文件的内容进行查找的文件都可以作为本发明所提的索引文件。

索引文件产生模块160所产生的索引文件包含播放文字信息以及与播放文字信息对应的起始播放时间信息。其中，播放文字信息是由影像文字转换模块140转换产生的所有影像文字信息以及语音文字转换模块150转换产生的所有声音文字信息组成，起始播放时间信息则是由与影像文字转换模块140转换产生的影像文字信息对应的影像时间信息以及与语音文字转换模块150转换产生的声音文字信息相对应的声音时间信息组成。一般而言，索引文件产生模块160会将播放文字信息以及相对应的起始播放时间信息作为一笔数据写入所产生的索引文件中。

输入模块170负责输入关键字词。

播放数据读取模块180负责比对输入模块170所输入的关键字词以及索引文件产生模块160所产生的索引文件，并依据索引文件中与关键字词对应的影像文字信息，由索引文件中读取与播放文字信息对应的影像时间信息，以及依据索引文件中与关键字词对应的声音文字信息，由索引文件中读取与声音文字信息对应的声音时间信息。其中，与关键字词对应的影像文字信息表示影像文字信息包含关键字词、或影像文字信息与关键字词完全相同或部分单字相同，但本发明并不以此为限。

在部分的实施例中，播放数据读取模块180可以在索引文件产生模块160所产生的索引文件中搜寻与输入模块170所提供输入的关键字词对应的影像文字信息以及声音文字信息（在本发明中，也使用「播放文字信息」表示影像文字信息以及声音文字信息），例如，比对关键字词与索引文件中所记录的影像文字信息以及声音文字信息，藉以搜寻包含关键字词的播放文字信息或与关键字词相同的播放文字信息，播放数据读取模块180也可以在搜寻到与关键字词对应的播放文字信息后，读取与关键字词对应的播放文字信息对应的影像时间信息以及声音时间信息（在本发明中，也使用「播放时间信息」表示影像时间信息以及声音时间信息）。

文件播放模块190负责依据播放数据读取模块180所读取出的播放时间信息播放文件加载模块110所加载的多媒体教学文件。

在部分的实施例中，文件播放模块190可以由播放数据读取模块180所读取出的播放时间信息中的起始播放时间开始播放多媒体教学文件，例如，起始播放时间为2分8秒，文件播放模块190便会由多媒体教学文件的2分8秒处开始播放多媒体教学文件，文件播放模块190也可以较起始播放时间更早的时间开始播放多媒体教学文件，例如，文件播放模块190可以向前7秒，也就是从多媒体教学文件的2分1秒处开始播放多媒体教学文件。

在部分的实施例中，文件播放模块190也可以依据播放数据读取模块180所读取出的播放时间信息中的持续播放时间播放多媒体教学文件，例如，当持续播放时间为4分13秒，则当多媒体教学文件由2分1秒处开始播放时，当文件播放模块190播放到多媒体教学文件的6分14秒处便会停止播放多媒体教学文件。

接着以一个实施例来解说本发明的运作系统与方法，并请参照「图2」本发明所提的浏览多媒体文件的方法流程图。

首先，文件加载模块110可以加载多媒体教学文件（步骤202）。在本发明中，假设多媒体教学文件被储存于执行本发明的装置中，则文件加载模块110会由执行本发明的装置的储存媒体101中加载多媒体教学文件。

在文件加载模块110加载多媒体教学文件（步骤202）后，辨识区域设定模块120可以设定文字辨识区域（步骤210）。在本实施例中，假设如「图3A」与「图3B」所示，辨识区域设定模块120提供使用者在显示多媒体教学文件的显示区域300中设定文字辨识区域330，使用者可以操作鼠标控制光标320在显示多媒体教学文件的显示区域300中框选出包含文字的黑板310的范围，如此，辨识区域设定模块120便会将使用者在显示区域300中所框选出的范围设定为文字辨识区域330。

在辨识区域设定模块120设定文字辨识区域（步骤210）后，影像文字转换模块140可以将多媒体教学文件被播放时在文字辨识区域330中显示的影像信息转换为影像文字信息，并记录影像文字信息对应多媒体教学文件的影像时间信息（步骤220）。在本实施例中，假设影像文字转换模块140会对文字辨识区域330中显示的影像信息进行文字辨识，并记录进行文字辨识的时间为起始播放时间，若所辨识出的影像文字信息其中之一为「电阻」，且影像文字信息「电阻」在多媒体教学文件中的起始播放时间为13分4秒，同时，影像文字转换模块140会也会记录持续辨识出「电阻」的时间为播放时间，例如为14分3秒。

同样在文件加载模块110加载多媒体教学文件（步骤202）后，语音文字转换模块150可以将多媒体教学文件中的声音信号转换为声音文字信息，并记录声音文字信息对应多媒体教学文件的声音时间信息（步骤230）。在本实施例中，语音文字转换模块150会对多媒体教学文件进行语音辨识，并记录辨识出声音文字信息的时间为起始播放时间，例如，所辨识出的声音文字信息其中之一为「电路」，且声音文字信息「电路」在多媒体教学文件中的起始播放时间为8分2秒。

在影像文字转换模块140由多媒体教学文件中转换产生影像文字信息，并记录影像文字信息对应多媒体教学文件的影像时间信息（步骤220），且语音文字转换模块150由多媒体教学文件中转换产生声音文字信息，并记录声音文字信息对应多媒体教学文件的声音时间信息（步骤230）后，索引文件产生模块160可以产生索引文件（步骤250）。在本实施例中，索引文件产生模块160所产生的索引文件包含影像文字信息「电阻」以及相对应的影像时间信息，也就是起始播放时间「13分4秒」与持续播放时间「14分3秒」，也包含声音文字信息「电路」以及相对应的声音时间信息，也就是起始播放时间8分2秒等两笔数据。

在索引文件产生模块160产生索引文件（步骤250）后，输入模块170可以提供输入界面给使用者，并输入使用者所输入的关键字词（步骤270），接着，播放数据读取模块180可以比对输入模块170所输入的关键字词以及索引文件产生模块160所产生索引文件中所包含的播放文字信息，并依据索引文件中与关键字词对应的播放文字信息（影像文字信息与声音时间信息），读取与播放文字信息对应的播放时间信息（影像时间信息与声音时间信息）（步骤280），接着，文件播放模块190可以依据播放数据读取模块180所读取的播放时间信息，由储存媒体101中读取出多媒体教学文件，并播放所读出的多媒体教学文件（步骤290）。

在本实施例中，若使用者通过输入模块170所输入的关键字词为「电阻」，则播放数据读取模块180可以在索引文件产生模块160所产生的索引文件中搜寻到包含关键字词或与关键字词相同的播放文字信息，并读取出与被搜寻到的播放文字信息对应的播放时间信息，也就是起始播放时间「13分4秒」与持续播放时间「14分3秒」，接着，文件播放模块190便可以由多媒体教学文件的第13分4秒处开始播放多媒体教学文件，并在播放到多媒体教学文件的14分3秒时停止多媒体教学文件的播放，而若输入模块170所输入的关键字词为「电路」，则播放数据读取模块180也可以在索引文件中搜寻到包含关键字词或与关键字词相同的播放文字信息，并读取出相对应的播放时间信息，也就是起始播放时间「8分2秒」，接着，文件播放模块190便可以由多媒体教学文件的第8分2秒处开始播放多媒体教学文件，直到多媒体教学文件播放完毕为止。

如此，通过本发明，使用者可以直接使用关键字词对多媒体教学文件进行搜索，并可以浏览多媒体教学文件中与关键字词相关的内容。

综上所述，可知本发明与现有技术之间的差异在于具有将多媒体教学文件被播放时位于文字辨识区域中的内容转换为影像文字信息，并将多媒体教学文件中的声音信号转换为声音文字信息后，产生包含影像文字信息与相对应的影像时间信息以及包含声音文字信息与相对应的声音时间信息的索引文件，并在由索引文件中读取与被输入的关键字词对应的影像时间信息及声音时间信息后，依据所读出的影像时间信息及声音时间信息播放多媒体教学档案的技术手段，藉由此一技术手段可以解决现有技术所存在无法对多媒体教学文件的播放内容进行检索的问题，进而达成迅速开始观看与被检索的关键字词相关的内容的技术功效。

再者，本发明的建立索引文件以浏览多媒体文件中特定内容的方法，可实现于硬件、软件或硬件与软件的组合中，亦可在计算机系统中以集中方式实现或以不同元件散布于若干互连的计算机系统的分散方式实现。

虽然本发明所揭露的实施方式如上，惟所述的内容并非用以直接限定本发明的专利保护范围。任何本发明所属技术领域中的技术人员，在不脱离本发明所揭露的精神和范围的前提下，对本发明的实施的形式上及细节上作些许的更动润饰，均属于本发明的专利保护范围。本发明的专利保护范围，仍须以所附的权利要求书所界定者为准。

Claims (10)

1.一种浏览多媒体文件的方法，其特征在于，该方法至少包含下列步骤：

于一多媒体教学文件中设定一文字辨识区域，该文字辨识区域显示该多媒体教学文件的一影像信息；

转换该文字辨识区域中的该影像信息为至少一影像文字信息，并记录各该影像文字信息对应该多媒体教学文件的各影像时间信息；

转换该多媒体教学文件中的声音信号为至少一声音文字信息，并记录各该声音文字信息对应该多媒体教学文件的各声音时间信息；

生成一索引文件，该索引文件包含各该影像文字信息与相对应的各该影像时间信息、及各该声音文字信息与相对应的各该声音时间信息；

输入一关键字词；

比对该关键字词与该索引文件，并依据该索引文件中与该关键字词对应的该影像文字信息及该声音文字信息，读取与该影像文字信息及该声音文字信息对应的各该影像时间信息与各该声音时间信息；及

依据该些影像时间信息及该些声音时间信息播放该多媒体教学文件。

2.如权利要求1所述的浏览多媒体文件的方法，其特征在于，于该多媒体教学文件中设定该文字辨识区域的步骤更包含提供于该多媒体教学文件的播放区域中定义该文字辨识区域，或由该多媒体教学文件中判断该文字辨识区域的步骤。

3.如权利要求1所述的浏览多媒体文件的方法，其特征在于，依据该些影像时间信息及该些声音时间信息播放该多媒体教学文件的步骤为由该些影像时间信息或该些声音时间信息中所包含的一起始播放时间开始播放该多媒体教学文件。

4.如权利要求1所述的浏览多媒体文件的方法，其特征在于，依据该些影像时间信息及该些声音时间信息播放该多媒体教学文件的步骤是依据该些影像时间信息及该些声音时间信息中的一持续播放时间播放该多媒体教学文件。

5.如权利要求1所述的浏览多媒体文件的方法，其特征在于，依据该索引文件中与该关键字词对应的该影像文字信息及该声音文字信息，读取与该影像文字信息及该声音文字信息对应的各该影像时间信息与各该声音时间信息的步骤，为读取与包含该关键字词或与该关键字词相同的该影像文字信息及该声音文字信息对应的各该影像时间信息与各该声音时间信息。

6.一种浏览多媒体文件的系统，其特征在于，该系统至少包含：

一辨识区域设定模块，用以于一多媒体教学文件中设定一文字辨识区域，该文字辨识区域显示该多媒体教学文件中的一影像信息；

一影像文字转换模块，用以将该文字辨识区域中的该影像信息转换为至少一影像文字信息，并记录各该影像文字信息对应该多媒体教学文件的各影像时间信息；

一语音文字转换模块，用以将该多媒体教学文件中的声音信号转换为至少一声音文字信息，并记录各该声音文字信息对应该多媒体教学文件中的各声音时间信息；

一索引文件产生模块，用以生成一索引文件，该索引文件包含各该影像文字信息与相对应的各该影像时间信息、及各该声音文字信息与相对应的各该声音时间信息；

一输入模块，用以提供输入一关键字词；

一播放数据读取模块，用以比对该关键字词及该索引文件，并依据该索引文件中与该关键字词对应的该影像文字信息及该声音文字信息，读取与该影像文字信息及该声音文字信息对应的各该影像时间信息与各该声音时间信息；及

一文件播放模块，用以依据该些影像时间信息及该些声音时间信息播放该多媒体教学文件。

7.如权利要求6所述的浏览多媒体文件的系统，其特征在于，该辨识区域设定模块是提供于该多媒体教学文件的播放区域中定义该文字辨识区域，或由该多媒体教学文件中判断该文字辨识区域。

8.如权利要求6所述的浏览多媒体文件的系统，其特征在于，该播放数据读取模块是于该索引文件中比对包含该关键字词或与该关键字词相同的该影像文字信息及该声音文字信息。

9.如权利要求6所述的浏览多媒体文件的系统，其特征在于，各该影像时间信息及各该声音时间信息包含一起始播放时间，该文件播放模块更用以由该起始播放时间开始播放该多媒体教学文件。

10.如权利要求6所述的浏览多媒体文件的系统，其特征在于，各该影像时间信息及各该声音时间信息包含一持续播放时间，该文件播放模块更用以依据该持续播放时间播放该多媒体教学文件。