CN105635849A - 多媒体文件播放时的文本显示方法和装置 - Google Patents

多媒体文件播放时的文本显示方法和装置 Download PDF

Info

Publication number
CN105635849A
CN105635849A CN201510998455.1A CN201510998455A CN105635849A CN 105635849 A CN105635849 A CN 105635849A CN 201510998455 A CN201510998455 A CN 201510998455A CN 105635849 A CN105635849 A CN 105635849A
Authority
CN
China
Prior art keywords
multimedia file
information
file
text
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510998455.1A
Other languages
English (en)
Other versions
CN105635849B (zh
Inventor
刘佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Media Technology Beijing Co Ltd
Original Assignee
Netease Media Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Media Technology Beijing Co Ltd filed Critical Netease Media Technology Beijing Co Ltd
Priority to CN201510998455.1A priority Critical patent/CN105635849B/zh
Publication of CN105635849A publication Critical patent/CN105635849A/zh
Application granted granted Critical
Publication of CN105635849B publication Critical patent/CN105635849B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440236—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text

Abstract

本发明的实施方式提供了一种多媒体文件播放时的文本显示方法，包括：获取所述多媒体文件在当前播放时间点附近的第一时间段内的多媒体信息；获取所述多媒体信息中的关键词；基于所述关键词，检索与所述多媒体文件相对应的文本；在所述关键词与所述文本中特定位置处的内容匹配的情况下，从所述特定位置附近开始显示所述文本。

Description

多媒体文件播放时的文本显示方法和装置
技术领域
本发明的实施方式涉及信息处理领域，更具体地，本发明的实施方式涉及多媒体文件播放时的文本显示方法和装置。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
用户在观看多媒体文件(例如视频)时，由于网络连接中断或网络流量限制，经常会出现卡顿的现象，导致多媒体文件不能顺畅地播放，使用户无法进行继续观看。通常用户需要被动地等待网络缓冲，再继续播放多媒体文件，但是，这种方式耗时较长，难以预期等待的时间，用户体验也不佳。另外，在播放视频文件出现卡顿的情况下，可以通过观看视频的抽帧图片库了解后续剧情，但这种方式获取信息不连贯，导致不能完整的理解视频的内容。此外，为了防止出现卡顿，也可提前缓存下载视频文件，但是提前下载缓存视频文件仅对有计划观看的视频有效，无法实时观看最新的视频，且下载缓存对于终端的内存空间和下载时间均有限时和要求，扩展性较差。
发明内容
因现有技术中，多媒体文件播放在出现卡顿的情况下，用户需要被动地等待网络缓冲，或者通过观看视频的抽帧图片库了解后续剧情，或者提前缓存下载视频文件。但是这些方式浪费时间，使得获取信息不连贯，对于终端内存空间和下载时间有限时，扩展性较差，用户体验也不佳。这是非常令人烦恼的过程。
为此，非常需要一种改进的多媒体文件播放时的文本显示方法和装置，以便在多媒体文件播放出现卡顿时，能够根据所播放的多媒体文件的内容来同步显示与其对应的文本，保证信息获取连贯性、完整性和一致性，有效地减少了对于网络流量的需求，能够适用于各种类型多媒体文件的实时播放场景，有较强的灵活性和扩展性，不需要提前进行下载或缓存，因而有效地节省了时间。
在本上下文中，本发明的实施方式期望提供一种多媒体文件播放时的文本显示方法和装置。
在本发明实施方式的第一方面中，提供了一种多媒体文件播放时的文本显示方法，包括：获取所述多媒体文件在当前播放时间点附近的第一时间段内的多媒体信息；获取所述多媒体信息中的关键词；基于所述关键词，检索与所述多媒体文件相对应的文本；在所述关键词与所述文本中特定位置处的内容匹配的情况下，从所述特定位置附近开始显示所述文本。
在本发明实施方式的第二方面中，提供了一种多媒体文件播放时的文本显示装置，包括：多媒体信息获取模块，被配置为获取所述多媒体文件在当前播放时间点附近的第一时间段内的多媒体信息；关键词获取模块，被配置为获取所述多媒体信息中的关键词；检索模块，被配置为基于所述关键词，检索与所述多媒体文件相对应的文本；显示模块，被配置为在所述关键词与所述文本中特定位置处的内容匹配的情况下，从所述特定位置附近开始显示所述文本。
根据本发明实施方式的多媒体文件播放时的文本显示方法和装置，能够根据所播放的多媒体文件的内容来同步显示与其对应的文本，保证信息获取连贯性、完整性和一致性，有效地减少了对于网络流量的需求，能够适用于各种类型多媒体文件的实时播放场景，有较强的灵活性和扩展性，不需要提前进行下载或缓存，因而有效地节省了时间。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
图1A-1C示意性地示出了根据本发明实施方式的应用场景；
图2示意性地示出了根据本发明实施方式的多媒体文件播放时的文本显示方法的流程示意图；以及
图3示意性地示出了根据本发明实施方式的多媒体文件播放时的文本显示装置的示意图。
在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
根据本发明的实施方式，提出了一种多媒体文件播放时的文本显示方法和装置。
在本文中，需要理解的是，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。
发明概述
本发明人发现，在播放多媒体文件时，例如视频或音频文件，可以在多媒体文件播放前或播放过程中的预定时间点，下载并保存与所述多媒体文件相对应的文本，例如原著小说、剧本、歌词等。在多媒体文件播放时出现卡顿的情况下，或者响应于用户的请求，可以获取多媒体文件在当前播放时间点附近的第一时间段内的多媒体信息，并获取该多媒体信息中的关键词，然后基于所述关键词，检索与所述多媒体文件相对应的文本。在检索所使用的关键词与文本中特定位置处的内容匹配的情况下，从该特定位置附近开始显示所述文本。这样，能够根据所播放的多媒体文件的内容来同步显示与其对应的文本，保证信息获取连贯性、完整性和一致性，有效地减少了对于网络流量的需求，能够适用于各种类型多媒体文件的实时播放场景，不需要提前进行下载或缓存，有较强的灵活性和扩展性，有效地节省了时间。
在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。
应用场景总览
首先参考图1A-1C，为一些多媒体文件播放时的显示界面的示意图。如图1A所示，为多媒体文件播放时的显示界面的示意图，其中多媒体文件可以是视频文件，且该视频文件具有字幕信息。当播放该视频时，如果网络连接中断或网络流量有限，可能出现播放卡顿的情况，则可以获取该视频文件在出现卡顿的时间点(例如，如图1B所示“10:36”)附近的第一时间段(例如20秒)内的字幕信息(例如，如图1B所示的字幕信息“倒是可以给我一套”)，并将所获取的字幕信息的全部或一部分作为关键词，检索与该视频文件所对应的文本，该文本可以是与该视频文件相对应的小说，可以是在该视频文件播放前或播放过程中的预定时间点下载并保存的。当该关键词与小说的特定章节的内容匹配时，从该章节附近开始显示小说，如图1C所示。
本领域技术人员可以理解，图1A-1C所示的示意图仅是本发明的实施方式可以在其中得以实现的一个示例。本发明实施方式的适用范围不受任何限制。
示例性方法
下面结合图1A-1C的应用场景，参考图2来描述根据本发明示例性实施方式的多媒体文件播放时的文本显示方法。需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。
图2示意性地示出了根据本发明实施方式的多媒体文件播放时的文本显示方法200的流程示意图。如图2所示，该方法200可以包括：
S201、获取所述多媒体文件在当前播放时间点附近的第一时间段内的多媒体信息；
在一些可能的实施方式中，本发明实施例的多媒体文件可以包括视频文件、音频文件、动画等。
在一些可能的实施方式中，第一时间段可以是包含当前播放时间点的时间段，例如，如图1B所示，当前播放时间点为“10:36”时，第一时间段可以是10:00至11:00之间的时间段；这种情况下，第一时间段内的多媒体信息既包括已经播放过的多媒体文件的部分内容，也包括尚未播放过的多媒体文件的部分内容。可选地，第一时间段可以是在当前播放时间点之前的时间段，例如10:00至10:30之间的时间段，这种情况下，第一时间段内的多媒体信息包括已经播放过的多媒体文件的部分内容。可选的，第一时间段也可以是在当前播放时间点之后的时间段，例如10:37至11:00之间的时间段，这种情况下，第一时间段内的多媒体信息包括尚未播放过的多媒体文件的部分内容。由此，第一时间段相对于当前播放时间点的位置可以根据用户对于多媒体文件的已经播放的内容或尚未播放的内容的关注程度来设定。可选的，第一时间段的长度可以由服务器预先设定或者由用户设定，可以是几秒钟，也可以是几分钟。
在一些可能的实施方式中，本发明实施例的所述多媒体文件包括视频文件，且所述多媒体信息包括如下中的至少一种：所述视频文件中的字幕信息；与所述视频文件对应的台词信息；所述视频文件中的音频信息。在一些可能的实施方式中，当所播放的多媒体文件为视频文件时，例如电视剧，台词信息可以是电视剧所对应的文字信息，例如剧本，其可以被存储在服务器中、而不在视频中显示；字幕信息可以是视频中每一帧所对应的文字信息，其可以在视频中显示，如图1A所示的“倒是可以给我一套”。可选地，多媒体信息也可以包括其他信息，例如该视频文件对应的小说的信息。可选地，多媒体信息可以包括上述信息中的一种或多种，例如包含音频信息而没有台词信息或字幕信息，此时可以将音频信息转化为文本信息，以进行后续的检索或显示操作。
在一些可能的实施方式中，本发明实施例的所述多媒体文件包括音频文件，且所述多媒体信息包括如下中的至少一种：所述音频文件中的字幕信息；与所述音频文件对应的台词信息；所述音频文件中的音频信息。在一些可能的实施方式中，当所播放的多媒体文件为音频文件时，例如舞台剧，台词信息可以是舞台剧所对应的文字信息，例如剧本，其可以被存储在服务器中、而不在音频的播放界面中显示；字幕信息可以是音频文件所对应的文字信息，例如歌词，其可以在音频的播放界面中显示，如在音频的播放界面中显示歌词。可选地，多媒体信息可以包括上述信息中的一种或多种，例如包含音频信息而没有台词信息或字幕信息，此时可以将音频信息转化为文本信息，以进行后续的检索或显示操作。
在一些可能的实施方式中，本发明实施例的步骤S201可包括：获取所述多媒体文件在当前播放时间点附近的第一时间段内的音频信息；和将所述音频信息转换为文本信息。可选地，当多媒体文件中不包含台词信息或字幕信息时，可以获取在当前播放时间点附近的第一时间段内的音频信息，然后将音频信息转换为文本信息，来获取关键词，以进行后续的检索或显示操作。当然，当多媒体文件中包含台词信息或字幕信息时，也可以从台词信息或字幕信息中获取关键词，然后将这些关键词与由音频信息转换而来的文本信息的关键词进行比较、筛选或组合，来获取后续用于检索的关键词。
在一些可能的实施方式中，本发明实施例的步骤S201可包括：在检测到所述多媒体文件播放时出现播放卡顿的情况下，获取所述多媒体文件在出现播放卡顿的时间点附近的第一时间段内的多媒体信息；或响应于用户的文本显示请求，获取所述多媒体文件在当前播放时间点附近的第一时间段内的多媒体信息。在本发明的示例性实施例中，当在线播放视频文件时，由于网络连接中断或者网络流量的限制，经常会出现播放卡顿的情况，如图1A所示，当检测到出现播放卡顿时，可显示是否进入文本显示模式的选项，如图1B所示显示是否进入与视频相对于的小说文本的续读模式，并响应于用户的选择，例如，选择“开始续读”选项，进入文本显示模式：获取视频文件在当前播放时间点10:36附近的第一时间段(如20秒钟)的字幕信息，以进行后续的检索或显示操作。可选地，也可以不显示是否进入文本显示模式的选项，而自动进入文本显示模式。可选地，当用户对多媒体文件所对应的文本更感兴趣时，例如，用户想要快速了解视频文件后续的情节发展，需要阅读原著小说时，可以响应于用户的文本显示请求来获取所述多媒体文件在当前播放时间点附近的第一时间段内的多媒体信息。可选地，可以在多媒体播放界面设置显示文本的选项，例如在视频播放界面设置“显示原著”的按钮。
方法200还包括步骤S202：获取所述多媒体信息中的关键词。
在一些可能的实施方式中，可以基于视频文件中的字幕信息、台词信息和音频信息中的至少一种，或者基于音频文件中的字幕信息、台词信息和音频信息中的至少一种来获取关键词。如图1A所示，可以基于视频文件中的字幕信息“倒是可以给我一套”来获取关键词，该关键词可以是所获取的字幕信息的一部分或者全部。可选地，可以对所获取的多媒体信息进行分词处理，或基于词性或词意进行筛选，来获取关键词。
方法200还包括步骤S203：基于所述关键词，检索与所述多媒体文件相对应的文本。
在一些可能的实施方式中，与所述多媒体文件相对应的文本可以是与视频文件相对应的原著小说、剧本等，如图1C所示，可以是与音频文件相对应的歌词、乐谱等。
在一些可能的实施方式中，方法200还包括：在所述多媒体文件播放前或播放过程中的预定时间点，下载并保存与所述多媒体文件相对应的所述文本。可选地，可以在播放多媒体文件之前，预先下载并保存与该多媒体文件相对应的文本，也可以在多媒体文件的播放过程中的预定时间点，例如播放多媒体文件的1分钟之后，下载并保存与其相对应的文本，使得能够在出现播放卡顿的情况下，或者响应于用户的文本显示请求时，能够调取已经下载并保存的文本，以进行后续的检索和显示操作。
在一些可能的实施方式中，所下载并且保存的所述文本包括与在当前播放时间点之后的第二时间段内的所述多媒体文件相对应的内容。参考图1A-1C，在当前播放时间点(例如，如图1B所示的“10:36”)出现卡顿时，或者响应于用户的文本显示请求，为了保证用户能够了解尚未播放的多媒体文件中的内容，可以下载并保存与在当前播放时间点之后的第二时间段(例如60分钟)内的所述多媒体文件相对应的内容，例如当前播放时间点10:36对应于小说的第2章，而当前播放时间点之后的10分钟的视频文件的内容对应于小说的第3-5章，则不仅可以下载对应于当前播放时间点10:36的第2章，也可以下载对应于第二时间段的第3-5章的内容。可选地，也可以下载当前播放时间点之前任意时间段内的多媒体文件相对应的文本。
方法200还包括步骤S204：在所述关键词与所述文本中特定位置处的内容匹配的情况下，从所述特定位置附近开始显示所述文本。如图1A-1C所示，当基于关键词“倒是可以给我一套”检索与多媒体文件相对应的文本时，在该关键词与文本中特定位置(如第2章)的内容匹配的情况下，从该特定位置附近开始显示所述文本，如图1C所示。可选地，所显示的文本可以包括与关键词匹配的特定位置之前的部分内容，也可以包括该特定位置之后的部分内容，如图1C所示，可以显示与“倒是可以给我一套”匹配的特定位置之前的部分内容，也可以显示该特定位置之后的部分内容，这样便于用户回顾已经播放的多媒体文件的内容，从而更容易地基于特定位置之后的文本内容来了解尚未播放的多媒体文件的内容，保证情节的完整性和连贯性。当然，所显示的文本可以仅包括特定位置之前的部分内容，或者仅包括该特定位置之后的部分内容。由此，可以根据用户对于多媒体文件的已经播放的内容或尚未播放的内容的关注程度来设定从何处开始显示文本。
这样，根据本发明实施方式的多媒体文件播放时的文本显示方法，能够根据需要，根据所播放的多媒体文件的内容来同步显示与其对应的文本，保证信息获取连贯性、完整性和一致性，有效地减少了对于网络流量的需求，能够适用于各种类型多媒体文件的实时播放场景，有较强的灵活性和扩展性，不需要提前进行下载或缓存，因而有效地节省了时间。
示例性设备
在介绍了本发明示例性实施方式的方法之后，接下来，参考图3对本发明示例性实施方式的多媒体文件播放时的文本显示装置进行描述。
图3示意性地示出了根据本发明实施方式的多媒体文件播放时的文本显示装置300的示意图。如图3所示，该装置300可以包括：多媒体信息获取模块301、关键词获取模块302、检索模块303和显示模块304。
在装置300中，多媒体信息获取模块301被配置为获取所述多媒体文件在当前播放时间点附近的第一时间段内的多媒体信息。
在一些可能的实施方式中，本发明实施例的多媒体文件可以包括视频文件、音频文件、动画等。
在一些可能的实施方式中，第一时间段可以是包含当前播放时间点的时间段，例如当前播放时间点为“10:36”时，如图1B所示，第一时间段可以是10:00至11:00之间的时间段；这种情况下，第一时间段内的多媒体信息既包括已经播放过的多媒体文件的部分内容，也包括尚未播放过的多媒体文件的部分内容。可选地，第一时间段可以是在当前播放时间点之前的时间段，例如10:00至10:30之间的时间段，这种情况下，第一时间段内的多媒体信息包括已经播放过的多媒体文件的部分内容。可选的，第一时间段也可以是在当前播放时间点之后的时间段，例如10:37至11:00之间的时间段，这种情况下，第一时间段内的多媒体信息包括尚未播放过的多媒体文件的部分内容。由此，第一时间段相对于当前播放时间点的位置可以根据用户对于多媒体文件的已经播放的内容或尚未播放的内容的关注程度来设定。可选的，第一时间段的长度可以由服务器预先设定或者由用户设定，可以是几秒钟，也可以是几分钟。
在一些可能的实施方式中，本发明实施例的所述多媒体文件包括视频文件，且所述多媒体信息包括如下中的至少一种：所述视频文件中的字幕信息；与所述视频文件对应的台词信息；所述视频文件中的音频信息。在一些可能的实施方式中，当所播放的多媒体文件为视频文件时，例如电视剧，台词信息可以是电视剧所对应的文字信息，例如剧本，其可以被存储在服务器中、而不在视频中显示；字幕信息可以是视频中每一帧所对应的文字信息，其可以在视频中显示，如图1A所示的“倒是可以给我一套”。可选地，多媒体信息也可以包括其他信息，例如该视频文件对应的小说的信息。可选地，多媒体信息可以包括上述信息中的一种或多种，例如包含音频信息而没有台词信息或字幕信息，此时可以将音频信息转化为文本信息，以进行后续的检索或显示操作。
在一些可能的实施方式中，本发明实施例的所述多媒体文件包括音频文件，且所述多媒体信息包括如下中的至少一种：所述音频文件中的字幕信息；与所述音频文件对应的台词信息；所述音频文件中的音频信息。在一些可能的实施方式中，当所播放的多媒体文件为音频文件时，例如舞台剧，台词信息可以是舞台剧所对应的文字信息，例如剧本，其可以被存储在服务器中、而不在音频的播放界面中显示；字幕信息可以是音频文件所对应的文字信息，例如歌词，其可以在音频的播放界面中显示，如在音频的播放界面中显示歌词。可选地，多媒体信息可以包括上述信息中的一种或多种，例如包含音频信息而没有台词信息或字幕信息，此时可以将音频信息转化为文本信息，以进行后续的检索或显示操作。
在一些可能的实施方式中，所述多媒体信息获取模块301还可包括：音频信息获取模块301A，被配置为获取所述多媒体文件在当前播放时间点附近的第一时间段内的音频信息；和转换模块301B，被配置为将所述音频信息转换为文本信息。可选地，当多媒体文件中不包含台词信息或字幕信息时，音频信息获取模块301A可以获取在当前播放时间点附近的第一时间段内的音频信息，然后转换模块301B将音频信息转换为文本信息，来获取关键词，以进行后续的检索或显示操作。当然，当多媒体文件中包含台词信息或字幕信息时，多媒体信息获取模块301也可以从台词信息或字幕信息中获取关键词，然后将这些关键词与由音频信息转换而来的文本信息的关键词进行比较、筛选或组合，来获取后续用于检索的关键词。
在一些可能的实施方式中，多媒体信息获取模块301被配置为：在检测到所述多媒体文件播放时出现播放卡顿的情况下，获取所述多媒体文件在出现播放卡顿的时间点附近的第一时间段内的多媒体信息；或响应于用户的文本显示请求，获取所述多媒体文件在当前播放时间点附近的第一时间段内的多媒体信息。在本发明的示例性实施例中，当在线播放视频文件时，由于网络连接中断或者网络流量的限制，经常会出现播放卡顿的情况，如图1A所示，当检测到出现播放卡顿时，可显示是否进入文本显示模式的选项，如图1B所示显示是否进入与视频相对于的小说文本的续读模式，并响应于用户的选择，例如，选择“开始续读”选项，进入文本显示模式：由多媒体信息获取模块301获取视频文件在当前播放时间点10:36附近的第一时间段(如20秒钟)的字幕信息，以进行后续的检索或显示操作。可选地，也可以不显示是否进入文本显示模式的选项，而自动进入文本显示模式。可选地，当用户对多媒体文件所对应的文本更感兴趣时，例如，用户想要快速了解视频文件后续的情节发展，需要阅读原著小说时，可以响应于用户的文本显示请求由多媒体信息获取模块301获取所述多媒体文件在当前播放时间点附近的第一时间段内的多媒体信息。可选地，可以在多媒体播放界面设置显示文本的选项，例如在视频播放界面设置“显示文本”的按钮。
在装置300中，关键词获取模块302被配置为获取所述多媒体信息中的关键词。
在一些可能的实施方式中，关键词获取模块302可以基于视频文件中的字幕信息、台词信息和音频信息中的至少一种，或者基于音频文件中的字幕信息、台词信息和音频信息中的至少一种来获取关键词。如图1A所示，关键词获取模块302可以基于视频文件中的字幕信息“倒是可以给我一套”来获取关键词，该关键词可以是所获取的字幕信息的一部分或者全部。可选地，关键词获取模块302可以对所获取的多媒体信息进行分词处理，或基于词性或词意进行筛选，来获取关键词。
在装置300中，检索模块303被配置为：基于所述关键词，检索与所述多媒体文件相对应的文本。
在一些可能的实施方式中，与所述多媒体文件相对应的文本可以是与视频文件相对应的原著小说、剧本等，如图1C所示，可以是与音频文件相对应的歌词、乐谱等。
在一些可能的实施方式中，装置300还包括下载模块305，被配置为：在所述多媒体文件播放前或播放过程中的预定时间点，下载并保存与所述多媒体文件相对应的所述文本。可选地，下载模块305可以在播放多媒体文件之前，预先下载并保存与该多媒体文件相对应的文本，也可以在多媒体文件的播放过程中的预定时间点，例如播放多媒体文件的1分钟之后，下载并保存与其相对应的文本，使得能够在出现播放卡顿的情况下，或者响应于用户的文本显示请求时，能够调取已经下载并保存的文本，以进行后续的检索和显示操作。
在一些可能的实施方式中，下载模块305所下载并且保存的所述文本包括与在当前播放时间点之后的第二时间段内的所述多媒体文件相对应的内容。参考图1A-1C，在当前播放时间点(例如，如图1B所示的“10:36”)出现卡顿时，或者响应于用户的文本显示请求，为了保证用户能够了解尚未播放的多媒体文件中的内容，下载模块305可以下载并保存与在当前播放时间点之后的第二时间段(例如60分钟)内的所述多媒体文件相对应的内容，例如当前播放时间点10:36对应于小说的第2章，而当前播放时间点之后的10分钟的视频文件的内容对应于小说的第3-5章，则下载模块305不仅可以下载对应于当前播放时间点10:36的第2章，也可以下载对应于第二时间段的第3-5章的内容。可选地，下载模块305也可以下载当前播放时间点之前任意时间段内的多媒体文件相对应的文本。
在装置300中，显示模块304被配置为：在所述关键词与所述文本中特定位置处的内容匹配的情况下，从所述特定位置附近开始显示所述文本。如图1A-1C所示，当检索模块303基于关键词“倒是可以给我一套”检索与多媒体文件相对应的文本时，在该关键词与文本中特定位置(如第2章)的内容匹配的情况下，显示模块304从该特定位置附近开始显示所述文本，如图1C所示。可选地，所显示的文本可以包括与关键词匹配的特定位置之前的部分内容，也可以包括该特定位置之后的部分内容，如图1C所示，显示模块304可以显示与“倒是可以给我一套”匹配的特定位置之前的部分内容，也可以显示该特定位置之后的部分内容，这样便于用户回顾已经播放的多媒体文件的内容，从而更容易地基于特定位置之后的文本内容来了解尚未播放的多媒体文件的内容，保证情节的完整性和连贯性。当然，显示模块304所显示的文本可以仅包括特定位置之前的部分内容，或者仅包括该特定位置之后的部分内容。由此，显示模块304可以根据用户对于多媒体文件的已经播放的内容或尚未播放的内容的关注程度来设定从何处开始显示文本。
这样，根据本发明实施方式的多媒体文件播放时的文本显示装置，能够根据所播放的多媒体文件的内容来同步显示与其对应的文本，保证信息获取连贯性、完整性和一致性，有效地减少了对于网络流量的需求，能够适用于各种类型多媒体文件的实时播放场景，有较强的灵活性和扩展性，不需要提前进行下载或缓存，因而有效地节省了时间。
应当注意，尽管在上文详细描述中提及了多媒体文件播放时的文本显示装置的若干模块或子模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。
此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (12)

1.一种多媒体文件播放时的文本显示方法，包括：
获取所述多媒体文件在当前播放时间点附近的第一时间段内的多媒体信息；
获取所述多媒体信息中的关键词；
基于所述关键词，检索与所述多媒体文件相对应的文本；
在所述关键词与所述文本中特定位置处的内容匹配的情况下，从所述特定位置附近开始显示所述文本。
2.根据权利要求1所述的方法，其中获取所述多媒体文件在当前播放时间点附近的第一时间段内的多媒体信息包括：
在检测到所述多媒体文件播放时出现播放卡顿的情况下，获取所述多媒体文件在出现播放卡顿的时间点附近的第一时间段内的多媒体信息；或
响应于用户的文本显示请求，获取所述多媒体文件在当前播放时间点附近的第一时间段内的多媒体信息。
3.根据权利要求1所述的方法，其中：
所述多媒体文件包括视频文件，且所述多媒体信息包括如下中的至少一种：
所述视频文件中的字幕信息；
与所述视频文件对应的台词信息；
所述视频文件中的音频信息；
或
所述多媒体文件包括音频文件，且所述多媒体信息包括如下中的至少一种：
所述音频文件中的字幕信息；
与所述音频文件对应的台词信息；
所述音频文件中的音频信息。
4.根据权利要求3所述的方法，其中获取所述多媒体文件在当前播放时间点附近的第一时间段内的多媒体信息包括：
获取所述多媒体文件在当前播放时间点附近的第一时间段内的音频信息；和
将所述音频信息转换为文本信息。
5.根据权利要求1所述的方法，还包括：
在所述多媒体文件播放前或播放过程中的预定时间点，下载并保存与所述多媒体文件相对应的所述文本。
6.根据权利要求5所述的方法，其中所下载并且保存的所述文本包括与在当前播放时间点之后的第二时间段内的所述多媒体文件相对应的内容。
7.一种多媒体文件播放时的文本显示装置，包括：
多媒体信息获取模块，被配置为获取所述多媒体文件在当前播放时间点附近的第一时间段内的多媒体信息；
关键词获取模块，被配置为获取所述多媒体信息中的关键词；
检索模块，被配置为基于所述关键词，检索与所述多媒体文件相对应的文本；
显示模块，被配置为在所述关键词与所述文本中特定位置处的内容匹配的情况下，从所述特定位置附近开始显示所述文本。
8.根据权利要求7所述的装置，其中所述多媒体信息获取模块被配置为：
在检测到所述多媒体文件播放时出现播放卡顿的情况下，获取所述多媒体文件在出现播放卡顿的时间点附近的第一时间段内的多媒体信息；或
响应于用户的文本显示请求，获取所述多媒体文件在当前播放时间点附近的第一时间段内的多媒体信息。
9.根据权利要求7所述的装置，其中：
所述多媒体文件包括视频文件，且所述多媒体信息包括如下中的至少一种：
所述视频文件中的字幕信息；
与所述视频文件对应的台词信息；
所述视频文件中的音频信息；
或
所述多媒体文件包括音频文件，且所述多媒体信息包括如下中的至少一种：
所述音频文件中的字幕信息；
与所述音频文件对应的台词信息；
所述音频文件中的音频信息。
10.根据权利要求9所述的装置，其中所述多媒体信息获取模块还包括：
音频信息获取模块，被配置为获取所述多媒体文件在当前播放时间点附近的第一时间段内的音频信息；和
转换模块，被配置为将所述音频信息转换为文本信息。
11.根据权利要求7所述的装置，还包括：
下载模块，被配置为在所述多媒体文件播放前或播放过程中的预定时间点，下载并保存与所述多媒体文件相对应的所述文本。
12.根据权利要求11所述的装置，其中所下载并且保存的所述文本包括与在当前播放时间点之后的第二时间段内的所述多媒体文件相对应的内容。
CN201510998455.1A 2015-12-25 2015-12-25 多媒体文件播放时的文本显示方法和装置 Active CN105635849B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510998455.1A CN105635849B (zh) 2015-12-25 2015-12-25 多媒体文件播放时的文本显示方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510998455.1A CN105635849B (zh) 2015-12-25 2015-12-25 多媒体文件播放时的文本显示方法和装置

Publications (2)

Publication Number Publication Date
CN105635849A true CN105635849A (zh) 2016-06-01
CN105635849B CN105635849B (zh) 2018-06-05

Family

ID=56050266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510998455.1A Active CN105635849B (zh) 2015-12-25 2015-12-25 多媒体文件播放时的文本显示方法和装置

Country Status (1)

Country Link
CN (1) CN105635849B (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106210840A (zh) * 2016-06-29 2016-12-07 网易传媒科技（北京）有限公司 一种文本显示方法和设备
CN107205161A (zh) * 2017-06-30 2017-09-26 广东欧珀移动通信有限公司 一种视频播放方法、装置、存储介质和终端
CN108632366A (zh) * 2018-04-18 2018-10-09 Oppo广东移动通信有限公司 文件下载方法、装置及终端设备
CN111078078A (zh) * 2019-11-29 2020-04-28 深圳市咨聊科技有限公司 视频播放控制方法、装置、终端及计算机可读存储介质
CN111078070A (zh) * 2019-11-29 2020-04-28 深圳市咨聊科技有限公司 Ppt视频弹幕的播放控制方法、装置、终端及介质
CN111339323A (zh) * 2020-02-21 2020-06-26 联想(北京)有限公司 一种多媒体文件的信息处理方法及装置
US10836405B2 (en) 2017-10-30 2020-11-17 Nissan North America, Inc. Continual planning and metareasoning for controlling an autonomous vehicle
US11027751B2 (en) 2017-10-31 2021-06-08 Nissan North America, Inc. Reinforcement and model learning for vehicle operation
US11084504B2 (en) 2017-11-30 2021-08-10 Nissan North America, Inc. Autonomous vehicle operational management scenarios
US11110941B2 (en) 2018-02-26 2021-09-07 Renault S.A.S. Centralized shared autonomous vehicle operational management
US11113973B2 (en) 2017-02-10 2021-09-07 Nissan North America, Inc. Autonomous vehicle operational management blocking monitoring
US11120688B2 (en) 2018-06-29 2021-09-14 Nissan North America, Inc. Orientation-adjust actions for autonomous vehicle operational management
US11300957B2 (en) 2019-12-26 2022-04-12 Nissan North America, Inc. Multiple objective explanation and control interface design
US11500380B2 (en) 2017-02-10 2022-11-15 Nissan North America, Inc. Autonomous vehicle operational management including operating a partially observable Markov decision process model instance
US11577746B2 (en) 2020-01-31 2023-02-14 Nissan North America, Inc. Explainability of autonomous vehicle decision making
US11613269B2 (en) 2019-12-23 2023-03-28 Nissan North America, Inc. Learning safety and human-centered constraints in autonomous vehicles
US11635758B2 (en) 2019-11-26 2023-04-25 Nissan North America, Inc. Risk aware executor with action set recommendations
US11702070B2 (en) 2017-10-31 2023-07-18 Nissan North America, Inc. Autonomous vehicle operation with explicit occlusion reasoning
US11714971B2 (en) 2020-01-31 2023-08-01 Nissan North America, Inc. Explainability of autonomous vehicle decision making
US11782438B2 (en) 2020-03-17 2023-10-10 Nissan North America, Inc. Apparatus and method for post-processing a decision-making model of an autonomous vehicle using multivariate data
US11874120B2 (en) 2017-12-22 2024-01-16 Nissan North America, Inc. Shared autonomous vehicle operational management
US11899454B2 (en) 2019-11-26 2024-02-13 Nissan North America, Inc. Objective-based reasoning in autonomous vehicle decision-making

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101482880A (zh) * 2008-01-09 2009-07-15 索尼株式会社 视频搜索装置、编辑装置、视频搜索方法及程序
CN102023998A (zh) * 2009-09-21 2011-04-20 创新科技有限公司 用于处理网页以便在手持设备上显示的方法和装置
CN103366783A (zh) * 2012-03-29 2013-10-23 百度在线网络技术（北京）有限公司 用于调整视频信息的播放时间点的方法、装置和设备
CN103414943A (zh) * 2013-07-12 2013-11-27 深圳Tcl新技术有限公司 电视节目评论信息处理方法和系统
CN103634605A (zh) * 2013-12-04 2014-03-12 百度在线网络技术（北京）有限公司 视频画面的处理方法及装置
CN103761261A (zh) * 2013-12-31 2014-04-30 北京紫冬锐意语音科技有限公司 一种基于语音识别的媒体搜索方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101482880A (zh) * 2008-01-09 2009-07-15 索尼株式会社 视频搜索装置、编辑装置、视频搜索方法及程序
CN102023998A (zh) * 2009-09-21 2011-04-20 创新科技有限公司 用于处理网页以便在手持设备上显示的方法和装置
CN103366783A (zh) * 2012-03-29 2013-10-23 百度在线网络技术（北京）有限公司 用于调整视频信息的播放时间点的方法、装置和设备
CN103414943A (zh) * 2013-07-12 2013-11-27 深圳Tcl新技术有限公司 电视节目评论信息处理方法和系统
CN103634605A (zh) * 2013-12-04 2014-03-12 百度在线网络技术（北京）有限公司 视频画面的处理方法及装置
CN103761261A (zh) * 2013-12-31 2014-04-30 北京紫冬锐意语音科技有限公司 一种基于语音识别的媒体搜索方法及装置

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106210840A (zh) * 2016-06-29 2016-12-07 网易传媒科技（北京）有限公司 一种文本显示方法和设备
CN106210840B (zh) * 2016-06-29 2018-12-11 网易传媒科技（北京）有限公司 一种文本显示方法和设备
US11500380B2 (en) 2017-02-10 2022-11-15 Nissan North America, Inc. Autonomous vehicle operational management including operating a partially observable Markov decision process model instance
US11113973B2 (en) 2017-02-10 2021-09-07 Nissan North America, Inc. Autonomous vehicle operational management blocking monitoring
CN107205161A (zh) * 2017-06-30 2017-09-26 广东欧珀移动通信有限公司 一种视频播放方法、装置、存储介质和终端
CN107205161B (zh) * 2017-06-30 2019-10-25 Oppo广东移动通信有限公司 一种视频播放方法、装置、存储介质和终端
US10836405B2 (en) 2017-10-30 2020-11-17 Nissan North America, Inc. Continual planning and metareasoning for controlling an autonomous vehicle
US11027751B2 (en) 2017-10-31 2021-06-08 Nissan North America, Inc. Reinforcement and model learning for vehicle operation
US11702070B2 (en) 2017-10-31 2023-07-18 Nissan North America, Inc. Autonomous vehicle operation with explicit occlusion reasoning
US11084504B2 (en) 2017-11-30 2021-08-10 Nissan North America, Inc. Autonomous vehicle operational management scenarios
US11874120B2 (en) 2017-12-22 2024-01-16 Nissan North America, Inc. Shared autonomous vehicle operational management
US11110941B2 (en) 2018-02-26 2021-09-07 Renault S.A.S. Centralized shared autonomous vehicle operational management
CN108632366B (zh) * 2018-04-18 2021-01-29 Oppo广东移动通信有限公司 文件下载方法、装置及终端设备
CN108632366A (zh) * 2018-04-18 2018-10-09 Oppo广东移动通信有限公司 文件下载方法、装置及终端设备
US11120688B2 (en) 2018-06-29 2021-09-14 Nissan North America, Inc. Orientation-adjust actions for autonomous vehicle operational management
US11635758B2 (en) 2019-11-26 2023-04-25 Nissan North America, Inc. Risk aware executor with action set recommendations
US11899454B2 (en) 2019-11-26 2024-02-13 Nissan North America, Inc. Objective-based reasoning in autonomous vehicle decision-making
CN111078070A (zh) * 2019-11-29 2020-04-28 深圳市咨聊科技有限公司 Ppt视频弹幕的播放控制方法、装置、终端及介质
CN111078078A (zh) * 2019-11-29 2020-04-28 深圳市咨聊科技有限公司 视频播放控制方法、装置、终端及计算机可读存储介质
US11613269B2 (en) 2019-12-23 2023-03-28 Nissan North America, Inc. Learning safety and human-centered constraints in autonomous vehicles
US11300957B2 (en) 2019-12-26 2022-04-12 Nissan North America, Inc. Multiple objective explanation and control interface design
US11577746B2 (en) 2020-01-31 2023-02-14 Nissan North America, Inc. Explainability of autonomous vehicle decision making
US11714971B2 (en) 2020-01-31 2023-08-01 Nissan North America, Inc. Explainability of autonomous vehicle decision making
CN111339323A (zh) * 2020-02-21 2020-06-26 联想(北京)有限公司 一种多媒体文件的信息处理方法及装置
US11782438B2 (en) 2020-03-17 2023-10-10 Nissan North America, Inc. Apparatus and method for post-processing a decision-making model of an autonomous vehicle using multivariate data

Also Published As

Publication number Publication date
CN105635849B (zh) 2018-06-05

Similar Documents

Publication Publication Date Title
CN105635849A (zh) 多媒体文件播放时的文本显示方法和装置
US9947025B2 (en) Method and apparatus for providing search capability and targeted advertising for audio, image, and video content over the internet
US8886009B2 (en) Creation of video bookmarks via scripted interactivity in advanced digital television
US8307403B2 (en) Triggerless interactive television
CN109640129B (zh) 视频推荐方法、装置，客户端设备、服务器及存储介质
CN109036417B (zh) 用于处理语音请求的方法和装置
US20130004141A1 (en) Method and Device for Locating Video Clips
KR20040101235A (ko) 텔레비전 프로그램에 관한 정보를 검색하는 방법 및 시스템
CN110913241B (zh) 一种视频检索方法、装置、电子设备及存储介质
KR20180032665A (ko) 데이터 스트림들의 실시간 자연어 처리
US11700410B2 (en) Crowd sourced indexing and/or searching of content
CN112015926B (zh) 搜索结果的展示方法、装置、可读介质和电子设备
CN111263186A (zh) 视频生成、播放、搜索以及处理方法、装置和存储介质
CN108810580B (zh) 媒体内容推送方法及装置
CN110958470A (zh) 一种多媒体内容处理方法、装置、介质和电子设备
CN104349173A (zh) 视频复读方法及装置
CN114329223A (zh) 媒体内容搜索方法、装置、设备及介质
CN109600625A (zh) 一种节目搜索方法、装置、设备及介质
CN109889921B (zh) 一种具备交互功能的音视频创建、播放方法及装置
JP2012514785A (ja) メディアサービス・クエリを交換する方法及び装置
JP2010218385A (ja) コンテンツ検索装置及びコンピュータプログラム
CN111246254A (zh) 一种视频推荐方法、装置，服务器、终端设备及存储介质
CN111901629A (zh) 生成、播放视频流的方法和装置
US20200004833A1 (en) Method and system for managing a time-based database for contextual searching and commenting on multimedia
CN116361492A (zh) 音视频资源处理方法、装置、介质及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant