CN105760420A - 实现与多媒体文件内容互动的方法及装置 - Google Patents

Abstract

提供了一种实现与多媒体文件内容互动的方法及装置。所述实现与多媒体文件内容互动的方法包括：检测播放器正在播放多媒体文件；获取所述多媒体文件的对象标记文件，所述对象标记文件标注对象在所述多媒体文件中的对象信息；结合所述对象标记文件来解释正在播放的所述多媒体文件的所述对象信息；检测来自用户的互动输入，所述互动输入与所述对象相关；以及基于来自所述用户的互动输入，执行与所述对象相关联的操作。通过实现用户与多媒体文件内容的互动，可以为用户主动地选择和获取多媒体文件中的特定内容的信息。

Description

实现与多媒体文件内容互动的方法及装置

技术领域

本公开总地涉及一种用于实现用户与多媒体文件内容互动的方法及其系统。

背景技术

目前流行的音视频文件格式包括H.264、H.265、MPEG4、AVC、以及AVS等，例如，可以是各种压缩比率(有损或无损)。然而，这些文件格式的大多数并不包含对音视频内容中的对象的描述，其中，音视频内容中的对象可以包括：相对应的视频内容中的人物、物体、文字、背景等，以及音频内容本身中的音乐、人物间的对话等。虽然MPEG4包括有一些对视频内容中的对象的描述，但是这些描述非常复杂，其目的只是为了对视频内容进行更加有效的编码。另外，在MPEG4中，视频对象的描述被放在MPEG4文件格式中，因此该视频对象的描述只能在MPEG4格式中使用，缺乏广泛的适用性。

当今流行的弹幕网站和播放器，在播放音视频文件的同时允许用户发表文字信息并将该文字信息显示在正播放的视频中，方便用户间的交流。但是，这种弹幕式的交流方式也没有对音视频文件中的对象进行标记和描述，也不允许用户对音视频文件中的对象进行定制操作。

发明内容

本公开的实施例提供了一种与多媒体文件内容互动的方法及装置，使得用户可以主动地选择和获取多媒体文件中的特定内容的信息。

本公开的至少一个实施例提供了一种实现与多媒体文件内容互动的方法，包括：检测播放器正在播放多媒体文件；获取所述多媒体文件的对象标记文件，所述对象标记文件标注对象在所述多媒体文件中的对象信息；结合所述对象标记文件来解释正在播放的所述多媒体文件的所述对象信息；检测来自用户的互动输入，所述互动输入与所述对象相关；以及基于来自所述用户的互动输入，执行与所述对象相关联的操作。

例如，所述操作包括以下至少一个：基于来自所述用户的互动输入，为用户个性化所述多媒体文件，使得所述播放器播放被个性化的所述多媒体文件；在所述多媒体文件中实时编辑所述对象；改变在所述多媒体文件中预先设定的、与所述对象相关的互动方式；在浏览器中打开与所述对象相关的网页，其中，所述对象标记文件包括所述网页的链接或者生成链接的方法；打开新窗口来显示关于所述对象的描述和图片；和打开对话框来促进与所述多媒体文件的互动。

例如，为所述用户个性化所述多媒体文件包括：基于所述对象过滤所述多媒体文件的帧画面，使得所述播放器只播放包括所述对象的帧画面。

例如，在播放所述多媒体文件之前，所述方法还包括：接收所述多媒体文件；识别和标记所述对象在所述多媒体文件中的所述对象信息；以及根据所述对象信息，生成所述对象标记文件，其中，所述对象标记文件将所述对象与所述操作相关联。

例如，所述对象信息包括所述对象在所述多媒体文件的每个帧画面中的位置信息、形状信息、大小信息和内容信息中的至少一项。

例如，所述对象标记文件为可扩展标记语言格式或另一种标记语言格式，所述对象信息以二进制格式保存在所述对象标记文件中。

本公开的至少一个实施例还提供了一种实现与多媒体文件内容互动的装置，包括：解释模块，用于检测播放器正在播放多媒体文件，获取所述多媒体文件的对象标记文件，以及结合所述对象标记文件来解释正在播放的所述多媒体文件的对象信息，其中，所述对象标记文件标注对象在所述多媒体文件中的所述对象信息；输入检测模块，用于检测来自用户的互动输入，所述互动输入与所述对象相关；以及操作执行模块，用于基于来自所述用户的互动输入，执行与所述对象相关联的操作。

例如，所述操作执行模块执行以下至少一个操作：基于来自所述用户的互动输入，为用户个性化所述多媒体文件，使得所述播放器播放被个性化的所述多媒体文件；在所述多媒体文件中实时编辑所述对象；改变在所述多媒体文件中预先设定的、与所述对象相关的互动方式；在浏览器中打开与所述对象相关的网页，其中，所述对象标记文件包括所述网页的链接；打开新窗口来显示关于所述对象的描述和图片；以及打开对话框来促进与所述多媒体文件的互动。

例如，所述操作执行模块为所述用户个性化所述多媒体文件的操作包括：基于所述对象过滤所述多媒体文件的帧画面，使得所述播放器只播放包括所述对象的帧画面。

例如，所述装置还包括：识别和标记模块，用于在播放所述多媒体文件之前，接收所述多媒体文件，以及识别和标记所述对象在所述多媒体文件中的对象信息；以及文件生成模块，用于根据所述对象信息，生成所述对象标记文件，其中，所述对象标记文件将所述对象与所述操作相关联。

例如，所述对象信息包括所述对象在所述多媒体文件的每个帧画面中的位置信息、形状信息、大小信息和内容信息中的至少一项。

例如，所述对象标记文件为可扩展标记语言格式或另一种标记语言，所述对象信息以二进制格式保存在所述对象标记文件中。

本公开的至少一个实施例还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本公开的实施例的实现与多媒体文件内容互动的方法，并且用于实现根据本公开的实施例的实现与多媒体文件内容互动的装置。

根据本公开的实施例的实现与多媒体文件内容互动的方法及装置，用户可以更好地了解多媒体文件中的内容，也可以获取个性化的多媒体内容，从而提高用户与多媒体文件互动的效率。

附图说明

通过结合附图对本公开的实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1A为本公开实施例提供的一种用于实现与多媒体文件内容互动的方法和装置的系统的示意性框图之一；

图1B为本公开实施例提供的一种用于实现与多媒体文件内容互动的方法和装置的系统的示意性框图之二；

图2A为本公开实施例提供的一种分析多媒体文件中的对象的方法的示意性流程图；

图2B为本公开实施例提供的一种用于实现与多媒体文件内容互动的方法的示意性流程图；

图3A为本公开实施例提供的实现多媒体内容互动的装置的示意性框图之一；

图3B为本公开实施例提供的实现多媒体内容互动的装置的示意性框图之二；

图4A为本公开实施例提供的一种用于实现与多媒体文件内容互动的方法和装置的系统的示意性框图之三；以及

图4B为本公开实施例提供的一种用于实现与多媒体文件内容互动的方法和装置的系统的示意性框图之四。

具体实施方式

为了使得本公开的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。基于本公开中描述的本公开实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本公开的保护范围之内。

本公开的实施例提供一种用于实现用户与多媒体文件内容互动的方法及装置。例如，所述方法及装置能够：识别和标定多媒体文件内容中的对象；生成通用的(例如，对各种多媒体文件格式均适用的)对象标记文件；以及在播放器播放所述多媒体文件时，通过解释所述对象标记文件，允许用户与所述多媒体文件互动，并为用户执行与所述多媒体文件相关联的操作。因此，用户可以更好地了解多媒体文件中的内容，也可以获取个性化的多媒体内容，从而提高用户与多媒体文件互动的效率。

例如，在现有技术中，用户只能被动地接收播放器播放的多媒体文件的内容；而本公开的实施例提供了一种用于实现用户与多媒体文件内容互动的方法及装置，使得用户可以主动地选择和获取多媒体文件中的特定内容的信息。

例如，本公开的实施例所采用的通用的对象标记文件，可以适用于多媒体文件的多种音视频编码格式，而不局限于某一种音视频编码格式，相比现有技术具有更加广泛的适应性。所述对象标记文件可以包括灵活丰富的对象描述信息，其包括对象的形状、对象的位置以及对象的内容描述等。

例如，本公开的实施例所采用的技术可以简单、方便地在现有的播放器中使用；为实现用户与多媒体文件的互动，只需在现有的播放器中安装插件(例如，所述插件可以为下文所述的互动模块)。

在本公开实施例中，多媒体文件可以包括各种格式的音频文件、各种格式的视频文件、同时包括音频和视频的各种格式的文件、以及其他合适的多媒体文件。本公开的实施例对多媒体文件的格式和内容不做限定。

图1A为本公开的实施例提供的一种用于实现与多媒体文件内容互动的方法和装置的系统100的示意性框图之一。如图1A所示，系统100可以包括客户端101。客户端101可以为一种包括处理器和存储器的计算设备。例如，客户端101可以为电视、台式电脑、笔记本电脑、智能手机、平板电脑、游戏控制器、音乐播放器(例如iPod等)以及其他包括处理器和存储器的终端(例如，移动终端)。在一些实施例中，客户端101可以包括处理器102、存储器104、播放器108以及诸如输入设备和输出设备等其他部件。如图1A中的箭头所示，客户端101的各部件之间可以直接或间接地互相通信，例如，客户端101的各部件可以互相发送和接收数据和/或信号。又例如，客户端101的各部件之间可以通过总线连接。在一些实施例中，客户端101可以包括一个或多个处理器102和一个或多个存储器104。系统100或客户端101根据需要还可以包括显示装置(例如LCD、OLED或投影装置)、输入装置(例如触控装置、键盘、麦克风、鼠标等)、扬声器或振动装置等。

处理器102可以处理数据信号，可以包括各种计算结构，例如复杂指令集计算机(CISC)结构、结构精简指令集计算机(RISC)结构或者一种实行多种指令集组合的结构。在一些实施例中，处理器102也可以是微处理器，例如X86处理器或ARM处理器，或者可以是数字处理器(DSP)等。处理器102可以控制所述客户端101中的其它组件以执行期望的功能。

存储器104可以保存处理器102执行的指令和/或数据。例如，存储器104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本公开实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

在图1A中，播放器108可以为客户端101内部的一个部件。例如，播放器108可以是用于播放多媒体文件的专用硬件。例如，播放器108可以是CD播放器、DVD播放器、蓝光(blueray)播放器或其他播放器。需要注意的是，在一些实施例中，播放多媒体文件的播放器108也可以用软件的形式实现，本公开在此不作限定(例如，播放器108可以为下图3B中的软件播放器316)。

图1B为本公开的实施例提供的一种用于实现与多媒体文件内容互动的方法和装置的系统100的示意性框图之二。图1A和图1B的不同点之一在于，在图1A中播放器108可以为客户端101内部的一个部件，而在图1B中播放器108可以为独立于客户端101的一个部件。在图1A和图1B中，客户端101的各相似或相同的部件均可以提供相似或相同的功能，在此不再赘述。

图2A为本公开的实施例提供的一种分析多媒体文件中的对象的方法200的示意性流程图。在一些实施例中，方法200可以包括如图2所示的一些或全部的步骤(例如，步骤202、204、206以及208中的一部分或全部)；然而，方法200也可以包括其他未在图2A中示出的步骤。

首先，在步骤S202，接收多媒体文件。例如，可以从本地存储器中获取所述多媒体文件；或者，可以从云端的存储器中获取所述多媒体文件。多媒体文件可以存储于本地或网络，还可以是流媒体文件。

在步骤S204，识别和标记对象在所述多媒体文件中的对象信息。例如，可以分析视频文件中的各个帧画面来识别在各个帧画面中的对象，并且标记所述对象在各个帧画面中的对象信息。所述对象可以包括一个或多个对象。例如，所述对象可以包括，但不局限于，以下的一个或多个：视频画面中的人物、物体、文字、背景、图标等，音频中的音乐、人物间的对话等，以及其他可以从多媒体文件中获取的对象。

在一些实施例中，在执行步骤S204时，可以自动地确定要被标记的对象。例如，可以选取多媒体文件中的一个或多个帧画面，然后通过图像处理的方法从所述帧画面中提取人物的图像(例如，包括人物脸部和躯干的图像)或物体的图像作为要被标记的对象。或者，用户可以在观看多媒体文件时，选定需要被标记的对象。例如，用户可以用鼠标在帧画面中选定要被标记的对象。

在一些实施例中，在执行步骤S204时，可以识别和标记对象在多媒体文件的各个帧画面中的对象信息，其中，所述对象信息可以包括对象在各个帧画面中的位置信息、形状信息、大小信息、颜色信息和/或其他内容信息。例如，所述对象的位置信息可以包括所述对象在不同帧画面中的坐标位置(例如，x坐标和y坐标)，或所述对象在每相邻的两帧画面中的运动矢量或位移信息(例如，在每相邻的两帧画面中的Δx和Δy的数值)，或所述对象在多媒体文件中出现的初始时间(例如，所述对象出现的初始帧画面)以及结束时间(例如，所述对象消失的结束帧画面)，或所述对象在多媒体文件中出现的时间段。例如，所述对象的形状信息可以包括矩形、圆形、梯形、三角形、或其他形状、或所述对象的轮廓。例如，所述对象的大小信息可以包括所述对象在不同帧画面中的长、宽、周长或面积等。例如，所述对象的颜色信息可以包括所述对象在帧画面中的颜色(例如，红色、绿色、蓝色等)和/或所述对象在帧画面中的灰度值(grayscale)。例如，所述对象的内容信息可以包括所述对象的简短描述，例如，介绍文字、图片等。

在步骤S206，根据所述对象信息，生成对象标记文件，其中，所述对象标记文件标注所述对象在所述多媒体文件中的对象信息，并将所述对象与操作相关联。例如，可以生成对象标记文件来保存所述对象信息。

例如，在执行步骤S206时，可以在多媒体文件的各个帧画面中搜索和追踪被标记的对象，并生成相应的对象信息；之后，还可以将所述对象在各个帧画面的对象信息保存到对象标记文件中。

在一些实施例中，对象标记文件标注并保存对象在多媒体文件中的对象信息。所述对象标记文件可以为可扩展标记语言(extensiblemarkuplanguage,XML)格式、另一种标记语言(yetanothermarkuplanguage,YAML)或二进制格式；或者，所述对象信息可以以二进制格式的形式，保存在XML格式或YAML格式的对象标记文件中。本公开实施例采用的、结合了XML格式(或YAML格式)和二进制格式的、通用的对象标记文件，可以适用于多媒体文件的所有音视频编码格式，而不局限于某一种音视频编码格式，相比现有技术具有更加广泛的适应性。

在一些实施例中，对象标记文件将被标记的对象与一个或多个操作相关联，使得在多媒体文件播放过程中，当被标记的对象被用户选择时，播放器108(或下图3B中的播放器316)可以为用户执行与被标记的对象相关联的一个或多个操作。下面将结合图2B对所述一个或多个操作进行详细的描述。

最后，在步骤S208，存储所述对象标记文件。例如，可以将所述对象标记文件存储到本地存储器中；或者，可以将所述对象标记文件存储到云端的存储器中。

可以理解的是，本公开的实施例提供的分析多媒体文件中的对象的方法200可以部署在服务器端(或云端)，或者个人终端处，或者分布地部署在服务器端(或云端)和个人终端处。

图2B为本公开的实施例提供的一种用于实现与多媒体文件内容互动的方法250的示意性流程图。在一些实施例中，方法250可以包括如图2B所示的一些或全部的步骤(例如，步骤S252、S254、S256、S258以及S260中的一部分或全部)；然而，方法250也可以包括其他未在图2B中示出的步骤。

首先，在步骤S252，检测播放器正在播放多媒体文件。例如，当用户通过点击所述多媒体文件时，可以检测到播放器即将播放所述多媒体文件；当播放器打开所述多媒体文件后，可以检测到所述多媒体文件正在被播放。在一些实施例中，在步骤S252，可以收到播放器正在播放多媒体文件的通知。例如，播放器可以将播放状态通知执行步骤S252、S254、S256、S258和/或S260的插件。

在步骤S254，获取正在播放的所述多媒体文件的对象标记文件。例如，可以从本地存储器或云端存储器提取与所述多媒体文件相关联的对象标记文件。

在步骤S256，结合所述对象标记文件来解释正在播放的所述多媒体文件中的对象信息。例如，通过读取存储在所述对象标记文件中的对象信息，可以确定多媒体文件中已被标记的所有对象，以及各个对象在所述多媒体文件中的位置、形状、大小、颜色和/或其他内容。又例如，通过读取所述对象标记文件，可以确定视频文件中已被标记的所有对象，以及各个对象在视频文件的每个帧画面中的位置、大小、形状或其他信息。

在步骤S258，检测来自用户的互动输入，所述互动输入与对象相关。例如，用户可以通过所述互动输入来选择所述对象。在一些实施例中，来自用户的互动输入可以包括，但不局限于，用鼠标点击多媒体文件的帧画面中的对象、用手指等通过触摸屏选择多媒体文件的帧画面中的对象、或使用语音命令或手势命令来选择多媒体文件的帧画面中的对象等。在一些实施例中，用户还可以编辑与对象相关联的操作。例如，用户可以定义、增加、删除或重置与对象相关联的操作。

最后，在步骤S260，基于来自所述用户的互动输入，执行与所述对象相关联的操作。例如，如果用户点击正在播放的多媒体文件中的一个或多个对象，步骤S260将基于所述用户的选择，执行与所述一个或多个对象相关联的操作。

在一些实施例中，在步骤S260中的所述操作可以包括：基于来自用户的关于所述对象的互动输入，为所述用户个性化所述多媒体文件，从而使得播放器为所述用户播放被个性化的所述多媒体文件。例如，响应于用户的互动输入，可以使用对象标记文件为用户定制多媒体文件，使得播放器只播放定制后的多媒体文件。例如，可以基于被用户选择的对象，使用对象标记文件过滤多媒体文件的帧画面而得到个性化的多媒体文件，其中，所述个性化的多媒体文件仅包括含有所述对象的帧画面；因此，对于所述用户而言，播放器仅播放所述多媒体文件的、包括所述对象的帧画面。又例如，在播放器播放多媒体文件时，用户可以点击帧画面中的女主角；接着，可以根据用户选择的女主角，使用对象标记文件来过滤所述多媒体文件，从而使得播放器仅播放含有所述女主角的帧画面而跳过其余的帧画面。

在一些实施例中，在步骤S260中的所述操作还可以包括：在所述多媒体文件中实时编辑所述对象。例如，由于存储在对象标记文件中的对象信息包括对象在每个帧画面中的位置、大小、形状或轮廓，因此，在播放器播放所述多媒体文件时，可以为用户实时编辑所述多媒体文件中的对象。例如，可以隐藏所述对象，并使用背景来填充所述对象在不同帧画面中的位置。又例如，可以在不同帧画面中使用其他对象替换所述对象。在一些实施例中，所执行的对所述多媒体文件的实时编辑功能可以是响应于用户的互动输入或者管理员的输入；或者，所执行的对所述多媒体文件的实时编辑功能可以在播放所述多媒体文件时自动执行。

在一些实施例中，在步骤S260中的所述操作还可以包括：改变或改进在所述多媒体文件中预先设定的、与所述对象相关的互动方式。例如，所述多媒体文件的一些帧画面可以包括条形码或二维码，在播放器播放所述帧画面时，用户可以使用手机扫描所述条形码或二维码来参加活动；然而，在本公开的一些实施例中，可以将所述条形码或二维码标记为对象，在播放器播放所述帧画面时，用户可以直接点击所述条形码或二维码，使得在执行步骤S260时自动为用户执行参加活动的操作，而无需用户使用手机扫描所述条形码或二维码。

在一些实施例中，在步骤S260中的所述操作还可以包括：在浏览器中打开与所述对象相关的网页，其中，所述对象标记文件包括所述网页的链接。例如，在观看多媒体文件时，用户可以选择所述多媒体文件中的对象，使得在执行步骤S260时将与所述对象相关的网页的链接传送到浏览器，并在浏览器中打开所述网页。此后，用户可以与所述网页的内容互动(例如，用户可以浏览网页、分享网页内容、观看视频、购买商品等)。

在一些实施例中，在步骤S260中的所述操作还可以包括：打开新窗口来显示关于所述对象的描述和图片。例如，用户在听到多媒体文件中的音乐时，可以通过点击帧画面使得播放器显示所述音乐的演唱者、题目、作曲者、作词者、专辑等相关信息。

在一些实施例中，在步骤S260中的所述操作还可以包括：打开对话框来促进所述用户和所述多媒体文件的互动。例如，当用户在观看所述多媒体文件时点击了某一对象，可以为用户生成对话框并促使播放器向用户显示所述对话框，使得用户可以在对话框中输入或者选择互动内容。

可以理解的是，本公开实施例提供的如上所述的操作只是作为示例性的说明，所述操作还可以包括其他操作，在此不作限定。

可以理解的是，本公开的实施例提供的分析多媒体文件中的对象的方法250可以部署在服务器端(或云端)，或者个人终端处，或者分布地部署在服务器端(或云端)和个人终端处。

图3A为本公开实施例提供的实现多媒体内容互动的装置300的示意性框图之一。如图3A所示，所述装置300可以包括对象分析模块302以及互动模块308。

对象分析模块302可以由图1A或1B所示的客户端101中的处理器102运行存储器104中存储的程序指令来实现，并且可以执行根据本公开实施例的分析多媒体文件中的对象的方法200中的步骤S202、S204、S206和S208，以及其他未在图2A中示出的步骤。对象分析模块302可以包括识别和标记模块304和文件生成模块306。

识别和标记模块304用于在播放所述多媒体文件之前，接收所述多媒体文件，以及识别和标记所述对象在所述多媒体文件中的对象信息。识别和标记模块304可以由图1A或1B所示的客户端101中的处理器102运行存储器104中存储的程序指令来实现，并且可以执行根据本公开实施例的分析多媒体文件中的对象的方法200中的步骤S202和S204。

文件生成模块306用于根据所述对象信息，生成所述对象标记文件，其中，所述对象标记文件将所述对象与所述操作相关联。文件生成模块306可以由图1A或1B所示的客户端101中的处理器102运行存储器104中存储的程序指令来实现，并且可以执行根据本公开实施例的分析多媒体文件中的对象的方法200中的步骤S206和S208。

互动模块308可以由图1A或1B所示的客户端101中的处理器102运行存储器104中存储的程序指令来实现，并且可以执行根据本公开实施例的实现与多媒体文件内容互动的方法250中的步骤S252、S254、S256、S258以及S260，以及其他未在图2B中示出的步骤。互动模块308可以包括对象解释模块310、输入检测模块312和操作执行模块314。

对象解释模块310用于检测播放器正在播放多媒体文件，获取所述多媒体文件的对象标记文件，以及结合所述对象标记文件来解释正在播放的所述多媒体文件的对象信息，其中，所述对象标记文件标注对象在所述多媒体文件中的所述对象信息。对象解释模块310可以由图1A或1B所示的客户端101中的处理器102运行存储器104中存储的程序指令来实现，并且可以执行根据本公开实施例的实现与多媒体文件内容互动的方法250中的步骤S252、S254和S256。

输入检测模块312用于检测来自用户的互动输入，所述互动输入与所述对象相关。输入检测模块312可以由图1A或1B所示的客户端101中的处理器102运行存储器104中存储的程序指令来实现，并且可以执行根据本公开实施例的实现与多媒体文件内容互动的方法250中的步骤S258。

操作执行模块314用于基于来自所述用户的互动输入，执行与所述对象相关联的操作。操作执行模块314可以由图1A或1B所示的客户端101中的处理器102运行存储器104中存储的程序指令来实现，并且可以执行根据本公开实施例的实现与多媒体文件内容互动的方法250中的步骤S260。

图3B为本公开实施例提供的实现多媒体内容互动的装置300的示意性框图之二。图3A和图3B的不同之处之一包括图3B中的实现与多媒体文件内容互动的装置300可以包括对象分析模块302、互动模块308以及播放器316。在图3A和图3B中，所述装置300的各相似或相同的部件均可以提供相似或相同的功能，在此不再赘述。

播放器316可以为一种能够播放一种或多种多媒体格式的播放器。例如，播放器316可以为一种能够播放一种或多种音视频格式的播放器，诸如mp4播放器、MPEG4播放器、mkv播放器或avi播放器等。播放器316可以由图1A或1B所示的客户端101中的处理器102运行存储器104中存储的程序指令来实现，并且可以执行根据本公开实施例的播放多媒体文件的功能。在一些实施例中，互动模块308(包括对象解释模块310、输入检测模块312和操作执行模块314)可以是安装在播放器316中的插件。

图4A为本公开实施例提供的一种用于实现与多媒体文件内容互动的方法和装置的系统100的示意性框图之三。

如图4A所示，系统100包括服务器450和客户端101，其中，服务器450与客户端101通过网络460相互连接。图4A中的客户端101的各部件与图1A中的客户端101的各部件相似，并提供相似的功能，在此不再赘述。网络460可以是无线或有线网络，可以是局域网或广域网(例如互联网Internet)。

服务器450包括处理器452、存储器454以及其他部件(例如，输入和输出设备)。处理器452与处理器102相似，存储器454与存储器104相似，在此不再赘述。

在一些实施例中，图3A和3B中的对象分析模块302可以由图4A或4B所示的服务器450中的处理器452运行存储器454中存储的程序指令来实现，并且可以执行根据本公开实施例的分析多媒体文件中的对象的方法200中的步骤S202、S204、S206和S208，以及其他未在图2A中示出的步骤。例如，识别和标记模块304可以由图4A或4B所示的服务器450中的处理器452运行存储器454中存储的程序指令来实现，并且可以执行根据本公开实施例的分析多媒体文件中的对象的方法200中的步骤S202和S204。例如，文件生成模块306可以由图4A或4B所示的服务器450中的处理器452运行存储器454中存储的程序指令来实现，并且可以执行根据本公开实施例的分析多媒体文件中的对象的方法200中的步骤S206和S208。在一些实施例中，识别和标记模块304或文件生成模块306可以通过网络160，将所述对象标记文件传送到客户端101。

在一些实施例中，互动模块308可以由图4A或4B所示的服务器450中的处理器452运行存储器454中存储的程序指令来实现，并且可以执行根据本公开实施例的实现与多媒体文件内容互动的方法250中的步骤S252、S254、S256、S258以及S260，以及其他未在图2B中示出的步骤。例如，对象解释模块310可以由图4A或4B所示的服务器450中的处理器452运行存储器454中存储的程序指令来实现，并且可以执行根据本公开实施例的实现多媒体内容互动的方法250中的步骤S252、S254和S256。例如，输入检测模块312可以由图4A或4B所示的服务器450中的处理器452运行存储器454中存储的程序指令来实现，并且可以执行根据本公开实施例的实现多媒体内容互动的方法250中的步骤S258。例如，操作执行模块314可以由图4A或4B所示的服务器450中的处理器452运行存储器454中存储的程序指令来实现，并且可以执行根据本公开实施例的实现多媒体内容互动的方法250中的步骤S260。

替代地，互动模块308可以由图4A或4B所示的客户端101中的处理器102运行存储器104中存储的程序指令来实现，并且可以执行根据本公开实施例的实现与多媒体文件内容互动的方法250中的步骤S252、S254、S256、S258以及S260，以及其他未在图2B中示出的步骤。例如，对象解释模块310可以由图4A或4B所示的客户端101中的处理器102运行存储器104中存储的程序指令来实现，并且可以执行根据本公开实施例的实现多媒体内容互动的方法250中的步骤S252、S254和S256。例如，对象解释模块310可以通过网络160，从服务器450中获取所述多媒体文件的对象标记文件。又例如，输入检测模块312可以由图4A或4B所示的客户端101中的处理器102运行存储器104中存储的程序指令来实现，并且可以执行根据本公开实施例的实现多媒体内容互动的方法250中的步骤S258。又例如，操作执行模块314可以由图4A或4B所示的客户端101中的处理器102运行存储器104中存储的程序指令来实现，并且可以执行根据本公开实施例的实现多媒体内容互动的方法250中的步骤S260。

图4B为本公开实施例提供的一种用于实现与多媒体文件内容互动的方法和装置的系统100的示意性框图之四。图4A和图4B的不同点之一在于，在图4A中播放器108可以为客户端101内部的一个部件，而在图4B中播放器108为独立于客户端101的一个部件。在图4A和图4B中，客户端101和服务器450的各相似或相同的部件均提供相似或相同的功能，在此不再赘述。

此外，根据本公开实施例，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本公开实施例的实现与多媒体文件内容互动的方法和/或其他方法的相应步骤，并且用于实现根据本公开实施例的实现与多媒体文件内容互动的装置中的相应模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本公开的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本公开的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本公开的范围之内。

Claims (12)

1.一种实现与多媒体文件内容互动的方法，包括：

检测播放器正在播放多媒体文件；

获取所述多媒体文件的对象标记文件，所述对象标记文件标注对象在所述多媒体文件中的对象信息；

结合所述对象标记文件来解释正在播放的所述多媒体文件的所述对象信息；

检测来自用户的互动输入，所述互动输入与所述对象相关；以及

基于来自所述用户的互动输入，执行与所述对象相关联的操作。

2.如权利要求1所述的方法，其中，所述操作包括以下至少一个：

基于来自所述用户的互动输入，为所述用户个性化所述多媒体文件，使得所述播放器播放被个性化的所述多媒体文件；

在所述多媒体文件中实时编辑所述对象；

改变在所述多媒体文件中预先设定的、与所述对象相关的互动方式；

在浏览器中打开与所述对象相关的网页，其中，所述对象标记文件包括所述网页的链接；

打开新窗口来显示关于所述对象的描述和图片；和

打开对话框来促进与所述多媒体文件的互动。

3.如权利要求2所述的方法，其中，为所述用户个性化所述多媒体文件包括：

基于所述对象过滤所述多媒体文件的帧画面，使得所述播放器只播放包括所述对象的帧画面。

4.如权利要求1-3的任一项所述的方法，在播放所述多媒体文件之前还包括：

接收所述多媒体文件；

识别和标记所述对象在所述多媒体文件中的所述对象信息；以及

根据所述对象信息，生成所述对象标记文件，其中，所述对象标记文件将所述对象与所述操作相关联。

5.如权利要求1-3的任一项所述的方法，其中，所述对象信息包括所述对象在所述多媒体文件的每个帧画面中的位置信息、形状信息、大小信息和内容信息中的至少一项。

6.如权利要求1-3的任一项所述的方法，其中，所述对象标记文件为可扩展标记语言格式或另一种标记语言格式，所述对象信息以二进制格式保存在所述对象标记文件中。

7.一种实现与多媒体文件内容互动的装置，包括：

对象解释模块，用于检测播放器正在播放多媒体文件，获取所述多媒体文件的对象标记文件，以及结合所述对象标记文件来解释正在播放的所述多媒体文件的对象信息，其中，所述对象标记文件标注对象在所述多媒体文件中的所述对象信息；

输入检测模块，用于检测来自用户的互动输入，所述互动输入与所述对象相关；以及

操作执行模块，用于基于来自所述用户的互动输入，执行与所述对象相关联的操作。

8.如权利要求7所述的装置，其中，所述操作执行模块执行以下至少一个操作：

基于来自所述用户的互动输入，为所述用户个性化所述多媒体文件，使得所述播放器播放被个性化的所述多媒体文件；

在所述多媒体文件中实时编辑所述对象；

改变在所述多媒体文件中预先设定的、与所述对象相关的互动方式；

在浏览器中打开与所述对象相关的网页，其中，所述对象标记文件包括所述网页的链接；

打开新窗口来显示关于所述对象的描述和图片；和

打开对话框来促进与所述多媒体文件的互动。

9.如权利要求8所述的装置，其中，所述操作执行模块为所述用户个性化所述多媒体文件的操作包括：

基于所述对象过滤所述多媒体文件的帧画面，使得所述播放器只播放包括所述对象的帧画面。

10.如权利要求7-9的任一项所述的装置，还包括：

识别和标记模块，用于在播放所述多媒体文件之前，接收所述多媒体文件，以及识别和标记所述对象在所述多媒体文件中的所述对象信息；以及

文件生成模块，用于根据所述对象信息，生成所述对象标记文件，其中，所述对象标记文件将所述对象与所述操作相关联。

11.如权利要求7-9的任一项所述的装置，其中，所述对象信息包括所述对象在所述多媒体文件的每个帧画面中的位置信息、形状信息、大小信息和内容信息中的至少一项。

12.如权利要求7-9的任一项所述的装置，其中，所述对象标记文件为可扩展标记语言格式或另一种标记语言格式，所述对象信息以二进制格式保存在所述对象标记文件中。