CN1430159A - 多媒体数据搜索和浏览系统 - Google Patents
多媒体数据搜索和浏览系统 Download PDFInfo
- Publication number
- CN1430159A CN1430159A CN02154818A CN02154818A CN1430159A CN 1430159 A CN1430159 A CN 1430159A CN 02154818 A CN02154818 A CN 02154818A CN 02154818 A CN02154818 A CN 02154818A CN 1430159 A CN1430159 A CN 1430159A
- Authority
- CN
- China
- Prior art keywords
- description scheme
- data
- multimedia
- medium data
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
Abstract
提供了一种自动生成多媒体数据描述方案(DS)的系统,以及一种基于该多媒体数据描述方案(DS)对多媒体数据进行搜索和浏览的系统,该生成系统提供信息以描述多媒体数据,该浏览系统允许用户基于该多媒体数据描述方案(DS)而搜索和浏览所需数据,该浏览系统包括DDL分析装置、二进制格式解码装置、数据存储装置、浏览器接口装置等等。
Description
技术领域
本发明涉及一种生成信息以描述多媒体数据的设备,以及一种基于多媒体数据描述方案进行多媒体数据搜索和浏览的设备。
背景技术
随着大众传媒技术的发展及其内容的简易构成,日常生活中接触的媒体数量在急剧增长。由于多媒体内容数量巨大,对一种可以分类并提供用户所需数据的自动系统的需要日益迫切,因此,也正在积极研究以满足这个需求。
特别的,根据多媒体数字技术的发展,视频内容以数字形式存储和传播,一旦数字广播得以普及,媒体的数字化将加速。
在数字视频内容中,一个用户也许只想观看普通新闻节目中的体育新闻,或者另一个用户只想观看与股票相关的新闻。或者,第三个用户只想观看电视节目中他或她所喜欢的人出现的那一幕场景(scene)。因此,正在进行各种工作以满足上述各种需求。
此外,也许会有这样一个用户,他希望在有限的时间内快速地掌握整个视频内容。这称为“提要(highlight)”,这也会具有上述的需求。通常,提要可以理解为重新构建的内容,通过收集和重组视频内容中的所有重要场景而构成,可以包括“体育提要”,“电影预览”,“头条新闻”等等。然而,就自动化而论,即使由当今的技术也很难从视频内容中自动地提取提要。因此,大部分人通常都依赖于人工操作。然而,由于媒体的急剧增长,使得以人工操作的方式为所有的视频内容提供提要变得更困难,甚至是不可能的,因为这需要很多人力资源。因此,有这样一种需求,希望开发一种自动系统,它可以使用户在很短的时间里简要地掌握全部内容。
随着数字技术的发展,利用关键帧作为工具使用户可以移动到视频内容中他们所希望的位置。利用关键帧而采用视频摘要(summary)后,用户可以更快地移动到他们想要的位置。
最近,正在研究视频索引技术作为在数字视频中查找预期场景的工具。为了在视频中查找包含特定人物的唯一场景并识别视频中的人物,正在进行一项研究,为人物的进入信息建立索引,或者提取并索引电影或体育比赛等等中的重要场景。
如上所述,随着数字视频技术和图像/视频识别技术的发展,用户可以仅搜索/过滤和浏览视频中所希望的部分。
非线性视频浏览和搜索的最关键技术是镜头(shot)分割和镜头组合,这两项技术也是视频分析的关键。
所谓“镜头”是由摄像机不间断地获得的一系列视频场景,是分析或构建视频的最基本单元。
通常,一个视频是由许多镜头连接构成的。镜头分割技术是把视频分成独立的镜头。图1是镜头分割的过程示意图。在大多数的镜头分割算法中,通常在一个镜头中图像、运动和音频都会很接近;相反的,两个镜头之间图像、运动和音频就没有相似性。
通常,视频提要是从视频流的内容中选择重要部分并且连续地重放这些部分的方法。
另外,视频具有场景作为意义上的组成部分,那就是,场景是在意义上根据故事情节的发展或者视频的结构而划分视频的组成部分。通常,在一个场景中有多个镜头。镜头和场景的概念也可以同样地应用于音频节目。
多媒体内容索引技术的一个目标就是使用户可以很容易地搜索和浏览希望看到的部分,它通过如下方式操作:提取一段内容中的镜头/场景单元的结构信息,选取诸如关键帧这样重要并有特征的成分来描述每一个结构单元中的片段,为多媒体内容的结构信息建立索引,通过在时间轴上描述事件的发生、音频视频对象的进入、对象和背景(地点等)的状态信息等等来建立索引。
另一方面,为了提供有效的视频搜索和浏览,对于提取主要文字部分或者新闻图标或者人面部区域等等以描述视频流中的关键信息已经有了深入的研究,同时也介绍了操作这些关键部分和提取新关键帧的方法。
在被操作的关键帧里,代表一个片段,诸如一个场景或者镜头等等的关键部分或关键帧被提取出来,使用所提取的关键部分或关键帧,可以制作成一个图像。提供所操作的图像以表示相应片段的内容。利用所操作的关键帧,大量的信息可以被集中地压缩到一个很小的显示区域中,这样用户就可以更快更容易地领悟和理解一个特定部分的内容,也可以单独观看他或她所选择的部分。
如上所述,为了实现有效的搜索和浏览,多媒体数据描述方案(DS)是在多媒体数据的内容、关键帧、或文本等的基础上进行描述的。描述方案(DS)包括描述多媒体数据内容的信息,描述多媒体数据结构的信息,等等。如果多媒体数据是连续的图像数据,并提供了基于关键帧的摘要(提要)功能,则用于表示特定部分的关键帧和要通过关键帧搜索和显示的部分的信息会被描述为描述方案(DS)。
因此,需要一种生成描述方案(DS)以描述多媒体数据的系统,以提供更简单更有效的多媒体数据搜索和浏览,以及一种基于所生成的描述方案浏览多媒体数据的系统。
发明内容
因此,本发明的目标在于一种自动生成多媒体数据描述方案(DS)的系统,以及一种在多媒体数据描述方案(DS)的基础上搜索和浏览多媒体数据的系统,它们可以充分地消除由于现有技术的局限或缺点导致的一个或更多问题。
本发明的其它优点、目的和特征有一部分将在以下的说明书中进行阐述,有一部分则对于本领域技术人员经过对以下内容的检验后会变得明了,或通过本发明的实践而体验到。由说明书、权利要求书和附图所具体指出的结构,可以实现和获得本发明的目标和其它优点。
为了实现这些目的和其他优点,根据本发明的目的,正如在这里作为实施例并加以广泛描述的,多媒体数据描述方案的自动生成设备可以包括:用于生成多媒体数据描述方案的用户接口装置;用于实现用户接口装置和该设备之间的数据接口的数据接口装置;用于为通过用户接口装置选择的预定多媒体数据生成DDL型描述方案的DDL转换和生成装置;用于为通过用户接口装置选择的预定多媒体数据生成二进制格式(BiM)描述方案的二进制格式转换和生成装置;用于分析DDL型描述方案并且提供给数据接口装置的DDL分析装置;用于对二进制格式的描述方案进行解码并且提供给数据接口装置的二进制格式解码装置。
在本发明的另一个方面,多媒体数据搜索和浏览设备可以包括:DDL分析装置,用于对描述为DDL型描述方案的DDL型多媒体数据浏览描述方案进行分析;二进制格式解码装置,用于对描述为二进制格式描述方案的二进制格式多媒体数据浏览描述方案进行解码;数据存储装置,用于根据所分析的DDL型描述方案或经过解码的二进制格式描述方案而浏览多媒体数据;以及浏览器接口装置,用于根据存储在数据存储装置中的多媒体数据描述方案输出用户要求,以及据此的搜索结果。
在本发明的另一个方面,多媒体数据搜索和浏览设备可以进一步包括:转换装置,用于把存储于数据存储装置中的描述方案转换为数据库;描述方案数据库,作为数据库存储所转换的描述方案;以及查询接口装置,用于根据通过浏览器接口装置而来的用户查询从数据库中浏览适合于该用户查询的多媒体数据。
需要理解的是,前面的概述和后面的详述都仅仅是示例性的和解释性的,是为了对权利要求书所限定的本发明提供进一步的解释。
附图说明
附图帮助更好地理解本发明,并在此结合构成本申请的一部分,附图说明本发明的实施例并和说明书一起解释本发明的原理。图中:
图1显示了镜头分割的过程;
图2显示了本发明的多媒体数据搜索系统的结构;
图3显示了本发明的多媒体数据描述方案生成系统的用户接口的一个例子;
图4显示了基于本发明的多媒体数据描述方案的浏览系统的用户接口的一个例子。
优选实施例说明
以下参照附图对本发明的优选实施例进行详细说明。附图中在所有可能的地方对相同或相似的部件使用相同的标号。
图2是根据本发明一个优选实施例的与描述方案生成系统和浏览系统连同在一起的多媒体数据搜索系统的方框图。根据图2,描述方案生成系统1包括:用于生成描述方案的用户接口2;DOM存储器3;DDL记录器4;BiM编码器5;DDL分析器6;以及BiM解码器7。图2中的浏览系统8包括:DDL分析器9;BiM解码器10;DOM存储器11;浏览器用户接口12;描述方案转换器13;描述方案数据库14;以及查询接口15。
如图2所示的本发明的描述方案生成系统和基于描述方案的浏览系统的一个实施例提供了运动图像内容的分级视频摘要功能,说明了生成用于浏览的描述方案的方法,并基于关键帧或文本对其进行浏览。现在说明用于分级视频摘要功能的描述方案生成方法以及浏览方法。当然,本发明的描述方案生成系统和浏览系统并不限于分级视频摘要技术,通过扩展和应用本发明的系统,可以应用于多媒体内容描述方案生成和浏览系统,以满足MPEG-7。
用户接口2是描述方案生成系统1和用户之间的接口(DG UI:描述生成用户接口),图3显示了一个接口的例子。DOM存储器3是“文档对象模型存储器”,它提供接口环境以暂时存储用户接口2和系统之间的数据。DDL记录器(描述定义语言记录器)4连接于DOM存储器3,把多媒体数据描述方案转换成DDL类型,并生成文本DDL描述文件16。BiM编码器(二进制格式MPEG-7编码器)5连接于DOM存储器3,把多媒体数据描述方案转换成二进制格式,并生成BiM文件(二进制描述文件)17。
图3显示了用于生成描述方案的用户接口2的一个例子。用户接口2包括显示多媒体数据的显示窗口21,控制多媒体数据显示的键22,输入和选择片段信息的片段信息输入部分23,显示多媒体数据的片段摘要信息的片段摘要浏览器24,多媒体数据描述方案显示部分25,选择关键字的关键字处理部分26,等等。像文件、关键字、类别等的菜单是通过下拉方式操作的,它们中的每一个都可以有子菜单。
利用图2中的多媒体数据描述方案生成系统和图3中的接口,多媒体数据(一段内容)的生成、编辑和存储可以按如下完成:
文件打开:提供了多媒体数据或描述方案的文件打开。当多媒体数据被选择时,将生成一个新的描述方案文件;当具有文本DDL文件16和MPEG-7 BiM格式的BiM文件17被选择时,可以检查描述方案。DDL分析器6分析DDL文件16,DOM存储器3作为接口打开DDL文件16,BiM解码器7对BiM文件17进行解码,DOM存储器3作为接口打开BiM文件17。或者,在一些情况下,BiM文件17可以在BiM解码器7中进行解码,在DDL分析器6中转换成DDL类型后再打开。当所选择的多媒体内容是A/V时,显示窗口21显示所选多媒体内容的视频方案。显示控制键22输入用户指令,诸如多媒体数据的重放、快进、快退、暂停、开始和停止等等。
文件保存:保存当前编辑的描述方案。也就是,如果在用户接口2中选择了“文件保存”,则使用DOM存储器3作为数据接口,以同打开内容相同的名字和格式保存描述方案。
文件另存:把当前编辑的描述方案另存为用户所希望的DDL或二进制格式。也就是,如果在用户接口2中执行了“文件另存”,则使用DOM存储器3作为数据接口,由DDL记录器4把描述方案另存为MPEG-7文本DDL文件16的形式,或者另存为MPEG-7 BiM文件17的形式。对于用户选择的多媒体内容,那意味着DDL记录器4把描述方案转换为DDL类型,然后生成/输出文本DDL文件16;或者BiM编码器5把描述方案转换为二进制格式,然后生成/输出二进制格式文件17。在一些情况下,BiM编码器5可以将DDL记录器4生成的DDL数据转换/生成为BiM格式。
关键字类别选择:选择关键字类别。关键字处理部分26选择多媒体内容的关键字类别,也就是,举个例子,如果“棒球”被选作关键字类别,那么将显示多媒体内容的关键字集,用户可以选择/输入正在编辑的片段的关键字。
生成提要片段和添加描述方案:生成新的提要片段并添加到描述方案中。首先,利用用户接口上的开始按钮22a和结束按钮22b,输入片段起始位置和片段结束位置。点击开始按钮22a,把显示窗口21中当前播放的部分的位置值输入到片段信息输入部分23的片段起始位置;点击结束按钮,把显示窗口21中当前播放的部分的位置值输入到片段信息输入部分23的片段结束位置。
另外,多媒体内容的标题也可以输入到片段信息输入部分23中,如同输入关键字的方法一样,有几种方法,即,从上述关键字集中选择/输入的方法,用户直接输入的方法,在用户关键字历史纪录中输入的方法。这里,关键字历史纪录是当前编辑的描述方案中所包含的关键字,所选择的关键字被加入到用户关键字历史记录中。这时,利用片段信息输入部分23的选择重要性单元,片段的重要程度可以有三种不同级别的选择,即,非常重要,比较重要,重要。通过点击下属的按钮,把被编辑的片段添加到描述信息中。通过DDL记录器4把上述片段描述方案输入生成为DDL文件16,或者通过BiM编码器5生成为BiM文件17。
提要信息中提要片段的内容改变:如果选择了片段摘要浏览器24(在附图中表示为长条)中的片段,那么这个片段的各种信息都会在片段信息输入部分23上显示,需要修改的信息内容将以同上述第5个过程同样的方式进行处理,即生成提要片段和添加描述方案的方法。
删除提要片段:提要片段可以从描述方案中删除。从描述方案中删除提要片段的方法是这样完成的:选择片段浏览器24中的一个片段,点击删除按钮而删除片段信息输入部分23上显示的信息。
描述方案的表达:在描述方案显示部分25中显示的信息包括属于描述方案中不同级别的片段的时间信息。“紧凑”表示级别为0的所有片段的总时间,“中等”表示级别为0和1的所有片段的总时间,而“全部”表示级别为0、1、2的所有片段的总时间。“红条”表示级别为0的所有片段的总时间,“蓝条”表示级别为1的所有片段的总时间,而“黑条”表示级别为2的所有片段的总时间。
片段摘要浏览器:片段摘要浏览器24视觉地显示描述方案中包含的每一个片段的级别和位置。横轴是时间轴,被指定为条形的是片段,根据不同的颜色(在附图中,通过明暗度的不同而区分)指定它们的各个级别。当选择了一个相应片段时,可以进行上述的片段信息编辑、删除等等。
如上所述,多媒体数据描述方案生成系统1可以利用图3所示的用户接口2实现多媒体数据的选择,所选多媒体数据的片段信息输入,以及关键字的选择、输入、编辑、存储等等,DDL记录器4或者BiM编码器5自动生成和输出MPEG-7文本DDL文件16或者BiM文件17。
以下说明浏览系统8。
图2中的浏览系统8的DDL分析器9分析输入的DDL文件16,并存储于DOM存储器11中。BiM解码器10对输入的BiM文件17进行解码,并存储于DOM存储器11中。在一些情况下,DDL分析器6把通过BiM解码器7解码过的BiM文件17转换成DDL类型数据,并存储于DOM存储器11中。在DOM存储器11中存储的DDL文件或者解码过的BiM文件通过浏览器用户接口12进行浏览。同时,存储于DOM存储器11中的DDL文件或者解码过的BiM文件由描述方案转换器13进行转换,并构建为描述方案数据库14。描述方案数据库14和浏览器用户接口12之间的查询接口15完成查询信息处理并提供搜索结果。
图4显示了浏览器用户接口12的一个例子。其中显示了主菜单12a,用以选择多媒体资源和浏览方法等等;标题播放器12b,用于显示多媒体数据;搜索目录12c,用于搜索多媒体数据;导航浏览器12d,用于多媒体导航,等等。浏览器用户接口12的显示结构或其浏览方法可以具有各种变化,而不仅仅限于图4中的例子。
各种菜单显示或菜单条等等可以通过下拉方式操作,每一个都可以具有下一级子菜单。
通过图2的基于描述方案的浏览系统和图4的接口,基于多媒体数据(一段内容)描述方案的浏览方法包括如下步骤:选择多媒体资源;选择所选多媒体资源的浏览方法;相应于所选多媒体资源和浏览方法的信息提供接口;基于浏览接口为所选多媒体资源提供浏览结果。
基于图4的浏览接口,浏览多媒体资源可以按如下处理。
首先,打开文件以选择多媒体资源。这是通过打开多媒体资源描述方案(文本描述或者BiM)实现的。随着文件的打开,显示包含于描述方案中的片段的时间信息,所显示的时间信息是以时:分:秒为单位指定的。作为时间信息的一个例子,“紧凑”表示级别为0的所有片段的总时间,“中等”表示级别为0和1的所有片段的总时间,“详细”表示级别为0至2的所有片段的总时间。
如上所述,利用如上打开的描述方案,可以进行一段内容的多级提要浏览,“紧凑”是默认的。至于使用多级提要浏览的方法,如果选择了所显示的时间信息项中的某一个,则运行基于对应于所选择项的片段的标题播放器12b,所有的相关片段都被重放。相应片段的标题在标题播放器12b的右侧显示。
也就是说,如果用户选择了“紧凑”,则所有级别为0的片段将同标题一起在标题播放器12b中显示;如果用户选择了“中等”,则所有级别为0和1的片段将同标题一起在标题播放器12b中显示;如果用户选择了“详细”,则所有级别为0至2的片段将同标题一起在标题播放器12b中显示。
同时,除了上述根据多媒体资源和浏览的选择而重放和显示相应片段的浏览方法外,还可以有利用搜索目录12c的浏览方法。这是通过搜索与基于关键字或标题,或者用户直接输入的文本的查询相匹配的内容(提要片段)而进行的。
即,当执行内容搜索时,会显示相应的搜索目录12c,从关键字/标题列表中选择关键字或者标题,或者由用户以文本直接输入搜索字。
搜索字允许多个搜索字或逻辑和(OR)条件的选择,当搜索对象是数据库14,而且没有打开的描述方案文件时,不提供使用关键字/标题的搜索字选择,而是提供由用户单独输入文本的搜索。
作为上述搜索的结果,导航浏览器12d被驱动,具有与上述输入的搜索字相匹配的关键字或标题的片段的关键帧显示在导航浏览器12d中。导航浏览器12d一次可以同时显示12个关键帧,即横轴上4个,纵轴上3个。如果用户选择了关键帧中的一个,则具有上述关键帧的片段部分将由标题浏览器12b重放显示。
其间,当没有输入搜索字而执行导航浏览器时,包含于当前打开的描述方案中的所有片段(级别0到2)的关键帧都会在导航浏览器12d中显示,对应于具有所选关键帧的部分的片段将由标题浏览器12b重放显示。
上述的浏览方法可以概括如下。
首先,在当前打开的描述方案中执行搜索,这分为两种情况,一种情况是使用描述方案中的关键字/标题进行搜索和浏览,另一种是利用用户定义的关键字进行搜索和浏览。
第二,在数据库14中进行与一个查询相匹配的片段的搜索和浏览,这分为两种情况,一种是通过选择描述方案中存在的关键字或标题而进行搜索和浏览,而另一种是使用用户输入的文本在数据库14中搜索和浏览。
如上所述,在搜索目录项目12c中提供关键字或标题列表是为了显示包含于当前打开的描述方案中的全部关键字和标题的列表,在这显示的所有关键字和标题将被用于搜索和浏览上述资源。
本发明提供了一种生成多媒体数据描述方案的系统,由此带来了自动生成适合于MPEG-7标准的元数据的效果,因为在生成多媒体数据描述方案时它生成DDL或BiM文件形式的描述方案。
另外,根据本发明,在上述多媒体数据描述方案的基础上提供了一种多媒体数据搜索和浏览系统,因为该多媒体数据搜索和浏览可以在DDL或BiM文件形式的描述方案的基础上执行,所以本发明也提供了一种方便有效的基于适合于MPEG-7的元数据的多媒体数据资源搜索和浏览环境。
对于本领域的技术人员,很显然本发明可以有多种改进和变化。因此,本发明涵盖所有的改进和变化,只要这些改进和变化落在所附权利要求及其等同物的范围之内。
Claims (17)
1.一种多媒体数据描述方案自动生成设备,包括:
用户接口装置,用于生成多媒体数据描述方案;
数据接口装置,用于实现用户接口装置和该设备之间的数据接口;
DDL转换和生成装置,用于为通过用户接口装置选择的预定多媒体数据生成DDL类型的描述方案;
二进制格式转换和生成装置,用于为通过用户接口装置选择的预定多媒体数据生成二进制格式(BiM)的描述方案;
DDL分析装置,用于分析DDL类型的描述方案并提供给数据接口装置;以及
二进制格式解码装置,用于对二进制格式的描述方案进行解码并提供给数据接口装置。
2.根据权利要求1所述的自动生成设备,其中的多媒体数据描述方案描述了多媒体数据的分级摘要信息。
3.根据权利要求1所述的自动生成设备,其中的多媒体数据描述方案是基于附加描述的描述方案,所述附加描述包括多媒体数据的预定场景或部分的标题/关键字。
4.根据权利要求1所述的自动生成设备,其中用户接口装置提供了多媒体资源的显示;多媒体资源的时间和关键字信息的选择或输入;提供片段信息、片段的级别和位置信息,和用于描述上述多媒体数据信息的信息;并基于所有这些信息生成描述方案,以自动生成多媒体数据描述方案。
5.根据权利要求1所述的自动生成设备,其中用户接口装置为多媒体资源生成DDL类型或者BiM类型的描述方案,或者同时为多媒体资源生成BiM类型和DDL类型的描述方案,以自动生成多媒体数据描述方案。
6.根据权利要求1所述的自动生成设备,其中多媒体数据的提要片段和描述方案是由用户接口装置生成的。
7.根据权利要求1所述的自动生成设备,其中多媒体数据描述方案由用户接口装置进行修改和删除。
8.一种多媒体数据搜索和浏览设备,包括:
DDL分析装置,用于对描述为DDL类型描述方案的DDL型多媒体数据浏览描述方案进行分析;
二进制格式解码装置,用于对描述为二进制格式描述方案的二进制格式多媒体数据浏览描述方案进行解码;
数据存储装置,用于根据分析过的DDL类型描述方案或者经过解码的二进制格式描述方案浏览多媒体数据;
浏览器接口装置,用于根据存储于数据存储装置中的多媒体描述方案输出用户请求,以及据此的搜索结果。
9.根据权利要求8所述的多媒体数据搜索和浏览设备,其中用于搜索和浏览的接口装置包括选择多媒体资源的装置;为选定的多媒体资源选择浏览方法或方式的装置;以及根据选择的多媒体资源和浏览方法或方式搜索并显示多媒体的装置。
10.根据权利要求9所述的多媒体数据搜索和浏览设备,其中,接口装置在所选多媒体数据的描述方案的基础上显示关键帧以代表多媒体数据的特定部分,并重放和显示关键帧所代表的部分。
11.根据权利要求9所述的多媒体数据搜索和浏览设备,其中,接口装置对浏览方法或方式的选择,以及据此的搜索和浏览是通过在关键字或标题列表中的选择,或者通过搜索并显示用户输入的关键字的片段而执行的。
12.根据权利要求9所述的多媒体数据搜索和浏览设备,其中,当多媒体数据描述方案提供了分级摘要时,接口装置执行基于该分级摘要的片段搜索和显示。
13.根据权利要求8所述的多媒体数据搜索和浏览设备,进一步包含:转换装置,用于把存储于数据存储装置中的描述方案转换为数据库;描述方案数据库,作为数据库存储转换后的描述方案;查询接口装置,通过浏览器接口装置,根据用户查询来从数据库中浏览适合于该用户查询的多媒体数据。
14.根据权利要求13所述的多媒体数据搜索和浏览设备,其中,所述用于搜索和浏览的接口装置包括:用于选择多媒体资源的装置;用于选择所选多媒体资源的浏览方法或方式的装置;以及根据选定的多媒体资源和浏览方法或方式搜索并显示多媒体的装置。
15.根据权利要求13所述多媒体数据搜索和浏览设备,其中,接口装置在所选多媒体数据的描述方案的基础上显示关键帧以代表多媒体数据的提要片段,并重放和显示关键帧所代表的部分。
16.根据权利要求13所述的多媒体数据搜索和浏览设备,其中接口装置进行的搜索和浏览方法或方式选择,以及据此进行的搜索和浏览是通过在关键字或标题列表中选择,或者通过搜索并显示用户输入的关键字的片段而进行的。
17.根据权利要求13所述的多媒体数据搜索和浏览设备,其中,当多媒体数据描述方案提供了分级摘要时,接口装置执行基于该分级摘要的片段搜索和显示。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2001-0088258A KR100493674B1 (ko) | 2001-12-29 | 2001-12-29 | 멀티미디어 데이터 검색 및 브라우징 시스템 |
KR88258/2001 | 2001-12-29 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1430159A true CN1430159A (zh) | 2003-07-16 |
CN100430921C CN100430921C (zh) | 2008-11-05 |
Family
ID=19717925
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB021548188A Expired - Fee Related CN100430921C (zh) | 2001-12-29 | 2002-11-28 | 多媒体数据搜索和浏览系统 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20030126603A1 (zh) |
EP (1) | EP1324222A3 (zh) |
KR (1) | KR100493674B1 (zh) |
CN (1) | CN100430921C (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101061715B (zh) * | 2004-11-19 | 2011-04-13 | 松下电器产业株式会社 | 视频服务器以及使用了该视频服务器的影像分配系统 |
CN101401060B (zh) * | 2006-03-09 | 2012-09-05 | 汤姆森特许公司 | 内容访问树 |
CN103905694A (zh) * | 2014-04-10 | 2014-07-02 | 中央电视台 | 一种关键帧处理方法及系统 |
CN105653530A (zh) * | 2014-11-12 | 2016-06-08 | 上海交通大学 | 一种高效可伸缩的多媒体传送、存储和呈现方法 |
WO2016192501A1 (zh) * | 2015-05-29 | 2016-12-08 | 中兴通讯股份有限公司 | 视频查找方法及装置 |
CN108335094A (zh) * | 2018-02-01 | 2018-07-27 | 优酷网络技术(北京)有限公司 | 多媒体资源购买方法及装置 |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100571347B1 (ko) * | 2002-10-15 | 2006-04-17 | 학교법인 한국정보통신학원 | 사용자 선호도 기반의 멀티미디어 컨텐츠 서비스 시스템과방법 및 그 기록 매체 |
US7720969B2 (en) * | 2003-07-23 | 2010-05-18 | Canon Kabushiki Kaisha | Description document for a service offered by a server in a communication network and method of validating a multimedia document |
US20050144305A1 (en) * | 2003-10-21 | 2005-06-30 | The Board Of Trustees Operating Michigan State University | Systems and methods for identifying, segmenting, collecting, annotating, and publishing multimedia materials |
US8010579B2 (en) | 2003-11-17 | 2011-08-30 | Nokia Corporation | Bookmarking and annotating in a media diary application |
US8990255B2 (en) * | 2003-11-17 | 2015-03-24 | Nokia Corporation | Time bar navigation in a media diary application |
US20050108234A1 (en) * | 2003-11-17 | 2005-05-19 | Nokia Corporation | Speed browsing of media items in a media diary application |
US20050108643A1 (en) * | 2003-11-17 | 2005-05-19 | Nokia Corporation | Topographic presentation of media files in a media diary application |
US7109848B2 (en) * | 2003-11-17 | 2006-09-19 | Nokia Corporation | Applications and methods for providing a reminder or an alert to a digital media capture device |
US20050105374A1 (en) * | 2003-11-17 | 2005-05-19 | Nokia Corporation | Media diary application for use with digital device |
US7774718B2 (en) * | 2003-12-17 | 2010-08-10 | Nokia Corporation | Time handle in a media diary application for accessing media files |
US20050187943A1 (en) * | 2004-02-09 | 2005-08-25 | Nokia Corporation | Representation of media items in a media file management application for use with a digital device |
CN100389556C (zh) * | 2004-03-05 | 2008-05-21 | 华为技术有限公司 | 一种实现对接口码流进行解析的方法 |
US20050286428A1 (en) * | 2004-06-28 | 2005-12-29 | Nokia Corporation | Timeline management of network communicated information |
KR100565080B1 (ko) | 2004-09-13 | 2006-03-30 | 삼성전자주식회사 | 대표 타이틀 정보가 부가된 메타 데이터를 포함한 av데이터를 기록한 정보저장매체, 그 재생장치 및 메타데이터 검색방법 |
KR100713501B1 (ko) * | 2004-10-05 | 2007-05-02 | 삼성전자주식회사 | 이동통신단말기상에서 디지털 동영상을 인덱싱하는 방법 |
US7698262B2 (en) | 2006-03-29 | 2010-04-13 | Electronics And Telecommunications Research Institute | Apparatus and method for searching multimedia data based on metadata |
WO2008007903A1 (en) | 2006-07-11 | 2008-01-17 | Electronics And Telecommunications Research Institute | Method and apparatus for displaying the laser contents |
KR20080018778A (ko) * | 2006-08-25 | 2008-02-28 | 삼성전자주식회사 | Av 컨텐츠를 세그먼트 단위로 실행하는 방법, 제어포인트 장치 및 홈 네트워크 시스템 |
KR100931636B1 (ko) * | 2007-12-14 | 2009-12-14 | 주식회사 씬멀티미디어 | 모바일 플랫폼에서의 BiM 복호기에 스키마 정보를입력하는 방법 |
JP2017045374A (ja) * | 2015-08-28 | 2017-03-02 | 富士ゼロックス株式会社 | 情報処理装置及びプログラム |
CN106776890B (zh) * | 2016-11-29 | 2021-06-29 | 北京小米移动软件有限公司 | 视频播放进度的调整方法及装置 |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5873080A (en) * | 1996-09-20 | 1999-02-16 | International Business Machines Corporation | Using multiple search engines to search multimedia data |
KR19980048461A (ko) * | 1996-12-17 | 1998-09-15 | 양승택 | 멀티미디어 응용 서비스 개발을 위한 mheg-5 객체 그래픽 편집기 |
US6044397A (en) * | 1997-04-07 | 2000-03-28 | At&T Corp | System and method for generation and interfacing of bitstreams representing MPEG-coded audiovisual objects |
US6463444B1 (en) * | 1997-08-14 | 2002-10-08 | Virage, Inc. | Video cataloger system with extensibility |
US6961954B1 (en) * | 1997-10-27 | 2005-11-01 | The Mitre Corporation | Automated segmentation, information extraction, summarization, and presentation of broadcast news |
CN1254136A (zh) * | 1998-11-12 | 2000-05-24 | 英业达股份有限公司 | 查询索引多媒体标题数据的方法与装置 |
US6408128B1 (en) * | 1998-11-12 | 2002-06-18 | Max Abecassis | Replaying with supplementary information a segment of a video |
US6243676B1 (en) * | 1998-12-23 | 2001-06-05 | Openwave Systems Inc. | Searching and retrieving multimedia information |
US6490370B1 (en) * | 1999-01-28 | 2002-12-03 | Koninklijke Philips Electronics N.V. | System and method for describing multimedia content |
US6236395B1 (en) * | 1999-02-01 | 2001-05-22 | Sharp Laboratories Of America, Inc. | Audiovisual information management system |
US6941325B1 (en) * | 1999-02-01 | 2005-09-06 | The Trustees Of Columbia University | Multimedia archive description scheme |
US7536705B1 (en) * | 1999-02-22 | 2009-05-19 | Tvworks, Llc | System and method for interactive distribution of selectable presentations |
KR100350792B1 (ko) * | 1999-09-22 | 2002-09-09 | 엘지전자 주식회사 | 사용자 선호도를 반영한 사용자 프로파일 생성방법과 멀티미디어 데이타 브라우징 방법 |
KR100350788B1 (ko) * | 1999-10-19 | 2002-08-28 | 엘지전자 주식회사 | 가중치 표현 데이타 구조를 포함하는 멀티미디어 내용 묘사정보와 이를 이용한 멀티미디어 디스플레이 방법 |
KR100346263B1 (ko) * | 1999-11-05 | 2002-07-26 | 엘지전자주식회사 | 멀티미디어 스트림의 브라우징, 편집, 인덱싱을 위한 다단계 위치/구간 지정 방법 |
KR100357261B1 (ko) * | 1999-12-30 | 2002-10-18 | 엘지전자 주식회사 | 멀티미디어 데이터의 의미적/구조적 정보 생성방법 및 그 정보의 기록매체와 멀티미디어 검색 및 브라우징 방법 |
KR100739031B1 (ko) * | 2000-03-27 | 2007-07-25 | 주식회사 큐론 | 멀티미디어 검색시스템에서 mpeg-7 표준 메타데이터의 은닉 및 검출 방법과 이를 이용한 멀티미디어 데이터의 검색 방법 |
EP1158420A1 (en) * | 2000-05-24 | 2001-11-28 | Robert Bosch Gmbh | Method for a description of audio-visual data content in a multimedia environment |
US8296805B2 (en) * | 2000-05-30 | 2012-10-23 | Sony Corporation | Command description scheme providing for dynamic update of instance documents and their associated schema |
US20040125124A1 (en) * | 2000-07-24 | 2004-07-01 | Hyeokman Kim | Techniques for constructing and browsing a hierarchical video structure |
WO2002008948A2 (en) * | 2000-07-24 | 2002-01-31 | Vivcom, Inc. | System and method for indexing, searching, identifying, and editing portions of electronic multimedia files |
US7200633B2 (en) * | 2000-08-25 | 2007-04-03 | Ntt Docomo, Inc. | Information delivery system and information delivery method |
US8020183B2 (en) * | 2000-09-14 | 2011-09-13 | Sharp Laboratories Of America, Inc. | Audiovisual management system |
EP1199893A1 (en) * | 2000-10-20 | 2002-04-24 | Robert Bosch Gmbh | Method for structuring a bitstream for binary multimedia descriptions and method for parsing this bitstream |
US20020120652A1 (en) * | 2000-10-20 | 2002-08-29 | Rising Hawley K. | Two-stage mapping for application specific markup and binary encoding |
EP1223759A1 (en) * | 2001-01-08 | 2002-07-17 | Robert Bosch Gmbh | Method for providing an extension code for a binary description for multimedia data |
KR20010084897A (ko) * | 2001-01-10 | 2001-09-07 | 홍기수 | 통신망을 이용한 백지복권 운영 시스템 및 그 방법 |
KR100438269B1 (ko) * | 2001-03-23 | 2004-07-02 | 엘지전자 주식회사 | 뉴스 비디오 브라우징 시스템에서 앵커 샷 자동 검출 방법 |
US7206501B2 (en) * | 2001-10-12 | 2007-04-17 | The Directv Group, Inc. | Method and apparatus for identifying MPEG picture coding types |
-
2001
- 2001-12-29 KR KR10-2001-0088258A patent/KR100493674B1/ko not_active IP Right Cessation
-
2002
- 2002-09-30 US US10/259,870 patent/US20030126603A1/en not_active Abandoned
- 2002-10-15 EP EP02023136A patent/EP1324222A3/en not_active Withdrawn
- 2002-11-28 CN CNB021548188A patent/CN100430921C/zh not_active Expired - Fee Related
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101061715B (zh) * | 2004-11-19 | 2011-04-13 | 松下电器产业株式会社 | 视频服务器以及使用了该视频服务器的影像分配系统 |
US8561115B2 (en) | 2004-11-19 | 2013-10-15 | Panasonic Corporation | Video server and video distribution system using the same |
CN101401060B (zh) * | 2006-03-09 | 2012-09-05 | 汤姆森特许公司 | 内容访问树 |
CN103905694A (zh) * | 2014-04-10 | 2014-07-02 | 中央电视台 | 一种关键帧处理方法及系统 |
CN105653530A (zh) * | 2014-11-12 | 2016-06-08 | 上海交通大学 | 一种高效可伸缩的多媒体传送、存储和呈现方法 |
WO2016192501A1 (zh) * | 2015-05-29 | 2016-12-08 | 中兴通讯股份有限公司 | 视频查找方法及装置 |
CN108335094A (zh) * | 2018-02-01 | 2018-07-27 | 优酷网络技术(北京)有限公司 | 多媒体资源购买方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN100430921C (zh) | 2008-11-05 |
KR20030059398A (ko) | 2003-07-10 |
KR100493674B1 (ko) | 2005-06-03 |
EP1324222A3 (en) | 2005-10-12 |
EP1324222A2 (en) | 2003-07-02 |
US20030126603A1 (en) | 2003-07-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100430921C (zh) | 多媒体数据搜索和浏览系统 | |
CA2482431C (en) | An apparatus to edit, reproduce, deliver, search and re-generate condition settings for metadata | |
US7131059B2 (en) | Scalably presenting a collection of media objects | |
US7421455B2 (en) | Video search and services | |
Smeaton | Techniques used and open challenges to the analysis, indexing and retrieval of digital video | |
CN1312643A (zh) | 产生合成关键帧的方法和使用该方法的视频浏览系统 | |
CN101064846A (zh) | 结合节目内容元数据和内容分析的时移电视视频匹配方法 | |
Katayama et al. | Mining large-scale broadcast video archives towards inter-video structuring | |
KR20090096158A (ko) | 동영상 스틸컷 기반의 크로스미디어 검색 시스템 및 방법 | |
Chang et al. | Development of advanced image/video servers in a video on demand testbed | |
Knauf et al. | Produce. annotate. archive. repurpose-- accelerating the composition and metadata accumulation of tv content | |
KR100493635B1 (ko) | 멀티미디어 데이터 검색 및 브라우징 시스템 | |
Smeaton | Challenges for content-based navigation of digital video in the Fischlar digital library | |
Bursuc et al. | OVIDIUS: an on-line video indexing universal system | |
Delopoulos et al. | Unified intelligent access to heterogeneous audiovisual content | |
Wakita et al. | Extended Package-Segment Model and Adaptable Applications | |
Meessen et al. | JPEG2000 Based Scalable Summary for Remote Video Content Browsing and Efficient Semantic Structure Understanding. | |
Duda et al. | Structured Video: A Data Type with Content-Based Access | |
Bursuc et al. | OVIDIUS: An on-line video retrieval platform for multi-terminal access | |
Makedon et al. | An Efficient Scheme for a Distributed Video Retrieval System for Remote Users |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20081105 Termination date: 20091228 |