CN1269344C - 以内容为基础的视频故事浏览方法 - Google Patents

以内容为基础的视频故事浏览方法 Download PDF

Info

Publication number
CN1269344C
CN1269344C CNB991095553A CN99109555A CN1269344C CN 1269344 C CN1269344 C CN 1269344C CN B991095553 A CNB991095553 A CN B991095553A CN 99109555 A CN99109555 A CN 99109555A CN 1269344 C CN1269344 C CN 1269344C
Authority
CN
China
Prior art keywords
story
fragment
video story
relation
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB991095553A
Other languages
English (en)
Other versions
CN1256580A (zh
Inventor
金贤俊
李振秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1019980053237A external-priority patent/KR100319159B1/ko
Priority claimed from KR1019980053238A external-priority patent/KR100319160B1/ko
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN1256580A publication Critical patent/CN1256580A/zh
Application granted granted Critical
Publication of CN1269344C publication Critical patent/CN1269344C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74Browsing; Visualisation therefor
    • G06F16/745Browsing; Visualisation therefor the internal structure of a single video sequence

Abstract

公开了一种以内容为基础的视频故事浏览方法,包括设置和表示故事的对象和地点之间的关系。一种以内容为基础的视频故事浏览方法包括以下步骤:选择对象和地点作为组织视频故事内容的要素并设置联系对象与相应地点的关系图;设置视频故事片段和代表性场景作为与对象和地点之间关系相应的内容发展的事件;并相应于从关系图中所选的关系,显示视频故事片段和代表性场景及其内容作为浏览信息。

Description

以内容为基础的视频故事浏览方法
技术领域
本发明涉及一种视频故事浏览方法,尤其涉及一种以内容为基础的视频故事浏览方法,该方法定义和表示视频故事中重要因素的关系。该因素包括随时间变化的对象、地点和/或事件。
背景技术
在相关技术中的视频浏览器和视频故事总结一般使用关键帧表示大量的故事内容。因此,通过提取关键帧或以字符为基础的故事浏览,总结和浏览电影或戏剧的全部内容是困难和/或复杂的。而且,一些场景所显示的内容不明确,使其很难浏览正确的信息。
尽管一场戏剧或电影的画面图象通过事件的互相连接进行,关键帧浏览或以字符为基础的浏览在不表示事件之间连接关系的情况下被简单执行。已经提出一种视频故事浏览系统,通过从动态图象中提取关键帧并用图表表示每个关键帧的时间关系,总结并浏览全部的内容。这种技术可以用于简单的视频文件,但并不适合于诸如在时间上具有无数互连场景的戏剧或电影的大型视频文件。而且,因为更大型的画面图象生成大量的关键帧,很难用图表表示关键帧。因此,对于用户很难理解图表表示的信息。
已经提出以关键帧为基础的视频故事总结和浏览的另一种技术,其中根据从其抽取关键帧的片段的长度构成层(class)。一般地,少量的关键帧从较长的片段中抽取用于较高层,更多的关键帧从较小的片段中抽取用于较低层,从而形成一个树型结构。然而这种结构不能被广泛地使用以使用代表性场景浏览整个内容,因为关键帧从很长的片段中提取用于较高层,使其很难使用该关键帧找到一个指定的部分。
还已经提出另一种以对象为基础的浏览技术,其中组织动态图象的对象并显示一个片段中每个对象的属性。然而,该技术也使其很难理解全部的内容。另外,在搜索算法中经常很难确定应当为每个对象指定哪个属性。
因此,因为诸如戏剧或电影的视频故事通过随着时间改变人物和地点而展开,将不仅不可能总结内容,而且只通过查看提取的人物或场景将很难浏览全部的内容。
发明内容
因此,本发明的一个目的是至少解决相关技术的问题和缺点。
本发明的一个目的是提供以内容为基础的视频故事浏览方法。
本发明的另一个目的是提供一种视频故事浏览方法,该方法根据对象、地点、事件和时间的关系总结视频故事的内容。
本发明的另一个目的是提供一种允许通过关系图浏览的以内容为基础的视频故事浏览方法,其中关系图反映关于电影或戏剧中主对象和地点的事件随着时间的发展。
本发明的另一个目的是提供一种允许通过电影或戏剧的片段浏览的以内容为基础的视频故事浏览方法,每个片段描述关于电影或戏剧片段中对象和地点的事件。
本发明的另一个目的是提供一种允许通过主对象和地点的关系浏览的以内容为基础的视频故事浏览方法,其中每个关系用一个帧和相应于包含该关系的故事片段的说明来表示。
本发明的另一个目的是提供一种以内容为基础的视频故事浏览方法,允许以视频故事的内容为基础浏览视频故事,该视频故事的内容用主对象、地点和事件的关系表示,其中可浏览多个对象和一个地点的关系以及一个对象和一个地点的关系。
本发明的其它的优点、目的和特点将在下述说明书中被部分阐明,并在审查下述说明书的基础上对于本领域的普通技术人员将在某种程度上变的很明显,或者通过实施本发明认识到。本发明的目的和优点可根据所附权利要求书所特别指出的方式实现。
根据本发明的第一个方面,提供了一种以内容为基础的视频故事浏览方法,包括以下步骤:一种以内容为基础的视频故事浏览方法,包括以下步骤:(a)显示以视频故事的至少一个对象和至少一个地点之间关系为基础的浏览数据;(b)接收基于所显示的浏览数据的用户选择,并显示在视频故事中相应于用户选择的片段,其中显示浏览数据的步骤包括显示用段落表示视频故事的至少一个事件的故事屏幕,而接收用户选择的步骤包括显示连接视频故事中相应于从故事屏幕中所选的事件的片段的代表性场景的转换图。
根据本发明的第二个方面,提供了一种以内容为基础的视频故事浏览方法,包括以下步骤:(a)显示以视频故事的至少一个对象和至少一个地点之间关系为基础的浏览数据;(b)接收基于所显示的浏览数据的用户选择,并显示在视频故事中相应于用户选择的片段,其中显示浏览数据的步骤包括显示用段落表示视频故事的至少一个事件的故事屏幕,而接收用户选择的步骤包括显示代表性场景和在视频故事中相应于从故事屏幕中所选的事件的片段的简要说明。
根据本发明的第三个方面,提供了一种以内容为基础的视频故事浏览方法,包括以下步骤:(a)显示以视频故事的至少一个对象和至少一个地点之间关系为基础的浏览数据;(b)接收基于所显示的浏览数据的用户选择,并显示在视频故事中相应于用户选择的片段,其中显示浏览数据的步骤包括显示用段落表示视频故事的至少一个事件的故事屏幕,而接收用户选择的步骤包括显示在视频故事中相应于从故事屏幕中所选的事件的片段的至少两个对象和至少两个地点之间关系的关系图,以及显示相应于从关系图中所选的关系的片段的至少一个代表性场景。
根据本发明的第四个方面,提供了一种以内容为基础的视频故事浏览方法,包括以下步骤:(a)显示以视频故事的至少一个对象和至少一个地点之间关系为基础的浏览数据;(b)接收基于所显示的浏览数据的用户选择,并显示在视频故事中相应于用户选择的片段,其中显示浏览数据的步骤包括显示用段落表示视频故事的至少一个事件的故事屏幕和相应于所述至少一个事件中每一个事件的代表性场景,而接收用户选择的步骤包括显示在视频故事中相应于从故事屏幕中所选的事件的片段的至少两个对象和至少两个地点之间关系的关系图,以及显示相应于从关系图中所选的关系的片段的至少一个代表性场景。
根据本发明的第五个方面,提供了一种以内容为基础的视频故事浏览方法,包括以下步骤:(a)显示以视频故事的至少一个对象和至少一个地点之间关系为基础的浏览数据;(b)接收基于所显示的浏览数据的用户选择,并显示在视频故事中相应于用户选择的片段,其中显示浏览数据的步骤包括显示用段落表示视频故事的至少一个事件的故事屏幕,而接收用户选择的步骤包括显示在视频故事中相应于从故事屏幕中所选的事件的片段的至少两个对象和至少两个地点之间关系的关系图,以及显示至少一个代表性场景和相应于从关系图中所选的关系的片段的简要说明。
附图说明
将参见附图更详细地说明本发明,其中相同的参考号表示相同的单元。图1是表示根据本发明形成用于浏览一个故事的浏览信息的步骤的流程图;
图2是根据本发明设置对象与地点关系的图形数据结构的一个例子;
图3是表示根据本发明的视频故事产品和视频故事浏览器的方框图;
图4是根据本发明具有设置对象和地点的关系的图形数据结构的用户界面的一个例子;
图5是根据本发明具有设置对象和地点的关系的图形数据结构的用户界面的另一个例子;
图6是根据本发明当几个对象和地点在设置对象和地点之间关系的图形数据结构中被选中时的用户界面的一个例子;
图7是根据本发明将整个故事中的事件表示为段落并表示关键帧及它们的时间关系的用户界面的一个例子;
图8是根据本发明将整个故事中的事件表示为段落并显示将事件表示为关键帧的场景的用户界面的一个例子;
图9是根据本发明将整个故事中的事件表示为段落并显示与该事件相关的人物和地点的关系,并显示代表性场景的用户界面的一个例子;
图10是根据本发明显示形成故事的不同事件段落的代表性场景的用户界面的一个例子;
图11表示用于实施图9和图10的浏览信息的结构;
图12和13分别是将整个故事中的事件表示为段落并显示与事件有关的多层人物和地点的用户界面的例子;
图14至16D图示根据本发明用于以内容为基础的浏览系统的数据结构的例子。
具体实施方式
现在将更加详细地参照本发明的优选实施例,其例子在附图中图示。
图1是开发在视频故事浏览器中使用的数据库的流程图。一般地,这样一个数据库通过设置诸如电影或戏剧的视频故事中的对象和地点之间的多个关系形成。如图1所示,发展故事中的事件所必需的人物和地点分别被设置为主对象和主地点(步骤101)。
也可以定义主对象和主地点的从属层。例如,如果主地点被设为“医院”,场景可以做为从属层被细分为走廊、病房、手术室、休息室和医院花园。然而,如果简单地将主地点表示为“医院”将更好表示该视频故事的整体概要,从属层可以被组合以简单地形成一个主地点,即“医院”。在设置主对象和主地点之后,主对象和主地点的关系被设置(步骤102)。例如,如果人物A,人物B和人物C被设置为主对象;并且如果医院、室内和室外被设置为主地点,对象和地点的关系可以被设置如下:人物A所出现的地点是医院和室内;人物B所出现的地点是室内和室外;而人物C所出现的地点是室外。
所设置的关系反映视频故事的片段,在该片段中对象实际出现在视频故事中。因此,使用所设置的关系定义并索引在其中对象相对于地点所出现的片段。一个片段可以表示一个在其中对象实际上出现的帧或者可以表示一个在其中对象通常出现的帧区间。例如,人物A和B可以交替出现在片段中,其中人物A和B在进行会谈。因此,人物A或B都不能在该帧区间的整个时间实际上出现。然而,该帧区间将被索引为一个片段,在其中或者人物A或者人物B出现。
此后,设置用于每个索引片段的代表性场景(步骤103)。根据在步骤102中设置的关系所定义的每个片段的帧被设置为代表性场景,该帧最好地表示了相应的片段。标记代表性场景的帧位置。在上述例子中,表示一个手术的帧可以被设置为一个片段的代表性场景,在该片段中患病的人物A进入医院,并且该帧的位置将被标记。
最后,通过给相应的片段加上适当的注释,为每个片段进行事件说明(步骤104)。根据上述例子,该手术帧被设置为人物A和医院关系的代表性场景,并以文字形式添加了总结该片段故事内容的注释。
如上所述,主对象和主地点的关系在视频故事内容的基础上建立。而且,用于视频故事浏览的对象、地点、事件和时间的基本信息通过索引相关片段,设置每个片段中的代表性场景并给每个片段增添注释来完成。在优选实施例中,所开发的信息被存储在多媒体数据流的首部。然而该信息可以被存储在其它位置。因此,视频故事浏览系统允许用户通过读取存储在多媒体数据流首部中的信息执行视频故事的以内容为基础的浏览。
图2表示使用参见附图1所描述的步骤开发的对象和地点/时间之间关系的图形数据结构。参见图2,人物A 201、人物B 202和人物C203被设置为主对象;而医院204,室内205和室外206被设置为主地点。人物A有与医院204和室外206的关系,人物B有与医院204和室内205的关系,而人物C有与室内205的关系。对象201至203与地点204至206的关系通过例如连接207的连接被用图形表示。
在其中每个人物出现的片段根据对象—地点关系被索引。如图2所示,在其中人物A出现在医院204的三个片段1至3(208、209和210)将相应于人物A和医院204之间的关系。还显示了表示三个片段中的每个片段的场景,该片段的开始和结束位置以及每个片段的事件说明。
具体地,在片段2中(209)人物A从帧16至帧21出现。因此,帧18成为作为代表性场景的关键帧211并且其位置信息Frm_K被记录。帧16是片段2(209)的开始帧212并且其位置信息Frm_S被记录,而帧21成为片段2(209)的结束帧213并且其位置信息Frm_E被记录。片段2(209)的故事内容或事件的总结被存储为文本Event(text)214。
可以为主对象201至203定义人物对象图215,其是从属于主对象的低层,并且可以为主地点204至206定义地点对象图216,其是从属于主地点的低层。即,地点对象图216可以定义病房、走廊、休息室、手术室等为医院204的低层地点,并且对象—地点关系将根据所定义的低层地点而不是医院204设置。
图2所示的图形结构只是对象—地点/事件关系的一部分。在实际的结构中,可以有任意数量的与一个对象和一个地点的关系有关的片段;可以有任意数量的与一个地点有关的对象;并且可以有任意数量的与一个对象有关的地点。为了表示没有任何对象的场景,该结构可以表示一个具有与空对象的关系的地点。还可能有多对象—地点关系以及单个的对象—地点关系。
图3图示实施参见图1和2所讨论的数据库的视频故事浏览系统的第一实施例。为了便于该系统的说明,用于视频供应者的系统和用于用户的系统被单独说明。视频供应者利用图1中的步骤开发一个如图2所示的浏览图。并且用户可以以浏览图为基础浏览一个视频故事。
具体地,数字视频数据301被临时存储在视频缓冲器302中。视频处理单元303控制存储在视频缓冲器302中的数字视频数据301作为一个多媒体视频流文件。控制处理单元304从数字视频数据301生成或读取所需的信息。用户界面和显示单元305显示由视频处理单元303和控制处理单元304处理的视频数据,并提供一个界面以接收来自用户的输入以生成浏览图。
一个浏览图,例如图2的对象—地点/事件关系图,由控制处理单元304处理并被临时存储在用于视频信息的存储器306中。然后处理过的图以适当的格式和存储在视频缓冲器302中的视频数据一起被存储在存储器307中。存储在存储器307中的视频数据和浏览图通过一种记录媒体例如有线广播或无线广播网络被提供给用户。
一个用户浏览并观看存储在存储器307中的视频数据和对象—地点/事件数据。视频缓冲器308临时读取并存储来自存储器307的视频数据。视频处理单元309和控制处理单元310处理存储在视频缓冲器308中的视频数据。具体地,用于视频信息的存储器312读取并临时存储来自存储器307的对象—地点/事件数据。控制处理单元310处理来自用于视频信息的存储器的信息。然后,处理过的视频数据和信息根据通过用户界面和显示单元311接收的浏览选择被显示。
因此,在图3的以内容为基础的视频故事浏览系统中,图1所示的过程和图2的结果数据结构由提供者通过用户界面和显示单元305完成组织。关系图和视频数据一起被存储在适当的存储器307中。然后用户可以通过用户界面和显示单元311执行视频故事浏览。
图4图示根据本发明用于视频故事浏览器用户的用户界面的一个例子。用户界面相应于图2的对象—地点/事件的关系。视频故事浏览器400显示对象—地点关系图401和说明与所选关系相应的片段的故事内容的相关内容402。所发展的对象—地点关系如下:人物A 403具有与医院406和室外408的关系;人物B 404具有与医院406和室内407的关系;而人物C 405具有与室内407的关系。
在浏览时,如果用户经用户界面和显示单元311通过选择连接409或者直接选择人物B和医院406来选择人物B和医院406之间的关系,控制处理单元310通过访问存储器312处理以显示相应于上述关系的四个片段1至4(410)和事件411。四个片段1至4(410)是从相应片段中选出的代表性场景。而且,在连接409上的注释“。。。。”表示在人物B和医院406之间关系中的四个现有片段。然而,片段的个数并不需要表示,但如果表示,任何其它的方法都可以被使用。
用户可以选择对象或地点而不是关系连接409。如果至少一个对象从关系图中选出,具有该对象的片段可以被浏览并显示而不考虑地点。同样地,如果选择某个地点,具有该地点的片段可以被浏览而不考虑对象。
图5是当通过选择相应于片段2的代表性场景而选择相应于图4中对象—地点关系(409)的片段1至4(410)中的一个片段时用户界面的一个例子。因而,如果用户选择人物B和医院406之间的关系,然后选择片段2,片段2的更加详细的说明511和代表性场景在关系内容502中显示给用户。
视频故事浏览器还显示对象—地点关系图501,该关系图具有人物503至505、地点506至508以及被选择的连接509的数据结构。用户通过图标512可以再现相应于片段2的一部分视频数据。作为响应,显示相应片段的开始帧到结束帧。
图6是当从关系图中选择多个对象和一个地点时的用户界面的一个例子。视频故事浏览器600显示对象—地点关系图601和关系内容602。关系图601包括人物603到605、地点606到608以及连接609和610的数据结构。如果选择人物A和B以及地点606,则显示代表性场景611和613和说明612和614。代表性场景611和613相应于其中人物A和人物B同时在医院606中出现的片段。
如上所述,如果选择多个对象而不选择一个地点,视频故事浏览器600显示所选对象出现的片段而不考虑地点。因而,用户可以观看每个所选对象出现的地点。类似地,如果选择一个地点而不选择一个对象,视频故事浏览器600显示所选地点所出现的片段而不考虑对象。
图7表示用段落表示一个故事的事件并通过关键帧中的图表示事件的关系,包括时间上的关系,的用户界面的一个例子。视频故事浏览器700具有一个带有事件段落701a的故事显示区701,并且当一个事件段落被选中时,片段内容屏幕702显示连接相应于所选事件的片段的场景1到4的转换图。
图8是用段落表示故事的事件和显示表示在关键帧中事件的场景的用户界面的一个例子。视频故事浏览器800包括一个带有事件段落801a的故事显示区801,并且当一个事件段落被选中时,片段内容屏幕802显示相应于所选事件的片段的场景1至7和每个场景的简要说明。
图9是用段落表示故事的事件并显示人物与地点之间的关系以及该故事相应事件的代表性场景的用户界面的一个例子。视频故事浏览器900具有一个表示事件段落901a的故事显示区901,并且当事件段落被选中时,片段内容屏幕902显示相应于所选事件的片段的人物—地点关系图的代表性场景。
人物—地点关系图屏幕903和用于某一关系的代表性场景屏幕904被显示在片段内容屏幕902中。当相应于某一事件的一个事件段落901a在故事显示区901中被选中时,出现在所选事件的片段中的人物A、B和C(905到907)与地点例如医院908、室内909和室外910的关系在人物—地点关系图屏幕903中显示。如果选择人物B与医院908之间的一个关系911,一个片段的代表性场景,其中人物B在医院908中出现,被显示在代表性场景屏幕904中。
图10是显示用于故事的各自事件段落的代表性场景的用户界面的一个例子。视频故事浏览器1000有一个故事显示区1001,当一个事件段落被选择时,表示关键帧14(或代表性场景)和相应于事件的段落。片段内容屏幕1002显示相应于所选事件的片段的人物—地点关系图的代表性场景。人物—地点关系图屏幕1003和某一关系的代表性场景屏幕1004被显示在片段内容屏幕1002中。
浏览方法和在片段内容屏幕1002中显示的结果与参见图9所描述的相同。然而,在图10中,可选择表示一个事件的代表性关键帧14而不是一个事件段落以显示相应于所选关键帧14的人物—地点关系和代表性场景。
图11是根据本发明的表示人物—地点关系图的用户界面的另一个例子。参考号1101表示事件段落1101a组成的整个故事。参考号1102表示用关键帧(或位置信息)1102a和到该故事片段的事件段落的连接1104表示的一个事件片段的场景。
参考号1103表示在相应于事件段落1101a的每个片段中人物(1103a,1103b)和地点(1103c,1103d)之间关系的图形结构。从属于人物1103a的人物图1103b被定义为人物1103a的低层关系图,并且从属于地点1103c的地点图1103d被定义为地点1103c的低层关系图。例如,“病房”、“手术室”和“医院走廊”可以从属于“医院”。
图12和13分别是用段落表示故事的事件并显示与该事件相关的多层人物和地点的用户界面的一个例子。如图12所示,视频故事浏览器1200有一个对象—地点关系显示区1201和一个表示事件段落的故事显示区1202。对象—地点关系显示区1201包括用图形表示对象和地点之间关系的屏幕1203,相应于所选的关系的代表性关键帧1204和该片段中事件的说明1205。
如图10所示的一个表示该事件的代表性场景(关键帧)可以在故事显示区1202中显示。在图12中,三个人物A、B和C被设置为对象,而医院、人物A的住房、公园被设置为地点。具体地说,人物A与“医院”和“公园”有关,人物B与“医院”有关而人物C与人物A的家有关。
当选择人物B和“医院”之间的关系1206时,一个片段的代表性场景作为关键帧1204和关于该片段的说明1205被显示,在该片段中人物B出现在“医院”中。一个显示—缩放按钮1207表示有一个从属于所选地点即“医院”的更低层。显示—缩放按钮1207可以在菜单中提供,而不在片段内容1201中显示。如果用户选择显示—缩放按钮1207,从属于“医院”的层次的对象—地点关系将被显示,如图13所示。
参见图13,视频故事浏览器1300有片段内容屏幕1301和故事显示区1302。片段内容屏幕1301包括对象—地点关系图1303、相应于所选关系的关键帧1304以及该片段中事件的说明1305。为“医院”所定义的低层地点是医院的休息室和医院的病房。人物B与这两个低层地点有关系1306a和1306b。
因此,用户可以从图13的视频故事浏览器1300中选择人物B与休息室之间的关系1306a或者人物B与病房之间的关系1306b。作为响应,相应于所选关系的关键帧1304及其说明1305将被显示。如果选择组合休息室和病房的按钮1307,屏幕返回图12中所示的上层关系图。
如参见图1至13所作的上述说明,本发明能够通过对象—地点的关系浏览一个视频故事。图1至13涉及单个视频文件,单个戏剧或单个电影。
本发明使用以内容为基础的视频故事浏览系统的概念。多个视频文件通过单个关系图表示,并且每个视频文件的内容通过单个关系图表示。内容可以被简要地从关系图中浏览,并且可以从用于一个视频文件内容的关系图执行一个详细的浏览。如果一个电影被划分成几个视频文件,不同的事件发展有相同的对象(例如男主角或女主角)和相同的地点(该视频故事发展的主地点)。划分后的视频文件被看作单个视频文件,并且其内容通过图1至13所示的对象—地点关系图显示。因此,用户可以用图表浏览单个电影的几个视频文件的全部内容。
图14图示根据本发明用于故事浏览器的数据结构的例子。如图所示,视频被划分成关系信息,该信息包括对象和地点关系信息和场景片段信息。每个场景片段信息包括时间周期和故事中该片段的内容。图15表示根据本发明用于故事浏览器的数据结构的另一个实施例。视频被划分成场景片段信息而不是关系信息。每个场景片段信息包括时间周期信息,内容信息和地点信息以及多个对象信息。
图16A至16D表示用于图14和15中时间周期、对象、地点和内容信息的数据结构。具体地说,时间周期信息包括一个片段的开始帧和结束帧,如图16A中所示。对象信息包括名称和代表帧,如图16B所示。地点信息包括名称和代表帧,并可选地包括低层地点,如图16C所示。内容信息包括文本故事和代表帧,如图16D所示。
根据本发明,总结视频故事的全部内容,并且可选择该总结中的某个位置以浏览相应于该位置的详细的内容。另外,因为本发明根据对于事件的发展所必需基本因素即人物和背景制作关系图,因此用户可以很容易地理解其内容。
而且,这个发明可以被应用到动物而不是人被设置成主对象的视频故事。而且,地点的层次可以随着故事的发展而不同。这样,因为从属于主对象和地点的子层对象或地点可以被定义,本发明允许随着事件的发展很容易地总结故事的内容。
另外,本发明根据事件的发展设置对象、地点和时间的关系,并且可以有多种修改。例如,对于一个体育的视频故事,例如高尔夫球,主对象可以被设置为高尔夫球手,主地点可以被设置为发球区场地、草地等构成的组。既然每个场景的事件可能涉及高尔夫球手击球姿势的种类,本发明可以在体育广播中被有效地应用。
而且,本发明包括一个数据结构,在该数据结构中几个视频文件的内容通过单个关系图表示,以及另一个数据结构,在其中每个视频文件的内容通过单个关系图表示,从而用户可以从关系图用图表浏览几个视频文件的全部内容,并且可以从相应的关系图更详细地浏览单个视频文件的内容,从而确保几个视频文件的分组浏览。
根据本发明,戏剧或电影的整个故事可以通过戏剧或电影中的事件的集合来说明,因而克服了以关键帧为基础的常规内容总结和浏览方法的缺点,其只使用代表性场景描述视频故事的发展。因为戏剧或电影的整个故事用事件段落来表示,本发明克服了对于大规模视频只使用关键帧或其它的常规浏览方法表示其全部内容的复杂性和难度,因而确保了容易并简单地总结和浏览视频故事。
上述实施例只是解释性的而不应当被看作对本发明的限制。本发明的教导可以很容易地被应用到其它类型的设备。本发明的说明书将是说明性的,而不是对权利要求书保护范围的限制。对于本领域的普通技术人员来说许多替换、修改和变型将是显然的。

Claims (15)

1.一种以内容为基础的视频故事浏览方法,包括以下步骤:
(a)显示以视频故事的至少一个对象和至少一个地点之间关系为基础的浏览数据;
(b)接收基于所显示的浏览数据的用户选择,并显示在视频故事中相应于用户选择的片段,
其中显示浏览数据的步骤包括显示用段落表示视频故事的至少一个事件的故事屏幕,而接收用户选择的步骤包括显示连接视频故事中相应于从故事屏幕中所选的事件的片段的代表性场景的转换图。
2.如权利要求1所述的方法,其中步骤(a)包括显示表示视频故事的至少一个对象和至少一个地点之间关系的关系图;而步骤(b)包括显示至少一个代表性场景和在视频故事中相应于从关系图所选的一个或多个关系的片段的简要说明。
3.如权利要求2所述的方法,其中步骤(b)还包括当从所述至少一个代表性场景中选择一个代表性场景时,只显示一个代表性场景、显示按钮和在视频故事中与所述一个代表性场景相应的片段的详细说明;并当显示按钮被选择时,显示在视频故事中与所述一个代表性场景相应的片段。
4.一种以内容为基础的视频故事浏览方法,包括以下步骤:
(a)显示以视频故事的至少一个对象和至少一个地点之间关系为基础的浏览数据;
(b)接收基于所显示的浏览数据的用户选择,并显示在视频故事中相应于用户选择的片段,
其中显示浏览数据的步骤包括显示用段落表示视频故事的至少一个事件的故事屏幕,而接收用户选择的步骤包括显示代表性场景和在视频故事中相应于从故事屏幕中所选的事件的片段的简要说明。
5.如权利要求4所述的方法,其中步骤(a)包括显示表示视频故事的至少一个对象和至少一个地点之间关系的关系图;而步骤(b)包括显示至少一个代表性场景和在视频故事中相应于从关系图所选的一个或多个关系的片段的简要说明。
6.如权利要求5所述的方法,其中步骤(b)还包括当从所述至少一个代表性场景中选择一个代表性场景时,只显示一个代表性场景、显示按钮和在视频故事中与所述一个代表性场景相应的片段的详细说明;并当显示按钮被选择时,显示在视频故事中与所述一个代表性场景相应的片段。
7.一种以内容为基础的视频故事浏览方法,包括以下步骤:
(a)显示以视频故事的至少一个对象和至少一个地点之间关系为基础的浏览数据;
(b)接收基于所显示的浏览数据的用户选择,并显示在视频故事中相应于用户选择的片段,
其中显示浏览数据的步骤包括显示用段落表示视频故事的至少一个事件的故事屏幕,而接收用户选择的步骤包括显示在视频故事中相应于从故事屏幕中所选的事件的片段的至少两个对象和至少两个地点之间关系的关系图,以及显示相应于从关系图中所选的关系的片段的至少一个代表性场景。
8.如权利要求7所述的方法,其中步骤(a)包括显示表示视频故事的至少一个对象和至少一个地点之间关系的关系图;而步骤(b)包括显示至少一个代表性场景和在视频故事中相应于从关系图所选的一个或多个关系的片段的简要说明。
9.如权利要求8所述的方法,其中步骤(b)还包括当从所述至少一个代表性场景中选择一个代表性场景时,只显示一个代表性场景、显示按钮和在视频故事中与所述一个代表性场景相应的片段的详细说明;并当显示按钮被选择时,显示在视频故事中与所述一个代表性场景相应的片段。
10.一种以内容为基础的视频故事浏览方法,包括以下步骤:
(a)显示以视频故事的至少一个对象和至少一个地点之间关系为基础的浏览数据;
(b)接收基于所显示的浏览数据的用户选择,并显示在视频故事中相应于用户选择的片段,
其中显示浏览数据的步骤包括显示用段落表示视频故事的至少一个事件的故事屏幕和相应于所述至少一个事件中每一个事件的代表性场景,而接收用户选择的步骤包括显示在视频故事中相应于从故事屏幕中所选的事件的片段的至少两个对象和至少两个地点之间关系的关系图,以及显示相应于从关系图中所选的关系的片段的至少一个代表性场景。
11.如权利要求10所述的方法,其中步骤(a)包括显示表示视频故事的至少一个对象和至少一个地点之间关系的关系图;而步骤(b)包括显示至少一个代表性场景和在视频故事中相应于从关系图所选的一个或多个关系的片段的简要说明。
12.如权利要求11所述的方法,其中步骤(b)还包括当从所述至少一个代表性场景中选择一个代表性场景时,只显示一个代表性场景、显示按钮和在视频故事中与所述一个代表性场景相应的片段的详细说明;并当显示按钮被选择时,显示在视频故事中与所述一个代表性场景相应的片段。
13.一种以内容为基础的视频故事浏览方法,包括以下步骤:
(a)显示以视频故事的至少一个对象和至少一个地点之间关系为基础的浏览数据;
(b)接收基于所显示的浏览数据的用户选择,并显示在视频故事中相应于用户选择的片段,
其中显示浏览数据的步骤包括显示用段落表示视频故事的至少一个事件的故事屏幕,而接收用户选择的步骤包括显示在视频故事中相应于从故事屏幕中所选的事件的片段的至少两个对象和至少两个地点之间关系的关系图,以及显示至少一个代表性场景和相应于从关系图中所选的关系的片段的简要说明。
14.如权利要求13所述的方法,其中步骤(a)包括显示表示视频故事的至少一个对象和至少一个地点之间关系的关系图;而步骤(b)包括显示至少一个代表性场景和在视频故事中相应于从关系图所选的一个或多个关系的片段的简要说明。
15.如权利要求14所述的方法,其中步骤(b)还包括当从所述至少一个代表性场景中选择一个代表性场景时,只显示一个代表性场景、显示按钮和在视频故事中与所述一个代表性场景相应的片段的详细说明;并当显示按钮被选择时,显示在视频故事中与所述一个代表性场景相应的片段。
CNB991095553A 1998-12-05 1999-07-09 以内容为基础的视频故事浏览方法 Expired - Fee Related CN1269344C (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR1019980053237A KR100319159B1 (ko) 1998-12-05 1998-12-05 내용기반동영상검색데이터구성방법과동영상검색방법
KR1019980053238A KR100319160B1 (ko) 1998-12-05 1998-12-05 사건구간을기반으로하는동영상검색방법과검색데이타구성방법
KR53238/1998 1998-12-05
KR53238/98 1998-12-05
KR53237/1998 1998-12-05
KR53237/98 1998-12-05

Publications (2)

Publication Number Publication Date
CN1256580A CN1256580A (zh) 2000-06-14
CN1269344C true CN1269344C (zh) 2006-08-09

Family

ID=26634405

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB991095553A Expired - Fee Related CN1269344C (zh) 1998-12-05 1999-07-09 以内容为基础的视频故事浏览方法

Country Status (4)

Country Link
US (1) US6492998B1 (zh)
EP (1) EP1006459A3 (zh)
JP (1) JP3454764B2 (zh)
CN (1) CN1269344C (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101425135B (zh) * 2007-11-01 2013-08-14 国际商业机器公司 用于视频流的实时新事件检测的装置和方法

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6721759B1 (en) * 1998-12-24 2004-04-13 Sony Corporation Techniques for spatial representation of data and browsing based on similarity
KR100370247B1 (ko) * 1999-08-26 2003-01-29 엘지전자 주식회사 등장인물 관계 기반 동영상 검색 방법
US6845487B1 (en) * 1999-11-30 2005-01-18 Sony Corporation Method and an apparatus for implementing a key frame
US6675158B1 (en) * 1999-11-30 2004-01-06 Sony Corporation Method and apparatus for organizing data pertaining to audiovisual content
US7120640B2 (en) 2000-07-11 2006-10-10 Sony Corporation Formal verification of semantic DS
US7155441B2 (en) * 2000-07-11 2006-12-26 Sony Corporation Fuzzy relations and graph structures for compact description and modification
US20020120780A1 (en) * 2000-07-11 2002-08-29 Sony Corporation Two-staged mapping for application specific markup and binary encoding
WO2002008948A2 (en) * 2000-07-24 2002-01-31 Vivcom, Inc. System and method for indexing, searching, identifying, and editing portions of electronic multimedia files
US20020069288A1 (en) * 2000-08-10 2002-06-06 Rising Hawley K. Use of unique ID's in a distributed environment to make changes to an MPEG-7 description at run time
US20020120652A1 (en) * 2000-10-20 2002-08-29 Rising Hawley K. Two-stage mapping for application specific markup and binary encoding
US7934008B2 (en) * 2000-10-20 2011-04-26 Sony Corporation Delivery of multimedia descriptions using access units
US7398275B2 (en) * 2000-10-20 2008-07-08 Sony Corporation Efficient binary coding scheme for multimedia content descriptions
EP1354318A1 (en) * 2000-12-22 2003-10-22 Muvee Technologies Pte Ltd System and method for media production
US20020108112A1 (en) * 2001-02-02 2002-08-08 Ensequence, Inc. System and method for thematically analyzing and annotating an audio-visual sequence
US7689901B2 (en) * 2001-03-01 2010-03-30 Sony Corporation Multiple updates to content descriptions using a single command
US20020184336A1 (en) * 2001-03-01 2002-12-05 Rising Hawley K. Occurrence description schemes for multimedia content
US7240285B2 (en) 2001-03-01 2007-07-03 Sony Corporation Encoding and distribution of schema for multimedia content descriptions
US7734997B2 (en) * 2001-05-29 2010-06-08 Sony Corporation Transport hint table for synchronizing delivery time between multimedia content and multimedia content descriptions
US7089543B2 (en) * 2001-07-13 2006-08-08 Sony Corporation Use of formal logic specification in construction of semantic descriptions
US7203692B2 (en) * 2001-07-16 2007-04-10 Sony Corporation Transcoding between content data and description data
US7231394B2 (en) * 2001-07-17 2007-06-12 Sony Corporation Incremental bottom-up construction of data documents
EP1423853B1 (en) * 2001-10-23 2009-04-01 Samsung Electronics Co., Ltd. Information storage medium containing event occurrence information, and method therefor
US7120873B2 (en) 2002-01-28 2006-10-10 Sharp Laboratories Of America, Inc. Summarization of sumo video content
TWI221563B (en) 2002-07-05 2004-10-01 Samsung Electronics Co Ltd Method for displaying mark-up document according to parental level, method and apparatus for reproducing mark-up document in interactive mode, and data storage medium
US7617228B2 (en) * 2003-07-22 2009-11-10 Autodesk, Inc. Displaying image data
EP1538536A1 (en) * 2003-12-05 2005-06-08 Sony International (Europe) GmbH Visualization and control techniques for multimedia digital content
KR20050093452A (ko) * 2004-03-19 2005-09-23 엘지전자 주식회사 방송 수신기기의 프로그램 줄거리 표시방법
CN100541479C (zh) * 2004-05-03 2009-09-16 Lg电子株式会社 为联网的媒体服务器中所存储的内容管理书签信息的方法和装置
US20060112131A1 (en) * 2004-07-14 2006-05-25 Strike Friday, Inc. Story rewriting system
US8934717B2 (en) * 2007-06-05 2015-01-13 Intellectual Ventures Fund 83 Llc Automatic story creation using semantic classifiers for digital assets and associated metadata
US20090193034A1 (en) * 2008-01-24 2009-07-30 Disney Enterprises, Inc. Multi-axis, hierarchical browser for accessing and viewing digital assets
US20100092930A1 (en) * 2008-10-15 2010-04-15 Martin Fletcher System and method for an interactive storytelling game
US20100185672A1 (en) * 2009-01-21 2010-07-22 Rising Iii Hawley K Techniques for spatial representation of data and browsing based on similarity
US9171578B2 (en) 2010-08-06 2015-10-27 Futurewei Technologies, Inc. Video skimming methods and systems
JP5924114B2 (ja) * 2012-05-15 2016-05-25 ソニー株式会社 情報処理装置、情報処理方法、コンピュータプログラムおよび画像表示装置
KR102161230B1 (ko) * 2013-05-28 2020-09-29 삼성전자주식회사 멀티미디어 콘텐츠 검색을 위한 사용자 인터페이스 방법 및 장치
US20150165310A1 (en) * 2013-12-17 2015-06-18 Microsoft Corporation Dynamic story driven gameworld creation
US9672203B1 (en) * 2014-12-01 2017-06-06 Amazon Technologies, Inc. Calculating a maturity level of a text string
CN104504732A (zh) * 2014-12-25 2015-04-08 合肥寰景信息技术有限公司 一种基于关键帧提取的视频内容检索方法
KR101968908B1 (ko) * 2015-01-22 2019-04-15 한국전자통신연구원 시각지식 제공 장치 및 방법
US10679669B2 (en) * 2017-01-18 2020-06-09 Microsoft Technology Licensing, Llc Automatic narration of signal segment
US10805367B2 (en) * 2017-12-29 2020-10-13 Facebook, Inc. Systems and methods for sharing content
CN108391180B (zh) * 2018-02-09 2020-06-26 北京华录新媒信息技术有限公司 视频摘要生成装置及视频摘要生成方法
KR20200040097A (ko) * 2018-10-08 2020-04-17 삼성전자주식회사 전자 장치 및 그 제어 방법
CN112001265B (zh) 2020-07-29 2024-01-23 北京百度网讯科技有限公司 视频事件识别方法、装置、电子设备及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0778804B2 (ja) * 1992-05-28 1995-08-23 日本アイ・ビー・エム株式会社 シーン情報入力システムおよび方法
US5982364A (en) * 1993-03-12 1999-11-09 Quantel, Ltd. Video processing system including frame position indicators
JPH08279054A (ja) * 1995-04-07 1996-10-22 Hitachi Ltd 映像生成/表示システム
US5737552A (en) * 1995-07-28 1998-04-07 Starwave Corporation Machine, method and medium for linear programming with interactive conversational interface
US5801685A (en) * 1996-04-08 1998-09-01 Tektronix, Inc. Automatic editing of recorded video elements sychronized with a script text read or displayed
US6098082A (en) * 1996-07-15 2000-08-01 At&T Corp Method for automatically providing a compressed rendition of a video program in a format suitable for electronic searching and retrieval
WO1998021688A1 (en) * 1996-11-15 1998-05-22 Sarnoff Corporation Method and apparatus for efficiently representing, storing and accessing video information
US6154213A (en) * 1997-05-30 2000-11-28 Rennison; Earl F. Immersive movement-based interaction with large complex information structures
US6278447B1 (en) * 1997-06-10 2001-08-21 Flashpoint Technology, Inc. Method and system for accelerating a user interface of an image capture unit during play mode
US5956026A (en) * 1997-12-19 1999-09-21 Sharp Laboratories Of America, Inc. Method for hierarchical summarization and browsing of digital video
US6118450A (en) * 1998-04-03 2000-09-12 Sony Corporation Graphic user interface that is usable as a PC interface and an A/V interface

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101425135B (zh) * 2007-11-01 2013-08-14 国际商业机器公司 用于视频流的实时新事件检测的装置和方法

Also Published As

Publication number Publication date
JP2000172724A (ja) 2000-06-23
EP1006459A2 (en) 2000-06-07
EP1006459A3 (en) 2007-04-18
US6492998B1 (en) 2002-12-10
JP3454764B2 (ja) 2003-10-06
CN1256580A (zh) 2000-06-14

Similar Documents

Publication Publication Date Title
CN1269344C (zh) 以内容为基础的视频故事浏览方法
TWI278757B (en) Presenting a collection of media objects
US7181757B1 (en) Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing
TWI361619B (en) Image managing apparatus and image display apparatus
JP4380494B2 (ja) コンテンツ・マネジメント・システム及びコンテンツ・マネジメント方法、並びにコンピュータ・プログラム
Yeung et al. Video visualization for compact presentation and fast browsing of pictorial content
CN103617234B (zh) 主动式视频浓缩装置及方法
US20050071736A1 (en) Comprehensive and intuitive media collection and management tool
US20050210410A1 (en) Display controlling apparatus, display controlling method, and recording medium
CN1312643A (zh) 产生合成关键帧的方法和使用该方法的视频浏览系统
WO2008094600A1 (en) Concurrent presentation of video segments enabling rapid video file comprehension
JPH08249348A (ja) 映像検索方法および装置
WO2001027876A1 (en) Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing
JP3574606B2 (ja) 映像の階層的管理方法および階層的管理装置並びに階層的管理プログラムを記録した記録媒体
CN1511418A (zh) 用于创建、记录和分发数字流内容的方法、系统和程序
KR100319160B1 (ko) 사건구간을기반으로하는동영상검색방법과검색데이타구성방법
Agius et al. Modeling content for semantic-level querying of multimedia
CN1758736A (zh) 存储多媒体数据的存储介质和再现运动图像的设备及方法
KR100319159B1 (ko) 내용기반동영상검색데이터구성방법과동영상검색방법
TW200531547A (en) Multi-resolution feature extraction for video abstraction
CN1643902A (zh) 一种显示信息的系统和方法
CN1287311C (zh) 具有加权信息的多媒体描述模式以及显示多媒体的方法
CN1460361A (zh) 用于为“记忆错觉deja vu”视频系统提供用户接口的系统和方法
JPH05282380A (ja) 動画像検索方法
JP3471389B2 (ja) マルチメディアファイリングシステム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20060809