CN108140401B - 访问视频片段 - Google Patents

访问视频片段 Download PDF

Info

Publication number
CN108140401B
CN108140401B CN201680057066.1A CN201680057066A CN108140401B CN 108140401 B CN108140401 B CN 108140401B CN 201680057066 A CN201680057066 A CN 201680057066A CN 108140401 B CN108140401 B CN 108140401B
Authority
CN
China
Prior art keywords
video
scene
user
activity
location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680057066.1A
Other languages
English (en)
Other versions
CN108140401A (zh
Inventor
A·埃罗南
J·莱帕南
A·勒蒂涅米
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN108140401A publication Critical patent/CN108140401A/zh
Application granted granted Critical
Publication of CN108140401B publication Critical patent/CN108140401B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G06F16/7335—Graphical querying, e.g. query-by-region, query-by-sketch, query-by-trajectory, GUIs for designating a person/face/object as a query predicate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G06F16/745—Browsing; Visualisation therefor the internal structure of a single video sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/22—Means responsive to presence or absence of recorded information signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04804—Transparency, e.g. transparent or translucent windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种方法包括：使得提供视觉访问菜单以使得用户能够访问场景的视频片段，其包括：使得显示场景的图像的至少一部分；使得在场景中第一位置处显示第一用户可选择的菜单选项，当该第一用户可选择的菜单选项被选择时，使得访问场景中第一位置处的活动的一个或多个第一视频片段；以及使得在场景中第二位置处显示第二用户可选择的菜单选项，当该第二用户可选择的菜单选项被选择时，使得访问场景中第二位置处的活动的一个或多个第二视频片段。

Description

访问视频片段
技术领域
本发明的实施例涉及访问视频片段。
背景技术
当录制视频时，用户期望能够访问视频的期望片段。
例如，这可以通过快进或快倒视频、按章节向前或向后跳过、或从菜单中选择章节来实现。
发明内容
根据本发明的各种但不必是所有实施例，提供了一种方法，包括：使得提供视觉访问菜单以使得用户能够访问场景的视频片段，其包括：使得显示场景的图像的至少一部分；使得在场景中第一位置处显示第一用户可选择的菜单选项，该当第一用户可选择的菜单选项被选择时，使得访问场景中第一位置处的活动的一个或多个第一视频片段；以及使得在场景中第二位置处显示第二用户可选择的菜单选项，该当第二用户可选择的菜单选项被选择时，使得访问场景中第二位置处的活动的一个或多个第二视频片段。
根据本发明的各种但不必是所有实施例，提供了一种方法，其包括：使用图像处理来对一个或多个视频进行参数化；基于参数化来确定时空视频片段；确定表示第一视频片段的第一视频摘要并且创建从视频摘要到第一视频片段的第一链接；以及显示视频摘要的访问菜单以供用户选择，其中用户对访问菜单中的第一视频摘要的选择激活第一链接以访问第一视频片段。
根据本发明的各种但不必所有的实施例，提供了所附权利要求中所要求保护的示例。
附图说明
为了更好地理解对于理解具体实施方式有用的各种示例，现在将仅通过示例参考附图，其中
图1图示了提供使得用户能够访问场景的视频片段的视觉访问菜单的方法的示例；
图2图示了用于捕获场景的视频的系统的示例；
图3图示了场景的图像的示例；
图4图示了分割视频的示例；
图5图示了用于生成视觉访问菜单的方法的示例；
图6图示了已经使用位置和时间进行参数化的示例视频；
图7A和图7B图示了分割图6中所图示的视频的不同示例；
图8A、图8B、图8C图示了图6中所图示的视频的参数化和分割的不同示例；
图9图示了装置的示例；以及
图10图示了记录载体的示例。
图11A至图11C图示了根据视频中任何活动何时以及何地发生以及至少附加地根据什么人或物执行活动来对视频进行的主体特定参数化；
图12A和图12B图示了根据视频中任何活动何时以及何地发生以及至少附加地根据什么人或物执行相关活动，来对视频进行的对象特定参数化；
图13A和图13B图示了包括沿着第一主体在选择路径点(waypoint)用户可选择的菜单选项中的一个路径点用户可选择的菜单选项之前和之后所采用的路径的不同路径点的多个用户可选择的菜单选项的视觉访问菜单的示例。
具体实施方式
附图图示了用于提供使得用户能够访问场景202的视频片段310的视觉访问菜单110的方法100。该方法包括：
a)使得显示场景202的至少一部分的图像112；
b)在场景202中的第一位置1221处使得显示第一用户可选择的菜单选项1201，该当第一用户可选择的菜单选项1201被选择时，使得访问场景202中的第一位置1221处的活动的一个或多个第一视频片段310；以及
c)在场景202中的第二位置1222处使得显示第二用户可选择的菜单选项1202，当该第二用户可选择的菜单选项1202被选择时，使得访问场景202中的第二位置1222处的活动的一个或多个第二视频片段310。
图1图示了方法100的示例。方法100的结果是使得用户能够访问场景202的视频片段310的视觉访问菜单110。
菜单110包括场景202的图像112和场景202中的不同位置122n处的一个或多个用户可选择的菜单选项120n，当菜单选项120n被选择时，使得访问场景202中的位置122n处的活动的一个或多个相应的视频片段310。
在该示例中以及在其他示例中，用户可选择的菜单选项120n可以是用户可选择的菜单项。场景202视场通常大于用于显示场景的显示器视场，并且因此在不缩小(降低分辨率)的情况下，在任何一个时间仅显示场景202的一部分。
在所图示的示例但不一定所有示例中，相对于场景视场的显示器视场使得多个用户可选择的菜单选项120n被同时显示在场景202中的不同位置122n处。然而，如果显示器视场相对于场景视场改变或者多个用户可选择的菜单选项120n的位置122n的分离更大，则多个用户可选择的菜单选项120n中的仅一个或没有一个用户可选择的菜单选项将被显示。通过放大或缩小，用户可能能够改变显示器视场相对于场景视场的大小。通过向左或向右平移和/或通过向上和向下平移，用户可能能够改变显示器视场相对于场景202视场的相对位置。
在该示例但不一定所有示例中，所显示的菜单110包括：场景202的至少一部分的图像112；当被选择时使得访问一个或多个第一视频片段310的在场景202中的第一位置1221处的第一用户可选择的菜单选项1201；以及当被选择时使得访问一个或多个第二视频片段310的在场景202中的第二位置1222处的第二用户可选择的菜单选项1202。
在场景202中第一位置1221处的活动的一个或多个第一视频片段310是记录场景202中的第一位置1221处、附近或与其相关的活动的视频片段。例如，一个或多个第一视频片段310可以是记录场景202中的第一位置1221处的活动和/或记录场景202中的第一位置1221附近的活动和/或记录在第一位置1221处或附近开始、结束或暂时发生的活动的视频片段。一个或多个第一视频片段310可以被相同或不同的摄像机捕获。
在场景202中的第二位置1222处的活动的一个或多个第二视频片段310是记录场景202中的第二位置1222处、附近或与其相关的活动的视频片段。例如，一个或多个第二视频片段310可以是记录场景202中的第二位置1222处的活动和/或记录场景202中的第二位置1222附近的活动和/或记录在场景202处或附近开始、结束或临时发生的活动的视频片段。一个或多个第二视频片段310可以由相同或不同的摄像机捕获。
一个或多个第一视频片段310和一个或多个第二视频片段310可以由相同或不同的摄像机捕获。
图2图示了用于捕获场景202的视频的系统200的示例。系统200包括一个或多个数字摄像机206，其捕获由相机206视场204确定的场景202的全部或一部分的视频。
图3图示了从单个相机的单个视场2041创建的或者通过组合不同相机的重叠视场2041而创建的场景202的图像112的示例。在一些但不一定在所有示例中，全景相机206可以被用来创建具有非常宽的视场的全景图像112。它可能具有非常大的宽度W到高度H的宽高比(例如，超过4或5)。
图像112由图像像素的值定义。每个图像像素在图像112内具有位置r。场景202的视频由图像112的时间序列定义。场景202中的第一位置1221可以由第一位置r1 302定义。场景202中的第二位置122可以由第二位置r2 302定义。
图4图示了分割视频300的示例。该示例中的视频300被表示为时空区域，即，位置r302的所有值都相对于时间而被绘制。视频300可以源自一个或多个相机并且可以包括多个视频文件。视频片段310是时空子区域。视频片段310在空间上受到限制并且在时间上受到限制。该示例中的视频片段受限于用于位置r 302的可能值的子集320以及用于时间t 304的可能值的独立子集322。视频片段310的确定包括确定用于位置r 302的值的子集320和用于时间t 304的值的子集322。
图4图示了根据多个参数的视频300的参数化的示例。在该示例中，参数是位置r302和时间t 304。视频片段310基于视频300的参数化以及具体地用于各个可能的参数值的子集320、322来而被确定。
将注意，在该示例中，用于位置r 302的值的子集320定义用于位置r 302(连续像素)的值的连续不间断范围和用于时间t 304的可能值的子集322定义时间t 304的值的连续不间断范围。
如果根据正交笛卡尔分量x、y定义位置r 302，则片段可以在空间上由x的范围、y的范围或x和y两者的范围来定义。
视频300的其他参数化是可能的。
图5图示了用于生成视觉访问菜单110的方法500的示例。
在框502处，定义场景202的一个或多个视频300被参数化。视频300可以在空间上重叠或在空间上不同。视频300可以在时间上重叠或在时间上不同。作为组合，它们随着时间而记录场景202中的活动。
视频300可以被校准为具有公共空间参考帧，以使得一个视频与另一个视频的空间关系是已知的。可替代地，图像处理可以被用来创建公共空间参考帧。图像处理可以被用来识别视频中的固定图像特征并且通过匹配视频之间的固定图像特征的图案来识别哪些视频在空间上重叠。以这种方式，定义场景202的一个或多个视频300可以使用公共(共享)空间参考帧中的位置r 302来参数化。
视频可以被校准以具有公共时间参考帧，使得一个视频与另一个视频的时间关系是已知的。可替代地，图像处理可以被用来创建公共时间参考帧。图像处理可以被用来识别视频中改变的图像特征并且通过匹配视频之间改变的图像特征的图案来识别哪些视频在时间上(和空间上)重叠。以这种方式，定义场景202的一个或多个视频300使用公共(共享)时间参考帧中的时间t 304来参数化。
图像处理可以被用来创建用于参数化视频300的其他参考帧。图像处理可以被用来通过将改变的图像特征的图案与事件的参考进行匹配，来识别视频300中的事件。以这种方式，定义场景202的一个或多个视频300使用该事件作为参数来参数化。
事件的发生可以被记录为在视频300中的位置r和时间t处发生，从而至少根据视频300中事件何时以及何地发生，来使得对视频300进行参数化。
事件的一个示例可以是例如场景202中的活动，其意指场景的内容的改变。
事件的另一示例可以是例如对特定用户或对象的识别。
事件的另一示例可以例如是对两个或更多个人或对象之间的交互的识别。
事件的另一示例可以是例如对特定动作或活动的识别。
事件可以是事件的组合，诸如特定人在场景202中的的(任何)活动或与特定对象相关的(任何)活动，从而至少根据在视频中活动何时以及何地发生以及什么人或物执行活动，来使得对视频进行参数化。
作为事件组合的事件的另一示例是事件是由任何人或特定人员在场景202中的或与任何对象或特定对象相关的特定活动的情况，从而至少根据在视频中活动何时以及何地发生以及活动是何活动，来使得对视频进行参数化。
用于参数化视频300的参数可以是固定参数集合或可变参数集合。例如，用户可能能够确定用于参数化视频300的一个或多个或全部参数。
附加地或可替代地，视频300可以使用推定参数自动进行参数化，以确定用于参数化视频300的最佳参数集合。然后，可选参数集合可以被自动地用于参数化视频300，或者它们可以作为可选择的参数呈现给用户，用户从中可以能够确定用于参数化视频或视频300的一个或多个或全部参数。
用于最佳参数化视频300的一种方法是使用k均值聚类。给定事件集合(x1，x2，…，xn)。可以通过具有每个参数的分量值的向量在参数空间中定义事件。每个事件都是由多个参数定义的参数空间中的向量，k均值聚类将n个事件放入k(≤n)集合S＝{S1，S2，Sk}中，以使得簇内平方和最小化。其求解：
Figure BDA0001612610570000071
其中μi是Si的成员的均值。这针对已定义的参数空间找到最佳聚类。可以在多个参数空间上执行搜索，以找到用于该参数空间的最佳参数空间和最佳聚类。
参数可以被用来根据事件发生的地点、事件发生的时间、以及事件或事件中的参与者的其他特点(诸如例如，事件中涉及的人或物、事件涉及的活动内容、描述参与者的参数(诸如速度、离地面的距离、关节的相对位置、与其他对象的相对位置等))来定义事件。
在框504处，方法500基于视频300的参数化来确定一个或多个视频片段310。
例如，按时间顺序发生并且根据位置以及可选地一个或多个其他参数聚类的事件可以被用来定义视频片段310。这些事件是簇内的内围层(inlier)，并且可以指示视频的时间段内出现的常见原型事件。
图4图示了根据多个参数(即，位置r 302和时间t 304)的视频300的参数化的示例。视频片段310基于视频330的参数化以及具体地，相应的可能参数值的子集320，322来确定。位置r 302的子集320定义连续不间断范围，并且时间t 304的子集322定义连续不间断范围。
附加地或可替代地，未被聚类的事件可以被用来定义视频片段。这些事件是来自簇的外围层(outlier)，并且可以指示视频时间段内出现异常非典型事件。
参数值中的不连续转变可以被用来确定视频片段310的开始或结束。
视频片段310可以由参数空间中的向量参考。
在框506处，该方法确定哪些视频摘要(如果有的话)应当表示访问菜单110中的哪些视频片段310。视频摘要被用作访问菜单110中的用户可选择的菜单选项120，当菜单选项120被选择时，访问所表示的视频片段310。
在框508处，该方法包括：显示视频摘要的访问菜单110以供用户选择。访问菜单110中的视频摘要的用户选择激活访问特定视频片段或视频片段310的链接。
在视频片段310由访问菜单110中的视频摘要表示的情况下，典型地存在从视频摘要到视频片段310的一对一映射。例如，视频片段可以包括到当用户从菜单110中选择视频摘要，以使得在播放视频片段时激活的视频片段310的链接或与之相关联。
视频摘要在访问菜单110中的位置与链接的视频片段310的位置相同。例如，参数化视频片段310的参数位置r 302可以被用来定位在访问菜单110中显示的场景202中的视频摘要。
返回参考图1，第一可选择的菜单选项1201位于场景202中第一位置1221处，并且当第一可选择的菜单选项1201被选择时，使得访问涉及场景202中第一位置1221处的活动的一个或多个第一视频片段310。第一可选择的菜单选项1201是链接到一个或多个第一视频片段310的播放第一视频摘要。第二可选择的菜单选项1202位于场景202中第二位置1222处，并且当第二可选择的菜单选项1202被选择时，使得访问涉及场景202中第二位置1222处的活动的一个或多个第二视频片段310。第二可选择的菜单选项1202是链接到一个或多个第二视频片段310的播放第二视频摘要。
与一个或多个链接的视频片段310相比较，在以降低的分辨率播放时，包括第一视频片段1201和第二视频片段1202的、作为用户可选择的菜单选项120的视频摘要可以被同时显示。
包括第一视频摘要1201和第二视频摘要1202的、作为用户可选择的菜单选项120的视频摘要可以以覆盖场景202的图像112的半透明形式被显示，从而形成“重影”图像。
每个视频摘要可以是从其所链接的视频片段310获取的短视频片断，从而循环播放。这种视频摘要的用户选择可能使得播放所链接的视频片段310。
如果视频摘要链接到多个视频片段，则它可能是短视频片断的级联，一个来自所链接的视频片段中的每个视频片段，从而循环播放。循环中的视频片断的播放顺序可以与它们所链接的视频片段具有相同的时间顺序。用户选择这样的视频摘要使得访问例如菜单形式的所链接的视频片段。因此，用于单个位置的多个视频片段可以通过‘根级别’处的单个用户可选择的菜单选项120在访问菜单中表示，对该用户可选择的菜单选项120的选择可以使得显示下一级处的多个用户可选择的菜单选项120，每个视频片段310一个用户可选择的菜单选项。当这些多个用户可选择的菜单选项120被选择时，可以使得访问在不同时间的、场景202中的相同位置122处的活动的视频片段310。
图6图示了已经使用位置r 302和时间t 304参数化成在(t，r)处发生的事件的示例视频。图7A、图7B、图8A、图8B、图8C图示了在已经使用位置r 302和时间t 304参数化成在(t，r)处发生的事件并且将事件分割为在(tn，rn)处发生的不同视频片段310n的示例视频300。
图7A图示了已经使用位置r 302和时间1 304参数化成在(t，r)处发生的事件的示例视频300。它附加地图示了将事件分割成包括位置r1处的视频片段3101，3102和r3位置处的视频片段3103的第一不同的视频片段集合310。用于这些视频片段310的视觉访问菜单110可以包括场景202中与位置r1相对应的第一位置1221处的第一用户可选择的菜单选项1201，当第一用户可选择的菜单选项1201被选择时，使得访问第一位置r1处的活动的视频片段3101，3102；并且包括场景202中与位置r3相对应的第二位置1221处的第二用户可选择的菜单选项1202，当第二用户可选择的菜单选项1202被选择时，使得访问位置r3处的活动的视频片段3103。
图7B图示了图7A的视频300，但是图示了将事件分割成不同的第二不同的视频片段集合310。在该示例中，图7A中图示的位置r3处的视频片段3103已被细分成在相应位置r3、r4和r5处的三个不同视频片段3104、3105、3106。用于这些视频片段310的视觉访问菜单110可以包括在场景202中与位置r1相对应的第一位置1221处的第一用户可选择的菜单选项1201，当第一用户可选择的菜单选项1201被选择时，使得访问第一位置r1处的活动的视频片段3101、3102；并且对于n＝4、5、6中的每一个，包括场景202中与位置rn相对应的位置122n处的另一用户可选择的菜单选项120n，当另一用户可选择的菜单选项120n被选择时，使得访问位置rn处的活动的视频片段310n。
在图7A的示例中，记录沿着路径的人或对象的视频300已经被分割成单个视频片段3103，而在图7B中，记录沿着该路径的人或对象的视频300已经被分割成三个视频片段3104、3105、3106。
图8A图示了图7A的视频300，但是视频300不仅使用位置r 302和时间t 304而且还使用人A已经参数化成人A在(t，r)处发生的事件。它图示了将事件分割成图7A中所图示的不同视频片段集合310的子集，其包括位置r1处的视频片段3101、3102而不包括位置r3处的视频片段3103。这些视频片段3101、3102的视觉访问菜单110可以包括场景202中与位置r1相对应的第一位置1221处的第一用户可选择的菜单选项1201，当第一用户可选择的菜单选项1201被选择时，使得访问人A在第一位置r1处的活动的视频片段3101、3102。
图8B图示了图7A的视频300，但是视频300已经使用位置r 302、时间t 304和人B被参数化成人B在(t，r)处发生的事件。它图示了将事件分割成图7A中所图示的第一不同视频片段集合310的子集，其包括位置r3处的视频片段3103而不包括位置r1处的视频片段3101，3102。用于该视频片段3103的视觉访问菜单110可以包括场景202中与位置r3相对应的位置122处的用户可选择的菜单选项1202，当用户可选择的菜单选项1202被选择时，使得访问人B在位置r3处的活动的视频片段3103。
图8C图示了图7B的视频300，但是视频300已经使用位置r 302和时间t 304以及人B被参数化成人B在(t，r)处发生的事件。它图示了将事件分割成图7B中所图示的包括相应位置r4、r5、r6处的视频片段3104、3105、3106的第二不同视频片段集合310的子集。用于这些视频片段310的视觉访问菜单110可以包括场景202中与位置rn相对应的位置122n处的用户可选择的菜单选项120n，当用户可选择的菜单选项120n被选择时，使得访问位置rn处的活动的视频片段310n，其中n＝4、5、6。
图6、图7A至图7B和图8A至图8C图示了至少根据视频300中活动何时以及何地发生对视频300进行参数化以及至少基于视频300中活动何时以及何地发生来确定视频片段310。
图8A、图8B、图8C图示了至少根据在视频300中活动何时以及何地发生以及附加参数(执行活动的人)对视频300进行参数化以及至少基于视频中活动何时以及何地发生以及附加参数(执行活动的人)来确定视频片段310。
虽然在图8A、图8B、图8C中，附加参数是执行活动的人，但是在其他示例中，附加参数可以是不同参数或参数组合。例如，附加参数可以是活动的内容或包括活动的内容。
用户可能能够控制视频300被参数化的哪段时间，并且因此控制视频片段310来自哪个时间段。诸如例如滑块之类的用户输入控制可以被用来改变这个时间段。
从图7B可以领会改变时间段的结果。每个视频片段310n具有位置rn 302和开始时间tn 304。
图7B图示了图7A的视频300，但是图示了将事件分割成不同的第二不同的视频片段3104，3105，3106集合。在该示例中，图7A中所图示的视频片段3103中的一个视频片段已经被细分为三个不同的视频片段3104、3105、3106。视频300包括时间t1、t1时位置r1处的视频片段3101、3102以及时间t4、t5、t6时相应位置r4、r5、r6处的视频片段3104、3105、3106。当时间段足够长以至少覆盖时间t1、t2、t4，t5、t6时，用于这些视频片段310的视觉访问菜单110可以包括场景202中与位置r1相对应的第一位置1221处的第一用户可选择的菜单选项1201，当第一用户可选择的菜单选项1201被选择时，使得访问第一位置r1处的活动的视频片段3101、3102；并且对于n＝4、5、6中的每一个，包括场景202中与位置rn相对应的位置122n处的进一步的用户可选择的菜单选项120n，当用户可选择的菜单选项120n被选择时，使得访问时间tn时位置rn处的活动的视频片段310n。然而，当时间段被缩短为仅覆盖时间t1和t4而不覆盖时间t2、t5、t6时，用于这些视频片段310的视觉访问菜单110可以包括场景202中与位置r1相对应的第一位置1221处的第一用户可选择的菜单选项1201，当第一用户可选择的菜单选项1201被选择时，使得访问时间t1时第一位置r1处的活动的视频片段3101；并且包括场景202与位置r4相对应的位置1224处的进一步的用户可选择的菜单选项1204，当进一步的用户可选择的菜单选项1204被选择时，使得访问时间t4时位置r4处的活动的视频片段3104。
如上文关于图5所描述的，图像处理可以被用来参数化视频300。图像处理可以被用来识别视频300中的事件，并且事件的特征可以用作参数。
事件特征可以例如是场景202中的活动、特定用户或对象的识别、两个或更多个人或对象之间的交互的识别、特定动作或活动(诸如跟随去往或来自位置的路径)的识别等。
事件的发生可以被记录为在视频300中的位置r和时间t处发生，从而至少根据视频300中事件何时以及何地发生使得对视频300进行参数化。
事件可以是一个或多个不同备选方案的组合，诸如场景202中的特定活动/场景202中的任何活动；特定人/任何人进行的活动；与特定对象相关或无关的活动。
视频300的参数化可以根据在视频300中任何活动何时以及何地发生并且附加地根据一个或多个附加参数来进行，这些附加参数可以包括：
活动的内容；什么人或物执行活动；谁执行相关活动或相关活动是何活动。
在时间上顺序发生并且根据位置以及可选地一个或多个附加参数聚类的事件可以被用来定义视频片段310。
这些事件是簇内的内围层，并且可以表示视频时间段内出现的通常原型事件。
主体特定事件可以是事件的组合，诸如特定人员在场景202中的(任何)活动，该特定人员根据视频300中任何活动何时以及何地发生以及附加地什么人或物执行活动，来使得对视频300进行主体特定参数化。
对象特定事件可以是事件的组合，诸如场景202中与特定对象相关的(任何)活动，该特定对象根据在视频中任何活动何时以及何地发生以及附加地至少谁执行相关活动或相关活动是何活动，来使得对视频300进行对象特定参数化相关。
活动特定事件可以是事件的组合，诸如场景202中任何人或者与任何对象相关的特定活动，该特定活动根据在视频中活动何时以及何地发生以及附加地至少活动是何活动，来使得对视频300进行活动特性参数化。
用于参数化视频300的参数可以是固定参数集合或可变参数集合。例如，用户可能能够确定用于对一个视频或多个视频300进行参数化的一个或多个或全部参数。
用户可选择的菜单选项120n的用户选择可以使得一个或多个附加参数的改变或现有参数的约束，导致视频的新参数化、新聚类以及包括新用户可选择的菜单选项120n的新视觉访问菜单110。用户可选择的菜单选项120n在视觉访问菜单110中的不同位置可以通过用户选择对诸如主体、位置、活动或时间之类的附加参数的不同约束来启用。
通过在顺序的一系列视觉访问菜单110中执行用户可选择的菜单选项120n的用户选择，用户可以顺序地约束参数，导致视频300日益具体的参数化、日益具体的聚类以及包括用户可选择的菜单选项120n的日益具体的视觉访问菜单。顺序约束可以被用来通过用户顺序地从顺序视觉访问菜单110中选择多个附加参数(诸如对象、位置、活动和时间的组合)的不同约束来启用。
图11A至图11C图示了根据视频中活动何时以及何地发生以及附加地至少什么人或物执行活动对视频300进行“主体特定”参数化。
图11A图示了视频300的显示的全景场景112。该显示的场景包括两个可能的主体，左边的是第一主体(婴儿)和右边的是第二主体(男人)。它可以是针对不同主体的用户可选择的菜单选项120n的视觉访问菜单110。
当通过例如用户触摸与主体相对应的显示部分来选择主体中的一个主体时，则执行方法100并且提供如图11B所图示的视觉访问菜单110，其使得用户能够访问场景202的视频片段310。不同的用户可选择的菜单选项120n被显示在场景112中的不同位置处。不同的位置表示不同的位置(和时间)。选择特定用户可选择的菜单选项使得访问场景202中的该位置1221处的活动的一个或多个第一视频片段310。
在所图示的示例中，在图11B中，选择用户可选择的菜单选项1204。
如图11C所图示的，在一个视频片段与该位置处的该主体相关联的情况下，该视频片段310被播放给用户。
在多个不同的时间上不同的视频片段310与该位置处的该主体相关联的情况下，如关于例如图7B所描述的，视频300被重新参数化，以将表示不同时间的、该位置处的多个视频片段的图11B中的菜单选项1205转换成各自表示不同时间的、该位置处的视频片段310的图11D中的多个用户可选择的菜单选项120m。例如，方法100可以被重新执行，但仅限于选定主体在选定位置处的事件，以提供如图11D所图示的视觉访问菜单110，其使得用户能够访问场景202的视频片段310。在场景112中的不同位置处显示不同的用户可选择的菜单选项120n。不同的位置表示不同的时间。选择特定用户可选择的菜单选项使得访问不同时间选定的主体在场景202中的该位置处活动的一个或多个视频片段310。
因此，图11A处的用户选择选择主体，图11B处的用户选择选择位置，而图11D处的用户选择选择时间。
例如，在图11B和图11D中，在场景202中的第一位置122n处同时显示第一用户可选择的菜单选项120n，当第一用户可选择的菜单选项120n被选择时，使得访问选定主体在场景202中第一位置122n处的活动的一个或多个第一视频片段310；以及第二用户可选择的菜单选项120m，当第二用户可选择的菜单选项120m被选择时，使得访问选定主体在场景202中第二位置122m处的活动的一个或多个第二视频片段310。
图12A和图12B图示了根据在视频中任何活动何时以及何地发生以及附加地至少谁执行相关的活动或相关的活动是何活动，来对视频300进行“对象特定”参数化。
图11A图示了视频300的显示的全景场景112。该显示的场景包括可能的对象，其包括位置(未示出)。
当通过例如触摸与对象相对应的显示部分来选择对象中的一个对象时，执行方法100并且提供如图12A或图12B所图示的视觉访问菜单110，其使得用户能够访问用于选定对象的场景202的视频片段310。不同的用户可选择的菜单选项120n被显示在场景112中的不同位置处。特定用户可选择的菜单选项的选择使得访问场景202中的位置1221处的活动的一个或多个第一视频片段310。
视频300的参数化针对哪些对象已经与选定对象进行交互而自动执行。这创建了事件簇和对应的视频片段310。视频片段310的一个簇涉及选定对象和第一主体。这些视频片段310由对应的用户可选择的菜单选项120n表示(图12A)。视频片段310的另一个簇涉及选定对象和第二主体。这些视频片段310由对应的用户可选择的菜单选项120n表示(图12B)。
图12A图示了包括多个用户可选择的菜单选项120n的视觉访问菜单110，该多个用户可选择的菜单选项120n被显示在场景112中的不同位置处，用于与第一主体在不同时间与用户选择的对象交互相关的视频片段310。不同位置表示不同的时间。选择特定用户可选择的菜单选项120n使得访问在不同时间的、与场景202中的选定对象和第一主体相关的活动的一个或多个视频片段310。
图12B图示了包括多个用户可选择的菜单选项120n的视觉访问菜单110，该多个用户可选择的菜单选项120n被显示在场景112中的不同位置处，用于与第二主体在不同时间与用户选择的对象的交互相关的视频片段310。不同位置表示不同的时间。选择特定用户可选择的菜单选项120n使得访问在不同时间的、与场景202中的选定对象和第二主体相关的活动的一个或多个视频片段310。
自动选择准则可以被用来决定是否呈现与第一主体(图12A)或第二主体(图12B)相关联的视觉访问菜单110。在这个示例中，所使用的准则是簇的数目(视频片段310)。在与第一主体(图12A)相关联的视觉访问菜单110具有更多用户可选择的菜单选项120n时，其首先被显示。用户可以提供用户输入以使得显示与第二主体相关联的视觉访问菜单110(图12B)。
因此，图11A处的选择选择对象，而图12A/图12B处的用户选择选择主体和时间。
可以在场景202中的第一位置122n处显示第一用户可选择的菜单选项120n，当第一用户可选择的菜单选项120n被选择时使得访问与场景202中第一位置122n处的选定对象相关的活动的一个或多个第一视频片段310；以及在场景202中第二位置122m处显示第二用户可选择的菜单选项120m，当第二用户可选择的菜单选项120m被选择时，使得访问与选定对象相关的活动的一个或多个第二视频片段310。这些可以如图12A或图12B所图示时显示和/或可以如从图12A到图12B的切换中所图示的顺序地显示。
图11A和图13A、图13B图示了根据在视频中任何活动何时以及何地发生以及附加地至少被执行的活动是何活动，来对视频300进行“活动特定”参数化。
图11A图示了视频300的显示的全景场景112。
当用户选择或自动选择活动时，则执行方法100并且提供如图13A或图13B所图示的视觉访问菜单110，其使得用户能够访问场景202的视频片段310。不同的用户可选择的菜单选项120n被显示在场景112中的不同位置处。不同位置表示不同位置(和时间)。选择特定用户可选择的菜单选项120n使得访问场景202中位置122n处的活动的一个或多个第一视频片段310。
视频300的参数化针对选定活动而自动执行。这创建了时间的簇和包括选定活动的对应的视频片段310，并且这些视频片段310由对应的用户可选择的菜单选项120n表示。
该活动可能是主体特定的或不是主体特定的。
图12A图示了包括多个用户可选择的菜单选项120n的视觉访问菜单110，该多个用户可选择的菜单选项120n被显示在场景112中的不同位置处，用于与第一主体在不同位置/时间处的移动相关的视频片段310。选择特定用户可选择的菜单选项120n使得访问不同位置/时间与场景202中的第一主体的移动相关的活动的一个或多个视频片段310。
图12B图示了在用户可选择的菜单选项1203已经被选择之后创建的视觉访问菜单110。视觉访问菜单110包括多个用户可选择的菜单选项120m，其被显示在场景112中不同位置处，用于与第一主体在不同位置/时间处的移动相关的视频片段310。选择特定用户可选择的菜单选项120m使得访问不同位置/时间与场景202中的选定对象和第一主体相关的活动的一个或多个视频片段310。
因此，图11A处的选择选择活动，而图13A处的用户选择选择位置/时间。
可以在场景202中的第一位置122n处显示第一用户可选择的菜单选项120n，当第一用户可选择的菜单选项120n被选择时，使得访问与场景202中第一位置122n处的选定活动相关的活动的一个或多个第一视频片段310；以及在场景202中第二位置122m处显示第二用户可选择的菜单选项120m，当第二用户可选择的菜单选项120m被选择时，使得访问与选定活动相关的活动的一个或多个第二视频片段310。这些可以如图13A所图示时显示和/或可以如从图13A到图13B中的切换所图示的顺序地显示。
在图13A的示例中，视觉访问菜单110包括用于沿着由第一主体采取的路径的不同路径点的多个用户可选择的菜单选项120n。
在图13B的示例中，在用户已经选择了路径点用户可选择的菜单选项120n中的一个路径点用户可选择的菜单选项之后，视觉访问菜单110包括用于沿着由第一主体采取的不同路径的不同路径点的多个用户可选择的菜单选项120n。
图13A中用户可选择的菜单选项120n的选择可以使得视频300被重新参数化，如关于例如图7B所描述的，以将表示用于第一主体在时间段T1期间的移动的多个视频片段130的图13A中的视觉访问菜单110转换成表示第一主体在随后的不同时间段T2期间的移动的多个视频片段130的图13B中的视觉访问菜单110。因此，选择被图示为->的不同的用户可选择的菜单选项120n可以改变被用来生成用户可选择的菜单选项120n的时间段，并且选择图示第一主体的用户可选择的菜单选项120n可以使得回放视频片段310。
在一些但不必是所有示例中，参照图5，方法500可以包括以下各框：
(i)获得一个或多个视频；
(ii)从视频中获得关键对象；
(iii)从视频中获得关键位置和/或活动；
(iv)从视频中获得关键路径；
(v)通过将执行关键活动的关键对象叠加在背景上的关键位置来创建汇总视频；
(vi)使得用户能够沿着路径与关键对象的表示进行交互；
(vii)从对象已经沿着路径的视频集合中获得新汇总视频集合；以及
(viii)通过将对象叠加在继续路径可视化上来创建汇总视频显示。
框(ii)与视频的对象特定参数化(包括在视频中任何活动何时以及何地发生)，参见图8A至图8C、图10至图13。
框(iii)与视频的对象特定参数化(图12A至图12B)和/或视频的活动特定参数化(图13A至图13B)相对应。
框(iv)与活动与路径相关的视频的参数化(图13A至13B)相对应。
框(v)与使用叠加的关键对象作为用户可选择的菜单选项120n来显示视觉访问菜单110相对应。
框(vi)与用户从所显示的视觉访问菜单110中选择用户可选择的菜单选项120n相对应。
框(vii)与生成新视觉访问菜单110相对应，该新视觉访问菜单110可以基于使用由用户选择定义的约束对视频300进行的重新参数化，以定义视频片段310的新簇和对应的新用户可选择的菜单选项120n。在这种情况下，约束是沿着路径的位置。
框(viii)与使用叠加的关键对象作为新用户可选择的菜单选项120n来显示新视觉访问菜单110相对应。在这种情况下，新用户可选择的菜单选项120n与沿着路径移动的关键对象相关。
从上述内容将领会的是，参数化和聚类定义具有用户可选择的菜单选项120n的视觉访问菜单。菜单结构使得用户可以经由一个或多个菜单级访问并且播放特定视频片段310。菜单结构取决于参数化和分割，其每当用户访问与播放视频片段310相反进一步指定参数化的用户可选择的菜单选项120n时，可以被重新计算。因此，用户能够通过顺序地约束诸如主题、对象、活动、位置、时间等之类的参数来放大和选择用于播放视频片段(参见图11、图12、图13)。
上文关于图1至图8所描述的方法100，500可以由控制器801执行。控制器801可以被实现为控制器电路。控制器801可以单独在硬件中实现，单独在包括固件在内的软件中具有某些方面，或者可以是硬件和软件(包括固件)的组合。
如图9所图示的，控制器801可以使用指令来实现，这些指令例如通过使用可以被存储在计算机可读存储介质(磁盘、存储器等)上以供这样的处理器802执行的通用或专用处理器802中的可执行计算机程序指令806启用硬件功能性。
处理器802被配置为从存储器804读取和向存储器804写入。处理器802还可以包括输出接口，处理器802经由该输出接口输出数据和/或命令；以及输入接口，数据和/或命令经由该输入接口被输入到处理器802。
存储器804至少存储包括计算机程序指令(计算机程序代码)的计算机程序806，该计算机程序当被加载到处理器802中时，控制装置800的操作。计算机程序806的计算机程序指令提供逻辑和例程，其使得该装置能够执行图1至图8中所图示的方法100，500。处理器802通过读取存储器804能够加载并且执行计算机程序806。
控制器801被配置为接收视频300以供处理。
控制器801被配置为经由一个或多个用户输入设备812接收用户输入。控制器被配置为经由显示器810提供用户输出。
显示器810可以是视觉显示器。视觉显示器的示例包括液晶显示器、有机发光显示器、发射式显示器、反射式显示器和透反式显示器、直接视网膜投影显示器、近眼显示器等。
用户输入设备812包括检测用户动作的电路。检测到的用户动作可以例如是在真实空间中执行的姿势。可以通过若干种方式检测手势。例如，深度传感器可以被用来检测用户各部位的移动和/或图像传感器可以被用来检测用户各部位的移动和/或附接到用户的肢体的位置/移动传感器可以被用来检测肢体的移动。
装置800可以被用来向用户提供“介导现实”。这是指用户在视觉上体验完全或部分人造环境(虚拟空间)作为至少部分由计算机显示给用户的虚拟场景。虚拟场景由虚拟空间内的视点和视场确定。显示虚拟场景意指以用户可以看到的形式提供虚拟场景。装置800可以是“增强现实”装置。增强现实是介导现实的一种形式，其中用户在视觉上体验部分人造环境(虚拟空间)作为包括由装置向用户显示的一个或多个视觉元素补充的物理现实世界环境(真实空间)的真实场景的虚拟场景。装置800可以是“虚拟现实”装置。虚拟现实是介导现实的一种形式，其中用户在视觉上体验完全人造环境(虚拟空间)作为装置向用户显示的虚拟场景。
显示器810可以是向用户提供显示虚拟场景的至少部分的光的数据额显示器。
装置800可以例如是包括作为显示器810的显示屏幕的手持式装置。手持式装置可以是用于增强现实的观看视频布置或者可以作为该用于增强现实的观看视频布置来操作，其使得真实场景的实况视频或录制视频能够被显示在显示器810上以供用户查看，同时一个或多个视觉元素被同时显示在显示器上以供用户查看。显示的真实场景和显示的一个或多个视觉元素的组合向用户提供虚拟场景。
装置800可以是头戴式装置。头戴式装置800可以是用于增强现实的透视布置，其使得能够观看实况真实场景，同时显示器向用户显示一个或多个视觉元素以组合提供虚拟场景。在这种情况下，遮护板(如果存在的话)是透明的或半透明的，使得可以通过遮护板观看实况真实场景202。
头戴式装置可以作为用于增强现实的观看视频布置来操作，其使得真实场景的实况视频或录制视频能够通过显示器810显示以供用户观看，同时一个或多个视觉元素通过显示器810同时显示以供用户查看。显示的真实场景和显示的一个或多个视觉元素的组合向用户提供虚拟场景。在这种情况下，遮护板是不透明的并且可以用作显示器810。
因此，装置800可以包括至少一个处理器802；以及至少一个存储器804，其包括计算机程序代码806，至少一个存储器804和计算机程序代码806被配置为与至少一个处理器802一起使得装置800至少执行：使得提供视觉访问菜单以使得用户能够访问场景的视频片段，其包括：使得显示场景的图像；使得在场景中第一位置处显示第一用户可选择的菜单选项，该第一用户可选择的菜单选项当被选择时，使得访问场景中第一位置处的活动的一个或多个第一视频片段；以及使得在场景中第二位置处显示第二用户可选择的菜单选项，该第二用户可选择的菜单选项当被选择时，使得访问场景中第二位置处的活动的一个或多个第二视频片段。
如图10所图示的，计算机程序806可以经由任何合适的递送机制820到达装置800。例如，递送机制820可以是非暂态计算机可读存储介质、计算机程序产品、存储器设备、诸如光盘只读存储器(CD-ROM)或数字多功能光盘(DVD)之类的记录介质、有形地体现计算机程序806的制品。递送机制可以是被配置为可靠地传送计算机程序806的信号。装置800可以传播或传送计算机程序806作为计算机数据信号。
尽管存储器804被图示为单个部件/电路，但是其可以被实现为一个或多个单独的部件/电路，其中的一些或全部可以被集成/可移除和/或可以提供永久/半永久/动态/高速缓存的存储。
尽管处理器802被图示为单个部件/电路，但是其可以被实现为一个或多个单独的部件/电路，其中的一些或全部可以被集成/可移除。处理器802可以是单核或多核处理器。
对“计算机可读存储介质”、“计算机程序产品”、“有形地体现的计算机程序”等或“控制器”、“计算机”、“处理器”等的引用应当被理解为不仅涵盖具有不同体系架构(诸如单/多处理器体系架构和顺序(Von Neumann)/并行体系架构)的计算机，而且还包括专用电路(诸如现场可编程门阵列(FPGA)、专用电路(ASIC)、信号处理设备和其他处理电路)。无论是用于处理器的指令还是用于固定功能设备、门阵列或可编程逻辑器件等的配置设置，对计算机程序、指令、代码等的引用都应当被理解为涵盖用于可编程处理器或固件的软件，诸如例如硬件设备的可编程内容。
如本申请中所使用的，术语“电路”是指以下所有内容：
(a)仅硬件电路实现方式(诸如仅在模拟和/或数字电路中的实现方式)；以及
(b)电路和软件(和/或固件)的组合，诸如(如适用)(i)一个或多个处理器的组合或(ii)一个或多个处理器/软件的部分(包括一个或多个数字信号处理器)、软件和一个或多个存储器，它们一起工作以使得诸如移动电话或服务器之类的装置执行各种功能；以及
(c)即使软件或固件没有物理存在，也需要软件或固件进行操作的电路，诸如一个或多个微处理器或一个或多个微处理器的一部分。“电路”的定义适用于本申请中的该术语的所有用途，其包括任何权利要求。作为进一步的示例，如在本申请中所使用的，术语“电路”还将包括仅仅处理器(或多个处理器)或处理器的一部分及其(或它们的)伴随软件和/或固件的实现方式。例如并且如果适用于特定权利要求元素，术语“电路”还将覆盖用于移动电话的基带集成电路或应用处理器集成电路或服务器、蜂窝网络设备或其他网络设备中的类似集成电路。
图5中所图示的框可以表示计算机程序806中的方法和/或代码段中的步骤。以特定顺序对框的说明不一定暗示该框存在所需顺序或优选顺序，并且框的顺序和布置可以变化。更进一步，有些框可能会被省略。
在已经描述了结构特征的情况下，无论该功能还是那些功能被明确地或隐含地描述，该结构特征都可以被用于执行结构特征的功能中的一个或多个功能的部件来被替换。
控制器801包括用于使得显示场景的图像的至少一部分部件；用于使得在场景中第一位置处显示第一用户可选择的菜单选项部件，该第一用户可选择的菜单选项当被选择时，使得访问场景中第一位置处的活动的一个或多个第一视频片段；以及用于在场景中第二位置处显示第二用户可选择的菜单选项的部件，该第二用户可选择的菜单选项当被选择时，使得访问场景中第二位置处的活动的一个或多个第二视频片段。
装置800包括用于显示场景的图像的至少一部分的部件；用于在场景中第一位置处显示第一用户可选择的菜单选项的部件；用于在场景中第二位置处显示第二用户可选择的菜单选项的部件；响应于用户对第一用户可选择的菜单选项的选择以提供对场景中第一位置处的活动的一个或多个第一视频片段的访问的部件；以及响应于用户对第二用户可选择的菜单选项的选择以提供对场景中第二位置处的活动的一个或多个第二视频片段的访问的部件。
术语“包括”在本文档中以包含而非排他性含义使用。也就是说，对X包括Y的任何引用都表示X可以仅包括一个Y或可以包括多于一个Y。如果旨在使用具有排他性含义的“包括”，则在上下文中通过参考“仅包括一个…”或者使用“由…组成”可以明白。
在该具体实施方式中，已经参考了各种示例。与示例相关的特征或功能的描述指示那些特征或功能在该示例中存在。在文本中使用术语“示例”或“例如”或“可以”表示无论是否明确陈述，至少在所描述的示例中存在这样的特征或功能，无论是否作为示例描述，并且它们可以但不一定存在于一些或所有其他示例中。因此，“示例”或“例如”或“可以”是指一类示例中的特定实例。实例的特性可以是仅该实例的一个特性，也可以是该类的特性或该类的子类的特性，该特性包括类中的一些但非所有实例。因此，隐含地公开了参考一个示例而非参照另一示例描述的特征可以尽可能地用于该另一示例中，但不一定必须用于该另一示例中。
尽管在先前段落中已经参照各种示例对本发明的实施例进行了描述，但是应当领会，在不背离所要求保护的本发明的范围的情况下，可以对给出的示例进行修改。
除了明确描述的组合之外，先前描述中描述的特征可以其他组合来使用。
尽管已经参考某些特征对功能进行了描述，但是无论是否被描述，那些功能均可以由其他特征来执行。
尽管已经参考某些实施例对特征进行了描述，但是无论是否被描述，那些特征均可以存在于其他实施例中。
虽然在前面的说明书中致力于将注意力集中在被认为特别重要的本发明的那些特征上，但是应当理解，无论是否特别强调，申请人都要求保护上文所援引的和/或在附图中示出的任何可专利特征或特征的组合。

Claims (12)

1.一种用于访问视频片段方法，包括：
使得提供视觉访问菜单以使得用户能够访问场景的时空视频片段，其中所述时空视频片段在空间上受到限制并且在时间上受到限制；
所述方法包括：
使得显示所述场景的图像的至少一部分；
使得在所述场景中第一位置处显示第一用户可选择的菜单选项，当所述第一用户可选择的菜单选项被选择时，使得访问所述场景中所述第一位置处的活动的一个或多个第一时空视频片段；
使得在所述场景中第二位置处显示第二用户可选择的菜单选项，当所述第二用户可选择的菜单选项被选择时，使得访问所述场景中所述第二位置处的活动的一个或多个第二时空视频片段；
其中用于访问所述场景中所述第一位置处的活动的一个或多个第一时空视频片段的所述第一用户可选择的菜单选项是播放第一视频摘要，所述播放第一视频摘要链接到所述一个或多个第一时空视频片段，并且用于访问所述场景中所述第二位置处的活动的一个或多个第二时空视频片段的所述第二用户可选择的菜单选项是播放第二视频摘要，所述播放第二视频摘要链接到所述一个或多个第二时空视频片段；并且
其中所述第一视频摘要是来自所述场景中所述第一位置处的第一时空视频片段的以循环播放的短视频部分，并且其中所述第一视频摘要的用户选择使得播放所述第一时空视频片段，和/或其中所述第二视频摘要是来自所述场景中所述第二位置处的第二时空视频片段的以循环方式播放的短视频部分的级联，并且其中对所述第二视频摘要的用户选择使得访问所述第二时空视频片段。
2.根据权利要求1所述的方法，包括：
根据多个参数使得对视频进行参数化；以及
基于视频的所述参数化来确定时空视频片段。
3.根据权利要求2所述的方法，其中对时空视频片段的所述确定是基于在由所述多个参数中的至少一些参数定义的参数空间中执行聚类分析。
4.根据权利要求1所述的方法，其中所述第一时空视频片段是由参数空间中的至少第一向量而参考的，所述参数空间由所述多个参数中的至少一些参数空间限定，并且所述第二时空视频片段是由相同的所述参数空间中的至少第二不同向量而参考的。
5.根据权利要求1所述的方法，包括：至少根据在所述视频中活动何时以及何地发生来使得对视频进行参数化；以及至少基于在所述视频中活动何时以及何地发生，来使得确定时空视频片段。
6.根据权利要求1所述的方法，至少根据在所述视频中活动何时以及何地发生以及谁执行所述活动，来使得对视频进行参数化；以及至少基于在所述视频中活动何时以及何地发生以及谁执行所述活动，来使得确定时空视频片段；和/或
至少根据在所述视频中活动何时以及何地发生以及所述活动是何活动来使得对视频进行参数化；以及至少基于所述视频中活动何时以及何地发生以及所述活动是何活动，来使得确定视频片段；和/或
至少根据在所述视频中活动何时以及何地发生以及所述活动与何相关，来使得对视频进行参数化；以及至少基于在所述视频中活动何时以及何地发生以及所述活动与何相关，来使得确定视频片段。
7.根据权利要求1所述的方法，其中所述多个参数是用户确定的参数和/或视频内容确定的参数。
8.根据权利要求1所述的方法，其中在播放时，所述第一视频摘要和所述第二视频摘以与所述场景的所述图像重叠的半透明形式而被同时显示。
9.根据权利要求1所述的方法，其中当所述第一用户可选择的菜单选项被选择时，所述第一用户可选择的菜单选项使得访问在不同时间的、所述场景中所述第一位置处的活动的第一时空视频片段的菜单。
10.根据任一前述权利要求所述的方法，其中所述第一时空视频片段和所述第二时空视频片段是来自具有全景视场的视频的不同时空片段。
11.一种用于访问视频片段的装置，包括用于执行任一前述权利要求所述的方法的部件。
12.一种计算机可读存储介质，其上存储计算机程序代码，所述计算机程序代码当被加载到处理器中时，使得能够实现根据权利要求1至10中的任一项所述的方法。
CN201680057066.1A 2015-09-29 2016-09-26 访问视频片段 Active CN108140401B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP15187333 2015-09-29
EP15187333.8 2015-09-29
EP16161457.3A EP3151243B1 (en) 2015-09-29 2016-03-21 Accessing a video segment
EP16161457.3 2016-03-21
PCT/FI2016/050670 WO2017055684A1 (en) 2015-09-29 2016-09-26 Accessing a video segment

Publications (2)

Publication Number Publication Date
CN108140401A CN108140401A (zh) 2018-06-08
CN108140401B true CN108140401B (zh) 2021-04-13

Family

ID=54293036

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680057066.1A Active CN108140401B (zh) 2015-09-29 2016-09-26 访问视频片段

Country Status (5)

Country Link
US (1) US10789987B2 (zh)
EP (1) EP3151243B1 (zh)
CN (1) CN108140401B (zh)
WO (1) WO2017055684A1 (zh)
ZA (1) ZA201802640B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019147905A1 (en) * 2018-01-26 2019-08-01 Brainbaby Inc Apparatus for partitioning, analyzing, representing, and interacting with information about an entity
JP7381556B2 (ja) * 2018-03-27 2023-11-15 スペースドラフト・プロプライエタリー・リミテッド メディアコンテンツ計画システム
CN113936614B (zh) 2020-06-29 2022-10-04 京东方科技集团股份有限公司 显示面板的驱动方法、驱动装置、显示装置和存储介质
CN112702626A (zh) * 2020-12-01 2021-04-23 咪咕文化科技有限公司 视频文件播放切换方法、服务器、客户端、设备及介质

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5191645A (en) * 1991-02-28 1993-03-02 Sony Corporation Of America Digital signal processing system employing icon displays
US6353461B1 (en) * 1997-06-13 2002-03-05 Panavision, Inc. Multiple camera video assist control system
US6504990B1 (en) * 1998-11-12 2003-01-07 Max Abecassis Randomly and continuously playing fragments of a video segment
EP1081960B1 (en) * 1999-01-29 2007-12-19 Sony Corporation Signal processing method and video/voice processing device
US7356830B1 (en) * 1999-07-09 2008-04-08 Koninklijke Philips Electronics N.V. Method and apparatus for linking a video segment to another segment or information source
US7075591B1 (en) * 1999-09-22 2006-07-11 Lg Electronics Inc. Method of constructing information on associate meanings between segments of multimedia stream and method of browsing video using the same
US6829428B1 (en) * 1999-12-28 2004-12-07 Elias R. Quintos Method for compact disc presentation of video movies
EP1297695A2 (en) * 2000-06-26 2003-04-02 NDS Limited Time shifted interactive television
US6964021B2 (en) * 2000-08-19 2005-11-08 Lg Electronics Inc. Method and apparatus for skimming video data
CN101272464B (zh) * 2003-06-02 2011-08-24 迪斯尼实业公司 用于画中画呈现的媒体回放设备、方法和系统
KR100971920B1 (ko) * 2003-06-02 2010-07-22 디즈니엔터프라이지즈,인크. 소비자용 비디오 플레이어를 위한 프로그램된 윈도우 제어시스템 및 방법
GB2404299A (en) * 2003-07-24 2005-01-26 Hewlett Packard Development Co Method and apparatus for reviewing video
WO2005122581A2 (en) * 2004-06-08 2005-12-22 Comcast Cable Holdings, Llc Method and system of video on demand dating
US20070003223A1 (en) * 2005-04-11 2007-01-04 Phatcat Media, Inc. User initiated access to secondary content from primary video/audio content
WO2007096004A1 (en) * 2006-02-27 2007-08-30 Robert Bosch Gmbh Video retrieval system, method and computer program for surveillance of moving objects
US20080046925A1 (en) * 2006-08-17 2008-02-21 Microsoft Corporation Temporal and spatial in-video marking, indexing, and searching
US20080155627A1 (en) * 2006-12-04 2008-06-26 O'connor Daniel Systems and methods of searching for and presenting video and audio
US20080163059A1 (en) * 2006-12-28 2008-07-03 Guideworks, Llc Systems and methods for creating custom video mosaic pages with local content
US8161369B2 (en) * 2007-03-16 2012-04-17 Branchfire, Llc System and method of providing a two-part graphic design and interactive document application
DE102007013811A1 (de) * 2007-03-22 2008-09-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur zeitlichen Segmentierung eines Videos in Videobildfolgen und zur Auswahl von Keyframes für das Auffinden von Bildinhalten unter Einbeziehung einer Subshot-Detektion
CN101918989B (zh) * 2007-12-07 2013-02-13 常州环视高科电子科技有限公司 带有对象跟踪和检索的视频监控系统
US8593485B1 (en) * 2009-04-28 2013-11-26 Google Inc. Automatic video and dense image-based geographic information matching and browsing
JP2011009846A (ja) * 2009-06-23 2011-01-13 Sony Corp 画像処理装置、画像処理方法及びプログラム
US20110129201A1 (en) * 2009-11-30 2011-06-02 International Business Machines Corporation Customized playback of broadcast media
US8489991B2 (en) * 2010-03-17 2013-07-16 Creative Technology Ltd System and method for video frame marking
US8515990B2 (en) * 2010-11-19 2013-08-20 Lg Electronics Inc. Mobile terminal and method of managing video using metadata therein
US20130036442A1 (en) * 2011-08-05 2013-02-07 Qualcomm Incorporated System and method for visual selection of elements in video content
JP5845801B2 (ja) * 2011-10-18 2016-01-20 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
US9159364B1 (en) * 2012-01-30 2015-10-13 Google Inc. Aggregation of related media content
CN103823870B (zh) * 2014-02-26 2020-05-26 联想(北京)有限公司 一种信息处理方法及电子设备
US20150325268A1 (en) * 2014-05-12 2015-11-12 Penthera Partners, Inc. Downloading videos with commercials to mobile devices
US9501915B1 (en) * 2014-07-07 2016-11-22 Google Inc. Systems and methods for analyzing a video stream
US9471954B2 (en) * 2015-03-16 2016-10-18 International Business Machines Corporation Video sequence assembly
WO2018169571A1 (en) * 2017-03-15 2018-09-20 Google Llc Segmentation-based parameterized motion models

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Video enhance dgigapixel panoramas;Michael F.Cohen;《SIGGRAPH ASIA 2012 TECHNICAL BRIEFS》;20121128;第1-4页 *

Also Published As

Publication number Publication date
CN108140401A (zh) 2018-06-08
EP3151243A3 (en) 2017-04-26
ZA201802640B (en) 2020-01-29
WO2017055684A1 (en) 2017-04-06
US20180277161A1 (en) 2018-09-27
US10789987B2 (en) 2020-09-29
EP3151243A2 (en) 2017-04-05
EP3151243B1 (en) 2021-11-24

Similar Documents

Publication Publication Date Title
CN107430629B (zh) 计算机呈现中的视觉内容的分优先级显示
WO2018188499A1 (zh) 图像、视频处理方法和装置、虚拟现实装置和存储介质
US9703446B2 (en) Zooming user interface frames embedded image frame sequence
JP6165846B2 (ja) 目のトラッキングに基づくディスプレイの一部の選択的強調
CN108140401B (zh) 访问视频片段
US20170163958A1 (en) Method and device for image rendering processing
US11044398B2 (en) Panoramic light field capture, processing, and display
US11210518B2 (en) Apparatus and associated methods for display of virtual reality content
US20160321833A1 (en) Method and apparatus for generating moving photograph based on moving effect
US10334222B2 (en) Focus-based video loop switching
KR101656167B1 (ko) 애니메이션 재생 방법, 장치, 기기, 프로그램 및 기록매체
US20190130193A1 (en) Virtual Reality Causal Summary Content
CN109753145B (zh) 一种过渡动画的展示方法和相关装置
KR20160067802A (ko) 자동 애니메이션을 생성하기 위한 방법 및 장치
US9349204B1 (en) Systems and methods for generating videos using animation and motion capture scene information
WO2023030176A1 (zh) 视频处理方法、装置、计算机可读存储介质及计算机设备
CN111527495B (zh) 用于应用视频观看行为的方法和装置
de Haan et al. Spatial navigation for context-aware video surveillance
US20110085018A1 (en) Multi-User Video Conference Using Head Position Information
JP5612457B2 (ja) 動画像表示装置と動画像オブジェクト探索システムと動画像表示方法とプログラム
US11195555B2 (en) Method and apparatus for defining a storyline based on path probabilities
CN108960130B (zh) 视频文件智能处理方法和装置
EP3190503A1 (en) An apparatus and associated methods
US9723216B2 (en) Method and system for generating an image including optically zoomed and digitally zoomed regions
US20240104699A1 (en) Generating A Gallery View From An Area View

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant