CN104012106B - 使表示不同视点的视频对准 - Google Patents

使表示不同视点的视频对准 Download PDF

Info

Publication number
CN104012106B
CN104012106B CN201180075785.3A CN201180075785A CN104012106B CN 104012106 B CN104012106 B CN 104012106B CN 201180075785 A CN201180075785 A CN 201180075785A CN 104012106 B CN104012106 B CN 104012106B
Authority
CN
China
Prior art keywords
video
frame
source
panoramic video
viewing angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180075785.3A
Other languages
English (en)
Other versions
CN104012106A (zh
Inventor
汪孔桥
L·卡凯南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN104012106A publication Critical patent/CN104012106A/zh
Application granted granted Critical
Publication of CN104012106B publication Critical patent/CN104012106B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/16—Spatio-temporal transformations, e.g. video cubism
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种用于生成全景视频重混的方法，用于：在处理设备中获取多个源视频(700)，确定源视频根据事件以形成全景或者多角度视频重混的适合性(702)，选择(704)适合的源视频中的至少两个源视频并且使其对准(706)。该适合的源视频表示对事件的相应的观看角度或视点。源视频的适合性可以使用位置元数据或公共音频场景的存在来确定。

Description

使表示不同视点的视频对准
技术领域
各个实施例总体上涉及图像处理，更具体地涉及全景。
背景技术
视频重混是一种将多个视频记录进行组合以获取包含选自多个视频记录的一些分段的视频混合的应用。因而，视频重混是已经可用于各种软件产品和服务的基本手动视频编辑应用之一。此外，存在有自动视频重混或编辑系统，这些系统使用用户生成的多个实例或者专业记录来自动生成将来自可用源内容的内容进行组合的重混。
视频重混可以应用于例如根据来自同一事件(例如内容)的多个用户生成的视频捕获来创建视频重混。关注该内容的人可以向服务器上载用他们自己的照相机捕获的视频，然后，通过该服务器上的视频重混应用来执行视频编辑和元数据提取，使得用关于该内容的灵巧的元数据标记的视频可以准备好用于下载/共享为这样的视频或者来自多个视频捕获的重混。
然而，例如由于很多人从大致相同的位置捕获他们的视频记录的这一事实，上载在服务器上的视频捕获通常在它们的信息内容方面具有大量冗余。因此，该内容将在某个时间段从某个视点被多次捕获。数据冗余将会使得服务器很庞大，并且也能使得用户迷失在视频下载中。
另一问题是，如果用户从服务器下载视频重混，则用户通常限于从通过视频重混应用所选择的视点来观看事件。如果用户想要从另一角度来观看事件，则他/她需要从服务器下载另一视频捕获或者视频重混。
发明内容
现在，已经发明有一种改进的方法以及实现该方法的技术设备以用于缓解以上问题。本发明的各个方面包括方法、装置和计算机程序，其特征在于独立权利要求中所指出的内容。本发明的各个实施例在从属权利要求中公开。
根据第一方面，提供有一种方法，包括：在处理设备中获取多个源视频；确定源视频根据事件以形成全景视频重混的适合性；选择至少两个适合的源视频以用于全景视频重混；以及将所述至少两个适合的源视频在帧级上合并成全景视频重混，其中每个源视频的帧表示对事件的观看角度。
根据一种实施例，源视频根据事件以形成全景视频重混的适合性根据以下中的至少一个来确定：
-多个源视频的位置信息的相似性；或者
-在多个源视频中的公共音频场景的存在。
根据一种实施例，位置信息从源视频的元数据中获取，所述位置信息与源视频同时记录。
根据一种实施例，上述方法还包括：比较至少两个源视频的音频场景的相似性；以及在预定数量的相似性的基础上，确定所述至少两个源视频来自同一事件。
根据一种实施例，上述方法还包括：根据源视频来估计图像捕获设备与感兴趣的捕获对象之间的捕获距离；以及选择要在全景视频重混中使用的具有在预定范围内的捕获距离的若干源视频。
根据一种实施例，上述方法还包括：从至少两个源视频的帧中搜索感兴趣的公共捕获对象，所述至少两个视频是用不同的捕获距离捕获的；响应于从所述至少两个源视频的帧中检测到至少一个感兴趣的公共捕获对象，对所述至少两个源视频的帧应用至少一个仿射变换处理以便以兼容比例尺来变换所述至少一个感兴趣的公共捕获对象；以及将所述至少两个源视频选择为要在全景视频重混中使用。
根据一个实施例，所选择的源视频具有不同的帧率并且全景视频重混具有可变帧率。
根据一个实施例，上述方法还包括：分析所选择的源视频的音频场景；以及响应于检测到公共音频分量，在公共音频分量的基础上使源视频以时间轴对准。
根据一个实施例，上述方法还包括：确定时间间隔，其中在所述时间间隔内的源视频的帧可贡献给全景视频帧；以及选择在所述时间间隔内的被用于创建单个全景视频帧的源视频的帧中的至少一个帧。
根据一个实施例，上述方法还包括：接收用于下载全景视频重混的第一用户请求，所述用户请求包括下载从第一观看角度的全景视频重混的请求；以及开始从全景视频重混下载仅表示所请求的第一观看角度的源视频的帧。
根据一个实施例，上述方法还包括：接收用于下载从第二观看角度的全景视频重混的第二用户请求；停止下载表示所请求的第一观看角度的源视频的帧；以及开始从全景视频重混下载仅表示所请求的第二观看角度的源视频的帧。
根据第二方面，提供了一种装置，至少包括一个处理器、包含计算机程序代码的存储器，存储器和计算机程序代码被配置成与至少一个处理器一起使得所述装置至少：获取多个源视频；确定源视频根据事件以形成全景视频重混的适合性；选择至少两个适合的源视频以用于全景视频重混；以及将所述至少两个适合的源视频在帧级上合并成全景视频重混，其中每个源视频的帧表示对事件的观看角度。
根据第三方面，提供了一种嵌入在非暂态计算机可读介质上的计算机程序，该计算机程序包括当在至少一个处理器上执行时使得至少一个装置进行以下操作的指令：获取多个源视频；确定源视频根据事件以形成全景视频重混的适合性；选择至少两个适合的源视频以用于全景视频重混；以及将所述至少两个适合的源视频在帧级上合并成全景视频重混，其中每个源视频的帧表示对事件的观看角度。
根据第四方面，提供了一种方法，包括：发送用于从服务器下载全景视频重混的第一用户请求，所述用户请求包括下载从第一观看角度的全景视频重混的请求；从全景视频重混下载仅表示上述装置的所请求的第一观看角度的源视频的帧；以及安排表示第一观看角度的帧在上述装置上显示。
根据第五方面，提供了一种装置，至少包括一个处理器、包含计算机程序代码的存储器，存储器和计算机程序代码被配置成与所述至少一个处理器一起使得所述装置至少：发送用于从服务器下载全景视频重混的第一用户请求，所述用户请求包括下载从第一观看角度的全景视频重混的请求；从全景视频重混下载仅表示上述装置的所请求的第一观看角度的源视频的帧；以及安排表示第一观看角度的所述帧在上述装置上显示。
鉴于下面进一步描述的实施例的详细公开内容，本发明的这些和其他方面及其相关的实施例将变得清楚。
附图说明
下面，将参考附图更详细地描述本发明的各个实施例，其中：
图1a和图1b示出了根据一个实施例的适合于在全景视频重混服务中使用的系统和设备；
图2示出了全景视频重混服务的实现方式实施例的框图；
图3示出了根据一个实施例的使用所选择的源帧的时间对应的帧的全景视频重混的帧的创建；
图4示出了根据一个实施例的用于选择源视频的要用于创建单个全景视频帧的帧的时间间隔；
图5示出了在移动电话上实现的全景视频播放应用的用户界面的示例；
图6示出了根据一个实施例的概念级的全景视频帧；
图7示出了用于创建全景视频重混的一个实施例的流程图；以及
图8示出了用于浏览装置上的全景视频重混的一个实施例的流程图。
具体实施方式
如通常所知，很多现代便携式设备比如移动电话、照相机、平板电脑设置有高质量的照相机，其使得能够捕获高质量的视频文件和静止图像。除了上述能力，这样的手持式电子设备现在还配备有多个传感器，在置于如何使用这些设备的背景中研究时，这些传感器可以帮助实现不同的应用和服务。此外，很多便携式设备配备有用于确定该设备的位置的器件，比如GPS接收器。
通常，在很多人关注的事件比如演唱会现场、体育游戏、社会事件处，有许多人使用他们的便携式设备来记录静止图像和视频。记录来自这样的事件的关注为本发明及其实施例提供了适合的框架。
图1a和图1b示出了根据一个实施例的适合于在视频重混服务中使用的系统和设备。在图1a中，不同的设备可以经由固定网络210比如互联网或局域网、或者移动通信网络220比如全球移动通信系统(GSM)网络、第3代(3G)网络、第3.5代(3.5G)网络、第4代(4G)网络、无线局域网(WLAN)、或其他当前的和未来的网络来连接。不同的网络借助于通信接口280彼此连接。这些网络包括用于处理数据的网络元件比如路由器和交换机以及通信接口比如基站230和231以便于提供不同的设备对网络的访问，并且基站230、231自身经由固定连接276或者无线连接277连接至移动网络220。
可能存在大量服务器连接至网络，并且图1a的示例中示出了服务器240、241和242，每个服务器连接至移动网络220，这些服务器可以被布置成作为用于视频重混服务的计算节点来操作。以上设备中的一些设备比如计算机240、241、242可以如下：它们被布置成用固定网络210中存在的通信元件来实现与互联网的连接。
还存在大量最终用户设备比如移动电话和智能电话251、互联网访问设备比如互联网平板电脑250、各种尺寸和格式的个人计算机260、电视机和其他观看设备261、视频解码器和播放器262以及视频照相机263和其他编码器。这些设备250、251、260、261、262和263也可以由多个部件构成。各个设备可以经由通信连接比如至互联网的固定连接270、271、272和280、至互联网210的无线连接273、至移动网络220的固定连接275、以及至移动网络220的无线连接278、279和282而连接至网络210和220。连接271至连接282借助于在通信连接的相应端处的通信接口来实现。
图1b示出了根据一个示例实施例的用于视频重混的设备。如图1b所示，服务器240包含存储器245、一个或更多个处理器246、247以及在存储器245中驻留的用于实现例如自动视频重混的计算机程序代码248。不同的服务器241、242、290可以包含至少这些元件以采用与每个服务器相关的功能。
类似地，最终用户设备251包含存储器252、至少一个处理器253和256以及在存储器252上驻留的用于实现例如姿势识别的计算机程序代码254。最终用户设备还可以具有用于捕获图像数据比如立体视频的一个或更多个照相机255和259。最终用户设备还可以包含用于捕获声音的一个、两个或更多个麦克风257和258。
最终用户设备还可以包括用于观看单视图图像、立体图像(2视图)或多视图(多于2视图)图像的屏幕。最终用户设备还可以例如借助于能够接收和/或发送信息的通信块293连接至视频眼镜290。该眼镜可以包含用于左眼和右眼的单独的眼镜元件291和292。这些眼镜元件可以示出用于观看的图片，或者可以包括例如用于以交替方式遮挡每个其他图片以向眼睛提供三维图片的两个视图的遮蔽功能，或者可以包括正交极化过滤器(彼此相比较)，该过滤器在连接至在屏幕上实现的类似的极化时向眼睛提供单独的视图。用于视频眼镜的其他布置也可以用来提供立体观看功能。立体或多视图屏幕也可以是自动立体显示的，即屏幕可以包括光学布置或者可以被光学布置覆盖，该光学布置产生由每个眼睛感知的不同的视图。单视图屏幕、立体屏幕和多视图屏幕还可以以如下方式在操作上连接至观看者：该方式使得所显示的视图取决于观看者相对于屏幕的位置、距离和/或注视方向。
需要理解的是，不同的实施例允许在不同的元件中实现不同的部件。例如，视频重混的各种处理可以在一个或更多个处理设备中执行；例如，整个在一个用户设备如250、251或260中，或者在一个服务器设备240、241、242或290中，或者跨越多个用户设备250、251、260或跨越多个网络设备240、241、242、290或跨越用户设备250、251、260以及网络设备240、241、242、290两者。视频重混处理的元件可以实现为在一个设备上驻留的或者在若干设备上分布的软件部件，如上所述，例如使得设备形成所谓的云。
一个实施例涉及一种用于创建全景视频重混的方法，该全景视频重混提供根据事件的多个视点例如不同观看角度。在这个方法中，适当地分析上载的视频并且创建全景视频重混，其优选地尽可能宽地覆盖事件的全景范围。在分析之后，选择两个或多个例如2个、3个、4个、5个、6个、7个、8个、9个、10个或更多个上载的视频捕获作为用于全景视频的源视频，接着将所选择的源视频在帧级上合并成全景视频。如果需要，之后可以丢弃来自用户的上载的视频以便节省服务器的存储资源。在已经开始全景视频的下载之后，用户可以基于可用全景视频自由地选择任何角度来观看事件。
现在，参考图2更详细地说明如上所述的全景视频重混的实现，其公开了用于全景视频重混服务的实现的示例。存在用于捕获来自同一事件例如音乐会的视频内容的多个视频捕获设备201、202、203，比如配备有照相机的移动电话。所捕获的视频被上载在视频服务器204中作为全景视频重混的多个源视频。虽然图2以示例化的方式示出了多个移动电话作为视频捕获设备，然而应当指出的是，源视频可以源自于一个或更多个最终用户设备，或者可以从连接至网络的计算机或服务器来加载。源视频可以而非必须用任何公知的视频编码标准如MPEG2、MPEG4、H.264/AVC等来编码。
对源视频进行视频重混处理205以创建全景视频重混。该视频重混处理可以通过视频重混应用来执行，该视频重混应用可以由一个或更多个应用程序组成，这些应用程序可以分布在一个或更多个数据处理设备上。该视频重混处理可以被分成若干子处理，这些子处理可以至少包括：从源视频中提取元数据；选择要在全景视频重混中使用的源视频；编辑从源视频获取的视频数据；以及创建全景视频重混。
为了创建全景视频重混，还需要确定哪些源视频可以被合理附接在一起；即哪些源视频源自于同一事件。在一个事件处可能存在多个最终用户图像/视频捕获设备。根据一个实施例，可以基于基本上相似的位置信息(例如来自GPS或任何其他定位系统)或者经由公共音频场景的存在来自动检测源自同一事件的源视频。根据一个实施例，源视频可以包含元数据的数据，其至少包括位置信息，比如优选地与视频一起同时记录的并且具有与其同步的时间戳的GPS传感器数据。根据另一实施例，可以比较源视频的音频场景以寻找足够的相似性，并且可以在找到的相似性的基础上确定源视频是否来自同一事件。
为了创建合理的全景视频重混，确定源视频是否来自同一事件是不够的。例如，在一些情况下，将从几米远的距离捕获的特写视频组合到从几十米远的距离捕获的长距离视频中是不可能的。根据一个实施例，视频重混应用被布置成估计图像捕获设备与感兴趣的对象之间的捕获距离。该捕获距离可以使用例如立体照相机或多视图照相机来估计，其中例如可以在估计距离时使用观看者跟踪处理。接着，视频重混应用可以选择具有在预定范围内的捕获距离的若干源视频以在全景视频重混中使用。
然而，在另外的一些情况下，可以使用各种图像处理方法来组合特写视频和远距离视频。因此，根据另一实施例，备选地或附加地估计捕获距离，该视频重混应用还被布置成寻找特写视频的帧(即近距离捕获)与风景视频的帧(即远距离捕获)之间的尺寸匹配。例如，如果在两个视频即特写视频和远距离视频中捕获到了感兴趣的对象，从而与在远距离视频中相比，该对象在特写视频中示出的较大，则可以使用对象匹配方法来确定它们是否表示同一对象。如果是肯定的，则可以使用仿射变换处理来合并两个视频以用于创建全景视频重混。该仿射变换处理可以包括例如旋转变换和比例尺变换。
一旦选择了源视频用于全景视频重混，则可能对它们进行各种编辑处理。例如，如果源视频是编码的，则需要对其进行解码使得可以在帧级上对其进行进一步处理。
根据一个实施例，所选择的源视频可以具有不同的帧率。例如，第一源视频可以具有每秒20个帧(fps)的帧率并且第二源视频可以具有30fps的帧率。因此，全景视频的两个连续帧之间的时间间隔可能不是恒定的，而是可变的。
为了在帧级上创建全景视频重混而没有任何模糊效果，则需要所选择的源视频足够地时间对准。如果所选择的源视频具有不同的帧率，则时间对准的重要性就更突出。根据一个实施例，时间对准可以通过分析源视频的音频场景并且之后寻找公共背景音频分量来实现，该源视频可以很容易地以时间轴对准。与例如使用来自捕获设备的捕获时间戳(其中可能很容易出现若干秒的偏差)相比，这使得能够实现非常精确的时间对准。
一旦所选源视频已经以时间轴对准，则基于所选源帧的时间对应的帧来创建全景视频重混的帧。
这在图3的示例中说明，其中已经选择了三个源视频(视频1至视频3)用于创建全景视频重混。所选择的源视频具有彼此不同的帧率。现在，基于源视频的时间对应的帧中的一个或更多个帧来创建全景视频重混的帧。
根据一个实施例，为了选择源视频的哪些帧将用于创建单个全景视频帧，定义了时间间隔，其中在所述时间间隔内的源视频的帧可以可贡献给具体的全景视频帧。这在图4中示出，其中在时间点t0处，基于在时间点t0的间隔δ内的所有可用源视频帧(帧1、帧2和帧3)来创建全景视频帧Pi。帧4不可贡献给全景帧Pi，因为其在时间点t0的间隔δ的范围之外。该时间间隔可以例如基于源视频的帧率的偏差来适当地调整。
如图3的示例中所示，第一全景视频帧基于来自三个源视频中的每个源视频的帧来创建。第二全景视频帧基于来自源视频2和源视频3的帧来创建。相应地，第三全景视频帧和第四全景视频帧基于来自源视频1和源视频2的单个帧来创建。由于源视频的不同帧率，全景视频的两个连续的帧之间的时间间隔是可变的。
可能创建全景视频重混，其中该全景视频重混的帧率是恒定的而不管源视频的不同的帧率，如全景视频2和3中所示。在使用多个源视频时，在全景视频的帧的定时点处以高概率存在可用的源帧。然而，如果在全景帧的定时点处，没有源视频帧在δ的间隔内，则在所述定时点处可以在全景视频重混中使用空帧。
又返回参考图2，在已经创建了一个或更多个全景视频重混时，它们存储在视频服务器206的存储器中以便可用于下载。在图2中，出于示意性目的，将视频服务器206示出为与视频服务器205分离的处理设备，但是该实现也可以完全在一个视频服务器中执行。现在，可以从视频服务器中删除在创建一个或更多个全景视频重混时使用的原始源视频，从而释放视频服务器的存储空间。
所存储的一个或更多个全景视频重混可以通过能够显示视频内容的多个装置207、208来下载。该装置207、208可以而非必须与视频捕获设备201、202、203相似或相同。
装置207、208优选地包括用于从全景视频中选择期望的观看角度以及用于下载优选地仅与所选观看角度相关的视频数据的应用。因此，不需要下载全部全景视频数据，而仅需要下载与当前所选的观看角度相关的数据。
图5示出了在移动电话502上实现的这样的应用的用户接口500的示例。这个应用也称为全景视频播放器在这个示例中实现为看起来与现有(现有技术)视频播放器类似，但是这个应用设置有用于通过水平或竖直移动场景来选择观看角度的用户接口元件504。在图5中，将用户接口元件504示出为要在移动电话502的触摸屏上使用的具有带箭头的十字形状的功能图标。然而，本领域技术人员容易理解的是，该用户接口元件504可以实现为任何适合的控制器件，如硬按钮、软按钮、菜单功能等。回放定时器506示出了视频的时间进度。
移动电话的用户可以通过使用用户接口元件504例如水平地移动场景来选择观看角度，之后将下载与所选观看角度相对应的全景视频中的视频数据。在视频回放期间，用户可以通过再次移动场景来改变观看角度，之后将开始下载与改变后的观看角度相对应的全景视频中的视频数据。
图6示出了概念级的全景视频帧的想法。每个时间全景视频帧600、602、604、……包括与可用观看角度相对应的多个视图。在图6中，仅示出了两个视图606、608以用于全景视频帧600，然而应当理解的是，全景视频帧可以包括任何数量的视图。全景视频帧600、602、604、……以时间顺序示出，即，全景视频帧600表示时间T＝Ti，全景视频帧602表示时间T＝Ti+m，全景视频帧604表示时间T＝Ti+n(0<m<n)等等。
假定，例如用户已经在时间T＝Ti之前从与视图606相对应的观看角度观看了视频。现在，在时间T＝Ti处，用户想要改变视频窗口以用于观看全景视频的另一视图。例如，用户可以按下用户接口元件504上的右箭头，以使得视频窗口能够在时间T＝Ti处从视图606向右移动至视图608。在移动离开视图606时，将停止与视图606相对应的视频数据的下载，并且将开始与视图608相对应的视频数据的下载。现在，从时间T＝Ti向前，用户将观看在空间上来自视图608的视频。
图7示出了用于根据多个源视频创建全景视频重混的处理的流程图。处理设备比如视频服务器获取(700)多个源视频，这些源视频可以例如通过一个或更多个最终用户设备或者通过连接至网络的计算机或服务器来上载。接着，在处理设备中确定(702)源视频根据事件来形成全景视频重混的适合性。这可以包括例如搜索多个源视频的位置信息的相似性，或者检测多个源视频中的公共音频场景。接着，选择(704)至少两个适合的源视频以进行全景视频重混。将所选择的至少两个适合的源视频在帧级上合并成全景视频重混，其中每个源视频的帧表示对事件的观看角度。
图8示出了用于浏览装置上的全景视频的处理的流程图。当开始浏览时，装置例如移动电话的用户发送(800)用于从服务器下载全景视频重混的第一用户请求，其中所述用户请求包括下载从用户所选择的第一观看角度的全景视频重混的请求。该装置从全景视频重混下载(802)仅表示所请求的第一观看角度的源视频的帧。接着，该装置安排(804)表示第一观看角度的帧在该装置上显示。
出于说明的目的，图8还示出了如果用户在浏览期间想要改变观看角度则要执行的可选步骤。之后，在所述装置上获取(806)用于开始显示从第二观看角度的全景视频重混的用户命令。该用户命令可以例如由图5所示的用户接口元件504来给定。接着，该装置向服务器发送(808)用于下载从第二观看角度的全景视频重混的第二用户请求。该装置开始从所述服务器上的全景视频重混下载(810)仅表示所请求的第二观看角度的源视频的帧。接着，该装置安排(812)表示第二观看角度的帧在该装置上显示。
技术人员可以理解的是，上述实施例中的任何实施例可以实现为与其他实施例中的一个或更多个实施例组合，除非明确地或暗示地指出某些实施例仅是彼此备选的。
与现有技术相比，这些多个实施例可以提供优点。因为全景视频重混的创建使得源视频可以具有不同的帧率，所以可以利用多广范围的源视频。各个实施例在源视频精确地时间对准的情况下提供了真实的帧级的全景视频重混。在视频共享期间，用户可以基于可用全景视频选择任何角度来观看事件。替代下载全部全景视频文件，仅下载与给定时刻所选择的角度有关的视频数据，从而避免了数据传输方面的冗余。通过删除在全景视频重混的创建时使用的原始源视频还可以更有效地利用视频服务器的存储空间。
本发明的多种实施例可以在计算机程序代码的帮助下来实现，该计算机程序代码驻留于存储器中并且使得有关装置执行本发明。例如，终端设备可以包括用于处理、接收和发送数据的电路和电子器件、存储器中的计算机程序代码以及处理器，该处理器在运行计算机程序代码时致使终端设备实现实施例的特征。
另外，网络设备可以包括用于处理、接收和发送数据的电路和电子器件、存储器中的计算机程序代码以及处理器，该处理器在运行计算机程序代码时致使网络设备实现实施例的特征。多个设备可以是编码器、解码器和代码转换器、分组器和去分组器以及发送器和接收器，或者可以包括编码器、解码器和代码转换器、分组器和去分组器以及发送器和接收器。
显然，本发明并非仅限于上述实施例，而是可以在所附权利要求的范围内进行修改。

Claims (24)

1.一种用于生成全景视频重混的方法，包括：
在处理设备中获取多个源视频；
确定所述源视频根据事件以形成全景视频重混的适合性，其中确定所述适合性包括：根据所述源视频来估计图像捕获设备与感兴趣的捕获对象之间的捕获距离；
通过选择要在所述全景视频重混中使用的、具有在预定范围内的所述捕获距离的若干源视频，来选择至少两个适合的源视频以用于所述全景视频重混；以及
将所述至少两个适合的源视频在帧级上合并成所述全景视频重混，其中每个源视频的帧表示对所述事件的观看角度。
2.根据权利要求1所述的方法，其中所述源视频根据所述事件以形成所述全景视频重混的所述适合性根据以下各项中的至少一项确定：
-多个所述源视频的位置信息的相似性；或者
-在多个所述源视频中的公共音频场景的存在。
3.根据权利要求2所述的方法，其中
所述位置信息从所述源视频的元数据中获取，所述位置信息与所述源视频同时记录。
4.根据权利要求2或3所述的方法，进一步包括：
比较至少两个源视频的所述音频场景的相似性；以及
在预定量的相似性的基础上，确定所述至少两个源视频来自同一事件。
5.根据权利要求1所述的方法，进一步包括：
从至少两个源视频的帧中搜索感兴趣的公共捕获对象，所述至少两个源视频用不同的捕获距离捕获；
响应于从所述至少两个源视频的所述帧中检测到至少一个感兴趣的公共捕获对象，对所述至少两个源视频的所述帧应用至少一个仿射变换处理以便以兼容比例尺来变换所述至少一个感兴趣的公共捕获对象；以及
将所述至少两个源视频选择为要在所述全景视频重混中使用。
6.根据权利要求1所述的方法，其中
所选择的源视频具有不同的帧率并且所述全景视频重混具有可变帧率。
7.根据权利要求1所述的方法，进一步包括：
分析所选择的源视频的音频场景；以及
响应于检测到公共音频分量，在所述公共音频分量的基础上使所述源视频以时间轴对准。
8.根据权利要求1所述的方法，进一步包括：
确定时间间隔，其中在所述时间间隔内的所述源视频的所述帧可贡献给全景视频帧；以及
选择在所述时间间隔内的被用于创建单个全景视频帧的所述源视频的帧中的至少一个帧。
9.根据权利要求1所述的方法，进一步包括：
接收用于下载所述全景视频重混的第一用户请求，所述用户请求包括用于下载从第一观看角度的所述全景视频重混的请求；以及
开始从所述全景视频重混下载仅表示所请求的第一观看角度的所述源视频的所述帧。
10.根据权利要求9所述的方法，进一步包括：
接收用于下载从第二观看角度的所述全景视频重混的第二用户请求；
停止下载表示所请求的第一观看角度的所述源视频的所述帧；以及
开始从所述全景视频重混下载仅表示所请求的第二观看角度的所述源视频的所述帧。
11.一种用于生成全景视频重混的装置，包括
用于获取多个源视频的装置；
用于确定所述源视频根据事件以形成全景视频重混的适合性的装置，其中用于确定所述适合性的装置包括：用于根据所述源视频来估计图像捕获设备与感兴趣的捕获对象之间的捕获距离的装置；
用于通过选择要在所述全景视频重混中使用的、具有在预定范围内的所述捕获距离的若干源视频来选择至少两个适合的源视频以用于所述全景视频重混的装置；以及
用于将所述至少两个适合的源视频在帧级上合并成所述全景视频重混的装置，其中每个源视频的帧表示对所述事件的观看角度。
12.根据权利要求11所述的装置，其中所述源视频根据所述事件以形成所述全景视频重混的所述适合性根据以下各项中的至少一个确定：
-多个所述源视频的位置信息的相似性；或者
-在多个所述源视频中的公共音频场景的存在。
13.根据权利要求12所述的装置，其中
所述位置信息从所述源视频的元数据中获取，所述位置信息与所述源视频同时被记录。
14.根据权利要求12或13所述的装置，进一步包括：
用于比较至少两个源视频的所述音频场景的相似性的装置；以及
用于在预定量的相似性的基础上确定所述至少两个源视频来自同一事件的装置。
15.根据权利要求11所述的装置，进一步包括：
用于从至少两个源视频的帧中搜索感兴趣的公共捕获对象的装置，所述至少两个源视频用不同的捕获距离捕获；
用于响应于从所述至少两个源视频的所述帧中检测到至少一个感兴趣的公共捕获对象，对所述至少两个源视频的所述帧应用至少一个仿射变换处理以便以兼容比例尺来变换所述至少一个感兴趣的公共捕获对象的装置；以及
用于将所述至少两个源视频选择为要在所述全景视频重混中使用的装置。
16.根据权利要求11所述的装置，其中
所选择的源视频具有不同的帧率并且所述全景视频重混具有可变帧率。
17.根据权利要求11所述的装置，进一步包括：
用于分析所选择的源视频的音频场景的装置；以及
用于响应于检测到公共音频分量，在所述公共音频分量的基础上使所述源视频以时间轴对准的装置。
18.根据权利要求11所述的装置，进一步包括：
用于确定时间间隔的装置，其中在所述时间间隔内的所述源视频的所述帧可贡献给全景视频帧；以及
用于选择在所述时间间隔内的被用于创建单个全景视频帧的所述源视频的帧中的至少一个帧的装置。
19.根据权利要求11所述的装置，进一步包括：
用于接收用于下载所述全景视频重混的第一用户请求的装置，所述用户请求包括用于下载从第一观看角度的所述全景视频重混的请求；
用于开始从所述全景视频重混下载仅表示所请求的第一观看角度的所述源视频的帧的装置。
20.根据权利要求19所述的装置，进一步包括：
用于接收用于下载从第二观看角度的所述全景视频重混的第二用户请求的装置；
用于停止下载表示所请求的第一观看角度的所述源视频的所述帧的装置；以及
用于开始从所述全景视频重混下载仅表示所请求的第二观看角度的所述源视频的帧的装置。
21.一种用于生成视频全景重混的装置，所述装置被配置成执行根据权利要求1至10中任一项所述的方法。
22.一种用于显示视频全景再混的方法，包括：
发送用于从服务器下载根据权利要求1所述的方法生成的全景视频重混的第一用户请求，所述用户请求包括用于下载从第一观看角度的所述全景视频重混的请求；
从所述全景视频重混将仅表示所请求的第一观看角度的源视频的帧下载到装置；
安排表示所述第一观看角度的所述帧以在所述装置上显示；
在所安排的表示所述第一观看角度的所述帧被显示在所述装置上时，获取用于从第二观看角度显示所述全景视频重混的用户命令；以及
响应于用于从第二观看角度显示所述全景视频重混的所述用户命令，发送用于从所述服务器下载所述全景视频重混的第二用户请求，所述第二用户请求包括用于下载从所述第二观看角度的所述全景视频重混的请求。
23.一种用于显示视频全景重混的装置，所述装置被配置成执行根据权利要求22所述的方法。
24.一种用于显示视频全景再混的装置，包括：
用于发送用于从服务器下载根据权利要求11所述的装置生成的全景视频重混的第一用户请求的装置，所述用户请求包括用于下载从第一观看角度的所述全景视频重混的请求；
用于从所述全景视频重混将仅表示所请求的第一观看角度的源视频的帧下载到所述装置的装置；
用于安排表示所述第一观看角度的所述帧以在所述装置上显示的装置；
用于在所安排的表示所述第一观看角度的所述帧被显示在所述装置上时，获取用于从第二观看角度显示所述全景视频重混的用户命令的装置；以及
用于响应于用于从第二观看角度显示所述全景视频重混的所述用户命令，而发送用于从所述服务器下载所述全景视频重混的第二用户请求的装置，所述第二用户请求包括用于下载从所述第二观看角度的所述全景视频重混的请求。
CN201180075785.3A 2011-12-23 2011-12-23 使表示不同视点的视频对准 Expired - Fee Related CN104012106B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/FI2011/051153 WO2013093176A1 (en) 2011-12-23 2011-12-23 Aligning videos representing different viewpoints

Publications (2)

Publication Number Publication Date
CN104012106A CN104012106A (zh) 2014-08-27
CN104012106B true CN104012106B (zh) 2017-11-24

Family

ID=48667812

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180075785.3A Expired - Fee Related CN104012106B (zh) 2011-12-23 2011-12-23 使表示不同视点的视频对准

Country Status (4)

Country Link
US (1) US20150222815A1 (zh)
EP (1) EP2795919A4 (zh)
CN (1) CN104012106B (zh)
WO (1) WO2013093176A1 (zh)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10116911B2 (en) * 2012-12-18 2018-10-30 Qualcomm Incorporated Realistic point of view video method and apparatus
CN105493524A (zh) 2013-07-25 2016-04-13 康维达无线有限责任公司 端到端m2m服务层会话
CN106576191B (zh) * 2013-09-13 2020-07-14 英特尔公司 视频制作共享设备及方法
JP2016025640A (ja) * 2014-07-24 2016-02-08 エイオーエフ イメージング テクノロジー リミテッド 情報処理装置、情報処理方法およびプログラム
CN104410792B (zh) * 2014-12-16 2018-12-11 广东欧珀移动通信有限公司 一种基于同一场景的视频合并方法及装置
US10015551B2 (en) 2014-12-25 2018-07-03 Panasonic Intellectual Property Management Co., Ltd. Video delivery method for delivering videos captured from a plurality of viewpoints, video reception method, server, and terminal device
GB2534136A (en) 2015-01-12 2016-07-20 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
US9554160B2 (en) * 2015-05-18 2017-01-24 Zepp Labs, Inc. Multi-angle video editing based on cloud video sharing
EP3298792A1 (en) * 2015-06-15 2018-03-28 Piksel, Inc. Providing extracts of streamed content
US9888174B2 (en) 2015-10-15 2018-02-06 Microsoft Technology Licensing, Llc Omnidirectional camera with movement detection
US10277858B2 (en) 2015-10-29 2019-04-30 Microsoft Technology Licensing, Llc Tracking object of interest in an omnidirectional video
US20170134714A1 (en) * 2015-11-11 2017-05-11 Microsoft Technology Licensing, Llc Device and method for creating videoclips from omnidirectional video
CN105872601A (zh) * 2015-12-14 2016-08-17 乐视云计算有限公司 视频播放方法、装置及系统
US10580210B2 (en) * 2015-12-16 2020-03-03 Interdigital Ce Patent Holdings Method and device for refocusing at least one plenoptic video
US10623801B2 (en) 2015-12-17 2020-04-14 James R. Jeffries Multiple independent video recording integration
KR102576908B1 (ko) * 2016-02-16 2023-09-12 삼성전자주식회사 동적 파노라마 기능을 제공하는 방법 및 장치
US20170280168A1 (en) * 2016-03-25 2017-09-28 Brad Call Enhanced Viewing System
CN114125264A (zh) 2016-04-11 2022-03-01 思碧迪欧有限公司 提供虚拟的摇摄-倾斜-缩放视频功能的系统和方法
WO2017196670A1 (en) 2016-05-13 2017-11-16 Vid Scale, Inc. Bit depth remapping based on viewing parameters
EP3472960A1 (en) 2016-06-15 2019-04-24 Convida Wireless, LLC Grant-less uplink transmission for new radio
WO2018009828A1 (en) 2016-07-08 2018-01-11 Vid Scale, Inc. Systems and methods for region-of-interest tone remapping
CN106131669B (zh) * 2016-07-25 2019-11-26 联想(北京)有限公司 一种合并视频的方法及装置
CN106559663B (zh) * 2016-10-31 2019-07-26 努比亚技术有限公司 图像显示装置和方法
EP3520243A2 (en) 2016-11-03 2019-08-07 Convida Wireless, LLC Frame structure in nr
CN106797455A (zh) * 2016-12-23 2017-05-31 深圳前海达闼云端智能科技有限公司 一种投影方法、装置及机器人
US10681105B2 (en) * 2016-12-30 2020-06-09 Facebook, Inc. Decision engine for dynamically selecting media streams
US10271074B2 (en) 2016-12-30 2019-04-23 Facebook, Inc. Live to video on demand normalization
US10237581B2 (en) 2016-12-30 2019-03-19 Facebook, Inc. Presentation of composite streams to users
WO2018152437A1 (en) 2017-02-17 2018-08-23 Vid Scale, Inc. Systems and methods for selective object-of-interest zooming in streaming video
US10448063B2 (en) * 2017-02-22 2019-10-15 International Business Machines Corporation System and method for perspective switching during video access
WO2018164911A1 (en) * 2017-03-07 2018-09-13 Pcms Holdings, Inc. Tailored video streaming for multi-device presentations
CN109068129A (zh) * 2018-08-27 2018-12-21 深圳艺达文化传媒有限公司 推介视频的片源确定方法及相关产品
KR20210066856A (ko) 2018-09-27 2021-06-07 콘비다 와이어리스, 엘엘씨 새로운 라디오의 비허가 스펙트럼들에서의 부대역 동작들
JP7497683B2 (ja) * 2018-12-25 2024-06-11 ソニーグループ株式会社 映像再生装置、再生方法、プログラム、３ｄ形状映像データの生成方法
US10963841B2 (en) 2019-03-27 2021-03-30 On Time Staffing Inc. Employment candidate empathy scoring system
US10728443B1 (en) 2019-03-27 2020-07-28 On Time Staffing Inc. Automatic camera angle switching to create combined audiovisual file
US11127232B2 (en) 2019-11-26 2021-09-21 On Time Staffing Inc. Multi-camera, multi-sensor panel data extraction system and method
US11023735B1 (en) 2020-04-02 2021-06-01 On Time Staffing, Inc. Automatic versioning of video presentations
US11144882B1 (en) 2020-09-18 2021-10-12 On Time Staffing Inc. Systems and methods for evaluating actions over a computer network and establishing live network connections
US11727040B2 (en) 2021-08-06 2023-08-15 On Time Staffing, Inc. Monitoring third-party forum contributions to improve searching through time-to-live data assignments
US11423071B1 (en) 2021-08-31 2022-08-23 On Time Staffing, Inc. Candidate data ranking method using previously selected candidate data
CA3237494A1 (en) * 2021-11-08 2023-05-11 ORB Reality LLC Systems and methods for providing rapid content switching in media assets featuring multiple content streams that are delivered over computer networks
US11907652B2 (en) 2022-06-02 2024-02-20 On Time Staffing, Inc. User interface and systems for document creation

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6434265B1 (en) * 1998-09-25 2002-08-13 Apple Computers, Inc. Aligning rectilinear images in 3D through projective registration and calibration
US20020049979A1 (en) * 2000-05-18 2002-04-25 Patrick White Multiple camera video system which displays selected images
US7782363B2 (en) * 2000-06-27 2010-08-24 Front Row Technologies, Llc Providing multiple video perspectives of activities through a data network to a remote multimedia server for selective display by remote viewing audiences
US20070035612A1 (en) * 2005-08-09 2007-02-15 Korneluk Jose E Method and apparatus to capture and compile information perceivable by multiple handsets regarding a single event
US20080253685A1 (en) * 2007-02-23 2008-10-16 Intellivision Technologies Corporation Image and video stitching and viewing method and system
WO2009042858A1 (en) * 2007-09-28 2009-04-02 Gracenote, Inc. Synthesizing a presentation of a multimedia event
US20090262194A1 (en) * 2008-04-22 2009-10-22 Sony Ericsson Mobile Communications Ab Interactive Media and Game System for Simulating Participation in a Live or Recorded Event
US8538232B2 (en) * 2008-06-27 2013-09-17 Honeywell International Inc. Systems and methods for managing video data
GB0820416D0 (en) * 2008-11-07 2008-12-17 Otus Technologies Ltd Panoramic camera
US9240214B2 (en) * 2008-12-04 2016-01-19 Nokia Technologies Oy Multiplexed data sharing
KR101516850B1 (ko) 2008-12-10 2015-05-04 뮤비 테크놀로지스 피티이 엘티디. 여러 개 비디오 클립을 인터커팅하여 새로운 비디오 제작 생성기
EP2450898A1 (en) 2010-11-05 2012-05-09 Research in Motion Limited Mixed video compilation
US8867886B2 (en) * 2011-08-08 2014-10-21 Roy Feinson Surround video playback

Also Published As

Publication number Publication date
EP2795919A4 (en) 2015-11-11
WO2013093176A1 (en) 2013-06-27
EP2795919A1 (en) 2014-10-29
US20150222815A1 (en) 2015-08-06
CN104012106A (zh) 2014-08-27

Similar Documents

Publication Publication Date Title
CN104012106B (zh) 使表示不同视点的视频对准
CN104571532B (zh) 一种实现增强现实或虚拟现实的方法及装置
CN108737882B (zh) 图像的显示方法、装置、存储介质及电子装置
CN105100829B (zh) 视频内容截取方法及装置
US20170171274A1 (en) Method and electronic device for synchronously playing multiple-cameras video
US20180124446A1 (en) Video Broadcasting Through Selected Video Hosts
JP6419201B2 (ja) ビデオ再生のための方法および装置
EP2999232A1 (en) Media playing method, device and system
CN106507178B (zh) 视频播放方法及装置
US20150139601A1 (en) Method, apparatus, and computer program product for automatic remix and summary creation using crowd-sourced intelligence
CN110035316B (zh) 处理媒体数据的方法和装置
CN103873453B (zh) 沉浸通信客户端、服务器及获取内容视图的方法
US20120036542A1 (en) Handheld multimedia receiving and sending devices
CN105635675B (zh) 一种全景播放方法和装置
CN102421012A (zh) 一种获得电视节目截屏图片的方法和系统
US20150244756A1 (en) Method, Apparatus and System for Determining Terminal That is to Share Real-Time Video
US11681748B2 (en) Video streaming with feedback using mobile device
US11924397B2 (en) Generation and distribution of immersive media content from streams captured via distributed mobile devices
CN112714327A (zh) 基于直播应用程序的互动方法、装置、设备及存储介质
US20200029066A1 (en) Systems and methods for three-dimensional live streaming
WO2014064321A1 (en) Personalized media remix
CN202444580U (zh) 一种获得电视节目截屏图片的系统，终端和服务器
WO2018027067A1 (en) Methods and systems for panoramic video with collaborative live streaming
KR20180131687A (ko) 실시간기반 및 컨텐츠 기반 실시간 공연공유 서비스 제공시스템
KR20150073573A (ko) 미러링 화면에 관련된 콘텐츠 출력 방법 및 그 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160217

Address after: Espoo, Finland

Applicant after: Technology Co., Ltd. of Nokia

Address before: Espoo, Finland

Applicant before: Nokia Oyj

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171124

Termination date: 20191223

CF01 Termination of patent right due to non-payment of annual fee