CN104284173A - 用于产生多视点视频的方法和电子装置 - Google Patents

Abstract

本公开提供用于产生多视点(MPOV)视频的电子装置和方法。本公开涉及所述电子装置获得多个媒体内容。所述电子装置将根据时间信息、音频信息以及包含地理标签和周围信号信息的位置信息而识别第一媒体内容在时间和位置上与第二媒体内容相关。接着，提供所述第一媒体内容和所述第二媒体内容，作为用于产生事件的MPOV视频的相关媒体内容，所述MPOV视频具有从不同视点采集的相关媒体内容。

Description

用于产生多视点视频的方法和电子装置

技术领域

本公开涉及用于产生多视点(multiple point of view，MPOV)视频的方法和电子装置。

背景技术

具有各种功能可让例如智能电话、平板计算机等电子装置变得更具有移动性和多功能性。通过使用电子装置的图像采集功能，使用者将能够通过采集其日常生活的事件并以不同媒体格式(例如，相片、视频、音频等)将事件存储为媒体内容来记录事件。使用者常拥有在不同视点与同一事件相关的多个媒体内容，且这些使用者之后可还想要通过电子邮件、社交网络或其它通信手段来共享其具有不同视点的媒体内容。

然而，如此，使用者可能必须遍览媒体内容以便手动地识别与感兴趣的事件相关的媒体内容，且这些动作可极耗时间。此外，相关媒体内容可能未必及时地分类或同步，以致于使用者将必须手动地选择并重新调整相关媒体内容，以便将所述媒体内容编录为视频合辑或相册。

因此，可需要自动地识别同一事件的相关媒体内容，且挑选并组合这些相关媒体内容以从多个视点呈现。

发明内容

本公开提出用于产生多视点(MPOV)视频的方法和电子装置。

根据示范性实施例中的一个，所述产生MPOV视频的方法可包含至少(但不限于)以下步骤：获得多个媒体内容；基于对应于所述媒体内容中的每一个的每一元数据而从所述多个媒体内容识别第一媒体内容和第二媒体内容，作为与同一事件相关的相关媒体内容，其中所述元数据至少包括时间信息或位置信息；以及根据所述相关媒体内容而产生所述MPOV视频。

根据示范性实施例中的一个，本公开提出一种电子装置，其将包含至少(但不限于)处理器，所述处理器经配置以：获得多个媒体内容；基于对应于所述媒体内容中的每一个的每一元数据而从所述多个媒体内容识别第一媒体内容和第二媒体内容，作为与同一事件相关的相关媒体内容，其中所述元数据至少包括时间信息或位置信息；以及根据所述相关媒体内容而产生所述MPOV视频。

为了使本公开的上述特征和优点可理解，下文详细描述伴随有图示的优选实施例。应理解，以上一般描述和以下详细描述都是示范性的，且希望进一步解释如所主张的本公开。

然而，应理解，此概述可能不含有本公开的所有方面和实施例，且因此并不意味以任何方式为限制性的。而且，本公开将包含对于本领域技术人员来说明显的改进和修改。

附图说明

包含附图以便进一步理解本公开，且附图并入本说明书中且构成本说明书的一部分。所述附图说明本公开的实施例，且与描述一起用以解释本公开的原理。

图1说明根据本公开的示范性实施例从不同视点进行事件的合作采集以产生MPOV视频的概念图。

图2A到图2D为说明根据本公开的实施例中的一个基于由第一电子装置10采集的第一媒体内容、由第二电子装置20采集的第二媒体内容和由第三电子装置30采集的第三媒体内容而产生MPOV视频的概念图。

图3为根据本公开的示范性实施例中的一个的以功能框说明电子装置的硬件的框图。

图4为说明根据本公开的示范性实施例中的一个的媒体内容的音频波形的图示。

图5A和图5B为说明根据本公开的实施例中的一个的附近装置的信号强度的排序的概念的图示。

图6为说明根据本公开的示范性实施例中的一个的时间轴上的第一媒体内容和第二媒体内容的同步的图示。

图7为说明根据本公开的示范性实施例中的一个的在第一媒体内容为静止图像时的第一媒体内容和第二媒体内容的同步的图示。

图8为说明根据本公开的示范性实施例中的一个的第一媒体内容、第二媒体内容和第三媒体内容的同步的图示。

图9为说明根据本公开的实施例中的一个的产生MPOV视频的方法的流程图。

图10A和图10B为说明根据本公开的实施例中的一个的基于相关媒体内容而产生MPOV视频的方法的流程图。

图11为说明根据本公开的实施例中的一个的基于重点期间内的媒体内容而产生MPOV视频的方法的流程图。

为了使本申请案的上述特征和优点更易理解，如下详细描述伴有图示的若干实施例。

【主要元件标号说明】

10：第一电子装置

11：第一视点

12：第一媒体内容

20：第二电子装置

21：第二视点

22：第二媒体内容

30：第三电子装置

31：第三视点

32：第三媒体内容

40：打击手

50：投手

100：电子装置

110：处理器

130：显示屏

150：存储介质

170：图像采集组件

190：收发器

410：音频波形

420：可区别特征

421：时戳

422：值

430：可区别特征

440：可区别特征

510：AP1

520：AP2

530：AP3

540：AP4

550：AP5

560：第一列表

570：第二列表

610：第一媒体内容

620：第二媒体内容

640：重叠部分

650：重点期间

710：第一媒体内容

720：第二媒体内容

721：帧

740：重叠部分

750：重点期间

810：第一媒体内容

820：第二媒体内容

850：重点期间

910：第一媒体内容

920：第二媒体内容

930：第三媒体内容

940：重叠部分

950：重点期间

S1010、S1011、S1012、S1013、S1014、S1020、S1030、S1110、S1120、S1130、S1140、S1150：步骤

T1：第一时间

T2：第二时间

T3：第三时间

T4：第四时间

T5：第五时间

具体实施方式

现将详细参考本公开的当前实施例，其实施例在附图中得以说明。只要有可能，相同元件符号在附图及描述中用来表示相同或相似部分。

通过使用例如智能电话、平板计算机、穿戴式装置等电子装置的图像采集(capture)功能性，人们可通过采集日常生活事件并将其存储为媒体内容(例如，相片、视频、音频等)而记录这些事件。举例来说，人们可使用智能电话、平板计算机、穿戴式装置、相机等而在棒球比赛中对儿童进行记录。因此，与同一棒球比赛相关的媒体内容可由不同的使用者从不同的视点采集。本公开提供一种产生多视点(MPOV)视频的方法，其识别媒体内容的相关性，例如，媒体内容如何在时间和位置上与事件相关。同一事件的相关媒体内容将接着用于产生MPOV视频。在MPOV视频中，从不同视点采集的相关媒体内容将在时间上同步，以使得在几乎同一时刻从不同视点采集的事件可在MPOV视频的每一帧中同时呈现。相关媒体内容可进一步被分析以识别事件的重点期间(highlight period)，以使得MPOV视频将基于重点期间内的相关媒体内容而产生。

图1说明根据本公开的示范性实施例从不同视点进行事件的合作采集以产生MPOV视频的概念图。参看图1，可由不同电子装置采集事件(例如，图1所示的击球事件)的多个媒体内容。媒体内容将包含由第一电子装置10从视点11采集的第一媒体内容、由第二电子装置20从视点21采集的第二媒体内容和由第三电子装置30从视点31采集的第三媒体内容。

图2A到图2D为说明根据本公开的实施例中的一个基于由第一电子装置10采集的第一媒体内容、由第二电子装置20采集的第二媒体内容和由第三电子装置30采集的第三媒体内容而产生MPOV视频的概念图。参看图1和图2A，由第一电子装置10从第一视点11采集击球事件，其中从第一视点11采集的第一媒体内容12将从打击手40的侧面将击球事件作为重点。参看图1和图2B，由第二电子装置20从第二视点21采集击球事件，其中从第二视点21采集的第二媒体内容22将从打击手40的背面将击球事件作为重点。参看图1和图2C，由第三电子装置30从第三视点31采集击球事件，其中从第三视点31采集的第三媒体内容32会将针对击球事件投出球的投手50作为重点。

基于图2A到图2C所说明的第一媒体内容12、第二媒体内容22和第三媒体内容32，本公开将识别由不同电子装置从不同视点采集的第一媒体内容12、第二媒体内容22和第三媒体内容32是否将在时间和位置上与同一事件相关。假设第一媒体内容12、第二媒体内容22和第三媒体内容32与同一事件相关，那么将包含第一媒体内容12、第二媒体内容22和第三媒体内容32以产生同时从不同视点展示击球事件的MPOV视频，如图2D所说明。参看图2D，说明MPOV视频同时从第一视点11、第二视点21和第三视点31展示击球事件，且MPOV将通过在MPOV视频的帧(frame)中组合/混合(combining/stitching)第一媒体内容12、第二媒体内容22和第三媒体内容32而以拼贴画式样(collage style)显示事件。以拼贴画式样显示同一事件的组合的媒体内容稍后还将称为事件的拼贴画视图(collage view)。MPOV视频的帧含有至少两个部分，且每一部分可用于显示媒体内容中的一个。

在本公开的实施例中的一个中，MPOV视频的帧可(但不限于)分割为三个部分，即，左侧部分、右上部分和右下部分，且每一部分可用于显示由不同电子装置采集的媒体内容。举例来说，在图2D所说明的示范性实施例中，从第一视点11采集的第一媒体内容12拼贴到MPOV视频的帧的左侧部分，从第二视点21采集的第二媒体内容22拼贴到MPOV视频的帧的右上部分，且从第三视点31采集的第三媒体内容32拼贴到MPOV视频的帧的右下部分。应注意，媒体内容可为视频或相片，且由不同电子装置采集的第一媒体内容、第二媒体内容和第三媒体内容将在时间上同步，以使得事件可几乎同一时刻播放。

示范性实施例用于说明目的，且不希望限制MPOV视频的拼贴画视图的位置或式样。在另一示范性实施例中，可在MPOV视频的帧或任何其它分区中平等地显示不同视点的媒体内容。不同视点的媒体内容中的每一个的显示位置可在事件的拼贴画视图中任意定位。

图3为根据本公开的示范性实施例中的一个的以功能框说明电子装置的硬件的框图。示范性电子装置100可为智能电话、移动电话、数码相机、平板计算机、穿戴式装置等。示范性电子装置100可包含至少(但不限于)处理器110、显示屏130、存储介质(或称之为“存储媒体”)150、图像采集组件170和收发器190。下文详细解释示范性电子装置100的每一组件。

处理器110可为(但不限于)用于一般用途或特殊用途的中央处理单元(central processing unit，CPU)、或可编程微处理器、数字信号处理器(digitalsignal processor，DSP)、可编程控制器、专用集成电路(application specificintegrated circuit，ASIC)、可编程逻辑装置(programmable logic device，PLD)或其它类似装置或其组合。在本实施例中，处理器110可分别电耦接到显示屏130、存储介质150、图像采集组件170和收发器190，其中处理器110将控制示范性电子装置100的所有操作。

显示屏130可为在电子装置100的显示区域内提供显示功能的显示装置。显示装置可为(但不限于)液晶显示器(liquid crystal display，LCD)、发光二极管(light-emitting diode，LED)、场致发射显示器(field emission display，FED)等。

存储介质150可为易失性或非易失性存储器，用于存储经缓冲的数据或永久数据，例如，通过图像采集组件170采集的媒体内容或用于执行示范性移动电子装置100的功能的指令。

图像采集组件170可为(但不限于)相机、摄像机等，其通过光学组件和摄像组件来采集场景作为媒体内容(例如，相片、视频等)。在本公开中，表示相关事件的场景的媒体内容可由图像采集组件170采集且存储在存储介质150中。

收发器190可为支持全球移动通信系统(global system for mobilecommunication，GSM)、使用者手持式电话系统(personal handy-phonesystem，PHS)、码分多址(code division multiple access，CDMA)系统、宽带码分多址(wideband code division multiple access，WCDMA)系统、长期演进(long term evolution，LTE)系统、微波接入全球互通(worldwideinteroperability for microwave access，WiMAX)系统、无线保真(wirelessfidelity，Wi-Fi)系统或蓝牙的信号传输的组件，例如，协议单元。收发器190还可为其支持的组件。收发器190将为电子装置100提供无线传输，包含多个组件，但不限于发射器电路、接收器电路、模/数(A/D)转换器、数/模(D/A)转换器、低噪声放大器(low noise amplifier，LNA)、混频器、滤波器、匹配网络、传输线、功率放大器(power amplifier，PA)和一个或一个以上天线单元。发射器和接收器以无线方式发射下行链路信号和接收上行链路信号。接收器可包含执行例如低噪声放大、阻抗匹配、混频、上变频、滤波、功率放大等操作的功能元件。模/数(A/D)或数/模(D/A)转换器经配置以在上行链路信号处理期间从模拟信号格式转换为数字信号形式且在下行链路信号处理期间从数字信号格式转换为模拟信号格式。在本公开的示范性实施例中，收发器190可用于向不同电子装置传输媒体内容或从不同电子装置接收媒体内容。

在下文中，将关于图3所说明的示范性电子装置100来详细解释根据图1和图2A到图2D所说明的相关媒体内容而产生MPOV视频。

参看图3，事件的场景可通过示范性电子装置100的图像采集组件170来采集，且接着处理器110将事件的场景作为多个媒体内容(例如，图像、连续图像、音频记录(audio recording)等)存储在示范性电子装置100的存储介质150中。应注意，连续图像可指视频中的多个图像帧或连拍模式中采集的多个图像。

示范性电子装置100可使用处理器110以识别媒体内容的相关性，且接着基于与事件相关的媒体内容而产生MPOV视频。在本公开的示范性实施例中的一个中，媒体内容中的第一媒体内容和第二媒体内容用作实例以作说明。电子装置100的处理器110将基于时间信息和/或位置信息而将第一媒体内容和第二媒体内容识别为与同一事件相关。详细地说，处理器110将从分别嵌入在第一媒体内容和第二媒体内容中或分别与第一媒体内容和第二媒体内容相关联的元数据(metadata)采集时间信息和/或位置信息，以确定第一媒体内容是否在时间和/或位置上与第二媒体内容相关。应注意，本公开的本实施例不限制媒体内容的来源。也就是说，媒体内容可包含由示范性电子装置100采集的媒体内容或由附近的其它电子装置(例如，图1所说明的电子装置10、20、30中的任一个)采集且传输的媒体内容。

此外，在本公开的示范性实施例中的一个中，第一媒体内容和第二媒体内容的音频信息可用于识别第一媒体内容和/或第二媒体内容是否在时间和位置上与同一事件相关。

在示范性实施例中的一个中，可获得时间信息(例如，时戳(timestamp))、音频信息和位置信息(具有地理标签和周围信号信息)，这些信息在媒体内容的采集后对应于媒体内容中的每一个。在下文中，将详细描述时间信息、音频信息和位置信息。

媒体内容的时间信息可包含(但不限于)记录采集媒体内容中的每一个的时刻的日期和时间的时戳。时戳可获自电子装置100的系统时钟，其中系统时钟可由全球定位系统(Global Positioning System，GPS)、Wi-Fi接入点(access point)、无线电接入网络(radio access network)、服务器等自动地同步。然而，示范性实施例不希望限制本公开，时戳还可由用户配置或通过任何其它方式来配置。

音频信息可包含(但不限于)关于媒体内容的音频波形的信息，例如，波形形状、在特定时间具有值的可区别特征(distinguishable feature)等。图4为说明根据本公开的示范性实施例中的一个的媒体内容的音频波形410的图示。参看图4，可区别特征420、430、440可获自音频波形410。在示范性实施例中的一个中，值422和对应于值422的时戳421可获自可区别特征420，且随后在对应于音频信息的媒体内容中的每一个的采集后存储在所述媒体内容的元数据中。然而，嵌入在元数据中的音频信息的类型并不限于上述示范性实施例所示，与媒体内容的音频波形相关的其它信息也可被利用。在示范性实施例中的一个中，背景噪声的形状(shape)也可被利用。此外，本公开并不限于所述的示范性实施例。在示范性实施例中的一个中，可从媒体内容采集音频信息，且音频信息同时识别媒体内容的相关性。也就是说，代替将音频信息嵌入到媒体内容的元数据中，处理器110可实时地分析媒体内容，以采集媒体内容的音频信息，以便识别媒体内容是否与同一事件相关。

位置信息可包含(但不限于)地理标签和周围信号信息。地理标签可包含(但不限于)GPS位置、精度数据等。GPS位置和精度数据可在媒体内容的采集后获自采集媒体内容的电子装置的GPS芯片(未图示)。媒体内容的GPS位置可记录(但不限于)表示采集媒体内容的位置的经度坐标和纬度坐标。精度数据将记录获取对应GPS位置时的经度坐标和纬度坐标的精度。

位置信息的周围信号信息可包含(但不限于)关于附近装置(例如，其它移动电子装置(例如，热点模式中的智能电话)、接入点(AP，例如，Wi-Fi路由器)、无线电网络接入塔等)的信号强度的信息。换句话说，电子装置100与附近装置之间的无线信号(例如，Wi-Fi、蓝牙或无线电信号)可用于确定采集媒体内容中的每一个的位置之间的相对距离。在示范性实施例中的一个中，在采集媒体内容的电子装置100周围有多个无线装置，且可分析关于电子装置100的附近装置中的每一个的信号强度并对信号强度进行排序以形成对附近装置的信号强度进行排序的列表。举例来说，当采集媒体内容中的每一个时，对附近装置的信号强度进行排序的列表可嵌入到媒体内容中的每一个的元数据中。

图5A和图5B为说明根据本公开的实施例中的一个的建立基于信号强度而排序的附近装置的列表的概念的图示。参看图5A和图5B，假设接入点(AP)1510、AP2520、AP3530、AP4540和AP5550为附近的第一电子装置10和第二电子装置20。在所述实施例中，第一电子装置10和第二电子装置20将在媒体内容的采集后基于信号强度来对附近装置进行排序。举例来说，可产生第一列表560，其以AP1510、AP3530、AP2520、AP5550等的序列关于第一电子装置10而对附近装置中的每一个的信号强度进行排序，且第一列表560可嵌入在由第一电子装置10采集的媒体内容的元数据中。还可产生第二列表570，其以AP1510、AP5550、AP3530、AP4540等的序列关于第二电子装置20而对附近装置中的每一个的信号强度进行排序，且第二列表570可嵌入在由第二电子装置20采集的媒体内容的元数据中。在本实施例中，AP中的每一个的基本服务集识别(BSSID)用于在含有附近装置的所排序的信号强度的列表中识别AP。然而，本公开不限于此，这是因为AP可通过其它方式来识别。

此外，在本公开的替代实施例中，第一电子装置10与第二电子装置20之间的信号强度也可用于确定由第一电子装置10采集的第一媒体内容12是否在位置上与由第二电子装置20采集的第二媒体内容22相关。

在下文中，详细描述根据时间信息、音频信息和位置信息来识别第一媒体内容和第二媒体内容的相关性。

在本实施例中，处理器110将根据嵌入在元数据中的时间码而识别第一媒体内容和第二媒体内容是否在时间上与同一事件相关。详细地说，处理器110将从元数据获得分别指示采集第一媒体内容和第二媒体内容的时刻的时戳的时间码，且确定第一媒体内容和第二媒体内容是否与同一事件相关。在本公开的示范性实施例中的一个中，处理器110可计算第一媒体内容与第二媒体内容的时间码之间的时差，且确定第一媒体内容与第二媒体内容之间的时差是否在预定范围内。举例来说，预定范围可为2小时。如果第一媒体内容与第二媒体内容之间的时差在2小时内，那么处理器110将认为第一媒体内容和第二媒体内容在时间上与同一事件相关。

然而，本公开不限于此。在本公开的示范性实施例中的一个中，当第一媒体内容和第二媒体内容的时间码在指示事件的发生的预定时段内时，第一媒体内容和第二媒体内容将被识别为在时间上相互相关。举例来说，棒球事件可在5月1日下午4:00到下午9:00之间发生，且预定时段可例如配置为下午4:00到下午9:00。如果时间码指示第一媒体内容和第二媒体内容是在下午4:00到下午9:00之间采集，那么第一媒体内容和第二媒体内容将被识别为在时间上与棒球事件相关。应注意，预定时段可由媒体内容自动地确定或由使用者配置。举例来说，可存在未在棒球事件之前和棒球事件之后采集媒体内容的时段。处理器110将自动地将未采集媒体内容的这些时段之间的时间间隔检测为预定时段，且将在预定时段期间采集的媒体内容分组为媒体合辑。应注意，预定时段将方便地充当用于识别任何媒体内容是否在时间上与事件相关的一组相关性准则的参数中的一个。

在本公开中，处理器110还将根据音频波形410、地理标签或周围信号信息而识别第一媒体内容和第二媒体内容是否在位置上与同一事件相关。下文描述识别媒体内容的位置相关性的详细描述。

为了确定媒体内容是否在位置上与事件相关，处理器110可利用第一媒体内容和第二媒体内容的音频波形410的可区别特征420、430、440，其说明于图4中。举例来说，在击球事件中，区别特征410可为当棒球接触球棒时产生的噪声(即，击球噪声)，且区别特征420、430可为由人群产生的欢呼噪声。处理器110将认为具有击球噪声和欢呼噪声的第一媒体内容和第二媒体内容在位置上与同一事件相关。

在本公开的示范性实施例中的一个中，第一媒体内容和第二媒体内容可根据地理标签而被识别为在位置上与同一事件相关。处理器110可从第一媒体内容和第二媒体内容的元数据获得地理标签，例如，GPS位置和精度数据。处理器110将通过利用第一媒体内容和第二媒体内容的GPS位置而将第一媒体内容和第二媒体内容识别为在位置上与同一事件相关。举例来说，处理器110将确定采集第一媒体内容和第二媒体内容的GPS位置之间的差是否在预定距离内。如果所述差在预定距离内，那么认为第一媒体内容和第二媒体内容在位置上与同一事件相关。预定距离可根据实际应用来配置；本公开不希望限制预定距离的范围，其中所述范围可针对棒球场而配置为500米内的任何数值或针对赛道而配置为5千米内的任何数值。

在本公开的示范性实施例中的一个中，处理器110可根据第一媒体内容和第二媒体内容的GPS位置以及相关事件的预定地理坐标而识别第一媒体内容和第二媒体内容与同一事件相关。预定地理坐标可为表示已发生事件之处的GPS坐标，其可自动地获自已被识别为与事件相关的媒体内容的GPS位置。本公开不希望限制相关事件的预定地理坐标的获取，表示已发生事件之处的GPS坐标还可由使用者手动地配置。举例来说，使用者可手动地输入特定位置(例如，棒球场)的GPS坐标，作为预定地理坐标。在示范性实施例中，处理器110将关于相关事件的预定地理坐标来确定第一媒体内容和第二媒体内容的GPS位置是否在预定距离内。在所述实施例中，预定地理坐标可为所述一组相关性准则的参数中的一个。

此外，处理器110将分析地理标签的精度数据以确定GPS位置的精度是否在预定范围内。换句话说，处理器110将确定在采集第一媒体内容和第二媒体内容时获得的GPS位置是否值得信赖。在本示范性实施例中，预定范围可配置为(但不限于)100米内的任何数值范围。即，当地理标签的精度数据在预定范围内时，处理器110将GPS位置用于识别第一媒体内容和第二媒体内容是否在位置上与同一事件相关。另一方面，如果精度数据指示GPS位置不处于预定范围内，那么处理器110将不考虑地理标签的GPS位置来识别第一媒体内容和第二媒体内容是否与事件相关。

在示范性实施例中的一个中，处理器110将根据周围信号信息来识别第一媒体内容和第二媒体内容是否与同一事件相关。详细地说，处理器110将从第一媒体内容和第二媒体内容的元数据获得基于信号强度来对附近装置进行排序的列表560、570。在图5A和图5B所说明的实施例中，列表560、570将包含根据附近装置到电子装置的信号强度而从高到低排序的附近装置。示范性实施例包含从不同视点采集感兴趣的事件作为多个媒体内容的第一电子装置10和第二电子装置20。

举例来说，第一电子装置10将采集第一媒体内容，且第二电子装置20将采集第二媒体内容。在附近，存在AP1510、AP2520、AP3530、AP4540和AP5550。处理器110可根据列表560和570中所列出的AP的排序而确定第一媒体内容和第二媒体内容是否在位置上与同一事件相关。列表560将基于AP与第一电子装置10之间的信号强度而在第一媒体内容的采集后对第一电子装置10周围的AP进行排序，且列表570将基于AP与第二电子装置20之间的信号强度而在第二媒体内容的采集后对第二电子装置20周围的AP进行排序。在示范性实施例中，处理器110将比较列表560与570之间的AP1510、AP2520、AP3530、AP4540和AP5550的排序。

举例来说，在示范性实施例中的一个中，列表560和570中所列出的AP中的至少三者必须为相同的，且所述至少三个AP中的至少两个AP必须在列表中排在前三，以让处理器110根据附近装置的信号强度而认为第一媒体内容和第二媒体内容在位置上与同一事件相关。然而，本公开不限制用于基于周围信号信息来识别第一媒体内容和第二媒体内容的相关性的要求，所述要求可根据实际应用来设计。举例来说，在其它示范性实施例中，用于识别第一媒体内容和第二媒体内容与同一事件相关的要求可为列表中的两个匹配的AP且两个匹配的AP中的任一个在列表中排在前三。

在本公开的示范性实施例中的一个中，还可在附近不存在AP的情况下根据Wi-Fi直连(Wi-Fi Direct)信号来识别媒体内容的相关性。举例来说，示范性电子装置100可具有在热点(hotspot)模式中通过Wi-Fi直连与附近的其它电子装置通信的能力。示范性电子装置100和附近的其它电子装置之间的Wi-Fi直连信号强度可得以检测且存储在媒体内容中的每一个的元数据中。接着，当识别第一媒体内容和第二媒体内容在位置上与同一事件相关时，示范性电子装置100的处理器110可利用附近的其它电子装置的Wi-Fi直连信号强度以确定由不同电子装置采集的媒体内容是否相互相关。

基于上述内容，本公开将根据时间码、附近装置的音频波形、地理标签和信号强度而识别第一媒体内容和第二媒体内容在时间和位置上与同一事件相关，且每一步骤的细节描述于上文中。在本公开的实施例中的一个中，处理器110可首先根据时间码来识别第一媒体内容和第二媒体内容是否与同一事件相关。如果第一媒体内容和第二媒体内容在时间上不相关，那么处理器110将认为第一媒体内容和第二媒体内容在位置上也不与同一事件相关。如果确定第一媒体内容和第二媒体内容在时间上相关，那么处理器110将接着以附近装置的音频波形、地理标签和信号强度的序列来确定第一媒体内容和第二媒体内容是否在位置上与同一事件相关。然而，本公开不限于此。识别第一媒体内容和第二媒体内容是否在时间和位置上与同一事件相关的序列可加以修改以满足实际应用的设计要求。

一旦第一媒体内容和第二媒体内容被识别为与同一事件相关，那么处理器110将接着提供第一媒体内容和第二媒体内容，作为用于产生MPOV视频的候选媒体内容。

在识别第一媒体内容和第二媒体内容的相关性之后，示范性电子装置100将进一步根据时间码和音频信息来同步第一媒体内容和第二媒体内容。详细地说，处理器110将根据第一媒体内容的时戳和第二媒体内容的时戳来调整第一媒体内容和第二媒体内容。举例来说，可根据第一媒体内容和第二媒体内容中的每一个的开始时间和结束时间来调整第一媒体内容和第二媒体内容。

此外，处理器110还可根据音频波形来调整第一媒体内容和第二媒体内容。如上所述，可从媒体内容采集关于媒体内容的音频波形的信息，例如，音频波形的可区别特征的值和对应于所述值的时戳。在上述击球事件的实例中，可基于在球棒接触球时产生的击球噪声来调整第一媒体内容和第二媒体内容。举例来说，处理器110将识别表示第一媒体内容和第二媒体内容中的击球噪声的值(例如，图4所说明的值422)，且接着基于对应于所述值的时戳(例如，图4所说明的时戳421)在统一时间轴上对准第一媒体内容和第二媒体内容。然而，本公开不限于此。可根据音频波形的其它特性(例如，可区别特征的形状)来对准第一媒体内容和第二媒体内容。

一旦第一媒体内容和第二媒体内容在时间上同步，那么处理器110将识别第一媒体内容和第二媒体内容在时间上重叠的重叠部分。在示范性实施例中的一个中，可根据第一媒体内容和第二媒体内容的开始时间和结束时间来识别重叠部分。

此后，处理器110将进一步根据第一媒体内容或第二媒体内容的内容特征来识别与重叠部分相关联的重点期间。内容特征可指媒体内容的媒体类型和镜头类型，其中媒体内容的媒体类型可为静止图像或连续图像，且媒体内容的镜头类型可为特写镜头(closed-up shot)、中景镜头(medium shot)、近镜头(zoom-in shot)或远镜头(zoom-out shot)。媒体内容的媒体类型和镜头类型可用于自动地确定事件的重点。

在示范性实施例中的一个中，可实施面部检测以确定由对象占据的帧的部分与未由对象占据的帧的其它部分之间的比率。如果对象占据帧的比率超过预定比率，那么处理器110会将第二媒体内容的帧的镜头类型识别为特写镜头。举例来说，预定比率可为任何数值，例如，60％或60％以上。当对象占据帧的至少60％时，处理器110会将具有占据帧的至少60％的对象的帧识别为特写镜头。此外，处理器110还将针对具有占据小于至少60％的区域的对象的帧来识别中景镜头(例如，空镜头)。在连续图像的状况下，上述技术可用于通过分析对象在视频的每一帧中占据的区域来确定视频的镜头类型是近镜头还是远镜头。

在示范性实施例中的一个中，媒体内容的媒体类型用于识别与重叠部分相关联的重点期间。举例来说，作为与重叠部分相关联的静止图像采集的事件的场景将被视为事件的重点。在本公开的实施例中的一个中，媒体内容的镜头类型可用于识别与重叠部分相关联的重点期间。可根据以特写镜头或近镜头的类型采集的媒体内容来识别重点期间，这是因为使用者可趋向于针对被视为事件的重点的时刻拍摄特写镜头或近镜头。

在下文中，图6到图8为用于阐述识别第一媒体内容和第二媒体内容的重叠部分内的重点期间的细节的特定示范性实施例。

图6为说明根据本公开的示范性实施例中的一个的统一时间轴上的第一媒体内容和第二媒体内容的同步的图示。当第一媒体内容610和第二媒体内容620在时间上同步时，处理器110将进一步识别重叠部分640，其中第一媒体内容610和第二媒体内容620在第一时戳T1与第二时戳T2之间在时间上重叠。换句话说，第一媒体内容610与第二媒体内容620之间的重叠部分将表示在几乎同一时间从不同的观点采集的同一现实生活事件。在本实施例中，可根据第二媒体内容620的开始时间和第一媒体内容610的结束时间来识别第一媒体内容610和第二媒体内容620的重叠部分。

参看图6，第一媒体内容610和第二媒体内容620为在第一时间T1与第二时间T2之间具有重叠部分640的连续图像。连续图像将包含多个帧。处理器110将分析重叠部分640内的第一媒体内容610和第二媒体内容620以确定媒体类型和镜头类型，来识别与重叠部分640相关联的重点期间。详细地说，处理器110将确定第一媒体内容610和第二媒体内容620为连续图像。此外，处理器110将识别第二媒体内容620为对象的特写镜头，这是因为由第二媒体内容620采集的对象(例如，打击手)占据的区域大于与重叠部分640相关联的第二媒体内容640的帧的预定比率(例如，60％)。由对象占据的区域遍及与重叠部分640相关联的第二媒体内容620的每一帧而类似，因此，第二媒体内容620的镜头类型被确定为特写镜头。

在图6所说明的示范性实施例中，处理器110将识别重叠部分640内的重点期间650，这是因为第二媒体内容620的媒体类型被识别为特写镜头。也就是说，由对象在与重叠部分相关联的第二媒体内容620的帧内占据的区域大于预定比率。应注意，重叠部分640可具有较大长度(例如，5分钟)的事件的连续镜头。处理器110可通过预定持续时间(例如，小于5分钟的任何时长)来界定重点期间650。在本示范性实施例中，重点期间650可界定于第三时间T3与第四时间T4之间。由第三时间T3和第四时间T4界定的重点期间650可在重叠部分640内任意选择，且可具有预定持续时间。本公开不希望限制具有特写镜头类型的媒体内容的重叠部分640内的重点期间650的持续时间和选择。

图7为说明根据本公开的示范性实施例中的一个的统一时间轴上的第一媒体内容710和第二媒体内容720的同步的图示。在示范性实施例中，第二媒体内容720为以近镜头类型和远镜头类型采集的连续图像，其中由对象在第二内容720的帧中占据的区域增大且减小。如上所述，使用者可趋向于在被视为事件的重点的时刻在对象处拉近。因此，处理器110将分析第二媒体内容720且将重叠部分740内的第二媒体内容720的帧721识别为重点。接着，处理器110会将具有由第三时间T3和第四时间T4界定且居中于第二媒体内容的帧721的时戳的预定持续时间的时段识别为重点期间750，这是因为由对象在第二媒体内容720的帧721中占据的区域超过预定比率(例如，60％)。因此，处理器110将选择重点期间750内的第一媒体内容710和第二媒体内容720，作为用于产生MPOV视频的候选来源。

图8为说明根据本公开的示范性实施例中的一个的在第一媒体内容810为静止图像时的第一媒体内容810和第二媒体内容820的同步的图示。在示范性实施例中，第一媒体内容810为静止图像，且第二媒体内容820为连续图像(例如，视频或连拍图像)。处理器110将识别重叠部分，其中第一媒体内容810在由第一媒体内容810的时戳界定的第五时间T5与第二媒体内容820重叠。处理器110将识别在第三时间T3与第四时间T4之间居中于第一媒体内容810的时戳的重点期间850，这是因为第一媒体内容810的媒体类型为静止图像。换句话说，处理器110可选择在第五时间T5之前和之后具有预定持续时间的时间间隔作为重点期间850。然而，本公开不限于此，重点期间850可通过其它方式来选择。因此，处理器110将选择重点期间850内的第一媒体内容810和第二媒体内容820，作为用于产生MPOV视频的候选来源。

图9为说明根据本公开的示范性实施例中的一个的第一媒体内容910、第二媒体内容920和第三媒体内容930的同步的图示。在示范性实施例中，作为连续图像的第二媒体内容920和作为静止图像的第三媒体内容930是由同一电子装置在同一事件时期采集的。可在第二媒体内容920的采集的同时获得第三媒体内容930。处理器110将识别重叠部分940，其中第一媒体内容910在第一时间T1与第二时间T2之间与第二媒体内容920和第三媒体内容930重叠。接着，处理器110将识别界定于第三时间T3与第四时间T4之间且居中于第三媒体内容930的时戳的重点期间950。重点期间950的时间间隔的确定类似于图8所说明的示范性实施例，且因此此处被省略。因此，处理器110将选择重点期间950内的第一媒体内容910、第二媒体内容920和第三媒体内容930，作为用于产生MPOV视频的候选来源。

图10A和图10B为说明根据本公开的实施例中的一个的产生MPOV视频的方法的流程图。参看图10A，在步骤1010中，示范性电子装置100将获得多个媒体内容。在步骤S1020中，示范性电子装置100将基于对应于媒体内容中的每一个的每一元数据而从多个媒体内容识别第一媒体内容和第二媒体内容，作为与同一事件相关的相关媒体内容，其中元数据至少包括时间信息或位置信息。在步骤S1030中，示范性电子装置100将根据相关媒体内容而产生多视点(MPOV)视频。

关于图10A中的步骤S1020的第一媒体内容和第二媒体内容的识别的细节将如下描述于图10B中。参看图10B，在步骤S1011中，示范性电子装置100将通过比较第一媒体内容的时间码和第二媒体内容的时间码而将第一媒体内容和第二媒体内容识别为在时间上与同一事件相关的相关媒体内容。在步骤S1012中，示范性电子装置100可通过比较第一媒体内容和第二媒体内容的音频信息而将第一媒体内容和第二媒体内容识别为在位置上与同一事件相关的相关媒体内容。在步骤S1013中，示范性电子装置100可确定精度数据是否在预定精度范围内，且接着在精度数据在预定精度范围内时，通过确定第一媒体内容的GPS位置与第二媒体内容的GPS位置之间的差是否在预定距离内，而将第一媒体内容和第二媒体内容识别为在位置上与同一事件相关的相关媒体内容。在步骤S1014中，示范性电子装置100可通过比较第一媒体内容的列表与第二媒体内容的列表之间的附近装置的次序而将第一媒体内容和第二媒体内容识别为在位置上与同一事件相关的相关媒体内容。

图11为说明根据本公开的实施例中的一个的基于重点期间内的媒体内容而产生MPOV视频的方法的流程图。在图11所说明的示范性实施例中，步骤S1110和S1120将类似于图10所说明的步骤S1010和S1020，且因此，步骤S1110和S1120的描述得以省略。

参看图11，在步骤S1130中，示范性电子装置100将识别第一媒体内容和第二媒体内容在时间上重叠的重叠部分。在步骤S1140中，示范性电子装置100将通过分析与重叠部分相关联的第一媒体内容和第二媒体内容的内容特征来识别重点期间。在步骤S1150中，示范性电子装置100将从重点期间内的第一媒体内容和第二媒体内容产生MPOV视频。

在下文中，将参考图10A到图10B和图11所说明的方法以特定示范性实施例来进一步阐述示范性电子装置100。本公开的本实施例将根据图10A和图10B所说明的步骤来确定媒体内容中的每一个是否在时间和位置上与事件相关，且被识别为在时间和位置上与同一事件相关的媒体内容将被识别为相关媒体内容。接着，示范性电子装置100将提供被识别为与同一事件相关的媒体内容，作为用于产生MPOV视频的候选媒体内容。此外，根据图11所说明的步骤，示范性电子装置100将同步相关媒体内容以识别相关媒体内容在时间上重叠的重叠部分。接着，将在重叠部分内识别重点期间以便产生具有事件的重点的MPOV视频。

在本公开的示范性实施例中的一个中，图3所说明的示范性电子装置100可为图1所说明的电子装置10、20、30中的任一个。换句话说，表示事件的场景的媒体内容可由电子装置10、20、30中的每一个的图像采集组件170从事件的不同视点采集，且存储在电子装置10、20、30中的每一个的存储介质150中。

参看图1，第一电子装置10可为起始产生MPOV视频的过程且请求媒体内容的内容请求者，且第二电子装置20和/或第三电子装置30可为将媒体内容提供到电子装置10以产生事件的MPOV视频的内容提供者。在示范性实施例中，第一电子装置10可响应于嵌入在媒体内容的元数据中或与媒体内容的元数据相关联的时间码、音频信息和位置信息(包含地理标签和周围信号信息)而在多个媒体内容中识别相关媒体内容。在本公开的示范性实施例中的一个中，第一电子装置10可将相关媒体内容分组为媒体合辑。应注意，将媒体内容分组为媒体合辑(例如，媒体集)可在媒体内容的采集后根据元数据来自动地执行或由用户例如将媒体内容插入到合辑中或移除媒体内容来手动地执行，本公开不限于此。

接着，第一电子装置10可将相关媒体内容的元数据作为一组相关性准则传输到第二电子装置20和/或第三电子装置30以请求相关媒体内容(即，元数据交换)。在本实施例中，所述一组相关性准则可包含时间信息、音频信息和位置信息。第二电子装置20将根据从第一电子装置10传输的相关媒体内容的元数据而在由第二电子装置20采集的多个媒体内容中识别相关媒体内容。换句话说，第二电子装置20将响应于对应于由第一电子装置10采集的相关媒体内容的时间信息、视频信息、位置信息而在由第二电子装置20采集的媒体内容中识别相关媒体媒体。此外，第三电子装置30将执行与电子装置20类似的程序，因此，关于第三电子装置的描述将得以省略。

应注意，本公开不限于上述元数据交换。在示范性实施例中的一个中，第一电子装置10可根据媒体合辑内的媒体内容而获得一组相关性准则。在另一示范性实施例中，所述一组相关性准则可由用户配置以指示用户的兴趣。举例来说，可建立媒体合辑以收集针对棒球比赛在5月1日下午5:00到下午9:00之间在棒球场采集的媒体内容。因此，可根据媒体合辑内的媒体内容来确定预定时段(例如，5月1日下午5:00到下午9:00)和感兴趣的特定位置(例如，棒球场)的特定地理坐标。可通过在MPOV视频的产生的起始后分析相关媒体内容来获得所述一组相关性准则的音频信息。举例来说，可在MPOV视频的产生的起始后采集媒体合辑内的媒体内容的音频信息作为所述一组相关性准则的参数中的一个。此外，特定位置处的周围信号信息可获自媒体合辑内的媒体内容的元数据或由用户手动地配置。第一电子装置10将接着从第二电子装置20或第三电子装置30接收对应于所述一组相关性准则的相关媒体内容，作为MPOV视频的候选(相关)媒体内容。

此外，第一电子装置10将同步相关媒体内容以识别由第一电子装置10、第二电子装置20和第三电子装置30采集的相关媒体内容在时间上重叠的重叠部分，且接着基于重叠部分内的媒体内容的内容特征而识别重点期间。处理器110将接着通过组合/混合重点期间内的相关媒体内容而产生MPOV视频。

总的来说，本公开的示范性电子装置将根据嵌入在媒体内容中的每一个的元数据中或与媒体内容中的每一个的元数据相关联的时间信息、音频信息和位置信息(包含地理标签和周围信号信息)而识别在时间和位置上与同一事件相关的第一媒体内容和第二媒体内容。接着，将提供第一媒体内容和第二媒体内容，作为用于产生事件的MPOV视频的相关媒体内容。本公开将进一步同步相关媒体内容以识别相关媒体内容在时间上重叠的重叠部分。从重叠部分，可根据相关媒体内容的内容特征来识别事件的重点期间。因此，可根据重点期间内的相关媒体内容而产生MPOV视频。

用于本申请案的所公开实施例的详细描述中的元件、动作或指令不应解释为对本公开来说为绝对关键或必要的，除非明确地如此描述。而且，如本文中所使用，用词“一”可包含一个以上项目。如果打算指仅一个项目，那么将使用术语“单一”或类似语言。此外，如本文中所使用，在多个项目和/或多个项目种类的列表之前的术语“中的任一个”希望包含所述项目和/或项目种类个别地或结合其它项目和/或其它项目种类“中的任一个”、“中的任何组合”、“中的任何多个”和/或“中的多个的任何组合”。另外，如本文中所使用，术语“集合”希望包含任何数量个项目，包含零个。另外，如本文中所使用，术语“数量”希望包含任何数量，包含零。

本领域技术人员将明白，在不脱离本公开的范围或精神的情况下，可对所公开的实施例的结构进行各种修改和变化。鉴于是以上内容，希望本公开涵盖本公开的修改和变化，只要所述修改和变化落入所附权利要求书和其等效物的范围内。

相关申请案的交叉参考

本申请案主张2013年7月10日申请的第61/844，439号美国临时申请案的优先权权益。上述专利申请案的全部内容特此以引用方式并入本文中并形成本说明书的一部分。

Claims (20)

1.一种适用于电子装置的产生多视点视频的方法，所述方法包括：

获得多个媒体内容；

基于对应于所述媒体内容中的每一个的每一元数据而从所述多个媒体内容识别第一媒体内容和第二媒体内容，作为与同一事件相关的相关媒体内容，其中所述元数据至少包括时间信息或和位置信息；以及

根据所述相关媒体内容而产生所述多视点视频。

2.根据权利要求1所述的方法，还包括：

通过比较所述第一媒体内容和所述第二媒体内容之间的音频信息而将所述第一媒体内容和所述第二媒体内容识别为所述相关媒体内容。

3.根据权利要求2所述的方法，其中所述音频信息包括音频波形的可区别特征的值和时戳。

4.根据权利要求1所述的方法，其中确定所述相关媒体内容还包括：

通过比较所述第一媒体内容的时间码和所述第二媒体内容的时间码而将所述第一媒体内容和所述第二媒体内容识别为在时间上与同一事件相关的所述相关媒体内容。

5.根据权利要求1所述的方法，其中所述位置信息包括地理标签，而所述地理标签包括全球定位系统位置和精度数据，且从所述媒体内容将所述第一媒体内容和所述第二媒体内容确定为与同一事件相关的相关媒体内容还包括：

确定所述精度数据是否在预定精度范围内，且在所述精度数据在所述预定精度范围内时，通过确定所述第一媒体内容的所述全球定位系统位置与所述第二媒体内容的所述全球定位系统位置之间的差是否在预定距离内，而将所述第一媒体内容和所述第二媒体内容识别为在位置上与同一事件相关的所述相关媒体内容。

6.根据权利要求1所述的方法，其中所述位置信息包括周围信号信息，而所述周围信号信息包括对附近装置的信号强度进行排序的列表，且从所述媒体内容确定所述相关媒体内容还包括：

通过比较所述第一媒体内容的所述列表中所列出的所述附近装置和所述第二媒体内容的所述列表中所列出的所述附近装置而将所述第一媒体内容和所述第二媒体内容识别为在位置上与同一事件相关的所述相关媒体内容。

7.根据权利要求6所述的方法，其中所述附近装置包括接入点或其它电子装置。

8.根据权利要求1所述的方法，还包括：

将一组相关性准则传输到另一电子装置，所述一组相关性准则用于将由所述另一电子装置采集的第三媒体内容识别为相关于与所述第一媒体内容和所述第二媒体内容相同的事件的所述相关媒体内容中的一个；以及

从所述另一电子装置接收所述第三媒体内容以产生所述多视点视频。

9.根据权利要求8所述的方法，其中所述一组相关性准则是基于所述第一媒体内容和所述第二媒体内容的所述时间信息、音频信息和所述位置信息来确定的。

10.根据权利要求1所述的方法，其中所述第一媒体内容和所述第二媒体内容包括静止图像、连续图像和音频记录。

11.一种电子装置，包括：

处理器，经配置以：

获得多个媒体内容；

基于对应于所述媒体内容中的每一个的每一元数据而从所述多个媒体内容识别第一媒体内容和第二媒体内容，作为与同一事件相关的相关媒体内容，其中所述元数据至少包括时间信息或位置信息；以及

根据所述相关媒体内容而产生所述多视点视频。

12.根据权利要求11所述的电子装置，其中所述处理器经进一步配置以通过比较所述第一媒体内容和所述第二媒体内容之间的音频信息而将所述第一媒体内容和所述第二媒体内容识别为所述相关媒体内容。

13.根据权利要求12所述的电子装置，其中所述音频信息包括音频波形的可区别特征的值和时戳。

14.根据权利要求11所述的电子装置，其中所述处理器经进一步配置以通过比较所述第一媒体内容的时间码和所述第二媒体内容的时间码而将所述第一媒体内容和所述第二媒体内容识别为在时间上与同一事件相关的所述相关媒体内容。

15.根据权利要求11所述的电子装置，其中所述位置信息包括地理标签，而所述地理标签包括GPS位置和精度数据，且所述处理器经进一步配置以确定所述精度数据是否在预定精度范围内，且在所述精度数据在所述预定精度范围内时，通过确定所述第一媒体内容的所述GPS位置与所述第二媒体内容的所述GPS位置之间的差是否在预定距离范围内，而将所述第一媒体内容和所述第二媒体内容识别为在位置上与同一事件相关的所述相关媒体内容。

16.根据权利要求11所述的电子装置，其中所述位置信息包括周围信号信息，而所述周围信号信息包括对附近装置的信号强度进行排序的列表，且所述处理器经进一步配置以通过比较所述第一媒体内容的所述列表中所列出的所述附近装置和所述第二媒体内容的所述列表中所列出的所述附近装置而将所述第一媒体内容和所述第二媒体内容识别为在位置上与同一事件相关的所述相关媒体内容。

17.根据权利要求16所述的电子装置，其中所述附近装置包括接入点和其它电子装置。

18.根据权利要求11所述的电子装置，还包括：

收发器，经配置以：

将一组相关性准则传输到另一电子装置，所述一组相关性准则用于将由所述另一电子装置采集的第三媒体内容识别为相关于与所述第一媒体内容和所述第二媒体内容相同的事件的所述相关媒体内容中的一个；以及

从所述另一电子装置接收所述第三媒体内容以产生所述多视点视频。

19.根据权利要求18所述的电子装置，其中所述一组相关性准则是基于所述第一媒体内容和所述第二媒体内容的所述时间信息、音频信息和所述位置信息来确定的。

20.根据权利要求11所述的电子装置，其中所述第一媒体内容和所述第二媒体内容包括静止图像、连续图像和音频记录。