CN104813649A - 视频帧处理方法 - Google Patents

Abstract

一种视频帧处理方法，包括：(a)通过第一摄影机捕获至少一第一视频帧；(b)通过第二摄影机捕获至少一第二视频帧；以及(c)基于一个第一视频帧，调整至少一第二视频帧的一个候选第二视频帧，以产生目标单一视点视频帧。

Description

视频帧处理方法

相关申请的交叉引用

本发明主张在2013年03月21日提出的申请号为61/803,881的美国临时专利申请的优先权；主张在2014年03月20日提出的申请号为14/221,260的美国专利申请的优先权。因此在全文中合并参考这些专利申请案。

技术领域

本发明是有关于视频处理方法，特别是有关于一种视频处理方法，其能够根据至少一个摄影机参数，选择、组合或调节至少一个视频帧为目标视频帧。

背景技术

现有技术中，摄影机通过摄影机参数捕获视频帧。举例来说，摄影机参数可以具有视频帧捕获参数，例如曝光时间或帧率。曝光时间(或称为快门速度)是摄影机快门打开的有效时间。曝光时间和透镜的光圈(也称为f值)确定到达摄影机内的胶片或图像传感器的光的总量。长的曝光时间将容易导致图像模糊。与此相反，短的曝光时间将容易导致图像变暗或噪声。在照相手机(或智能手机)中光圈或摄影机传感器通常很小。当捕获的图像分辨率增加时，每一个像素的光的总量将减少。因此，很难设置平衡的摄影机参数来产生较佳的视频帧。

立体摄影机为一类具有两个或多个摄影机的摄影机，其中该两个或多个摄影机中的每一个摄影机具有独立的图像传感器。立体摄影机通常基于从不同摄影机产生的视频帧来产生多视点视频帧(例如，3D视频帧)。此外，立体摄影机的不同摄影机可以应用不用的摄影机参数。近年来，由于使用者希望在需要的任意时刻能够捕获立体图像，具有立体摄影机的电子装置越来越流行(例如，具有立体摄影机的智能手机)。

发明内容

因此，本发明的目的是，提供一种视频帧处理方法。该视频帧处理方法自通过立体摄影机捕获的视频帧产生目标单一视点视频帧。

本发明的一个实施方式揭示了一种视频帧处理方法，包括:(a)通过第一摄影机捕获至少一第一视频帧；(b)通过第二摄影机捕获至少一第二视频帧；以及(c)基于一个第一视频帧，调整至少一第二视频帧的一个候选第二视频帧，以产生目标单一视点视频帧。

本发明的另一实施方式揭示了一种视频帧处理方法，包括：(a)通过利用第一摄影机参数的第一摄影机，捕获至少一第一视频帧；(b)通过利用第二摄影机参数的第二摄影机，捕获至少一第二视频帧，其中第二摄影机参数不同于第一摄影机参数；以及(c)根据至少一第一视频帧、第一摄影机参数和第二摄影机参数，产生对应于特定时间点的目标单一视点视频帧。

鉴于上述实施方式，可以自具有不同摄影机参数的视频帧产生目标单一视点视频帧。因此，可以获得较佳的目标单一视点视频帧。

在参阅随后的通过附图解释说明的优选具体实施方式的详尽描述后，本领域的技术人员便可了解本发明的上述或者其他发明目的。

附图说明

图1为根据本发明一实施方式的视频处理方法的示意图。

图2为根据本发明一实施方式的图1中说明的视频处理方法的流程图。

图3为根据本发明另一实施方式的图1中说明的视频处理方法的流程图。

图4为根据本发明一实施方式的视频处理方法的示意图。

图5为根据本发明一实施方式的图4中说明的视频处理方法的流程图。

图6为根据本发明另一实施方式的视频处理方法的示意图。

图7为根据本发明一实施方式的图6中说明的视频处理方法的流程图。

图8为根据本发明另一实施方式的图6中说明的视频处理方法的流程图。

图9为根据本发明另一实施方式的视频处理方法的示意图。

图10为根据本发明一实施方式的图9中说明的视频处理方法的流程图。

图11为根据本发明另一实施方式的图9中说明的视频处理方法的流程图。

图12和图13为根据本发明另一实施方式的视频处理方法的示意图。

具体实施方式

在如下实施方式中，采用两个摄影机来举例说明本发明的基本概念。然而，请注意，多于两个的摄影机也可以应用于本发明。

图1为根据本发明一实施方式的视频处理方法的示意图。如图1所示，通过第一摄影机捕获一个或多个第一视频帧(第一视频帧FF_1、第一视频帧FF_2……第一视频帧FF_5)，以及通过第二摄影机捕获一个或多个第二视频帧(第二视频帧SF_1、第二视频帧SF_2……第二视频帧SF_5)。在一个实施方式中，第一摄影机捕获来自左眼视角的每一个第一视频帧，第二摄影机捕获来自右眼视角的每一个第二视频帧，但本发明并非以此为限。举例来说，第一摄影机和第二摄影机可以为包括独立按钮和电池的两个独立的摄影机。然而，第一摄影机和第二摄影机并不限于物理上独立的摄影机。在一个实施方式中，第一摄影机和第二摄影机可以提供于单一的电子装置上。举例来说，位于单一电子装置(例如，摄影机或移动电话)上的、使用单一图像传感器或独立图像传感器的两个镜头(lens)。举例来说，通过单一电子装置的处理单元来执行本发明的视频处理方法。

举例来说，目标单一视点视频帧(target single view video frame)(目标单一视点视频帧TSF_1、目标单一视点视频帧TSF_2……目标单一视点视频帧TSF_5)为输出至显示器用于显示的视频帧，但并发明并不限于此。可以仅基于第一视频帧或基于第一视频帧和第二视频帧来产生此种目标单一视点视频帧。这将在下文中进行详述。

图2为根据本发明一实施方式的图1中说明的视频处理方法的流程图。如图2所示，视频处理方法包括：

步骤201：

通过第一摄影机和第二摄影机分别捕获第一视频帧和第二视频帧。

步骤203：

分析一个第一视频帧的视频质量和一个第二视频帧的视频质量，其中该第二视频帧与已分析的第一视频帧相对应。举例来说，分析第一视频帧FF_2和第二视频帧SF_2的视频质量。第一视频帧和第二视频帧彼此相互对应，举例来说，第一视频帧和第二视频为分别通过第一摄影机和第二摄影机在同一时间点或相似时间点捕获的帧。然而，本发明并非限于此。

许多方法可以用于分析视频质量。举例来说，可以计算每一整个视频帧及/或在每一个视频帧中的感兴趣的区域(例如，脸部区域、中心区域、以及自动对焦区域中的一个或其组合)的模糊水平/清晰度水平以分析视频质量。此外，可以将视频帧与参考视频帧进行比较来分析视频质量。并且，可以计算每一整个视频帧及/或感兴趣区域的如下至少一个参数以分析视频质量。该至少一个参数为：噪声、边缘、动态范围、块效应(blocking artifact)、平均亮度、色温、场景组成、人脸及或动物的存在、吸引较多或较少兴趣的图像内容、以及空间/时间/频率掩蔽效应(Spatial/temporal/Frequency masking)。

步骤205：

确定第一视频帧的视频质量是否高于质量阈值。若是，则意味着视频质量较好，转至步骤207；若不是，则意味着视频质量较差，转至步骤209。

步骤207：

选择在步骤203中分析的第一视频帧为目标单一视点视频帧。举例来说，确定第一视频帧FF_1的视频质量高于质量阈值，因此，第一视频帧FF_1被选择为目标单一视点视频帧TSF_1。

步骤209：

确定第二视频帧的视频质量是否高于质量阈值。若是，则转至步骤213；若不是，则转至步骤211。

步骤211：

自步骤203中分析的第一视频帧和第二视频帧，插值(Interpolate)目标单一视点视频帧。举例来说，确定第一视频帧FF_5和第二视频帧SF_5具有的视频质量低于质量阈值，因此，自第一视频帧FF_5和第二视频帧SF_5插值目标单一视点视频帧TSF_5。

步骤213：

选择在步骤203中分析的第二视频帧并扭曲(warp)该第二视频帧。举例来说，确定第一视频帧FF_3具有的视频质量低于质量阈值，以及确定第二视频帧SF_3具有的视频质量高于质量阈值。因此，基于第一视频帧FF_3扭曲第二视频帧SF_3，以产生扭曲的第二视频帧。具体来说，对于第二视频帧执行的扭曲操作用于消除由于不同观看视角而在第二视频帧和对应的第一视频帧之间的差异。

为方便理解，若第二视频帧对应于步骤203中的分析的第一视频帧，则第二视频帧可以称为候选第二帧。举例来说，若在步骤203中分析第一视频帧FF_4，则第二视频帧SF_4称为候选第二视频帧，以及第一视频帧FF_4称为候选第一视频帧。请注意，在一个实施方式中，步骤203仅分析第一视频帧。在此实施方式中，可以移除步骤209、步骤211，以使得若步骤205的结果为否定步骤205转至步骤213。

步骤215：

选择在步骤213中产生的调整结果为目标单一视点视频帧。举例来说，在图1中，基于第一视频帧FF_3通过扭曲第二视频帧SF_3产生目标单一视点视频帧TSF_3。

可以通过其他步骤来代替步骤213。在一个实施方式中，扭曲第二视频帧，并通过合成(synthesize)扭曲的第二视频帧和对应于扭曲的第二视频帧的第一视频帧来产生目标单一视频帧。举例来说，在图1中，首先通过基于第一视频帧FF_4扭曲第二视频帧SF_4，然后合成扭曲的第二视频帧和第一视频帧FF_4，来产生目标单一视点视频帧TSF_4。在另一实施方式中，通过插值第一视频帧和第二视频帧来产生目标单一视点视频帧。举例来说，在图1中，目标单一视点视频帧TSF_4可以为自第一视频帧FF_4和第二视频帧SF_4插值的新的视频帧。

可选地，步骤213、步骤215可以通过以下方式来替换：若第一视频帧的视频质量不佳以及第二视频帧的视频质量较佳，则基于第二视频帧增强(enhance)第一视频图像来产生目标单一视点视频帧。举例来说，若第一视频帧FF_4具有不佳的视频质量以及第二视频帧具有较佳的视频质量，则基于第二视频帧SF_4增强第一视频帧FF_4以产生目标单一视点视频帧TSF_4。

此外，可以通过其他步骤来代替步骤211。在一个实施方式中，由于在步骤203中分析的第一视频帧和第二视频帧的视频质量均低于质量阈值，步骤203中分析的第一视频帧被选择为目标单一视点视频帧。可选地，在步骤203中分析的第一视频帧和第二视频帧中的一个具有较佳的视频质量的视频帧被选择为目标单一视点视频帧。也就是说，若第一视频帧或第二视频帧具有的视频质量均低于质量阈值，则第一视频帧或第二视频帧可以被选择为目标单一视点视频帧。

在图1所示的实施方式中，第一摄影机的帧率和第二摄影机的帧率相同，以及同时产生对应的第一视频帧和第二视频帧(例如，同时产生第一视频帧FF_1/第二视频帧SF_1，以及同时产生第一视频帧FF_2/第二视频帧SF_2)。然而，这并不意味着限制本发明的保护范围，两个摄影机可以具有不同的帧率，以及可以在不同的时间点产生对应的第一视频帧和第二视频帧。进一步，即使两个摄影机具有相同的帧率，可以在不同的时间点产生对应的第一视频帧和第二视频帧。举例来说，时间上交错、但具有相同的帧率来捕获第一视频帧和第二视频帧。可选地，在视频帧之间的时间间隔可以不同。

此外，在一个实施方式中，如图3所示，可以从图2所示的流程图中移除视频质量分析和确定的步骤。在此实施方式中，基于第一视频帧调整一个候选第二视频帧(如上所述，对应于已分析的第一视频帧的第二视频帧)来产生目标单一视点视频帧。如图3中步骤313、步骤315所示，目标单一视点视频帧为扭曲的候选第二视频帧。可选地，可以通过合成扭曲的第二视频帧和对应的第一视频帧来产生目标单一视点视频帧。

图4为根据本发明一实施方式的视频处理方法的示意图。如图4所示，通过第一摄影机和第二摄影机分别交错捕获第一视频帧FF_1、第一视频帧FF_2、第一视频帧FF_3以及第二视频帧SF_1、第二视频帧SF_2。举例来说，第一摄影机和第二摄影机存在于单一电子装置中。在一个实施方式中，输出目标单一视点视频帧以用于显示的视频帧率高于第一摄影机和第二摄影机的视频帧率。

在图4所示的实施方式中，可以通过如下方法产生目标单一视点视频帧：不经修改选择第一视频帧或第二视频帧为目标单一视点视频帧(例如，第一视频帧FF_1和目标单一视点视频帧TSF_1)；根据在第二视频帧之前或之后的第一视频帧，扭曲或插值第二视频帧为目标单一视点视频帧(例如，根据第一视频帧FF_1和第一视频帧FF_2扭曲第二视频帧SF_1)；扭曲第一视频帧和第二视频帧至相同视点以产生目标单一视点视频帧(例如，扭曲第二视频帧SF_2和第一视频帧FF_3以分别产生目标单一视点视频帧TSF_4和目标单一视点视频帧TSF_5)；根据第一视频帧之前或之后的第二视频帧，扭曲或插值第一视频帧为目标单一视点视频帧，以及根据第二视频帧之前或之后的第一视频帧，扭曲或插值第二视频帧为目标单一视点视频帧。请注意，在本发明中描述的扭曲(warp)或插值(interpolate)指示执行扭曲操作或插值操作中的至少一个。请注意，视频质量分析和确定的步骤可以应用于图4描述的实施方式，来确定需要应用哪一个方法来产生目标单一视点视频帧。

图5为根据本发明一实施方式的图4中说明的视频处理方法的流程图。图5包括如下步骤：

步骤501：

通过第一摄影机和第二摄影机分别捕获第一视频帧和第二视频帧。

步骤503：

确定通过主摄影机在特定时间点捕获的视频帧是否存在。在此实施方式中，将第一摄影机设置为主摄影机。然而，在另一实施方式中，将第二摄影机设置为主摄影机。若是，则转至步骤505；若不是，则转至步骤507。

步骤505：

选择来自主摄影机的视频帧为目标单一视点视频帧。举例来说，假定特定时间点为时间点T_1、时间点T_3或时间点T_5，存在第一视频帧FF_1、第一视频帧FF_2和第一视频帧FF_3，因此不经修改选择第一视频帧FF_1、第一视频帧FF_2和第一视频帧FF_3为目标单一视点视频帧TSF_1、目标单一视点视频帧TSF_3和目标单一视点视频帧TSF_5。在一个实施方式中，可以应用一些修改于第一视频帧FF_1、第一视频帧FF_2和第一视频帧FF_3。举例来说，可以对第一视频帧FF_1、第一视频帧FF_2和第一视频帧FF_3进行亮度调节及或清晰度增强处理，然后选择修改后的第一视频帧为目标单一视点视频帧。

步骤507：

选择通过不同于主摄影机的摄影机捕获的视频帧(例如，第二摄影机)。举例来说，假定特定时间点为时间点T_2或时间点T_4，不存在第一视频帧，因此选择第二视频帧SF_1、第二视频帧SF_2。

步骤509：

基于自主摄影机捕获的一个或多个视频帧调整在步骤507中选择的视频帧，其中该一个或多个视频帧在步骤507中选择的视频帧之前或之后。举例来说，假定在步骤507中选择一个第二视频帧，根据在该选择的第二视频帧之前或之后的一个或多个第一视频帧，扭曲及/或插值该选择的第二视频帧。请注意，在此应用中的插值操作并不限于与该选择的视频帧直接相邻的视频帧。举例来说，基于第二视频帧SF_2、和第一视频帧FF_2和第一视频帧FF_3中的至少一个可以产生对应于时间点T_4的插值的视频帧。可选地，基于第二视频帧SF_2和第一视频帧FF_1可以产生对应于时间点T_4的插值的视频帧。

步骤511：

选择在步骤509中产生的调整结果为目标单一视点视频帧。在此实施方式中，选择扭曲的及/或插值的第二视频帧作为目标单一视点视频帧。

在另一实施方式中，可以移除图5中的步骤509，以及目标单一视点视频帧为在步骤507中选择的第二视频帧。举例来说，在时间点T_2和时间点T_4，不需修改，选择第二视频帧SF_1和第二视频帧SF_2为目标单一视点视频帧TSF_2和目标单一视点视频帧TSF_4。可选地，在第二视频帧SF_1和第二视频帧SF_2被选为目标单一视点视频帧TSF_2和目标单一视点视频帧TSF_4之前，可以调整第二视频帧SF_1和第二视频帧SF_2的亮度、锐度及/或其他属性。

在又一实施方式中，图5中的步骤505可以由其他步骤代替。举例来说，根据在第一视频帧之前或之后的一个或多个第二视频帧，扭曲及/或插值对应于特定时间点的第一视频帧，然后选择为目标单一视点视频帧以用于输出。

在又一实施方式中，扭曲所有的第一视频帧和第二视频帧至相同的特定视点，然后选择为目标单一视点视频帧以用于输出。举例来说，在图4中，在被扭曲至相同视点方向之后，交错地输出第一视频帧FF_1～第一视频帧FF_3和第二视频帧SF_1和第二视频帧SF_2。

在图4的实施方式中，第一摄影机和第二摄影机具有相同的视频帧率，以及在第一视频帧或第二视频帧之间的间隔相同。然而，第一摄影机和第二摄影机可以具有不同的视频帧率，以及在第一视频帧或第二视频帧之间的间隔可以是不同的。

图1和图4的实施方式可以进一步包括：插值至少两个第一视频帧以产生新的第一视频帧，并基于新的第一视频帧调整候选的第二视频帧以产生目标单一视点视频帧。以图1中的第二视频帧SF_2来举例说明，若不存在图1中同时捕获的第一视频帧FF_2或第一视频帧FF_2的质量太差，则基于第一视频帧FF_1和第一视频帧FF_3产生新的第一视频帧，以及根据新的第一视频帧调整第二视频帧SF_2。

上述提及的实施方式可以概括为：一种视频帧处理方法，包括：(a)通过第一摄影机捕获至少一个第一视频帧；(b)通过第二摄影机捕获至少一个第二视频帧；(c)基于一个第一视频帧调整第二视频帧的一个候选的第二视频帧，以产生目标单一视点视频帧。

图6为根据本发明另一实施方式的视频帧处理方法的示意图。在如下实施方式中，提供摄影机A和摄影机B来分别捕获视频帧A和视频帧B。在图6中，视频帧A标记为AF_1～AF_3等，以及视频帧B标记为BF_1～BF_5等。通过不同的摄影机参数捕获视频帧A和视频帧B。举例来说，如图6所示，摄影机A具有的帧率低于摄影机B具有的帧率，以及视频帧A具有的视频帧分辨率高于视频帧B具有的视频帧分辨率。在一个实施方式中，视频帧A为全高清晰(full HD)格式，并以帧率15fps来捕获，而视频帧B为VGA格式，并以帧率30fps来捕获。可以应用本发明的视频处理方法产生帧率30fps和具有全高清晰格式的目标单一视点视频帧。也就是说，目标单一视点视频帧的视频帧分辨率与第一视频帧的视频帧分辨率相同，以及目标单一视点视频帧的帧率与第二视频帧的帧率相同。

在一个实施方式中，两个摄影机中的可以提供最高视频帧分辨率的摄影机被选择为主摄影机(例如，摄影机A)，以及通过如下方法产生目标单一视点视频帧：交错选择不需修改的视频帧A和插值的视频图像B为目标单一视点视频帧。在图6中，插值的视频图像B标记为BFM_1～BFM_5等。在此实施方式中，视频帧A和插值的视频图像B的选择在时间上是错开的。根据视频帧B和通过摄影机A及/或摄影机B捕获的至少一个相邻的帧，合成每一个插值的视频图像B。举例来说，根据第二视频帧BF_2、和视频帧A AF_1、视频帧A AF_2和视频帧B BF_1、视频帧B BF_3中的至少一个，合成插值的视图帧B BFM_2。在一个实施方式中，合成的每一个插值的视频帧B具有与视频帧A相同的视频帧分辨率。通过此种方式，目标单一视点视频帧的帧率高于第一视频帧的帧率，以及目标单一视点视频帧的视频帧分辨率高于第二视频帧的视频帧分辨率。

图7为根据本发明一实施方式的图6中说明的视频处理方法的流程图。图7中的流程图包括如下步骤：

步骤701：

通过摄影机A和摄影机B分别捕获视频帧A和视频帧B。

步骤703：

设置具有最高视频帧分辨率的摄影机为主摄影机。举例来说，在图6的实施方式中，摄影机A设置为主摄影机。

步骤705：

确定通过主摄影机在特定时间点捕获的视频帧是否存在。若是，则转至步骤707；若不是，则转至步骤709。

步骤707：

选择来自主摄影机的视频帧为目标单一视点视频帧。举例来说，在时间点T_1和时间点T_3，存在视频帧A AF_1和视频帧A AF_2，因此，选择视频帧A AF_1和视频帧A AF_2为目标单一视点视频帧。在一个实施方式中，视频帧A AF_1和视频帧A AF_2可以被直接选择为目标单一视点视频帧。然而，在另一实施方式中，首先可以对视频帧A执行一些修改(例如，清晰度的增强或亮度的调整)，然后选择修改的视频帧A为目标单一视点视频帧。

步骤709：

自通过不同于主摄影机的摄影机在特定时间点捕获的视频帧和通过摄影机A及/或摄影机B捕获的至少一个相邻的视频帧插值新的视频帧。假定摄影机A为主摄影机，然后自在特定时间点捕获的视频帧B和通过摄影机A及/或摄影机B捕获的至少一个相邻的视频帧插值新的视频帧，其中相邻的视频帧为在特定时间点捕获的视频帧或在特定的时间点附近捕获的视频帧。以时间点T_2来举例说明，相邻的视频帧可以为视频帧A AF_1、视频帧A AF_2和视频帧B BF_1、视频帧B BF_3中的一个或其组合。

步骤711：

选择插值的视频帧为目标单一视点视频帧。举例来说，在时间点T_2，不存在视频帧A，因此自插值视频帧B BF_2、和视频帧B BF_1、视频帧B BF_3和视频帧AAF_1、视频帧A AF_2中的至少一个，产生目标单一视点视频帧。

在另一实施方式中，两个摄影机中的能够支持最高视频帧率的摄影机被选择为主摄影机(例如，摄影机B)，以及图6中的目标单一视点视频帧可以进一步通过如下方法来产生：选择每一个插值的视频帧B为目标单一视点视频帧。根据对应的视频帧B和在捕获视频帧B的时间点或其附近捕获的至少一个视频帧A，合成插值的视频图像B。举例来说，根据视频帧B BF_1和视频帧A AF_1，合成插值的视频帧BBFM_1。在另一实施方式中，根据视频帧B BF_2、和视频帧A AF_1、视频帧A AF_2中的至少一个，合成插值的视频帧B BFM_2。在另一实施方式中，根据对应的视频帧B和通过摄影机A及/或摄影机B捕获的至少一个调整的帧，产生插值的视频图像B。通过此种方式，目标单一视点视频帧的视频帧率与视频帧A的帧率相同，以及目标单一视点视频帧的视频帧分辨率高于视频帧B的分辨率。

图8为根据本发明另一实施方式的图6中说明的视频处理方法的流程图。图8中的流程图包括如下步骤：

步骤801：

通过摄影机A和摄影机B分别捕获视频帧A和视频帧B。

步骤803：

设置具有最高视频帧分辨率的摄影机为主摄影机。举例来说，在图6的实施方式中，摄影机B设置为主摄影机。

步骤805：

对于通过主摄影机捕获的每一个视频帧，自通过主摄影机捕获的视频帧、和通过不同于主摄影机的摄影机捕获的对应的视频帧和通过主摄影机捕获的相邻的视频帧中的至少一个，插值新的视频帧。假定摄影机B为主摄影机，然后对于每一个视频帧B，自视频帧B、和对应的视频帧A和相邻的视频帧B中的至少一个，插值新的视频帧。其中，对应的视频帧A为在捕获视频帧B的时间点或其附近(例如，在该时间点之前或之后)捕获的视频帧，以及相邻的视频帧B为在视频帧B之前或之后捕获的视频帧。以图6中的视频帧B BF_3来举例说明，对应的视频帧A可以为视频帧A AF_2，以及相邻的视频帧B可以为视频帧B BF_2和视频帧B BF_4。自视频帧B BF_3、和视频帧A AF_2和视频帧B BF_2和视频帧B BF_4中的至少一个，插值新的视频帧(即，插值的视频帧B BFM_3)。

插值的视频帧的视频帧分辨率高于视频帧B的视频帧分辨率。举例来说，如图6所示，每一个插值的视频帧B BFM_1～插值的视频帧B BFM_5具有的视频帧分辨率与视频帧A AF_1～视频帧A AF_3的视频帧分辨率相同。

步骤807：

选择插值的视频帧为目标单一视点视频帧。举例来说，在图6中，选择插值的视频帧B BFM_1～插值的视频帧B BFM_5为目标单一视点视频帧TSF_1～目标单一视点视频帧TSF_5。

图9为根据本发明另一实施方式的视频处理方法的示意图。图9中的实施方式与图6中的实施方式相似，其不同之处在于图9中的视频帧A和视频帧B具有不同的帧捕获参数，而在图6中的视频帧A和视频帧B具有不同的视频帧分辨率。帧捕获参数可以包括捕获时间、曝光时间、景深、对焦、ISO感光度(ISO speed)、和白平衡。

图10为根据本发明一实施方式的图9中说明的视频处理方法的流程图。图10中流程图包括：

步骤1001：

通过摄影机A和摄影机B分别捕获视频帧A和视频帧B。

步骤1003：

设置具有最低视频帧率的摄影机为主摄影机。举例来说，在图9的实施方式中，摄影机A设置为主摄影机。

步骤1005：

确定通过主摄影机在特定时间点捕获的视频帧是否存在。若是，则转至步骤1007；若不是，则转至步骤1009。

步骤1007：

选择来自主摄影机的视频帧为目标单一视点视频帧。举例来说，在时间点T_1和时间点T_3，存在视频帧A AF_1和视频帧A AF_2，因此，相同于图7中修改或不需修改的实施方式，选择视频帧A AF_1和视频帧A AF_2为目标单一视点视频帧。

步骤1009：

自通过不同于主摄影机的摄影机在特定时间点捕获的视频帧、和通过摄影机A及/或摄影机B捕获的至少一个相邻的视频帧，插值新的视频帧。假定摄影机A为主摄影机，然后自特定时间点捕获的视频帧B、和通过摄影机A及/或摄影机B捕获的至少一个相邻的视频帧，插值新的视频帧，其中相邻的视频帧为在特定时间点捕获的视频帧或在特定的时间点附近捕获的视频帧。以时间点T_2来举例说明，相邻的视频帧可以为视频帧A AF_1、视频帧A AF_2和视频帧B BF_1、视频帧B BF_3中的一个或其组合。

步骤1011：

选择插值的视频帧为目标单一视点视频帧。举例来说，在时间点T_2，不存在视频帧A，因此自视频帧B BF_2，和视频帧B BF_1、视频帧B BF_3和视频帧A AF_1、视频帧A AF_2中的至少一个插值，以产生目标单一视点视频帧。

图11为根据本发明另一实施方式的图9中说明的视频处理方法的流程图。图11的流程图包括如下步骤：

步骤1101：

通过摄影机A和摄影机B分别捕获视频帧A和视频帧B。

步骤1103：

设置具有最高视频帧率的摄影机为主摄影机。举例来说，在图9的实施方式中，摄影机B设置为主摄影机。

步骤1105：

对于通过主摄影机捕获的每一个视频帧，自通过主摄影机捕获的视频帧、和通过不同于主摄影机的摄影机捕获的对应的视频帧和通过主摄影机捕获的相邻的视频帧中的至少一个，插值新的视频帧。假定摄影机B为主摄影机，然后对于每一个视频帧B，自视频帧B、和对应的视频帧A和相邻的视频帧B中的至少一个，插值新的视频帧。其中，对应的视频帧A为在捕获视频帧B的时间点或其附近(例如，在该时间点之前或之后)捕获的视频帧，以及相邻的视频帧B为在视频帧B之前或之后捕获的视频帧。以图9中的视频帧B BF_3来举例说明，对应的视频帧A可以为视频帧A AF_2，以及相邻的视频帧B可以为第二视频帧BF_2和BF_4。自视频帧B BF_3、和视频帧A AF_2和视频帧B BF_2和视频帧B BF_4中的至少一个，插值新的视频帧。

步骤1107：

选择插值的视频帧为目标单一视点视频帧。

在此实施方式中，目标单一视点视频帧的视频帧率与视频帧B的视频帧率相同。此外，可以通过合成视频帧B和视频帧A，来提高视频质量。举例来说，当视频帧B的一些暗区域的亮度值太低时，可以基于视频帧A的对应的区域来补偿。

请注意，如图4中的实施方式所示，可以交错地捕获图6和图9中的实施方式的视频帧A和视频帧B。在此实施方式中，第一摄影机的视频帧率等同于第二摄影机的视频帧率。

可以理解，视频帧的亮度受一些因素的影响，例如，曝光时间及/或ISO感光度。在本发明的另一实施方式中，摄影机A的摄影机参数和摄影机B的摄影机参数为曝光时间及/或ISO感光度，以及摄影机A和摄影机B的摄影机参数的设置不相同。在此实施方式中，假定选择摄影机A为主摄影机，然后通过对应的视频帧B补偿视频帧A。具体来说，对于对应于特定时间点的视频帧A，根据摄影机A的摄影机参数确定视频帧A中要增强的至少一个区域，以及根据摄影机B的摄影机参数确定对应于特定时间点的视频帧B中参考的至少一个区域。相应地，基于在视频帧B中参考的至少一个区域，增强在视频帧A中要增强的至少一个区域。

举例来说，假定由于摄影机A的摄影机参数，在视频图像A中的一些区域曝光过度而其他区域的亮度是较好的，以及由于摄影机B的摄影机参数在视频图像B中的一些区域过暗而其他区域的亮度是较好的。通过在对应的视频图像B中的亮的部分(即，参考的区域)来增强在视频图像A中的过度曝光的区域(即，要增强的区域)。

对于另一示例，假定由于摄影机A的摄影机参数，在视频图像A中的一些区域过暗而其他区域的亮度是较好的，以及由于摄影机B的摄影机参数在视频图像B中的一些区域过度曝光而其他区域的亮度是较好的。通过在对应的视频图像B中的暗的部分(即，参考的区域)来增强在视频图像A中的过度暗的区域(即，要增强的区域)。

图12为本发明的另一实施方式。在图12所示的实施方式中，通过相同的视频帧率捕获视频帧A和视频帧B，但是视频帧A具有的亮度高于视频帧B具有的亮度。在此实施方式中，通过一个摄影机的视频帧来增强另一个摄影机的视频帧。举例来说，假定选择摄影机A为主摄影机。若视频帧A AF_1太亮，由于视频帧B BF_1具有较低亮度，则可以基于视频帧B BF_1来增强视频帧A AF_1以产生目标单一视点视频帧TSF_1。在此实施方式中，视频帧B BF_1被视为增强标准视频帧，以及视频帧AAF_1被视为对应于增强标准视频帧的视频帧。相反，若视频帧B BF_2太暗，由于视频帧A AF_2具有较高亮度，则可以基于视频帧A AF_2来增强并扭曲视频帧BBF_2以产生目标单一视点视频帧TSF_2。在此实施方式中，视频帧A AF_2被视为增强标准视频帧。请注意，此处的增强并不限于基于一整个视频帧来增强另一整个视频帧。此处的增强可以指基于一个视频帧对应的区域来增强另一个视频帧的感兴趣区域。举例来说，若在视频帧A AF_3中的人脸太亮，则通过视频帧B中的人脸来增强。图13为基于图12的扩展实施方式。在图12中，视频帧A的亮度均高于视频帧B的亮度。然而，在图13所示的实施方式中，一些视频帧A(例如，视频帧A AF_1、视频帧A AF_4)的亮度高于对应的视频帧B的亮度，但是一些视频帧A(例如，视频帧A AF_2、视频帧A AF_3)的亮度低于对应的视频帧B的亮度。因此，对于图12中的实施方式或图13中的实施方式，分析视频帧A的亮度和视频帧B的亮度以确定其中任意一个是否具有预定的亮度值，然后具有亮度值接近预定亮度值的视频帧被确定为增强标准视频帧，以使得通过增强标准视频帧来增强其他视频帧。在确定增强标准视频帧之后，增强标准视频帧可以应用于视频序列的所有视频帧。然而，若通过主摄影机捕获增强标准视频帧，则需要基于通过主摄影机捕获的对应的视频帧，来扭曲通过增强标准视频帧增强的视频帧，以产生目标单一视点视频帧。

举例来说，在图12所示的一个实施方式中，若确定视频帧A为增强的视频帧，则基于视频帧B的视频帧增强所有视频帧A。可选地，在确定增强标准视频帧之后，增强标准视频帧可以仅应用于视频序列的一些视频帧，以及在此实施方式中可以改变增强标准视频帧。举例来说，在图13中，视频帧A AF_2、视频帧A AF_3为视频帧B BF_2、视频帧B BF_3的增强标准视频帧，但是视频帧B BF_2、视频帧B BF_3为对于视频帧A AF_2、视频帧A AF_3的增强标准视频帧。此种变化也应落入本发明的保护范围。

在图6～图11所示的实施方式中，基于摄影机参数，例如视频帧率或视频帧捕获参数(例如亮度或模糊水平)，可以通过来自主摄影机的视频帧产生目标单一视点视频帧。因此，图6～图11所示的实施方式可以概括如下：一种视频帧处理方法，包括：(a)通过利用第一摄影机参数的第一摄影机捕获至少一个第一视频帧；(b)通过利用第一摄影机参数的第二摄影机捕获至少一个第二视频帧；其中第二摄影机参数不同于第一摄影机参数；以及(c)基于第一摄影机参数和第二摄影机参数，根据至少一个第一视频帧产生对应于每一个特定时间点的目标单一视点视频帧。请注意，第一摄影机和第二摄影机仅指示两个不同的摄影机，以及并不限制第一摄影机和第二摄影机具有相同的参数(例如，分辨率、帧率)。

请注意，第一摄影机/第二摄影机和摄影机A/摄影机B对应的关系并不固定。举例来说，在一个实施方式中，视频帧处理方法包括：确定对应于特定时间点的第一视频帧是否存在；若存在，则选择第一视频帧为目标单一视点视频帧；以及若不存在，则自对应于特定时间的一个第二视频帧和通过第一摄影机和第二摄影机捕获的一个或多个相邻的帧，插值目标单一视点视频帧。在此实施方式中，第一摄影机为摄影机A，第二摄影机为摄影机B。

在另一实施方式中，视频帧处理方法包括：根据一个候选第一帧，和在候选第一视频帧之前或之后的至少一个第一视频帧和在候选第一视频帧之前或之后的至少一个第二视频帧中的至少一个，产生目标单一视点视频帧。在此实施方式中第一摄影机为摄影机B，第二摄影机为摄影机A。

在上述实施方式中，自具有不同摄影机参数和视频帧捕获参数的视频帧产生目标单一视点视频帧。因此，可以获得较佳的目标单一视点视频帧。

虽然本发明已以较佳实施方式揭露如上，然而必须了解其并非用以限定本发明。相反，任何本领域技术人员，在不脱离本发明的精神和范围内，当可做些许更动与润饰，因此本发明的保护范围应当以权利要求书所界定的保护范围为准。

Claims (26)

1.一种视频帧处理方法，其特征在于，包括：

(a)通过第一摄影机捕获至少一第一视频帧；

(b)通过第二摄影机捕获至少一第二视频帧；

(c)基于一个第一视频帧，调整所述至少一第二视频帧的一个候选第二视频帧，以产生目标单一视点视频帧。

2.根据权利要求1所述的视频帧处理方法，其特征在于，进一步包括：

(d)确定所述第一视频帧的视频质量是否高于质量阈值；

若是，则选择在步骤(d)中确定的所述第一视频帧为所述目标单一视点视频帧；若不是，则执行步骤(c)以产生所述目标单一视点视频帧。

3.根据权利要求1所述的视频帧处理方法，其特征在于，进一步包括：

(d)确定所述候选第二视频帧的视频质量是否高于质量阈值；

若是，则根据所述候选第二视频帧增强对应的第一视频帧的视频质量，以产生所述目标单一视点视频帧；若不是，则执行步骤(c)以产生所述目标单一视点视频帧。

4.根据权利要求1所述的视频帧处理方法，其特征在于，步骤(c)包括：

基于所述第一视频帧扭曲所述候选第二视频帧以产生所述目标单一视点视频帧。

5.根据权利要求1所述的视频帧处理方法，其特征在于，步骤(c)包括：

基于所述第一视频帧扭曲所述候选第二视频帧来产生扭曲的候选第二视频帧，以及合成所述扭曲的候选第二视频帧和所述第一视频帧以产生所述目标单一视点视频帧。

6.根据权利要求1所述的视频帧处理方法，其特征在于，步骤(c)基于同时捕获的所述第一视频帧调整所述候选第二视频帧，以产生所述目标单一视点视频帧。

7.根据权利要求6所述的视频帧处理方法，其特征在于，所述第一摄影机和第二摄影机具有相同的视频帧率。

8.根据权利要求1所述的视频帧处理方法，其特征在于，所述第一摄影机和所述第二摄影机交错捕获所述第一视频帧和所述第二视频帧。

9.根据权利要求8所述的视频帧处理方法，其特征在于，步骤(c)基于在所述候选第二视频帧之前或之后的至少一第一视频帧调整所述候选第二视频帧，以产生所述目标单一视点视频帧。

10.根据权利要求9所述的视频帧处理方法，其特征在于，步骤(c)基于在所述候选第二视频帧之前或之后的至少一第一视频帧扭曲或插值所述候选第二视频帧，以产生所述目标单一视点视频帧。

11.根据权利要求8所述的视频帧处理方法，其特征在于，步骤(c)调整所述候选第二视频帧、和在所述候选第二视频帧之前或之后的至少一第一视频帧，以产生所述目标单一视点视频帧。

12.根据权利要求11所述的视频帧处理方法，其特征在于，步骤(c)扭曲或插值所述候选第二视频帧、和在所述候选第二视频帧之前或之后的至少一第一视频帧，以产生所述目标单一视点视频帧。

13.根据权利要求5所述的视频帧处理方法，其特征在于，进一步包括：

插值至少两个第一视频帧，以产生新的第一视频帧；

其中，步骤(c)基于所述新的第一视频帧调整所述候选第二视频帧，以产生所述目标单一视点视频帧。

14.根据权利要求8所述的视频帧处理方法，其特征在于，所述第一摄影机和所述第二摄影机具有相同的视频帧率。

15.一种视频帧处理方法，其特征在于，包括：

(a)通过利用第一摄影机参数的第一摄影机，捕获至少一第一视频帧；

(b)通过利用第二摄影机参数的第二摄影机，捕获至少一第二视频帧，其中所述第二摄影机参数不同于所述第一摄影机参数；以及

(c)根据所述至少一第一视频帧、所述第一摄影机参数和所述第二摄影机参数，产生对应于特定时间点的目标单一视点视频帧。

16.根据权利要求15所述的视频帧处理方法，其特征在于，步骤(c)包括：

确定对应于所述特定时间点的第一视频帧是否存在；

若是，则选择所述第一视频帧为所述目标单一视点视频帧；以及

若不是，则根据对应于所述特定时间点的一个第二视频帧和通过所述第一摄影机及/或所述第二摄影机捕获的一个或多个相邻的帧，插值所述目标单一视点视频帧。

17.根据权利要求16所述的视频帧处理方法，其特征在于，所述第一摄影机参数和所述第二摄影机参数为视频帧分辨率，其中所述第一摄影机参数高于所述第二摄影机参数，以及所述第一摄影机的视频帧率等于或低于所述第二摄影机的视频帧率。

18.根据权利要求16所述的视频帧处理方法，其特征在于，所述第一摄影机参数和所述第二摄影机参数为视频帧率，其中所述第一摄影机具有的视频帧率低于所述第一摄影机具有的视频帧率。

19.根据权利要求15所述的视频帧处理方法，其特征在于，步骤(c)进一步根据一个第二视频帧产生所述目标单一视点视频帧。

20.根据权利要求19所述的视频帧处理方法，其特征在于，步骤(c)自对应于所述特定时间点的第一视频帧和一个第二视频帧，插值所述目标单一视点视频帧。

21.根据权利要求19所述的视频帧处理方法，其特征在于，所述第一摄影机参数和所述第二摄影机参数为视频帧捕获参数，以及步骤(c)根据对应于所述特定时间点的第一视频帧的视频帧捕获参数和一个第二视频帧，产生所述目标单一视点视频帧。

22.根据权利要求21所述的视频帧处理方法，其特征在于，所述帧捕获参数包括捕获时间、曝光时间、景深、对焦、ISO感光度、和白平衡中的至少一个。

23.根据权利要求15所述的视频帧处理方法，其特征在于，步骤(c)进一步根据通过所述第一摄影机及/或所述第二摄影机捕获的至少一相邻帧，产生所述目标单一视点视频帧。

24.根据权利要求19所述的视频帧处理方法，其特征在于，所述第一摄影机参数和所述第二摄影机参数为视频帧率，其中所述第一摄影机具有的视频帧率高于所述第二摄影机具有的视频帧率。

25.根据权利要求24所述的视频帧处理方法，其特征在于，所述目标单一视点视频帧具有的图像分辨率高于所述第一视频帧具有的图像分辨率。

26.根据权利要求15所述的视频帧处理方法，其特征在于，所述第一摄影机参数和所述第二摄影机参数为曝光时间及/或ISO感光度，其中步骤(c)包括：

根据所述第一摄影机参数确定在对应于所述特定时间点的第一视频帧中要增强的至少一区域；

根据所述第二摄影机参数确定在对应于所述特定时间点的第二视频帧中参考的至少一区域；

基于在所述第二视频帧参考的所述至少一区域，增强所述第一视频帧中要增强的所述至少一区域。