CN105472236A - 具有最佳图像稳定的延时视频采集 - Google Patents

Abstract

本申请公开了一种具有最佳图像稳定的延时视频采集。本文具体公开的是利用感兴趣的时间点和图像相似性比较来构造改进的、运动稳定的延时视频的系统和方法。根据一些实施例，可以采集图像的“突发”，其中心在以上提到的感兴趣的时间点周围。然后，例如通过执行突发序列中每个图像与在前一感兴趣的时间点选择的图像帧之间的图像相似性比较，可以分析图像的每个突发序列。从给定突发中选择与前一被选图像最相似的图像，并同时最小化与前一被选图像之间的运动量，从而允许系统通过丢弃在突发序列中采集到的“离群值”或其它不期望图像并且使被选图像运动稳定来提高结果延时视频的质量。

Description

具有最佳图像稳定的延时视频采集

对相关申请的交叉引用

本申请要求于2015年2月3日提交的美国专利申请序列号14/613,133的优先权，该专利申请又要求于2014年9月30日提交且标题为“Time-LapseVideoCapturewithTemporalPointsofInterest”的美国专利申请序列号14/502,675的优先权并且是其部分继续申请，这两个专利申请的全部内容都通过引用被结合于此。

技术领域

本公开内容一般而言涉及视频采集领域，并且更具体而言，涉及获取并稳定延时视频(time-lapsevideo)。

背景技术

便携式集成计算设备的出现已经造成相机和视频设备的广泛扩散。这些集成的计算设备通常采取智能电话或平板电脑的形式，并且通常包括通用计算机、相机、包括触摸敏感屏幕的复杂用户接口，以及通过Wi-Fi、LTE、HSDPA和其它基于小区的或无线技术的无线通信能力。这些集成设备的广泛扩散提供了使用设备的能力执行任务的机会，否则这些任务将需要专用硬件和软件。例如，如以上所指出的，诸如智能电话和平板电脑的集成设备通常具有一个或两个嵌入式相机。这些相机一般等同于(amountto)镜头/相机硬件模块，这些模块可以通过通用计算机利用固件和/或软件(例如，“App”)和包括触摸屏固定按钮以及诸如语音控制的无触摸控制的用户接口进行控制。

把相机集成到诸如智能电话和平板的通信设备中使人们能够以以前从来不可能的途径共享图像和视频。现在，非常流行获取照片并要么通过经由文本消息、SMS或电子邮件发送照片，要么通过把照片上传到基于因特网的服务(诸如社交网站或者照片共享站点)，来立即与其他人共享照片。

立即共享视频同样是可能的，就像以上对照片共享所描述的。但是，带宽限制和上传时间显著约束了可以轻松共享的视频的长度。在许多情况下，采集所记录的整个动作的精华的短视频剪辑会是期望的。视频剪辑的持续时间可以取决于视频剪辑的主题。例如，几小时的车程或者一晚上的聚会可以被缩减为只持续一两分钟的延时视频剪辑。其它动作，诸如日落或云的移动，可以在二十至四十秒的剪辑中被更好地表达。虽然缩短持续时间的延时视频会是期望的，但用户常常可能希望获取跨更大时间长度的视频(在本文被称为“源视频”)，例如，跨几分钟、几小时或者甚至几天。用户可能期望减小源视频的长度，以提供缩短的延时视频剪辑。如以上提到的，用户可能希望共享视频，或者可能仅仅期望缩短的延时回放。

发明内容

按照惯例，延时视频是从以给定时间间隔采集的图像帧(例如，每十秒钟采集的单独的图像帧)构造的。这些采集时间在本文被称为“感兴趣的时间点”或者“时间POI”。被用来构造延时视频的帧是单个的图像帧采集。本文所公开的是围绕感兴趣的时间点采集并选择更好的图像用于构造改进的延时视频的智能系统和方法。根据一些实施例，可以捕捉帧的小“突发”，其中心在以上提到的感兴趣的时间点周围。然后，可以分析图像帧的每个突发序列，例如，通过执行突发序列中每个图像与在前一感兴趣的时间点选择的图像帧之间的相似性比较。突发序列中的每个图像帧可以生成“相似性得分”。该得分可以基于各种因素来计算，诸如颜色直方图、曝光量级、平均亮度等。这允许本文所述的智能系统和方法检测，例如，是否某个对象在特定的感兴趣的时间点飞快地出现在原本静止的帧中。如果是，则延时视频的质量可以通过在该特定的感兴趣的时间点周围选择与突发序列不同的图像帧用于包括在结果延时视频中来改进。

在其它实施例中，可以计算突发序列中每一帧的平均亮度并且将其用来从突发序列中过滤掉具有曝光波动的图像帧，其中曝光波动例如是由于镜面高光、移动对象或者仅仅相机的测量不准确而引起的。

在繁忙场景的延时视频中，诸如火车站或展厅，不是所有相似性算法都将产生决定性结果——这意味着给定突发序列中的所有图像可能对于来自前一感兴趣的时间点的选定的图像帧显示出非常低的相似性得分。在这种情况下，备选技术，诸如时间加权(即，把图像帧选择过程偏置到在时间上最接近真正的感兴趣的时间点所采集的图像帧)，可以被用来确定对于给定的感兴趣的时间点要选择哪个图像帧。

在还有其它实施例中，“相似性得分”概念也可以通过其它的质量测量来扩展，以增强对于每个突发序列的图像帧选择过程。作为例子，突发序列中每个图像帧的对焦得分可以被评估，尤其是对于“宏”场景，其中轻微的被摄体移动可以大大改变图像帧的主题的对焦程度——并且因此改变锐化程度。

在进一步的实施例中，还可以分析给定突发序列中的图像帧与来自前一感兴趣的时间点的被选图像帧的运动差异。根据一些此类实施例，给定突发序列中与来自前一感兴趣的时间点的被选图像帧相比具有最少量运动差异的图像帧可以被选择用于包括在结果延时视频剪辑中，并然后例如利用已知的视频图像稳定技术可选地被稳定。

在用于所采集图像帧的突发序列的每个感兴趣的时间点之前和之后的时间量可以关联到采集延时视频的时间间隔。因此，给定的实现方式可以确定它将允许用于突发序列采集的时间量–因为更长的时间间隔可以允许选择具有更好场景组成的图像，而较短的时间间隔降低了结果延时视频的“时间准确度”，即，每个感兴趣的时间点周围的时间间隔被允许增长得越长，被用来构造延时视频的图像越有可能距离所计算出的感兴趣的时间点越远。

该方法是适应性的，因为它可以适应变化的条件以及当采集继续时被采集的场景的组成。一旦图像帧获取停止，用于每个感兴趣的时间点的“被选”图像帧就可以被编码到结果延时视频剪辑中。另一种实施例是被编程为实现本文所述方法的装置或设备。

附图说明

图1是示出被应用到所采集图像序列的连续帧时的示例性的差异得分的图示。

图2是根据一种实施例示出在感兴趣的时间点周围采集的示例性图像帧突发序列的时间线。

图3根据一种实施例示出了来自在感兴趣的时间点周围采集的两个不同图像帧突发序列的图像帧之间使用颜色直方图作为示例性相似性测量。

图4根据一些实施例示出了在感兴趣的时间点周围采集的示例性图像帧突发序列。

图5根据一些实施例示出了用于在感兴趣的时间点周围采集的图像帧突发序列的示例性时间加权方案。

图6A是根据一种实施例示出在构造改进的延时视频当中分析图像帧突发序列的方法的流程图，其中突发序列的中心在感兴趣的时间点周围。

图6B是根据一种实施例示出在构造改进的、运动稳定的延时视频当中分析图像帧突发序列的方法的流程图，其中突发序列的中心在感兴趣的时间点周围。

图7根据一种实施例示出了说明性电子设备的简化功能框图。

具体实施方式

公开了提供指令的系统、方法和程序存储设备，其中指令使一个或多个相机和/或处理单元记录延时视频。本文所公开的技术适用于任何多种具有显示器的电子设备：诸如数码相机、数码摄像机、移动电话、个人数据助理(PDA)、便携式音乐播放器、监视器、以及当然还有台式、膝上型和平板计算机显示器。

在以下描述中，为了解释，阐述了众多具体细节，以提供对发明性概念的透彻理解。作为这种描述的一部分，本公开内容的一些附图以框图形式表示结构和设备，以避免使本发明晦涩难懂。为了清晰，在本说明书中并未描述真正实现方式的所有特征。而且，本公开内容中所使用的语言主要为可读性和指导性目的而选择，而不是为了描绘或限制发明性主题而选择，有必要诉诸权利要求来确定这种发明性主题。本公开内容中对“一种实施例”或“一个实施例”的引用意味着结合该实施例描述的具体特征、结构或特点被包括在本发明的至少一种实现方式中，并且对“一种实施例”或“一个实施例”的多次引用不应当被理解为必定全都指相同的实施例。

将认识到，在任何真正实现方式的开发中(就像在任何开发项目中)，必须作出众多决定来实现开发者的特定目的(例如，符合与系统相关和业务相关的约束)，并且这些目的可以从一种实现方式到另一种实现方式有所变化。还将认识到，这种开发工作可能复杂而且耗时，但无论如何都将是普通技术人员在设计具有本公开内容的益处的图像处理系统的实现方式时要经历的例行过程。

与获取视频所花的时间长度相比，延时减少了视频的回放时间。根据一些例子，20至40秒的结果延时剪辑会是期望的，但是应当认识到，任何持续时间都可以被先验选择，或者在视频采集期间“实时”调整。把40秒的源视频剪辑缩减至20秒的延时视频的方法将是：(1)以30帧每秒(或者“fps”)的帧速率获取40秒的源视频，从而产生总共1200个图像；(2)丢弃一半的图像(例如，每隔一个图像丢弃一个)，从而产生总共600个图像；及(3)以30fps回放剩余的600个图像，从而产生20秒的延时视频。因为丢弃了一半的图像，所以获取帧速率“有效地”是15fps，尽管视频实际上是以30fps获取的。因此，术语“有效获取帧速率”在本文被用来指剩余的图像数量除以真正的获取时间。当以30fps回放时，视频帧的动作将看起来以“真实生活”动作两倍的速度移动。为了从更长片段的源视频创建20秒的延时视频，将必须丢弃更多图像。例如，以30fps记录的80秒的源视频将产生2400个图像。丢弃那些图像中的1800个(即，每四个图像中保留一个)将留下600个图像，再次提供20秒的延时视频供以30fps回放。

随着获取的源视频的时间长度增加，为产生延时视频而被丢弃的图像数量也增加，并且很快就远超实际上被使用的图像数量。那些未被使用图像的获取和存储消耗处理和存储资源，不然这些处理和存储资源可用于其它操作。

获取然后丢弃未被使用的图像的一种备选方案将是从一开始就不获取它们。例如，如果用户以15fps(与上例中的“有效帧速率”相同)而不是30fps的获取帧速率获取40秒的源视频，则它们将收集总共600个图像。以30fps回放那600个图像将产生20秒的延时视频。同样，用户可以以7.5fps的速率收集80秒的源视频，以产生600个图像，这些图像可以30fps被回放，以提供20秒的延时视频。

关于这种备选方案的一个问题是实现这种方法的设备必须计算精确“感兴趣的时间点”，在该时间点处设备将采集要用在结果组装的延时视频中的图像。例如，在以上以30fps采集视频的例子中，将存在每33ms采集的图像(即，1000ms/30帧＝33ms/帧)。如果在结果延时视频中期望15fps的有效帧速率，则可每隔一帧丢弃一个。换句话说，假设时间在t＝0ms开始，每66ms(对于每隔一帧，33msx2)存在一个感兴趣的时间点(并且因此，图像被选择)，即，在t₁＝66ms、t₂＝132ms、t₃＝199ms，以此类推。对于获取的更长的视频序列，感兴趣的时间点可能实际上相隔数秒、数分钟或者甚至数小时。例如，在本文所描述的说明性实施例中，我们将假设15fps的获取帧速率，并且感兴趣的时间点以1秒的间隔出现。换句话说，期望在结果延时视频中只使用每采集的15帧中的一帧，并且每隔1s将存在感兴趣的时间点(并且因此，图像被选择)，即，在t₁＝1s、t₂＝2s、t₃＝3s，以此类推。应当理解，不同的帧速率、有效帧速率和感兴趣的时间点的间隔可以基于具体实现方式的需求来选择。

在许多情况下，在计算出的感兴趣的时间点采集到的确切获取图像可能是次优的。例如，如果用户在拍摄日落，大昆虫可能飞到镜头前面并在一个或多个感兴趣的时间点使所采集的图像模糊。这会产生以下影响：大大改变相机曝光设置，向延时视频添加未对焦帧，并且通常在结果延时视频中包括其组成没有“讲述(用户可能打算利用该延时视频去讲述的)故事”的图像帧。

而且，在没有应用图像稳定技术的情况下，延时视频在某些情况下会变得非常不稳定，例如，当该视频是从安装在头盔或汽车仪表板上的设备进行记录的时候。随着所采集的图像数量变得越来越大，并因此结果延时视频中连续被选帧在时间上彼此离得越来越远时，尤其是这样。在这种情况下，视频会变得非常难以稳定，因为连续的帧会具有越来越小的相似性。

由此，本文描述的是一种获取并处理延时视频的自适应算法，其用于从所采集图像的“突发序列”中智能地选择并稳定图像帧，其中该序列的中心在感兴趣的时间点周围，从而努力避开突发序列中在特定感兴趣的时间点周围采集到的“离群值”图像帧或其它不期望图像。

现在参考图1，示出了图100，该图示出了应用到假设采集的图像序列102的连续帧的示例性差异得分。图100的垂直轴106表示在值0和1之间归一化的示例性“差异得分”。在示例性图100中，沿垂直轴106绘出的点的值表示其帧号沿水平轴108关于相应的绘制点对齐的图像与所采集的图像序列102中沿图100的水平轴108的前一图像帧(即，向左一个位置的图像帧)之间的差异得分。

如现在可以认识到的，所采集的图像序列102中的图像帧与其前一图像帧之间的差异量越大，沿图100的垂直轴106的差异得分的值将越大。出于说明目的调出几个示例性图像帧。首先，点104a对应于所采集的帧0与帧1之间的差异。如由非常低的差异得分所示，这两个帧具有非常高的相似性程度。接下来，点104b对应于所采集的帧4与帧5之间的差异。如由相对大的差异得分所示，这两个帧具有相对高的差异程度，这有可能是由于在帧5的前景中被摄体人的突然出现造成的。接下来，点104c对应于所采集的帧15与帧16之间的差异。如由相对大的差异得分所示，这两个帧具有相对高的差异程度，这有可能是由于帧16中被摄体人从前景中突然消失造成的。最后，点104d对应于所采集的帧26与帧27之间的差异。如由相对中等的差异得分所示，这两个帧具有相对中等的差异程度，这有可能是由于在帧27中被摄体人再次出现到前景中造成的。如果被摄体人占据帧27的更大部分，则帧27的差异得分将会更大。

如以下将更详细解释的，图1的图100表示了以下概念：在延时视频采集期间采集到的图像中场景组成中的突然(并且常常是非预期的)差异会造成相邻采集的图像帧之间大的差异程度。当被压缩成延时视频时，这些突兀的差异会是不和谐的，并且常常没有“讲述故事”，该故事是延时视频的创建者所预期的。例如，在三小时的日落延时视频采集的几帧中被摄体人走到场景的前景中的事实有可能对于存在于日落的结果延时视频中是不重要(或者不期望)的。因此，所需要的是这样一种智能途径，其从结果延时视频的生成中丢弃这种离群值或次优帧，同时仍然保持来自在被丢弃帧的感兴趣的时间点处或其附近采集的该采集序列中的代表性图像帧。

现在参考图2，根据一种实施例示出了时间线200，该时间线200示出了在感兴趣的时间点周围采集的图像帧的示例性突发序列。如以上所提到的，本文所述的说明性实施例使用15fps的获取帧速率(即，每66.6ms一个图像)，并且感兴趣的时间点以1秒的间隔出现(即，t＝1s、2s、3s等等)。[通过以15fps而不是传统的30fps–或者甚至更高的帧速率，诸如60fps、120fps或240fps–进行采集，本发明人发现相机固件常常能够在采集下一个图像之前调整自动曝光(AE)、自动对焦(AF)、自动白平衡(AWB)以及相机的其它参数，从而允许曝光和着色的更平滑改变，并且由此先验地消除一些潜在的“离群值”图像帧，即，从一开始就从不采集和存储它们。]如图2中所示，存在四个示例性突发序列：202₁、202₂、202₃和202₄，其中心在前四个感兴趣的时间点周围，沿时间线200分别出现在t＝1s、t＝2s、t＝3s和t＝4s处。这四个示例性突发序列202₁、202₂、202₃和202₄当中每一个都包括五个采集的图像帧，其中心在各自的感兴趣的时间点周围。关于在t＝1s的第一个感兴趣的时间点，突发序列202₁中五个图像帧的采集时间将对应于：867ms、933ms、1s、1067ms和1133ms。突发序列202₁中的中央图像204₁在粗黑框中被勾勒，从而指示它对于突发序列202₁是“被选的”或者“标记的”图像。缺省地，对于给定突发序列所选定的图像将是在构造结果延时视频中使用的图像。

如可以看到的，除在第一图像和第二图像中被摄体人头顶之上有鸟飞过之外，构成突发序列202₁的五个图像帧的组成在组成上非常相似。这种情况在诸如示例性突发序列202₁的突发序列中可以是常见情形，在示例性突发序列202₁中每个图像在266ms的窗口期间被采集。但是，对于更长的突发序列、更低的获取帧速率或者更详细/繁忙的场景，在构成突发序列的图像帧之间可能确实存在大量的不相似性，如以下将更详细讨论的。

因为突发序列202₁是图2中所示的假设视频采集序列中的第一个突发序列，因此不存在“前一”被选帧来与突发序列202₁中的帧进行比较。在这种情况下，过程可以简单地缺省选择在突发序列中央的图像帧204₁，即，其中心在感兴趣的时间点上的图像帧。作为替代，另一测量，诸如颜色合成、曝光、焦点或者平均亮度测量可以被用来从第一突发序列中确定要包括在结果延时视频序列中的第一个被选帧。

沿时间线200移动到突发序列202₂，可以看到，该突发序列中图像帧的组成在该序列的第四帧和第五帧中开始变化，因为第二个被摄体人看起来从图像的右手侧移入该帧中。如参考图1所解释的，这将有可能造成突发序列202₂的第四个图像和第五个图像与来自突发序列202₁的被选图像204₁的更大不相似性程度。照此，过程可以再次从突发序列202₂选择中央图像204₂，以将其包括在结果生成的延时视频中。再次，由于突发序列202₂中前三个图像之间的高相似性程度，如果不能确定突发序列202₂中前三个图像与来自突发序列202₁的被选图像204₁相比的相似性得分的显著差异，则过程可以简单地从突发序列202₂缺省选择中央图像。

沿时间线200移动到突发序列202₃，可以看到，该突发序列中图像帧的组成包括突发序列202₃的前三个帧的两个被摄体人，然后第二个被摄体人在第四个帧开始再次移出帧，并然后在突发序列202₃的第五个帧也是最后一帧离开帧。如参考图1所解释的，这将有可能造成突发序列202₃的前四个图像与来自突发序列202₂的被选图像204₂之间更大的不相似性程度。照此，过程可以从突发序列202₃中选择第五个图像204₃，以将其包括在结果生成的延时视频中。如现在可以认识到的，选择图像帧204₁、204₂和204₃将从结果延时视频中一起消除第二个被摄体人的出现。这会是适当的，因为第二个被摄体人仅在延时视频采集期间的一秒钟之内进入和离开场景。在经长时间采集的延时视频的上下文中，让第二个被摄体人的脸“突然出现”到结果延时视频中仅单个帧然后就再也看不到可能是不期望或者不和谐的。因此，利用本文所描述的技术，可以在每个感兴趣的时间点周围智能地选择更好的画面，从而产生更好的结果延时视频。最后，参考突发序列202₄，可以看到，该突发序列中每个图像帧的组成都与选定的图像帧204₃相似，因此导致过程再次选择中央的帧204₄，以将其包括在结果延时视频中。

根据一些实施例中，还有可能对突发序列中采集的每个图像采集“包围的(backeted)”曝光范围的图像，例如，如果在图像获取之间存在足够长的延迟间隔和/或如果正在使用的图像传感器快到足以采取这种行为的话。然后，在突发序列中每个采集点采集到的包围范围的图像可以在其中被选择，以便例如与前一选定的图像帧更好地匹配曝光量级，在突发序列中两个或更多个图像与来自前一突发序列的被选图像具有相等的相似性得分的情况下充当“决胜点(tiebreaker)”(例如，从突发序列的两个或更多个得分相等(tied)的图像的所有包围采集中选择具有单个最高相似性得分的包围图像)，或者允许结果延时视频序列中图像的曝光量级贯穿该延时视频的持续时间更逐步地调整。

现在参考图3，根据一种实施例示出了使用颜色直方图作为来自在感兴趣的时间点周围采集的两个不同图像帧突发序列的图像帧之间示例性相似性测量。根据一些实施例，“相似性得分”是通过把正在比较的每个图像平铺成八个带并且为这八个带中每一个计算图像的颜色直方图来确定的。然后，在该八个带上具有直方图相似性的最大总量的图像(当与来自前一感兴趣的时间点的被选图像比较时)将被认为是来自中心在当前感兴趣的时间点处的图像帧突发序列的最相似图像。如将理解的，其它实现方式可以利用例如特征比较算法、配准算法、像素求和算法、ΔE计算等来执行该相似性确定。

直方图305表示来自突发序列202₂的被选图像帧204₂的示例性颜色直方图。直方图310₁-310₅表示来自示例性突发序列202₃的五个图像中的每一个图像的示例性颜色直方图。如可以看到的，在给定图像帧中采集到的场景的组成的变化导致对图像帧颜色直方图的伴随变化。如以上参考图2解释的，根据一些实施例，用于给定突发序列的被选帧被选择为与来自前一突发序列的被选图像帧相比具有最高相似性程度的图像帧。如图3中由边界框矩形300所绘出的，突发序列202₃中第五个图像的颜色直方图与来自突发序列202₂的被选图像帧204₂具有最大的相似性。照此，突发序列202₃中的第五个图像被指定为要在结果延时视频序列的构造中使用的被选图像帧204₃。

如以上所提到的，可能在当前突发序列的所有帧与来自前一突发序列的被选图像之间都存在强的不相似性。在这种情况下，该方法可以仅仅自动地拾取一个图像，诸如缺省地是该突发序列的中央图像，即最接近计算出的感兴趣的时间点采集的图像帧。

现在参考图4，根据一些实施例示出了在感兴趣的时间点周围采集的示例性图像帧突发序列。如在时间线400中所示的，突发序列405各自包括五个采集到的图像帧并且中心在每1秒钟出现的感兴趣的时间点周围。这可以类似于在以上图2中所使用的例子。如可以认识到的，这种方案在每对感兴趣的时间点之间留下十个不作为任何采集到的突发序列的一部分的采集到的帧406。如在时间线410中所示，突发序列415各自包括二十一个采集到的图像帧并且中心在每2秒钟出现的感兴趣的时间点周围。如可以认识到的，这种方案在每对感兴趣的时间点之间留下九个不作为任何采集到的突发序列的一部分的采集到的帧416。最后，如在时间线420中所示，突发序列425各自包括二十一个采集到的图像帧并且中心在每1秒钟出现的感兴趣的时间点周围。如可以认识到的，这种方案导致连续的突发序列425重叠，并且在每对感兴趣的时间点之间不留下任何不作为任何采集到的突发序列的一部分的采集到的帧。这个例子证明，突发序列在时间上相隔得越远，不重叠的图像帧突发可以越大。但是，突发序列的尺寸应当被平衡，以避免变得太大，因为那会导致其中第一个被选图像位于突发序列的左手侧而下一个被选图像位于下一突发序列的右手侧的情况——从而导致其中结果生成的延时视频序列中两个连续图像彼此相隔接近两个完整时间间隔而被采集的情况。

根据一些实施例，可选的“动态加权”方案也可以被应用到给定突发序列之内的图像帧。例如，如果存在其中构成帧应当与前一采集大部分相同(即，具有高相似性得分)的视频采集，则该过程可以通过首先取走给定突发序列中的任何离群值帧(例如，其中鸟飞到相机前面的帧)开始，其次，选择在颜色分布、亮度、曝光、白平衡等上与前一被选帧最接近的(一个或多个)帧。但是，在预期视频采集中连续的图像帧不是大部分相同(或者这些图像帧最终不是大部分相同)的场景中(例如，俯瞰拥挤的火车车站所拍摄的延时视频)，丢弃任何离群值帧的第一步可以被跳过，并且选择过程可以仅仅基于颜色分布、亮度、曝光、白平衡等来选择在组成上与前一被选帧最接近的帧。在其它实施例中，当快速变化的场景(诸如拥挤的火车站例子)被用户检测到或指示时，该过程还可以把其相似性比较局限于仅仅那些在图像之间没有快速变化的图像区域。

在还有其它实施例中，时间加权方案可以在为图像突发序列内的给定图像计算相似性得分中用作附加因素。即，更靠近感兴趣的时间点(即，更靠近突发序列的中心)发生的图像帧可以使其相似性得分比离感兴趣的时间点更远地(即，更靠近突发序列的边缘)发生的那些图像帧具有更重的加权。以这种途径，当两个图像具有彼此相似的相似性得分时，该过程将缺省地倾向于选择更靠近真正感兴趣的时间点的图像，该突发序列的中心在该真正感兴趣的时间点的周围。

现在参考图5，根据一些实施例示出了用于在感兴趣的时间点周围采集的图像帧突发序列的示例性时间加权方案505/510/510的图500。沿着图500的水平轴，t₀表示在感兴趣的时间点处拍摄的图像，t₁-t₃表示在感兴趣的时间点之后拍摄的图像，并且t_-1-t_-5表示在感兴趣的时间点之前拍摄的图像。图500的垂直轴，W，表示将被应用到来自突发序列的对应图像帧的相似性得分的权重。加权方案505表示其中线性关系被用来在图像帧更靠近感兴趣的时间点t₀时增加其权重的方案。加权方案510表示其中多项式关系被用来在图像帧更靠近感兴趣的时间点t₀时增加其权重的方案。加权方案515表示其中恒定权重被应用到突发序列中的每个图像帧的方案。在这种方案中，与感兴趣的点的时间接近性不作为在相似性得分确定中考虑的因素。这对于较小的突发序列会是适当的，因为即便在突发序列的最开始和最末尾采集的图像帧也是与感兴趣的时间点相当靠近地采集的。

现在参考图6A，根据一种实施例示出了流程图600，该流程图示出了在构造改进的延时视频中分析其中心在感兴趣的时间点周围的图像帧突发序列的方法。首先，过程可以在第一感兴趣的时间点处获取(以及缺省地选择)第一数字图像(步骤605)。还有可能通过以下步骤来开始该过程：采集图像帧的突发序列，从该第一突发序列除去任何“相似性离群值”，并然后选择具有最锐利焦点、最小噪声等的图像帧。接下来，该过程可以获取其中心在后续感兴趣的时间点处的多个第二数字图像(步骤610)。接下来，该过程可以为该多个第二数字图像当中的每一个图像确定相似性值，例如，根据本文已经讨论过的任何相似性测量(步骤615)。接下来，过程可以可选地对该多个第二数字图像的相似性值应用基于场景内容(或者预期的场景内容)的动态加权方案(步骤620)和时间加权方案(步骤625)。

接下来，在步骤630，该过程可以选择(或者“标记”)该多个第二图像中与来自前一被选或标记的图像帧的被选图像帧相比具有最高相似性值的特定图像，以将其包括在结果延时视频中。步骤630还允许“未选的”图像以智能的方式被丢弃。例如，如果图像基于其相似性得分被确定为是离群值或者以别的方式“未被选择”，则那个图像可以被标记为要被删除(而不是被包括到结果延时视频中)。如果例如在图像获取期间相机被干扰或遮蔽，或者如果在场景组成中存在快速且不期待的变化，则图像可以被确定为是离群值。实现标记操作630的许多技术将对本领域技术人员而言是清楚的。根据备选实施例，被标记为要被删除的图像可以不立即被删除。而是(一个或多个)标记可以与图像一起被维持并且被嵌入到结果输出电影文件中，使得这(一个或多个)标记可以被用来通知进一步的视频编辑。例如，如果用户希望改变由该过程在任何特定感兴趣的时间点所作的决定，则他或她就可以使用后期处理软件程序来调整来自特定突发序列的图像的标记，以便改变要被包括在结果延时视频序列中的(一个或多个)图像。

如果在步骤635存在更多图像要获取，则该过程可以返回到步骤610，以采集其中心在下一个感兴趣的时间点处的下一多个第二数字图像。相反，如果没有更多图像要获取，则该过程可以前进到步骤640，并且把第一数字图像与已被选择(或被标记)为要被包括到延时视频中的第二数字图像组合。

用于延时视频采集的最佳视频图像稳定

如以上所提到的，在延时视频采集期间存在大幅度的相机运动的情况下(例如，用手拿着相机、在车内驾驶、走路等等)，帧到帧的运动会变成目前导致难以组装相干结果延时视频的主要因素，远远超出结果延时视频内的帧之间的曝光差异、颜色/白平衡差异的问题。

在这种“高运动”视频采集情况下，诸如在图6A中所描述的那些的延时视频组装方法——虽然成功除去离群值帧(例如，太阳耀斑、在相机镜头前的昆虫等等)——但可能难以减小由帧采集之间的相机朝向变化招致的曝光/白平衡/焦点变化。

照此，需要尝试最佳地稳定所组装的结果延时视频的增强方法。在该上下文中，视频图像稳定包括拾取相对于延时视频的前一帧具有最小运动的帧的过程。应用图像稳定导致比利用图6A中所概述的方法所获得的视频稳定得多的视频。为了估计在被调查的帧采集之间赋予图像采集设备的运动量，可以使用设备定位传感器，例如陀螺仪(如在于2014年11月25日公告且标题为“Motion-BasedVideoStabilization”(“’713专利”)的共同受让的美国专利号8,896,713中所解释的)。’713专利的全部内容通过引用被结合于此。同样，也可以使用基于图像处理的运动估计方法。

有许多可能危及视频稳定的其它因素也可以以相似的方式被避免。现在将更详细地讨论几个此类因素。

1)运动模糊：图像采集设备中的陀螺仪或其它定位传感器可以被用来估计运动模糊并且丢弃具有最大量运动模糊的帧，该运动模糊对于低照明条件下的图像稳定非常有害。

2)自动对焦(AF)振荡：许多图像采集设备(例如移动电话)的AF系统被安装在会无意中振动并造成图像的一些部分不对焦的弹簧上。通过分析所采集的图像帧的锐度，该系统可以丢弃最不对焦的帧并且阻止那些帧被选择。检测AF振荡的几种其它途径包括：利用四元连续帧之间的角度，这是相机朝向变化的指示。具体而言，取这个角度的导数将还给出整体设备加速度。但是，在实践当中，实际上可能难以以大的确定性识别AF振荡。例如，在给定帧上具有加速度峰值并不保证该帧具有AF振荡。振荡可能还要花几个帧才衰减，并且这些帧通常将不具有任何加速度。因此，根据一些实施例，可以将较低的得分给予具有大加速度值的帧，或者它们甚至可以从选择过程中整个被丢弃。为了处理其中AF振荡花几个帧衰减的情况，在具有大加速度的帧之后被采集的帧的得分可以有意地被降低。最后，还存在AF振荡不可被陀螺仪/加速计数据检测到的情况。例如，当图像采集设备被刚性安装(例如，在三脚架上)时，振动可以被传送到设备的AF机构并且导致延长且严重的AF振荡，而没有任何设备加速度。这种振荡可以潜在地经由图像或每个帧的元数据的分析(例如，AF统计)来检测。但是，一般而言，当这种用例发生时，振荡会相对永久，并且因此，在组装延时视频的上下文中，给定的图像帧突发序列内没有一个帧会在图像稳定目的方面是令人满意的。

3)突然的曝光变化：这对于延时视频是最普遍的，在延时视频中，与正常的视频记录相比，帧在时间上彼此离得非常远。由图像采集设备提供的元数据可以被用来检测突兀的曝光变化或者间歇的镜头闪烁，和/或基于图像处理的方法也可以被用来分析所采集的图像的亮度简档。

现在参考图6B，根据一种实施例示出了流程图645，该流程图示出了在构造改进的、运动稳定的延时视频中分析其中心在感兴趣的时间点周围的图像帧突发序列的方法。首先，该过程可以在第一感兴趣的时间点处获取(并且缺省地选择)第一数字图像(步骤650)。还有可能通过以下步骤来开始该过程：采集图像帧突发序列，从该第一突发序列中除去任何“相似性离群值”，并然后选择具有最锐利焦点、最小噪声等的图像帧。接下来，该过程可以获取其中心在后续感兴趣的时间点处的多个第二数字图像(步骤655)。接下来，该过程可以确定该多个第二数字图像中的每一个图像的相似性值，例如根据本文已经讨论过的任何相似性测量(步骤660)。接下来，该过程可以可选地向该多个第二数字图像的相似性值应用基于场景内容(或期待的场景内容)的动态加权方案和/或时间加权方案(步骤665)。

接下来，在步骤670处，该过程可以从该多个第二图像中丢弃(或者如上所述“标记”为要丢弃)与来自前一被选或标记的图像帧的被选图像相比具有最低相似性值的(一个或多个)特定图像，以使其不被包括到结果延时视频中。在一些实施例中，“离群值”帧，即突发序列中具有最低相似性值的那些帧，可以被确定为是具有低于阈值的相似性值的那些帧。该阈值可以基于特定延时视频序列采集或实现方式的特性被预先确定或者被确定。在一些实施例中，该阈值可以设置为一个值，该值使得，由于给定帧与来自前一感兴趣的时间点的被选图像的不相似性，给定帧为“离群值”存在特定置信水平，例如90％置信水平。在还有其它实施例中，该阈值可以设置为使得突发序列中(在与前一感兴趣的时间点的被选图像的相似性方面)固定百分点的(例如底部第90个百分点的)帧被丢弃。

接下来，在步骤675处，对来自突发序列的“剩余”帧，即，在步骤670处未被丢弃(或者“标记”为要被丢弃)的那些图像帧进行分析，以获得与来自前一感兴趣的时间点的被选帧的运动差异。在一些实施例中，最小化与来自前一感兴趣的时间点的被选帧的运动差异的“剩余”帧，即为了令人满意地被稳定而要求最少量运动进入图像过扫描区域的帧，被选择(或者“标记”为要被选择)。例如，根据一种实施例，该系统可以尝试最小化之前被选的(即，来自前一感兴趣的时间点的被选帧)未稳定帧与当前被选的(即，来自当前感兴趣的时间点的被选的剩余帧)未稳定帧之间的运动差异。根据其它实施例，该系统可以尝试最小化以下各项之间的运动差异：1)之前被选的稳定帧与当前被选的未稳定帧；或者2)之前被选的稳定帧与当前被选的稳定帧。但是，以上提到的选项1)和2)只对不需要“未来”知识的图像稳定技术可行。

关于利用图像过扫描区域和“未来”帧的知识的视频图像稳定系统的一种实施例的细节可以在于2014年8月25日提交且标题为“VideoImageStabilization”的共同受让、共同未决的美国专利申请序列号14/467,987(“’987申请”)中找到。’987申请的全部内容通过引用被结合于此。

接下来，在步骤680处，被选的(或者“标记”为要被选择的)图像帧可以可选地被稳定，例如利用已知的视频图像稳定技术。在一些实施例中，所应用的稳定量可以考虑在被选的(或者“标记”为要被选择的)图像帧中检测到的运动模糊量。例如，检测到的运动模糊越多，将被应用到被选的(或者“标记”为要被选择的)图像帧的图像稳定越弱。关于涉及根据测量/估计的运动模糊水平使用图像稳定强度参数的一种潜在实施例的细节可以在于2014年8月25日提交且标题为“LowLightVideoImageStabilizationStrengthModulation”的共同受让、共同未决的美国专利申请序列号14/467,998(“’998申请”)中找到。’998申请的全部内容通过引用被结合于此。作为替代，具有高于预定阈值的运动模糊量的图像帧可以直接被丢弃(或者“标记”为要被丢弃)，即在步骤670的末尾处丢弃，并且因此不会潜在地在步骤675处被选择。

如果在步骤685处存在更多图像要被获取，则该过程可以返回到步骤655，以获取中心在下一个感兴趣的时间点的下一多个第二数字图像。相反，如果没有更多图像要被获取，则该过程可以前进到步骤690并且把第一数字图像与已被选择(或标记)的第二数字图像组合，以将其包括到延时视频中。

图7是根据一种实施例的说明性电子设备的简化功能性框图。电子设备700可以包括处理器705、显示器710、用户接口715、图形硬件720、设备传感器725(例如，接近性传感器/环境光传感器、加速计和/或陀螺仪/陀螺测试仪)、麦克风730、(一个或多个)音频编解码器735、(一个或多个)扬声器740、通信电路745、数字图像采集单元750、(一个或多个)视频编解码器755，存储器760、储存器765，以及通信总线770。电子设备700可以是，例如，个人数字助理(PDA)、个人音乐播放器、移动电话，或者笔记本、膝上型或平板计算机系统。

处理器705可以执行要执行或控制由设备700执行的许多功能的操作(例如，诸如根据操作600/645生成和/或处理延时视频)所必需的指令。处理器705可以例如驱动显示器710并且从用户接口715接收用户输入。用户接口715可以采取各种形式，诸如按钮、小键盘、拨号盘、点击轮、键盘、显示屏和/或触摸屏。处理器705可以是片上系统，诸如在移动设备中找到的那些，并且包括专用的图形处理单元(GPU)。处理器705可以基于精简指令集计算机(RISC)或复杂指令集计算机(CISC)体系架构或者任何其它合适的体系架构，并且可以包括一个或多个处理核心。图形硬件720可以是用于处理图形和/或辅助处理器705处理图形信息的专用计算硬件。在一种实施例中，图形硬件720可以包括可编程图形处理单元(GPU)。

根据本公开内容，传感器和相机电路750可以采集可被处理以便生成图像的静止图像和视频图像。来自相机电路750的输出可以至少部分地由(一个或多个)视频编解码器755和/或处理器705和/或图形硬件720和/或结合在电路750中的专用图像处理单元进行处理。这样采集到的图像可以存储在存储器760和/或存储装置765中。存储器760可以包括由处理器705、图形硬件720和图像采集电路750使用的一种或多种不同类型的介质，以执行设备功能。例如，存储器760可以包括存储器高速缓存、只读存储器(ROM)和/或随机存取存储器(RAM)。存储装置765可以存储媒体(例如，音频、图像和视频文件)、计算机程序指令或软件、偏好信息、设备简档信息，以及任何其它合适的数据。存储装置765可以包括一个或多个非瞬时存储介质，包括例如，磁盘(固定盘、软盘和可移除盘)和磁带，诸如CD-ROM和数字视频盘(DVD)的光学介质，以及诸如电可编程只读存储器(EPROM)和电可擦除可编程只读存储器(EEPROM)的半导体存储器设备。存储器760和存储装置765可以被用来保留组织成一个或多个模块并且用任何期望的计算机编程语言编写的计算机程序指令或代码。当被例如处理器705执行时，这样的计算机程序代码可以实现本文所描述的一个或多个方法。

应当理解，以上描述是说明性的，而不是限制性的。给出这些素材是为了使本领域任何技术人员都能够制作并使用所要求保护的发明，这些素材在特定实施例的上下文中被提供，其变体将对本领域技术人员而言是很显然的(例如，所公开的实施例中的一些可以彼此组合地使用)。此外，应当理解，本文所识别出的一些操作可以以不同的次序执行。因此，本发明的范围应当参考所附权利要求来确定，连同这些权利要求所享有的全部等同范围。在所附权利要求中，术语“包括(including)”和“其中(inwhich)”被用作相应术语“包括(comprising)”和“其中(wherein)”的简明英语等同物。

Claims (20)

1.一种计算机实现的系统，包括：

用于在第一时间从图像传感器获取第一数字图像的装置；

用于从该图像传感器获取多个第二数字图像的装置，其中所述多个第二数字图像的获取时间的时间中心在确定的第二时间周围；

用于为所述多个第二数字图像中的每一个确定相似性值的装置，其中所述相似性值包括对来自所述多个第二数字图像的相应图像与第一数字图像的相似性的估定；

用于从所述多个第二数字图像中丢弃具有低于阈值的相似性值的那些图像的装置；

用于从所述多个第二数字图像中的未被丢弃的图像中选择最小化与第一数字图像的运动差异的第二数字图像的装置；及

用于把第一数字图像和所选定的第二数字图像组合成延时视频的装置。

2.如权利要求1所述的系统，其中相似性值是至少部分地基于对第二数字图像的以下特性当中的至少一个的评估来确定的：颜色直方图、曝光量级、对焦量级、特征检测过程、图像配准过程、像素求和过程、ΔE过程、自动对焦振荡量级以及平均亮度量级。

3.如权利要求1所述的系统，其中用于从所述多个第二数字图像中丢弃具有低于阈值的相似性值的那些图像的装置还包括用于在把第一数字图像和所选定的第二数字图像组合成延时视频之前从所述多个第二数字图像中删除每个被丢弃的数字图像的装置。

4.如权利要求1所述的系统，还包括用于对所选定的第二数字图像应用图像稳定的装置。

5.如权利要求4所述的系统，其中应用到所选定的第二数字图像的图像稳定的强度至少部分地基于所选定的第二数字图像中的估计的运动模糊量。

6.如权利要求1所述的系统，还包括用于至少部分地基于相应第二数字图像的内容给所述相应第二数字图像的至少一个所确定的相似性值加权的装置。

7.如权利要求1所述的系统，还包括用于至少部分地基于相对于所确定的第二时间采集相应的第二数字图像的时间给所述相应第二数字图像的至少一个所确定的相似性值加权的装置。

8.一种计算机实现的方法，包括：

在第一时间从图像传感器获取第一数字图像；

从所述图像传感器获取多个第二数字图像，其中所述多个第二数字图像的获取时间的时间中心在确定的第二时间周围；

为所述多个第二数字图像中的每一个确定相似性值，其中所述相似性值包括对来自所述多个第二数字图像的相应图像与第一数字图像的相似性的估定；

从所述多个第二数字图像中丢弃具有低于阈值的相似性值的那些图像；

从所述多个第二数字图像中的未被丢弃的图像中选择最小化与第一数字图像的运动差异的第二数字图像；及

把第一数字图像和所选定的第二数字图像组合成延时视频。

9.如权利要求8所述的方法，其中所述相似性值是至少部分地基于对第二数字图像的以下特性当中的至少一个的评估来确定的：颜色直方图、曝光量级、对焦量级、特征检测过程、图像配准过程、像素求和过程、ΔE过程、自动对焦振荡量级以及平均亮度量级。

10.如权利要求8所述的方法，其中从所述多个第二数字图像中丢弃具有低于阈值的相似性值的那些图像的动作还包括：从所述多个第二数字图像中删除每个被丢弃的数字图像。

11.如权利要求8所述的方法，还包括对所选定的第二数字图像应用图像稳定，其中应用到所选定的第二数字图像的图像稳定的强度至少部分地基于所选定的第二数字图像中的估计的运动模糊量。

12.如权利要求8所述的方法，还包括至少部分地基于相应第二数字图像的内容给所述相应第二数字图像的至少一个所确定的相似性值加权。

13.如权利要求8所述的方法，还包括至少部分地基于相对于所确定的第二时间采集相应的第二数字图像的时间给所述相应第二数字图像的至少一个所确定的相似性值加权。

14.一种电子设备，包括：

图像传感器，

存储器，可操作地耦合到所述图像传感器，及

至少一个处理器，可操作地耦合到所述存储器和所述图像传感器，其中所述至少一个处理器被配置为：

在第一时间从图像传感器获取第一数字图像；

从所述图像传感器获取多个第二数字图像，其中所述多个第二数字图像的获取时间的时间中心在确定的第二时间周围；

为所述多个第二数字图像中的每一个确定相似性值，其中所述相似性值包括对来自所述多个第二数字图像的相应图像与第一数字图像的相似性的估定；

从所述多个第二数字图像中丢弃具有低于阈值的相似性值的那些图像；

从所述多个第二数字图像中的未被丢弃的图像中选择最小化与第一数字图像的运动差异的第二数字图像；及

把第一数字图像和所选定的第二数字图像组合成延时视频。

15.如权利要求14所述的电子设备，其中所述相似性值是至少部分地基于对第二数字图像的以下特性当中至少一个的评估来确定的：颜色直方图、曝光量级、对焦量级、特征检测过程、图像配准过程、像素求和过程、ΔE过程、自动对焦振荡量级以及平均亮度量级。

16.如权利要求14所述的电子设备，其中所述至少一个处理器被配置为从所述多个第二数字图像中丢弃具有低于阈值的相似性值的那些图像还包括将所述至少一个处理器配置为：在所述至少一个处理器把第一数字图像和所选定的第二数字图像组合成延时视频之前从所述多个第二数字图像中删除每个被丢弃的数字图像。

17.如权利要求14所述的电子设备，其中所述至少一个处理器还被配置为：

对所选定的第二数字图像应用图像稳定。

18.如权利要求17所述的电子设备，其中应用到所选定的第二数字图像的图像稳定的强度至少部分地基于所选定的第二数字图像中的估计的运动模糊量。

19.如权利要求14所述的电子设备，其中所述至少一个处理器还被配置为：

至少部分地基于相应第二数字图像的内容给所述相应第二数字图像的至少一个所确定的相似性值加权。

20.如权利要求14所述的电子设备，其中所述至少一个处理器还被配置为：

至少部分地基于相对于所确定的第二时间采集相应的第二数字图像的时间给所述相应第二数字图像的至少一个所确定的相似性值加权。