CN101690163B - 快门时间补偿 - Google Patents

Abstract

一种混合成像设备被配置为捕捉低分辨率视频和高分辨率静止图像。成像设备被配置为将根据低分辨率视频得到的运动信息应用于参考高分辨率静止图像，以生成错过的感兴趣时刻的高分辨率静止图像。以高帧频捕捉低分辨率视频，同时以周期性时间间隔拍摄若干高分辨率静止图像。用户从捕捉到的视频中定位希望的感兴趣场景，例如感兴趣的时刻，然后后期处理技术被用来生成与所选出的感兴趣时刻相对应的高分辨率静止图像。利用一个或多个邻近的被捕捉到的高分辨率静止图像的纹理信息，以及与所选出的感兴趣时刻相对应的低分辨率视频帧的运动信息，来生成高分辨率静止图像。

Description

快门时间补偿

技术领域

本发明涉及图像/视频处理和压缩领域。更具体地，本发明涉及AVC图像/视频捕捉、编码以及从所捕捉到的图像/视频数据生成高分辨率静止图像的领域。

背景技术

术语“编解码器(codec)”指的是“压缩器/解压缩器”、“编码器/解码器”或者“压缩/解压缩算法”，其描述了能够对数据流或信号执行变换的设备或算法或者专用计算机程序。

编解码器对数据流或信号进行编码以供发送，存储或加密并对其进行解码以供观看或编辑。例如，数字视频相机将模拟信号转换为数字信号，然后这些数字信号经过视频压缩器以供数字发送或存储。接收设备然后经由视频解压缩器对所接收到的信号进行解压缩，并且经解压缩的数字信号被转换为模拟信号以供显示。可以对音频信号执行类似的过程。存在多种标准的编解码器方案。某些被主要用于最小化文件传送时间，并且被用在因特网上。其他意欲最大化可被存储在给定量的磁盘空间中或CD-ROM上的数据。每种编解码器方案可通过不同程序、过程或硬件而被运用。

数字图像是作为数字值(所谓的影像要素或像素)的有限集合的、二维图像的表示。通常，像素被作为光栅图像或光栅地图(其是整数的二维阵列)存储在计算机中。这些值通常以压缩形式被发送或存储。

可以通过各种输入设备和技术(例如数字相机和摄像机、扫描仪、坐标测量机器、地震剖面测量、机载雷达等)来创建数字图像。还可以从任意的非图像数据(例如数学函数或三维地理模型，后者是计算机图形学的主要子领域)来合成出它们。数字图像处理领域就是研究或使用算法来对数字图像执行图像处理。图像编解码器包括用于执行数字图像处理的这样的算法。

根据图像格式，不同的图像编解码器被用于看到图像。可以简单地利用web浏览器来看到GIF、JPEG和PNG图像，因为它们是标准的因特网图像格式。SVG格式现在被广泛用在web中并且是标准的W3C格式。其他程序提供幻灯片放映效用，从而以自动逐个播放的某一顺序看到图像。

静止图像的特性与视频的不同。例如，纵横比和颜色不同。因此，以与视频不同的方式来处理静止图像，因而需要用于静止图像的静止图像编解码器，和用于视频的与静止图像编解码器不同的视频编解码器。

视频编解码器是实现将数据压缩技术用于数字视频数据的设备或软件模块。视频序列是由通常称作帧的多个影像(数字图像)构成的。连续的帧十分类似，从而从一帧到下一帧包含了大量冗余。在经由信道被高效发送或者被存储在存储器中之前，视频数据被压缩以节省带宽和存储器。视频压缩的目标是去除帧之间的冗余以得到更好的压缩比。在视频质量、表示其所需的数据的量(还已知为比特速率)、编解码算法的复杂度、其对数据错过和出错的鲁棒性、编辑的简易性、随机访问、端对端延迟以及多种其他因素之间存在复杂的平衡。

典型的数字视频编解码器设计开始于从RGB颜色格式到YCbCr颜色格式的输入视频转换，并且通常随后进行色度子采样以产生采样栅格模式。到YCbCr颜色格式的转换通过去相关(de-correlate)颜色信号，并且将在感知上更重要的亮度信号与感知上不那么重要的并且可以较低分辨率来表示的色度信号相分离，而改善了可压缩性。

一定量的空间和时间下采样也可用来在基本编码处理之前减小原数据速率。下采样是减小对信号的采样速率的处理。这通常是为了减小数据速率或数据的大小。下采样因子通常是大于1的整数或有理分数。该数据然后被利用频率变换而变换以进一步与空间数据去相关。一种这样的变换是离散余弦变换(DCT)。变换的输出然后被量化，并且熵编码被应用于量化后的值。某些编码器能够在所谓n次(n-pass)编码(例如2次编码)的多步骤处理中压缩视频，n次编码通常是较慢的处理，但是潜在地提供了更高质量的压缩。

解码处理基本上包含执行编码处理的每个阶段的逆处理。无法被准确地逆处理的一个阶段是量化阶段。因此，尽最大可能执行对逆处理的近似。该部分的处理通常称作“逆量化”或“去量化”，尽管量化固有地是不可逆处理。

可以在PC上并且在消费类电子设备上容易地实现各种编解码器。在同一产品中通常多个编解码器可用，以避免出于兼容性理由需要选择单个的主要编解码器。

一些广泛使用的视频编解码器包括(但不限于)：H.261、MPEG-1Part 2、MPEG-2 Part 2、H.263、MPEG-4 Part 2、MPEG-4 Part 10/AVC、DivX、XviD、3ivx、Sorenson 3以及Windows Media Video(MWV)。

MPEG编解码器用于对运动图像以及相关联的音频进行一般编码。MPEG视频编解码器创建经压缩的视频比特流，该比特流传统上由一系列三种类型的经编码的数据帧组成。这三种类型的数据帧指的是帧内编码帧(称作I帧或I图像)、双向预测帧(称作B帧或B图像)和前向预测帧(称作P帧或P图像)。可以按照所谓GOP(图像组)结构的指定顺序来排列这三种类型的帧。I帧包含重建图像所需的所有信息。I帧被编码为正常图像而无需运动补偿。另一方面，P帧使用在前帧的信息来重建图像，并且B帧使用在前帧、后续帧或二者来重建图像。具体地，根据在前的I帧或紧接在前的P帧来预测P帧。

也可以根据紧接在后的帧来预测帧。为了以这种方式使用后续帧，后续帧必须在所预测的帧之前被编码。因此，编码顺序不一定与实际的帧显示顺序相匹配。通常从两个方向来预测这样的帧，例如根据紧接在所预测的帧之前的I帧或P帧、或者紧接在所预测的帧之后的P帧来预测这样的帧。这些双向预测的帧是所谓的B帧。

B帧和P帧需要较少的比特来存储图像数据，因为它们通常包含当前帧与前一帧、后一帧或二者之间的差的差比特。B帧和P帧因此被用来减少在帧之间包含的冗余信息。操作中的解码器接收经编码的B帧或经编码的P帧，并使用前一或后一帧来重建原始帧。当连续的帧基本相同时，该处理比独立地重建每一原始帧容易得多，并且产生更平滑的场景切换，这是因为帧中的差很小。

每个视频图像被分离为一个亮度(Y)信道和两个色度信道(也称作色差信号Cb和Cr)。亮度和色差阵列的块被组织为“宏块”，“宏块”是在帧内进行编码的基本单元。

在I帧的情况下，实际的图像数据通过编码处理。然而，P帧和B帧首先经过“运动补偿”处理。运动补偿是根据前一帧的每一宏块移动到了哪里来描述连续帧之间的差的一种方式。这样的技术通常被用来减小用于视频压缩的视频序列的时间冗余。P帧或B帧中的每个宏块与与之良好相关的前一或后一图像相关联，如编码器使用“运动向量”选出的那些图像，该“运动向量”是通过称作“运动估计”的处理获得的。将当前宏块映射到其参考帧中的相关区域的运动向量被编码，并且然后两个区域之间的差被进行编码处理。

传统视频编解码器使用运动补偿预测来有效地编码原输入视频流。根据前一帧中移位后的宏块来预测当前帧中的宏块。原始宏块及其预测之间的差被压缩，并与移位(运动)向量一起被发送。该技术被称作帧间编码，是在MPEG标准中使用的方法。

许多传统成像设备被配置为不仅捕捉视频而且捕捉高分辨率静止图像。这样的设备还已知为是混合相机/摄像机。在这样的设备中，当摄影师按下设备上的捕捉按钮时，静止图像被捕捉。如果还对视频并行地进行捕捉，那么每个被捕捉到的静止图像对应于作为静止图像的、在同一时间瞬间捕捉到的特定视频帧。

当使用诸如相机和摄像机之类的成像设备时，使用者遇到的一个常见问题已知是“快门滞后”。该术语一般被定义为在摄影师按下捕捉按钮与快门实际打开来捕捉感兴趣的希望事件之间出现的延迟。快门滞后也可能是因为成像设备本身的机械延迟所致。这是一个用户体验到的十分常见的问题，尤其是在拍摄快速移动的对象时。为了克服这个问题，用户需要利用某种预感在事件实际发生之前按下捕捉按钮。该延迟是高度可变的，并且取决于诸如设备类型、场景中的运动量、相机设置等之类的许多因素。由于该延迟，用户在大多数情况下可能错过感兴趣的实际场景，该感兴趣的实际场景在此被称作“感兴趣时刻”(MOI)。

在既包括静止图像捕捉功能又包括视频捕捉功能的混合设备中，解决快门滞后问题的传统方法是对与错过的感兴趣时刻相对应的基本层视频帧进行上采样。该技术的有益方面是简单。一个固有的缺点是在经上采样的高分辨率图像中十分清楚可见的上采样假象(artifact)。因此，该方法可能适用于预览等，但是并不是创建用于打印或其他应用的高质量图像的优良技术。

发明内容

描述了一种成像设备，其中，针对错过的“感兴趣时刻”(MOI)生成高分辨率静止图像。在某些实施例中，感兴趣的应用是针对混合相机/摄像机的，其中，正在拍摄较低分辨率的视频的用户可能有兴趣捕捉较高分辨率的静止图像。然而，由于诸如快门延迟、因相机内部信号处理所致的相机延迟、使用设备过程中的人为延迟等等之类的各种原因，用户可能无法捕捉到所希望的MOI。作为替代，通常捕捉到了在MOI之前或之后的时刻。与对较低分辨率视频中的MOI进行整数/分数上采样的传统方法(该传统方法产生模糊的高分辨率静止图像)相反，成像设备利用从已经捕捉到的高分辨率静止图像可得到的、高频纹理区域的信息，以及从较低分辨率视频序列可得到的运动信息，来对与错过的MOI相对应的较低分辨率视频帧/场执行智能上采样，以生成与错过的MOI相对应的质量好得多的高分辨率静止图像。

在一个方面中，相机和摄像机的组合被配置为对快门时间延迟进行补偿。相机和摄像机的组合包括：相机模块，被配置为捕捉较高分辨率的静止图像；摄像机模块，被配置为捕捉较低分辨率的视频；以及处理模块，被配置为根据由相机模块在与所捕捉到的较高分辨率静止图像不同的时间捕捉到的参考较高分辨率静止图像，以及根据由摄像机模块捕捉到的相应视频帧而确定的运动信息，生成错过的感兴趣时刻的较高分辨率静止图像。相机/摄像机还可以包括存储器，该存储器用于存储由相机模块捕捉到的、包括参考较高分辨率静止图像的较高分辨率静止图像，并且用于存储由摄像机模块捕捉到的较低分辨率视频。相机/摄像机还可以包括捕捉按钮，其中相机模块被配置为在第一次激活捕捉按钮时捕捉第一较高分辨率静止图像，并且摄像机模块被配置为在第一次激活捕捉按钮时开始捕捉第一较低分辨率视频流。相机模块还可以被配置为在第二次激活捕捉按钮时捕捉第二较高分辨率静止图像，并且摄像机模块还被配置为在第二次激活捕捉按钮时停止捕捉第一较低分辨率视频流。

在另一方面中，公开了一种补偿快门时间延迟的成像设备。该成像设备包括：静止图像捕捉模块，被配置为捕捉较高分辨率的静止图像；视频捕捉模块，被配置为捕捉较低分辨率的视频；以及处理模块，被配置为根据由静止图像捕捉模块在与所捕捉到的较高分辨率静止图像不同的时间捕捉到的参考较高分辨率静止图像，以及根据由视频捕捉模块捕捉到的相应视频帧而确定的运动信息，生成错过的感兴趣时刻的较高分辨率静止图像。成像设备还可以包括存储器，该存储器用于存储由静止图像捕捉模块捕捉到的、包括参考较高分辨率静止图像的较高分辨率静止图像，并且用于存储由视频捕捉模块捕捉到的较低分辨率视频。成像设备还可以包括捕捉按钮，其中静止图像捕捉模块被配置为在第一次激活捕捉按钮时捕捉第一较高分辨率静止图像，并且视频捕捉模块被配置为在第一次激活捕捉按钮时开始捕捉第一较低分辨率视频流。静止图像捕捉模块还可以被配置为在第二次激活捕捉按钮时捕捉第二较高分辨率静止图像，并且视频捕捉模块还被配置为在第二次激活捕捉按钮时停止捕捉第一较低分辨率视频流。

在另一方面中，公开了一种生成错过的感兴趣时刻的静止图像的方法。该方法包括以下步骤：捕捉包括一系列视频帧的较低分辨率视频流；周期性地捕捉一个或多个较高分辨率静止图像，其中每个捕捉到的较高分辨率静止图像对应于特定时间瞬间处的特定视频帧；利用较低分辨率视频流选出将针对其生成较高分辨率静止图像的错过的感兴趣时刻，其中，所选出的错过的感兴趣时刻对应于第一视频帧；将所捕捉到的较高分辨率静止图像中的、在与第一视频帧不同的时间瞬间处的一个较高分辨率静止图像选作参考较高分辨率静止图像，并且选出与参考较高分辨率静止图像相对应的第二视频帧；确定第一视频帧和第二视频帧之间的运动信息；对运动信息进行上采样；以及将经上采样的运动信息应用于参考较高分辨率静止图像的纹理信息，从而生成与错过的感兴趣时刻相对应的较高分辨率静止图像。每个视频帧可以是较低分辨率视频帧。该方法还可以包括将第一视频帧分割为宏块的步骤。该方法还可以包括将第一视频帧中的每个宏块与第二视频帧中的相应区域进行相关的步骤。该方法还可以包括确定每个宏块相关之间的运动向量，从而确定运动信息的步骤。该方法还可以包括对参考较高分辨率静止图像的纹理信息进行分割，以使得纹理信息的第一分割对应于第二视频帧的第一宏块的步骤。将经上采样的运动信息应用于纹理信息的步骤可以包括：将每个运动向量应用于参考较高分辨率静止图像中的纹理信息的相应分割，从而生成经过补偿的纹理信息。该方法还可以包括判断每个宏块相关是否达到或超出了可接受阈值的步骤。对于未达到或超出可接受阈值的每个相关，该方法还可以包括以下步骤：对第一视频帧中的与未超出可接受阈值的相关相对应的宏块进行上采样，以及将经上采样的宏块添加到与错过的感兴趣时刻相对应的较高分辨率静止图像。在这种情况下，经上采样的宏块替换经过补偿的纹理信息中的相应部分。

附图说明

图1示出所捕捉到的静止图像以及与所捕捉到的视频流相对应的错过的感兴趣时刻的静止图像的示例。

图2示出被配置为生成错过的感兴趣时刻的静止图像的示例性成像设备的框图。

图3示出用于生成错过的感兴趣时刻的高分辨率静止图像的成分。

图4示出用于利用图3中的成分来生成错过的MOI静止图像的示例性过程。

图5示出用于补偿不充分的运动信息的、对图4的过程的改编。

针对附图的若干视图来描述成像设备的实施例。在适当的情况下并且仅在相同元件被公开并示出在不止一幅附图中的情况下，将用相同标号来表示这样的相同元件。

具体实施方式

混合成像设备的实施例针对于被配置为捕捉低分辨率视频和高分辨率静止图像的设备。在某些实施例中，混合成像设备是手持的、便携的视频摄像机与相机的组合。成像设备被配置为将根据低分辨率视频得到的经上采样的运动信息应用于参考高分辨率静止图像来生成错过的MOI高分辨率静止图像。在某些实施例中，低分辨率视频以高帧频被捕捉，同时若干高分辨率静止图像以周期性时间间隔被拍摄。用户从所捕捉到的视频中定位希望的感兴趣场景，例如感兴趣的时刻(MOI)，然后后期处理技术被用来生成与所选出的MOI相对应的高分辨率静止图像。利用如下的纹理(texture)信息来生成与MOI相对应的高分辨率静止图像，该纹理信息是通过将来自与所选出的MOI相对应的低分辨率视频帧的经上采样的运动信息、以及从低分辨率视频得到的经上采样的残留信息应用于一个或多个相邻的所捕捉到的高分辨率静止图像而得到的。这种再现错过事件的技术也被称作为用户生成“错过的感兴趣时刻”(MOI)。

图1示出所捕捉到的静止图像以及与所捕捉到的视频流相对应的错过的感兴趣时刻的静止图像的示例。视频流10包括一连串的低分辨率视频帧12-26。在每个视频帧12-26被成像设备捕捉的同时，一个或多个高分辨率静止图像30和36也被成像设备捕捉到。虽然在图1中示出了两个高分辨率静止图像，但是应理解，可以对多于或少于两个的高分辨率静止图像进行捕捉。可以利用任何的视频编码标准(例如，AVC)来编码视频，并且可以以例如JPEG之类的任何的图像格式(或者利用随后将描述的另一种有效技术)来存储高分辨率静止图像。在(与本申请同日)递交的题为“AVC Extension to Support Integrated Digital Still Image and Video in aParallel Mode(以并行模式支持综合的数字静止图像和视频的AVC扩展)”序列号为(Sony 30400)的共有、共同未决美国专利申请，以及(与本申请同日)递交的题为“AVC Extension to Support Integrated DigitalStill Image and Video in a Sequential Mode(以串行模式支持综合的数字静止图像和视频的AVC扩展)”序列号为(Sony 30500)的共有、共同未决美国专利申请中，描述了同时编码视频流和一个或多个相应的高分辨率静止图像的两种示例性方法，上述两个美国专利申请的全部内容通过引用被结合于此。

在某些实施例中，当按下成像设备上的捕捉按钮(例如，快门按钮)时，对高分辨率静止图像进行捕捉。每个所捕捉到的静止图像对应于在所捕捉到的视频流10中的低分辨率视频帧。在图1中示出了这样的示例性情况：其中，高分辨率静止图像30对应于低分辨率视频帧14，并且高分辨率静止图像36对应于低分辨率视频帧24。每个捕捉到的静止图像与相应的视频帧之间存在一定关系，因为静止图像是由低分辨率视频帧所捕捉到的相同内容的更高分辨率的内容(例如，静止图像和相应的视频帧二者在时间上的同一时刻被捕捉)。

如前所述，由于在捕捉高分辨率静止图像时的机械或人为延迟，造成错过了感兴趣的时刻。或者，在随后的时间帧处，用户可能希望生成与已经捕捉到的高分辨率静止图像不相对应的高分辨率静止图像。因此，实际捕捉到的(一个或多个)高分辨率静止图像可能与所想要或希望的感兴趣的时刻不相对应。错过的感兴趣的时刻32和34示出了这样的实例，其中希望得到错过的感兴趣时刻的静止图像。错过的感兴趣的时刻32对应于视频帧18，并且错过的感兴趣的时刻34对应于视频帧22。通过从捕捉到的高分辨率静止图像起向前或向后进行处理，来生成错过的MOI静止图像。例如，部分地根据捕捉到的高分辨率静止图像30来生成与错过的MOI 32相对应的高分辨率静止图像。换言之，错过的MOI静止图像32跟随在捕捉到的高分辨率静止图像30之后。可替代地，部分地根据捕捉到的高分辨率静止图像36来生成与错过的MOI 34相对应的高分辨率静止图像。换言之，错过的MOI静止图像34在捕捉到的高分辨率静止图像36之前。

图2示出被配置为生成错过的感兴趣时刻的静止图像的示例性成像设备的框图。成像设备40包括图像捕捉模块42、编解码器48、处理模块54、存储器56和输入/输出(I/O)接口58。I/O接口58包括用于发送和接收数据的用户接口和网络接口。存储器56是任何传统类型的数据存储介质，或者是集成的或者是可拆卸的。编解码器48包括编码器50和解码器52。图像捕捉模块42包括用于捕捉低分辨率视频的视频捕捉模块44，和用于捕捉高分辨率静止图像的静止图像捕捉模块46。在某些实施例中，将成像设备40实现为相机/摄像机的组合，在这种情况下，将静止图像捕捉模块46实现为相机模块，并且将视频捕捉模块实现为摄像机模块44。在一种配置中，以60fps(帧/秒)捕捉高清视频，并且以诸如8或10MP(百万像素)之类的更高分辨率来拍摄周期性静止图像。在另一配置中，当用户按下捕捉按钮时，一个高分辨率静止图像被捕捉并且对低分辨率视频的捕捉开始直到用户再次按下捕捉按钮为止，在用户再次按下捕捉按钮时，另一高分辨率静止图像被捕捉并且对低分辨率视频的捕捉终止。应理解，可替代地，可将成像设备配置为捕捉视频和静止图像。

图3示出用于生成错过的感兴趣时刻的高分辨率静止图像的成分。具体地，图3中示出的成分被用来生成图1中的错过的MOI静止图像34。如前所述，在捕捉到的高分辨率静止图像和相应的低分辨率视频帧之间存在一定关系，因为静止图像和相应的视频帧二者是在时间上的同一时刻被捕捉到的。当应用于图3时，高分辨率静止图像36对应于视频帧24，并且错过的MOI静止图像34对应于视频帧22。将来自低分辨率视频的经上采样的运动补偿信息(运动向量)应用于高分辨率静止图像36的纹理信息，以生成错过的MOI高分辨率静止图像34。如所陈述的，在将运动信息应用于参考高分辨率静止图像36的纹理信息之前，对运动信息进行上采样。这时必要的步骤，因为所确定的运动信息是从低分辨率视频得到的。因此，低分辨率运动信息必须被向上扩展(scale up)，以与来自参考静止图像的高分辨率纹理信息一起使用。捕捉到的高分辨率静止图像36被用作纹理信息的参考点。取决于正在捕捉的事件的正在进行的运动，关于在给定高分辨率静止图像之前或之后多远的范围可被用作参考，存在限制。因此，参考高分辨率静止图像和来自相应低分辨率视频的运动信息的“质量(quality)”决定了该参考信息的有用性。基于(来自低分辨率视频的)运动信息以及(来自捕捉到的高分辨率静止图像36)的纹理信息的精度和正确性，生成错过的MOI高分辨率静止图像34。对于错过的MOI静止图像34的如下部分，即与来自视频的有质量的运动信息或来自参考高分辨率静止图像36的有质量的纹理信息不相关的部分，视频帧22中的相应部分被上采样并被添加到错过的MOI静止图像34。应理解，术语“质量”、“精度”以及“正确性”是相对的术语并且是依应用而定的。

虽然图3所示成分被用于向后进行处理以根据捕捉到的高分辨率静止图像36生成错过的MOI静止图像34，但是，一般地，这些成分可被用于根据捕捉到的高分辨率静止图像向前或向后进行处理，例如，以捕捉到的高分辨率静止图像作为开始，在该捕捉到的高分辨率静止图像之前或之后的错过的MOI静止图像均可以被生成。

图4示出用于利用图3中的成分来生成错过的MOI静止图像的示例性过程。在步骤100，对包括一系列视频帧的视频流(例如包括视频帧12-26的视频流10)进行捕捉。在某些实施例中，视频流是低分辨率视频流。在步骤110，对一个或多个高分辨率静止图像进行捕捉，例如高分辨率静止图像30和36。每个被捕捉到的静止图像对应于捕捉到的视频流中的视频帧之一。例如，被捕捉到的高分辨率静止图像36对应于视频帧24。可以顺序地或并行地执行步骤100和步骤110。在步骤120，选出要针对其生成高分辨率静止图像的错过的感兴趣的时刻，例如错过的感兴趣的时刻34。该错过的感兴趣时刻对应于与已经捕捉到的高分辨率静止图像所对应的视频帧不同的、多个视频帧中的一个视频帧。例如，错过的感兴趣的时刻34对应于视频帧22。在步骤130，已经捕捉到的高分辨率静止图像中的一个被选作参考高分辨率静止图像。该参考高分辨率静止图像在排列顺序上处于该错过的感兴趣时刻之前或之后。在某些实施例中，在排列顺序上最接近错过的感兴趣时刻的一个已经捕捉到的高分辨率静止图像被选作参考高分辨率静止图像。

在步骤140，与错过的感兴趣时刻相对应的视频帧被分割。在某些实施例中，视频帧被分割为宏块。在步骤150，针对与错过的MOI静止图像相对应的视频帧中的每个宏块，进行与如下视频帧中的区域的相关，该视频帧对应于提供了最接近匹配的参考高分辨率静止图像。提供了这样的对应的向量称作运动向量。累积地看，运动向量就是运动信息。在步骤160，每个运动向量都被上采样。通过高分辨率静止图像的维度与低分辨率视频帧的维度的比率，来确定上采样因子。在某些情况下，该因子可能是整数，而在其他情况下，其可能是分数值。取决于上述比率，用于水平运动向量和垂直运动向量的上采样因子可以是类似的或不同的。

在步骤170，来自参考高分辨率静止图像(例如高分辨率静止图像36)的纹理信息也被分割，其中分割的大小被适当地放大以与在步骤160中得到的上采样比率相匹配，并且以相应视频帧(例如视频帧24)中的宏块作为参考。在步骤180，根据作为参考的宏块，将每个经上采样的运动向量应用于参考高分辨率静止图像的相应部分中的纹理信息，从而生成错过的MOI静止图像的纹理信息。一般地，参考高分辨率静止图像的纹理信息被用作参考点，并且来自相应视频的运动信息被上采样并被应用于参考纹理信息，从而生成经过补偿的纹理信息，该纹理信息然后被用来生成错过的MOI高分辨率静止图像。

在某些情况下，正在捕捉的事件中的运动使得不能针对特定的宏块得到充分的运动信息。在这样的情况下，错过的MOI视频帧(例如视频帧22)中的相应宏块被上采样并被添加到所生成的错过的MOI静止图像，例如错过的MOI高分辨率静止图像34。应理解，术语“充分的”是相对的术语，并且依应用而定。图5示出用于补偿不充分的运动信息的、对图4的过程的改编。通过在步骤150和步骤160之间添加步骤210和步骤220，并且用步骤280来替换步骤180，对图4的过程进行了改编。具体地，在错过的MOI静止图像所对应的视频帧中的每个宏块与参考高分辨率静止图像所对应的视频帧中的宏块之间进行了相关之后，在步骤210判断每个相关是否达到或超出了关于可用性的预定阈值。对于尚未达到或超出预定阈值的每个相关，然后在步骤220，直接对错过的MOI静止图像所对应的视频帧中的宏块进行上采样。在步骤280，在步骤170生成的经过补偿的纹理信息和来自步骤220的所有经上采样的宏块被用来生成错过的MOI高分辨率静止图像，例如错过的MOI高分辨率静止图像34。

应理解，以上关于图1-5所描述的过程仅是出于示例性目的，并且替代的方法和设备配置可被用于实现相同的目的。例如，基本层的视频可以是交错的(interlaced)视频。在这种情况下，高效的去交错算法被用于将基本层的场转换为帧。在另一示例中，可以利用帧内空间分级(Intra-Spatial Scalability)的概念而非JPEG来存储所捕捉到的周期性高分辨率静止图像，从而节省在成像设备中的存储空间。

已经根据具体的实施例描述了本发明，这些实施例中包含了用于辅助理解本发明的构造原理以及操作的细节。在此提及具体的实施例及其细节并非意欲限制随附于此的权利要求的范围。本领域中的技术人员应理解，可以在被选择用于进行说明的实施例中作出修改，而不会背离本发明的精神和范围。

Claims (18)

1.一种补偿快门时间延迟的混合成像设备，该混合成像设备包括：

a.相机模块，被配置为捕捉较高分辨率的静止图像；

b.摄像机模块，被配置为捕捉较低分辨率的视频；以及

c.处理模块，被配置为根据由所述相机模块在与所捕捉到的较高分辨率静止图像不同的时间捕捉到的参考较高分辨率静止图像，以及根据由所述摄像机模块捕捉到的相应视频帧而确定的运动信息，生成错过的感兴趣时刻的较高分辨率静止图像。

2.根据权利要求1所述的混合成像设备，还包括存储器，该存储器用于存储由所述相机模块捕捉到的、包括所述参考较高分辨率静止图像的较高分辨率静止图像，并且用于存储由所述摄像机模块捕捉到的较低分辨率视频。

3.根据权利要求1所述的混合成像设备，还包括捕捉按钮，其中所述相机模块被配置为在第一次激活所述捕捉按钮时捕捉第一较高分辨率静止图像，并且所述摄像机模块被配置为在第一次激活所述捕捉按钮时开始捕捉第一较低分辨率视频流。

4.根据权利要求3所述的混合成像设备，其中所述相机模块还被配置为在第二次激活所述捕捉按钮时捕捉第二较高分辨率静止图像，并且所述摄像机模块还被配置为在第二次激活所述捕捉按钮时停止捕捉所述第一较低分辨率视频流。

5.一种补偿快门时间延迟的成像设备，该成像设备包括：

a.静止图像捕捉模块，被配置为捕捉较高分辨率的静止图像；

b.视频捕捉模块，被配置为捕捉较低分辨率的视频；以及

c.处理模块，被配置为根据由所述静止图像捕捉模块在与所捕捉到的较高分辨率静止图像不同的时间捕捉到的参考较高分辨率静止图像，以及根据由所述视频捕捉模块捕捉到的相应视频帧而确定的运动信息，生成错过的感兴趣时刻的较高分辨率静止图像。

6.根据权利要求5所述的成像设备，还包括存储器，该存储器用于存储由所述静止图像捕捉模块捕捉到的、包括所述参考较高分辨率静止图像的较高分辨率静止图像，并且用于存储由所述视频捕捉模块捕捉到的较低分辨率视频。

7.根据权利要求5所述的成像设备，还包括捕捉按钮，其中所述静止图像捕捉模块被配置为在第一次激活所述捕捉按钮时捕捉第一较高分辨率静止图像，并且所述视频捕捉模块被配置为在第一次激活所述捕捉按钮时开始捕捉第一较低分辨率视频流。

8.根据权利要求7所述的成像设备，其中所述静止图像捕捉模块还被配置为在第二次激活所述捕捉按钮时捕捉第二较高分辨率静止图像，并且所述视频捕捉模块还被配置为在第二次激活所述捕捉按钮时停止捕捉所述第一较低分辨率视频流。

9.一种生成错过的感兴趣时刻的静止图像的方法，该方法包括以下步骤：

a.捕捉包括一系列视频帧的较低分辨率视频流；

b.周期性地捕捉一个或多个较高分辨率静止图像，其中每个捕捉到的较高分辨率静止图像对应于特定时间瞬间处的特定视频帧；

c.利用所述较低分辨率视频流选出将针对其生成较高分辨率静止图像的错过的感兴趣时刻，其中，所选出的错过的感兴趣时刻对应于第一视频帧；

d.将所捕捉到的较高分辨率静止图像中的、在与所述第一视频帧不同的时间瞬间处的一个较高分辨率静止图像选作参考较高分辨率静止图像，并且选出与所述参考较高分辨率静止图像相对应的第二视频帧；

e.确定所述第一视频帧和所述第二视频帧之间的运动信息；

f.对所述运动信息进行上采样；以及

g.将经上采样的运动信息应用于所述参考较高分辨率静止图像的纹理信息，从而生成与所述错过的感兴趣时刻相对应的较高分辨率静止图像。

10.根据权利要求9所述的方法，其中，每个视频帧包括较低分辨率视频帧。

11.根据权利要求9所述的方法，还包括将所述第一视频帧分割为宏块的步骤。

12.根据权利要求11所述的方法，还包括将所述第一视频帧中的每个宏块与所述第二视频帧中的相应区域进行相关的步骤。

13.根据权利要求12所述的方法，还包括确定每个宏块相关之间的运动向量，从而确定所述运动信息的步骤。

14.根据权利要求13所述的方法，还包括对所述参考较高分辨率静止图像的纹理信息进行分割，以使得纹理信息的第一分割对应于所述第二视频帧的第一宏块的步骤。

15.根据权利要求14所述的方法，其中，将经上采样的运动信息应用于所述纹理信息的步骤包括：将每个运动向量应用于所述参考较高分辨率静止图像中的纹理信息的相应分割，从而生成经过补偿的纹理信息。

16.根据权利要求15所述的方法，还包括判断每个宏块相关是否达到或超出了可接受阈值的步骤。

17.根据权利要求16所述的方法，其中，对于未达到或超出所述可接受阈值的每个相关，该方法还包括以下步骤：对所述第一视频帧中的与未超出所述可接受阈值的相关相对应的宏块进行上采样，以及将经上采样的宏块添加到与所述错过的感兴趣时刻相对应的较高分辨率静止图像。

18.根据权利要求17所述的方法，其中，所述经上采样的宏块替换所述经过补偿的纹理信息中的相应部分。

Images