CN103546673A - 在运动场景下生成高动态图像的方法及装置 - Google Patents

Abstract

本发明的目的是提出一种在运动场景下生成高动态图像的方法和装置、以及一种能够在运动场景下生成高动态图像的电子设备。所述方法，包括：以预定间隔地提取运动场景在所述预定间隔中的运动矢量；利用所提取的运动矢量对与所提取的运动矢量相对应的拍照照片进行运动补偿；以及利用多张经过运动补偿的拍照照片来合成高动态图像。利用所述在运动场景下生成高动态图像的方法和装置能够有效地消除由于用于合成高动态图像的多张照片之间的运动偏移所带来的合成的高动态图像中的重影和错位。

Description

在运动场景下生成高动态图像的方法及装置

技术领域

本发明涉及高动态图像的生成，并且更具体地涉及一种在运动场景下生成高动态图像的方法及装置、以及一种能够在运动场景下生成高动态图像的电子设备。

发明内容

由于拍摄元件的感光动态范围比人眼小得多，因此往往需要通过对所拍摄的图像进行后期处理来增强图像的动态范围，使得其可以反映更大的亮度范围以及暗部的细节，从而使其更接近实际场景。

可以通过软件对所拍摄的图像进行后期处理，来生成高动态HDR图像。目前，在andriod和iPhone手机等许多电子设备上的照相机应用都具备了HDR功能，其解决方案大多是通过连续拍摄多张不同曝光度的照片并且然后合成这些照片来实现HDR功能。

然而，在运动场景下，在连续拍摄的多张照片之间存在运动偏差，因此在不进行运动补偿的情况下利用连续拍摄的多张照片来合成高动态图像的效果差强人意。换句话说，在通过利用连续拍摄的多张照片来合成高动态图像的情况下，运动场景会对所合成的高动态图像的图像质量有较大影响，在严重时会出现重影或模糊等现象。

目前，在手持设备上使用的一种防抖方案是：在拍照时调高感光度ISO，将所拍摄的多张照片合成高动态图像，然后再对所合成的高动态图像进行降噪处理。然而，如上所述，在拍摄高动态图像时需要调节曝光度，而在一些拍照设备中曝光度的设置/调节可以会与感光度的设置/调节彼此相冲突，因此防抖方案可能不能被用于所有的拍照设备。此外，在运动场景的运动速度过快时，该防抖方案失效。

另一种防抖方案是通过陀螺仪来防抖。具体地，利用陀螺仪计算出拍照设备的角速度的变化，并据此来调整驱动镜头的马达从而通过调整硬件（例如，镜头的光圈）来消除运动的偏移。然而，在一些拍照设备上光圈不可调节，因此陀螺仪防抖方案的应用也受到限制。

因此，需要一种普遍适用的在运动场景下生成高动态图像的方法及装置。

发明内容

考虑到上述问题而作出了本发明，本发明的目的是提出一种在运动场景下生成高动态图像的方法和装置，其能够有效地消除由于用于合成高动态图像的多张照片之间的运动偏移所带来的合成的高动态图像中的重影和错位。

根据本发明一方面，提供了一种在运动场景下生成高动态图像的方法，包括：以预定间隔地提取运动场景在所述预定间隔中的运动矢量；利用所提取的运动矢量对与所提取的运动矢量相对应的拍照照片进行运动补偿；以及利用多张经过运动补偿的拍照照片来合成高动态图像。

优选地，利用作为基准的拍照照片和多张经过运动补偿的拍照照片来合成高动态图像。

优选地，以预定间隔地提取运动场景在所述预定间隔中的运动矢量包括：在预览模式下，以预定间隔提取取景器所取景的预览图像；以及计算在该预定间隔中所取景的预览图像的运动矢量。

优选地，以预定间隔地提取运动场景在该预定间隔中的运动矢量包括：在预览模式下，利用陀螺仪来获得拍照设备在该预定间隔中的运动矢量。

优选地，所述预定间隔是拍照设备拍摄照片的拍照间隔，并且以预定间隔地提取拍照设备在该预定间隔中的运动矢量包括：利用陀螺仪计算所述拍照设备在拍摄第一张照片之后的照片时相对于在拍摄前一张照片时的运动矢量。

根据本发明的另一方面，提供了一种在运动场景下生成高动态图像的装置，其包括：运动矢量提取部件，用于以预定间隔地提取运动场景在所述预定间隔中的运动矢量；以及高动态图像合成部件，用于利用所计算的运动矢量对与所计算的运动矢量相对应的拍照照片进行运动补偿，并且利用多张经过运动补偿的拍照照片来合成高动态图像。

优选地，所述高动态图像合成部件利用作为基准的拍照照片和多张经过运动补偿的拍照照片来合成高动态图像。

优选地，所述运动矢量提取部件包括：取景器，用于对所述运动场景进行取景；以及运动矢量计算部件，用于计算所述取景器在所述预定间隔中所取景的图像的运动矢量。

优选地，所述运动矢量提取部件包括：陀螺仪，用于获得拍照设备的运动参数；以及运动矢量计算部件，用于计算所述拍照设备在所述预定间隔中的运动矢量。

优选地，所述预定间隔是拍照设备拍摄照片的拍照间隔，并且所述运动矢量提取部件包括：陀螺仪，用于获得拍照设备在拍摄照片时的运动参数；运动矢量计算部件，用于利用陀螺仪所获得的拍照设备在拍摄照片时的运动参数来计算所述拍照设备在拍摄第一张照片之后的照片时相对于在拍摄前一张照片时的运动矢量。

根据本发明的又一方面，提供了一种电子设备，其包括：拍照部件，用于拍摄用于生成高动态图像的多张拍照照片；运动矢量提取部件，用于以预定间隔地提取运动场景在所述预定间隔中的运动矢量；以及高动态图像合成部件，用于利用所计算的运动矢量对与所计算的运动矢量相对应的拍照照片进行运动补偿，并且利用多张经过运动补偿的拍照照片来合成高动态图像。

利用根据本发明的在运动场景下生成高动态图像的方法和装置，可以在进行高动态图像的后期处理之前消除高动态图像中由于运动带来的重影和错位。而且，由于直接对原始拍照数据进行操作，也提高了进行运动补偿所消耗的时间，有利于提高拍照性能。

附图说明

通过结合附图对本发明的实施例进行详细描述，本发明的上述和其它目的、特征和优点将会变得更加清楚，其中：

图1是根据本发明实施例的在运动场景下生成高动态图像的过程的示意图。

图2是根据本发明实施例的在运动场景下生成高动态图像的方法的流程图。

图3是进行运动补偿的示意图。

图4是根据本发明实施例的在运动场景下生成高动态图像的装置的框图。

图5是根据本发明实施例的能够在运动场景下生成高动态图像的电子设备的框图。

具体实现方式

下面将参照附图来描述根据本发明实施例的在运动场景下生成高动态图像的方法及装置、以及能够在运动场景下生成高动态图像的电子设备。应当理解：这里描述的实施例仅仅是说明性的，而不应被解释为限制本发明的范围。

将参考图1来描述根据本发明实施例的在运动场景下生成高动态图像的过程。

首先，对本说明书中的术语“运动场景”进行解释，其不仅可以指代所拍摄的场景本身运动，而且还可以指代由于拍照设备的运动（包括抖动）而产生的所拍摄的场景的运动。换句话说，术语“运动场景”涵盖了所拍摄的场景与拍照设备之间存在相对运动的所有情况。

根据本发明实施例，提取运动场景的运动矢量，即所拍摄的场景与拍照设备之间的相对运动的运动矢量，并且利用所提取的运动矢量对所拍摄的用于生成高动态图像的同一场景的照片进行运动补偿，以便产生修正后的多张照片。然后，利用补偿后的多张照片（即，修正后的多张照片）来合成高动态HDR图像。如前所述，所述用于生成高动态图像的同一场景的多张照片可以是拍照设备连续拍摄的多张照片。

图2中示出了根据本发明实施例的在运动场景下生成高动态图像的方法200。

根据本发明实施例的在运动场景下生成高动态图像的方法200在步骤S201开始。

在步骤S210，以预定间隔地提取运动场景在所述预定间隔中的运动矢量。

在步骤S220，利用所提取的运动矢量对与所提取的运动矢量相对应的拍照照片进行运动补偿。

在步骤S230，利用多张经过运动补偿的拍照照片来合成高动态图像。

最后，根据本发明实施例的在运动场景下生成高动态图像的方法200在步骤S299结束。

所述运动矢量可以是预测的运动矢量（第一实施例）或者可以是在拍照时实时计算的运动矢量（第二实施例）。

第一实施例

在该第一实施例中，对即将拍摄的拍照照片所展现的运动矢量进行预测，并且利用所预测的运动矢量来对该拍照照片进行运动补偿。

当拍照设备处于预览模式时，图像信息处理器ISP从取景器实时地获取取景器所取景的预览图像，并且获取在预定间隔中所取景的预览图像的运动矢量。在这里，例如，可以采用例如运动矢量空间域预测方式来获取运动矢量。应了解，本发明不受被用来依据预览图像获取运动矢量的具体方式的限制。

下面将结合图2所示的在运动场景下生成高动态图像的方法的流程图来简要说明第一实施例中的运动矢量预测、以及高动态图像生成。

应了解，本发明第一实施例基于以下假设：拍照设备连续拍摄多张曝光度不同的照片，并基于这多张曝光度不同的照片来合成高动态图像。

首先，在拍照设备以第一曝光度拍摄第一张照片时，图像信息处理器ISP记录该第一张照片的图像数据。

从拍摄第一张照片的时刻起，所述图像信息处理器ISP以预定间隔地从取景器获取所取景的预览图像，并且计算所述预览图像的运动矢量，以便作为所预测的运动场景的运动矢量。

所述预定间隔可以小于所述拍照设备连续拍摄多张照片时的拍照间隔，并且优选地可以接近于所述拍照间隔。替代地，所述拍照间隔可以略大于所述预定间隔的倍数。优选地，所述拍照间隔与所述预定间隔之差或者所述拍照间隔与所述预定间隔的倍数之差大约等于计算所述取景图像的运动矢量所需的时间。

在所述预定间隔小于且接近于所述拍照间隔或者所述拍照间隔的倍数的情况下，在拍摄第二张照片时已经获取了所预测的运动矢量。该所预测的运动矢量可以是相对于已经拍摄的第一张照片的运动矢量。

然后，在拍照设备以第二曝光度拍摄第二张照片时，图像信息处理器ISP记录该第二张照片的图像数据，并且利用所预测的运动矢量来对所述第二张照片进行运动补偿。

如图3所示，对象A位于照片1（即，第一张照片）的中间位置，而位于照片2（即，第二张照片）的右侧位置，利用在拍摄第二张照片时已经获取的所预测的运动矢量对所拍摄的第二张照片进行运动补偿，在运动补偿后的第二张照片中，对象A也位于中间位置。由此，可以减少由于在第一张照片和第二张照片之间存在运动矢量而造成的合成的高动态图像中的重影和错位。

所述图像信息处理器ISP继续以预定间隔地从取景器获取取景数据，或者从拍摄第二张照片的时刻起重新开始以预定间隔地从取景器获取取景数据。同理，在以第三曝光度拍摄第三张照片之前已经获取到所预测的运动矢量，针对第三张照片所预测的运动矢量可以是相对于所述第二张照片的运动矢量，或者也可以转换为相对于所述第一张照片的运动矢量。

以此方式，在拍摄N张照片的情况下，可以以第一张照片为基准来对随后拍摄的第2张、…、第N张照片进行运动补偿。

最后，利用多张经过运动补偿的拍照照片来合成高动态图像。例如，利用经过运动补偿的第2－N张照片来合成高动态图像，或者可以从第2－N张照片中任意选择多张照片来合成高动态图像。还可以利用作为基准的第一张照片和经过运动补偿的第2－N张照片来合成高动态图像，或者可以利用作为基准的第一张照片和从第2－N张照片中任意选择的多张照片来合成高动态图像。

替代在预览模式下以预定间隔提取取景器所取景的预览图像并计算该预览图像的运动矢量，还可以在预览模式下利用陀螺仪来获得拍照设备在该预定间隔中的运动矢量。

在此情况下，类似地，所述预定间隔可以小于所述拍照设备连续拍摄多张照片时的拍照间隔，并且优选地可以接近于所述拍照间隔。替代地，所述拍照间隔可以略大于所述预定间隔的倍数。优选地，所述拍照间隔与所述预定间隔之差或者所述拍照间隔与所述预定间隔的倍数之差大约等于计算所述取景图像的运动矢量所需的时间。

第二实施例

在该第二实施例中，在拍照时实时计算当前拍摄的拍照照片相对于之前拍摄的拍照照片的运动矢量。

例如，可以采用例如运动矢量空间域预测方式来获取运动矢量。应了解，本发明不受被用来依据拍照照片图像获取运动矢量的具体方式的限制。

下面将结合图2所示的在运动场景下生成高动态图像的方法的流程图来简要说明第二实施例中的运动矢量预测、以及高动态图像生成。

应了解，本发明第二实施例也基于以下假设：拍照设备连续拍摄多张曝光度不同的照片，并基于这多张曝光度不同的照片来合成高动态图像。

首先，在拍照设备以第一曝光度拍摄第一张照片时，图像信息处理器ISP记录该第一张照片的图像数据。

然后，在拍照设备以第二曝光度拍摄第二张照片时，所述图像信息处理器ISP记录该第二张照片的图像数据，计算所述第二张照片相对于所述第一张照片的运动矢量，并且利用所计算的运动矢量来对所述第二张照片进行运动补偿。

如图3所示，对象A位于照片1（即，第一张照片）的中间位置，而位于照片2（即，第二张照片）的右侧位置，在运动补偿后的第二张照片中，对象A也位于中间位置。由此，可以减少由于在第一张照片和第二张照片之间存在运动矢量而造成的合成的高动态图像中的重影和错位。

同理，在拍照设备以第三曝光度拍摄第三张照片时，所述图像信息处理器ISP记录该第三张照片的图像数据，计算所述第三张照片相对于所述第一张照片的运动矢量，或者相对于所述第二张照片的运动矢量。然后，所述图像信息处理器ISP依据所述第一张照片、以及所述第三张照片相对于所述第一张照片的运动矢量来对该第三张照片进行运动补偿，或者依据所述第一张照片、所述第二张照片相对于所述第一张照片的运动矢量、以及所述第三张照片相对于所述第二张照片的运动矢量来对该第三张照片进行运动补偿。

以此方式，在拍摄N张照片的情况下，可以以第一张照片为基准来对随后拍摄的第2张、…、第N张照片进行运动补偿。

最后，利用多张经过运动补偿的拍照照片来合成高动态图像。例如，利用经过运动补偿的第2－N张照片来合成高动态图像，或者可以从第2－N张照片中任意选择多张照片来合成高动态图像。还可以利用作为基准的第一张照片和经过运动补偿的第2－N张照片来合成高动态图像，或者可以利用作为基准的第一张照片和从第2－N张照片中任意选择的多张照片来合成高动态图像。

替代计算连续拍摄的两张照片之间的运动矢量，还可以在拍照时利用陀螺仪来获得拍照设备在相邻两次拍照（拍照间隔）间的运动矢量。

接下来，将参考图4来描述根据本发明实施例的在运动场景下生成高动态图像的装置400。

在运动场景下生成高动态图像的装置400包括运动矢量提取部件410和高动态图像合成部件420。

运动矢量提取部件410以预定间隔地提取运动场景在所述预定间隔中的运动矢量。

高动态图像合成部件420利用所计算的运动矢量对与所计算的运动矢量相对应的拍照照片进行运动补偿，并且利用多张经过运动补偿的拍照照片来合成高动态图像。

所述运动矢量提取部件410可以包括：取景器，用于对所述运动场景进行取景；以及运动矢量计算部件，用于计算所述取景器在所述预定间隔中所取景的图像的运动矢量。

与上述的本发明第一实施例的在运动场景下生成高动态图像的方法相对应，所述运动矢量提取部件410预测运动场景在预定间隔中的运动矢量。

当拍照设备处于预览模式时，取景器实时地对运动场景进行取景，运动矢量计算部件（例如，图像信息处理器ISP）从取景器实时地获取取景器所取景的预览图像，并且获取在预定间隔中所取景的预览图像的运动矢量。如上所述，所述预定间隔可以小于所述拍照设备连续拍摄多张照片时的拍照间隔，并且优选地可以接近于所述拍照间隔。替代地，所述拍照间隔可以略大于所述预定间隔的倍数。优选地，所述拍照间隔与所述预定间隔之差或者所述拍照间隔与所述预定间隔的倍数之差大约等于计算所述取景图像的运动矢量所需的时间。

与上述的本发明第二实施例的在运动场景下生成高动态图像的方法相对应，所述运动矢量提取部件410（例如，图像信息处理器ISP）在拍照时实时计算当前拍摄的拍照照片相对于之前拍摄的拍照照片的运动矢量。在此情况下，拍照间隔即被用作预定间隔。

作为另一示例，所述运动矢量提取部件410可以包括：陀螺仪，用于获得拍照设备的运动参数；以及运动矢量计算部件，用于计算所述拍照设备在所述预定间隔中的运动矢量。

与上述的本发明第一实施例的在运动场景下生成高动态图像的方法相对应，所述运动矢量提取部件410预测运动场景在预定间隔中的运动矢量。

当拍照设备处于预览模式时，陀螺仪实时地获得拍照设备的运动参数，运动矢量计算部件（例如，数字信号处理器）从陀螺仪获取拍照设备的运动参数，并且计算所示拍照设备在预定间隔中的运动矢量。如上所述，所述预定间隔可以小于所述拍照设备连续拍摄多张照片时的拍照间隔，并且优选地可以接近于所述拍照间隔。替代地，所述拍照间隔可以略大于所述预定间隔的倍数。优选地，所述拍照间隔与所述预定间隔之差或者所述拍照间隔与所述预定间隔的倍数之差大约等于计算所述拍照设备的运动矢量所需的时间。

与上述的本发明第二实施例的在运动场景下生成高动态图像的方法相对应，所述运动矢量提取部件410（例如，数字信号处理器）利用陀螺仪所获得的拍照设备在拍摄照片时的运动参数来计算所述拍照设备在拍摄第一张照片之后的照片时相对于在拍摄前一张照片时的运动矢量。

最后，参考图5来说明根据本发明实施例的能够在运动场景下生成高动态图像的电子设备500。

电子设备500包括拍照部件510、运动矢量提取部件520、以及高动态图像合成部件530。

拍照部件510连续拍摄用于生成高动态图像的多张拍照照片。

运动矢量提取部件520以预定间隔地提取运动场景在所述预定间隔中的运动矢量。运动矢量提取部件520的操作与参考图4所示的运动矢量提取部件410的操作相似，在此不再进行赘述。

高动态图像合成部件530利用所计算的运动矢量对与所计算的运动矢量相对应的拍照照片进行运动补偿，并且利用多张经过运动补偿的拍照照片来合成高动态图像。高动态图像合成部件530的操作与参考图4所示的高动态图像合成部件530的操作相似，在此不再进行赘述。

应了解，根据本发明实施例的方法和装置不仅可以用于在拍摄高动态图像时实时进行处理以生成高动态图像，而且也可以在后期对通过连续拍摄的同一场景的多张照片进行处理以生成高动态图像。

因此，本发明不限于以第一张照片作为基准，在将本发明应用于在后期对通过连续拍摄的同一场景的多张照片进行处理以生成高动态图像的情况下，根据实际需要还可以以其它照片作为基准。

尽管在上面将运动矢量计算部件描述为包括在所述运动矢量提取部件中，然而所述运动矢量计算部件也可以与所述高动态图像合成部件集成在一起。

根据本发明实施例的在运动场景下生成高动态图像的装置可以完全以硬件形式来实现，也可以以硬件和软件的组合来实现。另外，在将根据本发明实施例的在运动场景下生成高动态图像的方法和装置用于在后期对通过连续拍摄的同一场景的多张照片进行处理以生成高动态图像的情况下，所述运动矢量提取部件可以无需包括所述取景器或所述陀螺仪，而仅需读出之前在以不同曝光度连续拍摄多张照片时计算的运动矢量或拍照设备的运动参数，或者利用所拍摄的多张照片的图像数据来计算运动矢量。

通过利用根据本发明实施例的在运动场景下生成高动态图像的方法和装置，可以在进行高动态图像的后期处理之前消除高动态图像中由于运动带来的重影和错位。而且，由于直接对原始拍照数据进行操作，也提高了进行运动补偿所消耗的时间，有利于提高拍照性能。

给出这里的描述，相关领域的普通技术人员将能够想到本发明的这些和类似的实现或配置。

尽管在这里参照附图描述了本发明的一些实施例，但是应当理解，所述实施例仅是示例性的，而非限制性的。本领域技术人员应当理解，在不背离权利要求及其等价物中限定的本发明的范围和精神的情况下，可以对这些示例性实施例做出各种形式和细节上的变化。

Claims (11)

1.一种在运动场景下生成高动态图像的方法，包括：

以预定间隔地提取运动场景在所述预定间隔中的运动矢量；

利用所提取的运动矢量对与所提取的运动矢量相对应的拍照照片进行运动补偿；以及

利用多张经过运动补偿的拍照照片来合成高动态图像。

2.如权利要求1所述的方法，其中，利用作为基准的拍照照片和多张经过运动补偿的拍照照片来合成高动态图像。

3.如权利要求1所述的方法，其中，以预定间隔地提取运动场景在所述预定间隔中的运动矢量包括：

在预览模式下，以预定间隔提取取景器所取景的预览图像；以及

计算在该预定间隔中所取景的预览图像的运动矢量。

4.如权利要求1所述的方法，其中，以预定间隔地提取运动场景在该预定间隔中的运动矢量包括：

在预览模式下，利用陀螺仪来获得拍照设备在该预定间隔中的运动矢量。

5.如权利要求1所述的方法，其中，所述预定间隔是拍照设备拍摄照片的拍照间隔，并且以预定间隔地提取拍照设备在该预定间隔中的运动矢量包括：

利用陀螺仪计算所述拍照设备在拍摄第一张照片之后的照片时相对于在拍摄前一张照片时的运动矢量。

6.一种在运动场景下生成高动态图像的装置，其包括：

运动矢量提取部件，用于以预定间隔地提取运动场景在所述预定间隔中的运动矢量；以及

高动态图像合成部件，用于利用所计算的运动矢量对与所计算的运动矢量相对应的拍照照片进行运动补偿，并且利用多张经过运动补偿的拍照照片来合成高动态图像。

7.如权利要求6所述的装置，其中，所述高动态图像合成部件利用作为基准的拍照照片和多张经过运动补偿的拍照照片来合成高动态图像。

8.如权利要求6所述的装置，其中，所述运动矢量提取部件包括：

取景器，用于对所述运动场景进行取景；以及

运动矢量计算部件，用于计算所述取景器在所述预定间隔中所取景的图像的运动矢量。

9.如权利要求6所述的方法，其中，所述运动矢量提取部件包括：

陀螺仪，用于获得拍照设备的运动参数；以及

运动矢量计算部件，用于计算所述拍照设备在所述预定间隔中的运动矢量。

10.如权利要求6所述的方法，其中，所述预定间隔是拍照设备拍摄照片的拍照间隔，并且所述运动矢量提取部件包括：

陀螺仪，用于获得拍照设备在拍摄照片时的运动参数；

运动矢量计算部件，用于利用陀螺仪所获得的拍照设备在拍摄照片时的运动参数来计算所述拍照设备在拍摄第一张照片之后的照片时相对于在拍摄前一张照片时的运动矢量。

11.一种电子设备，其包括：

拍照部件，用于拍摄用于生成高动态图像的多张拍照照片；

运动矢量提取部件，用于以预定间隔地提取运动场景在所述预定间隔中的运动矢量；以及

高动态图像合成部件，用于利用所计算的运动矢量对与所计算的运动矢量相对应的拍照照片进行运动补偿，并且利用多张经过运动补偿的拍照照片来合成高动态图像。

Images