CN116170700A - 拍照方法、拍照装置及存储介质 - Google Patents

Abstract

本公开是关于一种拍照方法、拍照装置及存储介质。拍照方法包括：响应于所述图像采集设备被触发启动，控制所述图像采集设备持续进行图像采集，并基于采集到的图像，生成图像集合序列；其中，所述图像集合序列包括沿采集时序排序的多组不同图像集合，每组所述图像集合包含具有不同曝光时长的多帧图像，且每组所述图像集合包含的多帧图像满足单帧高动态范围图像的合成；响应于所述图像采集设备被触发进行拍照，基于所述图像集合序列，生成拍照图像。通过本公开可以改善拍照时延过长的问题。

Description

拍照方法、拍照装置及存储介质

技术领域

本公开涉及拍照技术领域，尤其涉及一种拍照方法、拍照装置及存储介质。

背景技术

高动态范围成像(High Dynamic Range Imaging，HDR)是应用在移动应用上的普遍拍照方案，主要用于解决高动态范围下的拍照画质效果不理想问题，尝试通过在多张高、低、中曝图中通过区域亮度融合出一张具有高动态范围的图像，使得亮区不过曝，暗区不过暗。最终呈现给用户更好的画质效果的技术方案。

相关技术中，用户在进行HDR拍照时，拍照存在较为明显的时延，用户往往无法得到希望抓拍到的画面。

发明内容

为克服相关技术中存在的问题，本公开提供一种拍照方法、拍照装置及存储介质。

根据本公开实施例的第一方面，提供一种拍照方法，包括：

响应于所述图像采集设备被触发启动，控制所述图像采集设备持续进行图像采集，并基于采集到的图像，生成图像集合序列；其中，所述图像集合序列包括沿采集时序排序的多组不同图像集合，每组所述图像集合包含具有不同曝光时长的多帧图像，且每组所述图像集合包含的多帧图像满足单帧高动态范围图像的合成；响应于所述图像采集设备被触发进行拍照，基于所述图像集合序列，生成拍照图像。

一种实施方式中，每组所述图像集合中包含的多帧图像包括：基准帧图像；第一图像，所述第一图像与所述基准帧图像具有相同的曝光时长；第二图像，所述第二图像的曝光时长大于所述所述基准帧图像的曝光时长；第三图像，所述第三图像的曝光时长小于所述所述基准帧图像的曝光时长。

一种实施方式中，所述基于所述图像集合序列，生成拍照图像，包括：确定所述图像采集设备被触发进行拍照的第一时刻；基于所述第一时刻，确定第一集合和第二集合；其中，所述第一集合为所述图像集合序列中采集时刻与所述第一时刻最接近的图像集合，所述第二集合为所述图像集合序列中与所述第一集合相邻且在所述第一集合之前采集的图像集合；基于所述第一集合以及所述第二集合各自包含的图像，生成所述拍照图像。

一种实施方式中，所述基于所述第一集合以及所述第二集合各自包含的图像，生成所述拍照图像，包括：对所述第一集合的基准帧图像、所述第一集合的第一图像、第二集合的第二图像以及第二集合的第三图像进行图像合成，得到所述拍照图像。

一种实施方式中，所述对所述第一集合的基准帧图像、所述第一集合的第一图像、第二集合的第二图像以及第二集合的第三图像进行图像合成，得到所述拍照图像，包括：分别对所述第一集合的基准帧图像、所述第一集合的第一图像、所述第二集合的第二图像以及所述第二集合的第三图像进行优化处理，得到优化处理后的图像；对所述优化处理后的图像进行图像合成，得到所述拍照图像。

一种实施方式中，，所述对所述优化处理后的图像进行图像合成，得到所述拍照图像，包括：基于为所述优化处理后的图像预配置的融合权重，对所述优化处理后的图像进行金字塔权重融合，得到所述拍照图像。

一种实施方式中，在所述图像采集设备被触发进行拍照之前，所述方法还包括：按照所述多组不同图像集合之间的排序，逐帧显示多组所述图像集合各自包含的基准帧图像。

根据本公开实施例的第二方面，提供一种拍照装置，包括：

处理单元，响应于所述图像采集设备被触发启动，控制所述图像采集设备持续进行图像采集，并基于采集到的图像，生成图像集合序列；其中，所述图像集合序列包括沿采集时序排序的多组不同图像集合，每组所述图像集合包含具有不同曝光时长的多帧图像，且每组所述图像集合包含的多帧图像满足单帧高动态范围图像的合成；生成单元，响应于所述图像采集设备被触发进行拍照，基于所述图像集合序列，生成拍照图像。

一种实施方式中，每组所述图像集合中包含的多帧图像包括：基准帧图像；第一图像，所述第一图像与所述基准帧图像具有相同的曝光时长；第二图像，所述第二图像的曝光时长大于所述所述基准帧图像的曝光时长；第三图像，所述第三图像的曝光时长小于所述所述基准帧图像的曝光时长。

一种实施方式中，所述生成单元采用如下方式基于所述图像集合序列，生成拍照图像：确定所述图像采集设备被触发进行拍照的第一时刻；基于所述第一时刻，确定第一集合和第二集合；其中，所述第一集合为所述图像集合序列中采集时刻与所述第一时刻最接近的图像集合，所述第二集合为所述图像集合序列中与所述第一集合相邻且在所述第一集合之前采集的图像集合；基于所述第一集合以及所述第二集合各自包含的图像，生成所述拍照图像。

一种实施方式中，所述生成单元采用如下方式基于所述第一集合以及所述第二集合各自包含的图像，生成所述拍照图像：对所述第一集合的基准帧图像、所述第一集合的第一图像、第二集合的第二图像以及第二集合的第三图像进行图像合成，得到所述拍照图像。

一种实施方式中，所述生成单元采用如下方式对所述第一集合的基准帧图像、所述第一集合的第一图像、第二集合的第二图像以及第二集合的第三图像进行图像合成，得到所述拍照图像：分别对所述第一集合的基准帧图像、所述第一集合的第一图像、所述第二集合的第二图像以及所述第二集合的第三图像进行优化处理，得到优化处理后的图像；对所述优化处理后的图像进行图像合成，得到所述拍照图像。

一种实施方式中，所述生成单元采用如下方式对所述优化处理后的图像进行图像合成，得到所述拍照图像：基于为所述优化处理后的图像预配置的融合权重，对所述优化处理后的图像进行金字塔权重融合，得到所述拍照图像。

一种实施方式中，所述处理单元还用于：在所述图像采集设备被触发进行拍照之前，按照所述多组不同图像集合之间的排序，逐帧显示多组所述图像集合各自包含的基准帧图像。

根据本公开实施例第三方面，提供一种拍照装置，包括：

处理器；用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：执行第一方面或者第一方面任意一种实施方式中所述的拍照方法。

根据本公开实施例第四方面，提供一种存储介质，所述存储介质中存储有指令，当所述存储介质中的指令由处理器执行时，使得处理器能够执行第一方面或者第一方面任意一种实施方式中所述的拍照方法。

本公开的实施例提供的技术方案可以包括以下有益效果：本公开能够在图像采集设备被触发启动的情况下，实时进行图像采集，并通过采集到的图像生成图像集合序列。在此基础上，当图像采集设备被触发进行HDR拍照时，图像采集设备直接在已生成的图像集合序列中取图，合成得到HDR图像，因此该方法可以有效改善因图像采集需要耗时致使拍照存在明显时延的问题，提高了HDR拍照的拍照效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是一种HDR拍照的处理流程图。

图2是相关技术中一种图像采集设备提供图像预览及HDR拍照的处理流程图。

图3是根据一示例性实施例示出的一种拍照方法的流程图。

图4是根据一示例性实施例示出的一种基于图像集合序列，生成拍照图像的方法流程图。

图5是根据一示例性实施例示出的另一种基于图像集合序列，生成拍照图像的方法流程图。

图6是根据一示例性实施例示出的一种拍照方法的流程图。

图7是示例性示出了一种本公开进行图像预览及HDR拍照的处理流程图。

图8是一种在图像集合序列确定用于进行HDR合成的多帧图像的流程图。

图9是根据一示例性实施例示出的又一种基于图像集合序列，生成拍照图像的方法流程图。

图10是一种进行图像显示效果优化的处理流程图。

图11是根据一示例性实施例示出的另一种基于图像集合序列，生成拍照图像的方法流程图。

图12是一种对HDR图像进行修图处理的流程示意图。

图13是根据一示例性实施例示出的一种拍照装置框图。

图14是根据一示例性实施例示出的一种用于拍照的装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。

在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本公开一部分实施例，而不是全部的实施例。下面通过参考附图描述的实施例是示例性的，旨在用于解释本公开，而不能理解为对本公开的限制。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。下面结合附图对本公开的实施例进行详细说明。

高动态范围成像(High Dynamic Range Imaging，HDR)是应用在移动应用上的普遍拍照方案，主要用于解决高动态范围下的拍照画质效果不理想问题，尝试通过在多张高、低、中曝图中通过区域亮度融合出一张具有高动态范围的图像，使得亮区不过曝，暗区不过暗。最终呈现给用户更好的画质效果的技术方案。

图1是一种HDR拍照的处理流程图。如图1所示，HDR拍照处理流程包含6个部分。(1)用户通过应用(APP)下发拍照请求(点下拍照快门)(2)底层根据收到APP的请求信息，通过中控算法计算出当前需要的曝光表(例如，EV0、EV+9、和EV-24)的组合。(3)根据曝光表信息，通过自动曝光算法计算出传感器(Sensor)需要的感光度和增益值，Sensor根据设定的感光度和增益值计算出帧长度(FrameLength)和行数(Line Count)，得到原始(Raw)图像。(4)原始图像通过图像信号处理(Image Signal Processing，ISP)硬件和软件算法生成算法需要的多张输入图。(5)算法收到多张输入图后，经过多帧合成算法(多帧高动态融合算法)合成一张高动态范围图。(6)数据打包返回给APP，在相册中生成效果图。

图2是相关技术中一种图像采集设备提供图像预览及HDR拍照的处理流程图。

相关技术中，如图2所示，HDR拍照方案大都采用串行组合，通过下发请求、获取原始图、ISP图像处理、多帧融合算法处理、以及数据返回步骤组成。通过图2可知，流程1.1至流程1.6为拍照预览流程，流程2.1至流程2.7为拍照流程。其中，对于相关技术中的HDR拍照方案而言，需要图像采集设备需要在用户按下快门时进行实时图像采集，经由流程2.1至流程2.7，最终在相册得到一张HDR图像。其中，通常需要对采集得到的6帧素材图像进行动态合成得到一张HDR图像，由于素材图像的采集需要耗时，一般每一帧需要耗时33ms。因此，仅针对HDR拍照的素材图像采集流程，一般就需要200ms左右的时间。也因此，相关技术中，用户在进行HDR拍照时，拍照存在较为明显的时延，用户往往无法得到希望抓拍到的画面。

鉴于此，本公开提供了一种拍照方法，该方法应用于HDR拍照，且能够在图像采集设备被触发启动的情况下，实时进行图像采集，并生成图像集合序列。在此基础上，当图像采集设备被触发进行HDR拍照时，图像采集设备直接在已生成的图像集合序列中取图，合成得到HDR图像，该方法可以有效改善因素材图像的采集耗时致使拍照存在明显时延的问题，提高了HDR拍照的拍照效率。

图3是根据一示例性实施例示出的一种拍照方法的流程图，如图3所示，拍照方法用于图像采集设备中，包括以下步骤S11和步骤S12。

在步骤S11中，响应于图像采集设备被触发启动，控制图像采集设备持续进行图像采集，并基于采集到的图像，生成图像集合序列。

本公开实施例中，图像集合序列是指图像集合的序列，包括沿采集时序排序的多组不同图像集合。其中，每组图像集合包含由图像采集设备连续采集到的、具有不同曝光时长的多帧图像。并且，每组图像集合包含的多帧图像满足单帧高动态范围图像的合成。

在步骤S12中，响应于图像采集设备被触发进行拍照，基于图像集合序列，生成拍照图像。

本公开实施例提供的方法，可以在图像采集设备被触发启动的情况下，控制图像采集设备持续进行图像采集，并基于采集到的图像，生成图像集合序列。在此基础上，当图像采集设备被触发进行拍照，可直接基于已生成的图像集合序列生成拍照图像。相较于相关技术中在图像采集设备被触发进行拍照时实时采集图像并生成拍照图像的方式，该方法可省去获取原始图像所产生的耗时，进而减小了输出单帧拍照图像所需的耗时，提高了整体的拍照效率。

本公开实施例中，每组图像集合包含的多帧图像满足单帧高动态范围图像的合成。换言之，每组图像集合包含的多帧图像的类型可以是多样的，只要满足单帧高动态范围图像的合成即可。例如，每组图像集合中可以包含基准帧图像、曝光时长小于基准帧图像的图像、以及曝光时长大于基准帧图像的图像。又例如，每组图像集合中还可以包含基准帧图像、曝光时长小于基准帧图像的图像、曝光时长大于基准帧图像的图像、以及曝光时长与基准帧图像相同的图像。当然，每组图像集合中包含的多帧图像还可以是其他的组合形式，本公开在此不做赘述。并且，以下为便于描述，将曝光时长与基准帧图像相同的图像称为第一图像，将曝光时长大于基准帧图像的图像称为第二图像，以及将曝光时长小于基准帧图像的图像称为第三图像。

作为一种可行实施方式，每组图像集合包含的多帧图像，例如可以包括基准帧图像、第一图像、第二图像和第三图像。

其中，作为一种优选，每组图像集合例如可以包含一帧基准帧图像、三帧第一图像、一帧第二图像以及一帧第三图像，示例可通过[EV0 EV0 EV0]和[EV0 EV- EV+]表示。其中，EV0表示基准帧图像或第一图像，EV+表示第二图像，EV-表示第三图像。

示例的，可以通过如下方式生成拍照图像。本公开以下为便于描述，将图像采集设备被触发进行拍照的时刻称为第一时刻，将图像集合序列中采集时刻与第一时刻最接近的图像集合称为第一集合，以及将图像集合序列中与第一集合相邻且在第一集合之前采集的图像集合称为第二集合。

图4是根据一示例性实施例示出的一种基于图像集合序列，生成拍照图像的方法流程图，如图4所示，包括以下步骤。

在步骤S21中，确定图像采集设备被触发进行拍照的第一时刻。

在步骤S22中，基于第一时刻，确定第一集合和第二集合。

在步骤S23中，基于第一集合以及第二集合各自包含的图像，生成拍照图像。

示例的，图像集合序列例如可以是图像集合1、图像集合2、...图像集合m-1、图像集合m(其中，m为大于3的正整数)。其中，图像集合1至图像集合m是基于采集时序由先至后的顺序排序的。那么当确定图像集合n(n为小于m的正整数)为第一集合时，图像集合n-1即为第二集合。

本公开实施例提供的方法，可以通过第一集合以及第二集合各自包含的图像，生成拍照图像。例如可以是在第一集合和第二集合中选取相应的图像进行图像合成，得到拍照图像。

其中，作为一种优选，以下对拍照图像的合成方式进行示例性说明。

图5是根据一示例性实施例示出的另一种基于图像集合序列，生成拍照图像的方法流程图，如图5所示，包括以下步骤。

在步骤S31中，确定图像采集设备被触发进行拍照的第一时刻。

在步骤S32中，基于第一时刻，确定第一集合和第二集合。

在步骤S33中，对第一集合的基准帧图像、第一集合的第一图像、第二集合的第二图像以及第二集合的第三图像进行图像合成，得到拍照图像。

本公开实施例中，以每组图像集合中包含一帧基准帧图像、三帧第一图像、一帧第二图像以及一帧第三图像为例，每组图像集合中的多帧图像的采集顺序例如可以是由基准帧图像、连续三帧第一图像、第二图像、至第三图像的采集顺序。

上述实施例中，确定第一集合的过程，实际可以理解为在多个不同基准帧图像中查找拍摄时刻与第一时刻最接近的基准帧图像。例如，若图像集合序列包括图像集合A和图像集合B，且图像集合A中基准帧图像的采集时刻为t1，图像集合B中的基准帧图像的采集时刻为t2(示例的，t1＜t2)。那么当第一时刻为t3时(示例的，t1＜t3＜t2，且t3更接近t1)，图像集合A即为第一集合。

示例的，选取第一集合的基准帧图像、第一集合的第一图像、第二集合的第二图像以及第二集合的第三图像的过程，例如可以是以第一集合的基准帧图像为基准，向前取两帧图像(即，第二集合的第二图像和第二集合的第三图像)，以及向后取三帧图像(即，第一集合中的连续三帧第一图像)。

一实施方式中，在图像采集设备被触发启动的情况下，图像采集设备还可以在被触发进行拍照之前，按照多组不同图像集合之间的排序，逐帧显示多组图像集合各自包含的基准帧图像。

图6是根据一示例性实施例示出的一种拍照方法的流程图，如图6所示，包括以下步骤。

在步骤S41中，响应于图像采集设备被触发启动，控制图像采集设备持续进行图像采集，并基于采集到的图像，生成图像集合序列。

在步骤S42中，按照多组不同图像集合之间的排序，逐帧显示多组图像集合各自包含的基准帧图像。

在步骤S43中，响应于图像采集设备被触发进行拍照，基于图像集合序列，生成拍照图像。

本公开实施例提供的方法，一方面的，可以通过图像集合序列中的图像，提供HDR拍照图像的快速合成。另一方面的，可以逐帧显示多组图像集合各自包含的基准帧图像，以此提供预览功能，该方法在实现HDR拍照图像快速生成的同时，提供了相应的图像预览方案。

图7是示例性示出了一种本公开进行图像预览及HDR拍照的处理流程图。

示例的，如图7所示，在图像采集设备被触发启动后，图像采集设备此时会持续进行图像采集。对于图像预览流程，图像采集设备将采集到的图像传给底层中控场景检测核心算法节点，中控算法根据场景信息输出能够合成单帧HDR图像的图像集合，比如[EV0 EV0EV0][EV0 EV- EV+]。其中，一组图像集合可以是通过两次预览数据请求来完成的，比如一次预览数据请求请求获取[EV0 EV0 EV0]，另一次预览数据请求请求获取[EV0 EV- EV+]。相应的，每次预览请求会根据中控算法产生的图像集合，通过包围曝光信息传递和转换模块，将信息传给图像采集设备模组。

进一步的，图像采集设备模组根据曝光信息(FrameLength+LineCount)的计算信息，一次产生3张原始图像，也即一个图像集合中的三帧图像。比如，第一次产生[EV0 EV0EV0]，第二次产生[EV0 EV- EV+]。在此基础上，通过双倍速率数据(Double Data Rate，DDR)管道传给底层软件缓存队列中，如第一次生成的[EV0 EV0 EV0]曝光组合会将第一个原始图像送给预览流做ISP(IFE+IPE)做原始图像的去噪，融合，裁剪的处理后送给预览做显示。第二次生成的[EV0 EV- EV+]选第一张EV0原始图像给预览流做预览处理。

对于HDR拍照流程。当图像采集设备被触发进行拍照，底层收到HDR拍照请求后，会根据当前用户拍照的时间点(timestamp)，在图像集合序列中选择时间点与其最为接近的第一集合，以及第一集合的在前相邻图像集合，即第二集合，并在第一集合和第二集合中选取图像，进行HDR图像合成。其中，选择方法是例如可以是对于每个图像集合中包含的[EV0EV0 EV0][EV0 EV- EV+]，将第一个EV0视为基准帧图像，并分别将不同图像集合的基准帧图像与收到拍照请求的时间点进行比对，直至确定时间点最为接近的一个基准帧图像，也即第一集合的基准帧图像。在选定好基准帧图像后，向前取EV-和EV+作为动态范围的优化参考图，向后取三张EV0，这样就组合成六张图像，并通过该六张图像进行动态范围合成，得到HDR图像。其中，对于流程2.2，也即在图像集合序列确定用于进行HDR合成的多帧图像的流程，其具体处理流程可参照图8。

示例的，如图8所示，在预览阶段，直接由中控核心处理，将每组图像集合中的基准帧图像进行逐帧显示，以此提供预览画面。在拍照阶段，图像采集设备进行缓存取帧，并获取应用下发时间点(也即，用户按下快门的时间点)，此时采用快速匹配算法，计算出各组图像集合中分别包含的基准帧图像中，采集时间点与按下快门的时间点最接近的一个基准帧图像。相应的，以所选取的一个基准帧图像，在图像序列中前后抓取其他图像，得到共六帧图像，一并输出进行原始图像预处理，也即如图5所示的流程2.3。

本公开最终目的是“点击拍照即完成拍照”，使得用户能够在拍照中抓拍到自己想要的画面，而不是有“迟钝感”的延迟画面。通过提前取帧，和优化预览曝光策略的组合最终完成HDR拍照，使得最终的HDR拍照图像具有所见即所得的既视感，给用户呈现出快稳准的特点。

在此基础上，相关技术中HDR拍照方案与本公开的HDR拍照方案之间的拍照时延对比如下表1所示。

HDR拍照方案	延迟时间	取帧时间	算法时间	总时间
					A	200ms	200ms	500ms	900ms
B	0ms	3ms	500ms	503ms

表1

其中，HDR拍照方案A即为相关技术中的HDR拍照方案，HDR拍照方案B即为本公开提供的HDR拍照方案。通过表1可知，对于HDR拍照流程，本公开从延迟时间(即，图像采集所需耗时)和取帧时间(获取原始图像所需耗时)做优化，仅通过排序算法就能够找到所需要的原始图像，两者总时间差400ms，本公开可有效减少HDR拍照耗时近44％。

此外，对于本公开涉及的HDR拍照方案，在得到多帧用于合成HDR图像的原始图像的基础上，还会通过一系列的图像优化手段，对用于合成HDR图像的原始图像进行优化处理，以使最终得到的HDR图像的视觉效果得到进一步优化。

示例的，待合成的原始图像例如可以包括前述涉及的第一集合的基准帧图像、第一集合的第一图像、第二集合的第二图像以及第二集合的第三图像。

图9是根据一示例性实施例示出的又一种基于图像集合序列，生成拍照图像的方法流程图，如图9所示，包括以下步骤。

在步骤S51中，确定图像采集设备被触发进行拍照的第一时刻。

在步骤S52中，基于第一时刻，确定第一集合和第二集合。

在步骤S53中，分别对第一集合的基准帧图像、第一集合的第一图像、第二集合的第二图像以及第二集合的第三图像进行优化处理，得到优化处理后的图像。

在步骤S54中，对优化处理后的图像进行图像合成，得到拍照图像。

本公开实施例提供的方法，可以分别对第一集合的基准帧图像、第一集合的第一图像、第二集合的第二图像以及第二集合的第三图像进行优化处理，得到优化处理后的图像，进而对优化处理后的图像进行图像合成，得到拍照图像。基于图像优化处理的步骤，最终得到的拍照图像具有更优的视觉效果。

上述实施例中，可以理解的是，优化处理后的各帧图像，与各帧原始图像之间是一一对应的。例如，第一集合的基准帧图像对应了一帧通过对基准帧图像进行优化处理后得到的图像。又例如，第二集合的第二图像对应了一帧通过对第二图像进行优化处理后得到的图像。

图10示例性示出了一种进行图像显示效果优化的处理流程图。

示例的，如图10所示，原始图像经过ISP(IFE+BPS)模块处理后，会被进行优化处理。例如，先后经由相位对焦(phase detection pixel correction，PDPC)、坏点矫正(BPC)、视频图像合成(Boris Continuum Complete，BCC)、信道增益(channel gains)、绿平衡修正(Green Imbalance Correction)、黑度折算(Black Level Substration)、镜头滚转(Lens Roll Off)、白平衡(White Balance)、去马赛克(Demosaic)、颜色矫正(ColorCorrection)、伽马修正(gamma)、颜色空间转换(Color Space Transform)、混合降噪(HibirdNoise Reduction)、下标量(Down Scaler)、再次颜色校正，最终得到以YUV颜色通道表示的处理图像。

进一步的，在通过HDR多帧算法收齐优化处理后的图像和参数信息(示例的，参数信息包括为各帧图像预配置的融合权重)后，就可以根据参数信息中为优化处理后的图像预配置的融合权重，通过金字塔权重融合方法(如，Gaussian或Laplacian)，对优化处理后的图像进行金字塔权重融合，得到一张具有高动态范围的图像，即拍照图像。

图11是根据一示例性实施例示出的另一种基于图像集合序列，生成拍照图像的方法流程图，如图11所示，包括以下步骤。

在步骤S61中，确定图像采集设备被触发进行拍照的第一时刻。

在步骤S62中，基于第一时刻，确定第一集合和第二集合。

在步骤S63中，分别对第一集合的基准帧图像、第一集合的第一图像、第二集合的第二图像以及第二集合的第三图像进行优化处理，得到优化处理后的图像。

在步骤S64中，基于为优化处理后的图像预配置的融合权重，对优化处理后的图像进行金字塔权重融合，得到拍照图像。

此外，在将拍照图像存储至相册之前，还可以对拍照图像进行修图处理。例如，如图12所示，可以对拍照图像(即图12所示的HDR图像)先后进行美颜、瘦身镜头畸变校正(Lens Distortion Correction，LDC)等单设算法图像处理，并将最终的处理结果存储至相册。

基于相同的构思，本公开实施例还提供一种拍照装置。

可以理解的是，本公开实施例提供的拍照装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。结合本公开实施例中所公开的各示例的单元及算法步骤，本公开实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本公开实施例的技术方案的范围。

图13是根据一示例性实施例示出的一种拍照装置框图。参照图13，该装置100包括处理单元101和生成单元102。

处理单元，响应于图像采集设备被触发启动，控制图像采集设备持续进行图像采集，并基于采集到的图像，生成图像集合序列。其中，图像集合序列包括沿采集时序排序的多组不同图像集合，每组图像集合包含具有不同曝光时长的多帧图像，且每组图像集合包含的多帧图像满足单帧高动态范围图像的合成。生成单元，响应于图像采集设备被触发进行拍照，基于图像集合序列，生成拍照图像。

一种实施方式中，每组图像集合中包含的多帧图像包括：基准帧图像。第一图像，第一图像与基准帧图像具有相同的曝光时长。第二图像，第二图像的曝光时长大于基准帧图像的曝光时长。第三图像，第三图像的曝光时长小于基准帧图像的曝光时长。

一种实施方式中，生成单元102采用如下方式基于图像集合序列，生成拍照图像：确定图像采集设备被触发进行拍照的第一时刻。基于第一时刻，确定第一集合和第二集合。其中，第一集合为图像集合序列中采集时刻与第一时刻最接近的图像集合，第二集合为图像集合序列中与第一集合相邻且在第一集合之前采集的图像集合。基于第一集合以及第二集合各自包含的图像，生成拍照图像。

一种实施方式中，生成单元102采用如下方式基于第一集合以及第二集合各自包含的图像，生成拍照图像：对第一集合的基准帧图像、第一集合的第一图像、第二集合的第二图像以及第二集合的第三图像进行图像合成，得到拍照图像。

一种实施方式中，生成单元102采用如下方式对第一集合的基准帧图像、第一集合的第一图像、第二集合的第二图像以及第二集合的第三图像进行图像合成，得到拍照图像。分别对第一集合的基准帧图像、第一集合的第一图像、第二集合的第二图像以及第二集合的第三图像进行优化处理，得到优化处理后的图像。对优化处理后的图像进行图像合成，得到拍照图像。

一种实施方式中，生成单元102采用如下方式对优化处理后的图像进行图像合成，得到拍照图像。基于为优化处理后的图像预配置的融合权重，对优化处理后的图像进行金字塔权重融合，得到拍照图像。

一种实施方式中，处理单元101还用于：在图像采集设备被触发进行拍照之前，按照多组不同图像集合之间的排序，逐帧显示多组图像集合各自包含的基准帧图像。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图14是根据一示例性实施例示出的一种用于拍照的装置200的框图。例如，装置200可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图14，装置200可以包括以下一个或多个组件：处理组件202，存储器204，电力组件206，多媒体组件208，音频组件210，输入/输出(I/O)接口212，传感器组件214，以及通信组件216。

处理组件202通常控制装置200的整体操作，诸如与显示，电话呼叫，数据通信，图像采集设备操作和记录操作相关联的操作。处理组件202可以包括一个或多个处理器220来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件202可以包括一个或多个模块，便于处理组件202和其他组件之间的交互。例如，处理组件202可以包括多媒体模块，以方便多媒体组件208和处理组件202之间的交互。

存储器204被配置为存储各种类型的数据以支持在装置200的操作。这些数据的示例包括用于在装置200上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电力组件206为装置200的各种组件提供电力。电力组件206可以包括电源管理系统，一个或多个电源，及其他与为装置200生成、管理和分配电力相关联的组件。

多媒体组件208包括在所述装置200和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件208包括一个前置摄像头和/或后置摄像头。当装置200处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件210被配置为输出和/或输入音频信号。例如，音频组件210包括一个麦克风(MIC)，当装置200处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器204或经由通信组件216发送。在一些实施例中，音频组件210还包括一个扬声器，用于输出音频信号。

I/O接口212为处理组件202和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件214包括一个或多个传感器，用于为装置200提供各个方面的状态评估。例如，传感器组件214可以检测到装置200的打开/关闭状态，组件的相对定位，例如所述组件为装置200的显示器和小键盘，传感器组件214还可以检测装置200或装置200一个组件的位置改变，用户与装置200接触的存在或不存在，装置200方位或加速/减速和装置200的温度变化。传感器组件214可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件214还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件214还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件216被配置为便于装置200和其他设备之间有线或无线方式的通信。装置200可以接入基于通信标准的无线网络，如WiFi，4G或5G，或它们的组合。在一个示例性实施例中，通信组件216经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件216还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置200可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器204，上述指令可由装置200的处理器220执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

可以理解的是，本公开中“多个”是指两个或两个以上，其它量词与之类似。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

进一步可以理解的是，术语“第一”、“第二”等用于描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开，并不表示特定的顺序或者重要程度。实际上，“第一”、“第二”等表述完全可以互换使用。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。

进一步可以理解的是，除非有特殊说明，“连接”包括两者之间不存在其他构件的直接连接，也包括两者之间存在其他元件的间接连接。

进一步可以理解的是，本公开实施例中尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利范围指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利范围来限制。

Claims (16)

1.一种拍照方法，其特征在于，应用于图像采集设备，所述拍照方法包括：

响应于所述图像采集设备被触发启动，控制所述图像采集设备持续进行图像采集，并基于采集到的图像，生成图像集合序列；其中，所述图像集合序列包括沿采集时序排序的多组不同图像集合，每组所述图像集合包含具有不同曝光时长的多帧图像，且每组所述图像集合包含的多帧图像满足单帧高动态范围图像的合成；

响应于所述图像采集设备被触发进行拍照，基于所述图像集合序列，生成拍照图像。

2.根据权利要求1所述的拍照方法，其特征在于，每组所述图像集合中包含的多帧图像包括：

基准帧图像；

第一图像，所述第一图像与所述基准帧图像具有相同的曝光时长；

第二图像，所述第二图像的曝光时长大于所述所述基准帧图像的曝光时长；

第三图像，所述第三图像的曝光时长小于所述所述基准帧图像的曝光时长。

3.根据权利要求2所述的拍照方法，其特征在于，所述基于所述图像集合序列，生成拍照图像，包括：

确定所述图像采集设备被触发进行拍照的第一时刻；

基于所述第一时刻，确定第一集合和第二集合；其中，所述第一集合为所述图像集合序列中采集时刻与所述第一时刻最接近的图像集合，所述第二集合为所述图像集合序列中与所述第一集合相邻且在所述第一集合之前采集的图像集合；

基于所述第一集合以及所述第二集合各自包含的图像，生成所述拍照图像。

4.根据权利要求3所述的拍照方法，其特征在于，所述基于所述第一集合以及所述第二集合各自包含的图像，生成所述拍照图像，包括：

对所述第一集合的基准帧图像、所述第一集合的第一图像、第二集合的第二图像以及第二集合的第三图像进行图像合成，得到所述拍照图像。

5.根据权利要求4所述的拍照方法，其特征在于，所述对所述第一集合的基准帧图像、所述第一集合的第一图像、第二集合的第二图像以及第二集合的第三图像进行图像合成，得到所述拍照图像，包括：

分别对所述第一集合的基准帧图像、所述第一集合的第一图像、所述第二集合的第二图像以及所述第二集合的第三图像进行优化处理，得到优化处理后的图像；

对所述优化处理后的图像进行图像合成，得到所述拍照图像。

6.根据权利要求5所述的拍照方法，其特征在于，所述对所述优化处理后的图像进行图像合成，得到所述拍照图像，包括：

基于为所述优化处理后的图像预配置的融合权重，对所述优化处理后的图像进行金字塔权重融合，得到所述拍照图像。

7.根据权利要求2所述的拍照方法，其特征在于，在所述图像采集设备被触发进行拍照之前，所述方法还包括：

按照所述多组不同图像集合之间的排序，逐帧显示多组所述图像集合各自包含的基准帧图像。

8.一种拍照装置，其特征在于，应用于图像采集设备，所述拍照装置包括：

处理单元，响应于所述图像采集设备被触发启动，控制所述图像采集设备持续进行图像采集，并基于采集到的图像，生成图像集合序列；其中，所述图像集合序列包括沿采集时序排序的多组不同图像集合，每组所述图像集合包含具有不同曝光时长的多帧图像，且每组所述图像集合包含的多帧图像满足单帧高动态范围图像的合成；

生成单元，响应于所述图像采集设备被触发进行拍照，基于所述图像集合序列，生成拍照图像。

9.根据权利要求8所述的拍照装置，其特征在于，每组所述图像集合中包含的多帧图像包括：

基准帧图像；

第一图像，所述第一图像与所述基准帧图像具有相同的曝光时长；

第二图像，所述第二图像的曝光时长大于所述所述基准帧图像的曝光时长；

第三图像，所述第三图像的曝光时长小于所述所述基准帧图像的曝光时长。

10.根据权利要求9所述的拍照装置，其特征在于，所述生成单元采用如下方式基于所述图像集合序列，生成拍照图像：

确定所述图像采集设备被触发进行拍照的第一时刻；

基于所述第一时刻，确定第一集合和第二集合；其中，所述第一集合为所述图像集合序列中采集时刻与所述第一时刻最接近的图像集合，所述第二集合为所述图像集合序列中与所述第一集合相邻且在所述第一集合之前采集的图像集合；

基于所述第一集合以及所述第二集合各自包含的图像，生成所述拍照图像。

11.根据权利要求10所述的拍照装置，其特征在于，所述生成单元采用如下方式基于所述第一集合以及所述第二集合各自包含的图像，生成所述拍照图像：

对所述第一集合的基准帧图像、所述第一集合的第一图像、第二集合的第二图像以及第二集合的第三图像进行图像合成，得到所述拍照图像。

12.根据权利要求11所述的拍照装置，其特征在于，所述生成单元采用如下方式对所述第一集合的基准帧图像、所述第一集合的第一图像、第二集合的第二图像以及第二集合的第三图像进行图像合成，得到所述拍照图像：

分别对所述第一集合的基准帧图像、所述第一集合的第一图像、所述第二集合的第二图像以及所述第二集合的第三图像进行优化处理，得到优化处理后的图像；

对所述优化处理后的图像进行图像合成，得到所述拍照图像。

13.根据权利要求12所述的拍照装置，其特征在于，所述生成单元采用如下方式对所述优化处理后的图像进行图像合成，得到所述拍照图像：

基于为所述优化处理后的图像预配置的融合权重，对所述优化处理后的图像进行金字塔权重融合，得到所述拍照图像。

14.根据权利要求9所述的拍照装置，其特征在于，所述处理单元还用于：

在所述图像采集设备被触发进行拍照之前，按照所述多组不同图像集合之间的排序，逐帧显示多组所述图像集合各自包含的基准帧图像。

15.一种拍照装置，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：执行权利要求1至7中任意一项所述的拍照方法。

16.一种存储介质，其特征在于，所述存储介质中存储有指令，当所述存储介质中的指令由处理器执行时，使得处理器能够执行权利要求1至7中任意一项所述的拍照方法。

Images