CN109005342A - 全景拍摄方法、装置和成像设备 - Google Patents

Abstract

本发明提出一种全景拍摄方法、装置和成像设备，其中，方法包括：在全景拍摄过程中，控制第一摄像头以第一曝光时长拍摄多帧第一曝光图像，控制第二摄像头以短于第一曝光时长的曝光时长拍摄多帧第二曝光图像，将对应的第一曝光图像和第二曝光图像进行像素合成得到各帧目标图像，对各帧目标图像进行成像画面合成，得到全景图像。通过双摄像头获取不同曝光时长的图像，将对应不同曝光时长的图像进行像素合成得到各帧目标图像，并将目标图像进行成像画面合成得到全景图像，提高了全景拍摄的拍摄效率，解决了现有技术中，单一摄像头拍摄高动态全景图像时，拍摄效率低的技术问题。

Description

全景拍摄方法、装置和成像设备

技术领域

本发明涉及移动终端技术领域，尤其涉及一种全景拍摄方法、装置和成像设备。

背景技术

随着移动终端和图像处理技术的发展，人们对于拍摄的需求日益增加，当拍摄场景动态范围变化较大时，当拍摄者的脸较亮时，则后面的背景将变得过曝严重，无法呈现背景图像的细节，单纯的降低亮度，仍无法呈现背景图像的细节。因此，人们需要拍摄高动态范围全景图像，来展现当前场景。

若单一的摄像头来拍摄高动态全景图像，而单一的摄像头每次只能输出一帧图像，拍摄效率较低，无法适应全景拍摄的场景。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明提出一种全景拍摄方法，通过双摄像头获取多帧包含多种曝光时长的图像，并将对应的不同曝光时长的图像合成各帧目标图像，进而将目标图像拼接成全景图像，提高了全景拍摄的拍摄效率。

本发明提出一种全景拍摄装置。

本发明提出一种成像设备。

本发明提出一种计算机设备。

本发明提出一种计算机可读存储介质。

本发明一方面实施例提出了一种全景拍摄方法，应用于成像设备，成像设备包括第一摄像头和第二摄像头，方法包括：

在全景拍摄过程中，控制所述第一摄像头以第一曝光时长拍摄多帧第一曝光图像，控制所述第二摄像头以短于所述第一曝光时长的曝光时长拍摄多帧第二曝光图像；

将对应的所述第一曝光图像和所述第二曝光图像进行像素合成得到各帧目标图像；

对所述各帧目标图像进行成像画面合成，得到全景图像。

本发明又一方面实施例提出了一种全景拍摄装置，应用于成像设备，所述成像设备包括第一摄像头和第二摄像头，所述装置包括：

控制模块，用于在全景拍摄过程中，控制所述第一摄像头以第一曝光时长拍摄多帧第一曝光图像，控制所述第二摄像头以短于所述第一曝光时长的曝光时长拍摄多帧第二曝光图像；

合成模块，用于将对应的所述第一曝光图像和所述第二曝光图像进行像素合成得到各帧目标图像；

拼接模块，用于对所述各帧目标图像进行成像画面合成，得到全景图像。

本发明又一方面实施例提出了一种成像设备，所述成像设备包括第一摄像头和第二摄像头，所述成像设备还包括处理器，所述处理器用于：

在全景拍摄过程中，控制所述第一摄像头以第一曝光时长拍摄多帧第一曝光图像，控制所述第二摄像头以短于所述第一曝光时长的曝光时长拍摄多帧第二曝光图像；

将对应的所述第一曝光图像和所述第二曝光图像进行像素合成得到各帧目标图像；

对所述各帧目标图像进行成像画面合成，得到全景图像。

本发明又一方面实施例提出了一种计算机设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如前述一方面所述的全景拍摄方法。

本发明又一方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，所述处理器执行所述程序时，实现如前述一方面所述的全景拍摄方法。

本发明实施例所提供的技术方案可以包含如下的有益效果：

在全景拍摄过程中，控制第一摄像头以第一曝光时长拍摄多帧第一曝光图像，控制第二摄像头以短于第一曝光时长的曝光时长拍摄多帧第二曝光图像，将对应的第一曝光图像和第二曝光图像进行像素合成得到各帧目标图像，对各帧目标图像进行成像画面合成，得到全景图像。通过双摄像头获取不同曝光时长的图像，将对应不同曝光时长的图像进行像素合成得到各帧目标图像，并将目标图像进行成像画面合成得到全景图像，提高了全景拍摄的拍摄效率。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例所提供的一种全景拍摄方法的流程示意图；

图2为本发明实施例所提供的另一种全景拍摄方法的流程示意图；

图3为本发明实施例提供的LTM映射曲线的示意图；

图4为本发明实施例提供的一种全景拍摄装置的结构示意图；

图5为一个实施例中计算机设备200的内部结构示意图；以及

图6为一个实施例中图像处理电路90的示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的全景拍摄方法、装置和成像设备。

图1为本发明实施例所提供的一种全景拍摄方法的流程示意图。

如图1所示，该方法包括以下步骤：

步骤101，在全景拍摄过程中，控制第一摄像头以第一曝光时长拍摄多帧第一曝光图像，控制第二摄像头以短于第一曝光时长的曝光时长拍摄多帧第二曝光图像。

其中，第一摄像头为彩色摄像头，第二摄像头为黑白摄像头，第一摄像头和第二摄像头无主副之分，拍摄图像时权重相同。

具体地，在全景拍摄过程中，控制第一摄像头以第一曝光时长拍摄多帧第一曝光图像，在第一摄像头拍摄一帧第一曝光图像的过程中，控制第二摄像头采用短曝光时长拍摄对应的一帧短曝光的第二曝光图像，以及采用中曝光时长拍摄对应的一帧中曝光的第二曝光图像。

其中，中曝光时长小于第一曝光时长，短曝光时长小于中曝光时长。

需要理解的是，第一摄像头采用第一曝光时长拍摄第一曝光图像，第二摄像头采用短曝光时长和中曝光时长分别拍摄对应的第二曝光图像，第一摄像头应当与第二摄像头同步进行图像拍摄。但同步并不是限定同时开始，或同时结束，具体第一摄像头可以与第二摄像头拍摄图像同时开始执行，也可以存在一定时间差，本实施例对执行时序不作限定。

在一种场景下，如果第一曝光时长大于短曝光时长与中曝光时长之和，则第二摄像头可以和第一摄像头在相同时间开始拍摄图像，也可以延迟开始，延迟时间等于短曝光时长和中曝光时长之和与第一曝光时长的差值的绝对值。

在另一种场景下，如果第一曝光时长小于或等于短曝光时长与中曝光时长之和，则第二摄像头与第一摄像头同时开始拍摄图像，以减少拍摄时间，提高拍摄效率。

另外需要说明的是，第二摄像头采用短曝光时长拍摄对应的第二曝光图像，可以早于第二摄像头采用中曝光时长拍摄对应的第二曝光图像，也可以晚于第二摄像头采用中曝光时长拍摄对应的第二曝光图像，本实施例中不作限定。

步骤102，将对应的第一曝光图像和第二曝光图像进行像素合成得到各帧目标图像。

具体地，对应的第一曝光图像和第二曝光图像中的相应像素进行加权合成，得到对应的一帧目标图像，同理，可以合成得到各帧目标图像。

步骤103，对各帧目标图像进行成像画面合成，得到全景图像。

具体地，根据得到的各帧目标图像，将各帧目标图像进行成像画面合成，作为一种可能的实现方式，按照各帧图像拍摄的顺序，将相邻两帧中相似的像素部分进行合并，使得相邻两帧目标图像拼接在一去，从而实现成像画面的合成，得到全景图像。

本实施例的全景拍摄方法中，在全景拍摄过程中，控制第一摄像头以第一曝光时长拍摄多帧第一曝光图像，控制第二摄像头以短于第一曝光时长的曝光时长拍摄多帧第二曝光图像，将对应的第一曝光图像和第二曝光图像进行像素合成得到各帧目标图像，对各帧目标图像进行成像画面合成，得到全景图像。通过双摄像头获取不同曝光时长的图像，将对应不同曝光时长的图像进行像素合成得到各帧目标图像，并将目标图像进行成像画面合成得到全景图像，提高了全景拍摄的拍摄效率。

上一实施例中，描述了在拍摄全景图像时，通过第一摄像头和第二摄像头分别获取不同曝光时长的图像，将对应不同曝光时长的图像进行像素合成得到各帧目标图像，并将目标图像进行成像画面合成得到全景图像，而在实际拍摄过程中，因拍摄场景和光线的变化，获取的图像可能存在曝光不足或曝光过度的问题，导致图像质量较低，因此，在拍摄过程中，可对获取的当前帧图像的曝光情况进行分析，进而调整下一帧图像的第一曝光时长和短曝光时长，以获取曝光时长更准确的图像，提高了全景拍摄的拍摄效率，因此，在上一实施例的基础上，本实施例提供了另一种全景拍摄方法，图2为本发明实施例所提供的另一种全景拍摄方法的流程示意图。

如图2所示，该方法可以包括以下步骤：

步骤201，在全景拍摄过程中，控制第一摄像头以第一曝光时长拍摄多帧第一曝光图像。

其中，第一摄像头为彩色摄像头。

具体地，第一摄像头中采用的第一曝光时长是预设的，在全景拍摄的过程中，控制第一摄像头先以预设的第一曝光时长拍摄一帧第一曝光图像。进而可根据调整后的第一曝光时长进行拍摄，获取多帧第一曝光图像，具体调整的方式下述步骤中会详细介绍。

步骤202，在第一摄像头拍摄一帧第一曝光图像的过程中，控制第二摄像头采用短曝光时长拍摄对应的一帧短曝光的第二曝光图像，以及以中曝光时长拍摄对应的一帧中曝光的第二曝光图像。

其中，第二摄像头为黑白摄像头。

具体地，第一摄像头和第二摄像头是同时采集图像的，在第一摄像头拍摄一帧第一曝光图像的过程中，第二摄像头以预设的短曝光时长和中曝光时长分别拍摄对应的一帧短曝光的第二曝光图像和中曝光的第二曝光图像。

进而，根据调整后的短曝光时长拍摄得到多帧短曝光的第二曝光图像，其中，对短曝光时长进行调整的方式下述步骤中会详细介绍。

需要说明的是第一摄像头拍摄的第一曝光图像和第二摄像头拍摄的第二曝光图像对应相同的图像，只是采用不同的摄像头和曝光时长获取。

步骤203，根据一帧第一曝光图像，对第一曝光时长进行调整。

实际应用中，在不同的环境亮度下，使用预先设定的第一曝光时长曝光的第一曝光图像可能出现曝光不足，如此，需要在拍摄过程中根据拍摄得到的一帧第一曝光图像，对第一曝光时长进行调整，从而得到修正的第一曝光时长。

本发明实施例中，根据当前拍摄的一帧第一曝光图像，生成长曝光直方图，根据长曝光直方图，识别欠曝光区域，其中，欠曝光区域，为长曝光直方图中第一初始亮度小于第一参考亮度的像素所在的区域，迭代控制使得后一次拍摄的另一帧第一曝光图像的长曝光直方图中，与欠曝区域对应的区域的亮度大于或等于第一参考亮度，记录第一初始亮度变为第一参考亮度所需的调整曝光时长，根据当前拍摄采用的第一曝光时长与调整曝光时长获得调整后的第一曝光时长。

具体来说，根据当前拍摄的一帧第一曝光图像，对第一曝光时长进行调整。首先，根据第一曝光图像中多个原始像素信息生成长曝光直方图。长曝光直方图表征多个原始像素信息的亮度分布。随后，从长曝光直方图中确定原始像素信息对应的第一初始亮度小于第一参考亮度的多个像素，这些像素对应当前第一曝光图像中的欠曝区域。为使得当前预览图像中的欠曝区域能够获得充足的曝光，即使得后一帧预览图像中长曝光直方图与欠曝区域对应的区域的亮度大于或等于第一参考亮度，会先确定一个调整第一曝光时长。随后，再控制像素以调整后的第一曝光时长曝光，并输出多个调整后的调整像素信息。根据多个调整像素信息生成调整后的长曝光直方图，并在长曝光直方图中寻找调整像素信息对应的第三初始亮度小于第一参考亮度的多个像素，这些像素对应后一帧预览图像中的欠曝光区域。若未找到第三初始亮度小于第一参考亮度的多个像素，即说明后一帧预览图像中不存在欠曝区域；若仍旧找到了第三初始亮度小于第一参考亮度的多个像素，则说明后一帧预览图像中存在欠曝区域，则继续调整像素的第一曝光时长。如此周而复始，直至预览图像中不存在欠曝区域为止，此时，不存在欠曝区域的预览图像对应的像素的第一曝光时长即为调整后的第一曝光时长。

进而，在全景拍摄过程中，根据修正的第一曝光时长获取第一曝光图像。

步骤204，根据一帧短曝光的第二曝光图像，对短曝光时长进行调整。

实际应用中，在不同的环境亮度下，使用预先设定的短曝光时长曝光的短曝光的第二曝光图像可能出现过曝，如此，需要在拍摄过程中根据拍摄得到的一帧短曝光的第二曝光图像，对短曝光时长进行调整，从而得到修正的短曝光时长。

本发明实施例中，根据当前拍摄的一帧短曝光的第二曝光图像，生成短曝光直方图，根据短曝光直方图，识别过曝区域，其中，过曝区域，为短曝光直方图中第二初始亮度大于第二参考亮度的像素所在的区域。迭代控制使得后一次拍摄的另一帧短曝光的第二曝光图像的短曝光直方图中，与过曝区域对应的区域的亮度小于或等于第二参考亮度，记录第二初始亮度变为第二参考亮度所需的调整短曝光时长，和根据当前拍摄采用的短曝光时长与调整短曝光时长获得调整后的短曝光时长。

具体地，根据一帧短曝光的第二曝光图像，对短曝光时长进行调整，首先根据短曝光的第二曝光图像中多个像素分别输出的多个原始像素信息生成短曝光直方图。短曝光直方图表征多个原始像素信息的亮度分布。随后，从短曝光直方图中确定原始像素信息对应的第二初始亮度大于第二参考亮度的多个像素，这些像素对应当前预览图像中的过曝区域。为使得当前预览图像中的过曝区域能够减小曝光，即使得后一帧预览图像中短曝光直方图与过曝区域对应的区域的亮度小于或等于第二参考亮度，会先确定一个调整短曝光时长。随后，再控制像素以调整后的短曝光时长曝光，并输出多个调整后的调整像素信息。根据多个调整像素信息生成调整后的短曝光直方图，并在短曝光直方图中寻找调整像素信息对应的第四初始亮度大于第二参考亮度的多个像素，这些像素对应后一帧预览图像中的过曝区域。若未找到第四初始亮度大于第二参考亮度的多个像素，即说明后一帧预览图像中不存在过曝区域；若仍旧找到了第四初始亮度大于第二参考亮度的多个像素，则说明后一帧预览图像中存在过曝区域，则继续调整像素的短曝光时长。如此周而复始，直至预览图像中不存在过曝区域为止，此时，不存在过曝区域的预览图像对应的像素的短曝光时长即为调整后短曝光时长。

进而，在全景拍摄过程中，根据修正的短曝光时长获取短曝光的第二曝光图像。

需要说明的是，步骤203可在步骤204之前执行，也可在步骤204之后执行。

步骤205，将对应的第一曝光图像和第二曝光图像进行像素合成得到各帧目标图像。

本发明实施例中，将对应的第一曝光图像和第二曝光图像中的相应像素进行加权合成，具体地，对三种不同曝光时长对应的图像中的像素分别赋予不同的权值，将各曝光时间对应的图像中的对应像素与权值相乘后，再将三种乘以权值后的像素相加作为对应一个像素的合成像素，进而，将所有的像素都进行加权合成得到对应的合成像素，从而得到对应的一帧目标图像，同理，可得到各帧目标图像。例如，R_长为一帧第一曝光图像中的一个像素点，R_短为对应一帧短曝光的第二曝光图像中对应像素点，R_中为对应一帧中曝光的第二曝光图像中对应像素点，将一帧中对应一个像素的合并像素信息，记为M_合，则合并像素信息M_合＝R_长×a+R_短×b+R_中×c，其中，a、b和c分别为第一曝光图像中的像素、中曝光的第二曝光图像中对应像素、短曝光的第二曝光图像中的对应像素各自对应的权值，从而得到合并后的一帧目标图像，同理，可以得到各帧目标图像。

需要说明的是，第一曝光图像中的像素、中曝光的第二曝光图像中对应像素、短曝光的第二曝光图像中的对应像素各自对应的权值，可以根据实验数据确定，也可以根据当前拍摄场景的亮度信息等确定，本实施例中不作限定。

步骤206，针对每一帧目标图像，对一帧图像中各合并像素信息进行灰度级别的压缩。

由于根据三种不同曝光时长的原始像素计算得到的每一个合并像素的灰度级别会产生变化，因此，在得到合并像素信息后需要对每一个合并像素信息做灰度级别的压缩。压缩完毕后，可以根据多个压缩完毕后得到的合并像素信息进行插值计算即可得到目标图像。如此，目标图像中暗部已经由第一摄像头中的曝光像素输出的原始像素信息进行补偿，亮部已经由第二摄像头中的曝光像素输出的原始像素信息进行压制，因此，目标图像不存在过曝区域及欠曝区域，具有较高的动态范围和较佳的成像效果。

具体地，针对每一帧目标图像，对一帧图像中各合并像素信息进行灰度级别的压缩，作为一种可能的实现方式，可采用Local Tone Mapping(LTM)将得到的每一帧图像中各合并像素信息进行压缩，例如，将合成后的RAW文件数据压缩成10bit输出，使得得到的每一帧目标图像在一个合适的亮度域中呈现，便于与显示器进行适配显示。为了能表现更多的亮处细节和暗处细节，可将LTM曲线设置成如图3所示的形式，图3为本发明实施例提供的LTM映射曲线的示意图，通过LTM映射后可以尽量保存原始图像的外观特征，目标图像不存在过曝区域及欠曝区域，具有较高的动态范围和较佳的成像效果。。

步骤207，对各帧目标图像进行拼接，得到全景图像。

具体地，根据得到的各帧目标图像，将各帧目标图像进行成像画面合成，作为一种可能的实现方式，按照各帧图像拍摄的顺序，将相邻两帧中相似的像素部分进行合并，使得相邻两帧目标图像拼接在一去，从而实现成像画面的合成，得到全景图像。

本实施例的全景拍摄方法中，在全景拍摄过程中，控制第一摄像头以第一曝光时长拍摄多帧第一曝光图像，控制第二摄像头以短曝光时长拍摄多帧短曝光的第二曝光图像，以及控制第二摄像头以中曝光时长拍摄多帧中曝光的第二曝光图像，并根据一帧第一曝光图像对第一曝光时长进行调整，以使得根据第一曝光时长获取的第一曝光图像中可获取充足的曝光，并根据一帧短曝光的第二曝光图像，对短曝光时长进行调整，以使得根据短曝光时长可减少过曝区域的曝光量，实现了动态调整曝光时长，获取多种曝光时长的图像数据，提高了全景拍摄的图像质量。将对应的第一曝光图像、中曝光的第二曝光图像和短曝光的第二曝光图像进行像素合成得到各帧目标图像，并对各帧目标图像进行灰度级别的压缩，提高了目标图像对原始图像的还原力，从而可表现更多的亮处细节和暗处细节，对各帧目标图像进行合并，得到全景图像，提高了全景拍摄的拍摄效率。

为了实现上述实施例，本发明还提出一种全景拍摄装置，该装置应用于成像设备，成像设备包括第一摄像头和第二摄像头。

图4为本发明实施例提供的一种全景拍摄装置的结构示意图。

如图4所示，该装置包括：控制模块41、合成模块42和拼接模块43。

控制模块41，用于在全景拍摄过程中，控制第一摄像头以第一曝光时长拍摄多帧第一曝光图像，控制第二摄像头以短于第一曝光时长的曝光时长拍摄多帧第二曝光图像。

合成模块42，用于将对应的第一曝光图像和第二曝光图像进行像素合成得到各帧目标图像。

拼接模块43，用于对各帧目标图像进行成像画面合成，得到全景图像。

进一步地，在本发明实施例的一种可能的实现方式中，上述控制模块41，包括第一控制单元和第二控制单元。

第一控制单元，用于控制第一摄像头以第一曝光时长拍摄多帧第一曝光图像；第一摄像头为彩色摄像头。

第二控制单元，在第一摄像头拍摄一帧第一曝光图像的过程中，控制第二摄像头采用短曝光时长拍摄对应的一帧短曝光的第二曝光图像，以及采用中曝光时长拍摄对应的一帧中曝光的第二曝光图像；第二摄像头为黑白摄像头，其中，中曝光时长小于第一曝光时长，短曝光时长小于中曝光时长。

在本发明实施例的一种可能的实现方式中，上述控制模块41，还可以包括：第一调整单元和第二调整单元。

第一调整单元，用于根据一帧第一曝光图像，对第一曝光时长进行调整。

第二调整单元，用于根据一帧短曝光的第二曝光图像，对短曝光时长进行调整。

在本发明实施例的一种可能的实现方式中，第一调整单元，具体用于：

根据当前拍摄的一帧第一曝光图像，生成长曝光直方图；

根据长曝光直方图，识别欠曝光区域；其中，欠曝光区域，为长曝光直方图中第一初始亮度小于第一参考亮度的像素所在的区域；

迭代控制使得后一次拍摄的另一帧第一曝光图像的长曝光直方图中，与欠曝区域对应的区域的亮度大于或等于第一参考亮度；

记录第一初始亮度变为第一参考亮度所需的调整曝光时长；和

根据当前拍摄采用的第一曝光时长与调整曝光时长获得调整后的第一曝光时长。

在本发明实施例的一种可能的实现方式中，第二调整单元，具体用于：

根据当前拍摄的一帧短曝光的第二曝光图像，生成短曝光直方图；

根据短曝光直方图，识别过曝区域；其中，过曝区域，为短曝光直方图中第二初始亮度大于第二参考亮度的像素所在的区域；

迭代控制使得后一次拍摄的另一帧短曝光的第二曝光图像的短曝光直方图中，与过曝区域对应的区域的亮度小于或等于第二参考亮度；

记录第二初始亮度变为第二参考亮度所需的调整短曝光时长；和

根据当前拍摄采用的短曝光时长与调整短曝光时长获得调整后的短曝光时长。

在本发明实施例的一种可能的实现方式中，上述合成模块42，具体用于：

对应的第一曝光图像和第二曝光图像中的相应像素进行加权合成，得到对应的一帧目标图像。

在本发明实施例的一种可能的实现方式中，该装置还包括：压缩模块。

压缩模块，用于对一帧目标图像中各合并像素信息进行灰度级别的压缩。

需要说明的是，前述对方法实施例的解释说明也适用于该实施例的装置，此处不再赘述。

本实施例的全景拍摄装置中，在全景拍摄过程中，控制第一摄像头以第一曝光时长拍摄多帧第一曝光图像，控制第二摄像头以短曝光时长拍摄多帧短曝光的第二曝光图像，以及控制第二摄像头以中曝光时长拍摄多帧中曝光的第二曝光图像，并根据一帧第一曝光图像对第一曝光时长进行调整，以使得根据第一曝光时长获取的第一曝光图像中可获取充足的曝光，并根据一帧短曝光的第二曝光图像，对短曝光时长进行调整，以使得根据短曝光时长可减少过曝区域的曝光量，实现了动态调整曝光时长，获取多种曝光时长的图像数据，提高了全景拍摄的图像质量。将对应的第一曝光图像、中曝光的第二曝光图像和短曝光的第二曝光图像进行像素合成得到各帧目标图像，并对各帧目标图像进行灰度级别的压缩，提高了目标图像对原始图像的还原力，从而可表现更多的亮处细节和暗处细节，对各帧目标图像进行合并，得到全景图像，提高了全景拍摄的拍摄效率。

为了实现上述实施例，本发明还提出一种成像设备，成像设备包括第一摄像头和第二摄像头，成像设备还包括处理器，处理器用于：

在全景拍摄过程中，控制第一摄像头以第一曝光时长拍摄多帧第一曝光图像，控制第二摄像头以短于第一曝光时长的曝光时长拍摄多帧第二曝光图像；

将对应的第一曝光图像和第二曝光图像进行像素合成得到各帧目标图像；

对各帧目标图像进行成像画面合成，得到全景图像。

为了实现上述实施例，本发明实施例还提出了一种计算机设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如前述方法实施例所述的全景拍摄方法。

图5为一个实施例中计算机设备200的内部结构示意图。该计算机设备200包括通过系统总线81连接的处理器60、存储器50(例如为非易失性存储介质)、内存储器82、显示屏83和输入装置84。其中，计算机设备200的存储器50存储有操作系统和计算机可读指令。该计算机可读指令可被处理器60执行，以实现本申请实施方式的控制方法。该处理器60用于提供计算和控制能力，支撑整个计算机设备200的运行。计算机设备200的内存储器50为存储器52中的计算机可读指令的运行提供环境。计算机设备200的显示屏83可以是液晶显示屏或者电子墨水显示屏等，输入装置84可以是显示屏83上覆盖的触摸层，也可以是计算机设备200外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等。该计算机设备200可以是手机、平板电脑、笔记本电脑、个人数字助理或穿戴式设备(例如智能手环、智能手表、智能头盔、智能眼镜)等。本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的示意图，并不构成对本申请方案所应用于其上的计算机设备200的限定，具体的计算机设备200可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

请参阅图6，本申请实施例的计算机设备200中包括图像处理电路90，图像处理电路90可利用硬件和/或软件组件实现，包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图6为一个实施例中图像处理电路90的示意图。如图6所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图6所示，图像处理电路90包括ISP处理器91(ISP处理器91可为处理器60)和控制逻辑器92。摄像头93捕捉的图像数据首先由ISP处理器91处理，ISP处理器91对图像数据进行分析以捕捉可用于确定摄像头93的一个或多个控制参数的图像统计信息。摄像头93可包括一个或多个透镜932和图像传感器934。图像传感器934可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器934可获取每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器91处理的一组原始图像数据。传感器94(如陀螺仪)可基于传感器94接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器91。传感器94接口可以为SMIA(StandardMobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外，图像传感器934也可将原始图像数据发送给传感器94，传感器94可基于传感器94接口类型把原始图像数据提供给ISP处理器91，或者传感器94将原始图像数据存储到图像存储器95中。

ISP处理器91按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器91可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器91还可从图像存储器95接收图像数据。例如，传感器94接口将原始图像数据发送给图像存储器95，图像存储器95中的原始图像数据再提供给ISP处理器91以供处理。图像存储器95可为存储器50、存储器50的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器934接口或来自传感器94接口或来自图像存储器95的原始图像数据时，ISP处理器91可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器95，以便在被显示之前进行另外的处理。ISP处理器91从图像存储器95接收处理数据，并对处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器91处理后的图像数据可输出给显示器97(显示器97可包括显示屏83)，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器91的输出还可发送给图像存储器95，且显示器97可从图像存储器95读取图像数据。在一个实施例中，图像存储器95可被配置为实现一个或多个帧缓冲器。此外，ISP处理器91的输出可发送给编码器/解码器96，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器97设备上之前解压缩。编码器/解码器96可由CPU或GPU或协处理器实现。

ISP处理器91确定的统计数据可发送给控制逻辑器92单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜932阴影校正等图像传感器934统计信息。控制逻辑器92可包括执行一个或多个例程(如固件)的处理元件和/或微控制器，一个或多个例程可根据接收的统计数据，确定摄像头93的控制参数及ISP处理器91的控制参数。例如，摄像头93的控制参数可包括传感器94控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜932控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜932阴影校正参数。

例如，以下为运用图5中的处理器60或运用图6中的图像处理电路90(具体为ISP处理器91)实现控制方法的步骤：

01：在全景拍摄过程中，控制第一摄像头以第一曝光时长拍摄多帧第一曝光图像，控制第二摄像头以短于第一曝光时长的曝光时长拍摄多帧第二曝光图像；

02：将对应的第一曝光图像和第二曝光图像进行像素合成得到各帧目标图像；

03：对各帧目标图像进行成像画面合成，得到全景图像。

为了实现上述实施例，本发明实施例还提出了一种计算机可读存储介质，其上存储有计算机程序，所述处理器执行所述程序时，实现如前述方法实施例所述的全景拍摄方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (11)

1.一种全景拍摄方法，其特征在于，应用于成像设备，所述成像设备包括第一摄像头和第二摄像头，所述方法包括以下步骤：

在全景拍摄过程中，控制所述第一摄像头以第一曝光时长拍摄多帧第一曝光图像，控制所述第二摄像头以短于所述第一曝光时长的曝光时长拍摄多帧第二曝光图像；

将对应的所述第一曝光图像和所述第二曝光图像进行像素合成得到各帧目标图像；

对所述各帧目标图像进行成像画面合成，得到全景图像。

2.根据权利要求1所述的全景拍摄方法，其特征在于，所述控制所述第一摄像头以第一曝光时长拍摄多帧第一曝光图像，控制所述第二摄像头以短于所述第一曝光时长的第二曝光时长拍摄多帧第二曝光图像，包括：

控制所述第一摄像头以所述第一曝光时长拍摄多帧所述第一曝光图像；所述第一摄像头为彩色摄像头；

在所述第一摄像头拍摄一帧第一曝光图像的过程中，控制所述第二摄像头采用短曝光时长拍摄对应的一帧短曝光的第二曝光图像，以及采用中曝光时长拍摄对应的一帧中曝光的第二曝光图像；所述第二摄像头为黑白摄像头；

其中，所述中曝光时长小于所述第一曝光时长，所述短曝光时长小于所述中曝光时长。

3.根据权利要求2所述的全景拍摄方法，其特征在于，所述控制所述第二摄像头采用短曝光时长拍摄对应的一帧短曝光的第二曝光图像以采用中曝光时长拍摄对应的一帧中曝光的第二曝光图像之后，还包括：

根据所述一帧第一曝光图像，对所述第一曝光时长进行调整；

根据所述一帧短曝光的第二曝光图像，对所述短曝光时长进行调整。

4.根据权利要求3所述的全景拍摄方法，其特征在于，所述根据所述一帧第一曝光图像，对所述第一曝光时长进行调整，包括：

根据当前拍摄的所述一帧第一曝光图像，生成长曝光直方图；

根据所述长曝光直方图，识别欠曝光区域；其中，所述欠曝光区域，为所述长曝光直方图中第一初始亮度小于第一参考亮度的像素所在的区域；

迭代控制使得后一次拍摄的另一帧第一曝光图像的长曝光直方图中，与所述欠曝区域对应的区域的亮度大于或等于所述第一参考亮度；

记录所述第一初始亮度变为所述第一参考亮度所需的调整曝光时长；和

根据当前拍摄采用的第一曝光时长与所述调整曝光时长获得调整后的第一曝光时长。

5.根据权利要求3所述的全景拍摄方法，其特征在于，所述根据所述一帧短曝光的第二曝光图像，对所述短曝光时长进行调整，包括：

根据当前拍摄的所述一帧短曝光的第二曝光图像，生成短曝光直方图；

根据所述短曝光直方图，识别过曝区域；其中，所述过曝区域，为所述短曝光直方图中第二初始亮度大于第二参考亮度的像素所在的区域；

迭代控制使得后一次拍摄的另一帧短曝光的第二曝光图像的短曝光直方图中，与所述过曝区域对应的区域的亮度小于或等于所述第二参考亮度；

记录所述第二初始亮度变为所述第二参考亮度所需的调整短曝光时长；和

根据当前拍摄采用的短曝光时长与所述调整短曝光时长获得调整后的短曝光时长。

6.根据权利要求1-5任一项所述的全景拍摄方法，其特征在于，所述将对应的所述第一曝光图像和所述第二曝光图像进行像素合成得到各帧目标图像，包括：

对应的所述第一曝光图像和所述第二曝光图像中的相应像素进行加权合成，得到对应的一帧目标图像。

7.根据权利要求6所述的全景拍摄方法，其特征在于，所述得到对应的一帧目标图像之后，还包括：

对所述一帧目标图像中各合并像素信息进行灰度级别的压缩。

8.一种全景拍摄装置，其特征在于，应用于成像设备，所述成像设备包括第一摄像头和第二摄像头，所述装置包括：

控制模块，用于在全景拍摄过程中，控制所述第一摄像头以第一曝光时长拍摄多帧第一曝光图像，控制所述第二摄像头以短于所述第一曝光时长的曝光时长拍摄多帧第二曝光图像；

合成模块，用于将对应的所述第一曝光图像和所述第二曝光图像进行像素合成得到各帧目标图像；

拼接模块，用于对所述各帧目标图像进行成像画面合成，得到全景图像。

9.一种成像设备，其特征在于，所述成像设备包括第一摄像头和第二摄像头，所述成像设备还包括处理器，所述处理器用于：

在全景拍摄过程中，控制所述第一摄像头以第一曝光时长拍摄多帧第一曝光图像，控制所述第二摄像头以短于所述第一曝光时长的曝光时长拍摄多帧第二曝光图像；

将对应的所述第一曝光图像和所述第二曝光图像进行像素合成得到各帧目标图像；

对所述各帧目标图像进行成像画面合成，得到全景图像。

10.一种计算机设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-7中任一所述的全景拍摄方法。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的全景拍摄方法。