CN112087580A - 图像采集方法和装置、电子设备、计算机可读存储介质 - Google Patents

Abstract

本申请涉及一种图像采集方法和装置、电子设备、计算机可读存储介质。上述方法应用于包含至少两个广角摄像头的电子设备，上述方法包括：控制每一个广角摄像头以至少两个不同的曝光时间进行拍摄，得到与每一个曝光时间对应的图像组合，其中，每一组图像组合包含至少两个广角摄像头中每一个广角摄像头拍摄的图像，控制至少两个长焦摄像头中每一个长焦摄像头以目标曝光时间进行拍摄，得到至少两帧子图像，将至少两个曝光时间对应的至少两组图像组合中包含的图像至少两帧子图像进行融合，得到第一目标图像。由于可以将多个广角摄像头以不同的曝光时间拍摄的图像及长焦摄像头拍摄的子图像进行融合处理以得到目标图像，可以提高采集的图像质量。

Description

图像采集方法和装置、电子设备、计算机可读存储介质

技术领域

本申请涉及影像技术领域，特别是涉及一种图像采集方法和装置、电子设备、计算机可读存储介质。

背景技术

随着影像技术的发展，人们对电子设备的图像采集技术的要求越来越高，为提高电子设备的成像效果，电子设备可以通过摄像头拍摄同一场景的多帧图像，进而将多帧图像进行融合。然而，传统方法中，电子设备通过摄像头采集多帧图像进行融合的方式存在采集的图像质量较低的问题。

发明内容

本申请实施例提供一种图像采集方法、装置、电子设备、计算机可读存储介质，可以提高采集的图像质量。

一种图像采集方法，应用于电子设备，所述电子设备包含至少两个广角摄像头和至少两个长焦摄像头，每一个所述长焦摄像头与至少一个所述广角摄像头存在重叠的视场区域；所述方法包括：

控制每一个所述广角摄像头以至少两个不同的曝光时间进行拍摄，得到与每一个所述曝光时间对应的图像组合，其中，每一组所述图像组合包含至少两个所述广角摄像头中每一个所述广角摄像头拍摄的图像；

控制每一个所述长焦摄像头以目标曝光时间进行拍摄，得到至少两帧子图像；

将至少两个所述曝光时间对应的至少两组所述图像组合中包含的图像与至少两帧子图像进行融合，得到第一目标图像。

一种图像采集装置，包括：

第一采集模块，用于控制每一个所述广角摄像头以至少两个不同的曝光时间进行拍摄，得到与每一个所述曝光时间对应的图像组合，其中，每一组所述图像组合包含至少两个所述广角摄像头中每一个所述广角摄像头拍摄的图像；

第二采集模块，用于控制每一个所述长焦摄像头以目标曝光时间进行拍摄，得到至少两帧子图像，其中，每一个所述长焦摄像头与至少一个所述广角摄像头存在重叠的视场区域；

图像处理模块，用于将至少两个所述曝光时间对应的至少两组所述图像组合中包含的图像与至少两帧子图像进行融合，得到第一目标图像。

一种电子设备，包括至少两个广角摄像头和至少两个长焦摄像头、存储器及处理器，每一个所述长焦摄像头与至少一个所述广角摄像头存在重叠的视场区域，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

控制每一个所述广角摄像头以至少两个不同的曝光时间进行拍摄，得到与每一个所述曝光时间对应的图像组合，其中，每一组所述图像组合包含至少两个所述广角摄像头中每一个所述广角摄像头拍摄的图像；

控制每一个所述长焦摄像头以目标曝光时间进行拍摄，得到至少两帧子图像；

将至少两个所述曝光时间对应的至少两组所述图像组合中包含的图像与至少两帧子图像进行融合，得到第一目标图像。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：

控制每一个所述广角摄像头以至少两个不同的曝光时间进行拍摄，得到与每一个所述曝光时间对应的图像组合，其中，每一组所述图像组合包含至少两个所述广角摄像头中每一个所述广角摄像头拍摄的图像；

控制每一个所述长焦摄像头以目标曝光时间进行拍摄，得到至少两帧子图像；

将至少两个所述曝光时间对应的至少两组所述图像组合中包含的图像与至少两帧子图像进行融合，得到第一目标图像。

上述图像采集方法、装置、电子设备和计算机可读存储介质，可以控制至少两个广角摄像头中每一个广角摄像头以至少两个不同的曝光时间进行拍摄，得到每一个曝光时间对应的图像组合，节省了摄像头采集多帧图像的时间，并控制至少两个长焦摄像头中每一个长焦摄像头以目标曝光时间进行拍摄，得到至少两帧子图像，从而将至少两个曝光时间对应的至少两组图像组合中包含的图像与至少两帧子图像进行融合，得到第一目标图像，可以提高采集的图像质量。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中图像采集方法的应用环境图；

图2为一个实施例中图像采集方法的流程图；

图3为一个实施例中广角摄像头和长焦摄像头采集的图像的示意图；

图4为另一个实施例中图像采集方法的流程图；

图5为又一个实施例中图像采集方法的流程图；

图6为一个实施例中图像采集装置的结构框图；

图7为一个实施例中电子设备的内部结构框图；

图8为一个实施例中图像处理电路的结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一图像称为第二图像，且类似地，可将第二图像称为第一图像。第一图像和第二图像两者都是图像，但其不是同一图像。

图1为一个实施例中图像采集方法的应用环境示意图。如图1所示，该应用环境包括电子设备100。其中，电子设备100包括至少两个广角摄像头110和至少两个长焦摄像头120，长焦摄像头120的数量可以是2个、3个、4个等，在此不做限定。其中，至少两个广角摄像头110和至少两个长焦摄像头120以一定的结构设置于电子设备100的同一侧，以使每一个长焦摄像头120与至少一个广角摄像头120存在重叠的视场区域。电子设备100可以控制每一个广角摄像头110以至少两个不同的曝光时间进行拍摄，得到与每一个曝光时间对应的图像组合，其中，每一组图像组合包括至少两个广角摄像头110中每一个广角摄像头110拍摄的图像，同时控制每一个长焦摄像头120以目标曝光时间进行拍摄，得到至少两帧子图像，将至少两个曝光时间对应的至少两组图像组合中包含的图像和至少两帧子图像进行融合，得到第一目标图像。可以理解的是，上述电子设备100可以不限于是各种手机、电脑、可携带设备等。

图2为一个实施例中图像采集方法的流程图。本实施例中的图像采集方法，以运行于图1中的电子设备为例进行描述。如图2所示，图像采集方法包括步骤202至步骤204。

步骤202，控制每一个广角摄像头以至少两个不同的曝光时间进行拍摄，得到与每一个曝光时间对应的图像组合，其中，每一组图像组合包含至少两个广角摄像头中每一个广角摄像头拍摄的图像。

电子设备中包括至少两个广角摄像头和至少两个长焦摄像头。具体地，至少两个广角摄像头和至少两个长焦摄像头设于电子设备的同一侧，至少两个广角摄像头可用于采集视场区域相同或部分重叠的图像。曝光时间是摄像头在采集图像时，快门从打开到关闭的时间间隔。电子设备可以根据实际应用需求预设至少两个不同的曝光时间，在此对曝光时间的具体数值不做限定。通常，摄像头根据电子设备预设的至少两个不同的曝光时间采集的至少两帧图像应分别包含有被拍摄场景的亮区和暗区的信息。具体地，至少两个不同的曝光时间可以是固定的，也可以是根据电子设备所处的环境光亮度、摄像头的光圈、感光度等中的至少一种来确定，还可以是获取的用户输入的曝光时间等。例如，至少两个不同的曝光时间可以是0.02s、0.05s、0.1s和0.2s、也可以是0.01s、0.03s、0.08s、0.1s和0.3s，还可以是0.005s、0.01s、0.04s、0.08s、0.1s、0.15s和0.2s等。

具体地，电子设备可以依次获取至少两个不同的曝光时间中一个曝光时间，同时控制每一个广角摄像头以该曝光时间采集一帧图像，得到该曝光时间对应的图像组合，直至完成所有曝光时间的拍摄，可以得到每一个曝光时间对应的图像组合。每一组图像组合包含了至少两个广角摄像头中每一个广角摄像头拍摄的图像。例如，当至少两个不同的曝光时间为0.02s、0.05s、0.1s和0.2s，电子设备包含广角摄像头A和广角摄像头B时，电子设备控制每一个广角摄像头以0.02s、0.05s、0.1s和0.2s的曝光时间采集图像，可以得到广角摄像头A拍摄的与各个曝光时间对应的图像A1、A2、A3、A4，及广角摄像头B拍摄的与各个曝光时间对应的图像B1、B2、B3、B4，则0.02s对应的图像组合包含图像A1和图像B1，0.05s对应的图像组合包含图像A2和B2,0.1s对应的图像组合包含图像A3和B3,0.2s对应的图像组合包含图像A4和B4。当然，在一些实施例中，电子设备也可以同时控制每一个广角摄像头以不同的曝光时间来采集图像。

步骤204，控制每一个所述长焦摄像头以目标曝光时间进行拍摄，得到至少两帧子图像。

具体地，电子设备可以在控制每一个广角摄像头进行拍摄的同时控制每一个长焦摄像头以目标曝光时间进行拍摄，得到至少两帧子图像。每一个长焦摄像头与至少一个广角摄像头存在重叠的视场区域，即每一个长焦摄像头采集的一帧子图像与一个或多个广角摄像头存在相同的图像画面。由于长焦摄像头的焦距比广角摄像头的焦距更大，相比于广角摄像头拍摄的图像，长焦摄像头采集的子图像具体更多的图像细节。

目标曝光时间可以是预先设定的曝光时间，可选地，电子设备可以为每一个长焦摄像头设定不同的曝光时间。电子设备也可以根据环境光亮度的大小来确定目标曝光时间。具体地，电子设备可以通过光线传感器检测环境光亮度，从而根据环境光亮度确定目标曝光时间。例如，电子设备可以预设环境光亮度小于20尼特时曝光时间为0.02s、环境光亮度大于20尼特小于30尼特时曝光时间为0.01s、环境光亮度大于30尼特时曝光时间为0.005s，则当电子设备检测到环境光亮度为25尼特时，则将0.01s作为目标曝光时间。

步骤206，将至少两个曝光时间对应的至少两组图像组合中包含的图像和至少两帧子图像进行融合，得到第一目标图像。

融合是指将多帧图像按照一定规则生成最终的图像的操作。具体地，电子设备可以通过线性加权、非线性加权融合、多帧降噪算法等将多帧图像融合。目标图像是指在一次图像拍摄过程获得的最终的图像。电子设备通过融合得到第一目标图像时，可以将第一目标图像存储至电子设备的存储器中，还可以展示在电子设备的显示屏上。

电子设备可以将至少两个曝光时间对应的至少两组图像组合中包含的图像和至少两帧子图像进行融合，以得到第一目标图像。例如，在上述例子中，0.02s对应的图像组合包含图像A1和图像B1，0.05s对应的图像组合包含图像A2和B2,0.1s对应的图像组合包含图像A3和B3,0.2s对应的图像组合包含图像A4和B4，在电子设备包括4个长焦摄像头时，子图像的数量为4帧；电子设备可以将图像A1、B1、A2、B2、A3、B3、A4、B4和4帧子图像进行融合处理，以得到第一目标图像。

本申请提供的实施例中，电子设备可以控制至少两个广角摄像头中每一个广角摄像头以至少两个不同的曝光时间进行拍摄，得到每一个曝光时间对应的图像组合，并控制至少两个长焦摄像头中每一个长焦摄像头以目标曝光时间进行拍摄，得到至少两帧子图像，从而将至少两个曝光时间对应的至少两组图像组合中包含的图像和至少两帧子图像进行融合，得到第一目标图像。由于可以通过至少两个广角摄像头进行多帧不同曝光时间的图像的拍摄，节省了摄像头采集多帧图像的时间，同时通过至少两个长焦摄像头以目标曝光时间进行拍摄，将广角摄像头和长焦摄像头采集的图像进行融合，得到目标图像，可以在提高图像采集效率的同时提高采集的图像质量。

在一个实施例中，提供的图像采集方法中控制每一个长焦摄像头以目标曝光时间进行拍摄，得到至少两帧子图像之前，还包括：分析每一个曝光时间对应的图像组合中包含的图像的清晰度；将清晰度最高的图像对应的曝光时间作为目标曝光时间。

在其他条件相同的情况下，不同曝光时间的拍摄的图像清晰度不同，对于夜景拍摄的场景，通常，曝光时间越小，则图像清晰度越低，反之，曝光时间越长，则图像清晰度越高。

具体地，电子设备在通过每一个广角摄像头以不同的曝光时间进行拍摄时，每拍摄到一帧图像，则检测该图像的清晰度，以得到不同的曝光时间对应的图像的清晰度，从而将清晰度最高的图像对应的曝光时间作为目标曝光时间。可选地，在目标曝光时间为电子设备预设的曝光时间的情况下，电子设备也可以根据不同的曝光时间对应的图像的清晰度对预设的曝光时间进行调整，以得到目标曝光时间。可选地，电子设备在每一组图像组合中获取一帧图像的清晰度，将获取的图像中清晰度最高的图像对应的曝光时间作为目标曝光时间，即可以不对广角摄像头采集的所有图像的清晰度进行分析，可以提高目标曝光时间的确定效率。

在一个实施例中，电子设备还可以根据每一个长焦摄像头与广角摄像头重叠的视场区域，将广角摄像头采集的图像划分为多个区域，分别分析各个区域在每一个曝光时间对应的图像中的清晰度，将该区域清晰度最高的图像对应的曝光时间作为该区域对应的长焦摄像头的目标曝光时间。即可以针对不同的长焦摄像头确定不同的目标曝光时间，可以提高目标曝光时间的准确性。

在一个实施例中，提供的图像采集方法中步骤206可以包括：将每一个曝光时间对应的一组图像组合包含的至少两帧图像进行融合处理，得到每一个曝光时间对应的预处理图像；将每一个曝光时间对应的预处理图像与至少两帧子图像进行融合处理，得到第一目标图像。

电子设备先将一组图像组合中包含的至少两帧图像进行融合处理得到每一个曝光时间对应的预处理图像，再将每一个曝光时间对应的预处理图像进行融合处理。具体地，电子设备可通过基于线性加权、非线性加权融合、主成分分析的融合、金字塔变化、小波变化等融合方法的一种或多种对一组图像组合包含的至少两帧图像进行融合处理。

一组图像组合中包含的至少两帧图像为在相同的曝光时间下采集的图像，在相同曝光时间下采集的多帧图像的图像内容相似度高于其他曝光时间下采集的图像内容，图像内容相似度高的多帧图像进行融合处理得到的预处理图像的效果更好，处理速度更快。可选地，电子设备还可以在采集完当前一组图像组合时，在采集下一组图像组合的图像的同时将该当前一组图像组合中包含的图像进行融合处理，可以缩短电子设备采集和融合图像的时间，提高图像处理的效率。

融合处理得到的预处理图像相比于各个广角摄像头采集的图像，视场区域更大。每一帧子图像与预处理图像之间存在重叠的视场区域，电子设备可以根据子图像与预处理图像之间的重叠的视场区域将预处理图像和至少两帧子图像进行融合处理。基于摄像头成像原理，摄像头采集的图像中，中心区域的清晰度和成像效果往往高于边缘区域，电子设备在将预处理图像和至少两帧长焦图像进行融合处理的过程中，可以分别获取预处理图像的中心区域的图像内容和至少两帧主体图像的图像内容以融合第一目标图像。

可选地，至少两帧子图像之间存在重叠的视场区域，电子设备也可以先将至少两帧子图像进行拼接，再将拼接处理后得到的图像与预处理图像进行融合处理，得到第一目标图像。具体地，电子设备可以根据预处理图像按预定方向依次将多帧子图像进行拼接处理。

在一个实施中，电子设备包括两个广角摄像头，分别为第一摄像头和第二摄像头，每一组图像组合包含第一摄像头拍摄的第一图像和第二摄像头拍摄的第二图像，其中，第一图像和第二图像存在重叠的视场区域。

可选地，第一摄像头和第二摄像头的视场角可以是相同的也可以是不相同的。视场区域是指与图像对应的摄像头的视场范围。第一图像和第二图像存在重叠的视场区域，则电子设备在将第一图像和第二图像进行融合处理时，可以保留第一图像和第二图像重叠的视场区域，而将第一图像和第二图像中不重叠的区域剪切；在一些情况下，例如，当用户终端期望获得视场范围较大的图像时，电子设备也可以保留第一图像和第二图像中不重叠的区域以得到待处理图像。可选地，在一些实施例中，电子设备可以根据评估第一图像和第二图像中不重叠的区域的成像质量分数，当成像质量分数高于预设阈值时，则在预处理图像中保留，当成像质量分数低于预设阈值时，则将第一图像和第二图像中不重叠的区域剪切后融合得到预处理图像，可以提高预处理图像的质量。

在一个实施例中，长焦摄像头的数量为4个，电子设备可以控制每一个长焦摄像头采集1帧子图像，得到4帧子图像，每1帧子图像分别自预处理图像的视场区域的其中一个边角位置向中间位置延伸。

图3为一个实施例中广角摄像头和长焦摄像头采集的图像的示意图。以电子设备设置有2个广角摄像头和4个长焦摄像头为例进行说明，如图3所示，第一图像302和第二图像304为2个广角摄像头拍摄的一组图像组合。电子设备通过4个长焦摄像头采集到4帧子图像306、308、310和312。电子设备可以将第一图像302和第二图像304进行融合处理，以得到预处理图像314。预处理图像314包含第一图像302和第二图像304的视差区域，即预处理图像314的视场区域大于第一图像302的视场区域和第二图像304的视场区域。其中，4帧子图像306、308、310和312之间可以存在重叠的视场区域316，并且，每1帧子图像分别自预处理图像的视场区域的其中一个边角位置向中间位置延伸。电子设备可以将得到的多帧预处理图像314与4帧子图像306、308、310和312进行融合处理，得到视场区域更大、图像清晰度效果更好、细节更丰富的第一目标图像。

在一个实施例中，提供的图像采集方法中将至少两个曝光时间对应的至少两组图像组合中包含的图像与至少两帧子图像进行融合，得到第一目标图像之前，还包括：获取第一摄像头和第二摄像头之间的双目标定参数；根据双目标定参数对每一组图像组合中包含的第一图像和第二图像进行校正处理。

标定参数是电子设备在出厂之前，对第一摄像头和第二摄像头进行标定处理得到的。标定处理是指对摄像头成像的几何模型中的参数进行求解的操作，通过摄像头成像的几何模型可以使拍摄的图像还原空间中的物体。双目标定参数可以包含旋转矩阵和平移矩阵。电子设备根据双目标定参数对第一图像和第二图像进行校正处理，可以使得相同特征点在处理后的第一图像和第二图像中的位置相对应。

在一些实施例中，电子设备在根据双目标定参数对每一组图像组合中包含的第一图像和第二图像进行校正处理之前，还可以分别获取第一摄像头和第二摄像头的单目标定参数，从而可以根据第一摄像头对应的单目标定参数对第一图像进行处理，及根据第二摄像头的单目标定参数对第二图像进行处理。

通过获取第一摄像头和第二摄像头之间的双目标定参数，根据双目标定参数对第一图像和第二图像进行校正处理，则处理后的第一图像和第二图像中包含相同特征在第一图像和第二图像中的位置相对应，从而在将第一图像和第二图像进行融合处理时，可以准确地查找到第一图像和第二图像中相同特征点的位置，可以提高融合处理的准确性。

在一个实施例，提供的图像处理方法包括：

步骤402，获取环境光亮度和陀螺仪采集的角速度数据。

电子设备可以内置有光线传感器和陀螺仪。电子设备可以获取光线传感器检测的环境光亮度，及获取陀螺仪采集的角速度数据。可选地，在一些实施例中，电子设备也可以通过广角摄像头采集预览图像，根据预览图像的拍摄参数和图像的亮度信息确定环境光亮度。

步骤404，根据环境光亮度和角速度数据确定是否启动夜景拍摄模式。

夜景拍摄模式是用于拍摄夜景、或者其他亮度较低的拍摄场景的拍摄模式。电子设备根据环境光亮度和角速度数据确定是否启动夜景拍摄模式。具体地，电子设备可以根据角速度数据计算对应的抖动幅度，也可以根据角速度数据分析得到电子设备当前的抖动场景，从而电子设备可以在环境光亮度低于亮度阈值、且抖动幅度在预设区间内或抖动场景为预设场景中时，则启动夜景拍摄模式。其中，亮度阈值是用于区分环境亮度高低的亮度值，可以根据实际应用需求设定，在此不做限定。抖动场景可以但不限于是手持设备拍摄场景、三脚架拍摄场景、静置拍摄场景、行走拍摄场景等。预设抖动场景通常为抖动幅度较小的场景，例如三脚架拍摄场景，静置拍摄场景等。预设区间可以根据电子设备在各个预设抖动场景下的角速度数据来确定。可选地，在一个实施例中，电子设备也可以根据环境光亮度确定是否启动夜景拍摄模式，还可以获取用户触发的夜景拍摄模式的启动指令，根据夜景拍摄模式的启动指令启动夜景拍摄模式。

步骤406，当确定启动夜景拍摄模式时，则控制每一个广角摄像头以至少两个不同的曝光时间进行拍摄，得到与每一个曝光时间对应的图像组合。

步骤408，控制每一个长焦摄像头以目标曝光时间进行拍摄，得到至少两帧子图像。

步骤410，将至少两个曝光时间对应的至少两组图像组合中包含的图像与至少两帧子图像进行融合，得到第一目标图像。

电子设备通过检测环境光亮度和角速度数据，根据环境光亮度和角速度数据确定开启夜景拍摄模式时，控制每一个广角摄像头以至少两个不同的曝光时间进行拍摄，得到与每一个曝光时间对应的图像组合，并控制每一个长焦摄像头以目标曝光时间进行拍摄，得到至少两帧子图像，将得到与每一个曝光时间对应的图像组合中包含的图像和至少两帧子图像进行融合，得到第一目标图像，即可以根据被拍摄场景的信息开启夜景拍摄模式，可以提高图像拍摄的准确性。

在一个实施例中，提供的图像采集方法包括：

步骤502，获取环境光亮度和陀螺仪采集的角速度数据。

步骤504，根据环境光亮度和角速度数据确定是否启动夜景拍摄模式，当是时，则进入步骤506，当否时，则进入步骤512。

步骤506，控制每一个广角摄像头以至少两个不同的曝光时间进行拍摄，得到与每一个曝光时间对应的图像组合。

步骤508，控制每一个长焦摄像头以目标曝光时间进行拍摄，得到至少两帧子图像。

步骤510，将至少两个曝光时间对应的至少两组图像组合中包含的图像与至少两帧子图像进行融合，得到第一目标图像。

步骤512，同时控制至少两个广角摄像头和至少两个长焦摄像头分别拍摄一帧图像，得到至少两帧广角图像和至少两帧长焦图像。

具体地，广角摄像头的视场角大于长焦摄像头的视场角。例如，广角摄像头的视场角可以是80度、85度、90度、100度等；长焦摄像头的视场角可以是20度、25度、30度、40度等，在此不做限定。电子设备可以包含至少两个长焦摄像头。例如，长焦摄像头的数量可以为2个、3个、4个等，在此不做限定。

电子设备可以在不启动夜景拍摄模式，同时控制控制至少两个广角摄像头和至少两个长焦摄像头分别拍摄一帧图像，得到至少两帧广角图像和至少两帧长焦图像。具体地，每一帧长焦图像与至少一帧广角图像之间包含重叠的视差区域。可选地，至少两帧长焦图像之间可以不存在重叠的视差区域。相比于广角摄像头，长焦摄像头拍摄的长焦图像具备更多的图像细节，图像清晰度更高。

在一个实施例中，长焦图像的数量为4帧，4帧长焦图像分别自基准图像的视场区域的其中一个边角位置向中间位置延伸。

步骤514，将至少两帧广角图像和至少两帧长焦图像进行融合处理，得到第二目标图像。

具体地，电子设备可通过基于线性加权、非线性加权融合、主成分分析的融合、金字塔变化、小波变化等融合方法的一种或多种将至少两帧广角图像和至少两帧长焦图像进行融合处理，得到第二目标图像。可选地，电子设备得到第二目标图像后，可以将第二目标图像保存至电子设备的存储器中，还可以将第二目标图像展示在电子设备的显示屏上。

在一个实施例中，步骤512包括：将至少两帧广角图像进行融合处理，得到基准图像；将基准图像和至少两帧长焦图像进行融合处理，得到第二目标图像。

具体地，电子设备可以根据至少两帧广角图像之间重叠的视场区域将至少两帧广角图像进行融合处理。融合处理得到的基准图像相比于每一帧广角图像，视场区域更大。每一帧长焦图像与基准图像之间存在重叠的视场区域，电子设备可以根据长焦图像与基准图像之间的重叠的视场区域将基准图像和至少两帧长焦图像进行融合处理。基于摄像头成像原理，摄像头采集的图像中，中心区域的清晰度和成像效果往往高于边缘区域，电子设备在将基准图像和至少两帧长焦图像进行融合处理的过程中，可以分别获取基准图像的中心区域的图像内容和至少两帧长焦图像的图像内容以融合第二目标图像。

可选地，至少两帧长焦图像之间存在重叠的视场区域，电子设备也可以先将至少两帧长焦图像进行拼接，再将拼接处理后得到的图像与基准图像进行融合处理，得到第二目标图像。具体地，电子设备可以根据基准图像按预定方向依次将多帧长焦图像进行拼接处理。

电子设备通过至少两个广角摄像头中每个广角摄像头采集一帧广角图像，将得到的至少两帧广角图像进行融合处理以得到基准图像，同时控制长焦摄像头中每个摄像头采集一帧长焦图像，将得到的至少两帧长焦图像与至少两帧广角图像进行融合处理，得到第二目标图像，可以在保证目标图像清晰度的同时提高目标图像的视场区域。并且，电子设备根据环境光亮度和角速度数据确定是否开启夜景拍摄模式，而针对不同的场景采集不同的图像采集方式，可以提高图像拍摄的准确性。

应该理解的是，虽然图2、4、5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、4、5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图6为一个实施例的图像采集装置的结构框图。如图6所示，该图像采集装置包括第一采集模块602、第二采集模块604、图像处理模块606，其中：

第一采集模块602，用于控制每一个广角摄像头以至少两个不同的曝光时间进行拍摄，得到与每一个曝光时间对应的图像组合，其中，每一组图像组合包含至少两个广角摄像头中每一个广角摄像头拍摄的图像。

第二采集模块604，用于控制每一个所述长焦摄像头以目标曝光时间进行拍摄，得到至少两帧子图像，其中，每一个所述长焦摄像头与至少一个所述广角摄像头存在重叠的视场区域

图像处理模块604，用于将至少两个曝光时间对应的至少两组图像组合中包含的图像与至少两帧子图像进行融合，得到第一目标图像。

本申请实施例提供的图像采集装置，用于控制至少两个广角摄像头中每一个广角摄像头以至少两个不同的曝光时间进行拍摄，得到每一个曝光时间对应的图像组合，并控制至少两个长焦摄像头中每一个长焦摄像头以目标曝光时间进行拍摄，得到至少两帧子图像，从而将至少两个曝光时间对应的至少两组图像组合中包含的图像得到至少两帧子图像进行融合，得到第一目标图像。由于可以通过至少两个广角摄像头进行多帧不同曝光时间的图像的拍摄，节省了摄像头采集多帧图像的时间，同时通过至少两个长焦摄像头以目标曝光时间进行拍摄，将广角摄像头和长焦摄像头采集的图像进行融合，得到目标图像，可以在提高图像采集效率的同时提高采集的图像质量。。

在一个实施例中，图像处理模块604还可以用于将每一个曝光时间对应的一组图像组合包含的至少两帧图像进行融合处理，得到每一个曝光时间对应的预处理图像；将每一个曝光时间对应的预处理图像与至少两帧子图像进行融合处理，得到第一目标图像。

在一个实施例中，图像采集模块602，用于控制第一摄像头和第二摄像头以至少两个不同的曝光时间进行拍摄，得到与每一个曝光时间对应的图像组合，其中，每一组图像组合包含第一摄像头拍摄的第一图像和第二摄像头拍摄的第二图像，第一图像和第二图像存在重叠的视场区域。其中，第一摄像头和第二摄像头为两个广角摄像头。

在一个实施例中，图像处理模块604还可以用于获取第一摄像头和第二摄像头之间的双目标定参数；根据双目标定参数对每一组图像组合中包含的第一图像和第二图像进行校正处理。

在一个实施例中，提供的图像采集装置还包括拍摄模式确定模块606，拍摄模式确定模块606用于获取环境光亮度和陀螺仪采集的角速度数据，根据环境光亮度和角速度数据确定是否启动夜景拍摄模式。

在一个实施例中，图像采集模块602还可以用于当确定不启动夜景拍摄模式时，同时控制至少两个广角摄像头和至少两个长焦摄像头分别拍摄一帧图像，得到至少两帧广角图像和至少两帧长焦图像；图像处理模块604还可以用于将至少两帧广角图像和至少两帧长焦图像进行融合处理，得到第二目标图像。

在一个实施例中，图像处理模块604还可以用于将至少两帧广角图像进行融合处理，得到基准图像；将基准图像和至少两帧长焦图像进行融合处理，得到第二目标图像；其中，长焦图像的数量为4帧，4帧长焦图像分别自基准图像的视场区域的其中一个边角位置向中间位置延伸。

在一个实施例中，提供的图像采集装置还包括曝光时间确定模块608，曝光时间确定模块608用于分析每一个曝光时间对应的图像组合中包含的图像的清晰度；将清晰度最高的图像对应的曝光时间作为所述目标曝光时间。

上述图像采集装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像采集装置按照需要划分为不同的模块，以完成上述图像采集装置的全部或部分功能。

图7为一个实施例中电子设备的内部结构示意图。如图7所示，该电子设备包括至少两个广角摄像头和至少两个长焦摄像头，每一个所述长焦摄像头与至少一个所述广角摄像头存在重叠的视场区域。电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种图像采集方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。

本申请实施例中提供的图像采集装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图8为一个实施例中图像处理电路的示意图。如图8所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图8所示，图像处理电路包括第一ISP处理器830、第二ISP处理器840和控制逻辑器850。广角摄像头810包括一个或多个第一透镜812和第一图像传感器814。第一图像传感器814可包括色彩滤镜阵列(如Bayer滤镜)，第一图像传感器814可获取用第一图像传感器814的每个成像像素捕捉的光强度和波长信息，并提供可由第一ISP处理器830处理的一组图像数据。长焦摄像头820包括一个或多个第二透镜822和第二图像传感器824。第二图像传感器824可包括色彩滤镜阵列(如Bayer滤镜)，第二图像传感器824可获取用第二图像传感器824的每个成像像素捕捉的光强度和波长信息，并提供可由第二ISP处理器840处理的一组图像数据。

广角摄像头810采集的第一图像传输给第一ISP处理器830进行处理，第一ISP处理器830处理第一图像后，可将第一图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器850，控制逻辑器850可根据统计数据确定广角摄像头810的控制参数，从而广角摄像头810可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过第一ISP处理器830进行处理后可存储至图像存储器860中，第一ISP处理器830也可以读取图像存储器860中存储的图像以对进行处理。另外，第一图像经过ISP处理器830进行处理后可直接发送至显示器870进行显示，显示器870也可以读取图像存储器860中的图像以进行显示。

其中，第一ISP处理器830按多种格式逐个像素地处理图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，第一ISP处理器830可对图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

图像存储器860可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自第一图像传感器814接口时，第一ISP处理器830可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器860，以便在被显示之前进行另外的处理。第一ISP处理器830从图像存储器860接收处理数据，并对所述处理数据进行RGB和YCbCr颜色空间中的图像数据处理。第一ISP处理器830处理后的图像数据可输出给显示器870，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，第一ISP处理器830的输出还可发送给图像存储器860，且显示器870可从图像存储器860读取图像数据。在一个实施例中，图像存储器860可被配置为实现一个或多个帧缓冲器。

第一ISP处理器830确定的统计数据可发送给控制逻辑器850。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、第一透镜812阴影校正等第一图像传感器814统计信息。控制逻辑器850可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定广角摄像头810的控制参数及第一ISP处理器830的控制参数。例如，广角摄像头810的控制参数可包括增益、曝光控制的积分时间、防抖参数、闪光控制参数、第一透镜812控制参数(例如聚焦或变焦用焦距)、或这些参数的组合等。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及第一透镜812阴影校正参数。

同样地，长焦摄像头820采集的第二图像传输给第二ISP处理器840进行处理，第二ISP处理器840处理第一图像后，可将第二图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器850，控制逻辑器850可根据统计数据确定长焦摄像头820的控制参数，从而长焦摄像头820可根据控制参数进行自动对焦、自动曝光等操作。第二图像经过第二ISP处理器840进行处理后可存储至图像存储器860中，第二ISP处理器840也可以读取图像存储器860中存储的图像以对进行处理。另外，第二图像经过ISP处理器840进行处理后可直接发送至显示器870进行显示，显示器870也可以读取图像存储器860中的图像以进行显示。长焦摄像头820和第二ISP处理器840也可以实现如广角摄像头810和第一ISP处理器830所描述的处理过程。

在本申请提供的实施例中，电子设备可以包括至少两个广角摄像头810和至少两个长焦摄像头820。电子设备可以控制每一个广角摄像头810以至少两个不同的曝光时间进行拍摄，得到每一个曝光时间对应的图像组合；并控制至少两个长焦摄像头820以目标曝光时间进行拍摄，得到至少两帧子图像。可选地，电子设备控制广角摄像头810和长焦摄像头820分别采集得到至少两个图像组合和至少两帧子图像之后，可以由第一ISP处理器230至少两组图像组合中包含的图像与至少两帧子图像进行融合处理，也可以由第二ISP处理器240将至少两组图像组合中包含的图像与至少两帧子图像进行融合处理；在一些实施例中，还可以由电子设备的处理器将至少两组图像组合中包含的图像与至少两帧子图像进行融合处理等，在此不做限定。根据本申请实施例提供的图像处理电路可以实现上述图像采集方法。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行图像采集方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像采集方法。

本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种图像采集方法，应用于电子设备，其特征在于，所述电子设备包含至少两个广角摄像头和至少两个长焦摄像头，每一个所述长焦摄像头与至少一个所述广角摄像头存在重叠的视场区域；所述方法包括：

控制每一个所述广角摄像头以至少两个不同的曝光时间进行拍摄，得到与每一个所述曝光时间对应的图像组合，其中，每一组所述图像组合包含至少两个所述广角摄像头中每一个所述广角摄像头拍摄的图像；

控制每一个所述长焦摄像头以目标曝光时间进行拍摄，得到至少两帧子图像；

将至少两个所述曝光时间对应的至少两组所述图像组合中包含的图像与至少两帧子图像进行融合，得到第一目标图像。

2.根据权利要求1所述的方法，其特征在于，所述将至少两个所述曝光时间对应的至少两组所述图像组合中包含的图像与至少两帧子图像进行融合，得到第一目标图像，包括：

将每一个所述曝光时间对应的一组所述图像组合包含的至少两帧图像进行融合处理，得到每一个所述曝光时间对应的预处理图像；

将每一个所述曝光时间对应的预处理图像与至少两帧子图像进行融合处理，得到所述第一目标图像。

3.根据权利要求1所述的方法，其特征在于，所述电子设备包含两个广角摄像头，分别是第一摄像头和第二摄像头；每一组所述图像组合包含所述第一摄像头拍摄的第一图像和所述第二摄像头拍摄的第二图像，其中，所述第一图像和所述第二图像存在重叠的视场区域。

4.根据权利要求3所述的方法，其特征在于，所述将至少两个所述曝光时间对应的至少两组所述图像组合中包含的图像与至少两帧子图像进行融合，得到第一目标图像之前，还包括：

获取所述第一摄像头和第二摄像头之间的双目标定参数；

根据所述双目标定参数对每一组所述图像组合中包含的所述第一图像和第二图像进行校正处理。

5.根据权利要求1所述的方法，其特征在于，所述控制每一个所述广角摄像头以至少两个不同的曝光时间进行拍摄，得到与每一个所述曝光时间对应的图像组合之前，还包括：

获取环境光亮度和陀螺仪采集的角速度数据；

根据所述环境光亮度和所述角速度数据确定是否启动夜景拍摄模式；

当确定启动所述夜景拍摄模式时，则执行所述控制每一个所述广角摄像头以至少两个不同的曝光时间进行拍摄，得到与每一个所述曝光时间对应的图像组合的步骤。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

当确定不启动所述夜景拍摄模式时，同时控制至少两个所述广角摄像头和至少两个所述长焦摄像头分别拍摄一帧图像，得到至少两帧广角图像和至少两帧长焦图像；

将至少两帧所述广角图像和至少两帧所述长焦图像进行融合处理，得到第二目标图像。

7.根据权利要求6所述的方法，其特征在于，所述将至少两帧所述广角图像和至少两帧所述长焦图像进行融合处理，得到第二目标图像，包括：

将至少两帧所述广角图像进行融合处理，得到基准图像；

将所述基准图像和至少两帧所述长焦图像进行融合处理，得到所述第二目标图像；

其中，所述长焦图像的数量为4帧，4帧所述长焦图像分别自所述基准图像的视场区域的其中一个边角位置向中间位置延伸。

8.根据权利要求1所述的方法，其特征在于，所述控制每一个所述长焦摄像头以目标曝光时间进行拍摄，得到至少两帧子图像之前，还包括：

分析每一个曝光时间对应的图像组合中包含的图像的清晰度；

将清晰度最高的图像对应的曝光时间作为所述目标曝光时间。

9.一种图像采集装置，其特征在于，包括：

第一采集模块，用于控制每一个所述广角摄像头以至少两个不同的曝光时间进行拍摄，得到与每一个所述曝光时间对应的图像组合，其中，每一组所述图像组合包含至少两个所述广角摄像头中每一个所述广角摄像头拍摄的图像；

第二采集模块，用于控制每一个所述长焦摄像头以目标曝光时间进行拍摄，得到至少两帧子图像，其中，每一个所述长焦摄像头与至少一个所述广角摄像头存在重叠的视场区域；

图像处理模块，用于将至少两个所述曝光时间对应的至少两组所述图像组合中包含的图像与至少两帧子图像进行融合，得到第一目标图像。

10.一种电子设备，包括至少两个广角摄像头和至少两个长焦摄像头、存储器及处理器；每一个所述长焦摄像头与至少一个所述广角摄像头存在重叠的视场区域；所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述的图像采集方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的方法的步骤。

Images