CN109963080A - 图像采集方法、装置、电子设备和计算机存储介质 - Google Patents

Abstract

本申请涉及一种图像采集方法、装置、电子设备、计算机存储介质及摄像头组件。上述图像采集方法包括：控制第一摄像头采集对应于第一色彩的第一图像，第二摄像头采集对应于第二色彩的第二图像，第三摄像头采集对应于第三色彩的第三图像；将第一图像、第二图像和第三图像进行对齐处理；将对齐后的第一图像、第二图像和第三图像进行融合处理，得到目标图像。由于可以通过三个摄像头分别采集不同色彩的三张图像，将三张图像融合得到目标图像，可以提高图像的质量。

Description

图像采集方法、装置、电子设备和计算机存储介质

技术领域

本申请涉及影像技术领域，特别是涉及一种图像采集方法、装置、电子设备、计算机可读存储介质及摄像头组件。

背景技术

随着影像技术的快速发展，通过摄像头采集图像的现象越来越普通。摄像头采集的图像可以反映被拍摄物体的色彩信息等。目前，摄像头主要采用包含拜耳阵列的传感器来获得彩色图像，采用该技术采集的初始图像中每个像素点对应一种颜色信息，需要通过插值算法计算得到最终的彩色图像。

然而，传统的图像采集方法中存在采集的图像质量较低的问题。

发明内容

本申请实施例提供一种图像采集方法、装置、电子设备和计算机可读存储介质，可以提高图像质量。

一种图像采集方法，应用于电子设备，所述电子设备包括第一摄像头、第二摄像头和第三摄像头，所述方法包括：

控制所述第一摄像头采集对应于第一色彩的第一图像，所述第二摄像头采集对应于第二色彩的第二图像，所述第三摄像头采集对应于第三色彩的第三图像；

将所述第一图像、第二图像和第三图像进行对齐处理；

将对齐后的所述第一图像、第二图像和第三图像进行融合处理，得到目标图像。

一种图像采集装置，应用于电子设备，所述电子设备包括第一摄像头、第二摄像头和第三摄像头，所述装置包括：

图像采集模块，用于控制所述第一摄像头采集对应于第一色彩的第一图像，所述第二摄像头采集对应于第二色彩的第二图像，所述第三摄像头采集对应于第三色彩的第三图像；

图像对齐模块，用于将所述第一图像、第二图像和第三图像进行对齐处理；

图像处理模块，用于将对齐后的所述第一图像、第二图像和第三图像进行融合处理，得到目标图像。

一种摄像头组件，所述摄像头组件包括第一摄像头、第二摄像头、第三摄像头和图像处理器；

所述第一摄像头包括第一色彩的第一滤光片；所述第一摄像头用于基于所述第一滤光片采集对应于所述第一色彩的第一图像；

所述第二摄像头包括第二色彩的第二滤光片；所述第二摄像头用于基于所述第二滤光片采集对应于所述第二色彩的第二图像；

所述第三摄像头包括第三色彩的第三滤光片；所述第三摄像头用于基于所述第三滤光片采集对应于所述第三色彩的第三图像；

所述图像处理器用于将所述第一图像、第二图像和第三图像进行对齐处理，将对齐后的所述第一图像、第二图像和第三图像进行融合处理，得到目标图像。

一种电子设备，包括第一摄像头、第二摄像头、第三摄像头、存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

控制所述第一摄像头采集对应于第一色彩的第一图像，所述第二摄像头采集对应于第二色彩的第二图像，所述第三摄像头采集对应于第三色彩的第三图像；

将所述第一图像、第二图像和第三图像进行对齐处理；

将对齐后的所述第一图像、第二图像和第三图像进行融合处理，得到目标图像。

一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如下步骤：

控制第一摄像头采集对应于第一色彩的第一图像，第二摄像头采集对应于第二色彩的第二图像，第三摄像头采集对应于第三色彩的第三图像；

将所述第一图像、第二图像和第三图像进行对齐处理；

将对齐后的所述第一图像、第二图像和第三图像进行融合处理，得到目标图像。

上述图像采集方法、装置、电子设备、计算机存储介质及摄像头组件，通过控制第一摄像头采集对应于第一色彩的第一图像，第二摄像头采集对应于第二色彩的第二图像，第三摄像头采集对应于第三色彩的第三图像；将第一图像、第二图像和第三图像进行对齐处理；将对齐后的第一图像、第二图像和第三图像进行融合处理，得到目标图像。由于可以通过三个摄像头分别采集不同色彩的三张图像，将三张图像融合得到目标图像，可以提高图像的质量。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中图像采集方法的应用环境示意图；

图2为一个实施例中图像采集方法的流程图；

图3为一个实施例中由第一图像、第二图像和第三图像融合得到的目标图像的示意图；

图4为一个实施例中对摄像头进行视差补偿的流程图；

图5为一个实施例中第一图像、第二图像和第三图像的示意图；

图6为另一个实施例中对摄像头进行视差补偿的流程图；

图7为一个实施例中对每一个摄像头做抖动补偿的流程图；

图8为一个实施例的图像采集装置的结构框图；

图9为一个实施例中电子设备的内部结构示意图；

图10为一个实施例中图像处理电路的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一摄像头称为第二摄像头，且类似地，可将第二摄像头称为第一摄像头。第一摄像头和第二摄像头两者都是摄像头，但其不是同一摄像头。

图1为一个实施例中图像采集方法的应用环境示意图。如图1所示，该应用环境包括电子设备110。电子设备110包括第一摄像头111、第二摄像头112和第三摄像头113。第一摄像头111、第二摄像头112和第三摄像头113的机械设置排列方式可以根据实际应用时的需求进行设定，在此不做限定。例如，可以如图1所示将第一摄像头111、第二摄像头112和第三摄像头113放置于正三角形的三个端点，当然可以放置于直角三角形的三个端点等，不限于此。电子设备110可以控制第一摄像头111采集对应于第一色彩的第一图像，第二摄像头112采集对应于第二色彩的第二图像，第三摄像头113采集对应于第三色彩的第三图像，将第一图像、第二图像和第三图像进行对齐处理，将对齐后的第一图像、第二图像和第三图像进行融合处理，得到目标图像。可以理解的是，上述电子设备110可以不限于是各种手机、电脑、可携带设备等。

图2为一个实施例中图像采集方法的流程图。如图2所示，图像采集方法包括步骤202至步骤206。

步骤202，控制第一摄像头采集对应于第一色彩的第一图像，第二摄像头采集对应于第二色彩的第二图像，第三摄像头采集对应于第三色彩的第三图像。

电子设备可以包含第一摄像头、第二摄像头和第三摄像头。各个摄像头可以是内置于电子设备的摄像头、也可以是外置于电子设备的摄像头。电子设备包含各个摄像头可以是前置摄像头、也可以是后置摄像头。通常，图像中各个像素点的颜色是基于RGB(Red、Green、Blue，红、绿、蓝)颜色模型来表示的，通过红、绿、蓝以不同的比例相加，可以产生多种不同的颜色。因此，第一色彩、第二色彩和第三色彩可对应的红色、绿色和蓝色三种色彩，具体地对应的关系不做限定。例如可以是第一色彩为红色、第二色彩为绿色、第三色彩为蓝色；可以是第一色彩为蓝色、第二色彩为红色、第三色彩为绿色，还可以是第一色彩为绿色、第二色彩为蓝色、第三色彩为红色等，不限于此。在一些实施例中，根据不同应用场景的需求，第一色彩、第二色彩和第三色彩也可以对应于其他色彩、例如绿色、紫色等。

具体地，第一摄像头包含有第一色彩的滤光片，通过该第一色彩的滤光片，第一摄像头可以感应被拍摄物体的第一色彩分量，采集到对应于第一色彩的第一图像；类似地，第二摄像头包含有第二色彩的滤光片，第三摄像头包含有第三色彩的滤光片；电子设备可以控制第一摄像头、第二摄像头和第三摄像头同时曝光，以使第一摄像头采集对应于第一色彩的第一图像，第二摄像头采集对应于第二色彩的第二摄像头，第三摄像头采集对应于第三色彩的第三图像。

步骤204，将第一图像、第二图像和第三图像进行对齐处理。

对图像进行对齐处理即通过旋转、平移等方式将至少两张图像中的相同特征点匹配到图像对应位置的操作。第一摄像头、第二摄像头和第三摄像头在电子设备上的分布位置不同，因而第一摄像头、第二摄像头和第三摄像头对应的视场存在一定的偏移。电子设备可以将第一图像、第二图像和第三图像进行对齐处理。电子设备可以在摄像头出厂之前进行标定处理，以得到不同摄像头之间的标定参数，以将第一图像和第二图像对齐为例，电子设备可以在摄像头出厂之前对第一摄像头和第二摄像头进行双目标定处理，获得第一摄像头和第二摄像头的双目标定参数，从而电子设备可以根据该双目标定参数对第一图像和第二图像进行对齐处理，以使处理后的第一图像和第二图像中的相同特征点在图像中的位置相对应。

步骤206，将对齐后的第一图像、第二图像和第三图像进行融合处理，得到目标图像。

融合处理是指将多张图像按照一定规则生成最终的图像的操作。电子设备可以将对齐后的第一图像、第二图像和第三图像进行融合处理，得到目标图像。具体地，对齐后的第一图像、第二图像和第三图像的像素点一一对应，电子设备可以基于对齐后的第一图像、第二图像和第三图像中获取每一个像素点的第一色彩分量、第二色彩分量和第三色彩分量，进而得到每个像素点由三个色彩分量构成的目标图像。可选地，电子设备还可以将不同色彩分量根据实际应用需求进行放大或减小。

本申请提供的实施例，通过控制第一摄像头采集对应于第一色彩的第一图像、第二摄像头采集对应于第二色彩的第二图像、第三摄像头采集对应于第三色彩的第三图像，将第一图像、第二图像和第三图像对齐处理，将对齐后的第一图像、第二图像和第三图像进行融合处理，得到目标图像。由于可以通过三个摄像头分别采集不同色彩的三张图像，将三张图像融合得到目标图像，可以避免不同像素点之间产生彩色干扰信息、或者引入噪声导致图像色彩还原不准确、图像质量较差的问题，可以提高图像的质量。

图3为一个实施例中由第一图像、第二图像和第三图像融合得到的目标图像的示意图。以第一色彩为红色、第二色彩为绿色、第三色彩为蓝色为例，如图3所示，第一图像312、第二图像314和第三图像316为电子设备对齐处理后的图像。其中，第一图像312为对应于红色的图像，像素点的R值即表示被拍摄物体的在该像素点的红色分量；第二图像314为对应于绿色的图像，像素点的G值即表示被拍摄物体在该像素点的绿色分量；第三图像316为对应于蓝色的图像，像素点的B值及表示被拍摄物体在该像素点的蓝色分量。电子设备可以将第一图像312、第二图像314和第三图像316进行融合处理，得到目标图像310。目标图像310的每一个像素点都由R、G、B三个分量构成。

图4为一个实施例中对摄像头进行视差补偿的流程图。如图4所示，在一个实施例中，提供的图像采集方法中控制第一摄像头采集对应于第一色彩的第一图像，第二摄像头采集对应于第二色彩的第二图像，第三摄像头采集对应于第三色彩的第三图像之前，还包括：

步骤402，获取第一摄像头、第二摄像头和第三摄像头中每两个摄像头的镜头之间的初始距离。

电子设备可以获取第一摄像头、第二摄像头和第三摄像头中每两个摄像头的镜头之间的初始距离。具体地，电子设备可以以镜头的任意位置作为参考点来获取镜头之间的初始距离，以镜头的中心点作为参考点为例，电子设备可以将第一摄像头和第二摄像头中镜头的中心点之间的距离确定为第一摄像头和第二摄像头的镜头之间的初始距离。

步骤404，基于每两个镜头之间的距离信息确定每一个摄像头对应的视差补偿数据，其中，视差补偿数据用于减少每两个镜头之间的视差。

视差补偿数据用于减少每两个镜头之间的视差。视差是指由于第一摄像头、第二摄像头和第三摄像头在电子设备上的分布位置不同，而导致第一摄像头、第二摄像头和第三摄像头对应的视场存在的偏移。通常，不同摄像头之间的距离越小，则对应的视差越小。电子设备可以通过调整每两个摄像头中镜头的位置以减少摄像头之间的视差。视差补偿数据包含了摄像头的镜头在至少一个方向的视差补偿量

电子设备基于每两个摄像头之间的距离信息确定每一个摄像头对应的视差补偿数据，由于不同摄像头的摆放位置是相对确定，则不同摄像头中镜头之间的最小距离也是确定的，电子设备可以基于不同镜头之间的最小距离与初始距离得到视差补偿数据。具体地，电子设备中包含有三个摄像头、受每两个摄像头的牵制，电子设备可以通过最优解算法的方式计算每一个摄像头对应的视差补偿数据，以使根据视差补偿数据驱动每一个镜头移动之后摄像头采集图像的重叠区域的面积最大。例如，第一摄像头和第二摄像头的镜头之间的最小距离为3mm，在理想条件下，若电子设备获取第一摄像头和第二摄像头的镜头之间的初始距离为3.04mm，则电子设备可以根据初始距离和最小距离计算第一摄像头和第二摄像头分别对应的视差补偿数据包含的补偿量的和即为最小距离和初始距离的差值即0.04mm。

步骤406，根据每一个摄像头对应的视差补偿数据驱动对应的镜头移动。

摄像头中包含有马达，电子设备可以基于每一个摄像头对应的视差补偿数据控制对应的马达上电，以使马达驱动对应的镜头移动。

图5为一个实施例中第一图像、第二图像和第三图像的示意图。如图5所示，由于第一摄像头、第二摄像头和第三摄像头在电子设备的摆放位置不同，则分别采集的第一图像510、第二图像520和第三图像530中的被拍摄物体存在差异。摄像头之间的距离越大，则图像之间的差异也越大。例如，第一图像510和第二图像520之间的差异大于第一图像510和第三图像530之间的差异，则说明在拍摄过程中，第一摄像头与第二摄像头中镜头之间的距离大于第一摄像头和第三摄像头中镜头之间的距离。通过电子设备计算每一个摄像头对应的视差补偿数据以驱动对应的镜头的移动，可以减少摄像头之间的视差，从而增大第一图像510、第二图像520和第三图像530的重叠区域的面积，可以增加图像像素，提高目标图像的分辨率。

图6为另一个实施例中对摄像头进行视差补偿的流程图。如图6所示，在一个实施例中，提供的图像采集方法中控制第一摄像头采集对应于第一色彩的第一图像，第二摄像头采集对应于第二色彩的第二图像，第三摄像头采集对应于第三色彩的第三图像之前，还包括：

步骤602，通过深度摄像头采集与所述第一图像对应的深度图像。

电子设备还可以包括深度摄像头，深度摄像头可以不限于是结构光摄像头、TOF(Time of flight，飞行时间)摄像头等。电子设备可以通过深度摄像头采集与第一图像对应的深度图像，则深度图像包含了第一图像中被拍摄物体对应的深度信息。

步骤604，基于所述深度图像包含的目标深度信息确定每一个所述摄像头对应的视差补偿数据。

深度信息是指被拍摄物体与摄像头之间的距离信息。电子设备可以根据深度图像包含的深度信息确定第一图像中被拍摄物体的目标深度信息。具体地，电子设备可以将深度图像包含的深度信息的平均值作为该目标深度信息，也可以将深度图像中预设区域中包含的深度信息的平均值作为该目标深度信息等。在摄像头及其镜头的位置固定的情况下，被拍摄物体的距离越远，则摄像头之间的视场差异越小，距离越近，则摄像头之间的视场差异越大。电子设备可以基于深度图像包含的目标深度信息确定每一个摄像头对应的视差补偿数据。具体地，电子设备可以在出厂之前，对每一个摄像头进行标定处理，确定每两个摄像头在不同的深度信息下对应的视差补偿数据，从而当电子设备通过深度图像采集到与第一图像对应的深度图像，可以根据深度图像包含的目标深度信息获取对应的视差补偿数据。

可选地，当目标深度信息大于或等于深度信息阈值时，电子设备以第一视差补偿值作为视差补偿数据；当目标深度信息小于深度信息阈值时，以第二视差补偿值作为视差补偿数据；其中，第二视差补偿值大于第一视差补偿值。

深度信息阈值是电子设备在对摄像头进行标定处理时确定，具体的深度信息阈值可以根据标定时的每两个摄像头之间的视差来确定，在此不做限定。具体地，电子设备在对摄像头进行标定处理时，可以将被拍摄物体的深度信息划分为至少两个区间，则深度信息阈值可以是相邻两个区间的临界值。第一视差补偿值和第二视差补偿值可以基于摄像头中镜头所在移动的最大距离及实际应用需求来确定，在此不做限定。第二视差补偿值大于第一视差补偿值。例如，当第二视差补偿值为0.05mm时，第一视差补偿值可以是0.04mm、0.035mm、0.02mm等，不限于此。

电子设备当目标深度信息大于或等于深度信息阈值时，以第一视差补偿值作为视差补偿数据，当目标深度信息小于深度信息阈值时，以第二视差补偿值作为视差补偿数据，即在被拍摄物体与摄像头之间的距离较大时，采用较小的视差补偿量，在被拍摄物体与摄像头之间的距离较小时，采用较大的视差补偿量，可以提高视差补偿的准确性。

在一个实施例中，电子设备可以对深度图像进行目标检测，得到深度图像中包含的目标物体；获取深度图像中目标物体所在的目标区域；将目标区域包含的所有像素点的深度信息的平均值作为目标深度信息。

摄像头采集的图像通常包含有1个或多个被拍摄物体。例如，图像包含的被拍摄物体可以是人像、植物、动物、建筑等物体。电子设备可以通过特征匹配、目标检测算法等对第一图像进行目标检测，得到第一图像中包含的目标物体。电子设备对第一图像进行目标检测后可以输出第一图像包含的目标物体及目标物体所在的目标区域。可选地，第一图像中包含的目标物体可以是一个或多个，目标物体对应的目标区域也可以是一个或多个。例如，当第一图像中包含人像和猫两个目标物体时，则电子设备可以获取猫所对应的目标区域，及人像对应的目标区域。可选地，电子设备可以获取面积最大的目标区域等。电子设备通过获取第一图像中目标物体所在的目标区域，将目标区域包含的所有像素点的深度信息的平均值作为目标深度信息，可以提高目标深度信息的可信度。

步骤606，基于每一个摄像头对应的视差补偿数据驱动对应的镜头移动。

电子设备可以基于每一个摄像头对应的视差补偿数据驱动对应的镜头移动。具体地，电子设备还可以通过霍尔传感器获取镜头的位置信息，根据镜头的位置信息和视差补偿数据可以确定镜头的移动方向和移动距离，从而可以控制马达上电驱动镜头的移动。例如，当镜头的位置信息为(2,4)时，若视差补偿数据为(-2,4)，则镜头的移动方向为X轴的负方向，移动距离为4个单位长度。

通过深度摄像头采集第一图像对应的深度图像，基于深度信息对应的目标深度信息确定每一个摄像头对应的视差补偿数据，以驱动镜头移动，从而减小摄像头之间的视差，可以提高视差补偿的准确性。

图7为一个实施例中对每一个摄像头做抖动补偿的流程图。如图5所示，在一个实施例中，提供的图像采集方法还包括：

步骤702，通过陀螺仪检测电子设备的角速度数据。

陀螺仪可以是任意可以检测角速度的角运动检测装置。在摄像头拍摄图像的过程即图像的曝光时间内，如果摄像头的镜头产生抖动或者移动则会影响成像的清晰度，使得采集的图像产生模糊。陀螺仪可以检测电子设备是否发生抖动，并在电子设备发生抖动时获取电子设备的角速度数据。

步骤704，基于角速度数据计算每一个摄像头对应的抖动补偿数据。

电子设备根据预存的抖动补偿算法，对陀螺仪采集的角速度数据进行计算。不同摄像头可以采用的抖动补偿算法可以相同，也可以根据实际应用需求有所差异。抖动补偿数据包含了摄像头的镜头在至少一个方向的补偿量。具体地，抖动补偿数据可以根据镜头所在平面的任意一点的位置确定。例如，若在电子设备静止时镜头的光心的位置为第一位置，第二位置为马达驱动镜头移动后镜头的光心的位置，即抖动补偿数据中包含了第一位置与第二位置之间的矢量距离。可选地，电子设备也可以在根据视差补偿数据驱动镜头移动之后，根据移动后的镜头的位值来确定抖动补偿数据。

步骤706，获取每一个摄像头中镜头的位置信息。

镜头的位置信息是指镜头在摄像头中的位置。根据镜头的位置信息可以确定镜头相对于初始位置的偏移量。其中，初始位置为摄像头于静止状态时镜头的位置。电子设备可以通过霍尔传感器镜头的位置信息。具体地，可以对镜头所在的平面建立坐标系，如以初始位置的中心为原点建立坐标系，从而根据霍尔传感器输出的霍尔值确定镜头于坐标系中的坐标，即可以确定镜头的位置信息。其中，镜头所在的平面一般是指镜头所在的，平行于镜头对应的图像传感器的平面。

步骤708，根据每一个摄像头对应的抖动补偿数据与镜头的位置信息驱动镜头的移动。

电子设备可以根据每一个摄像头对应的抖动补偿数据与镜头的位置信息驱动镜头的移动，镜头移动的方向与防抖的方向相反，以消除因抖动引起的镜头偏移。抖动补偿数据为镜头在不同方向的抖动补偿量，则电子设备可以根据位置信息和抖动补偿数据确定镜头的需求偏移量，需求偏移量即为镜头为了减少抖动引起的偏差而需要移动的距离。镜头偏移数据级在微米级别。可选地，位置信息也可以通过位置矢量来进行表示，即位置信息包含了镜头相对于初始位置的偏移方向和偏移量。类似地，抖动补偿数据和需求偏移量也可以通过矢量来表示。可选地，电子设备可以通过同步信号实现三个摄像头的同步抖动补偿，可以保证每一个摄像头采集的图像与电子设备偏移前的图像一致。

通过在图像采集过程中检测电子设备的角速度数据，基于角速度数据计算每一个摄像头对应的抖动补偿数据，获取每一个摄像头中镜头的位置信息，根据每一个摄像头对应的抖动补偿数据与镜头的位置信息驱动对应镜头的移动，可以避免因电子设备抖动而导致采集的图像模糊、后续对齐不准确的问题，提高图像的清晰度和图像对齐的准确性。

在一个实施例中，电子设备将第一图像、第二图像和第三图像进行对齐处理的过程包括：获取第一摄像头与第二摄像头之间的第一标定参数；根据第一标定参数对第一图像和第二图像进行对齐处理；获取第一摄像头与第三摄像头之间的第二标定参数；根据第二标定参数对第一图像和第三图像进行对齐处理。

第一标定参数是对第一摄像头和第二摄像头进行标定处理得到的摄像头参数。标定处理是指对摄像头成像的几何模型中的参数进行求解的操作，通过摄像头成像的几何模型可以使拍摄的图像还原空间中的物体。第一标定参数包括第一摄像头和第二摄像头之间的外参，即为用于将第一图像和第二图像对齐的旋转矩阵和平移矩阵。

电子设备根据第一标定参数对第一图像和第二图像进行对齐处理，具体地，电子设备可以先根据第一摄像头的单目标定参数对第一图像进行校正处理，及根据第二摄像头的单目标定参数对第二图像进行校正处理，再根据第一标定参数中包含的旋转矩阵和平移矩阵对校正处理后的第一图像和第二图像作对齐处理，处理后的第一图像和第二图像中的相同特征点在图像中的位置相对应。可以理解的是，对齐后的第一图像和第二图像中包含的被拍摄物体相同，即对齐后的第一图像和第二图像不包括第一摄像头和第二摄像头之间的由于视场偏移而导致采集的原始图像存在差异的部分。

第二标定参数是对第一摄像头和第三摄像头进行标定处理得到的摄像头参数。第二标定参数包括第一摄像头和第三摄像头之间的外参，即为用于将第一图像和第三图像对齐的旋转矩阵和平移矩阵。电子设备根据第二标定参数对第一图像和第三图像进行对齐处理的过程与对第一图像和第二图像进行对齐处理类似，在此不再赘述。

通过根据第一标定参数对第一图像和第二图像进行对齐处理，及根据第二标定参数对第一图像和第三图像进行对齐处理，则得到的对齐后的第一图像、第二图像、第三图像中包含的相同特征点在图像中位置相对应，从而电子设备将对齐后的第一图像、第二图像和第三图像融合处理时，可以准确的获取目标图像的像素点在三张图像中分别对应的色彩分量，确保目标图像的色彩准确性，提高了图像的质量。

可选地，电子设备还可以获取每一个镜头移动后，每两个镜头之间的目标距离；根据第一摄像头与第二摄像头中镜头之间的目标距离获取对应的第一标定参数，及根据第一摄像头与第三摄像头中镜头之间的目标距离获取对应的第二标定参数；基于第一标定参数和第二标定参数将第一图像、第二图像和第三图像进行对齐处理。

具体地，电子设备预存有第一摄像头和第二摄像头在不同距离对应的外参，电子设备可以在根据视差补偿数据驱动镜头移动之后，获取第一摄像头和第二摄像头中镜头之间的目标距离，根据该目标距离获取对应的外参作为该第一标定参数。电子设备预存的不同距离的外参是电子设备出厂之间，通过第一摄像头和第二摄像头采集不同深度信息的深度图像，根据不同的深度信息的深度信息进行标定处理得到的。类似地，电子设备可以获取第一摄像头和第二摄像头中镜头之间的目标距离，根据该目标距离获取对应的外参作为该第一标定参数。电子设备基于第一标定参数和第二标定参数将第一图像、第二图像和第三图像进行对齐处理，具体地，电子设备可以根据第一标定参数对第一图像和第二图像进行对齐处理，及根据第二标定参数对第一图像和第三图像进行对齐处理。

通过获取每两个摄像头中镜头之间的目标距离，根据目标距离获取对应的标定参数对图像进行对齐处理，可以提高标定参数的准确性，进一步提高图像对齐的准确性。

在一个实施例中，电子设备还可以包括第四摄像头，电子设备控制第一摄像头采集第一图像的同时还可以控制第四摄像头采集对应于第四色彩的第四图像；该方法中将对齐后的第一图像、第二图像和第三图像进行融合处理，得到目标图像的过程可以包括：将第四图像与对齐后的第一图像进行对齐处理；将对齐后的第一图像、第二图像、第三图像和第四图像进行融合处理，得到目标图像。

第四摄像头可以包括对应于第四色彩的滤光片，从而通过第四摄像头可以采集对应于第四色彩的第四图像。其中，第一色彩、第二色彩和第三色彩可对应的红色、绿色和蓝色三种色彩时，第四色彩可以是绿色色彩。电子设备可以在控制控制第一摄像头采集对应于第一色彩的第一图像，第二摄像头采集对应于第二色彩的第二图像，第三摄像头采集对应于第三色彩的第三图像的同时控制第四摄像头采集对应于第四色彩的第四图像，进而将第一图像、第二图像、第三图像和第四图像进行对齐处理，并将对齐后的第一图像、第二图像、第三图像和第四图像进行融合处理，得到目标图像。由于人眼对绿色色彩较为敏感，通过增加一个对应于第四色彩的第四摄像头，使得采集图像包含的色彩信息更加准确，可以提高图像的质量。其中，电子设备包含的四个摄像头的摆放方式可以根据应用需求设定，在此不做限定。例如，可以分别放置于棱形的四个端点、也可以放置于长方形的四个端点等。

应该理解的是，虽然图3、4、6、7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图3、4、6、7中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图8为一个实施例的图像采集装置的结构框图。如图8所示，该图像采集装置包括图像采集模块802、图像对齐模块804和图像处理模块806，其中：

图像采集模块802，用于控制第一摄像头采集对应于第一色彩的第一图像，第二摄像头采集对应于第二色彩的第二图像，第三摄像头采集对应于第三色彩的第三图像；

图像对齐模块804，用于将第一图像、第二图像和第三图像进行对齐处理；

图像处理模块806，用于将对齐后的第一图像、第二图像和第三图像进行融合处理，得到目标图像。

本申请实施例提供的图像采集装置，用于控制第一摄像头采集对应于第一色彩的第一图像，第二摄像头采集对应于第二色彩的第二图像，第三摄像头采集对应于第三色彩的第三图像；将第一图像、第二图像和第三图像进行对齐处理；将对齐后的第一图像、第二图像和第三图像进行融合处理，得到目标图像。由于可以通过三个摄像头分别采集不同色彩的三张图像，将三张图像融合得到目标图像，可以提高图像的质量。

在一个实施例中，该图像采集装置还包括视差补偿模块808，视差补偿模块808用于获取第一摄像头、第二摄像头和第三摄像头中每两个摄像头的镜头之间的初始距离；基于每两个镜头之间的初始距离确定每一个摄像头对应的视差补偿数据，其中，视差补偿数据用于减少每两个镜头之间的视差；根据每一个摄像头对应的视差补偿数据驱动对应的镜头移动。

在一个实施例中，视差补偿模块808还可以用于通过深度摄像头采集与第一图像对应的深度图像；基于深度图像包含的目标深度信息确定每一个摄像头对应的视差补偿数据；基于每一个摄像头对应的视差补偿数据驱动对应的镜头移动。

在一个实施例中，视差补偿模块808还可以用于当目标深度信息大于或等于深度信息阈值时，以第一视差补偿值作为视差补偿数据；当目标深度信息小于深度信息阈值时，以第二视差补偿值作为视差补偿数据；其中，第二视差补偿值大于第一视差补偿值。

在一个实施例中，该图像采集装置还包括深度信息确定模块810，深度信息确定模块810用于对深度图像进行目标检测，得到深度图像中包含的目标物体；获取深度图像中目标物体所在的目标区域；将目标区域包含的所有像素点的深度信息的平均值作为目标深度信息。

在一个实施例中，图像对齐模块804还可以用于获取每一个镜头移动后的每两个镜头之间的目标距离；根据第一摄像头与第二摄像头中镜头之间的目标距离获取对应的第一标定参数，及根据第一摄像头与第三摄像头中镜头之间的目标距离获取对应的第二标定参数；基于第一标定参数和第二标定参数将第一图像、第二图像和第三图像进行对齐处理。

在一个实施例中，图像对齐模块804还可以用于获取第一摄像头与第二摄像头之间的第一标定参数；根据第一标定参数对第一图像和第二图像进行对齐处理；获取第一摄像头与第三摄像头之间的第二标定参数；根据第二标定参数对第一图像和第三图像进行对齐处理。

在一个实施例中，该图像采集装置还包括抖动补偿模块812，抖动补偿模块812用于通过陀螺仪检测电子设备的角速度数据；基于角速度数据计算每一个摄像头对应的抖动补偿数据；获取每一个摄像头中镜头的位置信息；根据每一个摄像头对应的抖动补偿数据与镜头的位置信息驱动镜头的移动。

上述图像采集装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像采集装置按照需要划分为不同的模块，以完成上述图像采集装置的全部或部分功能。

图9为一个实施例中电子设备的内部结构示意图。电子设备包括第一摄像头、第二摄像头和第三摄像头。如图9所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种图像采集方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。

本申请实施例中提供的图像采集装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供一种摄像头组件，该摄像头组件包括第一摄像头、第二摄像头、第三摄像头和图像处理器，第一摄像头包括第一色彩的第一滤光片，第二摄像头包括第二色彩的第二滤光片，第三摄像头包括第三色彩的第三滤光片，图像处理器分别与第一摄像头、第二摄像头、第三摄像头连接。第一摄像头用于基于第一滤光片采集对应于第一色彩的第一图像，并将第一图像发送给图像处理器；第二摄像头用于基于第二滤光片采集对应于第二色彩的第二图像，并将第二图像发送给图像处理器；第三摄像头用于基于第三滤光片采集对应于第三色彩的第三图像，并将第三图像发送给图像处理器；图像处理器用于将第一图像、第二图像和第三图像进行对齐处理，将对齐后的第一图像、第二图像和第三图像进行融合处理，得到目标图像。

该摄像头组件中图像处理器还可以用于实现上述图像采集方法的步骤。

本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图10为一个实施例中图像处理电路的示意图。如图10所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图10所示，图像处理电路包括ISP处理器1040和控制逻辑器1050。成像设备1010捕捉的图像数据首先由ISP处理器1040处理，ISP处理器1040对图像数据进行分析以捕捉可用于确定和/或成像设备1010的一个或多个控制参数的图像统计信息。成像设备1010可包括具有一个或多个透镜1012和图像传感器1014的照相机。图像传感器1014可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器1014可获取用图像传感器1014的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器1040处理的一组原始图像数据。传感器1020(如陀螺仪)可基于传感器1020接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器1040。传感器1020接口可以利用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外，图像传感器1014也可将原始图像数据发送给传感器1020，传感器1020可基于传感器1020接口类型把原始图像数据提供给ISP处理器1040，或者传感器1020将原始图像数据存储到图像存储器1030中。

ISP处理器1040按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器1040可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器1040还可从图像存储器1030接收图像数据。例如，传感器1020接口将原始图像数据发送给图像存储器1030，图像存储器1030中的原始图像数据再提供给ISP处理器1040以供处理。图像存储器1030可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器1014接口或来自传感器1020接口或来自图像存储器1030的原始图像数据时，ISP处理器1040可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器1030，以便在被显示之前进行另外的处理。ISP处理器1040从图像存储器1030接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器1040处理后的图像数据可输出给显示器1070，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器1040的输出还可发送给图像存储器1030，且显示器1070可从图像存储器1030读取图像数据。在一个实施例中，图像存储器1030可被配置为实现一个或多个帧缓冲器。此外，ISP处理器1040的输出可发送给编码器/解码器1060，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器1070设备上之前解压缩。编码器/解码器1060可由CPU或GPU或协处理器实现。

ISP处理器1040确定的统计数据可发送给控制逻辑器1050单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜1012阴影校正等图像传感器1014统计信息。控制逻辑器1050可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备1010的控制参数及ISP处理器1040的控制参数。例如，成像设备1010的控制参数可包括传感器1020控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜1012控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜1012阴影校正参数。

运用图10中的图像处理技术可以实现上述图像采集方法。其中，该图像处理电路可以包含有至少三个成像设备。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行图像采集方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像采集方法。

本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种图像采集方法，应用于电子设备，所述电子设备包括第一摄像头、第二摄像头和第三摄像头，其特征在于，所述方法包括：

控制所述第一摄像头采集对应于第一色彩的第一图像，所述第二摄像头采集对应于第二色彩的第二图像，所述第三摄像头采集对应于第三色彩的第三图像；

将所述第一图像、第二图像和第三图像进行对齐处理；

将对齐后的所述第一图像、第二图像和第三图像进行融合处理，得到目标图像。

2.根据权利要求1所述的方法，其特征在于，所述控制所述第一摄像头采集对应于第一色彩的第一图像，所述第二摄像头采集对应于第二色彩的第二图像，所述第三摄像头采集对应于第三色彩的第三图像之前，还包括：

获取所述第一摄像头、第二摄像头和第三摄像头中每两个摄像头的镜头之间的初始距离；

基于每两个所述镜头之间的初始距离确定每一个所述摄像头对应的视差补偿数据，其中，所述视差补偿数据用于减少每两个所述镜头之间的视差；

根据每一个所述摄像头对应的视差补偿数据驱动对应的所述镜头移动。

3.根据权利要求1所述的方法，其特征在于，所述控制所述第一摄像头采集对应于第一色彩的第一图像，所述第二摄像头采集对应于第二色彩的第二图像，所述第三摄像头采集对应于第三色彩的第三图像之前，还包括：

通过深度摄像头采集与所述第一图像对应的深度图像；

基于所述深度图像包含的目标深度信息确定每一个所述摄像头对应的视差补偿数据；

基于每一个所述摄像头对应的视差补偿数据驱动对应的所述镜头移动。

4.根据权利要求3所述的方法，其特征在于，所述基于所述深度图像包含的目标深度信息确定每一个所述摄像头对应的视差补偿数据之前，还包括：

对所述深度图像进行目标检测，得到所述深度图像中包含的目标物体；

获取所述深度图像中所述目标物体所在的目标区域；

将所述目标区域包含的所有像素点的深度信息的平均值作为所述目标深度信息。

5.根据权利要求3所述的方法，其特征在于，所述基于所述深度图像包含的目标深度信息确定每一个所述摄像头对应的视差补偿数据，包括：

当所述目标深度信息大于或等于深度信息阈值时，以第一视差补偿值作为所述视差补偿数据；

当所述目标深度信息小于所述深度信息阈值时，以第二视差补偿值作为所述视差补偿数据；

其中，所述第二视差补偿值大于所述第一视差补偿值。

6.根据权利要求2至5中任一项所述的方法，其特征在于，所述将所述第一图像、第二图像和第三图像进行对齐处理，包括：

获取每一个所述镜头移动后，每两个所述镜头之间的目标距离；

根据所述第一摄像头与所述第二摄像头中镜头之间的目标距离获取对应的第一标定参数，及根据所述第一摄像头与所述第三摄像头中镜头之间的目标距离获取对应的第二标定参数；

基于所述第一标定参数和第二标定参数将所述第一图像、第二图像和第三图像进行对齐处理。

7.根据权利要求1所述的方法，其特征在于，所述将所述第一图像、第二图像和第三图像进行对齐处理，包括：

获取所述第一摄像头与第二摄像头之间的第一标定参数；

根据所述第一标定参数对所述第一图像和第二图像进行对齐处理；

获取所述第一摄像头与第三摄像头之间的第二标定参数；

根据所述第二标定参数对所述第一图像和第三图像进行对齐处理。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过陀螺仪检测所述电子设备的角速度数据；

基于所述角速度数据计算每一个摄像头对应的抖动补偿数据；

获取每一个所述摄像头中镜头的位置信息；

根据每一个所述摄像头对应的抖动补偿数据与所述镜头的位置信息驱动所述镜头的移动。

9.根据权利要求1所述的方法，其特征在于，所述电子设备还包括第四摄像头，所述方法还包括：

控制所述第四摄像头采集对应于第四色彩的第四图像；

所述将对齐后的所述第一图像、第二图像和第三图像进行融合处理，得到目标图像，包括：

将所述第四图像与对齐后的所述第一图像进行对齐处理；

将对齐后的所述第一图像、第二图像、第三图像和第四图像进行融合处理，得到目标图像。

10.一种图像采集装置，应用于电子设备，所述电子设备包括第一摄像头、第二摄像头和第三摄像头，其特征在于，所述装置包括：

图像采集模块，用于控制所述第一摄像头采集对应于第一色彩的第一图像，所述第二摄像头采集对应于第二色彩的第二图像，所述第三摄像头采集对应于第三色彩的第三图像；

图像对齐模块，用于将所述第一图像、第二图像和第三图像进行对齐处理；

图像处理模块，用于将对齐后的所述第一图像、第二图像和第三图像进行融合处理，得到目标图像。

11.一种摄像头组件，其特征在于，所述摄像头组件包括第一摄像头、第二摄像头、第三摄像头和图像处理器，所述第一摄像头包括第一色彩的第一滤光片，所述第二摄像头包括第二色彩的第二滤光片，所述第三摄像头包括第三色彩的第三滤光片，所述图像处理器分别与所述第一摄像头、第二摄像头、第三摄像头连接；

所述第一摄像头用于基于所述第一滤光片采集对应于所述第一色彩的第一图像，并将所述第一图像发送给所述图像处理器；

所述第二摄像头用于基于所述第二滤光片采集对应于所述第二色彩的第二图像，并将所述第二图像发送给所述图像处理器；

所述第三摄像头用于基于所述第三滤光片采集对应于所述第三色彩的第三图像，并将所述第三图像发送给所述图像处理器；

所述图像处理器用于将所述第一图像、第二图像和第三图像进行对齐处理，将对齐后的所述第一图像、第二图像和第三图像进行融合处理，得到目标图像。

12.一种电子设备，包括第一摄像头、第二摄像头、第三摄像头、存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至9中任一项所述的图像采集方法的步骤。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的方法的步骤。