CN112118393B - 图像处理方法和装置、电子设备、计算机可读存储介质 - Google Patents

Abstract

本申请涉及一种图像处理方法、装置、电子设备、计算机可读存储介质。所述方法包括：控制广角摄像头对广角成像单元进行逐行曝光；当广角摄像头曝光至广角成像单元的目标行时，实时获取广角摄像头对广角成像单元的目标行的曝光时长；当曝光时长达到预设时长时，控制长焦摄像头对长焦成像单元的起始行进行逐行曝光；将广角成像单元经过曝光得到的广角图像和长焦成像单元经过曝光得到的长焦图像进行合成，得到目标图像。上述图像处理方法、装置、电子设备、计算机可读存储介质，可以提高图像处理的准确性。

Description

图像处理方法和装置、电子设备、计算机可读存储介质

技术领域

本申请涉及计算机领域，特别是涉及一种图像处理方法和装置、电子设备、计算机可读存储介质。

背景技术

随着计算机技术的发展，人们对终端设备拍摄的图像要求日益提高。终端设备的摄像头数量也从最开始的单摄像头，发展到后来的双摄像头、三摄像头甚至更多的摄像头。当包含多个摄像头的终端设备进行拍摄时，将拍摄的多个图像进行合成得到合成的图像。

然而，传统的图像拍摄以及合成的方法，将拍摄的多个图像进行合成得到合成的图像存在准确性较低的问题。

发明内容

本申请实施例提供一种图像处理方法、装置、电子设备、计算机可读存储介质，可以提高合成的图像的准确性。

一种图像处理方法，应用于包含广角摄像头和长焦摄像头的电子设备，包括：

控制所述广角摄像头中的广角成像单元进行逐行曝光；

当所述广角摄像头曝光至所述广角成像单元的目标行时，实时获取所述广角摄像头对所述广角成像单元的目标行的曝光时长，其中，所述广角成像单元的目标行与所述长焦摄像头的长焦成像单元中的起始行相对应，所述起始行是所述长焦成像单元中第一行进行曝光的点；

当所述曝光时长达到预设时长时，控制所述长焦摄像头中的所述长焦成像单元的起始行进行逐行曝光，其中，所述广角成像单元的每一行曝光时长与所述长焦成像单元的每一行曝光时长相同，所述预设时长小于所述广角成像单元的每一行曝光时长；

将所述广角成像单元经过曝光得到的广角图像和所述长焦成像单元经过曝光得到的长焦图像进行合成，得到目标图像。

一种图像处理装置，应用于包含广角摄像头和长焦摄像头的电子设备，包括：

广角曝光模块，用于控制所述广角摄像头中的广角成像单元进行逐行曝光；

曝光时长实时获取模块，用于当所述广角摄像头曝光至所述广角成像单元的目标行时，实时获取所述广角摄像头对所述广角成像单元的目标行的曝光时长，其中，所述广角成像单元的目标行与所述长焦摄像头的长焦成像单元中的起始行相对应，所述起始行是所述长焦成像单元中第一行进行曝光的点；

长焦曝光模块，用于当所述曝光时长达到预设时长时，控制所述长焦摄像头中的所述长焦成像单元的起始行进行曝光，其中，所述广角成像单元的每一行曝光时长与所述长焦成像单元的每一行曝光时长相同，所述预设时长小于广角成像单元的每一行曝光时长；

合成模块，用于将所述广角成像单元经过曝光得到的广角图像和所述长焦成像单元经过曝光得到的长焦图像进行合成，得到目标图像。

一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述图像处理方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述图像处理方法的步骤。

上述图像处理方法、装置、电子设备、计算机可读存储介质，控制广角摄像头中的广角成像单元进行逐行曝光，当曝光至目标行，且经过预设时长时，控制长焦摄像头的长焦成像单元的起始行进行逐行曝光，使长焦成像单元的总曝光时长与广角成像单元对应的行的总曝光时长相同，从而使广角摄像头得到的广角图像中的条纹与长焦摄像头得到的长焦图像中的条纹相对应，将广角图像和长焦图像进行合成可以得到更加准确的目标图像。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中图像处理方法的应用环境图；

图2为一个实施例中图像处理电路的示意图；

图3为一个实施例中图像处理方法的流程图；

图4为一个实施例中步骤获取每一行曝光时长的流程图；

图5a为一个实施例中广角总曝光时长与长焦总曝光时长相同的示意图；

图5b为一个实施例中广角图像与长焦图像的示意图；

图6a为另一个实施例中广角总曝光时长与长焦总曝光时长成比例的示意图；

图6b为另一个实施例中广角图像与长焦图像的示意图；

图7a为另一个实施例中图像处理方法的示意图；

图7b为另一个实施例中图像处理方法的示意图；

图7c为另一个实施例中图像处理方法的示意图；

图7d为另一个实施例中图像处理方法的示意图；

图8为一个实施例中步骤图像合成的流程图；

图9为一个实施例中步骤得到目标区域的流程图；

图10为一个实施例中图像处理装置的结构框图；

图11为另一个实施例中图像处理装置的结构框图；

图12为一个实施例中电子设备的内部结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一长焦图像称为第二长焦图像，且类似地，可将第二长焦图像称为第一长焦图像。第一长焦图像和第二长焦图像两者都是长焦图像，但其不是同一长焦图像。

图1为一个实施例中图像处理方法的应用环境示意图。如图1所示，该应用环境包括电子设备10和物体12，电子设备10上安装广角摄像头102和长焦摄像头104，控制广角摄像头102中的广角成像单元进行逐行曝光；当广角摄像头102曝光至广角成像单元的目标行时，实时获取广角摄像头对广角成像单元的目标行的曝光时长，其中，广角成像单元的目标行与长焦摄像头的长焦成像单元中的起始行相对应，起始行是长焦成像单元中第一行进行曝光的点；当曝光时长达到预设时长时，控制长焦摄像头中的长焦成像单元进行逐行曝光，其中，广角成像单元的每一行曝光时长与长焦成像单元的每一行曝光时长相同，预设时长小于广角成像单元的每一行曝光时长；将广角成像单元经过曝光得到的广角图像和长焦成像单元经过曝光得到的长焦图像进行合成，得到目标图像。其中，电子设备10可以为手机、电脑、可穿戴设备、个人数字助理等，在此不做限定。

本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图2为一个实施例中图像处理电路的示意图。如图2所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图2所示，图像处理电路包括ISP处理器230和控制逻辑器240。成像设备210捕捉的图像数据首先由ISP处理器230处理，ISP处理器230对图像数据进行分析以捕捉可用于确定和/或成像设备210的一个或多个控制参数的图像统计信息。成像设备210可包括具有一个或多个透镜(包括广角透镜和长焦透镜)212和图像传感器214的照相机。图像传感器214可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器214可获取用图像传感器214的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器230处理的一组原始图像数据。此外，图像传感器214也可将原始图像数据存储到图像存储器220中。

ISP处理器230按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器230可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器230还可从图像存储器220接收图像数据。例如，图像传感器214将原始图像数据发送给图像存储器220，图像存储器220中的原始图像数据再提供给ISP处理器230以供处理。图像存储器220可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器214接口或来自图像存储器220的原始图像数据时，ISP处理器230可进行一个或多个图像处理操作，如合成处理。处理后的图像数据可发送给图像存储器220，以便在被显示之前进行另外的处理。ISP处理器230从图像存储器220接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器230处理后的图像数据可输出给显示器250，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器230的输出还可发送给图像存储器220，且显示器250可从图像存储器220读取图像数据。在一个实施例中，图像存储器220可被配置为实现一个或多个帧缓冲器。

ISP处理器230确定的统计数据可发送给控制逻辑器240单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜212阴影校正等图像传感器214统计信息。控制逻辑器240可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备210的控制参数及ISP处理器230的控制参数。例如，成像设备210的控制参数可包括照相机中透镜212(广角透镜)曝光时长控制参数、透镜212控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于控制透镜212(长焦透镜)的开始曝光时刻、自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜212阴影校正参数。

以下为运用图2中图像处理技术实现图像处理方法的步骤：

图3为一个实施例中图像处理方法的流程图。本实施例中的图像处理方法，以运行于图2中的电子设备上为例进行描述。如图3所示，图像处理方法包括步骤302至步骤308。

步骤302，控制广角摄像头中的广角成像单元进行逐行曝光。

广角摄像头是一种焦距短于标准摄像头、视角大于标准摄像头的摄像头。而长焦摄像头是一种焦距长于标准摄像头、视角小于标准摄像头的摄像头。广角摄像头的视角较大，即通过广角摄像头拍摄得到的图像可以包含较广的拍摄场景。而长焦摄像头的视角较小，焦距较长，可以拍摄到远距离物体较清晰的图像。

广角成像单元指的是广角摄像头芯片的成像设备。在广角成像单元中，包含了若干行，每一行包含了若干个像素点，行的数量和每一行像素点的数量由广角摄像头的硬件参数决定。当进行曝光时，光线透射在广角成像单元上，从而生成图像。

可以理解的是，广角摄像头和长焦摄像头位于电子设备的同一侧，并拍摄同一方向的场景，即广角摄像头与长焦摄像头存在部分重合的视场，从而广角摄像头得到的图像和长焦摄像头得到的图形也存在部分重合的区域。

广角成像单元由许多点组成，经过曝光后得到广角图像，即每一个点经过曝光后即为像素点。在像素点中，包含了该点的像素值。像素值指的是像素点的亮度的数值。通过像素值可以知道该像素点的亮度信息、色彩信息等。

在每一张图像中，如广角图像800*600，表示广角图像的长边有800个像素点，宽边有600个像素点，即广角图像中包含了480000个像素点。一般地，图像中的像素点越多，获取的图像信息越多，图像则越清晰。

具体地，电子设备可以通过检测用户的手势、屏幕的点击操作、电子设备的按钮输入操作、达到预设时长等方式检测拍摄指令，不限于此。当电子设备检测到拍摄指令时，控制广角摄像头对广角成像单元进行逐行曝光。其中，曝光指的是光线在摄像头的感光元件上作用，从而生成图像的过程。

步骤304，当广角摄像头曝光至广角成像单元的目标行时，实时获取广角摄像头对广角成像单元的目标行的曝光时长，其中，广角成像单元的目标行与长焦摄像头的长焦成像单元中的起始行相对应，起始行是长焦图像中第一行进行曝光的点。

在电子设备中，包含了广角摄像头(广角透镜)和长焦摄像头(长焦透镜)，并且广角摄像头和长焦摄像头拍摄同一场景。可以理解的是，广角摄像头拍摄得到的图像场景较大，而长焦摄像头拍摄得到的图像为广角摄像头拍摄得到的图像的部分区域。

可选地，广角摄像头和长焦摄像头均可以对长焦成像单元进行从上到下进行逐行曝光，也可以从下到上进行逐行曝光，还可以通过其他方法进行曝光，不限于此。

长焦成像单元中的起始行指的是长焦成像单元中第一行进行曝光的点。而广角成像单元的目标行指的是广角成像单元中与长焦成像单元的起始行相对应的一行点。

可以理解的是，当广角摄像头曝光至广角成像单元的目标行时，即当广角成像单元曝光至与长焦成像单元的起始行相对应的行时，实时获取广角摄像头对广角成像单元的目标行的曝光时长。其中，实时获取的目标行的曝光时长可以为0，即目标行的第一个进行曝光的点与起始行的第一个进行曝光的点相对应，也可以不为0，不限于此。

步骤306，当曝光时长达到预设时长时，控制长焦摄像头中的长焦成像单元进行逐行曝光，其中，广角成像单元的每一行曝光时长与长焦成像单元的每一行曝光时长相同，预设时长小于广角成像单元的每一行曝光时长。

同样地，长焦成像单元的点的数量由长焦摄像头的硬件参数决定。对长焦成像单元进行曝光得到的图像的像素点与长焦成像单元的点相对应。

可以理解的是，实时获取的目标行的曝光时长不超过广角成像单元的每一行的曝光时长，当实时获取的目标行的曝光时长超过广角成像单元的每一行曝光时长时，即广角摄像头与长焦摄像头拍摄的不是同一场景。

当ISP处理器230确定的统计数据，即实时获取的广角成像单元的目标行的曝光时长达到预设时长时，通过逻辑控制器240控制长焦摄像头对长焦成像单元的起始行进行逐行曝光。

当广角成像单元的目标行经过预设时长的曝光后，控制长焦成像单元开始逐行曝光，且广角成像单元的每一行曝光时长与长焦成像单元的每一行曝光时长相同，则广角成像单元的目标行的下一行也是经过预设时长后，长焦成像单元的起始行的下一行开始曝光。

可以理解的是，曝光得到的图像中包含条纹，而图像中条纹的数量由图像的总曝光时长相关，图像的总曝光时长与每一行的曝光时长相关。当图像的总曝光时长越长，则图像中包含的条纹的数量越多。当广角图像和长焦图像的重合区域中的条纹不对应时，则最终合成得到的目标图像与实际场景不一致。

因此，控制广角成像单元的总曝光时长与长焦成像单元的总曝光时长的比例，即控制得到的广角图像的条纹数量和长焦图像的条纹数量的比例，且控制长焦成像单元的起始曝光时间，可以保证合成得到的目标图像与实际场景的一致性。

步骤308，将广角成像单元经过曝光得到的广角图像和长焦成像单元经过曝光得到的长焦图像进行合成，得到目标图像。

当广角摄像头对广角成像单元曝光完成时，得到广角图像。当长焦摄像头对长焦成像单元曝光完成时，得到长焦图像。通过电子设备中的ISP处理器230将得到的广角图像和长焦图像进行合成，得到目标图像。

可以理解的是，将广角图像和长焦图像进行合成的方式可以为多种，如通过HDR技术将曝光参数不同的广角图像和长焦图像进行合成得到目标图像；从广角图像和长焦图像中分别获取目标区域，将多个目标区域进行拼接得到目标图像；分别获取广角图像和长焦图像的各个像素点的像素值，将广角图像的各个像素值与对应的长焦图像的各个像素值进行计算，得到目标图像；其中，计算可以求平均值，可以设置不同的权重因子等，不限于此。

需要指出的是，将广角图像和长焦图像进行合成的方式可以为多种，具体的实现方式可以根据用户需求进行设定，不限于此。

在一个实施例中，可以通过至少一个广角成像单元经过曝光得到至少一个广角图像，通过至少一个长焦成像单元经过曝光得到至少一个长焦图像，将得到的广角图像和长焦图像进行合成，得到目标图像。

例如，可以通过一个广角摄像头和四个长焦摄像头获取一个广角图像和四个长焦图像，且四个长焦图像分别与广角图像的四个不同的区域进行重合，将广角图像和四个长焦图像进行合成，得到目标图像。

又如，可以通过两个广角摄像头和四个长焦摄像头获取两个广角图像和四个长焦图像，将其中一个广角图像为基准，对四个长焦图像进行曝光。当两个广角摄像头的拍摄参数相同时，则获取的两个广角图像的各个参数相同，则两个广角摄像头可以同时进行曝光。将两个广角图像和四个长焦图像进行合成，得到目标图像。

上述图像处理方法，控制广角摄像头对广角成像单元进行逐行曝光，当曝光至目标行，且经过预设时长时，控制长焦摄像头对长焦成像单元的起始行进行逐行曝光，使长焦成像单元的总曝光时长与广角成像单元对应的行的总曝光时长相同，从而使广角摄像头得到的广角图像中的条纹与长焦摄像头得到的长焦图像中的条纹相对应，将广角图像和长焦图像进行合成可以得到更加准确的目标图像。

在一个实施例中，上述图像处理方法还包括：将广角摄像头的广角成像单元和长焦摄像头的长焦成像单元进行匹配，定位长焦成像单元的起始行所对应的广角成像单元的目标行。

当广角摄像头和长焦摄像头拍摄同一场景时，广角成像单元经过曝光得到的图像和长焦成像单元经过曝光得到的图像存在重合的区域。电子设备将广角成像单元和长焦成像单元进行匹配，可以定位到长焦成像单元的起始行所对应的广角成像单元的目标行。

可以理解的是，当拍摄同一场景时，ISP处理器230可以根据广角摄像头的硬件参数和长焦摄像头的硬件参数，如广角摄像头的焦距、长焦摄像头的焦距、广角成像单元的行的数量、每一行的点的数量、长焦成像单元的行的数量、每一行的点的数量等参数，对广角成像单元和长焦成像单元进行计算，可以定位到长焦成像单元的起始行所对应的广角成像单元的目标行。

上述图像处理方法，通过将广角成像单元和长焦成像单元进行匹配，可以更加准确地定位到广角成像单元中的目标行，进而可以更加准确地进行曝光，得到更加准确的目标图像。

在一个实施例中，上述方法还包括：定位起始行的起始点所对应的目标行的目标点，其中，起始点为起始行中第一个进行曝光的点；获取目标行中在目标点之前曝光的点的数量；根据目标点之前曝光的点的数量与广角成像单元的每一行的点的数量的比例，以及广角成像单元每一行的曝光时长获取预设时长，其中，广角成像单元的每一行的点的数量由广角摄像头的硬件参数得到。

在长焦成像单元的起始行中，第一个进行曝光的点为起始点。目标点指的是广角成像单元的目标行中与长焦成像单元的起始行的起始点相对应的点。

广角成像单元的每一行的点的数量由广角摄像头的硬件参数得到，例如，当广角摄像头的硬件参数为800*600时，表示广角成像单元的长边为800个点，宽边为600个点，即广角成像单元经过曝光得到的图像中长边有800个像素点，宽边有600个像素点。

当定位到广角成像单元中的目标点时，可以通过ISP处理器230获取目标行中在目标点之前曝光的点的数量，根据目标点之前曝光的点的数量与广角成像单元的每一行点的数量的比例，以及广角成像单元每一行的曝光时长获取预设时长。

例如，广角成像单元的每一行的点的数量为600，目标行中在目标点之前曝光的点的数量为300，广角成像单元每一行的曝光时长获取预设时长为0.01s，则预设时长为300/600*0.01s＝0.005s。

在本实施例中，获取目标行中在目标点之前曝光的点的数量，并且根据目标点之前曝光的点的数量与广角成像单元的每一行点数量的比例，以及广角成像单元每一行的曝光时长即可获取更加正确的预设时长。

在一个实施例中，上述图像处理方法还包括：

步骤402，获取广角成像单元的总曝光时长。

广角成像单元的总曝光时长指的是广角成像单元在曝光之前预先计算得到的总曝光时长。广角成像单元的总曝光时长即为曝光广角成像单元所需的时长。可以理解的是，曝光时长越长，则获取的图像信息越多。当拍摄移动物体时，曝光时长越长，则拍摄得到的图像越模糊。

步骤404，获取广角成像单元的总行数。

广角成像单元的总行数由广角摄像头的硬件参数得到，长焦成像单元的总行数由长焦摄像头的硬件参数得到。例如，当广角摄像头的硬件参数为800*600时，表示广角成像单元的长边为800个点，宽边为600个点，也即广角成像单元的总行数为600行。当长焦摄像头的硬件参数为400*300时，表示长焦成像单元的长边为400个点，宽边为300个点，也即长焦成像单元的总行数为300行。

步骤406，根据广角成像单元的总曝光时长和广角成像单元的总行数得到广角成像单元中每一行的曝光时长。

将广角成像单元的总曝光时长除以广角成像单元的总行数，即可得到广角成像单元中每一行的曝光时长。将长焦成像单元的总曝光时长除以长焦成像单元的总行数，即可得到长焦成像单元中每一行的曝光时长。

例如，广角成像单元的总曝光时长为0.01s，广角成像单元的总行数600行，则广角成像单元中每一行的曝光时长为0.0001/6。长焦成像单元的总曝光时长为0.001，长焦成像单元的总行数为300，则长焦成像单元中每一行的曝光时长0.00001/3。

上述图像处理方法，获取广角成像单元的总曝光时长，并获取广角成像单元的总行数，可以得到广角成像单元中每一行的曝光时长，从而保证了曝光得到的广角图像和长焦图像的重合区域的一致性。

在一个实施例中，获取所述广角成像单元的总曝光时长，包括：获取所述广角摄像头的广角焦距和所述长焦摄像头的长焦焦距；根据所述广角焦距和所述长焦焦距的比例，确定所述广角成像单元的总曝光时长。

焦距，是光学系统中衡量光的聚集或发散的度量方式，指平行光入射时从透镜光心到光聚集之焦点的距离。广角焦距指的是广角摄像头的焦距，长焦焦距指的是长焦摄像头的焦距。一般地，广角焦距小于长焦焦距。

当获取到广角焦距和长焦焦距时，即可根据广角焦距和长焦焦距的比例，可以确定广角成像单元的总曝光时长和长焦成像单元的总曝光时长。在一个实施例中，广角成像单元的总曝光时长和长焦成像单元的总曝光时长的比例与广角焦距和长焦焦距的比例相同。在另外一个实施例中，可以根据广角焦距和长焦焦距的比例，获取广角成像单元的总曝光时长和长焦成像单元的总曝光时长的预设比例，根据预设比例获取广角成像单元的总曝光时长和长焦成像单元的总曝光时长。需要指出的是，为了保证曝光得到的广角图像和长焦图像的重合区域的条纹数量大致对应，广角成像单元的总曝光时长和长焦成像单元的总曝光时长预设比例，与广角焦距和长焦焦距的比例相近。例如，可以设置预设比例为广角焦距和长焦焦距的比例的98％。

例如，广角焦距为25mm，长焦焦距为35mm，则广角成像单元的总曝光时长和长焦成像单元的总曝光时长的比例可以为25/35＝0.714，分别获取广角成像单元的总曝光时长为0.01s，长焦成像单元的总曝光时长为0.00714s。

通过广角焦距和长焦焦距的比例，得到广角成像单元的总曝光时长和长焦成像单元的总曝光时长的比例，可以通过以下计算公式得到：

1/f＝1/u+1/v，其中，f＝焦距；u＝物距；v＝像距。

1/v＝(u-f)/(f*u)。

远焦时u>>f，可以得到1/v＝1/f，即像距与焦距相同。

当拍摄同一物体时，通过焦距、物距以及像距的比例关系可以得知广角成像单元与长焦成像单元的面积之比再进行开根号，即是广角成像单元的总曝光时长和长焦成像单元的总曝光时长的比例。

上述图像处理方法，通过获取广角摄像头的广角焦距和长焦摄像头的长焦焦距，可以确定更加准确的广角成像单元的每一行曝光时长。

在一个实施例中，确定广角成像单元的总曝光时长和长焦成像单元的总曝光时长，以及广角成像单元的总行数和长焦成像单元的总行数，可以保证广角成像单元中每一行的曝光时长和长焦成像单元中每一行的曝光时长相同，从而保证了长焦成像单元的每一行的第一个像素点与广角成像单元对应的像素点同时进行曝光。

在一个实施例中，当广角成像单元的总曝光时长和长焦成像单元的总曝光时长的比例与广角焦距和长焦焦距的比例相差较大时，如图5a所示，当广角成像单元的总曝光时长Ta和长焦成像单元的总曝光时长Tb相同时，则如图5b所示，得到的广角图像502中的条纹数量和长焦图像504中的条纹数量相同，则合成得到的目标图像与实际场景不一致。

因此，控制广角成像单元的总曝光时长和长焦成像单元的总曝光时长的比例与广角焦距和长焦焦距的比例相近，则得到的广角图像和长焦图像的重合区域中的条纹数量相对应。如图6a所示，例如当广角焦距为25mm，长焦焦距为35mm，则广角成像单元的总曝光时长和长焦成像单元的总曝光时长的比例可以与广角焦距和长焦焦距的比例相近，为25/35＝0.714。则长焦图像Tb中的条纹数量与广角图像Ta中的条纹数量的比例也为0.714，因此长焦图像Tb和广角图像Ta的重合区域的条纹数量相对应。如图6b所示，602为广角图像，604为长焦图像。则将广角图像和长焦图像进行合成得到的目标图像可以与实际场景保持一致性，提高了得到的目标图像的准确性。

在一个实施例中，当电子设备中包含一个广角摄像头和四个长焦摄像头时，广角摄像头和长焦摄像头拍摄同一场景，四个长焦摄像头的硬件参数相同，广角焦距为25mm，长焦焦距为35mm，长焦成像单元与广角成像单元的面积之比为1:2，则长焦成像单元的总曝光时长与广角成像单元的总曝光时长可以为25/35＝0.741，也就是长焦成像单元与广角成像单元的面积之比，再进行开根号得到的值。

如图7a所示，广角成像单元702与第一个长焦成像单元704的两条边长重合，即广角成像单元的第一目标行是第一行，第一目标点为第一目标行的第一个进行曝光的点。则广角成像单元与长焦成像单元同时进行逐行曝光。

如图7b所示，广角成像单元702与第二长焦成像单元706进行匹配，则存在两条边重合，即广角成像单元的第二目标行与第一目标行相同。长焦成像单元的边长为广角成像单元边长的0.741倍，则当广角成像单元在第二目标行中经过第一预设时长时，即曝光至第二目标行的第二目标点时，控制第二个长焦摄像头对进行逐行曝光。其中，第一预设时长＝(1-0.741)*广角成像单元的每一行曝光时长。

如图7c所示，广角成像单元702与第二长焦成像单元708的两条边重合，则广角成像单元中与第三个长焦成像单元的起始行相对应的第三目标行是(1-0.741)*广角成像单元总行数。当广角成像单元曝光至第三目标行时，与第三个长焦成像单元的起始点相对应的第三目标像素点为第三目标行的第一个点。则当广角成像单元曝光至第三目标行时，控制第三个长焦成像单元进行逐行曝光。

如图7d所示，广角成像单元702与第二长焦成像单元710的两条边重合，广角成像单元的第三目标行与第四目标行相同。长焦成像单元的边长为广角成像单元边长的0.741倍，则当广角成像单元在第四目标行中经过第二预设时长时，即曝光至第四目标行的第四目标像素点时，控制第四个长焦摄像头对进行逐行曝光。其中，第二预设时长＝(1-0.741)*广角成像单元的每一行曝光时长。

当广角成像单元和四个长焦成像单元都曝光完成时，将广角摄像头得到的广角图像和长焦摄像头得到的长焦图像进行合成，得到目标图像。

在一个实施例中，将广角成像单元经过曝光得到的广角图像和长焦成像单元经过曝光得到的长焦图像进行合成，得到目标图像，包括：

步骤802，将广角成像单元经过曝光得到的广角图像和长焦成像单元经过曝光得到的长焦图像进行匹配，得到广角图像的广角重合区域和长焦图像的长焦重合区域。

其中，广角图像和长焦图像可以通过图像中的轮廓进行匹配，也可以通过图像中的特征点进行匹配，还可以通过深度信息、景深信息、RGB三通道信息进行匹配等，不限于此。

在一个实施例中，电子设备可以将得到的广角图像和长焦图像存储在图像存储器220中。可选地，图像存储器220可以将广角图像或者长焦图像发送至显示器250，展示在电子设备的显示界面上。图像存储器220也可以将广角图像和长焦图像发送至ISP处理器230，用于图像处理，不限于此。

步骤804，根据广角重合区域和长焦重合区域得到目标区域。

在一个实施例中，可以获取广角重合区域或长焦重合区域的其中一个区域作为目标区域。在另外一个实施例中，也可以将广角重合区域中的像素值和长焦重合区域中的对应像素值进行求平均值，得到目标区域。在其他的实施例中，还可以通过其他计算方法，得到目标区域，不限于此。

步骤806，将目标区域和广角图像进行合成，得到目标图像。

得到目标区域之后，可以将目标区域替换广角图像中的广角重合区域，得到目标图像。

上述图像处理方法，将广角图像和长焦图像进行匹配，得到广角重合区域和长焦重合区域，根据广角重合区域和长焦重合区域得到目标区域，将目标区域和广角图像进行合成，可以得到更加准确的目标图像。

在一个实施例中，根据广角重合区域和长焦重合区域得到目标区域，包括：

步骤902，将广角重合区域划分为至少两个广角子区域，将长焦重合区域划分为至少两个长焦子区域，其中，广角子区域与长焦子区域一一对应且完全重合。

可以理解的是，将广角重合区域和长焦重合区域划分得越细，即广角子区域和长焦子区域越多，则得到的目标区域越准确。

步骤904，确定各个广角子区域的属性值和各个广角子区域对应的各个长焦子区域的属性值。

在本实施例中，属性值可以是清晰度、色彩、灰度值、深度信息等其中的至少一种，具体情况可以根据用户需求进行设定，不限于此。

步骤906，将广角子区域的属性值与对应的长焦子区域的属性值进行比较，得到比较结果。

广角子区域与长焦子区域一一对应且完全重合，将广角子区域的属性值和对应的长焦子区域的属性值进行比较，得到比较结果。比较结果可以是广角子区域的属性值大于对应的长焦子区域的属性值，也可以是长焦子区域的属性值大于对应的广角子区域的属性值，不限于此。

步骤908，根据比较结果获取目标子区域。

在一个实施例中，当属性值为亮度值时，可以获取属性值较大的区域作为目标子区域。当属性值为灰度值时，可以获取属性值较小的区域作为目标子区域。具体情况可以根据用户需求进行设定，不限于此。

步骤910，将目标子区域合成得到目标区域。

在一个实施例中，可以将得到的各个目标子区域进行拼接得到目标区域。在另外一个实施例中，为了保证得到的各个子区域的边沿的连贯性，可以先将各个子区域进行拼接，再通过滤波滤除噪声，得到目标区域。

上述图像处理方法，通过将广角重合区域划分为至少两个广角子区域，将长焦重合区域划分为对应的至少两个长焦子区域，获取各个广角子区域的属性值和各个长焦子区域的属性值，进行比较得到比较结果，根据比较结果可以得到目标子区域，再将各个子区域进行合成得到目标区域。将广角重合区域和长焦重合区域划分为多个子区域进行处理，可以得到更加准确的目标区域。

在一个实施例中，上述图像处理方法还包括：当存在至少两个长焦摄像头，且至少两个长焦摄像头得到的第一长焦图像和第二长焦图像存在重合区域时，将第一长焦图像和第二长焦图像进行合成，得到长焦合成图像；将长焦合成图像和广角图像进行合成，得到目标图像。

当至少两个长焦摄像头的硬件参数相同时，即得到的第一长焦图像和第二长焦图像的质量相同时，可以获取其中一个重合区域作为长焦合成图像的区域，从而得到长焦合成图像，再将长焦合成图像和广角图像进行合成，得到目标图像。

当至少两个长焦摄像头的硬件参数不同时，可以分别获取第一长焦图像和第二长焦图像的重合区域的属性值，并根据属性值的比较结果得到长焦合成图像的区域，从而得到长焦合成图像，再将长焦合成图像和广角图像进行合成，得到目标图像。

上述图像处理方法，当存在至少两个长焦摄像头，且至少两个长焦摄像头得到的第一长焦图像和第二长焦图像存在重合区域时，将第一长焦图像和第二长焦图像进行合成，得到长焦合成图像，并将长焦合成图像和广角图像进行合成，可以得到更加准确的目标图像。

应该理解的是，虽然图3至图4、图8至图9的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图3至图4、图8至图9中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图10为一个实施例的图像处理装置的结构框图。如图10所示，提供了一种图像处理装置1000，应用于包含广角摄像头和长焦摄像头的电子设备，广角摄像头和长焦摄像头拍摄同一场景，包括：广角曝光模块1002、曝光时长获取实时模块1004、长焦曝光模块1006和合成模块1008，其中：

广角曝光模块1002，用于控制广角摄像头中的广角成像单元进行逐行曝光。

曝光时长实时获取模块1004，用于当广角摄像头曝光至广角成像单元的目标行时，实时获取广角摄像头对广角成像单元的目标行的曝光时长，其中，广角成像单元的目标行与长焦摄像头的长焦成像单元中的起始行相对应，起始行是长焦成像单元中第一行进行曝光的点。

长焦曝光模块1006，用于当曝光时长达到预设时长时，控制长焦摄像头中的长焦成像单元的起始行进行曝光，其中，广角成像单元的每一行曝光时长与长焦成像单元的每一行曝光时长相同，预设时长小于广角成像单元的每一行曝光时长。

合成模块1008，用于当曝光时长达到预设时长时，控制长焦摄像头中的长焦成像单元的起始行进行曝光，其中，广角成像单元的每一行曝光时长与长焦成像单元的每一行曝光时长相同，预设时长小于广角成像单元的每一行曝光时长。

上述图像处理装置，控制广角摄像头对广角成像单元进行逐行曝光，当曝光至目标行，且经过预设时长时，控制长焦摄像头对长焦成像单元的起始行进行逐行曝光，使长焦成像单元的总曝光时长与广角成像单元对应的行的曝光时长相同，从而使广角摄像头得到的广角图像中的条纹与长焦摄像头得到的长焦图像中的条纹相对应，将广角图像和长焦图像进行合成可以得到更加准确的目标图像。

图11为另一个实施例的图像处理装置的结构框图。如图11所示，提供了一种图像处理装置1100，应用于包含广角摄像头和长焦摄像头的电子设备，广角摄像头和长焦摄像头拍摄同一场景，包括：定位模块1102、预设时长获取模块1104、每一行曝光时长获取模块1106、广角曝光模块1108、曝光时长实时获取模块1110、长焦曝光模块1112和合成模块1114，其中：

定位模块1102，用于将广角摄像头的广角成像单元和长焦摄像头的长焦成像单元进行匹配，定位长焦成像单元的起始行所对应的广角成像单元的目标行。

预设时长获取模块1104，用于定位起始行的起始点所对应的目标行的目标点，其中，起始点为起始行中第一个进行曝光的点；获取目标行中在目标点之前曝光的点的数量；根据目标点之前曝光的点的数量与广角成像单元的每一行的点的数量的比例，以及广角成像单元每一行的曝光时长获取预设时长，其中，广角成像单元的每一行的点的数量由广角摄像头的硬件参数得到。

每一行曝光时长获取模块1106，用于获取广角成像单元的总曝光时长；获取广角成像单元的总行数；根据广角成像单元的总曝光时长和广角成像单元的总行数得到广角成像单元中每一行的曝光时长。

广角曝光模块1108，用于控制广角摄像头中的广角成像单元进行逐行曝光。

曝光时长获取模1110，用于当广角摄像头曝光至广角成像单元的目标行时，实时获取广角摄像头对广角成像单元的目标行的曝光时长，其中，广角成像单元的目标行与长焦摄像头的长焦成像单元中的起始行相对应，起始行是长焦成像单元中第一行进行曝光的点。

长焦曝光模块1112，用于当曝光时长达到预设时长时，控制长焦摄像头中的长焦成像单元的起始行进行逐行曝光，其中，广角成像单元的每一行曝光时长与长焦成像单元的每一行曝光时长相同，预设时长小于广角成像单元的每一行曝光时长。

合成模块1114，用于将广角成像单元经过曝光得到的广角图像和长焦成像单元经过曝光得到的长焦图像进行合成，得到目标图像。

上述图像处理装置，定位广角成像单元的目标行，控制广角摄像头中的广角成像单元进行逐行曝光，当曝光至目标行，且经过预设时长时，控制长焦摄像头对长焦成像单元进行逐行曝光，使长焦成像单元的总曝光时长与广角成像单元对应的行的曝光时长相同，从而使广角摄像头得到的广角图像中的条纹与长焦摄像头得到的长焦图像中的条纹相对应，将广角图像和长焦图像进行合成可以得到更加准确的目标图像。

在一个实施例中，上述每一行曝光时长获取模块1106还用于获取广角摄像头的广角焦距和长焦摄像头的长焦焦距；根据广角焦距和长焦焦距的比例，确定广角成像单元的总曝光时长。

在一个实施例中，上述合成模块1114还用于将广角成像单元经过曝光得到的广角图像和长焦成像单元经过曝光得到的长焦图像进行匹配，得到广角图像的广角重合区域和长焦图像的长焦重合区域；根据广角重合区域和长焦重合区域得到目标区域；将目标区域和广角图像进行合成，得到目标图像。

在一个实施例中，上述合成模块1114还用于将广角重合区域划分为至少两个广角子区域，将长焦重合区域划分为至少两个长焦子区域，其中，广角子区域与长焦子区域一一对应且完全重合；确定各个广角子区域的属性值和各个广角子区域对应的各个长焦子区域的属性值；将广角子区域的属性值与对应的长焦子区域的属性值进行比较，得到比较结果；根据比较结果获取目标子区域；将目标子区域合成得到目标区域。

在一个实施例中，上述合成模块1114还用于当存在至少两个长焦摄像头，且至少两个长焦摄像头得到的第一长焦图像和第二长焦图像存在重合区域时，将第一长焦图像和第二长焦图像进行合成，得到长焦合成图像；将长焦合成图像和广角图像进行合成，得到目标图像。

上述图像处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。

关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

图12为一个实施例中电子设备的内部结构示意图。如图12所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种图像处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。

本申请实施例中提供的图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行图像处理方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像处理方法。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种图像处理方法，应用于包含广角摄像头和长焦摄像头的电子设备，其特征在于，包括：

控制所述广角摄像头中的广角成像单元进行逐行曝光；

当所述广角摄像头曝光至所述广角成像单元的目标行时，实时获取所述广角摄像头对所述广角成像单元的目标行的曝光时长，其中，所述广角成像单元的目标行与所述长焦摄像头的长焦成像单元中的起始行相对应，所述起始行是所述长焦成像单元中第一行进行曝光的点；

当所述曝光时长达到预设时长时，控制所述长焦摄像头中的所述长焦成像单元从起始行开始进行逐行曝光，其中，所述广角成像单元的每一行曝光时长与所述长焦成像单元的每一行曝光时长相同，所述预设时长小于所述广角成像单元的每一行曝光时长；

将所述广角成像单元经过曝光得到的广角图像和所述长焦成像单元经过曝光得到的长焦图像进行合成，得到目标图像。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述广角摄像头的广角成像单元和所述长焦摄像头的长焦成像单元进行匹配，定位所述长焦成像单元的起始行所对应的所述广角成像单元的目标行。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

定位所述起始行的起始点所对应的所述目标行的目标点，其中，所述起始点为起始行中第一个进行曝光的点；

获取所述目标行中在所述目标点之前曝光的点的数量；

根据所述目标点之前曝光的点的数量与所述广角成像单元的每一行的点的数量的比例，以及所述广角成像单元每一行的曝光时长获取预设时长，其中，所述广角成像单元的每一行的点的数量由广角摄像头的硬件参数得到。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

获取所述广角成像单元的总曝光时长；

获取所述广角成像单元的总行数；

根据所述广角成像单元的总曝光时长和所述广角成像单元的总行数得到所述广角成像单元中每一行的曝光时长。

5.根据权利要求4所述的方法，其特征在于，所述获取所述广角成像单元的总曝光时长，包括：

获取所述广角摄像头的广角焦距和所述长焦摄像头的长焦焦距；

根据所述广角焦距和所述长焦焦距的比例，确定所述广角成像单元的总曝光时长。

6.根据权利要求1所述的方法，其特征在于，所述将所述广角成像单元经过曝光得到的广角图像和所述长焦成像单元经过曝光得到的长焦图像进行合成，得到目标图像，包括：

将所述广角成像单元经过曝光得到的广角图像和所述长焦成像单元经过曝光得到的长焦图像进行匹配，得到所述广角图像的广角重合区域和所述长焦图像的长焦重合区域；

根据所述广角重合区域和所述长焦重合区域得到目标区域；

将所述目标区域和所述广角图像进行合成，得到目标图像。

7.根据权利要求6所述的方法，其特征在于，所述根据所述广角重合区域和所述长焦重合区域得到目标区域，包括：

将所述广角重合区域划分为至少两个广角子区域，将所述长焦重合区域划分为至少两个长焦子区域，其中，所述广角子区域与所述长焦子区域一一对应且完全重合；

确定各个所述广角子区域的属性值和各个所述广角子区域对应的各个所述长焦子区域的属性值；

将所述广角子区域的属性值与对应的所述长焦子区域的属性值进行比较，得到比较结果；

根据所述比较结果获取目标子区域；

将所述目标子区域合成得到目标区域。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当存在至少两个所述长焦摄像头，且至少两个所述长焦摄像头得到的第一长焦图像和第二长焦图像存在重合区域时，将所述第一长焦图像和第二长焦图像进行合成，得到长焦合成图像；

将所述长焦合成图像和所述广角图像进行合成，得到目标图像。

9.一种图像处理装置，应用于包含广角摄像头和长焦摄像头的电子设备，其特征在于，包括：

广角曝光模块，用于控制所述广角摄像头中的广角成像单元进行逐行曝光；

曝光时长实时获取模块，用于当所述广角摄像头曝光至所述广角成像单元的目标行时，实时获取所述广角摄像头对所述广角成像单元的目标行的曝光时长，其中，所述广角成像单元的目标行与所述长焦摄像头的长焦成像单元中的起始行相对应，所述起始行是所述长焦成像单元中第一行进行曝光的点；

长焦曝光模块，用于当所述曝光时长达到预设时长时，控制所述长焦摄像头中的所述长焦成像单元从起始行开始进行逐行曝光，其中，所述广角成像单元的每一行曝光时长与所述长焦成像单元的每一行曝光时长相同，所述预设时长小于广角成像单元的每一行曝光时长；

合成模块，用于将所述广角成像单元经过曝光得到的广角图像和所述长焦成像单元经过曝光得到的长焦图像进行合成，得到目标图像。

10.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述的图像处理方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的方法的步骤。

Images