CN116801093A - 图像处理方法、设备及存储介质 - Google Patents

Abstract

本申请提出一种图像处理方法、设备及存储介质，该方法包括：获取第一摄像头采集的第一图像和第二摄像头采集的第二图像，第一摄像头和第二摄像头的视场角不同，第一图像和第二图像均包括目标对象；对第一图像和第二图像进行图像融合，得到第三图像，第三图像中目标对象的边缘区域的图像清晰度小于预设值；获取第三图像中目标对象的边缘区域的第一图像掩膜，第一图像掩膜用于指示目标对象的边缘区域在第三图像的位置信息；基于第一图像掩膜和第三图像，对第三图像中目标对象的边缘区域进行像素级图像修复，得到第四图像；第四图像中目标对象的边缘区域的图像清晰度大于或等于预设值。上述方法可提升融合图像中目标对象边缘区域的图像质量。

Description

图像处理方法、设备及存储介质

技术领域

本申请涉及终端技术领域，尤其涉及一种图像处理方法、设备及存储介质。

背景技术

随着图像技术的不断发展，用户对移动设备的摄像要求越来越高。以智能手机为例，现有的智能手机大多具有多个摄像头，包括例如主摄、广角、长焦等摄像头，其分别在动态范围、颜色和清晰度等方面存在不同的优势。通常不同的摄像头在开启后，会按照预设的不同焦段进行对焦拍摄，图像采集过程是相对独立的。

在一些拍摄场景中，智能手机会开启两个或以上摄像头进行图像采集，这就需要对多摄像头的图像进行融合，受限于图像融合算法本身的算力，当前的图像融合效果不佳，例如，会出现前景和后景的边缘区域出现局部清晰局部模糊问题。

发明内容

本申请实施例提供一种图像处理方法、设备及存储介质，提升融合图像中前景和后景的边缘区域的图像清晰度。

第一方面，本申请实施例提出一种图像处理方法，该方法可用于电子设备，电子设备包括第一摄像头和第二摄像头，该方法包括：在电子设备开启第一摄像头和第二摄像头的情况下，获取第一摄像头采集的第一图像和第二摄像头采集的第二图像，第一摄像头和第二摄像头的视场角不同，第一图像和第二图像均包括目标对象；对第一图像和第二图像进行图像融合，得到第三图像，第三图像中目标对象的边缘区域的图像清晰度小于预设值；获取第三图像中目标对象的边缘区域的第一图像掩膜，第一图像掩膜用于指示目标对象的边缘区域在第三图像的位置信息；基于第一图像掩膜和第三图像，对第三图像中目标对象的边缘区域进行像素级图像修复，得到第四图像；第四图像中目标对象的边缘区域的图像清晰度大于或等于预设值。

示例性的，第一摄像头可以为电子设备的主摄像头，第二摄像头可以为电子设备的长焦摄像头。或者，第一摄像头可以为电子设备的广角摄像头，第二摄像头可以为电子设备的主摄摄象头。第一摄像头可以为电子设备的彩色摄像头，第二摄像头可以为电子设备的黑白摄像头。

上述实施例中，电子设备在对双摄摄像头采集的图像做图像融合后，若融合图像（即第三图像）中前景目标边缘区域的图像清晰度不满足要求，需要对融合图像中该边缘区域做图像修复，可基于该边缘区域的图像掩膜和融合图像，对该边缘区域进行像素级别的图像修复，以提升边缘区域的图像清晰度，提升图像整体画质。

第一方面的一个可选实施例中，基于第一图像掩膜和第三图像，对第三图像中目标对象的边缘区域进行像素级图像修复，得到第四图像，包括：基于第一图像掩膜和第三图像，得到第五图像，第五图像包括空洞区域，空洞区域是基于第一图像掩膜得到的，空洞区域的像素值为0；基于第五图像中空洞区域的外围图像块，对空洞区域进行像素级图像修复，得到第四图像。

本实施例中，第五图像的空洞区域对应第三图像中目标对象的边缘区域，通过剔除（或抠掉）第三图像中目标对象的边缘区域，得到第五图像。

上述实施例中，通过获取第五图像空洞区域外围图像块（也即第三图像中边缘区域的外围图像块），基于空洞区域外围图像块来计算空洞区域的像素值，完成图像修复。应理解，以空洞区域的某一像素单元为例，通过获取该像素单元在空洞区域外围的多个像素单元，基于该多个像素单元计算该像素单元的像素值。

第一方面的一个可选实施例中，基于第五图像中空洞区域的外围图像块，对空洞区域进行像素级图像修复，得到第四图像，包括：将第五图像输入预训练的图像修复网络，图像修复网络提取第五图像中空洞区域的外围图像块的特征信息；基于空洞区域的外围图像块的特征信息，确定空洞区域的特征信息；基于空洞区域的特征信息，填充空洞区域，得到第四图像。

上述实施例中，通过预训练的图像修复网络，可以将剔除第三图像中前景目标边缘区域的图像（即第五图像）输入该图像修复网络，经该网络计算，得到修复后的图像（即第四图像），修复后的图像中前景目标边缘区域的图像清晰度得到提升。

第一方面的一个可选实施例中，获取第一摄像头采集的第一图像和第二摄像头采集的第二图像之前，方法还包括：响应于开启相机应用的第二操作，控制开启第一摄像头；响应于调节放大倍率的第三操作，在调节后的放大倍率在预设放大倍率区间时，控制开启第二摄像头。

上述实施例示出了电子设备开启双摄像头拍摄的条件和操作步骤。

第一方面的一个可选实施例中，获取第三图像中目标对象的边缘区域的第一图像掩膜之前，方法还包括：判断是否满足以下条件：第一摄像头或第二摄像头采集的图像中检测到目标对象；第一摄像头和第二摄像头的对焦位置不同；若满足上述条件，执行获取第三图像中目标对象的边缘区域的第一图像掩膜的步骤。

一种示例中，上述判断步骤由电子设备的决策引擎执行，如图4所示。

需要指出的是，只有在满足上述判断条件的情况下，才会出现融合图像中前景目标的边缘区域清晰度不足的现象，因此，上述实施例中，通过增加该判断步骤，使得电子设备确定是否需要执行对融合图像的图像修复。

第一方面的一个可选实施例中，获取第三图像中目标对象的边缘区域的第一图像掩膜，包括：通过目标分割网络对第三图像进行处理，得到第三图像中目标对象的第二图像掩膜，第二图像掩膜用于指示目标对象在第三图像的位置信息；基于第二图像掩膜和膨胀系数，得到第三图像掩膜，第三图像掩膜用于指示目标对象向外围膨胀后在第三图像的位置信息；通过对第三图像掩膜和第二图像掩膜进行作差，获取第一图像掩膜。

上述实施例中，通过对第三图像进行目标检测，首先获取第三图像中前景目标的图像掩膜，基于前景目标的图像掩膜，通过对图像掩膜做膨胀处理，以获取第三图像中前景目标的边缘区域的图像掩膜，从而确定后续需要做图像修复的区域。

第一方面的一个可选实施例中，膨胀系数与第三图像的景深正相关，第三图像的景深越大，膨胀系数越大。

第一方面的一个可选实施例中，第一图像和第二图像为RAW图像，对第一图像和第二图像进行图像融合，得到第三图像之前，方法还包括：对第一图像和第二图像进行预处理和格式转换，获取预设格式的第一图像和第二图像；对第一图像和第二图像进行图像融合，得到第三图像，包括：对预设格式的第一图像和第二图像进行图像配准，获取预设格式的第一图像和第二图像的匹配区域和未匹配区域；对匹配区域进行图像融合，对未匹配区域不作处理，得到第三图像。

需要说明的是，由于双摄摄像头视场角不同，双摄像头拍摄的画面不完全一致，不完全一致的区域即上述第一图像和第二图像的未匹配区域，第一图像和第二图像的未匹配区域通常出现在前景目标的边缘区域。

应理解，第一图像和第二图像的匹配区域做图像融合后，第三图像中匹配区域的图像清晰度较高，而未匹配区域的图像清晰度较低。

第二方面，本申请实施例提供一种图像处理装置，包括：

获取模块，用于获取第一摄像头采集的第一图像和第二摄像头采集的第二图像，第一摄像头和第二摄像头的视场角不同，第一图像和第二图像均包括目标对象；

处理模块，用于对第一图像和第二图像进行图像融合，得到第三图像，第三图像中目标对象的边缘区域的图像清晰度小于预设值；

获取模块，还用于获取第三图像中目标对象的边缘区域的第一图像掩膜，第一图像掩膜用于指示目标对象的边缘区域在第三图像的位置信息；

处理模块，还用于基于第一图像掩膜和第三图像，对第三图像中目标对象的边缘区域进行像素级图像修复，得到第四图像；第四图像中目标对象的边缘区域的图像清晰度大于或等于预设值。

第三方面，本申请实施例提供一种电子设备，包括：至少两个摄像头，处理器和存储器；至少两个摄像头与处理器连接；至少两个摄像头用于将采集的图像传输至处理器，处理器用于执行存储器存储的计算机执行指令，使得所述电子设备执行如第一方面任一项的方法。

第四方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如第一方面任一项的方法。

第五方面，本申请实施例提供一种计算机程序产品，计算机程序产品包括计算机程序，当计算机程序被运行时，使得计算机执行如第一方面任一项的方法。

第六方面，本申请实施例提供了一种芯片，芯片包括处理器，处理器用于调用存储器中的计算机程序，以执行如第一方面任一项的方法。

应当理解的是，本申请的第二方面至第六方面与本申请的第一方面的技术方案相对应，各方面及对应的可选实施例所取得的有益效果相似，不再赘述。

附图说明

图1a为本申请实施例提供的一种电子设备的界面示意图；

图1b为本申请实施例提供的另一种电子设备的界面示意图；

图1c为本申请实施例提供的另一种电子设备的界面示意图；

图1d为本申请实施例提供的另一种电子设备的界面示意图；

图2为本申请实施例提供的一种图像融合处理的示意图；

图3为本申请实施例提供的一种电子设备的结构示意图；

图4为本申请实施例适用的电子设备的一种软件结构框图；

图5为本申请实施例提供的一种图像处理方法的示意图；

图6为本申请实施例提供的一种图像处理的原理示意图；

图7为本申请实施例提供的另一种图像处理方法的示意图；

图8为本申请实施例提供的一种图像处理装置的示意图。

具体实施方式

为了便于清楚描述本申请实施例的技术方案，本申请实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项（个）”或其类似表达，是指的这些项中的任意组合，包括单项（个）或复数项（个）的任意组合。例如，a，b或c中的至少一项（个），可以表示a，b，c，a-b，a-c，b-c或a-b-c，其中a，b，c可以是单个，也可以是多个。

需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的、存储的、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

下面首先对本申请实施例涉及到的专业术语进行简要介绍。

第一，图像掩膜（mask），通过选定的图像（图形或物体），对处理的图像（全部或局部）进行遮挡，从而控制图像的处理区域，其中用于遮挡的图像称为掩膜。

第二，图像的膨胀处理，类似于“领域扩张”，是将图像的高亮区域或白色部分进行扩张，其运行结果图比原图的高亮区域更大。例如，本申请实施例中，对图6的b所示的高亮的人物区域进行扩张，得到图6的c所示的高亮区域更大的人物区域。

第三，图像配准，将同一拍摄场景中的不同图像转换到相同的坐标系中的过程。这些图像可以是不同时间拍摄的、不同图像传感器拍摄的、不同视角拍摄的，这些图像之间的空间关系可能是刚体（平移和旋转）、放射的（错切）、单应性的或者大型形变模型。

第四，视场角（field of view，FOV），指示摄像头所能拍摄到的最大的角度范围。若待拍摄对象处于这个角度范围内，该待拍摄对象会被摄像头捕捉到。若待拍摄对象处于这个角度范围之外，该待拍摄对象不会被摄像头捕捉到。通常情况下，摄像头的视场角越大，拍摄范围就越大，焦距就越短；摄像头的视场角越小，拍摄范围就越小，焦距就越长。根据视场角的不同，摄像头可以被划分为主摄摄像头、广角摄像头和长焦摄像头。其中，广角摄像头的视场角相对于主摄摄像头的视场角较大，焦距较小，适合拍摄近景。长焦摄像头的视场角相较于主摄摄像头的视场角较小，焦距较长，适合拍摄远景。

第五，RAW，一种图像格式。RAW图像就是互补金属氧化物半导体（complementarymetal oxide semiconductor, CMOS）或者电荷耦合器件（charge coupled device, CCD）图像感应器将捕捉到的光源信号转化为数字信号的原始数据。

第六，RGB，一种图像格式。“R”表示红，“G”表示绿，“B”表示蓝，图像中每个像素的颜色都可用三个变量来表示。

第七，YUV ，一种图像格式。“Y”表示明亮度（luminance或luma），也就是灰阶值；“U”和“V”表示色度（chrominance或chroma），用于描述图像色彩及饱和度，指定像素的颜色。

第八，纹理信息，指的是物体表面呈现凹凸不平的沟纹，同时也包括在物体的光滑表面上的彩色图案，或称之为花纹。纹理信息能够反映图像中物体的细节。

示例性的，图1a至图1d为本申请实施例提供的一种电子设备的界面示意图。如图1a所示，手机显示桌面界面101，用户点击桌面界面101上的相机应用的图标102，响应于该操作，手机显示拍摄预览界面103，如图1b所示。一种示例中，响应于用户翻转手机的操作，手机界面由竖屏拍摄界面，即拍摄预览界面103，切换至横屏拍摄界面，如图1c所示的拍摄预览界面104。

一种拍摄场景中，用户对准目标人像，目标人像处于目标环境中，目标环境包括例如台阶、绿植（图中未示出）等对象，如图1c所示。用户点击拍摄预览界面104上的控件105，控件105显示当前的放大倍率为“1×”，控件105可用于调节摄像头的放大倍率，例如，用户将放大倍率由“1×”调节至“2×”，如图1d所示，拍摄预览界面106上的控件107显示“2×”。响应于该操作，手机显示拍摄预览界面106，相较于拍摄预览界面104中的目标人像，拍摄预览界面106中的目标人像被放大。

通常情况下，拍摄预览界面106显示的预览图像是主摄像头实时采集的图像，在用户按下拍摄按钮后，手机对多个摄像头（如主摄摄象头和长焦摄像头）采集的图像进行图像融合，存储在手机图库中的图像为多摄融合图像。示例性的，图2示出了一种图像融合的示意图。如图2所示，图像1为图1d所示拍摄场景中长焦摄像头采集的图像，图像2为图1c所示拍摄场景中主摄摄像头采集的图像。其中，图像1和图像2可以是同一时刻两个摄像头分别采集的图像，也可以是前后两个时刻两个摄像头分别采集的图像，例如，第一时刻主摄摄像头采集图像1，在第一时刻之后的第二时刻，长焦摄像头采集图像2，如第二时刻比第一时刻晚0.1ms，具体可根据实际应用进行设定，对此本实施例不作限定。本示例中，图像1和图像2均包括目标人像，由于主摄摄像头和长焦摄像头的视场角不同，相较于图像2中的目标人像，图像1中的目标人像被放大且更加清晰。电子设备在获取图像1和图像2后，可以对图像1和图像2进行图像融合，得到图2所示的图像3。

对于多摄拍摄场景，参照图2，基于当前的图像融合算法，在前景和后景的边缘区域会出现局部清晰局部模糊问题，如图2所示，在图像3中，目标人像头部的边缘区域，如区域201，该区域的图像清晰度大于预设值。出现上述现象的主要原因是：由于主摄摄像头和长焦摄像头为非同轴摄像头，因此两个摄像头的公共视野范围内的成像内容不完全一致，在前后景深拍摄场景下，前景（如，目标人像）边缘区域的差异更为明显。基于此，在多摄像头融合时，由于前景边缘区域在不同摄像头之间的差异，导致图像配准失败，图像配准失败的前景边缘区域不会作图像融合，相较于作图像融合的其他区域，前景边缘区域的图像清晰度低，进而出现局部清晰局部模糊。

需要说明的是，上述示例仅示出了主摄摄像头与长焦摄像头的图像融合问题，对于主摄摄像头与广角摄像头的图像融合，长焦摄像头与广角摄像头的图像融合，彩色摄像头与黑白摄像头的图像融合，也存在类似问题，其本质原因都是由于两个摄像头的视场角不匹配，导致融合得到的图像在前景边缘区域出现局部清晰局部模糊。

针对上述问题，本申请实施例示出一种图像处理方法，在电子设备开启双摄像头拍摄时，通过获取两个摄像头采集的图像，如果检测到图像中有前景目标，且两个摄像头的视场角不同，则在对两个摄像头采集的图像进行图像融合之后，需要执行如下图像修复流程：获取融合图像中前景目标所在区域，对该区域进行膨胀处理，得到膨胀前后的前景目标边缘的空洞区域，该空洞区域的原图像块由于没有进行图像融合，其清晰度低于预设值。针对该空洞区域，结合该空洞区域外围图像块，对其进行像素级图像修复，可提升空洞区域的图像块的清晰度，实现提高融合图像的清晰度和质量的目的。

本申请实施例提供的图像处理方法可适用于各种电子设备，本申请实施例提供的图像处理装置可以为多种形态的电子设备。

在一些实施例中，电子设备可以是单反相机、卡片机等各种摄像装置、手机、平板电脑、可穿戴设备、车载设备、虚拟现实（virtual reality，VR）设备、增强现实（argmentedreality，AR）设备、笔记本电脑、超级移动个人计算机（ultra-mobile personal computer，UMPC）、上网本、个人数字助理（personal digital assistant，PDA）等，或者可以是其他能够进行图像处理的设备或装置，对于电子设备的具体类型，本申请实施例不作任何限定。

下面以电子设备为手机为例，对电子设备的硬件结构进行说明。示例性的，图3为本申请实施例提供的一种电子设备的结构示意图，如图3所示，该电子设备100可以包括：处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，显示处理单元（displayprocess unit，DPU），和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

在一些实施例中，电子设备100也可以包括一个或多个处理器110。其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。这就避免了重复存取，减少了处理器110的等待时间，因而提高了电子设备100系统的效率。

本申请实施例中，处理器110可以运行本申请实施例提供的图像处理方法的软件代码，拍摄得到清晰度较高的图像。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。其中，USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电，也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。

可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块140用于从充电器接收充电输入。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，显示屏194，摄像头193，和无线通信模块160等供电。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。

无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)，蓝牙，全球导航卫星系统(global navigation satellitesystem，GNSS)，调频(frequency modulation，FM)，近场通信（near field communication，NFC），红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括GSM，GPRS，CDMA，WCDMA，TD-SCDMA，LTE，GNSS，WLAN，NFC，FM，和/或IR技术等。上述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(beidou navigation satellite system，BDS)，准天顶卫星系统(quasi-zenithsatellite system，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。

电子设备100通过GPU，显示屏194，以及应用处理器等可以实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

电子设备100可以通过ISP，一个或多个摄像头193，视频编解码器，GPU，一个或多个显示屏194以及应用处理器等实现拍摄功能。

摄像头193用于捕获图像。可以通过应用程序指令触发开启，实现拍摄功能，如拍摄获取任意场景的图像。摄像头可以包括成像镜头、滤光片、图像传感器等部件。物体发出或发射的关系进入成像镜头，通过滤光片，最终汇聚在图像传感器上。图像传感器主要是用于对拍摄视角中的所有物体（也可称为待拍摄场景、目标场景，也可以理解为用户期待拍摄的场景图像）发出或发射的光汇聚成像。滤光片主要是用于将光线中的多余光波（例如，除可见光外的光波，如红外）滤去。图像传感器主要用于对接收到的光信号进行光电转换，转换成电信号，并输入处理器130进行后续处理。其中，摄像头193可以位于电子设备100的前面，也可以位于电子设备100的背面，摄像头193的具体个数以及排布方式可以根据需求设置，对此本申请不作具体限定。在具有折叠屏幕的电子设备中，摄像头193可以位于折叠屏幕一侧，也可以位于折叠屏幕的背面。

示例性的，电子设备100包括前置摄像头和后置摄像头。例如，前置摄像头或后置摄像头均可以包括1个或多个摄像头。一种示例中，电子设备启动2个前置摄像头进行自拍，拍摄过程中，可以使用本申请实施例提供的图像处理方法。另一种示例中，电子设备启动2个后置摄像头进行拍摄，拍摄过程中，可以使用本申请实施例提供的图像处理方法。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐、照片、视频等数据文件保存在外部存储卡中。

内部存储器121可以用于存储一个或多个计算机程序，该一个或多个计算机程序包括指令。处理器110可以通过运行存储在内部存储器121的上述指令，从而使得电子设备100执行各种功能应用以及数据处理等。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统；该存储程序区还可以存储一个或多个应用程序(比如图库、联系人等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如照片，联系人等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flashstorage，UFS)等。在一些实施例中，处理器110可以通过运行存储在内部存储器121的指令，和/或存储在设置于处理器110中的存储器的指令，来使得电子设备100执行各种功能应用及数据处理。

内部存储器121还可以存储本申请实施例提供的图像处理方法的软件代码，但处理器110运行软件代码时，执行图像处理方法的流程步骤，以得到清晰度较高的图像。

内部存储器121还可以存储拍摄得到的图像（经算法处理后的融合图像）。

电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

传感器180可以包括压力传感器，陀螺仪传感器，气压传感器，磁传感器，加速度传感器，距离传感器，接近光传感器，指纹传感器，温度传感器，触摸传感器，环境光传感器，骨传导传感器等。

可以理解的是，本实施例示意的结构并不构成对电子设备100的具体限定。在另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件，或软件和硬件的组合实现。

电子设备的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的软件系统为安卓（Android）系统为例，示例性说明电子设备的软件结构。分层架构将电子设备的软件系统分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，如图4所示，电子设备的软件系统架构中可以包括应用程序层、应用程序框架层、硬件抽象层以及驱动层。

应用程序层可以包括一系列应用程序包。应用程序层包括例如相机，闹钟，电话，视频，音乐，图库，日历，地图，导航，蓝牙，短信息等应用程序。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层可以包括一些预定义的函数。在本申请实施例中，应用程序框架层包括采集引擎，采集引擎可用于控制摄像头马达的对焦，例如控制主摄、长焦或广角摄像头的马达对焦，采集引擎还可用于控制图像传感器获取原始图像数据，即RAW图像数据。

硬件抽象层包括感知引擎、决策引擎、处理引擎等。其中，感知引擎可用于对摄像头采集的图像进行目标检测，主要是检测目标的有无，例如检测主摄摄像头采集的图像中是否有人像。决策引擎可用于检测目标在图像中的具体位置，例如检测人像所在区域，决策引擎还可用于根据采集引擎采集的多个摄像头的对焦位置，确定是否执行本申请实施例提供的图像处理方法，即确定是否执行对多摄像头的融合图像进行图像修复。在确定需要执行本申请实施例提供的图像处理方法时，决策引擎通知处理引擎，处理引擎中包括多种图像处理算法，例如图像融合算法、图像修复算法等，处理引擎可根据决策引擎的通知，执行一个或多个图像处理算法，例如，在本申请实施例中，处理引擎先执行图像融合算法，将主摄摄像头和长焦摄像头采集的图像进行图像融合，得到融合图像，再基于该融合图像执行图像修复算法，以修复融合图像中前景目标边缘区域，提升前景目标边缘区域的清晰度。

驱动层用于为不同硬件设备提供驱动。在本申请实施例中，驱动层可以包括相机驱动，相机驱动包括摄像头驱动，图像传感器驱动等。摄像头驱动可以包括例如主摄摄像头驱动、长焦摄像头驱动、广角摄像头驱动，分别用于驱动主摄摄像头、长焦摄像头、广角摄像头工作。图像传感器驱动用于驱动图像传感器工作。

需要说明的是，图4示出的电子设备层级结构中的层以及各层中包含的模块或部件，并不构成对电子设备的具体限定。在另一些实施例中，电子设备可以包括比图示更多或更少的层，以及每个层中可以包括更多或更少的部件，本申请不做限定。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以独立实现，也可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

示例性的，图5为本申请实施例提供的一种图像处理方法的流程示意图。本实施例的图像处理方法可应用于任意电子设备或图像处理装置，如图5所示，该图像处理方法，可以包括以下步骤：

S501. 获取第一摄像头采集的第一图像和第二摄像头采集的第二图像。

其中，第一摄像头和第二摄像头的视场角不同，第一图像和第二图像均包括目标对象。目标对象可以是具有不规则边缘区域的任意对象，例如，目标对象可以包括但不限于人像、动物、车辆等。

本实施例中，第一图像和第二图像可以为拍摄得到的图像，也可以为拍摄得到的视频中的某一帧图像，对此本申请实施例不作任何限定。第一图像和第二图像均为RAW图像。第一图像和第二图像中的目标对象所在区域为前景区域，除去目标对象外的区域为背景区域。

示例性的，以电子设备为手机为例，一种示例中，第一摄像头为手机的主摄摄像头，第二摄像头为手机的长焦摄像头，主摄摄像头的视场角大于长焦摄像头的视场角，相较于主摄摄像头采集的第一图像中目标对象，长焦摄像头采集的第二图像中目标对象被放大且更加清晰。另一种示例中，第一摄像头为手机的主摄摄像头，第二摄像头为手机的广角摄像头，广角摄像头的视场角大于主摄摄像头的视场角，相较于广角摄像头采集的第二图像中目标对象，主摄摄像头采集的第一图像中目标对象被放大且更加清晰。又一种示例中，第一摄像头为手机的广角摄像头，第二摄像头为手机的长焦摄像头，广角摄像头的视场角大于长焦摄像头的视场角，相较于广角摄像头采集的第一图像中目标对象，长焦摄像头采集的第二图像中目标对象被放大且更加清晰。

在一些实施例中，在获取第一摄像头采集的第一图像和第二摄像头采集的第二图像之前，还包括：响应于开启相机应用的第二操作，控制开启第一摄像头；响应于调节放大倍率的第三操作，在调节后的放大倍率在预设放大倍率区间时，控制开启第二摄像头。

示例性的，第一摄像头为主摄摄像头，第二摄像头为长焦摄像头。开启相机后，默认开启主摄摄像头，在用户调节放大倍率至第一放大倍率区间时，开启长焦摄像头，此时主摄摄像头和长焦摄像头同时工作，第一摄像头采集第一图像，第二摄像头采集第二图像。

用户开启相机后，通常仅开启一个摄像头，如第一摄像头，在用户调节放大倍率至预设放大倍率区间时，电子设备开启第二摄像头，用于辅助拍摄。设备获取第一摄像头和第二摄像头采集的图像后，经图像处理后显示处理后的图像，图像处理包括图像融合、图像修复等。

S502. 对第一图像和第二图像进行图像融合，得到第三图像。

第三图像为第一图像和第二图像的融合图像，受限于图像融合算法，第三图像中目标对象的边缘区域的图像清晰度小于预设值。相较于第三图像中的其他区域，如目标对象所在的区域或者背景区域，第三图像中目标对象的边缘区域的图像较模糊，清晰度不够。

在一些实施例中，在对第一图像和第二图像进行图像融合，得到第三图像之前，可执行以下步骤：对第一图像和第二图像进行预处理和格式转换，获取预设格式的第一图像和第二图像。其中，预处理包括例如降噪、去马赛克、动态范围提升、基础画质提升等处理。预设格式可以为YUV格式或RGB格式，对此本申请实施例不作任何限定。

一种示例中，获取第一图像和第二图像后，首先对第一图像和第二图像进行降噪、去马赛克等处理，再进行一次格式转换，将RAW格式的第一图像和第二图像转换为RGB格式的第一图像和第二图像，对RGB格式的第一图像和第二图像，进行图像融合，得到第三图像。

另一种示例中，获取第一图像和第二图像后，首先对第一图像和第二图像进行降噪、去马赛克等处理，再进行二次格式转换，将RAW格式的第一图像和第二图像转换为RGB格式的第一图像和第二图像，再将RGB格式的第一图像和第二图像转换为YUV格式的第一图像和第二图像。对YUV格式的第一图像和第二图像，进行图像融合，得到第三图像。

在一些实施例中，对预设格式的第一图像和第二图像进行图像融合，可以包括：对预设格式的第一图像和第二图像进行图像配准，获取预设格式的第一图像和第二图像的匹配区域和未匹配区域；对匹配区域进行图像融合，对未匹配区域不作处理，得到第三图像。

一种示例中，可以使用尺度不变特征变换（scale-invariant featuretransform，SIFT）图像匹配算法，该算法是通过提取两张图像的SIFT特征点，将这两张图像的特征点通过预设方法进行位置对齐，得到空间位置相同的图像过程。

一种示例中，第一图像为较大视场角摄像头采集的图像，第二图像为较小视场角摄像头采集的图像。可以理解的是，较大视场角摄像头采集的图像内容包含较小视场角摄像头采集的图像内容，因此第一图像的图像内容包含第二图像的图像内容。视场角越大，拍摄的图像细节信息越少，图像越不清晰，因此，第一图像相对于第二图像捕捉的细节信息较少，清晰度较低，而第二图像的细节更丰富，清晰度更高。在对第一图像和第二图像的匹配区域进行图像融合时，可以通过提取第二图像的纹理信息，将提取的纹理信息添加至第一图像中对应的区域中，实现图像融合。由于第二图像相对于第一图像有更多细节，清晰度更高，因此，将第二图像的纹理信息添加至第一图像中对应的区域，可以提高对应区域的图像清晰度。可以理解的是，本示例中，添加第二图像的纹理信息至第一图像对应的区域，该区域即第一图像和第二图像的匹配区域。

由于第一图像和第二图像分别来自不同的两个摄像头，这两个摄像头的空间位置不同，拍摄存在视差，导致第一图像和第二图像有部分区域的内容不一致。上述的匹配区域可以理解为第一图像和第二图像中内容一致的区域，上述的未匹配区域可以理解为第一图像和第二图像中内容不一致的区域。

由于只对第一图像和第二图像的匹配区域进行图像融合，未匹配区域无法进行图像融合，匹配区域的图像质量优于未匹配区域的图像质量，如区域的图像清晰度，导致图像融合后的第三图像中出现局部清晰局部模糊。

上述未匹配区域通常是图像中前景目标的边缘区域，因此，经图像融合后，第三图像中目标对象的边缘区域的图像清晰度较低。

在一些实施例中，可通过S503至S504，对第三图像中前景目标的边缘区域进行处理，以优化前景目标的边缘区域的图像质量。

S503. 获取第三图像中目标对象的边缘区域的第一图像掩膜。其中，第一图像掩膜用于指示目标对象的边缘区域在第三图像的位置信息。

一种示例中，可通过如下步骤获取第一图像掩膜：

S5031. 通过目标分割网络对第三图像进行处理，得到第三图像中目标对象的第二图像掩膜，第二图像掩膜用于指示目标对象在第三图像的位置信息。

本实施例中，目标分割网络可用于从输入图像中检测出前景目标的图像区域以及背景图像区域。目标分割网络可以采用现有任意一种用于进行图像分割处理的神经网络，对此本实施例不作任何限定。

示例性的，将第三图像输入目标分割网络，目标分割网络可以输出第三图像中目标对象的掩膜，即上述的第二图像掩膜。可以理解的是，通过第三图像与目标对象的掩膜相乘，可以得到目标对象所在的图像区域，即前景目标的图像区域。通过第三图像与（1-目标对象的掩膜）相乘，可以得到第三图像中除目标对象之外的图像区域，即背景图像区域。

一种示例中，第三图像中包括人像，目标分割网络可用于检测第三图像中人像的图像区域，可称之为人像分割网络。将第三图像输入至人像分割网络，可以得到人像掩膜。通过第三图像与人像掩膜相乘，可以得到人像所在的图像区域，即第三图像中的前景图像区域。通过第三图像与（1-人像掩膜）相乘，可以得到除人像之外的图像区域，即第三图像中的背景图像区域。

示例性的，图6中a所示的图像中包括人像，将该图像输入人像分割网络，得到图6中b所示的人像掩膜，人像所在的图像区域的像素值为1，人像之外的图像区域的像素值为0。

S5032. 基于第二图像掩膜和膨胀系数，得到第三图像掩膜，第三图像掩膜用于指示目标对象向外围膨胀后在第三图像的位置信息。

在一些实施例中，可根据第三图像的景深（即前景深和后景深之和）确定膨胀系数。在限定的景深范围内，图像景深越大，膨胀系数越大。膨胀系数用于对目标对象的第二图像掩膜进行膨胀处理，可以使得前景图像区域向外扩展，得到膨胀后的掩膜，即上述的第三图像掩膜。

S5033. 通过对第三图像掩膜和第二图像掩膜进行作差，获取第一图像掩膜。

示例性的，第三图像中包括人像，图6中b所示的人像掩膜为第二图像掩膜，图6中c所示的人像掩膜为第三图像掩膜，通过对第三图像掩膜和第二图像掩膜进行作差，可以得到图6中d所示的第一图像掩膜，第一图像掩膜用于指示人像的边缘区域在第三图像的位置。

S504. 基于第一图像掩膜和第三图像，对第三图像中目标对象的边缘区域进行像素级图像修复，得到第四图像。

在一些实施例中，基于第一图像掩膜和第三图像，得到第五图像，第五图像包括空洞区域；基于第五图像中空洞区域的外围图像块，对空洞区域进行像素级图像修复，得到第四图像。其中，空洞区域可对应第三图像中目标对象的边缘区域，空洞区域是基于第一图像掩膜得到的，空洞区域的像素值为0，空洞区域为第五图像中的待修复区域。

一种示例中，将第五图像输入预训练的图像修复网络，图像修复网络提取第五图像中空洞区域的外围图像块的特征信息；基于空洞区域的外围图像块的特征信息，确定空洞区域的特征信息；基于空洞区域的特征信息，填充空洞区域，得到第四图像。其中特征信息包括灰度值、纹理等信息。通过学习空洞区域外围图像块的特征信息，以优化空洞区域中每个像素块，使得填充后的该区域图像质量得到提升。

其中，图像修复网络可以为预先训练的神经网络。例如，图像修复网络可以为预先训练的卷积神经网络。又例如，图像修复网络可通过encoder-decoder网络结构和GAN，利用L2损失（reconstruction loss）和对抗损失（adversarial loss）来修复图像。再例如，图像修复网络包括内容网络和结构网络，内容网络采用encoder-decoder网络结构，其损失函数使用L2损失和对抗损失的组合，结构网络采用训练好的VGG（visual geometry group）分类网络，该网络可以保留图像纹理结构，且通过分类网络的中间层生成高频细节。对于图像修复网络的具体结构，本申请实施例不作限定。图像修复网络的训练过程可参照后续图6的相关描述。

S505. 显示第四图像。

本步骤为可选步骤，第四图像中目标对象的边缘区域的图像清晰度大于或等于预设值。

在一些实施例中，第四图像可以是用户按下拍摄按钮后拍摄的图像。示例性的，用户在拍摄预览界面调节放大倍率至预设放大倍率区间，点击拍摄按钮后，执行上述步骤S501至S504，最终显示处理后的拍摄图像，该图像是经算法处理后的融合图像。

本申请实施例示出的图像处理方法，电子设备通过获取第一摄像头采集的第一图像以及第二摄像头采集的第二图像，对第一图像和第二图像进行图像融合，得到图像融合后的第三图像，由于第一摄像头和第二摄像头视场角的不同，导致第一图像和第二图像中目标对象的边缘区域配准失败，该边缘区域的清晰度小于预设值。对此，通过获取第三图像中目标对象的边缘区域的掩膜，基于该掩膜和第三图像，对第三图像中目标对象的边缘区域进行像素级图像修复，得到修复后的第四图像，第四图像中目标对象的边缘区域的清晰度大于或等于预设值，提升了融合图像前景边缘区域的图像质量。在一种实现方式中，可通过预先训练的图像修复网络对第三图像中目标对象的边缘区域进行像素级图像修复，生成修复后的第四图像，其中图像修复网络是通过大量样本图像训练得到的，图像修复网络能够学习第三图像中目标对象的边缘区域外围的图像块的特征，以修复目标对象的边缘区域，能够提升边缘清晰度不足的问题，提高融合图像的图像质量。

下面结合图6对本申请实施例提供的图像修复网络的训练方法进行详细说明。图6为本申请实施例提供的图像修复网络的训练方法的示意图。如图6所示，该训练方法，包括：

S601. 获取预设数量的样本图像。

样本图像为多摄拍摄的图像，样本图像中前景目标的边缘区域的清晰度大于预设值。

S602. 通过目标分割网络，获取样本图像中前景目标的掩膜。

样本图像中前景目标包括但不限于是人像、车辆、动物等。前景目标的掩膜用于指示前景目标在样本图像中的位置信息。

S603. 基于样本图像中前景目标的掩膜和膨胀系数，得到膨胀后的前景目标的掩膜。

膨胀系数可根据样本图像的前后景深距离确定。可以理解的是，不同的样本图像中前后景深距离可能不同，因此需要针对每张样本图像，确定其对应的膨胀系数，进而获取膨胀后的前景目标的掩膜。

S604. 通过对膨胀后的前景目标的掩膜和膨胀前的前景目标的掩膜作差，得到前景目标的边缘区域的掩膜。

S605. 基于前景目标的边缘区域的掩膜和样本图像，得到去除边缘区域的图像。

S606. 将去除边缘区域的图像作为图像修复网络的输入，将样本图像作为图像修复网络的输出，对图像修复网络进行训练，直至网络的损失函数收敛。

去除边缘区域的图像与样本图像可以看作是一组训练数据，将去除边缘区域的图像输入图像修复网络，得到预测的修复图像，根据预测的修复图像和样本图像确定损失函数，通过反向传播算法更新图像修复网络中的参数，直至损失函数收敛。

训练好的图像修复网络可预置于电子设备或图像处理装置中，可用于端侧离线状态下的图像修复。本申请实施例提供的训练方法，通过构建图像修复网络的多组训练数据，通过多组训练数据训练，使得图像修复网络能够很好地修复多摄拍摄的图像中前景和后景边缘区域的图像清晰度。

示例性的，图7为本申请实施例提供的一种图像处理方法的流程示意图。本实施例的图像处理方法可应用于任意电子设备或图像处理装置，下面以电子设备为例进行说明，如图7所示，该图像处理方法，可以包括以下步骤：

S701. 在电子设备同时开启第一摄像头和第二摄像头时，采集引擎控制第一摄像头和第二摄像头的马达对焦。

S702. 采集引擎控制图像传感器获取第一摄像头采集的第一图像和第二摄像头采集的第二图像。

一种示例中，用户开启电子设备的相机应用，电子设备开启第一摄像头，用户调节放大倍率至预设放大倍率时，电子设备开启第二摄像头。例如，用户开启相机，电子设备开启主摄摄像头，用户切换到大视场角所在焦段（通过调节放大倍率调焦）时，电子设备开启长焦摄像头，此时主摄和长焦摄像头同时开启。

第一图像和第二图像中均包括目标对象，为了便于理解，下面以目标对象为人像进行方案说明。由于第一摄像头和第二摄像头为非同轴摄像头，在拍摄同一人像时，拍摄的图像存在视差，即第一图像和第二图像有部分区域的内容不一致，例如在人像头部的边缘区域，第一图像和第二图像的内容发生平移或旋转。

在一些实施例中，图像传感器获取第一图像和第二图像，可将第一图像和第二图像缓存至buffer（缓冲区）中，以便在后续图像处理时从buffer获取原始的图像数据。

S703. 感知引擎从采集引擎获取图像。

在一些实施例中，感知引擎获取的图像为主摄摄像头采集的图像，该图像为第一图像或第二图像。

S704. 在检测到图像中存在人像时，感知引擎向决策引擎传输通知消息。

在一些实施例中，感知引擎从buffer中获取第一图像或第二图像，检测第一图像或第二图像中是否存在人像，在检测到人像时，向决策引擎传输通知消息，以便决策引擎进一步确定是否需要进行图像修复。

示例性的，第一摄像头为主摄摄像头，感知引擎可从buffer中获取第一摄像头采集的第一图像，在检测到第一图像中存在人像时，感知引擎向决策引擎传输通知消息，以便决策引擎进一步确定是否需要进行图像修复。

S705. 响应于通知消息，决策引擎判断第一摄像头和第二摄像头的对焦位置是否相同。

若第一摄像头和第二摄像头的对焦位置相同，则执行S706。

若第一摄像头和第二摄像头的对焦位置不同，则执行S707。

S706. 决策引擎通知处理引擎执行图像融合流程。

S707. 决策引擎通知处理引擎执行图像融合流程和图像修复流程。

在一些实施例中，决策引擎通知处理引擎执行图像融合流程之后，包括：

S7061. 处理引擎采用图像融合算法对第一图像和第二图像进行图像融合，得到第三图像。

S7062. 处理引擎通知显示引擎显示第三图像。

图像融合的原理可参见上文实施例的S502，此处不再赘述。本实施例中，由于第一摄像头和第二摄像头拍摄时的对焦位置相同，两个摄像头的视场角相同，采集的第一图像和第二图像经图像融合后，图像中人像边缘区域的清晰度可满足预设值，因此处理引擎仅对第一图像和第二图像作图像融合处理。

在一些实施例中，决策引擎通知处理引擎执行图像融合流程和图像修复流程之后，包括：

S7071. 处理引擎采用图像融合算法对第一图像和第二图像进行图像融合，得到第三图像。

本实施例中，由于第一摄像头和第二摄像头拍摄时的对焦位置不同，两个摄像头的视场角不同，采集的第一图像和第二图像经图像融合后，图像中人像边缘区域的清晰度无法满足预设值，因此处理引擎在对第一图像和第二图像作图像融合处理后，需要作图像修复处理，以提升融合图像中人像边缘区域的清晰度。

S7072. 处理引擎通过人像分割网络对获第三图像进行处理，得到第三图像中人像掩膜，人像掩膜用于指示人像在第三图像的位置信息。

S7073. 处理引擎基于人像掩膜和膨胀系数，得到膨胀后的人像掩膜，膨胀后的人像掩膜用于指示人像向外围膨胀后在第三图像的位置信息。

S7072和S7073可分别参照前文实施例的S5031和S5032，此处不再赘述。

S7074. 通过对膨胀后的人像掩膜和膨胀前的人像掩膜进行作差，得到人像边缘区域掩膜。

其中，人像边缘区域掩膜用于指示人像的边缘区域在点第三图像的位置信息。参照图6，膨胀前的人像掩膜如图6中b所示，膨胀后的人像掩膜如图6中c所示，膨胀前/后的人像区域的像素值为1，膨胀前/后的人像区域之外的像素值为0。人像边缘区域掩膜=膨胀后的人像掩膜-膨胀前的人像掩膜，人像边缘区域掩膜如图6中d所示，人像边缘区域的像素值为1，人像边缘区域之外的像素值为0。

S7075. 处理引擎基于人像边缘区域掩膜和第三图像，对第三图像中人像的边缘区域进行像素级图像修复，得到第四图像。

上述S7072至S7075为图像修复流程。S7075的实现原理和效果，可参照前文实施例的S504，此处不再赘述。

S7076. 处理引擎通知显示引擎显示第四图像。

本申请实施例示出的图像处理方法，涉及电子设备内部模块之间的交互，在电子设备开启双摄像头拍摄时，采集引擎负责控制双摄像头对焦和出图，感知引擎检测图像中是否有人像，若检测到图像中有人像，感知引擎通知决策引擎，由决策引擎决策是仅执行图像融合算法，还是先执行图像融合算法后执行图像修复算法。若决策引擎确定双摄像头的对焦位置不同，决策引擎通知处理引擎先执行图像融合算法后执行图像修复算法，经处理引擎处理后的图像，其人像边缘区域的清晰度得到提升，图像质量更优。

需要说明的是，上述几个实施例均已两个图像的图像融合和修复为例，对于两个以上图像的图像融合和修复可参照上述几个实施例，其实现原理和效果类似，对此图像处理的图像数量，本申请实施例不作具体限定。

本申请实施例提供的图像处理方法，还可以适用于各种图像处理装置。图8为本申请实施例提供的一种图像处理装置的示意图。如图8所示，该图像处理装置800，包括：

获取模块801，用于获取第一摄像头采集的第一图像和第二摄像头采集的第二图像，所述第一摄像头和所述第二摄像头的视场角不同，所述第一图像和所述第二图像均包括所述目标对象；

处理模块802，用于对所述第一图像和所述第二图像进行图像融合，得到第三图像，所述第三图像中所述目标对象的边缘区域的图像清晰度小于预设值；

获取模块801，用于获取所述第三图像中所述目标对象的边缘区域的第一图像掩膜，所述第一图像掩膜用于指示所述目标对象的边缘区域在所述第三图像的位置信息；

处理模块802，用于基于所述第一图像掩膜和所述第三图像，对所述第三图像中所述目标对象的边缘区域进行像素级图像修复，得到第四图像；所述第四图像中所述目标对象的边缘区域的图像清晰度大于或等于所述预设值。

一种可选的实施例中，处理模块802，用于基于所述第一图像掩膜和所述第三图像，得到第五图像，所述第五图像包括空洞区域，所述空洞区域是基于所述第一图像掩膜得到的，所述空洞区域的像素值为0；基于所述第五图像中所述空洞区域的外围图像块，对所述空洞区域进行像素级图像修复，得到所述第四图像。

一种可选的实施例中，处理模块802，用于将所述第五图像输入预训练的图像修复网络，所述图像修复网络提取所述第五图像中所述空洞区域的外围图像块的特征信息；基于所述空洞区域的外围图像块的特征信息，确定所述空洞区域的特征信息；基于所述空洞区域的特征信息，填充所述空洞区域，得到所述第四图像。

一种可选的实施例中，该图像处理装置800，还包括：控制模块803；

获取模块801获取第一摄像头采集的第一图像和第二摄像头采集的第二图像之前，控制模块803，用于响应于开启相机应用的第二操作，控制开启所述第一摄像头；响应于调节放大倍率的第三操作，在调节后的放大倍率在预设放大倍率区间时，控制开启所述第二摄像头。

一种可选的实施例中，获取模块801获取所述第三图像中所述目标对象的边缘区域的第一图像掩膜之前，处理模块802，用于判断是否满足以下条件：所述第一摄像头或所述第二摄像头采集的图像中检测到所述目标对象；所述第一摄像头和所述第二摄像头的对焦位置不同；若满足上述条件，获取模块801执行获取所述第三图像中所述目标对象的边缘区域的第一图像掩膜的步骤。

一种可选的实施例中，获取模块801，用于通过目标分割网络对所述第三图像进行处理，得到所述第三图像中所述目标对象的第二图像掩膜，所述第二图像掩膜用于指示所述目标对象在所述第三图像的位置信息；基于所述第二图像掩膜和膨胀系数，得到第三图像掩膜，所述第三图像掩膜用于指示所述目标对象向外围膨胀后在所述第三图像的位置信息；通过对所述第三图像掩膜和所述第二图像掩膜进行作差，获取所述第一图像掩膜。

一种可选的实施例中，所述膨胀系数与所述第三图像的景深正相关，所述第三图像的景深越大，所述膨胀系数越大。

一种可选的实施例中，所述第一图像和所述第二图像为RAW图像，所述处理模块802，用于：对所述第一图像和所述第二图像进行预处理和格式转换，获取预设格式的第一图像和第二图像；对所述预设格式的第一图像和第二图像进行图像配准，获取所述预设格式的第一图像和第二图像的匹配区域和未匹配区域；对所述匹配区域进行图像融合，对所述未匹配区域不作处理，得到所述第三图像。

本申请实施例的图像处理装置可集成在电子设备中，其实现原理和技术效果与上述方法实施例类似，此处不再赘述。

需要说明的是，本申请实施例并未特别限定一种图像处理方法的执行主体的具体结构，只要可以通过运行存储有本申请实施例的一种图像处理方法的代码，以根据本申请实施例提供的一种图像处理方法进行处理即可。例如，本申请实施例提供的一种图像处理方法的执行主体可以是电子设备中能够调用程序并执行程序的功能模块，或者为应用于电子设备中的处理装置，例如，该处理装置为芯片。

上述实施例中，“模块”可以是实现上述功能的软件程序、硬件电路或二者结合。硬件电路可能包括应用特有集成电路（application specific integrated circuit，ASIC）、电子电路、用于执行一个或多个软件或固件程序的处理器（例如共享处理器、专有处理器或组处理器等）和存储器、合并逻辑电路和/或其他支持所描述的功能的合适组件。

因此，在本申请实施例中描述的各示例的模块，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件形式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例还提供一种电子设备包括：至少两个摄像头，处理器和存储器；所述至少两个摄像头与所述处理器连接；所述至少两个摄像头用于将采集的图像传输至所述处理器，所述处理器用于执行所述存储器存储的计算机执行指令，使得所述电子设备执行如上述方法实施例中的技术方案。其实现原理和技术效果与上述相关实施例类似，此处不再赘述。

存储器可以是只读存储器（read-only memory，ROM）或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器（random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器（electricallyerasable programmable read-only memory，EEPROM）、只读光盘（compact disc read-only memory，CD-ROM）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

存储器可以是独立存在，通过通信线路与处理器相连接。存储器也可以和处理器集成在一起。

处理器可以是通用中央处理器（central processing unit，CPU），微处理器，特定应用集成电路（application-specific integrated circuit，ASIC），或一个或多个用于控制本申请方案程序执行的集成电路。

本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行以实现上述实施例的技术方案，其实现原理和技术效果与上述相关实施例类似，此处不再赘述。

本申请实施例提供一种芯片，芯片包括处理器，处理器用于调用存储器中的计算机程序，以执行上述实施例中的技术方案，其实现原理和技术效果与上述相关实施例类似，此处不再赘述。

本申请实施例提供一种计算机程序产品，当所述计算机程序产品在电子设备运行时，使得所述电子设备执行上述实施例中的技术方案，其实现原理和技术效果与上述相关实施例类似，此处不再赘述。

以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (11)

1.一种图像处理方法，其特征在于，应用于电子设备，所述电子设备包括第一摄像头和第二摄像头，所述方法包括：

在所述电子设备开启所述第一摄像头和所述第二摄像头的情况下，获取所述第一摄像头采集的第一图像和所述第二摄像头采集的第二图像，所述第一摄像头和所述第二摄像头的视场角不同，所述第一图像和所述第二图像均包括目标对象；

对所述第一图像和所述第二图像进行图像融合，得到第三图像，所述第三图像中所述目标对象的边缘区域的图像清晰度小于预设值；

获取所述第三图像中所述目标对象的边缘区域的第一图像掩膜，所述第一图像掩膜用于指示所述目标对象的边缘区域在所述第三图像的位置信息；

基于所述第一图像掩膜和所述第三图像，对所述第三图像中所述目标对象的边缘区域进行像素级图像修复，得到第四图像；所述第四图像中所述目标对象的边缘区域的图像清晰度大于或等于所述预设值。

2.根据权利要求1所述的方法，其特征在于，基于所述第一图像掩膜和所述第三图像，对所述第三图像中所述目标对象的边缘区域进行像素级图像修复，得到第四图像，包括：

基于所述第一图像掩膜和所述第三图像，得到第五图像，所述第五图像包括空洞区域，所述空洞区域是基于所述第一图像掩膜得到的，所述空洞区域的像素值为0；

基于所述第五图像中所述空洞区域的外围图像块，对所述空洞区域进行像素级图像修复，得到所述第四图像。

3.根据权利要求2所述的方法，其特征在于，基于所述第五图像中所述空洞区域的外围图像块，对所述空洞区域进行像素级图像修复，得到所述第四图像，包括：

将所述第五图像输入预训练的图像修复网络，所述图像修复网络提取所述第五图像中所述空洞区域的外围图像块的特征信息；

基于所述空洞区域的外围图像块的特征信息，确定所述空洞区域的特征信息；

基于所述空洞区域的特征信息，填充所述空洞区域，得到所述第四图像。

4.根据权利要求1所述的方法，其特征在于，获取第一摄像头采集的第一图像和第二摄像头采集的第二图像之前，所述方法还包括：

响应于开启相机应用的第二操作，控制开启所述第一摄像头；

响应于调节放大倍率的第三操作，在调节后的放大倍率在预设放大倍率区间时，控制开启所述第二摄像头。

5.根据权利要求1所述的方法，其特征在于，获取所述第三图像中所述目标对象的边缘区域的第一图像掩膜之前，所述方法还包括：

判断是否满足以下条件：所述第一摄像头或所述第二摄像头采集的图像中检测到所述目标对象；所述第一摄像头和所述第二摄像头的对焦位置不同；

若满足上述条件，执行获取所述第三图像中所述目标对象的边缘区域的第一图像掩膜的步骤。

6.根据权利要求1所述的方法，其特征在于，获取所述第三图像中所述目标对象的边缘区域的第一图像掩膜，包括：

通过目标分割网络对所述第三图像进行处理，得到所述第三图像中所述目标对象的第二图像掩膜，所述第二图像掩膜用于指示所述目标对象在所述第三图像的位置信息；

基于所述第二图像掩膜和膨胀系数，得到第三图像掩膜，所述第三图像掩膜用于指示所述目标对象向外围膨胀后在所述第三图像的位置信息；

通过对所述第三图像掩膜和所述第二图像掩膜进行作差，获取所述第一图像掩膜。

7.根据权利要求6所述的方法，其特征在于，所述膨胀系数与所述第三图像的景深正相关，所述第三图像的景深越大，所述膨胀系数越大。

8.根据权利要求1至7任一项所述的方法，其特征在于，所述第一图像和所述第二图像为原始图像格式RAW格式的图像，对所述第一图像和所述第二图像进行图像融合，得到第三图像之前，所述方法还包括：对所述第一图像和所述第二图像进行预处理和格式转换，获取预设格式的第一图像和第二图像；

对所述第一图像和所述第二图像进行图像融合，得到第三图像，包括：

对所述预设格式的第一图像和第二图像进行图像配准，获取所述预设格式的第一图像和第二图像的匹配区域和未匹配区域；

对所述匹配区域进行图像融合，对所述未匹配区域不作处理，得到所述第三图像。

9.一种图像处理装置，其特征在于，包括：

获取模块，用于获取第一摄像头采集的第一图像和第二摄像头采集的第二图像，所述第一摄像头和所述第二摄像头的视场角不同，所述第一图像和所述第二图像均包括目标对象；

处理模块，用于对所述第一图像和所述第二图像进行图像融合，得到第三图像，所述第三图像中所述目标对象的边缘区域的图像清晰度小于预设值；

所述获取模块，还用于获取所述第三图像中所述目标对象的边缘区域的第一图像掩膜，所述第一图像掩膜用于指示所述目标对象的边缘区域在所述第三图像的位置信息；

所述处理模块，还用于基于所述第一图像掩膜和所述第三图像，对所述第三图像中所述目标对象的边缘区域进行像素级图像修复，得到第四图像；所述第四图像中所述目标对象的边缘区域的图像清晰度大于或等于所述预设值。

10.一种电子设备，其特征在于，包括：

至少两个摄像头，处理器和存储器；所述至少两个摄像头与所述处理器连接；

所述至少两个摄像头用于将采集的图像传输至所述处理器，所述处理器用于执行所述存储器存储的计算机执行指令，使得所述电子设备执行如权利要求1至8任一项所述的方法。

11.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的方法。