CN117354625A - 图像处理方法及装置、电子设备、可读存储介质 - Google Patents

Abstract

本申请提供一种图像处理方法及装置、电子设备、可读存储介质。所述图像处理方法应用于电子设备，所述电子设备包括等效焦距不同的第一摄像头和第二摄像头，所述第一摄像头和所述第二摄像头分别用于获取当前目标拍摄场景的第一图像和第二图像，所述方法包括：确定所述第一图像和所述第二图像中的感兴趣区域；在所述第一摄像头与所述第二摄像头切换的过程中，利用第一空间对齐算法，对所述第一图像和所述第二图像中的所述感兴趣区域进行空间对齐处理；其中，所述感兴趣区域包括：所述当前目标拍摄场景中的焦平面区域和/或所述电子设备的用户关注的区域。

Description

图像处理方法及装置、电子设备、可读存储介质

技术领域

本申请涉及图像处理技术领域，更为具体的，涉及一种图像处理方法及装置、电子设备、可读存储介质。

背景技术

为了满足用户的拍摄需求，电子设备(例如手机)中通常设置多个对应不同等效焦距的摄像头。当需要从一个摄像头切换到另一个摄像头时，为了实现平滑变焦，防止画面突变，可以使用空间对齐(spatial alignment transform，SAT)技术。

相关技术中广泛采用算力平铺的方式对整张图片进行空间对齐处理，然而，随着图像的分辨率和图像采集帧率的大幅提高，上述方法难以突出重点区域的空间对齐效果，并且对电子设备硬件的处理能力提出了较高的要求。

发明内容

本申请提供一种图像处理方法及装置、电子设备、可读存储介质。下面对本申请实施例涉及的各个方面进行介绍。

第一方面，提供一种图像处理方法，应用于电子设备，所述电子设备包括等效焦距不同的第一摄像头和第二摄像头，所述第一摄像头和所述第二摄像头分别用于获取当前目标拍摄场景的第一图像和第二图像，所述方法包括：确定所述第一图像和所述第二图像中的感兴趣区域；在所述第一摄像头与所述第二摄像头切换的过程中，利用第一空间对齐算法，对所述第一图像和所述第二图像中的所述感兴趣区域进行空间对齐处理；其中，所述感兴趣区域包括：所述当前目标拍摄场景中的焦平面区域和/或所述电子设备的用户关注的区域。

第二方面，提供一种图像处理装置，应用于电子设备，所述电子设备包括等效焦距不同的第一摄像头和第二摄像头，所述装置包括：前端图像处理单元，用于接收所述第一摄像头和所述第二摄像头获取的当前目标拍摄场景的第一图像和第二图像，并确定所述第一图像和所述第二图像中的感兴趣区域；后端图像处理单元，配置为从所述前端图像处理单元接收所述第一图像数据和所述第二图像数据，在所述第一摄像头与所述第二摄像头切换的过程中，利用第一空间对齐算法，对所述第一图像和所述第二图像中的所述感兴趣区域进行空间对齐处理；其中，所述感兴趣区域包括：所述当前目标拍摄场景中的焦平面区域和/或所述电子设备的用户关注的区域。

第三方面，提供一种电子设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器被配置为执行所述可执行代码，以实现如第一方面所述的方法。

第四方面，提供一种电子设备，包括等效焦距不同的第一摄像头和第二摄像头，所述第一摄像头和所述第二摄像头分别用于获取当前目标拍摄场景的第一图像和第二图像；以及第二方面所述的图像处理装置。

第五方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有可执行代码，当所述可执行代码被执行时，能够实现如第一方面所述的方法。

本申请实施例提供的图像处理方法，在进行摄像头切换时，利用第一空间对齐算法，仅对当前图像采集场景的部分区域(即感兴趣区域)进行空间对齐处理，可以突出该部分区域的平滑效果。同时，由于对其他区域并未进行处理，从而加快了空间对齐的速度，减少了摄像头切换的时间。在应用于高分辨率高帧率场景时，能够在平滑效果与处理效率之间达到平衡。

附图说明

图1是相关技术中使用电子设备的长焦镜头拍摄的照片。

图2是相关技术中电子设备的拍照界面的操作画面。

图3是相关技术中的不同摄像头的视场角示意图。

图4是相关技术提供的电子设备的结构示意图。

图5是图4的电子设备的空间对齐处理流程示意图。

图6是本申请实施例提供的图像处理方法的示意性流程图。

图7是本申请实施例提供的对第一图像和第二图像进行空间对齐处理的示意图。

图8是本申请一实施例提供的图像处理装置的示意性结构图。

图9是图8中的图像处理装置的工作流程示意图。

图10是本申请一实施例提供的电子设备的示意性结构图。

具体实施方式

随着终端技术及半导体技术的发展，为了满足用户多样的拍摄需求，同一终端设备中设置有多个摄像头已经成为终端设备发展的趋势。同一终端设备中配置多个摄像头可以对应不同的焦段，即多个摄像头的等效焦距不同。通过上述多个不同焦段的摄像头，使得终端设备仅通过调变焦倍率，可以在近景拍摄和远景拍摄之间进行切换。

下面首先对具有多个摄像头的电子设备中所包含的几种摄像头进行简要的介绍。

广角摄像头

目前市面上的电子设备的主摄像头(或称主摄)大多数采用等效焦距为28mm左右的广角摄像头。由于28mm的等效焦距更接近于人眼所见的取景范围，在利用该广角摄像头进行拍摄时，会给用户所见即所得的感觉，尤其适合进行人像、建筑、风光以及纪实等题材的拍摄。

并且，作为电子设备的主摄像头，在图像的亮度、色彩、白平衡等方面的表现更好，能够提供更高的画质，因此是使用频率最高的摄像头。

超广角摄像头

相比于广角摄像头，在同一位置下，超广角摄像头能够拍摄更加广阔和具有冲击力的画面。因此，更适合于拍摄风光及建筑。拍摄风景时使用超广角摄像头，不仅可以让更多的风景元素入镜，只要加以构图运用，还可以体现画面的纵深感和空间感，让整个风景照片看起来气势磅礴。

同时，由于超广角摄像头在同一位置下能够获得更加宽广的画面，因此使用超广角摄像头拍摄的照片可以为后期的重新裁切带来巨大的便利。

此外，超广角摄像头天生便有镜头扭曲的特性。即超广角摄像头可以使照片边缘的景物被拉长和放大。在拍摄时，可以充分利用超广角摄像头的变形效果进行构图，例如，通过仰拍使换面呈现出“近大远小”的效果，使画面更具视觉冲击力。又例如，在拍摄建筑时，可以利用超广角摄像头的镜头扭曲特性使得画面中的建筑物具有更加宏伟的感觉。

长焦摄像头

长焦摄像头可以从远处拍摄更高质量的照片。使用长焦摄像头拍摄远处的物体或放大画面中的物体，不会像数码变焦那样导致画质下降。

在不方便走动的情况下，想在杂乱的建筑中取景，单凭电子设备的主摄(通常为广角摄像头)难以抓住拍摄主体。此时，使用电子设备的长焦摄像头拍摄，能让平平无奇的照片更有层次。

图1是相关技术中使用电子设备的长焦镜头拍摄的照片。由图1可以看出，长焦摄像头能够“拉近”背景与前景的距离，从而带来一种空间距离的压缩感，使得整体画面更加充实。这种“压缩感”正是长焦摄像头的特点之一。

长焦摄像头变形小，透视效果弱，能拉近前景与背景之间的距离，增强前后景的关系。因此，使用长焦摄像头拍摄，可以创造一些独特的视觉特效。

利用长焦摄像头的这个特点，还可以借助道路、栏杆等平直延伸的景物充当引导线，把观众的注意力引向画面纵深处的主体。

在用户利用上述具有多个摄像头的电子设备进行拍照时，可以通过在拍照界面的滑动或点按操作，以在上述多个摄像头之间进行切换。请参阅图2，图2示出了相关技术中提供的电子设备的拍照界面的操作画面。其中，图标210为变焦按键，通过对图标210进行点按或滑动操作，可以对当前拍摄的变焦倍率进行选择或切换。

继续参阅图2，通过对图标210进行滑动操作，可以在超广角镜头，广角镜头和长焦镜头之间进行切换。在图2中，图标210中的1x表示当前的变焦倍率为1倍，即当前使用的是广角摄像头。变焦倍率对应的数字越小拍的越广，数字越大拍的越远。通过在图标210上向左或向右滑动，可以调整变焦倍率，例如通过滑动按键将变焦倍率调整为5x或0.5x，则此时拍摄当前图像的摄像头被切换为长焦摄像头或超广角摄像头，以完成图像的拍摄或预览。

根据前文的介绍可知，不同的摄像头(例如主摄、长焦摄像头等)有不同的特点。不同的摄像头在拍摄同一个画面时，拍摄到的画面存在差异。例如，不同焦段的摄像头的视场角(Field of View，FOV)不同；又例如，由于不同摄像头的光轴的错位或者传感器的排布方式等因素，使得不同摄像头所拍摄的画面存在旋转关系；再例如，由于不同摄像头的传感器参数不同，所采集的画面的亮度、曝光度、对比度以及饱和度等关键参数的区别较大。

在进行摄像头切换时，一种最易实现的方式是采用硬切换，将在需要进行摄像头的切换时，将原摄像头(例如广角摄像头)关闭，同时再开启目标摄像头(例如长焦摄像头)。但是，由于不同的摄像头光轴的错位以及多个传感器之间相位的旋转等因素，使在切换时预览或存储的画面存在卡顿或跃变的情况。

因此，如何在变焦的过程中保证镜头切换的流畅性(例如，不出现断流)，以及减少图像的跃变(例如，保证切换前后的图像效果一致)，以确保能够在摄像头之间平滑切换成为需要重点考虑的问题。

空间对齐转换(Spatial Alignment Transform，SAT)是为解决上述问题所提出的一项技术。还以前文中所说的从广角摄像头切换到长焦摄像头为例，在切换过程中，经过SAT算法的处理，使得广角摄像头拍摄的图像不断地向长焦摄像头靠拢；同理，再由超广角摄像头切换到广角摄像头时，利用SAT算法使得超广角摄像头拍摄的图像不断地向广角摄像头靠拢。

请参阅图3，图3示出的是相关技术中的一种不同摄像头的视场角示意图。如图3所示，假设A为广角摄像头的FOV，C为长焦摄像头的FOV，那么A和C中间的虚线框部分(用B表示)，就是在变焦倍率放大到一定程度后，SAT算法基于广角摄像头所拍摄的图像，向长焦摄像头靠拢时进行平移和旋转变换的区域。在广角摄像头的FOV和长焦摄像头的FOV差异较大的时候，这种平移和旋转变换的处理强度将会比较小；而在广角摄像头的FOV和长焦摄像头的FOV差异较小的时候，这种平移和旋转变换的处理强度将会比较大。

图4是相关技术提供的电子设备的结构示意图。图4右侧部分示出的是左侧的虚线部分的放大视图。如图4所示，该电子设备400包括三个摄像头和闪光灯404。三个摄像头分别为长焦摄像头401、主摄(广角摄像头)402和超广角摄像头403。

该电子设备的长焦摄像头301可以使用像素8MP、等效焦距125mm、光圈F3.4的潜望式长焦摄像头。主摄302可以使用像素40MP、等效焦距27mm、光圈F1.6的超感光摄像头。超广角摄像头303可以使用像素20MP、等效焦距16mm、光圈F2.2的超广角摄像头。该电子设备可以在16-27mm和27-125mm中间的焦段连续变焦。

图5是图4中的电子设备的空间对齐处理流程示意图。图5中标黑的摄像头表示正在使用的摄像头。

如图5所示，当变焦倍数在1x-2x之间时，该电子设备使用主摄402进行拍摄。当变焦倍数为3x时，该电子设备同时开启长焦摄像头401和主摄402。当变焦倍数为5x时，该电子设备拍摄使用的摄像头由主摄402切换至长焦摄像头401。

图5所示的空间对齐处理流程，使用镜头接力变焦结合软件的融合方案，以实现电子设备在16-125mm之间连续平滑变焦。

在摄像头切换过程中，两路摄像头同时输出图像数据，后端的图像处理单元利用空间对齐算法对两路数据流进行空间对齐处理，以保证摄像头切换时显示效果能够平滑过渡

然而，随着技术的发展，摄像头的分辨率已经从几百万像素发展到几千万甚至上亿像素；同时随着用户需求的提高，图像采集的帧率也从每秒几十帧提高到几百帧。在这种情况下，图像采集单元所获取的数据流的数据量将会呈现几何倍数的增长。

在这种情况下，如果采用传统的算力平铺的方式对整张图片进行空间对齐处理，将会对后端的图像处理模块的处理能力提出较高的需求，当其处理能力不不足以进行上述高分辨率高帧率的图像的处理时，将会导致画面中断或突变，影响用户体验。

此外，相关技术中的空间对齐处理方法一般采用较为平均的算法，以在处理速度和处理效果之间达到平衡。然而这种处理方法难以突出重点区域的效果，其中的重点区域可以是用户关注度更高的区域，例如当前采集场景中画面中间的人物或物体，或者用户手动对焦的焦平面区域等。而使用更优的算法又会对系统资源提出较高的需求。

因此，如何在加快摄像头切换时间的同时突出重点区域的平滑效果，成为目前亟需解决的问题。

有鉴于此，本申请提供一种图像处理方法及装置，以解决上述问题。

下面首先结合附图，对本申请的方法实施例进行详细的说明。

图6示出了本申请实施例提供的图像处理方法的示意性流程图，该方法应用于电子设备，该电子设备包括第一摄像头和第二摄像头，利用第一摄像头和第二摄像头，能够获取当前目标拍摄场景的第一图像和第二图像。该电子设备例如可以是图4中的电子设备400。

在本申请实施例中，第一摄像头和第二摄像头对应不同的焦段。例如，第一摄像头可以为超广角摄像头，第二摄像头为广角摄像头；又如，第一摄像头可以为广角摄像头，第二摄像头为长焦摄像头。

需要说明的书，在本申请实施例中，使用第一摄像头和第二摄像头仅是为了使本申请的描述更加清楚，第一摄像头和第二摄像头的描述并不构成对电子设备中所包含的摄像头的数量的限定。

上文中所说的应用该方法的电子设备可以是电子设备400仅为一示例，也不构成对本申请保护范围的限定。

在本申请实施例中，第一摄像头和第二摄像头的切换可以是具有多个摄像头的电子设备中的任意两个摄像头之间的切换。

图6中的方法包括步骤S610-S620。

在步骤S610，确定第一图像和第二图像中的感兴趣区域。

如前文所述，第一图像和第二图像分别是利用第一摄像头和第二摄像头获取的当前目标拍摄场景的图像。

其中，感兴趣区域包括当前拍摄场景中的焦平面区域和/或使用该电子设备进行拍照的用户所关注的区域。

更为具体的，在一些实施方式中，第一图像和第二图像中的感兴趣区域可以基于以下方法来确定：

响应于电子设备的用户在拍摄界面的点按操作或根据第一摄像头和第二摄像头的自动对焦参数，确定当前目标拍摄场景的焦平面区域，以该焦平面区域作为感兴趣区域。例如，在进行风景拍摄时，用户在拍摄界面上点按前景中的建筑的区域，此时可以将该建筑区域作为感兴趣区域；又例如，在进行人像拍摄时，摄像头自动聚焦到人脸所在的区域，则将该区域作为感兴趣区域。此外，作为一种实现方式，还可以对用户进行眼球跟踪，确定用户所注视的区域，以该区域作为感兴趣区域。

请同时参阅图7，图7示出了对第一图像710和第二图像720进行空间对齐处理的示意图。图7中的第一图像710为广角摄像头所拍摄的图像，第二图像720为长焦摄像头拍摄的画面；图7中还示出了第一图像710中的感兴趣区域711和第二图像720中的感兴趣区域721，此处的感兴趣区域可以是当前拍摄场景中的焦平面区域，例如前景中的人物或建筑物。应理解，由于长焦摄像头的放大倍率更高，因此第二图像720中的感兴趣区域721在第二图像720中所占的比例更大。

在步骤S620，在第一摄像头和第二摄像头切换的过程中，利用第一空间对齐算法，对第一图像和第二图像中的感兴趣区域进行空间对齐处理。

请继续参阅图7，图7中右侧部分示出了对第一图像710和第二图像720进行空间对齐处理的过程。其中虚线框中的区域731示出了在从第一摄像头切换到第二摄像头的过程中，利用第一空间对齐算法，对第一图像710中的感兴趣区域711和第二图像720中的感兴趣区域721进行空间对齐的中间结果。

应理解，利用第一空间对齐算法对感兴趣区域的处理并不局限于对该区域的图像进行评议和旋转等几何变换，还包括对第一图像和第二图像的亮度、对比度、白平衡、饱和度以及分辨率等关键参数的变换。

利用上述方法，在进行摄像头切换时，利用第一空间对齐算法，仅对当前图像采集场景的部分区域(即感兴趣区域)进行空间对齐处理，可以突出该部分区域的平滑效果。同时，由于对其他区域并未进行处理，从而加快了空间对齐的速度，减少了摄像头切换的时间。在应用于高分辨率高帧率场景时，能够在平滑效果与处理效率之间达到平衡。

在一些实施方式中，上述方法还可以包括：在第一摄像头与第二摄像头切换的过程中，利用第二空间对齐算法，对第一图像和第二图像中的非感兴趣区域进行空间处理。

其中，第一图像和第二图像中的非感兴趣区域是指除上文中所说的感兴趣区域之外的区域。

在本申请实施例中，第二空间对齐算法的精度小于第一空间对齐算法。可以理解的是，空间对齐算法在运行是对于系统资源的消耗是与算法的精度正相关的，因此，在本申请实施例中，第二空间对齐算法对于系统资源的消耗要小于第一空间对齐算法。从而使得在确保感兴趣区域的处理速度和处理效果的前提下，能够利用剩余的系统资源，利用第二空间对齐算法对非感兴趣区域进行处理，从而提高对于整个图像的空间对齐效果，结余处理时间同时加快对齐速度。

在本申请实施例中，通过利用第二空间对齐算法对第一图像和第二图像中的非感兴趣区域进行处理，能够使得第一图像和第二图像中的非感兴趣区域的亮度对齐和/或畸变校正对齐。

还需要说明的是，在一些情况下，例如对于在亮度变化较为频繁的场景下，对于亮度的对齐更为重要，此时第二空间对齐算法可以只进行亮度对齐，从而确保在进行摄像头切换时不会出现亮度突变的情况。又例如，在超广角镜头和长焦镜头切换的场景下，由于超广角镜头容易在图像边缘产生较大的畸变，在这种情况下畸变校正对齐更为重要，第二空间对齐算法也可只对非感兴趣区域进行畸变校正对齐，以确保画面过渡更加平滑。当然，在大多数情况下，在后端的图像处理模块的处理能力允许的情况下，上述两种对齐方式可以同时进行，即同时对齐非感兴趣区域的亮度和畸变。

在一些实施方式中，上述第一空间对齐算法的优先级被配置为高于第二空间对齐算法。即后端的图像处理单元优先执行第一空间对齐算法，在处理时间和处理能力允许的情况下，再执行第二空间对齐算法，以确保感兴趣区域的处理效果。

在一些实施方式中，为了进一步细化空间对齐的效果，还可以对上述感兴趣区域进行进一步的划分，即将感兴趣区域划分为重点区域和非重点区域。例如，当感兴趣区域为根据用户手动选择的对焦点确定的焦平面区域时，可以将该区域内的人物的脸部或某一个建筑物的区域作为重点区域，将其他区域设置为非重点区域。

在一些实施方式中，上述方法还包括：利用第三空间对齐算法对感兴趣区域中的重点区域进行图像处理。其中，第三空间对齐算法的精度大于第一空间对齐算法，从而使得在进行空间对齐时对于图像中的重点区域能够具有更好的对齐效果。

在一些实施方式中，第三空间对齐算法的优先级大于第一空间对齐算法，也就是说，在这种情况下，后端的图像处理单元优先执行对重点区域的处理。

还需要说明的是，上述利用第三空间对齐算法的图像处理方法可以与前文中的其他两种方式任一结合，即无论是否对非感兴趣区域进行空间对齐处理，都可以对感兴趣区域中的重点区域进行更精细化的空间对齐，从而提高用户体验。

在以上各实施方式所公开的方法中，按照重要程度的不同，对第一摄像头和第二摄像头所采集的图像进行区域划分，利用差异化的图像对齐算法进行空间对齐处理，能够加快空间对齐的速度并突出重点区域的处理效果。

上文结合图1-图7，介绍了本申请的方法实施例，下面描述本申请的装置实施例，应理解，装置实施例的描述与方法实施例相对应，因此，未详尽描述的部分可以参见前面的方法实施例。

图8是本申请实施例提供的一种图像处理装置的示意性结构图，该装置应用于电子设备，该电子设备包括等效焦距不同的第一摄像头和第二摄像头。该电子设备例如可以是图4中的电子设备400。

图8中的装置800可以包括前端图像处理单元810和后端图像处理单元820。

前端图像处理单元810用于接收第一摄像头和第二摄像头获取的当前目标拍摄场景的第一图像和第二图像，并确定第一图像和第二图像中的感兴趣区域。此处所说的感兴趣区域包括当前目标拍摄场景中的焦平面区域和/或电子设备的用户关注的区域。

后端图像处理单元820，配置为从前端图像处理单元810接收第一图像数据和第二图像数据，在第一摄像头和第二摄像头切换的过程中，利用第一空间对齐算法，对第一图像和第二图像中的感兴趣区域进行空间对齐处理。

可选地，所述前端图像处理单元和所述后端图像处理单元可以通过移动行业处理器接口(mobile industry processor interface，MIPI)模块830连接。

可选地，所述后端图像处理单元820还用于：在所述第一摄像头与所述第二摄像头切换的过程中，利用第二空间对齐算法，对所述第一图像和所述第二图像中的非感兴趣区域进行空间对齐处理；其中，所述非感兴趣区域为所述第一图像和所述第二图像中除所述感兴趣区域之外的区域，所述第二空间对齐算法的精度小于所述第一空间对齐算法。

可选地，所述感兴趣区域包括重点区域和非重点区域，所述后端图像处理单元820还用于：在所述第一摄像头与所述第二摄像头切换的过程中，利用第三空间对齐算法，对所述第一图像和所述第二图像中的所述重点区域进行空间对齐处理，其中，所述第三空间对齐算法的精度大于所述第一空间对齐算法。

可选地，所述第一空间对齐算法的优先级大于所述第二空间对齐算法。

可选地，所述第三空间对齐算法的优先级大于所述第一空间对齐算法。

可选地，所述前端图像处理单元810还用于：响应于所述电子设备的用户在拍摄界面的点按操作或者根据所述第一摄像头和所述第二摄像头的自动对焦参数，确定所述当前目标拍摄场景的焦平面区域，以所述焦平面区域作为所述感兴趣区域；和/或，对所述电子设备的用户进行眼球追踪，确定所述用户关注的区域，以所述用户关注的区域作为所述感兴趣区域。

可选的，所述前端图像处理单元可以为以下中的至少一种：图像信号处理器(image signal processing,ISP)、数字信号处理(digital signal processing,DSP)、嵌入式神经网络处理器(neural-network processing units,NPU)。

可选的，所述后端图像处理单元可以为以下中的至少一种：中央处理器(centralprocessing unit,CPU)、图形处理器(graphics processing unit,GPU)、片上系统(systemon chip，SOC)、应用处理器(application processor,AP)。

图9为图8中的图像处理装置的工作流程示意图，下面结合图9，对该工作流程进行详细的说明。

如图9所示，在步骤S901，打开相机，开始图像预览。应理解，此时电子的主摄像头进行工作，所述主摄像头可以为本申请中所说的第一摄像头。

在步骤S902，用户进行倍率调整。例如可以将变焦倍率在0.6X，1X，2X，5X，20X之间进行切换，或者在电子设备400支持的变焦倍率范围内进行变焦操作。

在步骤S903，触发平滑变焦，初始化前端图像处理单元和后端图像处理单元的空间对齐算法，开启副摄像头，使副摄像头以目标帧率和分辨率进行数据流的输出。其中，所述副摄像头为本申请中的第二摄像头。

在步骤S904，前端图像处理单元对图像区域进行识别区分。前端图像处理单元对于图像区域的区分可以是基于后端图像处理单元下发的控制参数(例如自动对焦参数)和/或前端图像处理单元获取的摄像头的相关参数(例如基于陀螺仪获取的摄像头的运动参数)来进行。

在步骤S905,前端图像处理单元将区域识别区分的结果和主副摄像头采集的图像数据一起发送给后端图像处理单元。

在步骤S906，后端图像处理单元在收到图像数据之后对图像识别等参数进行解析，并结合既定的差异化处理策略对整幅图像区域进行差异化的空间对齐处理。其中，所述差异化的空间对齐处理的具体方法已在前文中进行了详细的介绍，此处不再赘述。

在步骤S907，当空间对齐效果符合设定标准时，进行主副摄像头的切换。

在本申请实施例中，主副摄像头的切换时机可以目标图像采集场景的特点来确定。

例如，所述设定标注例如可以是当后端图像处理单元完成了感兴趣区域的空间对齐，即可认为达到了设定标注，可以进行摄像头的切换。

又例如，在亮度变化比较频繁的场景下，所述设定标准可以为在完成感兴趣区域的空间对齐的同时，还要确保非感兴趣区域的亮度对齐，这样能够避免非感兴趣区域的亮度变化造成对用户体验的影响。

再例如，对于超广角镜头和长焦镜头切换的场景下，由于超广角镜头容易在图像边缘有畸变的现象，因此在这种场景下，所述设定标准可以是在完成感兴趣区域的空间对齐的同时，还要确保非感兴趣区域的视角对齐。

在步骤S908，利用切换后的摄像头进行预览或拍摄处理。

利用本申请实施例提供的装置，能够以更少的数据帧完成空间对齐处理，加快摄像头切换的速度。并且，由于减少了双路出帧和处理的时间，在系统的功耗上也能够具有很大的优化，尤其是对于需要频繁对焦的场景。

图10是本申请一实施例提供的电子设备的结构示意图。图10所示的电子设备1000可以是具备图像处理功能的任意电子设备。例如，电子设备1000可以是移动终端。电子设备1000可以包括存储器1010和处理器1020。存储器1010可用于存储可执行代码。处理器1020可用于执行所述存储器1010中存储的可执行代码，以实现前文描述的各个方法中的步骤。在一些实施例中，该电子设备1000还可以包括网络接口1030，处理器1020与外部设备的数据交换可以通过该网络接口1030实现。

本申请实施例还提供一种电子设备，所述电子设备包括：等效焦距不同的第一摄像头和第二摄像头，所述第一摄像头和所述第二摄像头分别用于获取当前目标拍摄场景的第一图像和第二图像；以及如前文中任一实施方式所述的图像处理装置。

本公开实施还提供一种计算机可读存储介质，其上存储有可执行代码，当所述可执行代码被执行时，能够实现如前文所述的图像处理方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其他任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本公开实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

本领域普通技术人员可以意识到，结合本公开实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。

在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以所述权利要求的保护范围为准。

Claims (15)

1.一种图像处理方法，应用于电子设备，所述电子设备包括等效焦距不同的第一摄像头和第二摄像头，所述第一摄像头和所述第二摄像头分别用于获取当前目标拍摄场景的第一图像和第二图像，其特征在于，所述方法包括：

确定所述第一图像和所述第二图像中的感兴趣区域；

在所述第一摄像头与所述第二摄像头切换的过程中，利用第一空间对齐算法，对所述第一图像和所述第二图像中的所述感兴趣区域进行空间对齐处理；

其中，所述感兴趣区域包括：所述当前目标拍摄场景中的焦平面区域和/或所述电子设备的用户关注的区域。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述第一摄像头与所述第二摄像头切换的过程中，利用第二空间对齐算法，对所述第一图像和所述第二图像中的非感兴趣区域进行空间对齐处理，以使所述第一图像和所述第二图像中的非感兴趣区域的亮度对齐和/或畸变校正对齐；

其中，所述非感兴趣区域为所述第一图像和所述第二图像中除所述感兴趣区域之外的区域，所述第二空间对齐算法的精度小于所述第一空间对齐算法。

3.根据权利要求1-2中任一项所述的方法，其特征在于，所述感兴趣区域包括重点区域和非重点区域，所述方法还包括：

在所述第一摄像头与所述第二摄像头切换的过程中，利用第三空间对齐算法，对所述第一图像和所述第二图像中的所述重点区域进行空间对齐处理；

其中，所述第三空间对齐算法的精度大于所述第一空间对齐算法。

4.根据权利要求2所述的方法，其特征在于，所述第一空间对齐算法的优先级大于所述第二空间对齐算法。

5.根据权利要求3所述的方法，其特征在于，所述第三空间对齐算法的优先级大于所述第一空间对齐算法。

6.根据权利要求1所述的方法，其特征在于，所述确定所述第一图像和所述第二图像中的感兴趣区域，包括：

响应于所述电子设备的用户在拍摄界面的点按操作或者根据所述第一摄像头和所述第二摄像头的自动对焦参数，确定所述当前目标拍摄场景的焦平面区域，以所述焦平面区域作为所述感兴趣区域；和/或，

对所述电子设备的用户进行眼球追踪，确定所述用户关注的区域，以所述用户关注的区域作为所述感兴趣区域。

7.一种图像处理装置，应用于电子设备，所述电子设备包括等效焦距不同的第一摄像头和第二摄像头，其特征在于，所述装置包括：

前端图像处理单元，用于接收所述第一摄像头和所述第二摄像头获取的当前目标拍摄场景的第一图像和第二图像，并确定所述第一图像和所述第二图像中的感兴趣区域；

后端图像处理单元，配置为从所述前端图像处理单元接收所述第一图像数据和所述第二图像数据，在所述第一摄像头与所述第二摄像头切换的过程中，利用第一空间对齐算法，对所述第一图像和所述第二图像中的所述感兴趣区域进行空间对齐处理；

其中，所述感兴趣区域包括：所述当前目标拍摄场景中的焦平面区域和/或所述电子设备的用户关注的区域。

8.根据权利要求7所述的装置，其特征在于，所述后端图像处理单元还用于：

在所述第一摄像头与所述第二摄像头切换的过程中，利用第二空间对齐算法，对所述第一图像和所述第二图像中的非感兴趣区域进行空间对齐处理；

其中，所述非感兴趣区域为所述第一图像和所述第二图像中除所述感兴趣区域之外的区域，所述第二空间对齐算法的精度小于所述第一空间对齐算法。

9.根据权利要求7-8中任一项所述的装置，其特征在于，所述感兴趣区域包括重点区域和非重点区域，所述后端图像处理单元还用于：

在所述第一摄像头与所述第二摄像头切换的过程中，利用第三空间对齐算法，对所述第一图像和所述第二图像中的所述重点区域进行空间对齐处理，其中，所述第三空间对齐算法的精度大于所述第一空间对齐算法。

10.根据权利要求8所述的装置，其特征在于，所述第一空间对齐算法的优先级大于所述第二空间对齐算法。

11.根据权利要求9所述的装置，其特征在于，所述第三空间对齐算法的优先级大于所述第一空间对齐算法。

12.根据权利要求7所述的装置，其特征在于，所述前端图像处理单元还用于：

响应于所述电子设备的用户在拍摄界面的点按操作或者根据所述第一摄像头和所述第二摄像头的自动对焦参数，确定所述当前目标拍摄场景的焦平面区域，以所述焦平面区域作为所述感兴趣区域；和/或，

对所述电子设备的用户进行眼球追踪，确定所述用户关注的区域，以所述用户关注的区域作为所述感兴趣区域。

13.一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器被配置为执行所述可执行代码，以实现如权利要求1-6中任一项所述的方法。

14.一种电子设备，其特征在于，包括：

等效焦距不同的第一摄像头和第二摄像头，所述第一摄像头和所述第二摄像头分别用于获取当前目标拍摄场景的第一图像和第二图像；以及，

如权利要求6-12中任一项所述的图像处理装置。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有可执行代码，当所述可执行代码被执行时，能够实现如权利要求1-6中任一项所述的方法。