CN116109683A - 图像处理方法、装置和设备 - Google Patents

Abstract

本申请提供一种图像处理方法、装置和设备，方法中，获取至少2帧第一图像；所述至少2帧第一图像的图像格式相同；分别计算每一帧所述第一图像的特征图；根据所述特征图从所述至少2帧第一图像中确定1帧第一图像为参考帧图像，其他第一图像为待对齐帧图像；对所述每一帧第一图像的特征图分别进行分块处理，得到每一帧第一图像的特征图像块；根据所述待对齐帧图像的特征图像块和所述参考帧图像的特征图像块，对所述待对齐帧图像进行相对于参考帧图像的对齐处理，得到所述待对齐帧图像的对齐图像。本申请能够提高图像对齐精度，改善图像对齐效果。

Description

图像处理方法、装置和设备

技术领域

本申请涉及图像处理，尤其涉及图像处理方法、装置和设备。

背景技术

在多帧图像融合、多帧图像拼接、多帧图像合成等图像处理中，为了获得更好的图像处理结果，一般需要先对多帧图像进行对齐处理。现有的图像对齐方法往往存在图像对齐精度差，对齐效果不佳的问题。

发明内容

本申请提供了一种图像处理方法、装置和设备，能够提高图像对齐精度，改善图像对齐效果。

第一方面，本申请实施例提供一种图像处理方法，包括：

获取至少2帧待处理图像；所述至少2帧待处理图像的图像格式相同；

分别计算每一帧所述待处理图像的特征图；

根据所述特征图从所述至少2帧待处理图像中确定1帧待处理图像为参考帧图像，其他待处理图像为待对齐帧图像；

对所述每一帧待处理图像的特征图分别进行分块处理，得到每一帧待处理图像的特征图像块；

根据所述待对齐帧图像的特征图像块和所述参考帧图像的特征图像块，对所述待对齐帧图像进行相对于参考帧图像的对齐处理，得到所述待对齐帧图像的对齐图像。

该方法对每一帧图像进行分块处理，得到每一帧图像的特征图像块，根据待对齐帧图像的特征图像块和参考帧图像的特征图像块，对待对齐帧图像进行相对于参考帧图像的对齐处理，得到待对齐帧图像的对齐图像，从而改善对齐过程中特征点集中导致的只有局部对齐的问题，提高了对齐精度，改善了对齐效果。

在一种可能的实现方式中，所述根据所述待对齐帧图像的特征图像块和所述参考帧图像的特征图像块，对所述待对齐帧图像进行相对于参考帧图像的对齐处理，得到所述待对齐帧图像的对齐图像，包括：

根据所述待对齐帧图像的特征图像块和所述参考帧图像的特征图像块，分别计算所述待对齐帧图像相对于所述参考帧图像的变换矩阵；

使用所述待对齐帧图像对应的变换矩阵对所述待对齐帧图像进行对齐处理，得到所述待对齐帧图像的对齐图像。

在一种可能的实现方式中，所述根据所述待对齐帧图像的特征图像块和所述参考帧图像的特征图像块，分别计算所述待对齐帧图像相对于所述参考帧图像的变换矩阵，包括：

从所述待对齐帧图像的特征图像块中选择第一有效特征图像块，从所述第一有效特征图像块中提取第一图像特征点；

从所述参考帧图像的特征图像块中选择第二有效特征图像块，从所述第二有效特征图像块中提取第二图像特征点；

对所述第一图像特征点和所述第二图像特征点进行匹配，得到相互匹配的有效图像特征点对；

根据所述有效图像特征点对计算所述变换矩阵。

在一种可能的实现方式中，所述从所述待对齐帧图像的特征图像块中选择第一有效特征图像块，包括：

确定所述特征图像块所处区域，所述区域包括：边缘区域和中心区域；

按照从边缘区域到中心区域的顺序从所述特征图像块中选择第一有效特征图像块。

在一种可能的实现方式中，所述根据所述特征图从所述至少2帧待处理图像中确定1帧待处理图像为参考帧图像，其他待处理图像为待对齐帧图像，包括：

选择特征图的图像亮度最佳的1帧待处理图像为参考帧图像，其他待处理图像为待对齐帧图像；或者，

选择特征图的图像清晰度最高的1帧待处理图像为参考帧图像，其他待处理图像为待对齐帧图像。

在一种可能的实现方式中，所述对所述每一帧待处理图像的特征图分别进行分块处理之前，还包括：

在所述特征图之间的图像亮度差异大于预设第一阈值时，对所述特征图进行亮度均衡。

在一种可能的实现方式中，所述对所述每一帧待处理图像的特征图分别进行分块处理之前，还包括：

在所述特征图之间的图像清晰度差异大于预设第二阈值时，对所述特征图进行清晰度均衡。

第二方面，本申请实施例提供一种图像处理装置，包括：

获取模块，用于获取至少2帧待处理图像；所述至少2帧待处理图像的图像格式相同；

计算模块，用于分别计算每一帧所述待处理图像的特征图；

确定模块，用于根据所述特征图从所述至少2帧待处理图像中确定1帧待处理图像为参考帧图像，其他待处理图像为待对齐帧图像；

分块模块，用于对所述每一帧待处理图像的特征图分别进行分块处理，得到每一帧待处理图像的特征图像块；

对齐模块，用于根据所述待对齐帧图像的特征图像块和所述参考帧图像的特征图像块，对所述待对齐帧图像进行相对于参考帧图像的对齐处理，得到所述待对齐帧图像的对齐图像。

第三方面，本申请实施例提供一种电子设备，包括：处理器；存储器；其中，一个或多个计算机程序被存储在所述存储器中，所述计算机程序被所述处理器执行时，使得所述电子设备执行第一方面任一项所述的方法。

第四方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行第一方面任一项的方法。

第五方面，本申请提供一种芯片模组，包括第二方面任一项所述的图像处理装置。

第六方面，本申请提供一种计算机程序，当计算机程序被计算机执行时，用于执行第一方面任一项的方法。

在一种可能的设计中，第六方面中的程序可以全部或者部分存储在与处理器封装在一起的存储介质上，也可以部分或者全部存储在不与处理器封装在一起的存储器上。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例提供的电子设备的一种结构示意图；

图2为本申请实施例提供的图像处理方法的一种流程示意图；

图3为本申请实施例提供的图像数据处理方法的第二种流程示意图；

图4A为本申请实施例提供的特征图分块方法示意图；

图4B为本申请实施例提供的区域划分方法示意图；

图5为本申请实施例提供的图像数据处理方法的第三种流程示意图；

图6为本申请实施例提供的图像数据处理方法的第四种流程示意图；

图7为本申请实施例提供的图像数据处理装置的一种结构示意图。

具体实施方式

本申请的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释，而非旨在限定本申请。

电子设备(例如手机)在多帧图像融合、多帧图像拼接、多帧图像合成等图像处理中，为了获得更好的图像处理结果，一般需要先对多帧图像进行对齐处理。但是，现有的图像对齐方法往往存在图像对齐精度差，对齐效果不佳的问题。

为此，本申请实施例提供一种图像处理方法，能够提高图像对齐精度，改善图像对齐效果。

需要说明的是，本申请实施例提供的图像处理方法不仅可以适用于上述多帧图像融合、多帧图像拼接、多帧图像合成等图像处理场景中，还可以适用于其他需要进行多帧图像对齐的图像处理场景中，本申请实施例不作限定。

本申请实施例提供的图像数据处理方法可以应用于电子设备，例如手机、平板电脑(PAD)、个人电脑(PC)、可穿戴设备、相机等设备。

图1为本申请实施例提供的电子设备的一种结构示意图。参见图1，电子设备100可以包括：处理器110、存储器120、摄像头模组130。

可选地，为了电子设备100的功能更为完善，电子设备100还可以包括但不限于以下器件：天线，移动通信模块，无线通信模块，音频模块，扬声器，受话器，麦克风，耳机接口等，本申请实施例不作限定。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括图形处理器(graphics processing unit，GPU)，图像信号处理器(image signal processor，ISP)，视频编解码器，数字信号处理器(digital signal processor，DSP)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

存储器120可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。存储器120可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如图像播放功能等)等。存储数据区可存储电子设备600使用过程中所创建的数据(比如图像数据等)等。此外，存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。处理器110通过运行存储在存储器120的指令，和/或存储在设置于处理器中的存储器的指令，执行电子设备100的各种功能应用以及数据处理。

摄像头模组130用于捕获静态图像或视频，将原始图像数据发送给处理器110。

在一些实施例中，电子设备100可以包括1个或N个摄像头模组130，N为大于1的正整数。

在一些实施例中，电子设备100可以不包括摄像头模组130，则摄像头模组可以通过接口外接至电子设备，为电子设备提供原始图像数据。

本申请实施例电子设备100中的软件系统可以使用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。以电子设备100中使用

系统为例，安卓系统可以分为5层，从上到下分别是应用层、应用程序框架层、系统运行库层、硬件抽象层和内核层；其中，

应用层可以包括应用程序，例如相机应用。

应用程序框架层为应用程序层的应用程序提供应用编程接口和编程框架，包括预先定义的函数。

系统运行库层可以包括安卓运行时和系统库。

硬件抽象层是位于操作系统内核与硬件电路之间的接口层。

内核层是硬件和软件之间的层，可以包括摄像头驱动。

本申请实施例的图像数据处理方法可以位于应用层，作为具有图像处理功能的应用(例如，相机应用)中提供的功能，或者，作为可以由上述具有图像处理功能的应用(例如，相机应用)调用的函数。

以上述具有图像处理功能的应用是相机应用为例，如果本申请实施例图像数据处理方法作为相机应用中提供的功能，则相机应用在需要对多帧图像进行对齐处理时，可以执行本申请实施例的图像处理方法，得到图像对齐后的多帧图像。

以上述具有图像处理功能的应用是相机应用为例，如果本申请实施例图像处理方法作为电子设备中可以被应用调用的函数，则，相机应用在需要对多帧图像进行对齐处理时，可以调用该函数，该函数向相机应用返回的处理结果是使用本申请实施例图像处理方法进行图像对齐后的多帧图像。

本申请实施例的图像处理方法中进行图像对齐的多帧图像，可以是多帧Raw图，或者多帧RGB图像，或者，多帧YUV图像等等。

上述的Raw图是互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor，CMOS)或者电荷耦合器件(charge coupled device，CCD)图像感应器将捕捉到的光源信号转化为数字信号的原始数据，可以从位于内核层的摄像头驱动获取，上述RGB图像和YUV图像可以是对Raw图进行处理后得到的图像。

以下结合上述电子设备的软硬件结构对本申请实施例图像数据处理方法进行更为详细的说明。

图2是本申请实施例提供的图像处理方法的一种流程示意图，该方法可以由电子设备执行，具体的，可以由电子设备中的处理器执行，进一步地，可以由电子设备中的图像处理应用例如相机应用执行，或者图像处理应用调用电子设备中的预设函数执行。如图2所示，该方法可以包括：

步骤201：获取至少2帧待处理图像，至少2帧待处理图像的图像格式相同。

可选地，待处理图像的图像格式可以包括但不限于：Raw图，RGB图像，YUV图像。

步骤202：分别计算每一帧待处理图像的特征图。

本步骤中，可以根据待处理图像的图像格式采用对应的特征提取方法计算待处理图像的特征图。举例来说，

如果待处理图像的图像格式是Raw图，可以对待处理图像中占比较高的颜色通道的特征进行提取，得到该颜色通道的均值图像作为待处理图像的特征图；

如果待处理图像的图像格式是RGB图像，可以计算待处理图像的灰度图作为待处理图像的特征图；

如果待处理图像的图像格式是YUV图像，可以对待处理图像中某一预设通道例如Y通道的特征进行提取，得到该预设通道的特征图像作为待处理图像的特征图。

本步骤中，按照图像格式来计算待处理图像的特征图，从而使得特征图更能够表征待处理图像的特征，从而使得后续的对齐精度更高。

步骤203：根据特征图从至少2帧待处理图像中确定1帧待处理图像为参考帧图像，其他待处理图像为待对齐帧图像。

在一个实施例中，本步骤可以包括：

选择特征图的图像亮度最佳的1帧待处理图像为参考帧图像，其他待处理图像为待对齐帧图像。

在另一个实施例中，本步骤可以包括：

选择特征图的图像清晰度最高的1帧待处理图像为参考帧图像，其他待处理图像为待对齐帧图像。

步骤204：对每一帧待处理图像的特征图分别进行分块处理，得到每一帧待处理图像的特征图像块。

可选地，本步骤中每一帧待处理图像的特征图可以使用相同的分块方法进行分块处理，从而每一帧图像的特征图都划分为相同数量的特征图像块。

举例来说，可以将每一帧待处理图像的特征图划分为n*n个面积相同的特征图像块，n是大于1的自然数。

步骤205：根据待对齐帧图像的特征图像块和参考帧图像的特征图像块，对待对齐帧图像进行相对于参考帧图像的对齐处理，得到待对齐帧图像的对齐图像。

可选地，本步骤可以包括：

根据待对齐帧图像的特征图像块和参考帧图像的特征图像块，分别计算待对齐帧图像相对于参考帧图像的变换矩阵；

使用待对齐帧图像对应的变换矩阵对待对齐帧图像进行对齐处理，得到待对齐帧图像的对齐图像。

可选地，上述根据待对齐帧图像的特征图像块和参考帧图像的特征图像块，分别计算待对齐帧图像相对于参考帧图像的变换矩阵，可以包括：

从待对齐帧图像的特征图像块中选择第一有效特征图像块，从参考帧图像的特征图像块中选择第二有效特征图像块；

根据待对齐帧图像的第一有效特征图像块和参考帧图像的第二有效特征图像块，计算待对齐帧图像相对于参考帧图像的变换矩阵。

可选地，上述根据待对齐帧图像的第一有效特征图像块和参考帧图像的第二有效特征图像块，计算待对齐帧图像相对于参考帧图像的变换矩阵，可以包括：

从第一有效特征图像块中提取第一图像特征点；

从第二有效特征图像块中提取第二图像特征点；

对第一图像特征点和第二图像特征点进行匹配，得到相互匹配的有效图像特征点对；

根据有效图像特征点对计算变换矩阵。

可选地，上述从待对齐帧图像的特征图像块中选择第一有效特征图像块，可以包括：

确定特征图像块所处区域，区域包括：边缘区域和中心区域；

按照从边缘区域到中心区域的顺序从特征图像块中选择第一有效特征图像块。

图2所示的方法中，对每一帧图像进行分块处理，得到每一帧图像的特征图像块，根据待对齐帧图像的特征图像块和参考帧图像的特征图像块，对待对齐帧图像进行相对于参考帧图像的对齐处理，得到待对齐帧图像的对齐图像，从而改善对齐过程中特征点集中导致的只有局部对齐的问题，提高了对齐精度，改善了对齐效果。

图3为本申请实施例图像处理方法另一种流程示意图，该方法中以对3帧图像进行对齐处理为例。

需要说明的是，在本申请实施例提供的其他实施例中，也可以对2帧图像或者3帧以上的图像执行以下处理，具体实现可以参考图3所示实施例，本申请实施例不再赘述。

参见图3所示，该方法可以包括：

步骤301：获取第一图像、第二图像和第三图像。

可选地，本步骤中第一图像、第二图像和第三图像的图像格式相同。例如，本步骤中的第一图像、第二图像和第三图像可以是电子设备的摄像头模组采集的3帧Raw图，或者，可以是根据3帧Raw图处理后得到的3帧RGB图像，或者，根据3帧Raw图处理后得到的3帧YUV图像。

步骤302：分别对第一图像、第二图像和第三图像进行特征提取，得到第一图像的第一特征图、第二图像的第二特征图以及第三图像的第三特征图。

可选地，本步骤中可以基于图像格式采用对应的特征提取方法。举例来说：

对于Raw图，可以对Raw图中占比较高的颜色通道的特征进行提取，得到该颜色通道的均值图像作为Raw图的特征图，则，如果第一图像、第二图像和第三图像是Raw图，本步骤中可以分别对第一图像、第二图像、第三图像中占比较高的颜色通道的特征进行提取，得到该颜色通道的均值图像分别作为第一图像的第一特征图、第二图像的第二特征图以及第三图像的第三特征图。举例来说，如果摄像头模组中使用的拜耳阵列的排列方式为1红2绿1蓝，则基于该拜耳阵列得到的Raw图中占比较高的颜色通道为G通道，也即上述第一图像、第二图像和第三图像中占比较高的颜色通道为G通道，则，本步骤中得到的第一图像的第一特征图、第二图像的第二特征图以及第三图像的第三特征图可以分别表征G通道的特征。

对于RGB图像，可以计算RGB图像的灰度图作为RGB图像的特征图，则，如果第一图像、第二图像和第三图像分别是RGB图像，本步骤中可以分别计算第一图像、第二图像和第三图像的灰度图，分别作为第一图像的第一特征图、第二图像的第二特征图以及第三图像的第三特征图。

对于YUV图像，可以对YUV图像中某一预设通道例如Y通道的特征进行提取，得到该预设通道的特征图像作为YUV图像的特征图，则，如果第一图像、第二图像和第三图像是YUV图像，本步骤中可以分别对第一图像、第二图像、第三图像中预设通道的特征进行提取，得到该预设通道的均值图像分别作为第一图像的第一特征图、第二图像的第二特征图以及第三图像的第三特征图。举例来说，该预设通道可以是Y通道，则，可以对第一图像的Y通道特征进行提取，得到第一图像的第一特征图，对第二图像的Y通道特征进行提取，得到第二图像的第二特征图，对第三图像的Y通道特征进行提取，得到第三图像的第三特征图。

步骤303：从第一特征图、第二特征图和第三特征图中选择图像亮度最佳的特征图，将该特征图对应的图像确定为参考帧图像，其他图像确定为待对齐帧图像。

可选地，可以通过特征图的亮度均值来表征特征图的图像亮度，则，上述从第一特征图、第二特征图和第三特征图中选择亮度最佳的特征图，可以包括：

分别计算第一特征图、第二特征图和第三特征图的亮度均值；

根据第一特征图、第二特征图和第三特征图的亮度均值，选择图像亮度最佳的特征图。

例如，如果电子设备中预设有图像亮度最佳的亮度均值的参考值，则亮度均值与该参考值接近的特征图是图像亮度最佳的特征图；或者，

如果预设亮度均值居中的特征图是图像亮度最佳的特征图，则第一特征图、第二特征图和第三特征图中亮度均值居中的特征图是图像亮度最佳的特征图。举例来说，如果第一特征图的亮度均值高于第二特征图的亮度均值，第二特征图的亮度均值高于第三特征图的亮度均值，则，第二特征图的亮度均值处于中间位置，选择第二特征图作为图像亮度最佳的特征图。

步骤304：对第一特征图、第二特征图和第三特征图进行亮度差异均衡处理，得到第一均衡特征图、第二均衡特征图和第三均衡特征图。

本步骤为可选步骤，在第一特征图～第三特征图之间的亮度差异较大时执行，以降低第一特征图、第二特征图和第三特征图之间的亮度差异。

判断第一特征图～第三特征图之间的亮度差异是否较大的方法可以包括：

计算待对齐帧图像的特征图与参考帧图像的特征图之间的亮度差值，判断亮度差值是否超过预设亮度差异阈值，如果存在一个亮度差值超过预设亮度差异阈值，则判断第一特征图～第三特征图之间的亮度差异较大，否则判断第一特征图～第三特征图之间的亮度差异不大。

上述亮度差异阈值的具体取值本申请实施例不作限定。

可选地，本步骤中对第一特征图、第二特征图和第三特征图进行亮度差异均衡处理，可以包括：

根据参考帧图像的特征图对待对齐帧图像的特征图进行亮度差异均衡处理。

此时，参考帧图像的均衡特征图与参考帧图像的特征图相同。

举例来说，假设第二图像是参考帧图像，第一图像和第三图像是待对齐帧图像，则本步骤中，可以根据第二特征图对第一特征图进行亮度差异均衡处理，得到第一图像的第一均衡特征图，根据第二特征图对第三特征图进行亮度差异均衡处理，得到第三图像的第三均衡特征图。

可选地，上述亮度差异均衡处理可以通过相关亮度均衡方法实现，例如直方图匹配方法等。

步骤305：对第一均衡特征图、第二均衡特征图和第三均衡特征图分别进行分块处理，得到第一图像的特征图像块、第二图像的特征图像块和第三图像的特征图像块。

举例来说，可以将第一均衡特征图、第二均衡特征图和第三均衡特征图分别划分为4*4个面积相同的特征图像块，例如图4A所示。

步骤306：从第一图像的特征图像块、第二图像的特征图像块和第三图像的特征图像块中分别选择有效特征图像块。

可选地，对于每个均衡特征图，可以对其特征图像块进行区域划分，得到每个特征图像块所属的区域，划分方法例如图4B所示，可以将靠近均衡特征图边界的一圈特征图像块划分为边缘区域，其他划分为中心区域，例如图4B中，编号为1～4、5、8、9、12、13～16的特征图像块属于边缘区域，编号为6、7、10、11的特征图像块属于中心区域；

之后，可以按照从边缘区域到中心区域的顺序，从特征图像块中选择有效特征图像块。

在一个实施例中，可以预先设置有效特征图像块的最大数量，例如6个，则可以先从边缘区域的编号为1～4、5、8、9、12、13～16的特征图像块中选择有效特征图像块，再从位于中心区域的编号为6、7、10、11的特征图像块中选择有效特征图像块，直到有效特征图像块的数量达到上述最大数量，则完成有效特征图像块的选择。举例来说，假设预先设置有效特征图像块的最大数量为6个，如果按照上述的特征图像块的顺序依次将编号为1、5、8、9、12、13的特征图像块选择为有效特征图像块，则在选择特征图像块13为有效特征图像块后，可以直接结束有效特征图像块的选择。

需要说明的是，如果在实际应用中出现选择的有效特征图像块的数量不足上述最大数量的情况，并不影响后续步骤的实现。

需要说明的是，如果在实际应用中出现未选择到有效特征图像块的情况，则本申请的图像处理结束，确定无法进行图像对齐，可以直接将上述的第一图像、第二图像、第三图像作为图像对齐处理结果。

从特征图像块中选择有效特征图像块的实现可以参考相关有效特征图像块的方法实现，例如可以结合特征图像块的图像内容和/或亮度分布实现有效特征图像块的选择，例如可以使用图像梯度来衡量图像内容丰富程度，使用图像均值来衡量图像亮度，则，可以分别计算每个特征图像块的图像梯度和/或图像均值，从中选择图像梯度达到预设梯度阈值和/或图像均值达到预设均值阈值的特征图像块作为有效特征图像块。

步骤307：从待对齐帧图像的有效特征图像块中提取第一图像特征点，从参考帧图像的有效特征图像块中提取第二图像特征点，将待对齐帧图像的第一图像特征点与参考帧图像的第二图像特征点进行匹配，得到待对齐帧图像对应的有效图像特征点对。

可选地，从有效特征图像块中提取图像特征点的具体实现方法本申请实施例不作限定，例如可以使用ORB(ORiented Brief)特征提取方法实现。

可选地，在提取得到第一图像特征点和第二图像特征点时，可以分别记录图像特征点与周围像素点的亮度差异信息以及角度信息等描述信息，则可以根据第一图像特征点和第二图像特征点的描述信息进行上述匹配，具体匹配方法可以使用相关像素点匹配方法实现，例如k最近邻(k-nearest neighbor，KNN)匹配方法，本申请实施例不作限定。

步骤308：根据待对齐帧图像对应的有效图像特征点对计算待对齐帧图像相对于参考帧图像的变换矩阵。

本步骤的实现可以使用相关变换矩阵的计算方法实现，例如随机抽样一致算法(Random Sample Consensus，RANSAC)，本申请实施例不作限定。

需要说明的是，在某些变换矩阵的计算方法中，可能对有效特征点对的最小数量具有限定，此时，如果步骤307中得到的有效图像特征点对的数量不满足上述最小数量的要求，则本申请的图像处理结束，确定无法进行图像对齐，可以直接将上述的第一图像、第二图像、第三图像作为图像对齐处理结果。

步骤309：使用对应的变换矩阵对待对齐帧图像进行对齐处理，得到每个待对齐帧图像的对齐图像。

通过上述步骤的处理，可以得到参考帧图像以及每个待对齐帧图像的对齐图像。

如果本申请实施例图像处理方法作为图像处理应用的一个功能，则图像处理应用可以基于上述参考帧图像以及每个待对齐帧图像的对齐图像进行后续的图像融合、拼接或者合成等处理。

如果本申请实施例图像处理方法作为电子设备中的一个函数，则，本申请实施例图像处理方法还可以包括以下的步骤310。

步骤310：输出参考帧图像和每个待对齐帧图像的对齐图像。

具体的，本步骤可以由用于实现本申请实施例图像处理方法的函数执行，将上述参考帧图像和每个待对齐帧图像的对齐图像输出至图像处理应用。

图3所示的方法中，步骤303中以图像亮度作为评价指标来确定参考帧图像和待对齐帧图像，在本申请提供的另一个实施例中，可以以其他评价指标例如图像清晰度来确定参考帧图像和待对齐帧图像，相应的，步骤304中可以以该其他评价指标例如图像清晰度为目标进行差异均衡处理。

以图像清晰度为例，此时，如图5所示，上述步骤303和步骤304中的图像亮度替换为图像清晰度，得到以下的步骤501和步骤502。

步骤501：从第一特征图、第二特征图和第三特征图中选择图像清晰度最佳的特征图，将该特征图对应的图像确定为参考帧图像，其他图像确定为待对齐帧图像。

可选地，图像清晰度可以由图像梯度来表征，图像梯度具体可以包括：水平梯度和垂直梯度。

本步骤的具体实现可以参考步骤303中的说明，将图像亮度替换为图像清晰度，将亮度均值替换为图像梯度。

步骤502：对第一特征图、第二特征图和第三特征图进行清晰度差异均衡处理，得到第一均衡特征图、第二均衡特征图和第三均衡特征图。

可选地，上述清晰度差异均衡处理可以通过相关噪声和模糊抑制方法实现，例如均值滤波和Laplacian算子法等。

上述本申请实施例中，根据预先设置图像亮度或者图像清晰度作为评价指标来确定参考帧图像和待对齐帧图像，在本申请提供的又一个实施例中，可以从预设的至少2种评价指标中动态确定一种评价指标，进而基于该评价指标确定参考帧图像和待对齐帧图像，后续步骤中也可以基于动态确定的评价指标进行差异均衡处理。此时，如图6所示，可以将图3中的步骤303和步骤304替换为以下的步骤601～步骤603。

步骤601：从预设的至少2种评价指标中选择一种评价指标作为参考评价指标。

可选地，在选择一种评价指标作为参考评价指标时，可以选择特征图之间的差异较大的评价指标作为参考评价指标。举例来说，如果预设评价指标包括：图像亮度和图像清晰度，则，

如果第一特征图～第三特征图之间的亮度差异超过预设亮度差异阈值，则将图像亮度作为参考评价指标；

如果第一特征图～第三特征图之间的清晰度差异超过预设清晰度差异阈值，则将清晰度作为参考评价指标；

如果第一特征图～第三特征图之间的亮度差异未超过预设亮度差异阈值且清晰度差异未超过预设清晰度差异阈值，或者，第一特征图～第三特征图之间的亮度差异超过预设亮度差异阈值且清晰度差异超过预设清晰度差异阈值，可以随机选择一种评价指标或者选择默认的一种评价指标作为参考评价指标。

以亮度差异为例，判断第一特征图～第三特征图之间的亮度差异是否超过预设亮度差异阈值的方法，可以包括：

从第一特征图、第二特征图和第三特征图中选择一个特征图作为基准特征图，其他特征图为非基准特征图；

计算各个非基准特征图的亮度均值与基准特征图的亮度均值之间的亮度差值，判断各个亮度差值是否超过预设亮度差异阈值，如果存在一个亮度差值超过预设亮度差异阈值，则判断第一特征图～第三特征图之间的亮度差异超过预设亮度差异阈值，否则，第一特征图～第三特征图之间的亮度差异未超过预设亮度差异阈值。

以清晰度为例，判断第一特征图～第三特征图之间的清晰度差异是否超过预设清晰度差异阈值的方法，可以包括：

从第一特征图、第二特征图和第三特征图中选择一个特征图作为基准特征图，其他特征图为非基准特征图；

计算各个非基准特征图的清晰度参数与基准特征图的清晰度参数之间的清晰度差值，判断各个清晰度差值是否超过预设清晰度差异阈值，如果存在一个清晰度差值超过预设清晰度差异阈值，则判断第一特征图～第三特征图之间的清晰度差异超过预设清晰度差异阈值，否则，第一特征图～第三特征图之间的清晰度差异未超过预设清晰度差异阈值。

步骤602：根据第一特征图、第二特征图和第三特征图，基于参考评价指标，从第一图像、第二图像和第三图像中选择一帧图像作为参考帧图像，其他图像作为待对齐帧图像。

在选择参考评价指标后，本步骤的实现可以参考上述步骤303和步骤401，这里不赘述。

步骤603：对第一特征图、第二特征图和第三特征图进行基于参考评价指标的差异均衡处理。

本步骤为可选步骤，在第一特征图～第三特征图之间的评价指标差异超过预设差异阈值时，可以对第一特征图、第二特征图和第三特征图进行差异均衡处理。例如，在第一特征图～第三特征图之间的亮度差异超过预设亮度差异阈值时，可以对第一特征图、第二特征图和第三特征图进行亮度差异均衡处理；在第一特征图～第三特征图之间的清晰度差异超过预设清晰度差异阈值时，可以对第一特征图、第二特征图和第三特征图进行清晰度差异均衡处理。

图7为本申请实施例提供的一种图像处理装置，该装置700可以包括：

获取模块710，用于获取至少2帧第一图像；所述至少2帧第一图像的图像格式相同；

计算模块720，用于分别计算每一帧所述第一图像的特征图；

确定模块730，用于根据所述特征图从所述至少2帧第一图像中确定1帧第一图像为参考帧图像，其他第一图像为待对齐帧图像；

分块模块740，用于对所述每一帧第一图像的特征图分别进行分块处理，得到每一帧第一图像的特征图像块；

对齐模块750，用于根据所述待对齐帧图像的特征图像块和所述参考帧图像的特征图像块，对所述待对齐帧图像进行相对于参考帧图像的对齐处理，得到所述待对齐帧图像的对齐图像。

其中，上述模块所对应的实体设备均可以是前述的处理器。上述模块的具体功能实现可参考本申请实施例图像处理方法中的相应描述，不多赘述。

应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块以软件通过处理元件调用的形式实现，部分模块通过硬件的形式实现。例如，确定模块可以为单独设立的处理元件，也可以集成在电子设备的某一个芯片中实现。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。例如，上述图像处理装置可以是芯片或者芯片模组，或者，上述快捷开关推荐装置可以是芯片或者芯片模组的一部分。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

本申请实施例提供一种芯片模组，包括上述数据处理装置。

本申请实施例还提供一种电子设备，包括处理器和存储器，处理器用于执行本申请任一实施例提供的方法。

本申请实施例还提供一种电子设备，所述设备包括存储介质和中央处理器，所述存储介质可以是非易失性存储介质，所述存储介质中存储有计算机可执行程序，所述中央处理器与所述非易失性存储介质连接，并执行所述计算机可执行程序以实现本申请任一实施例提供的方法。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行本申请任一实施例提供的方法。

本申请实施例还提供一种计算机程序产品，该计算机程序产品包括计算机程序，当其在计算机上运行时，使得计算机执行本申请任一实施例提供的方法。

本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a，b，c，a和b，a和c，b和c或a和b和c，其中a，b，c可以是单个，也可以是多个。

本领域普通技术人员可以意识到，本文中公开的实施例中描述的各单元及算法步骤，能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory；以下简称：ROM)、随机存取存储器(Random Access Memory；以下简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。本申请的保护范围应以所述权利要求的保护范围为准。

Claims (11)

1.一种图像处理方法，其特征在于，包括：

获取至少2帧待处理图像；所述至少2帧待处理图像的图像格式相同；

分别计算每一帧所述待处理图像的特征图；

根据所述特征图从所述至少2帧待处理图像中确定1帧待处理图像为参考帧图像，其他待处理图像为待对齐帧图像；

对所述每一帧待处理图像的特征图分别进行分块处理，得到每一帧待处理图像的特征图像块；

根据所述待对齐帧图像的特征图像块和所述参考帧图像的特征图像块，对所述待对齐帧图像进行相对于参考帧图像的对齐处理，得到所述待对齐帧图像的对齐图像。

2.根据权利要求1所述的方法，其特征在于，所述根据所述待对齐帧图像的特征图像块和所述参考帧图像的特征图像块，对所述待对齐帧图像进行相对于参考帧图像的对齐处理，得到所述待对齐帧图像的对齐图像，包括：

根据所述待对齐帧图像的特征图像块和所述参考帧图像的特征图像块，分别计算所述待对齐帧图像相对于所述参考帧图像的变换矩阵；

使用所述待对齐帧图像对应的变换矩阵对所述待对齐帧图像进行对齐处理，得到所述待对齐帧图像的对齐图像。

3.根据权利要求2所述的方法，其特征在于，所述根据所述待对齐帧图像的特征图像块和所述参考帧图像的特征图像块，分别计算所述待对齐帧图像相对于所述参考帧图像的变换矩阵，包括：

从所述待对齐帧图像的特征图像块中选择第一有效特征图像块，从所述第一有效特征图像块中提取第一图像特征点；

从所述参考帧图像的特征图像块中选择第二有效特征图像块，从所述第二有效特征图像块中提取第二图像特征点；

对所述第一图像特征点和所述第二图像特征点进行匹配，得到相互匹配的有效图像特征点对；

根据所述有效图像特征点对计算所述变换矩阵。

4.根据权利要求3所述的方法，其特征在于，所述从所述待对齐帧图像的特征图像块中选择第一有效特征图像块，包括：

确定所述特征图像块所处区域，所述区域包括：边缘区域和中心区域；

按照从边缘区域到中心区域的顺序从所述特征图像块中选择第一有效特征图像块。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述根据所述特征图从所述至少2帧待处理图像中确定1帧待处理图像为参考帧图像，其他待处理图像为待对齐帧图像，包括：

选择特征图的图像亮度最佳的1帧待处理图像为参考帧图像，其他待处理图像为待对齐帧图像；或者，

选择特征图的图像清晰度最高的1帧待处理图像为参考帧图像，其他待处理图像为待对齐帧图像。

6.根据权利要求1至4任一项所述的方法，其特征在于，所述对所述每一帧待处理图像的特征图分别进行分块处理之前，还包括：

在所述特征图之间的图像亮度差异大于预设第一阈值时，对所述特征图进行亮度均衡。

7.根据权利要求1至4任一项所述的方法，其特征在于，所述对所述每一帧待处理图像的特征图分别进行分块处理之前，还包括：

在所述特征图之间的图像清晰度差异大于预设第二阈值时，对所述特征图进行清晰度均衡。

8.一种图像处理装置，其特征在于，包括：

获取模块，用于获取至少2帧待处理图像；所述至少2帧待处理图像的图像格式相同；

计算模块，用于分别计算每一帧所述待处理图像的特征图；

确定模块，用于根据所述特征图从所述至少2帧待处理图像中确定1帧待处理图像为参考帧图像，其他待处理图像为待对齐帧图像；

分块模块，用于对所述每一帧待处理图像的特征图分别进行分块处理，得到每一帧待处理图像的特征图像块；

对齐模块，用于根据所述待对齐帧图像的特征图像块和所述参考帧图像的特征图像块，对所述待对齐帧图像进行相对于参考帧图像的对齐处理，得到所述待对齐帧图像的对齐图像。

9.一种电子设备，其特征在于，包括：

处理器；存储器；其中，一个或多个计算机程序被存储在所述存储器中，所述计算机程序被所述处理器执行时，使得所述电子设备执行权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行权利要求1至7任一项所述的方法。

11.一种芯片模组，其特征在于，包括权利要求8所述的图像处理装置。

Images