CN117132629A - 图像处理方法和电子设备 - Google Patents

Abstract

本申请实施例适用于图像处理领域，提供一种图像处理方法和电子设备，响应于第一操作，获取待配准图像和参考帧图像，再对待配准图像进行图像配准处理，得到配准后的图像，然后确定第一拜尔排列方式与第二拜尔排列方式是否相同，若第一拜尔排列方式与第二拜尔排列方式不同，则将第二像素点移动到第三像素点的坐标，得到更新后的图像，再基于更新后的图像和参考帧图像进行融合处理得到第一图像，然后显示第一图像，由于更新后的图像中的第三像素点的拜尔排列方式与待配准图像中对应的第一像素点的拜尔排列方式相同，相当于更新后的图像与待配准图像之间没有像素偏移，提高了所得到的第一图像的质量。

Description

图像处理方法和电子设备

技术领域

本申请涉及图像处理领域，并且更具体地，涉及一种图像处理方法和电子设备。

背景技术

在图像处理领域，通常会对待配准图像与参考帧图像进行图像配准，以使待配准图像和参考帧图像之间能够进行匹配。

例如，对待配准图像与参考帧图像进行图像配准，可以采用配准算法获得各个帧图像之间的单应性矩阵，然后通过单应性矩阵将待配准图像投影到参考帧图像上，实现待配准图像和参考帧图像之间的图像配准。然而，采用单应性矩阵进行图像配准时，配准后的图像上容易出现像素偏移的情况，进而导致基于配准后的图像进行融合得到的融合图像上出现色块。

基于此，如何避免融合图像上出现色块成为了一个亟待解决的问题。

发明内容

本申请提供了一种图像处理方法，能够避免融合图像上出现色块。

第一方面，提供了一种图像处理方法，包括：

响应于第一操作，获取待配准图像和参考帧图像；

对待配准图像进行图像配准处理，得到配准后的图像；

确定第一拜尔排列方式与第二拜尔排列方式是否相同，第一拜尔排列方式为待配准图像上的第一像素点的拜尔排列方式，第二拜尔排列格式为配准后的图像中第二像素点的拜尔排列方式，第一像素点是待配准图像上的任意像素点，第二像素点是第一像素点经过图像配准处理后的像素点；

若第一拜尔排列方式与第二拜尔排列方式不同，将第二像素点移动到第三像素点的坐标，得到更新后的图像，第三像素点的拜尔排列方式与第一拜尔排列方式相同，且与第三像素点与第二像素点之间的距离小于预设阈值；

基于更新后的图像和参考帧图像进行融合处理，得到第一图像；

显示第一图像。

本申请实施例提供了一种图像处理方法，响应于第一操作，获取待配准图像和参考帧图像，再对待配准图像进行图像配准处理，得到配准后的图像，然后确定第一拜尔排列方式与第二拜尔排列方式是否相同，若第一拜尔排列方式与第二拜尔排列方式不同，则将第二像素点移动到第三像素点的坐标，得到更新后的图像，再基于更新后的图像和参考帧图像进行融合处理得到第一图像，然后显示第一图像。其中，第一拜尔排列方式为待配准图像上的第一像素点的拜尔排列方式，第二拜尔排列方式为配准后的图像中第二像素点的拜尔排列方式，第一像素点是待配准图像上的任意像素点，第二像素点是第一像素点经过图像配准处理后的像素点，第三像素点的拜尔排列方式与第一拜尔排列方式相同，且与第三像素点与第二像素点之间的距离小于预设阈值，由于更新后的图像中的第三像素点的拜尔排列方式与待配准图像中对应的第一像素点的拜尔排列方式相同，相当于更新后的图像与待配准图像之间没有像素偏移，使得基于没有像素偏差的更新后的图像和待配准图像得到第一图像中不会出现色块，提高了所得到的第一图像的质量。

在一种可能的情况下，第三像素点是与第一像素点的拜尔排列方式相同，且与第二像素点之间的距离最小的像素点。

本申请的实施例中，第三像素点是与第一像素点的拜尔排列方式相同，且与第二像素点之间的距离最小的像素点，使得在进行像素纠偏的过程中，是将第二像素点移动到距离最近的像素点(即第三像素点)，得到更加准确的更新后的图像，进而使得根据更新后的图像与参考帧图像得到的第一图像的质量更高。

结合第一方面，在第一方面的一个实施例中，上述基于更新后的图像和参考帧图像进行融合处理，得到第一图像，包括：对更新后的图像和参考帧图像进行融合处理，得到第一图像。

本申请实施例提供的图像处理方法，响应于第一操作，获取待配准图像和参考帧图像，并采用配准算法得到待配准图像和参考帧图像之间的单应性矩阵，再采用单应性矩阵对待配准图像进行图像配准，得到配准后的图像，然后确定第一拜尔排列方式与第二拜尔排列方式是否相同，若第一拜尔排列方式与第二拜尔排列方式不同，则将第二像素点移动到第三像素点的坐标，得到更新后的图像，再对更新后的图像和参考帧图像进行融合处理得到第一图像，然后显示第一图像。其中，第一拜尔排列方式为待配准图像上的第一像素点的拜尔排列方式，第二拜尔排列方式为配准后的图像中第二像素点的拜尔排列方式，第一像素点是待配准图像上的任意像素点，第二像素点是第一像素点经过图像配准处理后的像素点，第三像素点的拜尔排列方式与第一拜尔排列方式相同，且第三像素点与第二像素点之间的距离小于预设阈值，这样使得采用图像融合处理得到的第一图像，是对没有像素偏差的更新后的图像和待配准图像进行图像融合处理得到的，提高了所得到的第一图像的质量。

结合第一方面，在第一方面的一个实施例中，基于更新后的图像和参考帧图像得到第一图像，包括：采用去马赛克算法对更新后的图像进行处理，得到第二图像；对第二图像和参考帧图像进行融合处理，得到第一图像。

本申请实施例提供的图像处理方法，响应于第一操作，获取待配准图像和参考帧图像，并采用配准算法得到待配准图像和参考帧图像之间的单应性矩阵，再采用单应性矩阵对待配准图像进行图像配准，得到配准后的图像，然后确定第一拜尔排列方式与第二拜尔排列方式是否相同，若第一拜尔排列方式与第二拜尔排列方式不同，则将第二像素点移动到第三像素点的坐标，得到更新后的图像，再采用去马赛克算法对更新后的图像进行处理，得到第二图像，然后对第二图像和参考帧图像进行融合处理得到第一图像，再显示第一图像。其中，第一拜尔排列方式为待配准图像上的第一像素点的拜尔排列方式，第二拜尔排列方式为配准后的图像中第二像素点的拜尔排列方式，第一像素点是待配准图像上的任意像素点，第二像素点是第一像素点经过图像配准处理后的像素点，第三像素点的拜尔排列方式与第一拜尔排列方式相同，且第三像素点与第二像素点之间的距离小于预设阈值，这样使得采用图像融合处理得到的第一图像，是对没有像素偏差的第二图像和待配准图像进行图像融合处理得到的，提高了所得到的第一图像的质量。

结合第一方面，在第一方面的一个实施例中，对待配准图像进行图像配准，得到配准后的图像，包括：采用单应性矩阵对待配准图像进行图像配准，得到配准后的图像。

结合第一方面，在第一方面的一个实施例中，该方法还包括：采用配准算法得到待配准图像和参考帧图像之间的单应性矩阵。

本申请实施例提供的图像处理方法，响应于第一操作，获取待配准图像和参考帧图像，并采用配准算法得到待配准图像和参考帧图像之间的单应性矩阵，再采用单应性矩阵对待配准图像进行图像配准，得到配准后的图像，然后确定第一拜尔排列方式与第二拜尔排列方式是否相同，若第一拜尔排列方式与第二拜尔排列方式不同，则将第二像素点移动到第三像素点的坐标，得到更新后的图像，再基于更新后的图像和参考帧图像进行融合处理得到第一图像，然后显示第一图像。其中，第一拜尔排列方式为待配准图像上的第一像素点的拜尔排列方式，第二拜尔排列方式为配准后的图像中第二像素点的拜尔排列方式，第一像素点是待配准图像上的任意像素点，第二像素点是第一像素点经过图像配准处理后的像素点，第三像素点的拜尔排列方式与第一拜尔排列方式相同，且与第三像素点与第二像素点之间的距离小于预设阈值，由于采用单应性矩阵对待配准图像进行图像配准，容易出现待配准图像上的第一像素点的拜尔排列方式和配准后的图像上的第二像素点的拜尔排列方式不一致的情况，因此采用本申请实施例提供的图像处理方法，能够更加有效的消除待配准图像和配准后的图像之间的像素偏移，进而使得基于没有像素偏移的更新后的图像和待配准图像得到第一图像中更不容易出现色块，提高了所得到的第一图像的质量。

第二方面，提供了一种电子设备，电子设备包括获取模块、配准模块、纠偏模块、处理模块和显示模块；其中：

获取模块用于响应于第一操作，获取待配准图像和参考帧图像；

配准模块用于对待配准图像进行图像配准处理，得到配准后的图像；

纠偏模块用于确定所确定第一拜尔排列方式与第二拜尔排列方式是否相同，第一拜尔排列方式为待配准图像上的第一像素点的拜尔排列方式，第二拜尔排列格式为配准后的图像中第二像素点的拜尔排列方式，第一像素点是待配准图像上的任意像素点，第二像素点是第一像素点经过图像配准处理后的像素点；若第一拜尔排列方式与第二拜尔排列方式不同，将第二像素点移动到第三像素点的坐标，得到更新后的图像，第三像素点的拜尔排列方式与第一拜尔排列方式相同，且与第三像素点与第二像素点之间的距离小于预设阈值；

处理模块用于基于更新后的图像和参考帧图像进行融合处理，得到第一图像；

显示模块用于显示第一图像。

第三方面，提供了一种图像处理装置，包括用于执行第一方面或第二方面中任一种方法的单元。该装置可以是服务器，也可以是终端设备，还可以是终端设备内的芯片。该装置可以包括输入单元和处理单元。

当该装置是终端设备时，该处理单元可以是处理器，该输入单元可以是通信接口；该终端设备还可以包括存储器，该存储器用于存储计算机程序代码，当该处理器执行该存储器所存储的计算机程序代码时，使得该终端设备执行第一方面中的任一种方法。

当该装置是终端设备内的芯片时，该处理单元可以是芯片内部的处理单元，该输入单元可以是输出接口、管脚或电路等；该芯片还可以包括存储器，该存储器可以是该芯片内的存储器(例如，寄存器、缓存等)，也可以是位于该芯片外部的存储器(例如，只读存储器、随机存取存储器等)；该存储器用于存储计算机程序代码，当该处理器执行该存储器所存储的计算机程序代码时，使得该芯片执行第一方面中的任一种方法。

在一种可能的实现方式中，存储器用于存储计算机程序代码；处理器，处理器执行该存储器所存储的计算机程序代码，当该存储器存储的计算机程序代码被执行时，该处理器用于执行：响应于第一操作，获取待配准图像和参考帧图像；对待配准图像进行图像配准处理，得到配准后的图像；确定第一拜尔排列方式与第二拜尔排列方式是否相同，第一拜尔排列方式为待配准图像上的第一像素点的拜尔排列方式，第二拜尔排列格式为配准后的图像中第二像素点的拜尔排列方式，第一像素点是待配准图像上的任意像素点，第二像素点是第一像素点经过图像配准处理后的像素点；若第一拜尔排列方式与第二拜尔排列方式不同，将第二像素点移动到第三像素点的坐标，得到更新后的图像，第三像素点的拜尔排列方式与第一拜尔排列方式相同，且与第三像素点与第二像素点之间的距离小于预设阈值；基于更新后的图像和参考帧图像进行融合处理，得到第一图像；显示第一图像。

第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序代码，当所述计算机程序代码被图像处理装置运行时，使得该图像处理装置执行第一方面中的任一种图像处理方法。

第五方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码被图像处理装置运行时，使得该图像处理装置执行第一方面中的任一种装置方法。

本申请实施例提供了一种图像处理方法和电子设备，响应于第一操作，获取待配准图像和参考帧图像，再对待配准图像进行图像配准处理，得到配准后的图像，然后确定第一拜尔排列方式与第二拜尔排列方式是否相同，若第一拜尔排列方式与第二拜尔排列方式不同，则将第二像素点移动到第三像素点的坐标，得到更新后的图像，再基于更新后的图像和参考帧图像进行融合处理得到第一图像，然后显示第一图像。其中，第一拜尔排列方式为待配准图像上的第一像素点的拜尔排列方式，第二拜尔排列方式为配准后的图像中第二像素点的拜尔排列方式，第一像素点是待配准图像上的任意像素点，第二像素点是第一像素点经过图像配准处理后的像素点，第三像素点的拜尔排列方式与第一拜尔排列方式相同，且与第三像素点与第二像素点之间的距离小于预设阈值，由于更新后的图像中的第三像素点的拜尔排列方式与待配准图像中对应的第一像素点的拜尔排列方式相同，相当于更新后的图像与待配准图像之间没有像素偏移，使得基于没有像素偏差的更新后的图像和待配准图像得到第一图像中不会出现色块，提高了所得到的第一图像的质量。

附图说明

图1是一种采用传统方法得到的融合图像的示意图；

图2是一种适用于本申请的电子设备的硬件系统的示意图；

图3是一种适用于本申请的电子设备的软件系统的示意图；

图4是本申请实施例提供的一种图像处理方法的流程示意图；

图5是本申请实施例提供的一种获取待配准图像的参考帧图像的界面示意图；

图6是本申请实施例提供的一种待配准图像、配准后的图像和更新后的图像的示意图；

图7是本申请实施例提供的一种像素点的拜尔排列方式的示意图；

图8是本申请实施例提供的一种图像处理方法的流程示意图；

图9是本申请实施例提供的一种图像处理方法的流程示意图；

图10是本申请实施例提供的融合图像的示意图；

图11是本申请实施例提供的融合图像的示意图；

图12是本申请实施例提供的一种图像处理方法的流程示意图；

图13是本申请实施例提供的一种图像处理装置的示意图；

图14是本申请提供的一种图像处理的电子设备的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请实施例的描述中，“多个”是指两个或多于两个。

以下，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者更多个该特征。

为了便于理解，示例的给出部分与本申请实施例相关概念的说明以供参考。

1、图像配准(Image registration)

图像配准是指将不同时间、不同传感器(成像设备)或者不同条件下(气候、照度、摄像位置和角度等)获取的两幅或多幅图像进行像素点坐标匹配的过程。

2、单应性矩阵(Homography Matrix)

同一物体在两个不同视角的图像上对应的点的坐标可以通过射影变换的方式相互转换。其中，相互转换时所采用的矩阵即为单应性矩阵。

3、拜耳格式(bayer pattern)

在将实际的景物转换为图像数据时，通常是由图像传感器分别接收红色通道信号、绿色通道信号和蓝色通道信号，再将三个通道信号的信息合成彩色图像。但是，这种方案中每个像素位置处都对应需要三块滤镜，成本较高。为了节约成本，可以在图像传感器表面覆盖一层彩色滤波阵列，以获取三个通道信号的信息。上述彩色滤波阵列指的是滤镜以棋盘格式进行排布，包括多个获取不同颜色通道信号的滤镜阵列。例如，彩色滤波阵列包括一个获取红色通道信号的滤镜、两个获取绿色通道信号的滤镜、一个获取蓝色通道信号的滤镜。上述4个滤镜2×2的方式排布。

4、Raw图

Raw图是指未经加工图像，可以理解为相机的感光元件，例如互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)或者电荷耦合器件(Charge-coupledDevice，CCD)将捕捉到的光源信号转化为数字信号的原始数据。不仅记录了数码相机传感器的原始信息，同时记录了由相机拍摄所产生的一些元数据，例如感光度(International Organization for Standardization，ISO)的设置、快门速度、光圈值、白平衡等。

现阶段，在图像处理领域，通常会对待配准图像与参考帧图像进行图像配准，以使多帧待配准图像和参考帧图像之间能够进行融合。例如，对多帧待配准图像与参考帧图像进行图像配准，可以采用配准算法获得各个帧图像之间的单应性矩阵，然后通过单应性矩阵将待配准图像投影到参考帧图像上，实现待配准图像和参考帧图像之间的图像配准。然而，采用单应性矩阵进行图像配准时，配准后的图像上容易出现像素偏移的情况，导致同一物体的在待配准图像和参考帧图像上的像素值相差较多，进而导致基于配准后的图像得到的图像上出现与原始物体的像素值相差较大的色块。示例性的，如图1中的(a)所示，通过去马赛克算法输出的图像中，在“树木”上方显示多个色块。示例性的，如图1中的(b)所示，采用多帧融合算法输出的图像中，在“小狗”身体上，显示有多个条状的色块。

有鉴于此，本申请实施例提供了一种图像处理方法，响应于第一操作，获取待配准图像和参考帧图像，再对待配准图像进行图像配准处理，得到配准后的图像，然后确定第一拜尔排列方式与第二拜尔排列方式是否相同，若第一拜尔排列方式与第二拜尔排列方式不同，则将第二像素点移动到第三像素点的坐标，得到更新后的图像，再基于更新后的图像和参考帧图像进行融合处理得到第一图像，然后显示第一图像。其中，第一拜尔排列方式为待配准图像上的第一像素点的拜尔排列方式，第二拜尔排列方式为配准后的图像中第二像素点的拜尔排列方式，第一像素点是待配准图像上的任意像素点，第二像素点是第一像素点经过图像配准处理后的像素点，第三像素点的拜尔排列方式与第一拜尔排列方式相同，且与第三像素点与第二像素点之间的距离小于预设阈值，由于更新后的图像中的第三像素点的拜尔排列方式与待配准图像中对应的第一像素点的拜尔排列方式相同，相当于更新后的图像与待配准图像之间没有像素偏移，使得基于没有像素偏差的更新后的图像和待配准图像得到第一图像中不会出现色块，提高了所得到的第一图像的质量。

本申请实施例提供的图像处理方法，可以应用于电子设备。可选的，电子设备包括终端设备，终端设备也可以称为终端(terminal)、用户设备(user equipment，UE)、移动台(mobile station，MS)、移动终端(mobile terminal，MT)等。终端设备可以是手机(mobilephone)、智能电视、穿戴式设备、平板电脑(Pad)、带无线收发功能的电脑、虚拟现实(virtual reality，VR)终端设备、增强现实(augmented reality，AR)终端设备、工业控制(industrial control)中的无线终端、无人驾驶(self-driving)中的无线终端、远程手术(remote medical surgery)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端等等。本申请的实施例对终端设备所采用的具体技术和具体设备形态不作限定。

示例性的，图2示出了电子设备100的结构示意图。电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

可以理解的是，本申请实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

需要说明的是，本申请实施例提到的任一电子设备可以包括电子设备100中更多或者更少的模块。

电子设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的Android系统为例，示例性说明电子设备100的软件结构。

图3是本申请实施例的电子设备100的软件结构框图。

电子设备100的分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，软件系统可以分为五层，从上至下分别为应用层210、应用框架层220、硬件抽象层230、驱动层240以及硬件层250。

应用层210可以包括相机、图库应用程序，还可以包括日历、通话、地图、导航、WLAN、蓝牙、音乐、视频、短信息等应用程序。

应用框架层220为应用层210的应用程序提供应用程序访问接口和编程框架。

例如，应用框架层220包括相机访问接口，该相机访问接口用于通过相机管理和相机设备来提供相机的拍摄服务。

应用框架层220中的相机管理用于管理相机。相机管理可以获取相机的参数，例如判断相机的工作状态等的参数。

应用框架层220中的相机设备用于提供不同相机设备以及相机管理之间的数据访问接口。

硬件抽象层230用于将硬件抽象化。比如，硬件抽象层230可以包相机硬件抽象层以及其他硬件设备抽象层；相机硬件抽象层中可以包括相机设备1、相机设备2等；相机硬件抽象层可以与相机算法库相连接，相机硬件抽象层可以调用相机算法库中的算法。

驱动层240用于为不同的硬件设备提供驱动。比如，驱动层可以包括相机设备驱动；数字信号处理器驱动(图中未示出)以及图形处理器驱动(图中未示出)。

硬件层250可以包括相机模组，其中相机模组中可以包括传感器、图像信号处理器、数字信号处理器、图形处理器以及其他硬件设备。其中，传感器可以包括传感器1、传感器2等，还可以包括深度传感器(timeof flight，TOF)和多光谱传感器。

需要说明的是，本申请实施例提到的电子设备可以包括上述电子设备中更多或者更少的模块。

下面结合显示拍照场景，示例性说明电子设备100的软件系统的工作流程。

当用户在触摸传感器180K上进行单击操作时，相机APP被单击操作唤醒后，通过相机访问接口调用相机硬件抽象层的各个相机设备。示例性的，相机硬件抽象层判断出当前变焦倍数处于[0.6，0.9]变焦倍数范围之间，由此，可以通过向相机设备驱动下发调用广角摄像头的指令，同时相机算法库开始加载相机算法库的图像处理算法。

当硬件层的传感器被调用后，例如，调用广角摄像头中的传感器1获取原始图像后，其中，原始图像通常包括多帧图像，分别为参考帧图像和待配准图像。基于参考帧图像对待配准图像进行图像配准，得到配准后的图像。配准后的图像经相机设备驱动返回硬件抽象层，再利用加载的相机算法库中的算法进行处理，例如利用图像处理算法中的纠错模块，按照本申请实施例提供的相关处理步骤进行处理，得到更新后的图像，再利用图像处理算法对更新后的图像进行处理，得到拍摄图像。最后将得到的拍摄图像经相机硬件抽象层、相机访问接口发送回相机应用进行显示和存储。

下面结合图4至图9对本申请实施例提供的图像处理方法进行详细描述。

图4为本申请实施例提供的一种图像处理方法的流程示意图，如图4所示，该方法包括：

S101、响应于第一操作，获取待配准图像和参考帧图像。

其中，第一操作可以是指拍摄图像的操作，也可以是对图像进行优化的处理，本申请实施例对此不作限制。

示例性的，以第一操作是拍摄图像的操作为例进行说明。

如图5中的(a)所示，在手机拍摄照片的界面上，用户点击了拍摄控件501，如图5中的(b)所示，通常手机响应于该点击操作，获取多帧图像。其中，手机会选择一帧图像作为参考帧图像，将其他帧作为待配准图像。例如，可以将拍摄时间最早的一帧图像作为参考帧图像。

待配准图像可以是Raw图。参考帧图像可以是Raw图，也可以是RGB图。其中，与Raw图不同的是，RGB图通常是指被用户直接观察的图像。

S102、对待配准图像进行图像配准处理，得到配准后的图像。

由于在拍摄过程中，用户的手的抖动，或者，景物随着时间的变化而变化(例如，风吹动树枝)等原因，导致手机连续获取的多帧图像中，同一物体的位置有细微的变化。再对多帧图像进行图像增强处理之前，需要先将多帧图像进行图像配准，使得对多帧图像进行图像增强处理的效果更好。因此，通常需要多帧图像中的一帧作为参考帧图像，对其他帧图像(也即是待配准图像)进行图像配准，以使待配准图像和参考帧图像中的对象能够匹配。应理解，待配准图像和参考帧图像通常是RAW图。

示例性的，如图6所示，待配准图像1经过图像配准之后，得到配准后的图像2。其中，待配准图像1和配准后的图像2均为RAW图，每个像素点对应4个颜色通道，示例性的，如图7所示。

S103、确定第一拜尔排列方式与第二拜尔排列方式是否相同。若否，则执行S104。

其中，第一拜尔排列方式为待配准图像上的第一像素点的拜尔排列方式，第二拜尔排列格式为配准后的图像中第二像素点的拜尔排列方式，第一像素点是待配准图像上的任意像素点，第二像素点是第一像素点经过图像配准处理后的像素点。

例如，如图6所示，第一像素点是待配准图像1中的任一像素点，第二像素点是配准后的图像2中第一像素点对应的像素点。第一像素点的在待配准图像1中的坐标位置，与第二像素点在配准后的图像2中的坐标位置，可以相同，也可以不同，本申请实施例对此不作限制。在第一像素点的在待配准图像1中的坐标位置，与第二像素点在配准后的图像2中的坐标位置相同时，则在进行图像配准时，未出现了像素错位的问题。在第一像素点的在待配准图像1中的坐标位置，与第二像素点在配准后的图像2中的坐标位置不同时，则在进行图像配准时，出现了像素错位的问题。

在一种可能的情况下，待配准图像1和配准后的图像2之间存在像素错位，也即是说，同一个对象在待配准图像1上的像素点的位置，与在配准后的图像2上像素点的位置不同。示例性的，如图6所示，由于待配准图像1和配准后的图像2均为RAW图，因此当待配准图像1和配准后的图像2之间存在像素错位，第一像素点3的拜尔排列方式和第二像素点4的拜尔排列方式不同。

示例性的，如图7所示，一个像素点上通常包括4个颜色通道，拜尔排列方式是指这4个颜色通道的排列方式。例如，如图7中的(a)所示，该像素点的拜尔排列方式为RGGB，即该像素点的第一行第一列的颜色通道为R通道，该像素点的第一行第二列的颜色通道为G通道，该像素点的第二行第一列的颜色通道为G通道，该像素点的第二行第二列的颜色通道为B通道；如图7中的(b)所示，该像素点的拜尔排列方式为BGGR，即该像素点的第一行第一列的颜色通道为B通道，该像素点的第一行第二列的颜色通道为G通道，该像素点的第二行第一列的颜色通道为G通道，该像素点的第二行第二列的颜色通道为R通道；如图7中的(c)所示，该像素点的拜尔排列方式为GBRG，即该像素点的第一行第一列的颜色通道为G通道，该像素点的第一行第二列的颜色通道为B通道，该像素点的第二行第一列的颜色通道为R通道，该像素点的第二行第二列的颜色通道为G通道；如图7中的(d)所示，该像素点的拜尔排列方式为GRBG,即该像素点的第一行第一列的颜色通道为G通道，该像素点的第一行第二列的颜色通道为R通道，该像素点的第二行第一列的颜色通道为B通道，该像素点的第二行第二列的颜色通道为G通道。

S104、将第二像素点移动到第三像素点的坐标，得到更新后的图像。

其中，第三像素点的拜尔排列方式与第一拜尔排列方式相同，且与第三像素点与第二像素点之间的距离小于预设阈值。

在待配准图像1上的第一像素点的拜尔排列方式和配准后的图像2上的第二像素点的拜尔排列方式不一致时，可以将第二像素点移动到与第一像素点的拜尔排列方式相同，且与第二像素点之间的距离小于预设阈值的第三像素点，得到更新后的图像3，如图6所示。

第三像素点和第二像素点之间的距离小于预设阈值，使得第三像素点和第二像素点指示同一对象的概率较大，因此，将第二像素点移动到第三像素点上，能够修正由于图像配准处理带来的像素偏差。

应理解，在进行图像配准时，得到的配准后的图像上像素点的位置，通常是以浮点方式得到的。例如，像素点1在待配准图像中的坐标为(1,0)，经过图像配准之后，得到像素点1在配准后的图像的坐标为(1.2,0)，此时，需要对像素点1的坐标进行浮点运算，将像素点1设置在配准后的图像的坐标(1,0)上。基于此，在配准后的图像2上查找与第二像素点之间的距离小于预设阈值的第三像素点时，需要基于第二像素点的坐标的浮点，查找得到第三像素点。

在一种可能的情况下，第三像素点是与第一像素点的拜尔排列方式相同，且与第二像素点之间的距离最小的像素点。

例如，像素点1在待配准图像中的坐标为(1,0)，经过图像配准之后，得到像素点1在配准后的图像的坐标为(1.2,0)，此时，需要对像素点1的坐标进行浮点运算，将像素点1设置在配准后的图像的坐标(1,0)上。基于此，在配准后的图像2上查找与第二像素点之间的距离小于预设阈值的第三像素点时，需要基于第二像素点的坐标的浮点，查找得到距离最近的第三像素点。

示例性的，第一像素点的拜尔排列格式为RBBG，第二像素点的拜尔排列格式为BGGR。第一像素点的拜尔排列格式和第二像素点的拜尔排列格式不同，则需要在配准后的图像2上查找第三像素点，将第二像素点移动到第三像素点。其中，经过图像配准得到第二像素点的坐标为(1.4,0)，对(1.4，0)进行浮点运算，得到第二像素点在配准后的图像2上的坐标为(1,0)。此时，在配准后的图像2上坐标为(2，0)像素点的拜尔排列格式为RBBG，也即是说，配准后的图像2上坐标为(2，0)像素点与第二像素点之间的距离最小，且与第一像素点的拜尔排列格式相同，均为RBBG。因此第三像素点即为配准后的图像2上坐标为(2，0)的像素点。

本申请的实施例中，第三像素点是与第一像素点的拜尔排列方式相同，且与第二像素点之间的距离最小的像素点，使得在进行像素纠偏的过程中，是将第二像素点移动到距离最近的像素点(即第三像素点)，得到更加准确的更新后的图像，进而使得根据更新后的图像与参考帧图像得到的第一图像的质量更高。

在得到第三像素点之后，将第二像素点移动到第三像素点的坐标处，得到更新后的图像3。这样相当于在同一对象在待配准图像1中的拜尔排列格式和在更新后的图像3中的拜尔排列格式相同，如图6所示。

应理解，第一像素点是待配准图像1中的任一像素点，因此第一像素点是指多个像素点，分别为待配准图像1中的每个像素点。对应的，第二像素点为配准后的图像2中的多个像素点，第三像素点为更新后的图像3中的多个像素点。逐一对比每个第一像素点和第二像素点的拜尔排列格式，并对每个第二像素点进行调整，相当于完成了配准后的图像2每个像素点的调整。也即是说，更新后的图像3中每个像素点的拜尔排列格式均与待配准图像1中对应的第一像素点拜尔排列格式相同。

S105、基于更新后的图像和参考帧图像进行融合处理得到第一图像。

其中，可以对采用去马赛克(demosaic)算法对更新后的图像进行处理，然后对处理后的图像和参考帧图像进行融合处理得到第一图像；也可以直接对更新后的图像和参考帧图像进行图像融合(Image Fusion)处理，得到第一图像；本申请实施例对此不作限制。

其中，去马赛克算法是一种数位影像处理算法，可以是指从覆有滤色阵列(Colorfilter array，简称CFA)的感光元件所输出的不完全色彩取样中，重建出全彩影像的算法，相当于将图像从拜尔域转换到RGB域，也即是一般可以浏览的格式。

其中，融合处理，也称图像融合处理，是指将多源信道所采集到的关于同一目标的图像数据，经过图像处理最大限度的提取各自信道中的有利信息，最后综合成高质量的图像的处理。例如，在手机拍照时，通常会通过不同摄像头拍摄多帧图像，将多帧图像进行图像融合处理，得到最终显示的图像。

S106、显示第一图像。

本申请实施例提供的图像处理方法，响应于第一操作，获取待配准图像和参考帧图像，再对待配准图像进行图像配准处理，得到配准后的图像，然后确定第一拜尔排列方式与第二拜尔排列方式是否相同，若第一拜尔排列方式与第二拜尔排列方式不同，则将第二像素点移动到第三像素点的坐标，得到更新后的图像，再基于更新后的图像和参考帧图像进行融合处理得到第一图像，然后显示第一图像。其中，第一拜尔排列方式为待配准图像上的第一像素点的拜尔排列方式，第二拜尔排列方式为配准后的图像中第二像素点的拜尔排列方式，第一像素点是待配准图像上的任意像素点，第二像素点是第一像素点经过图像配准处理后的像素点，第三像素点的拜尔排列方式与第一拜尔排列方式相同，且与第三像素点与第二像素点之间的距离小于预设阈值，由于更新后的图像中的第三像素点的拜尔排列方式与待配准图像中对应的第一像素点的拜尔排列方式相同，相当于更新后的图像与待配准图像之间没有像素偏移，使得基于没有像素偏差的更新后的图像和待配准图像得到第一图像中不会出现色块，提高了所得到的第一图像的质量。

在一种可能的情况下，在进行图像配准之前，可以采用配准算法得到待配准图像和参考帧图像之间的单应性矩阵，然后采用单应性矩阵对待配准图像进行图像配准，得到配准后的图像。下面通过图8所示实施例来详细描述。

图8为本申请实施例提供的另一种图像处理方法的流程示意图，如图8所示，该方法包括：

S201、响应于第一操作，获取待配准图像和参考帧图像。

其中，第一操作可以是指拍摄图像的操作，也可以是对图像进行优化的处理，本申请实施例对此不作限制。

S202、采用配准算法得到待配准图像和参考帧图像之间的单应性矩阵。

其中，配准算法可以包括基于图像灰度统计特性的配准算法，基于图像特征配准算法和基于图像理解的配准算法。基于上述任一种配准算法，均需要获取待配准图像和参考帧图像之间的单应性矩阵，也即是将待配准图像上点的坐标转换成参考帧图像上点的坐标的矩阵。

S203、采用单应性矩阵对待配准图像进行图像配准，得到配准后的图像。

应理解，由于单应性矩阵是通过配准算法得到的，通常会存在一定的误差，因此，采用单应性矩阵对待配准图像进行图像配准，容易出现像素错位的问题，也即是容易出现第一像素点的拜尔排列格式和第二像素点的拜尔排列格式不一致的情况。

S204、确定第一拜尔排列方式与第二拜尔排列方式是否相同。若否，则执行S205。

其中，第一拜尔排列方式为待配准图像上的第一像素点的拜尔排列方式，第二拜尔排列格式为配准后的图像中第二像素点的拜尔排列方式，第一像素点是待配准图像上的任意像素点，第二像素点是第一像素点经过图像配准处理后的像素点。

S205、将第二像素点移动到第三像素点的坐标，得到更新后的图像。

其中，第三像素点的拜尔排列方式与第一拜尔排列方式相同，且与第三像素点与第二像素点之间的距离小于预设阈值。

S206、基于更新后的图像和参考帧图像进行融合处理，得到第一图像。

S207、显示第一图像。

本申请实施例提供的图像处理方法，响应于第一操作，获取待配准图像和参考帧图像，并采用配准算法得到待配准图像和参考帧图像之间的单应性矩阵，再采用单应性矩阵对待配准图像进行图像配准，得到配准后的图像，然后确定第一拜尔排列方式与第二拜尔排列方式是否相同，若第一拜尔排列方式与第二拜尔排列方式不同，则将第二像素点移动到第三像素点的坐标，得到更新后的图像，再基于更新后的图像和参考帧图像进行融合处理得到第一图像，然后显示第一图像。其中，第一拜尔排列方式为待配准图像上的第一像素点的拜尔排列方式，第二拜尔排列方式为配准后的图像中第二像素点的拜尔排列方式，第一像素点是待配准图像上的任意像素点，第二像素点是第一像素点经过图像配准处理后的像素点，第三像素点的拜尔排列方式与第一拜尔排列方式相同，且与第三像素点与第二像素点之间的距离小于预设阈值，由于采用单应性矩阵对待配准图像进行图像配准，容易出现待配准图像上的第一像素点的拜尔排列方式和配准后的图像上的第二像素点的拜尔排列方式不一致的情况，因此采用本申请实施例提供的图像处理方法，能够更加有效的消除待配准图像和配准后的图像之间的像素偏移，进而使得基于没有像素偏移的更新后的图像和待配准图像得到第一图像中更不容易出现色块，提高了所得到的第一图像的质量。

图9为本申请实施例提供的另一种图像处理方法的流程示意图，如图9所示，该方法包括：

S301、响应于第一操作，获取待配准图像和参考帧图像。

其中，第一操作可以是指拍摄图像的操作，也可以是对图像进行优化的处理，本申请实施例对此不作限制。

S302、采用配准算法得到待配准图像和参考帧图像之间的单应性矩阵。

S303、采用单应性矩阵对待配准图像进行图像配准，得到配准后的图像。

S304、确定第一拜尔排列方式与第二拜尔排列方式是否相同。若否，则执行S305。

其中，第一拜尔排列方式为待配准图像上的第一像素点的拜尔排列方式，第二拜尔排列格式为配准后的图像中第二像素点的拜尔排列方式，第一像素点是待配准图像上的任意像素点，第二像素点是第一像素点经过图像配准处理后的像素点。

S305、第二像素点移动到第三像素点的坐标，得到更新后的图像。

其中，第三像素点的拜尔排列方式与第一拜尔排列方式相同，且与第三像素点与第二像素点之间的距离小于预设阈值。

S306、基于更新后的图像和参考帧图像进行融合处理，得到第一图像。

其中，S306“基于更新后的图像和参考帧图像得到第一图像”一种可能的实现方式包括：

S3061、对更新后的图像和参考帧图像进行图像融合处理，得到第一图像。

其中，图像融合处理是指将多源信道所采集到的关于同一目标的图像数据，经过图像处理最大限度的提取各自信道中的有利信息，最后综合成高质量的图像的处理。例如，在手机拍照时，通常会通过不同摄像头拍摄多帧图像，将多帧图像进行图像融合处理，得到最终显示的图像。

应理解，在待配准图像是Raw图的情况下，配准后的图像、更新后的图像均为Raw图，因此在对更新后的图像和参考帧图像进行图像融合处理，得到第一图像时，参考帧图像也为Raw图。

示例性的，如图10所示，采用本申请实施例的图像处理方法，对更新后的图像和参考帧图像进行图像融合处理，得到第一图像如图10所示，无如图1中的(b)所示的条纹。

本申请实施例提供的图像处理方法，响应于第一操作，获取待配准图像和参考帧图像，并采用配准算法得到待配准图像和参考帧图像之间的单应性矩阵，再采用单应性矩阵对待配准图像进行图像配准，得到配准后的图像，然后确定第一拜尔排列方式与第二拜尔排列方式是否相同，若第一拜尔排列方式与第二拜尔排列方式不同，则将第二像素点移动到第三像素点的坐标，得到更新后的图像，再对更新后的图像和参考帧图像进行融合处理得到第一图像，然后显示第一图像。其中，第一拜尔排列方式为待配准图像上的第一像素点的拜尔排列方式，第二拜尔排列方式为配准后的图像中第二像素点的拜尔排列方式，第一像素点是待配准图像上的任意像素点，第二像素点是第一像素点经过图像配准处理后的像素点，第三像素点的拜尔排列方式与第一拜尔排列方式相同，且第三像素点与第二像素点之间的距离小于预设阈值，这样使得采用图像融合处理得到的第一图像，是对没有像素偏差的更新后的图像和待配准图像进行图像融合处理得到的，提高了所得到的第一图像的质量。

其中，S306“基于更新后的图像和参考帧图像得到第一图像”一种可能的实现方式包括：

S3062、采用去马赛克算法对更新后的图像进行处理，得到第二图像。

其中，去马赛克算法是一种数位影像处理算法，可以是指从覆有滤色阵列的感光元件所输出的不完全色彩取样中，重建出全彩影像的算法，相当于将图像从拜尔域转换到RGB域，也即是一般可以浏览的格式。也即是说第二图像的格式是RGB。

S3063、对第二图像和参考帧图像进行融合处理，得到第一图像。

应理解，在通过去马赛克算法对更新后的图像进行处理，得到第二图像之后，可以将第二图像和参考帧图像进行融合处理，得到第一图像。此时，由于第二图像是图像的格式是RGB，因此，参考帧图像的格式也为RGB，也即是参考帧图像为RGB图像。

示例性的，如图11所示，采用本申请实施例的图像处理方法，采用去马赛克算法对更新后的图像进行处理，对第二图像和参考帧图像进行融合处理，得到第一图像如图11所示，无如图1中的(a)所示的色块。

本申请实施例提供的图像处理方法，响应于第一操作，获取待配准图像和参考帧图像，并采用配准算法得到待配准图像和参考帧图像之间的单应性矩阵，再采用单应性矩阵对待配准图像进行图像配准，得到配准后的图像，然后确定第一拜尔排列方式与第二拜尔排列方式是否相同，若第一拜尔排列方式与第二拜尔排列方式不同，则将第二像素点移动到第三像素点的坐标，得到更新后的图像，再采用去马赛克算法对更新后的图像进行处理，得到第二图像，然后对第二图像和参考帧图像进行融合处理得到第一图像，再显示第一图像。其中，第一拜尔排列方式为待配准图像上的第一像素点的拜尔排列方式，第二拜尔排列方式为配准后的图像中第二像素点的拜尔排列方式，第一像素点是待配准图像上的任意像素点，第二像素点是第一像素点经过图像配准处理后的像素点，第三像素点的拜尔排列方式与第一拜尔排列方式相同，且第三像素点与第二像素点之间的距离小于预设阈值，这样使得采用图像融合处理得到的第一图像，是对没有像素偏差的第二图像和待配准图像进行图像融合处理得到的，提高了所得到的第一图像的质量。

S307、显示第一图像。

在一个实施例中，上述图像处理方法可以应用于采用图3所示的软件框架的电子设备中。如图3所示，该软件框架从上至下分别为应用层210、应用框架层220、硬件抽象层230、驱动层240以及硬件层250。其中，在硬件抽象层230中的相机设备可以和相机算法库连接，调用相机算法库中的算法。在相机算法库中包括获取模块、配准模块、纠偏模块、处理模块和显示模块(图中未示出)。在传统方法的基础上，本申请实施例增加了纠偏模块，采用纠偏模块对配准后的图像中像素点的拜尔排列格式与待配准图像不同的像素点进行修正，得到更新后的图像。下面通过图12来详细说明。

图12为本申请实施例提供的另一种图像处理方法的流程示意图，如图12所示，图像处理方法可以应用于采用图3所示的软件框架的电子设备中。该电子设备的软件框架从上到下分别为应用层210、应用框架层220、硬件抽象层230、驱动层240以及硬件层250。其中，在硬件抽象层230中的相机设备可以和相机算法库连接，调用相机算法库中的算法。相机算法库中包括获取模块、配准模块、纠偏模块、处理模块和显示模块(图中未示出)。

该方法包括：

S401、获取模块响应于第一操作，获取待配准图像和参考帧图像。

S402、配准模块对待配准图像进行图像配准处理，得到配准后的图像。

S403、纠偏模块确定所确定第一拜尔排列方式与第二拜尔排列方式是否相同；若第一拜尔排列方式与第二拜尔排列方式不同，将第二像素点移动到第三像素点的坐标，得到更新后的图像。

其中，第一拜尔排列方式为待配准图像上的第一像素点的拜尔排列方式，第二拜尔排列格式为配准后的图像中第二像素点的拜尔排列方式，第一像素点是待配准图像上的任意像素点，第二像素点是第一像素点经过图像配准处理后的像素点，第三像素点的拜尔排列方式与第一拜尔排列方式相同，且与第三像素点与第二像素点之间的距离小于预设阈值。

S404、处理模块基于更新后的图像和参考帧图像进行融合处理得到第一图像。

S405、显示模块显示第一图像。

本申请实施例提供的图像处理方法，其实现原理和有益效果与上述实施例类似，此处不再赘述。

应该理解的是，虽然上述实施例中的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

可以理解的是，为了实现上述功能，电子设备包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对电子设备进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个模块中。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。需要说明的是，本申请实施例中模块的名称是示意性的，实际实现时对模块的名称不做限定。

图13为本申请实施例提供的图像处理装置的一种结构示意图。

应理解，图像处理装置600可以执行图4至图12所示的图像处理方法；图像处理装置600包括：获取单元610和处理单元620。

获取单元610用于响应于第一操作，获取待配准图像和参考帧图像；

处理单元620用于对待配准图像进行图像配准处理，得到配准后的图像；

处理单元620用于确定第一拜尔排列方式与第二拜尔排列方式是否相同，第一拜尔排列方式为待配准图像上的第一像素点的拜尔排列方式，第二拜尔排列格式为配准后的图像中第二像素点的拜尔排列方式，第一像素点是待配准图像上的任意像素点，第二像素点是第一像素点经过图像配准处理后的像素点；

处理单元620用于若第一拜尔排列方式与第二拜尔排列方式不同，将第二像素点移动到第三像素点的坐标，得到更新后的图像，第三像素点的拜尔排列方式与第一拜尔排列方式相同，且与第三像素点与第二像素点之间的距离小于预设阈值；

处理单元620用于基于更新后的图像和参考帧图像进行融合处理，得到第一图像；

处理单元620用于显示第一图像。

在一个实施例中，处理单元620用于对更新后的图像和参考帧图像进行融合处理，得到第一图像。

在一个实施例中，处理单元620用于采用去马赛克算法对更新后的图像进行处理，得到第二图像；对第二图像和参考帧图像进行融合处理，得到第一图像。

在一个实施例中，处理单元620用于采用单应性矩阵对待配准图像进行图像配准，得到配准后的图像。

在一个实施例中，处理单元620用于采用配准算法得到待配准图像和参考帧图像之间的单应性矩阵。

本实施例提供的图像处理装置，用于执行上述实施例的图像处理方法，技术原理和技术效果相似，此处不再赘述。

需要说明的是，上述图像处理装置600以功能单元的形式体现。这里的术语“单元”可以通过软件和/或硬件形式实现，对此不作具体限定。

例如，“单元”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(application specific integrated circuit，ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。

因此，在本申请的实施例中描述的各示例的单元，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

图14示出了本申请提供的一种电子设备的结构示意图。图14中的虚线表示该单元或该模块为可选的。电子设备700可用于实现上述方法实施例中描述的图像处理方法。

电子设备700包括一个或多个处理器701，该一个或多个处理器701可支持电子设备700实现方法实施例中的图像处理方法。处理器701可以是通用处理器或者专用处理器。例如，处理器701可以是中央处理器(central processing unit，CPU)、数字信号处理器(digital signal processor，DSP)、专用集成电路(application specific integratedcircuit，ASIC)、现场可编程门阵列(field programmable gate array，FPGA)或者其它可编程逻辑器件，如分立门、晶体管逻辑器件或分立硬件组件。

处理器701可以用于对电子设备700进行控制，执行软件程序，处理软件程序的数据。电子设备700还可以包括通信单元705，用以实现信号的输入(接收)和输出(发送)。

例如，电子设备700可以是芯片，通信单元705可以是该芯片的输入和/或输出电路，或者，通信单元705可以是该芯片的通信接口，该芯片可以作为终端设备或其它电子设备的组成部分。

又例如，电子设备700可以是终端设备，通信单元705可以是该终端设备的收发器，或者，通信单元705可以是该终端设备的收发电路。

电子设备700中可以包括一个或多个存储器702，其上存有程序704，程序704可被处理器701运行，生成指令703，使得处理器701根据指令703执行上述方法实施例中描述的阻抗匹配方法。

可选地，存储器702中还可以存储有数据。可选地，处理器701还可以读取存储器702中存储的数据，该数据可以与程序704存储在相同的存储地址，该数据也可以与程序704存储在不同的存储地址。

处理器701和存储器702可以单独设置，也可以集成在一起；例如，集成在终端设备的系统级芯片(system on chip，SOC)上。

示例性地，存储器702可以用于存储本申请实施例中提供的图像处理方法的相关程序704，处理器701可以用于在进行图像处理时调用存储器702中存储的图像处理方法的相关程序704，执行本申请实施例的图像处理方法；包括：响应于第一操作，获取待配准图像和参考帧图像；对待配准图像进行图像配准处理，得到配准后的图像；确定第一拜尔排列方式与第二拜尔排列方式是否相同，第一拜尔排列方式为待配准图像上的第一像素点的拜尔排列方式，第二拜尔排列格式为配准后的图像中第二像素点的拜尔排列方式，第一像素点是待配准图像上的任意像素点，第二像素点是第一像素点经过图像配准处理后的像素点；若第一拜尔排列方式与第二拜尔排列方式不同，将第二像素点移动到第三像素点的坐标，得到更新后的图像，第三像素点的拜尔排列方式与第一拜尔排列方式相同，且与第三像素点与第二像素点之间的距离小于预设阈值；基于更新后的图像和参考帧图像进行融合处理，得到第一图像；显示第一图像。

本申请还提供了一种计算机程序产品，该计算机程序产品被处理器701执行时实现本申请中任一方法实施例所述的图像处理方法。

该计算机程序产品可以存储在存储器702中，例如是程序704，程序704经过预处理、编译、汇编和链接等处理过程最终被转换为能够被处理器701执行的可执行目标文件。

本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机执行时实现本申请中任一方法实施例所述的图像处理方法。该计算机程序可以是高级语言程序，也可以是可执行目标程序。

该计算机可读存储介质例如是存储器702。存储器702可以是易失性存储器或非易失性存储器，或者，存储器702可以同时包括易失性存储器和非易失性存储器。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmableROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(randomaccess memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamicRAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，DR RAM)。

本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a,b,或c中的至少一项(个)，可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。

应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的；例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式；例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (11)

1.一种图像处理方法，其特征在于，包括：

响应于第一操作，获取待配准图像和参考帧图像；

对所述待配准图像进行图像配准处理，得到配准后的图像；

确定第一拜尔排列方式与第二拜尔排列方式是否相同，第一拜尔排列方式为所述待配准图像上的第一像素点的拜尔排列方式，第二拜尔排列格式为配准后的图像中第二像素点的拜尔排列方式，所述第一像素点是所述待配准图像上的任意像素点，所述第二像素点是所述第一像素点经过所述图像配准处理后的像素点；

若第一拜尔排列方式与第二拜尔排列方式不同，将所述第二像素点移动到第三像素点的坐标，得到更新后的图像，所述第三像素点的拜尔排列方式与第一拜尔排列方式相同，且与所述第三像素点与所述第二像素点之间的距离小于预设阈值；

基于所述更新后的图像和所述参考帧图像进行融合处理，得到第一图像；

显示所述第一图像。

2.根据权利要求1所述的方法，其特征在于，所述基于所述更新后的图像和所述参考帧图像进行融合处理，得到第一图像，包括：

对所述更新后的图像和所述参考帧图像进行所述融合处理，得到所述第一图像。

3.根据权利要求1所述的方法，其特征在于，所述基于所述更新后的图像和所述参考帧图像进行融合处理，得到第一图像，包括：

采用去马赛克算法对所述更新后的图像进行处理，得到第二图像；

对所述第二图像和所述参考帧图像进行所述融合处理，得到所述第一图像。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述对所述待配准图像进行图像配准处理，得到配准后的图像，包括：

采用单应性矩阵对所述待配准图像进行图像配准，得到配准后的图像。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

采用配准算法得到所述待配准图像和所述参考帧图像之间的所述单应性矩阵。

6.一种电子设备，其特征在于，所述电子设备包括获取模块、配准模块、纠偏模块、处理模块和显示模块，

所述获取模块用于响应于第一操作，获取待配准图像和参考帧图像；

所述配准模块用于对所述待配准图像进行图像配准处理，得到配准后的图像；

所述纠偏模块用于确定所确定第一拜尔排列方式与第二拜尔排列方式是否相同，第一拜尔排列方式为所述待配准图像上的第一像素点的拜尔排列方式，第二拜尔排列格式为配准后的图像中第二像素点的拜尔排列方式，所述第一像素点是所述待配准图像上的任意像素点，所述第二像素点是所述第一像素点经过所述图像配准处理后的像素点；若第一拜尔排列方式与第二拜尔排列方式不同，将所述第二像素点移动到第三像素点的坐标，得到更新后的图像，所述第三像素点的拜尔排列方式与第一拜尔排列方式相同，且与所述第三像素点与所述第二像素点之间的距离小于预设阈值；

所述处理模块用于基于所述更新后的图像和所述参考帧图像进行融合处理，得到第一图像；

所述显示模块用于显示所述第一图像。

7.一种图像处理装置，其特征在于，所述装置包括处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于从所述存储器中调用并运行所述计算机程序，使得所述装置执行权利要求1至5中任一项所述的方法。

8.一种图像处理装置，其特征在于，所述装置包括处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于从所述存储器中调用并运行所述计算机程序，使得所述装置执行权利要求1至5中任一项所述的方法。

9.一种芯片，其特征在于，包括处理器，当所述处理器执行指令时，所述处理器执行如权利要求1至5中任一项所述的方法，或者，所述处理器执行如权利要求9或10所述的方法。

10.一种电子设备，其特征在于，所述电子设备包括处理器，所述处理器用于与存储器耦合，并读取存储器中的指令，并根据所述指令使得所述电子设备执行如权利要求1至5中任一项所述的方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储了计算机程序，当所述计算机程序被处理器执行时，使得处理器执行权利要求1至5中任一项所述的方法。