CN110930301B - 图像处理方法、装置、存储介质及电子设备 - Google Patents
图像处理方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN110930301B CN110930301B CN201911253860.5A CN201911253860A CN110930301B CN 110930301 B CN110930301 B CN 110930301B CN 201911253860 A CN201911253860 A CN 201911253860A CN 110930301 B CN110930301 B CN 110930301B
- Authority
- CN
- China
- Prior art keywords
- image
- affine transformation
- transformation matrix
- reference image
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 30
- 230000009466 transformation Effects 0.000 claims abstract description 232
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 231
- 239000011159 matrix material Substances 0.000 claims abstract description 228
- 238000012545 processing Methods 0.000 claims abstract description 57
- 238000007499 fusion processing Methods 0.000 claims abstract description 38
- 238000000034 method Methods 0.000 claims description 25
- 230000007704 transition Effects 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 18
- 230000004927 fusion Effects 0.000 claims description 18
- 230000009467 reduction Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 230000006872 improvement Effects 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 13
- 238000001914 filtration Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G06T3/147—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Abstract
本申请公开了一种图像处理方法、装置、存储介质及电子设备。该图像处理方法包括：获取多帧待处理图像，并从该多帧待处理图像中确定出基准图像；按照相同方式将该基准图像和非基准图像均划分为多个对应的区域；根据基准图像和每一非基准图像，计算对应的全局仿射变换矩阵，以及与每一区域对应的局部仿射变换矩阵，并根据该全局仿射变换矩阵对每一区域对应的局部仿射变换矩阵进行修正，得到修正后的局部仿射变换矩阵；在每一区域，根据对应的修正后的局部仿射变换矩阵，将该非基准图像和该基准图像进行图像配准，并做融合处理，得到输出图像。本申请可以提高图像的成像质量。
Description
技术领域
本申请属于图像技术领域，尤其涉及一种图像处理方法、装置、存储介质及电子设备。
背景技术
随着技术的发展，电子设备的拍摄能力越来越强。用户经常使用电子设备在各种场景下进行拍摄，例如夜景或者逆光环境等。在相同拍摄场景下，电子设备可以拍摄多帧图像，并对该多帧图像进行图像配准。在图像配准之后，电子设备可以对该多帧图像进行融合处理。然而，相关技术中，电子设备融合得到的图像的成像质量较差。
发明内容
本申请实施例提供一种图像处理方法、装置、存储介质及电子设备，可以提高图像的成像质量。
第一方面，本申请实施例提供一种图像处理方法，包括：
获取多帧待处理图像，并从所述多帧待处理图像中确定出基准图像；
按照相同方式将所述基准图像和非基准图像均划分为多个对应的区域；
根据所述基准图像和每一所述非基准图像，计算对应的全局仿射变换矩阵，以及与每一区域对应的局部仿射变换矩阵，并根据所述全局仿射变换矩阵对每一区域对应的局部仿射变换矩阵进行修正，得到修正后的局部仿射变换矩阵；
在每一区域，根据对应的修正后的局部仿射变换矩阵，将所述非基准图像和所述基准图像进行图像配准，并做融合处理，得到输出图像。
第二方面，本申请实施例提供一种图像处理装置，包括：
获取模块，用于获取多帧待处理图像，并从所述多帧待处理图像中确定出基准图像；
划分模块，用于按照相同方式将所述基准图像和非基准图像均划分为多个对应的区域；
计算模块，用于根据所述基准图像和每一所述非基准图像，计算对应的全局仿射变换矩阵，以及与每一区域对应的局部仿射变换矩阵，并根据所述全局仿射变换矩阵对每一区域对应的局部仿射变换矩阵进行修正，得到修正后的局部仿射变换矩阵；
处理模块，用于在每一区域，根据对应的修正后的局部仿射变换矩阵，将所述非基准图像和所述基准图像进行图像配准，并做融合处理，得到输出图像。
第三方面，本申请实施例提供一种存储介质，其上存储有计算机程序，当所述计算机程序在计算机上执行时，使得所述计算机执行本申请实施例提供的图像处理方法中的流程。
第四方面，本申请实施例还提供一种电子设备，包括存储器，处理器，所述处理器通过调用所述存储器中存储的计算机程序，用于执行本申请实施例提供的图像处理方法中的流程。
本申请实施例中，由于电子设备可以将图像划分为多个区域，针对每一区域单独计算一个局部仿射变换矩阵，再利用全局变换矩阵对各局部仿射变换矩阵进行修正，得到每一区域对应的修正后的仿射变换矩阵。之后，电子设备可以利用每一区域对应的修正后的仿射变换矩阵对图像进行配准。因此，本实施例可以提高进行图像配准的精度。在精确地进行了图像配准的条件下，电子设备所进行的图像融合处理可以得到成像质量更好的图像。
附图说明
下面结合附图，通过对本申请的具体实施方式详细描述，将使本申请的技术方案及其有益效果显而易见。
图1是本申请实施例提供的图像处理方法的流程示意图。
图2是本申请实施例提供的对图像划分区域的示意图。
图3是本申请实施例提供的对基准图像和非基准图像划分区域的示意图。
图4是本申请实施例提供的图像处理方法的另一流程示意图。
图5是本申请实施例提供的融合图像上相邻区域的边缘区域的示意图。
图6是本申请实施例提供的对融合图像上相邻区域的边缘区域的像素进行插值平滑处理的示意图。
图7是本申请实施例提供的像素单元示意图。
图8是本申请实施例提供的对基准图像进行下采样的示意图。
图9是本申请实施例提供的图像处理装置的结构示意图。
图10是本申请实施例提供的电子设备的结构示意图。
图11是本申请实施例提供的电子设备的另一结构示意图。
图12是本申请实施例提供的图像处理电路的结构示意图。
具体实施方式
请参照图示，其中相同的组件符号代表相同的组件，本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其它具体实施例。
可以理解的是，本申请实施例的执行主体可以是诸如智能手机或平板电脑等的电子设备。
请参阅图1，图1是本申请实施例提供的图像处理方法的流程示意图，流程可以包括：
101、获取多帧待处理图像，并从该多帧待处理图像中确定出基准图像。
随着技术的发展，电子设备的拍摄能力越来越强。用户经常使用电子设备在各种场景下进行拍摄，例如夜景或者逆光环境等。在相同拍摄场景下，电子设备可以拍摄多帧图像，并对该多帧图像进行图像配准。在图像配准之后，电子设备可以对该多帧图像进行融合处理。然而，相关技术中，电子设备融合得到的图像的成像质量较差。
在本申请实施例中，比如，电子设备可以先获取多帧待处理图像。之后，电子设备可以从该多帧待处理图像中确定出一帧基准图像。例如，电子设备可以将清晰度最高的待处理图像确定为基准图像。那么，该多帧待处理图像中除基准图像之外的图像则为非基准图像。
102、按照相同方式将基准图像和非基准图像均划分为多个对应的区域。
比如，在从多帧待处理图像中确定出基准图像后，电子设备可以将该多帧图像中除该基准图像外的其它图像确定为非基准图像。
之后，电子设备可以按照相同的方式将基准图像和非基准图像均划分为多个对应的区域。例如，电子设备可以分别将基准图像和非基准图像划分为m×n个区域，其中，m和n均为正整数，并且m可以和n相等或者不相等。例如，基准图像和非基准图像均可以按照图2所示的方式划分为4×4共16个区域。
103、根据基准图像和每一非基准图像，计算对应的全局仿射变换矩阵，以及与每一区域对应的局部仿射变换矩阵，并根据该全局仿射变换矩阵对每一区域对应的局部仿射变换矩阵进行修正，得到修正后的局部仿射变换矩阵。
比如，对于基准图像和每一非基准图像，电子设备可以计算得到与这两帧图像对应的一个全局仿射变换矩阵(仿射变换矩阵即单应矩阵)。并且，在对图像划分区域后，电子设备可以根据该基准图像和该非基准图像中处于对应区域的图像计算得到与每一区域对应的仿射变换矩阵，即局部仿射变换矩阵。
例如，如图3所示，以两帧图像为例，其中图像P1为基准图像，图像P2为非基准图像。图像P1一共包括16个区域，分别为A1、A2、A3，……，A16。图像P2一共包括16个区域，分别为B1、B2、B3，……，B16。其中，A1和B1为对应区域，即A1是位于第一行第一列的区域，B1也是位于第一行第一列的区域，A1和B1的位置是对应的，它们的大小规格相同。A2和B2为对应区域，即A2是位于第一行第二列的区域，B2也是位于第一行第二列的区域，A2和B2的位置是对应的，它们的大小规格相同，等等，以此类推。
那么，电子设备可以根据A1区域的图像和B1区域的图像，计算得到一个对应的仿射变换矩阵M1，即局部仿射变换矩阵。电子设备可以根据A2区域的图像和B2区域的图像，计算得到一个对应的仿射变换矩阵M2，即局部仿射变换矩阵，等等，以此类推。这样，电子设备可以计算得到一共16个局部仿射变换矩阵。
对于基准图像和每一非基准图像，在计算得到全局仿射变换矩阵和与每一区域对应的局部仿射变换矩阵后，电子设备可以根据该全局仿射变换矩阵对每一区域对应的局部仿射变换矩阵进行修正，从而得到与每一区域对应的修正后的局部仿射变换矩阵。
例如，电子设备可以根据图像P1与图像P2的全局仿射变换矩阵对局部仿射变换矩阵M1进行修正，得到修正后的局部仿射变换矩阵M1。电子设备可以根据图像P1与图像P2的全局仿射变换矩阵对局部仿射变换矩阵M2进行修正，得到修正后的局部仿射变换矩阵M2，等等。
104、在每一区域，根据对应的修正后的局部仿射变换矩阵，将非基准图像和基准图像进行图像配准，并做融合处理，得到输出图像。
比如，在根据全局仿射变换矩阵对每一区域对应的局部仿射变换矩阵进行修正后，电子设备可以根据每一区域对应的修正后的局部仿射变换矩阵，将非基准图像和基准图像在该区域上进行图像配准。例如，对于区域A1和B1，电子设备可以根据修正后的局部仿射变换矩阵M1将区域A1和区域B1的图像进行配准，并在配准后进行融合处理。之后，对于区域A2和B2，电子设备可以根据修正后的局部仿射变换矩阵M2将区域A2和区域B2的图像进行配准，并在配准后进行融合处理，等等，以此类推。即，电子设备可以进行分区域的图像配准及融合处理。当所有区域均融合完成后，即可得到输出图像。
可以理解的是，本申请实施例中，由于电子设备可以将图像划分为多个区域，针对每一区域单独计算一个局部仿射变换矩阵，再利用全局变换矩阵对各局部仿射变换矩阵进行修正，得到每一区域对应的修正后的仿射变换矩阵。之后，电子设备可以利用每一区域对应的修正后的仿射变换矩阵对图像进行配准。因此，本实施例可以提高进行图像配准的精度。在精确地进行了图像配准的条件下，电子设备所进行的图像融合处理可以得到成像质量更好的图像。
请参阅图4，图4为本申请实施例提供的图像处理方法的另一流程示意图，流程可以包括：
201、电子设备获取多帧待处理图像，并将该多帧待处理图像中清晰度最高的图像确定为基准图像。
比如，电子设备可以先获取多帧待处理图像。之后，电子设备可以获取各帧待处理图像的清晰度，并将清晰度最高的待处理图像确定为基准图像。该多帧待处理图像中除基准图像之外的图像则为非基准图像。
在一种实施方式中，上述多帧待处理图像可以具有相同的曝光参数。即，上述多帧待处理图像可以是以相同的曝光参数拍摄得到的图像。
202、电子设备按照相同方式将基准图像和非基准图像均划分为多个对应的区域。
比如，在从多帧待处理图像中确定出基准图像和非基准图像后，电子设备可以按照相同的方式将基准图像和非基准图像均划分为多个区域。例如，电子设备可以分别将基准图像和非基准图像划分为m×n个区域，其中，m和n均为正整数，并且m可以和n相等或者不相等。例如，基准图像和非基准图像均可以按照图2所示的方式划分为4×4共16个区域。
203、根据基准图像和每一非基准图像，电子设备计算对应的全局仿射变换矩阵，以及与每一区域对应的局部仿射变换矩阵，其中，将局部仿射变换矩阵记为Hi，将全局仿射变换矩阵记为Hw。
比如，对于基准图像和每一非基准图像，电子设备可以计算得到一个对应的全局仿射变换矩阵(仿射变换矩阵即单应矩阵)。并且，在对图像划分区域后，电子设备可以根据基准图像和该非基准图像中处于对应区域的图像计算得到与每一区域对应的仿射变换矩阵，即局部仿射变换矩阵。其中，电子设备可以将局部仿射变换矩阵记为Hi，其中i为正整数，将全局仿射变换矩阵记为Hw。
例如，如图3所示，以两帧图像为例，其中图像P1为基准图像，图像P2为非基准图像。图像P1一共包括16个区域，分别为A1、A2、A3，……，A16。图像P2一共包括16个区域，分别为B1、B2、B3，……，B16。其中，A1和B1为对应区域，即A1是位于第一行第一列的区域，B1也是位于第一行第一列的区域。A2和B2为对应区域，即A2是位于第一行第二列的区域，B2也是位于第一行第二列的区域，等等，以此类推。
那么，电子设备可以根据A1区域的图像和B1区域的图像，计算得到一个对应的仿射变换矩阵，即局部仿射变换矩阵，例如记为H1。电子设备可以根据A2区域的图像和B2区域的图像，计算得到一个对应的仿射变换矩阵H2，即局部仿射变换矩阵，等等，以此类推。这样，电子设备可以计算得到一共16个局部仿射变换矩阵，例如分别即为H1、H2、H3，……，H16。
204、对于基准图像和每一非基准图像，电子设备分别计算各区域对应的局部仿射变换矩阵Hi与全局仿射变换矩阵Hw的欧式距离disti，得到多个距离，并获取该多个距离中的最大值distmax。
205、电子设备根据如下计算公式计算各局部仿射变换矩阵Hi对应的调整系数wi：
206、电子设备根据如下计算公式计算各区域对应的修正后的局部仿射变换矩阵
比如，204、205和206可以包括：
对于基准图像和每一非基准图像，在得到全局仿射变换矩阵和与每一区域对应的局部仿射变换矩阵后，电子设备可以分别计算各局部仿射变换矩阵Hi与全局仿射变换矩阵Hw的欧式距离disti，从而得到多个欧式距离，并获取该多个欧式距离中的最大值distmax。
在一种实施方式中，电子设备可以根据如下公式来计算局部仿射变换矩阵Hi与全局仿射变换矩阵Hw之间的欧式距离disti，其中，下列公式中的T表示转置：
例如，电子设备可以依次计算局部仿射变换矩阵H1与全局仿射变换矩阵Hw的欧式距离dist1，计算局部仿射变换矩阵H2与全局仿射变换矩阵Hw的欧式距离dist2，计算局部仿射变换矩阵H3与全局仿射变换矩阵Hw的欧式距离dist3，……，计算局部仿射变换矩阵H16与全局仿射变换矩阵Hw的欧式距离dist16。
之后，电子设备可以将dist1，dist2，dist3，……，dist16中的最大值确定为distmax。
在另一些实施方式中，除了使用欧式距离外，还可以使用其它距离来衡量局部仿射变换矩阵和全局仿射变换矩阵的距离，如曼哈顿距离等。
之后，电子设备根据如下计算公式计算各局部仿射变换矩阵Hi对应的调整系数wi，其中例如，局部仿射变换矩阵H1对应的调整系数w1，其中/>局部仿射变换矩阵H2对应的调整系数w2，其中/>以此类推。这样的话，电子设备可以计算得到与各局部仿射变换矩阵对应的调整系数。
在计算得到与各局部仿射变换矩阵对应的调整系数后，电子设备可以根据如下计算公式计算各区域对应的修正后的局部仿射变换矩阵 例如，局部仿射变换矩阵H1修正后的仿射变换矩阵为/>其中/>局部仿射变换矩阵H2修正后的仿射变换矩阵为/>其中/>以此类推。
207、对于基准图像和每一非基准图像，在每一区域，根据对应的修正后的局部仿射变换矩阵，电子设备将该非基准图像和该基准图像进行图像配准并做降噪融合处理，得到融合图像。
208、电子设备对融合图像上相邻区域相接的边缘区域进行平滑过渡处理，得到输出图像，其中，该边缘区域由相邻区域的分界线两边各包括的预设数量的像素点构成。
比如，对于基准图像和每一非基准图像，在计算得到各区域对应的修正后的局部仿射变换矩阵后，在每一区域上，电子设备可以根据该区域对应的修正后的局部仿射变换矩阵，将该非基准图像和该基准图像在该区域上进行图像配准。例如，对于区域A1和B1，电子设备可以根据修正后的局部仿射变换矩阵将区域A1和区域B1的图像进行配准，并在配准后进行降噪融合处理。之后，对于区域A2和B2，电子设备可以根据修正后的局部仿射变换矩阵/>将区域A2和区域B2的图像进行配准，并在配准后进行降噪融合处理，等等，以此类推。即，电子设备可以进行分区域的图像配准及降噪融合处理。当所有区域均融合完成后，即可得到融合图像。
本申请实施例中对降噪算法不做具体限制。例如，在一些实施例中，电子设备可以计算多帧图像中对齐像素点的像素值的均值，以进行降噪融合。或者，电子设备可以计算多帧图像中对齐像素点的像素值中值(即数值大小处于中间的像素值)，以进行降噪融合。
在得到融合图像后，电子设备可以对融合图像上相邻区域相接的边缘区域进行平滑过渡处理，得到输出图像，其中，该边缘区域由相邻区域的分界线两边各包括的预设数量的像素点构成。如图5所示，以融合图像中位于第一行第一列的区域与位于第一行第二列的区域为例，电子设备可以对这两个区域相接的边缘区域(例如该边缘区域由分界线两边各20个像素构成)的像素值进行平滑过渡处理，从而使这两个区域的过渡更加平滑、更加自然。在对融合图像上的相邻区域相接的边缘区域进行平滑过渡处理后，电子设备即可以得到输出图像。
在一种实施方式中，在得到上述输出图像后，还可以包括如下流程：
根据预设的卷积神经网络模型对所述输出图像进行亮度提升处理。
比如，待处理图像是在暗光环境下拍摄得到的图像，这使得待处理图像的亮度值均小于预设亮度阈值，那么电子设备可以在得到输出图像后，再对该输出图像进行亮度提升处理，例如电子设备可以使用预设的卷积神经网络模型对该输出图像进行亮度提升处理，从而得到亮度有所提升的图像。之后，电子设备可以再将亮度提升后的图像输入到图像信号处理器ISP中进行处理，处理完成后再输出到屏幕中显示。
在一种实施方式中，203中电子设备可以通过如下方式来根据基准图像和非基准图像计算全局仿射变换矩阵：电子设备可以先提取基准图像中的特征点，然后电子设备可以在非基准图像中寻找与基准图像中的特征点匹配的特征点，从而得到匹配特征点对。之后，电子设备可以根据3个匹配特征点对通过求解线性方程组计算一个对应的仿射变换矩阵(即单应矩阵)。一般，电子设备会找到多于3个的匹配特征点对。这样电子设备可以每次选取3个匹配特征点计算得到一个对应的仿射变换矩阵。通过多次执行上述每次选取3个匹配特征点计算得到一个对应的仿射变换矩阵的流程，电子设备就可以得到多个备选仿射变换矩阵。其中，对于每一备选仿射变换矩阵，电子设备都可以用其他匹配特征点对其进行验证，从而给该备选仿射变化矩阵一个评分，评分越高表示该备选仿射变换矩阵越准确。电子设备可以将评分最高的备选仿射变换矩阵确定为全局仿射变换矩阵。
同理，电子设备可以根据上述方式计算得到与每一区域的图像对应的局部仿射变换矩阵。
在一种实施方式中，208中电子设备对融合图像上相邻区域相接的边缘区域进行平滑过渡处理，得到输出图像的流程，可以包括：电子设备利用插值的方式，对融合图像上相邻区域相接的边缘区域进行平滑过渡处理，从而得到输出图像。例如，电子设备可以在边缘区域插入一列或者两列或者多列的像素，从而使边缘区域的过渡更加平滑。例如，如图6所示，以相邻区域的分界线左边的像素点X1的像素值为100，而分界线右边的像素点X2的像素值为30为例，由于这两个像素点的像素值相差较大，从而容易在视觉上给用户造成区域与区域之间重叠或者分离的不良观感。为了避免这种相邻区域的边缘区域过渡不平滑的问题，本实施例可以在上述两个像素值之间插入一个或两个像素，从而使相邻区域的过渡更加平滑。例如，以插入一个像素为例，插入像素的像素值可以介于100和30之间。例如，在计算插入像素的像素值时，电子设备可以赋予像素点X1第一权重，并赋予像素点X2第二权重，然后电子设备可以计算像素点X1和X2的像素值的加权和，并将该加权和确定为插入像素的像素值。例如，第一权重为60％，第二权重为40％，那么插入像素X3的像素值可以为72(即100*60％+30*40％)。可以理解的是，在插入像素X3后，相邻区域的边缘的像素值过渡是从100到72再到30的，相比于直接从100过渡到30，变得更加平滑了。
可以理解的是，当在相邻区域的边缘处插入多个像素时，边缘处的过渡会更加平滑，例如边缘处的像素值的过渡为从100到80到60到45到30。在一种实施方式中，当在相邻区域的边缘处插入的像素后，边缘处的像素值的过渡可以是从大到小或者从小到大的平滑过渡，如从100到80到60到45到30或者从30到45到60到80到100等等。
在其它实施方式中，除了插值方式外，还可以使用其它方式进行平滑过渡处理，如双边滤波、中值滤波以及高斯滤波等，本实施例对此不做具体限制。
在一些实施例中，待处理图像的格式可以为RAW格式。
那么，电子设备根据基准图像和每一非基准图像，计算对应的全局仿射变换矩阵，以及与每一区域对应的局部仿射变换矩阵时，可以包括：电子设备将基准图像和非基准图像由RAW格式转换为灰度格式；电子设备根据灰度格式的基准图像和每一非基准图像，计算对应的全局仿射变换矩阵，以及与每一区域对应的局部仿射变换矩阵。
电子设备在每一区域，根据对应的修正后的局部仿射变换矩阵，将非基准图像和基准图像进行图像配准并做降噪融合处理，得到输出图像时，可以包括：在每一区域上，根据对应的修正后的局部仿射变换矩阵，将RAW格式的基准图像和非基准图像进行降噪融合处理，得到输出图像。
该实施例中，获取的待处理图像为拜尔域的RAW格式的图像，为了减小计算量，在计算全局仿射变换矩阵和每一区域对应的局部仿射变换矩阵之前，电子设备可以将基准图像和非基准图像均由RAW格式转换为灰度格式。
其中，RAW格式是图像感应器将捕捉到的光源信号转化为数字信号的原始数据，是未经处理、也未经压缩的格式，可以将RAW格式的图像理解为“RAW图像编码数据”或者形象地称为“数字底片”。
其中，将图像由RAW格式转换为灰度格式可以有多种实施方式。在一些实施例中，将基准图像和非基准图像由RAW格式转换为灰度格式，可以包括：提取RAW格式的基准图像的每一像素单元上绿色通道的像素值，得到灰度格式的基准图像；提取RAW格式的非基准图像的每一像素单元上绿色通道的像素值，得到灰度格式的非基准图像。
该实施例中，为了提升图像处理的速度，可以直接用G(Green，绿色)通道的值作为当前点的像素，得到灰度格式的图像。由于RAW格式的图像中的像素点是按照拜耳色彩滤波阵列排列的，例如，按行输出像素时，会按照GRGRGR.../BGBGBG的顺序输出。请参阅图7，图7为本申请实施例提供的像素单元示意图，其中，RGGB四个像素点可以构成一个像素单元。在其他实施例中，也可以直接提取R(Red，红色)通道或者B(Blue，蓝色)通道的像素值，得到单通道灰度图像。或者，在一些实施例中，也可以分别为RGB三种像素分别设置权重，采用加权算法，根据RGB三个像素值对应的权重将一个像素点对应的RGB三个像素值合成为一个像素值，得到灰度格式的图像，以进一步提高图像的信噪比。
需要说明的是，将图像由RAW格式转换为灰度格式可以在获取多帧RAW格式的待处理图像之后，计算仿射变换矩阵之前执行。例如，可以在确定基准图像之前，也可以在确定基准图像之后。
在一些实施例中，电子设备根据灰度格式的基准图像和非基准头计算与每一区域对应的局部仿射变换矩阵，可以包括：按照预设采样率，对灰度格式的基准图像进行连续多次下采样处理，得到第一图像，对灰度格式的非基准图像进行连续多次下采样处理，得到第二图像；计算第二图像相对于第一图像分别在每一区域上的局部仿射变换矩阵，作为灰度格式的基准图像与非基准图像在每一区域对应的局部仿射变换矩阵。
该实施例中，为了提高单应性矩阵的计算效率，分别对基准图像和非基准图像进行下采样处理，缩小图像的尺寸。以基准图像P1为例，按照预设采样率，对灰度格式的图像P1进行连续多次下采样处理。比如，在长度方向和宽度方向上的采样率均为1/2，则对图像P1进行下采样后，得到的图像的分辨率为图像P1的1/4，再继续在这张图像上按照同样的分辨率进行下采样，得到图像P1的1/16大小的图像，以此类推，可以连续进行3-9次下采样处理。请参阅图8，图8为本申请实施例提供的图像下采样示意图，以基准图像为例，对基准图像进行连续多次下采样，得到第一图像，其中，连续多次下采样得到的多帧图像构成第一图像金字塔。非基准图像采用与基准图像同样的采样率和同样的方式进行下采样处理。
对基准图像进行多次下采样处理后，得到的图像按照尺寸由大到小构成一个图像金字塔，其中，最底层尺寸最小的图像，记为第一图像。非基准图像对应的图像金字塔最底层图像记为第二图像。
可以理解的是，经过分区域的基准图像或非基准图像进行下采样处理后，依然具有与原始图像同样的区域划分，只是区域的大小会随着下采样对应的缩小。
在一些实施例中，可以直接将第二图像相对于第一图像在每一区域上的局部仿射变换矩阵，作为非基准图像相对于基准图像分别在每一区域上的局部仿射变换矩阵。
在本实施例中，当待处理图像的帧数大于或等于3帧时，例如待处理图像包括基准图像P1以及非基准图像P2和P3，那么，电子设备可以先对图像P1和P2、P3划分为多个对应的区域。然后，电子设备可以根据图像P1和图像P2计算一个对应的全局仿射变换矩阵，例如为第一全局仿射变换矩阵，以及图像P2相对于图像P1在每一区域对应的局部仿射变换矩阵。之后，电子设备可以根据第一全局仿射变换矩阵对图像P2相对于图像P1在每一区域的局部仿射变换矩阵进行修正，得到修正后的局部仿射变换矩阵。之后，电子设备可以在每一区域上，根据对应的修正后的局部仿射变换矩阵将图像P2和图像P1进行图像配准并做融合处理，得到第一融合图像，该第一融合图像即为融合后的图像P1。
之后，电子设备可以根据融合后的图像P1和图像P3计算一个全局仿射变换矩阵，例如为第二全局仿射变换矩阵，以及图像P3相对于融合后的图像P1在每一区域对应的局部仿射变换矩阵。之后，电子设备可以根据第二全局仿射变换矩阵对图像P3相对于融合后的图像P1在每一区域的局部仿射变换矩阵进行修正，得到修正后的局部仿射变换矩阵。之后，电子设备可以在每一区域上，根据对应的修正后的局部仿射变换矩阵将图像P3和融合后的图像P1进行图像配准并做融合处理。例如，图像P1、P2、P3中的第一行第一列的区域分别为A1、B1和C1。那么，电子设备可以先将区域A1和B1的图像进行配准并做融合处理，得到A1区域的融合图像，之后电子设备再将区域C1的图像和该A1区域的融合图像进行配准并做融合处理。通过上述方式可以将多帧图像分区域配准和融合，最终得到输出图像。
在另一种实施方式中，当待处理图像的帧数大于或等于3帧时，例如待处理图像包括基准图像P1以及非基准图像P2和P3，那么，电子设备可以按照相同方式先对图像P1和P2、P3划分为多个对应的区域。
然后，电子设备可以根据图像P1和图像P2计算一个对应的全局仿射变换矩阵，例如为第一全局仿射变换矩阵，以及图像P2相对于图像P1在每一区域对应的局部仿射变换矩阵。之后，电子设备可以根据第一全局仿射变换矩阵对图像P2相对于图像P1在每一区域的局部仿射变换矩阵进行修正，得到每一区域修正后的局部仿射变换矩阵。
然后，电子设备可以根据图像P1和图像P3计算一个对应的全局仿射变换矩阵，例如为第二全局仿射变换矩阵，以及图像P3相对于图像P1在每一区域对应的局部仿射变换矩阵。之后，电子设备可以根据第二全局仿射变换矩阵对图像P3相对于图像P1在每一区域的局部仿射变换矩阵进行修正，得到每一区域修正后的局部仿射变换矩阵。
之后，对于基准图像P1上的每一个区域，电子设备可以依次根据该区域对应的每一修正后的局部仿射变换矩阵，将对应的非基准图像和该基准图像配准对齐，最后再进行图像融合。例如，图像P1、P2、P3中的第一行第一列的区域分别为A1、B1和C1。那么，电子设备可以先根据区域A1和B1的修正后的局部仿射变换矩阵，将区域A1和B1的图像进行配准。之后，电子设备再根据区域A1和C1的修正后的局部仿射变换矩阵，将区域A1和C1的图像进行配准。这样的话，局部区域A1、B1和C1的图像就对齐了。最后，电子设备可以对配准对齐后的区域A1、B1和C1的图像做融合处理。
同理，例如图像P1、P2、P3中的第一行第二列的区域分别为A2、B2和C2。那么，电子设备也是通过上述处理方式将局部区域A2、B2和C2的图像进行配准对齐。在配准完毕后，电子设备可以对配准对齐后的区域A2、B2和C2的图像做融合处理。依次类推，其它区域的图像也可以采用这种方式先配准再融合。
通过上述方式可以将多帧图像分区域配准和融合，最终得到输出图像。
请参阅图9，图9为本申请实施例提供的图像处理装置的结构示意图。图像处理装置300可以包括：获取模块301，划分模块302，计算模块303，处理模块304。
获取模块301，用于获取多帧待处理图像，并从所述多帧待处理图像中确定出基准图像。
划分模块302，用于按照相同方式将所述基准图像和非基准图像均划分为多个对应的区域。
计算模块303，用于根据所述基准图像和每一所述非基准图像，计算对应的全局仿射变换矩阵，以及与每一区域对应的局部仿射变换矩阵，并根据所述全局仿射变换矩阵对每一区域对应的局部仿射变换矩阵进行修正，得到修正后的局部仿射变换矩阵。
处理模块304，用于在每一区域，根据对应的修正后的局部仿射变换矩阵，将所述非基准图像和所述基准图像进行图像配准，并做融合处理，得到输出图像。
在一种实施方式中，将局部仿射变换矩阵记为Hi，将全局仿射变换矩阵记为Hw；
所述计算模块303可以用于：
分别计算各区域对应的局部仿射变换矩阵Hi与所述全局仿射变换矩阵Hw的距离disti，得到多个距离；
获取所述多个距离中的最大值distmax；
根据如下计算公式计算各局部仿射变换矩阵Hi对应的调整系数wi：
根据如下计算公式计算各区域对应的修正后的局部仿射变换矩阵
在一种实施方式中，各区域对应的局部仿射变换矩阵Hi与所述全局仿射变换矩阵Hw之间的距离disti为欧式距离，其中，欧式距离disti的计算公式如下：
在一种实施方式中，所述处理模块304可以用于：
将所述非基准图像和所述基准图像进行图像配准并做降噪融合处理，得到输出图像。
在一种实施方式中，所述处理模块304可以用于：
将所述非基准图像和所述基准图像进行图像配准并做降噪融合处理，得到融合图像；
对所述融合图像上相邻区域相接的边缘区域进行平滑过渡处理，得到输出图像，其中，所述边缘区域由相邻区域的分界线两边各包括的预设数量的像素点构成。
在一种实施方式中，获取模块301可以用于：
将所述多帧待处理图像中清晰度最高的图像确定为基准图像。
在一种实施方式中，所述处理模块304还可以用于：
根据预设的卷积神经网络模型对所述输出图像进行亮度提升处理。
本申请实施例提供一种计算机可读的存储介质，其上存储有计算机程序，当所述计算机程序在计算机上执行时，使得所述计算机执行如本实施例提供的图像处理方法中的流程。
本申请实施例还提供一种电子设备，包括存储器，处理器，所述处理器通过调用所述存储器中存储的计算机程序，用于执行本实施例提供的图像处理方法中的流程。
例如，上述电子设备可以是诸如平板电脑或者智能手机等移动终端。请参阅图10，图10为本申请实施例提供的电子设备的结构示意图。
该电子设备400可以包括摄像模组401、存储器402、处理器403等部件。本领域技术人员可以理解，图10中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
摄像模组401可以包括透镜和图像传感器，其中透镜用于采集外部的光源信号提供给图像传感器，图像传感器感应来自于透镜的光源信号，将其转换为数字化的原始图像数据，即RAW图像数据。RAW是未经处理、也未经压缩的格式，可以将其形象地称为“数字底片”。摄像模组401可以包括一个摄像头或者两个及以上的摄像头。
存储器402可用于存储应用程序和数据。存储器402存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器403通过运行存储在存储器402的应用程序，从而执行各种功能应用以及数据处理。
处理器403是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器402内的应用程序，以及调用存储在存储器402内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。
在本实施例中，电子设备中的处理器403会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器402中，并由处理器403来运行存储在存储器402中的应用程序，从而执行：
获取多帧待处理图像，并从所述多帧待处理图像中确定出基准图像；
按照相同方式将所述基准图像和非基准图像均划分为多个对应的区域；
根据所述基准图像和每一所述非基准图像，计算对应的全局仿射变换矩阵，以及与每一区域对应的局部仿射变换矩阵，并根据所述全局仿射变换矩阵对每一区域对应的局部仿射变换矩阵进行修正，得到修正后的局部仿射变换矩阵；
在每一区域，根据对应的修正后的局部仿射变换矩阵，将所述非基准图像和所述基准图像进行图像配准并做融合处理，得到输出图像。
请参阅图11，电子设备400可以包括摄像模组401、存储器402、处理器403、触摸显示屏404、扬声器405、麦克风406等部件。
摄像模组401可以包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义图像信号处理(Image Signal Processing)管线的各种处理单元。图像处理电路至少可以包括：摄像头、图像信号处理器(Image Signal Processor，ISP处理器)、控制逻辑器、图像存储器以及显示器等。其中摄像头至少可以包括一个或多个透镜和图像传感器。图像传感器可包括色彩滤镜阵列(如Bayer滤镜)。图像传感器可获取用图像传感器的每个成像像素捕捉的光强度和波长信息，并提供可由图像信号处理器处理的一组原始图像数据。
图像信号处理器可以按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，图像信号处理器可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。原始图像数据经过图像信号处理器处理后可存储至图像存储器中。图像信号处理器还可从图像存储器处接收图像数据。
图像存储器可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。
当接收到来自图像存储器的图像数据时，图像信号处理器可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器，以便在被显示之前进行另外的处理。图像信号处理器还可从图像存储器接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，图像信号处理器的输出还可发送给图像存储器，且显示器可从图像存储器读取图像数据。在一种实施方式中，图像存储器可被配置为实现一个或多个帧缓冲器。
图像信号处理器确定的统计数据可发送给控制逻辑器。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜阴影校正等图像传感器的统计信息。
控制逻辑器可包括执行一个或多个例程(如固件)的处理器和/或微控制器。一个或多个例程可根据接收的统计数据，确定摄像头的控制参数以及ISP控制参数。例如，摄像头的控制参数可包括照相机闪光控制参数、透镜的控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵等。
请参阅图12，图12为本实施例中图像处理电路的结构示意图。如图12所示，为便于说明，仅示出与本发明实施例相关的图像处理技术的各个方面。
例如图像处理电路可以包括：摄像头、图像信号处理器、控制逻辑器、图像存储器、显示器。其中，摄像头可以包括一个或多个透镜和图像传感器。
摄像头采集的第一图像传输给图像信号处理器进行处理。图像信号处理器处理第一图像后，可将第一图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器。控制逻辑器可根据统计数据确定摄像头的控制参数，从而摄像头可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过图像信号处理器进行处理后可存储至图像存储器中。图像信号处理器也可以读取图像存储器中存储的图像以进行处理。另外，第一图像经过图像信号处理器进行处理后可直接发送至显示器进行显示。显示器也可以读取图像存储器中的图像以进行显示。
此外，图中没有展示的，电子设备还可以包括CPU和供电模块。CPU和逻辑控制器、图像信号处理器、图像存储器和显示器均连接，CPU用于实现全局控制。供电模块用于为各个模块供电。
存储器402可用于存储应用程序和数据。存储器402存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器403通过运行存储在存储器402的应用程序，从而执行各种功能应用以及数据处理。
处理器403是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器402内的应用程序，以及调用存储在存储器402内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。
触摸显示屏404可用于接收用户的触摸输入操作，以及显示诸如文字和图像等的信息。
扬声器405可以用于播放声音信号。
麦克风406可以用于拾取周围环境中的声音信号。比如，用户可以发出用于指示电子设备进行图像拍摄的语音。电子设备的麦克风406可以拾取到该语音，并由电子设备400的处理器403将该语音转化为对应的语音指令，并控制电子设备400的摄像模组401进行图像拍摄操作。
在本实施例中，电子设备中的处理器403会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器402中，并由处理器403来运行存储在存储器402中的应用程序，从而执行：
获取多帧待处理图像，并从所述多帧待处理图像中确定出基准图像；
按照相同方式将所述基准图像和非基准图像均划分为多个对应的区域；
根据所述基准图像和每一所述非基准图像，计算对应的全局仿射变换矩阵，以及与每一区域对应的局部仿射变换矩阵，并根据所述全局仿射变换矩阵对每一区域对应的局部仿射变换矩阵进行修正，得到修正后的局部仿射变换矩阵；
在每一区域，根据对应的修正后的局部仿射变换矩阵，将所述非基准图像和所述基准图像进行图像配准，并做融合处理，得到输出图像。
在一种实施方式中，将局部仿射变换矩阵记为Hi，将全局仿射变换矩阵记为Hw；处理器503执行根据所述全局仿射变换矩阵对每一区域对应的局部仿射变换矩阵进行修正，得到修正后的局部仿射变换矩阵时，可以执行：
分别计算各区域对应的局部仿射变换矩阵Hi与所述全局仿射变换矩阵Hw的距离disti，得到多个距离；
获取所述多个距离中的最大值distmax；
根据如下计算公式计算各局部仿射变换矩阵Hi对应的调整系数wi：
根据如下计算公式计算各区域对应的修正后的局部仿射变换矩阵
在一种实施方式中，各区域对应的局部仿射变换矩阵Hi与所述全局仿射变换矩阵Hw之间的距离disti为欧式距离，其中，欧式距离disti的计算公式如下：
在一种实施方式中，处理器503执行将所述非基准图像和所述基准图像进行图像配准并做融合处理，得到输出图像时，可以执行：
将所述非基准图像和所述基准图像进行图像配准并做降噪融合处理，得到输出图像。
在一种实施方式中，处理器503执行将所述非基准图像和所述基准图像进行图像配准并做降噪融合处理，得到输出图像时，可以执行：
将所述非基准图像和所述基准图像进行图像配准并做降噪融合处理，得到融合图像；
对所述融合图像上相邻区域相接的边缘区域进行平滑过渡处理，得到输出图像，其中，所述边缘区域由相邻区域的分界线两边各包括的预设数量的像素点构成。
在一种实施方式中，处理器503执行从所述多帧待处理图像中确定出基准图像时，可以执行：
将所述多帧待处理图像中清晰度最高的图像确定为基准图像。
在一种实施方式中，处理器503还可以执行：
根据预设的卷积神经网络模型对所述输出图像进行亮度提升处理。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对图像处理方法的详细描述，此处不再赘述。
本申请实施例提供的所述图像处理装置与上文实施例中的图像处理方法属于同一构思，在所述图像处理装置上可以运行所述图像处理方法实施例中提供的任一方法，其具体实现过程详见所述图像处理方法实施例，此处不再赘述。
需要说明的是，对本申请实施例所述图像处理方法而言，本领域普通技术人员可以理解实现本申请实施例所述图像处理方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，所述计算机程序可存储于一计算机可读取存储介质中，如存储在存储器中，并被至少一个处理器执行，在执行过程中可包括如所述图像处理方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)等。
对本申请实施例的所述图像处理装置而言，其各功能模块可以集成在一个处理芯片中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中，所述存储介质譬如为只读存储器，磁盘或光盘等。
以上对本申请实施例所提供的一种图像处理方法、装置、存储介质以及电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种图像处理方法，其特征在于，包括：
获取多帧待处理图像，并从所述多帧待处理图像中确定出基准图像；
按照相同方式将所述基准图像和非基准图像均划分为多个对应的区域；
提取所述基准图像中的特征点，并在所述非基准图像中寻找与所述基准图像中的特征点匹配的特征点，得到多个匹配特征点对；
从多个所述匹配特征点对中选取不同的匹配特征点对计算得到多个备选仿射变换矩阵；
通过多个所述匹配特征点对中除用于得到每个所述备选仿射变换矩阵的匹配特征点之外的匹配特征点对对每个所述备选仿射变换矩阵进行评分；
将评分最高的备选仿射变换矩阵确定为全局仿射变换矩阵；
根据所述基准图像和每一所述非基准图像，计算与每一区域对应的局部仿射变换矩阵，并根据所述全局仿射变换矩阵对每一区域对应的局部仿射变换矩阵进行修正，得到修正后的局部仿射变换矩阵；
在每一区域，根据对应的修正后的局部仿射变换矩阵，将所述非基准图像和所述基准图像进行图像配准，并做融合处理，得到融合图像；
分别赋予所述融合图像上相邻区域的分界线两边的像素点相应的权重，并计算所述融合图像上相邻区域的分界线两边的像素点的像素值的加权和；
将所述加权和确定为插入像素点的像素值，并基于所述像素值在所述融合图像上相邻区域的分界线两边的像素点之间插入像素点，得到输出图像。
2.根据权利要求1所述的图像处理方法，其特征在于，将局部仿射变换矩阵记为Hi，将全局仿射变换矩阵记为Hw；
所述根据所述全局仿射变换矩阵对每一区域对应的局部仿射变换矩阵进行修正，得到修正后的局部仿射变换矩阵，包括：
分别计算各区域对应的局部仿射变换矩阵Hi与所述全局仿射变换矩阵Hw的距离disti，得到多个距离；
获取所述多个距离中的最大值distmax；
根据如下计算公式计算各局部仿射变换矩阵Hi对应的调整系数wi：
根据如下计算公式计算各区域对应的修正后的局部仿射变换矩阵
3.根据权利要求2所述的图像处理方法，其特征在于，各区域对应的局部仿射变换矩阵Hi与所述全局仿射变换矩阵Hw之间的距离disti为欧式距离，其中，欧式距离disti的计算公式如下：
4.根据权利要求1所述的图像处理方法，其特征在于，所述将所述非基准图像和所述基准图像进行图像配准，并做融合处理，得到输出图像，包括：
将所述非基准图像和所述基准图像进行图像配准，并做降噪融合处理，得到输出图像。
5.根据权利要求4所述的图像处理方法，其特征在于，所述将所述非基准图像和所述基准图像进行图像配准，并做降噪融合处理，得到输出图像，包括：
将所述非基准图像和所述基准图像进行图像配准并做降噪融合处理，得到融合图像；
对所述融合图像上相邻区域相接的边缘区域进行平滑过渡处理，得到输出图像，其中，所述边缘区域由相邻区域的分界线两边各包括的预设数量的像素点构成。
6.根据权利要求1所述的图像处理方法，其特征在于，从所述多帧待处理图像中确定出基准图像，包括：
将所述多帧待处理图像中清晰度最高的图像确定为基准图像。
7.根据权利要求1所述的图像处理方法，其特征在于，在得到输出图像后，所述方法还包括：
根据预设的卷积神经网络模型对所述输出图像进行亮度提升处理。
8.一种图像处理装置，其特征在于，包括：
获取模块，用于获取多帧待处理图像，并从所述多帧待处理图像中确定出基准图像；
划分模块，用于按照相同方式将所述基准图像和非基准图像均划分为多个对应的区域；
计算模块，用于提取所述基准图像中的特征点，并在所述非基准图像中寻找与所述基准图像中的特征点匹配的特征点，得到多个匹配特征点对；从多个所述匹配特征点对中选取不同的匹配特征点对计算得到多个备选仿射变换矩阵；通过多个所述匹配特征点对中除用于得到每个所述备选仿射变换矩阵的匹配特征点之外的匹配特征点对对每个所述备选仿射变换矩阵进行评分；将评分最高的备选仿射变换矩阵确定为全局仿射变换矩阵；根据所述基准图像和每一所述非基准图像，计算与每一区域对应的局部仿射变换矩阵，并根据所述全局仿射变换矩阵对每一区域对应的局部仿射变换矩阵进行修正，得到修正后的局部仿射变换矩阵；
处理模块，用于在每一区域，根据对应的修正后的局部仿射变换矩阵，将所述非基准图像和所述基准图像进行图像配准，并做融合处理，得到融合图像；分别赋予所述融合图像上相邻区域的分界线两边的像素点相应的权重，并计算所述融合图像上相邻区域的分界线两边的像素点的像素值的加权和；将所述加权和确定为插入像素点的像素值，并基于所述像素值在所述融合图像上相邻区域的分界线两边的像素点之间插入像素点，得到输出图像。
9.一种存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序在计算机上执行时，使得所述计算机执行如权利要求1至7中任一项所述的方法。
10.一种电子设备，包括存储器，处理器，其特征在于，所述处理器通过调用所述存储器中存储的计算机程序，用于执行如权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911253860.5A CN110930301B (zh) | 2019-12-09 | 2019-12-09 | 图像处理方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911253860.5A CN110930301B (zh) | 2019-12-09 | 2019-12-09 | 图像处理方法、装置、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110930301A CN110930301A (zh) | 2020-03-27 |
| CN110930301B true CN110930301B (zh) | 2023-08-11 |
Family
ID=69857809
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911253860.5A Active CN110930301B (zh) | 2019-12-09 | 2019-12-09 | 图像处理方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110930301B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111798497A (zh) * | 2020-06-30 | 2020-10-20 | 深圳市慧鲤科技有限公司 | 图像处理方法及装置、电子设备及存储介质 |
| CN111914920A (zh) * | 2020-07-24 | 2020-11-10 | 山东工商学院 | 一种基于稀疏编码的相似性图像检索方法及系统 |
| CN112241744A (zh) * | 2020-10-20 | 2021-01-19 | 北京字跳网络技术有限公司 | 图像颜色迁移方法、装置、设备和计算机可读介质 |
| CN112580474B (zh) * | 2020-12-09 | 2021-09-24 | 云从科技集团股份有限公司 | 基于计算机视觉的目标对象检测方法、系统、设备及介质 |
| CN112907453B (zh) * | 2021-03-16 | 2022-02-01 | 中科海拓(无锡)科技有限公司 | 一种笔记本内结构图像矫正方法 |
| CN113208710B (zh) * | 2021-07-08 | 2021-08-31 | 深圳华声医疗技术股份有限公司 | 穿刺针显影增强方法、装置、超声设备及存储介质 |
| CN115118945B (zh) * | 2022-06-27 | 2023-07-14 | 南昌华勤电子科技有限公司 | 一种摄像模组的色彩校正方法及装置 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101251897A (zh) * | 2007-02-20 | 2008-08-27 | 索尼株式会社 | 图像处理装置、图像处理方法和程序 |
| CN101393605A (zh) * | 2007-09-18 | 2009-03-25 | 索尼株式会社 | 图像处理设备和图像处理方法及程序 |
| CN103839223A (zh) * | 2012-11-21 | 2014-06-04 | 华为技术有限公司 | 图像处理方法及装置 |
| CN105335956A (zh) * | 2014-08-06 | 2016-02-17 | 腾讯科技（深圳）有限公司 | 同源图像的校验方法及装置 |
| CN107945113A (zh) * | 2017-11-17 | 2018-04-20 | 北京天睿空间科技股份有限公司 | 局部图像拼接错位的矫正方法 |
| CN108734657A (zh) * | 2018-04-26 | 2018-11-02 | 重庆邮电大学 | 一种具有视差处理能力的图像拼接方法 |
| CN109064392A (zh) * | 2018-08-07 | 2018-12-21 | 广州视源电子科技股份有限公司 | 确定单应矩阵的方法及其系统以及图像转换方法及其系统 |
| CN109767460A (zh) * | 2018-12-27 | 2019-05-17 | 上海商汤智能科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN110415186A (zh) * | 2019-07-05 | 2019-11-05 | 浙江大华技术股份有限公司 | 一种图像去抖动的方法和设备 |
| CN110602467A (zh) * | 2019-09-09 | 2019-12-20 | Oppo广东移动通信有限公司 | 图像降噪方法、装置、存储介质及电子设备 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011118553A (ja) * | 2009-12-01 | 2011-06-16 | Keyence Corp | 画像処理装置、画像処理方法及びコンピュータプログラム |
| TWI549096B (zh) * | 2011-05-13 | 2016-09-11 | 華晶科技股份有限公司 | 影像處理裝置及其處理方法 |
| US9305240B2 (en) * | 2011-12-07 | 2016-04-05 | Google Technology Holdings LLC | Motion aligned distance calculations for image comparisons |
| RU2012154657A (ru) * | 2012-12-17 | 2014-06-27 | ЭлЭсАй Корпорейшн | Способы и устройство для объединения изображений с глубиной, генерированных с использованием разных способов формирования изображений с глубиной |
-
2019
- 2019-12-09 CN CN201911253860.5A patent/CN110930301B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101251897A (zh) * | 2007-02-20 | 2008-08-27 | 索尼株式会社 | 图像处理装置、图像处理方法和程序 |
| CN101393605A (zh) * | 2007-09-18 | 2009-03-25 | 索尼株式会社 | 图像处理设备和图像处理方法及程序 |
| CN103839223A (zh) * | 2012-11-21 | 2014-06-04 | 华为技术有限公司 | 图像处理方法及装置 |
| CN105335956A (zh) * | 2014-08-06 | 2016-02-17 | 腾讯科技（深圳）有限公司 | 同源图像的校验方法及装置 |
| CN107945113A (zh) * | 2017-11-17 | 2018-04-20 | 北京天睿空间科技股份有限公司 | 局部图像拼接错位的矫正方法 |
| CN108734657A (zh) * | 2018-04-26 | 2018-11-02 | 重庆邮电大学 | 一种具有视差处理能力的图像拼接方法 |
| CN109064392A (zh) * | 2018-08-07 | 2018-12-21 | 广州视源电子科技股份有限公司 | 确定单应矩阵的方法及其系统以及图像转换方法及其系统 |
| CN109767460A (zh) * | 2018-12-27 | 2019-05-17 | 上海商汤智能科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN110415186A (zh) * | 2019-07-05 | 2019-11-05 | 浙江大华技术股份有限公司 | 一种图像去抖动的方法和设备 |
| CN110602467A (zh) * | 2019-09-09 | 2019-12-20 | Oppo广东移动通信有限公司 | 图像降噪方法、装置、存储介质及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110930301A (zh) | 2020-03-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110930301B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| WO2021047345A1 (zh) | 图像降噪方法、装置、存储介质及电子设备 | |
| CN111028189B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| US9288392B2 (en) | Image capturing device capable of blending images and image processing method for blending images thereof | |
| CN111028190A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN110557584B (zh) | 图像处理方法及装置、计算机可读存储介质 | |
| CN107925751A (zh) | 用于多视点降噪和高动态范围的系统和方法 | |
| CN107395991B (zh) | 图像合成方法、装置、计算机可读存储介质和计算机设备 | |
| EP2987135A2 (en) | Reference image selection for motion ghost filtering | |
| JP2020166628A (ja) | 画像処理方法、画像処理装置、プログラム、画像処理システム、および、学習済みモデルの製造方法 | |
| CN107071234A (zh) | 一种镜头阴影校正方法及装置 | |
| CN111246092B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN113313661A (zh) | 图像融合方法、装置、电子设备及计算机可读存储介质 | |
| JP6711396B2 (ja) | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム | |
| CN110728705B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN110717871A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN114862698A (zh) | 一种基于通道引导的真实过曝光图像校正方法与装置 | |
| CN107194901B (zh) | 图像处理方法、装置、计算机设备和计算机可读存储介质 | |
| JP2014010776A (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
| JP2008141658A (ja) | 電子カメラおよび画像処理装置 | |
| KR20090117617A (ko) | 화상 처리 장치, 방법, 및 프로그램 | |
| CN111031256B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| JP5173664B2 (ja) | 画像処理装置及び画像処理方法 | |
| TWM458747U (zh) | 影像處理模組 | |
| CN116055907A (zh) | 图像处理设备、摄像设备、图像处理方法和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |