CN117132515A - 一种图像处理方法及电子设备 - Google Patents

一种图像处理方法及电子设备 Download PDF

Info

Publication number
CN117132515A
CN117132515A CN202310184226.0A CN202310184226A CN117132515A CN 117132515 A CN117132515 A CN 117132515A CN 202310184226 A CN202310184226 A CN 202310184226A CN 117132515 A CN117132515 A CN 117132515A
Authority
CN
China
Prior art keywords
image
registration
pixel point
registered
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310184226.0A
Other languages
English (en)
Inventor
王振兴
荀潇阳
张宁
肖斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202310184226.0A priority Critical patent/CN117132515A/zh
Publication of CN117132515A publication Critical patent/CN117132515A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供一种图像处理方法及电子设备，应用于终端技术领域，能够对与参考图像进行融合的图像的像素信息进行增强，降低未配准的区域在图像融合过程中的负面影响，从而改善融合后的图像清晰度回退的问题，使得图像处理效果更好。该方法中，电子设备根据参考图像和待配准图像相匹配的第一像素点从参考图像到待配准图像上的位置映射关系，对待配准图像的第一像素点进行位置变换，得到第一配准图像。并根据第一配准图像的配准对象与参考图像的配准对象之间的差异值，调整第一配准图像中差异值满足第一条件的配准对象的参考权重，得到待配准图像对应的第二配准图像；之后对参考图像和N张第二配准图像进行融合处理，得到目标图像。

Description

一种图像处理方法及电子设备
技术领域
本申请涉及终端技术领域，尤其涉及一种图像处理方法及电子设备。
背景技术
由于拍摄环境、拍摄设备的硬件条件、图像压缩等因素的影响，拍摄到的图像往往存在噪点明显、模糊、反光等情况，因此需要进行对图像进行质量增强处理。
相关技术中针对图像的噪点、模糊、反光等情况，通过获取一组图像序列，对图像序列中的特征信息进行相关分析，基于图像序列中各个图像的特征信息交换，从而将图像序列融合成一张图像。但是采用多张图像融合方式所融合的图像可能会出现清晰度回退的问题。
发明内容
基于此，本申请实施例提供一种图像处理方法及电子设备，能够降低未配准的对象在图像融合过程中的负面影响，从而改善融合后的图像清晰度回退的问题，使得图像处理效果更好。
第一方面，本申请实施例提供一种图像处理方法，应用于电子设备，该方法中，电子设备获取目标对象对应的多帧图像，其中，多帧图像包括参考图像和N张待配准图像，N为大于0的整数。针对N张待配准图像中的任一待配准图像，电子设备根据第一像素点从参考图像到待配准图像上的位置映射关系，对待配准图像中的第一像素点进行位置变换，得到待配准图像对应的第一配准图像，其中，第一像素点是参考图像和待配准图像相匹配的像素点。然后电子设备针对N张待配准图像中任一待配准图像对应的第一配准图像，根据第一配准图像的配准对象与参考图像的配准对象之间的差异值，调整第一配准图像中差异值满足第一条件的配准对象的参考权重，得到待配准图像对应的第二配准图像。相比于第一配准图像，第二配准图像结合了配准结果的差异度，所以可以降低未配准对象在图像融合过程中的负面影响。之后电子设备对参考图像和N张待配准图像对应的第二配准图像进行融合处理，得到目标对应的目标图像。
本方案中，上述配准步骤后，并未直接对N张第一配准图像进行融合处理，而是根据N张第一配准图像的配准对象与参考图像的配准对象之间的差异值，调整N张第一配准图像中差异值满足第一条件的配准对象的参考权重。在参考权重的影响下，不同差异值的配准对象对融合结果的影响程度不同。比如在一种实现方式下，差异值越大的配准对象(或者是配准区域)的参考权重越小，那么对融合结果的影响程度小；差异值越小的配准对象的参考权重越大，那么对融合结果的影响程度越大。这样可以调整不同区域在图像过程中对融合结果的重要程度，来降低未配准的对象(或者是区域)在图像融合过程中的负面影响，从而改善融合后的图像清晰度回退的问题，使得图像处理效果更好。
在第一方面的另一种可能的设计方式中，配准对象包括第一像素点；上述针对N张待配准图像中任一待配准图像对应的第一配准图像，根据第一配准图像的配准对象与参考图像的配准对象之间的差异值，调整第一配准图像中差异值满足第一条件的配准对象的参考权重，得到待配准图像对应的第二配准图像，包括：
构建第一掩膜mask矩阵，第一掩模mask矩阵包括多个元素，第一掩膜mask矩阵中的元素表示第一配准图像中的第一像素点与参考图像中的第一像素点的差异值；根据差异值，调整第一配准图像中的每个第一像素点的参考权重，构建第二掩膜mask矩阵，第二掩膜mask矩阵中的元素表示第一配准图像中的第一像素点的参考权重，其中参考权重用于描述第一配准图像中的第一像素点在与参考图像中的第一像素点进行融合处理时的参考度大小；根据第一配准图像与第二掩膜mask矩阵的乘积值，以及参考图像与第三掩模mask矩阵的乘积值的和，得到第二配准图像，其中，第三掩模mask矩阵是第二掩模mask矩阵的同阶单位矩阵与第二掩模mask矩阵的差值。
该设计方式下，利用第一配准图像与参考图像之间的差异信息，构建与差异信息相关的第二掩膜mask矩阵。第二掩模mask矩阵中的每个元素相当于第一配准图像中的每个配准对象的像素信息的参考权重。具体的，根据第一配准图像的每个配准对象的差异值构建第一掩膜mask矩阵，第一掩模mask矩阵中的一个元素表示一个配准对象的差异值。其中配准对象可以是一个像素点，或者是一组像素点集合。当配准对象是一组像素点集合时，配准对象的差异值可以是一组像素点的差异值和的均值、中位数或最大值等。
在构建第一掩模mask矩阵之后，以第一掩模mask矩阵的元素a11为例，将元素a11替换为元素a11所对应的配准对象的参考权重a’11，其他第一掩模mask矩阵的其它元素也同上处理，从而得到新的矩阵，即第二掩模mask矩阵。
以第一配准图像*第二掩模mask矩阵+参考图像*(同阶单位矩阵-第二掩模mask矩阵)得到第二配准图像。其中，同阶单位矩阵与第二掩模mask矩阵的差值相当于上文中第三掩模mask矩阵。
在第一方面的另一种可能的设计方式中，上述根据差异值，调整第一配准图像中的每个第一像素点的参考权重，包括：
针对第一配准图像中的任一个第一像素点，在第一像素点与参考图像中的第二像素点的差异值大于或等于预设阈值的情况下，将第一配准图像的第二像素点的参考权重设为预设权重值集合中的最小值，其中，第二像素点是与第一配准图像中的任一个第一像素点相匹配的像素点。
该设计方式下，如果像素点的差异值大于预设阈值，那么降低该像素点的参考权重。所以将像素点的参考权重设为预设权重值集合中的最小值。预设权重值集合可以是f(x)曲线上的y轴坐标，其中f(x)是以(预设阈值，权重最小值)以及(差异阈值，权重最大值)拟合得到的，例如，预设阈值为10，权重最小值为0，差异阈值为0，权重最大值为1时，根据(10，0)以及(0，1)两个坐标拟合曲线得到f(x)。预设权重值集合是f(x)曲线上的坐标点的y轴坐标。
在第一方面的另一种可能的设计方式中，上述根据差异值，调整第一配准图像中的每个第一像素点的参考权重，包括：
针对第一配准图像中的任一个第一像素点，在第一像素点与参考图像的第二像素点的差异值小于预设阈值的情况下，将第一配准图像的第一像素点的参考权重设为与差异值呈反相关的值，其中，第二像素点是与第一配准图像中的任一个第一像素点相匹配的像素点。
该设计方式下，如果差异值小于预设阈值，表示第一配准图像中的像素点的像素信息可以作为影响融合结果的因素，因而保留这些像素点的参考权重。且为了呈现差异值越大，参考权重越小；差异值越小，参考权重越大的效果，将像素点的参考权重设为与该像素点的差异值呈反相关的值。比如上文提到f(x)就是一条反相关函数曲线，可以将像素点的差异值代入曲线的x轴坐标，将得到的y轴坐标作为该像素点的参考权重。
在第一方面的另一种可能的设计方式中，第一条件包括：第一配准图像的配准对象与参考图像的配准对象之间的灰度差大于0。
其中，灰度差等于0，表示第一配准图像和配准对象和参考图像的配准对象完全一致，所以不对其进行调整，即第一配准图像中的该类像素值可直接用于后续融合。该设计方式对灰度差大于0，即未完全配准的配准对象的参考权重进行处理，使得未完全配准的配准对象不会因差异值过大对融合图像的清晰度产生干扰。
在第一方面的另一种可能的设计方式中，在配准对象包括至少一个第一像素点的情况下，差异值包括：像素点灰度差，该方法还包括：获取第一配准图像的任一个第一像素点的第一灰度信息，以及参考图像的第二像素点的第二灰度信息，其中，第二像素点是与第一配准图像中的任一个第一像素点相匹配的像素点；分别对第一灰度信息和第二灰度信息进行滤波平滑处理；获取滤波平滑处理后的第一灰度信息和滤波平滑处理后的第二灰度信息的差值，基于差值确定像素点灰度差。
在一些设计方式下，差异值包括特征差异值。其中，特征包括颜色特征、纹理特征、形状特征、空间关系特征的至少一种。
其中，提取像素点灰度差的方法效果更高，可以提高对图像的处理时间。
在第一方面的另一种可能的设计方式中，基于差值确定像素点灰度差，包括：
对差值进行模糊blur平滑处理，得到像素点灰度差。通过模糊blur平滑处理，以避免差值中的异常值(或称噪声值)对后续生成参考权重产生干扰，从而提高了计算结果的准确性。
在第一方面的另一种可能的设计方式中，参考图像的噪点位置和N张待配准图像的噪点位置不同。其中，噪点位置不同是指，输入的一组图像序列中有一张图像的A像素区域没有噪点，其他图像的A像素区域有噪点，那么融合后的图像应该是A像素区域没有噪点的图像。
第二方面，本申请提供一种电子设备，该电子设备包括：处理器，用于存储处理器可执行指令的存储器，处理器被配置为执行指令时，使得电子设备实现如第一方面及其任一种可能的设计方式所述的方法。
第三方面，本申请提供一种计算机可读存储介质，该计算机可读存储介质包括计算机指令，当所述计算机指令在电子设备上运行时，使得电子设备执行如第一方面及其任一种可能的设计方式所述的方法。
第四方面，本申请提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如第一方面及其任一种可能的设计方式所述的方法。
可以理解地，上述提供的第二方面所述的电子设备，第三方面所述的计算机可读存储介质，第四方面所述的计算机程序产品所能达到的有益效果，可参考第一方面及其任一种可能的设计方式中的有益效果，此处不再赘述。
附图说明
图1为相关技术中一种图像融合方法的过程示意图；
图2为本申请实施例提供的一种电子设备的硬件结构示意图；
图3为本申请实施例提供的一种电子设备的软件结构示意图；
图4为本申请实施例提供的一组场景示意图；
图5A为本申请实施例提供的一种图像处理方法的原理示意图；
图5B为本申请实施例提供的另一种图像处理方法的原理示意图；
图6为本申请实施例提供的一种图像配准系统的示意图；
图7为本申请实施例提供的一种图像配准神经网络模型的训练方法的流程示意图；
图8为本申请实施例提供的一种获取帧间差异的过程示意图；
图9为本申请实施例提供的一种掩膜mask矩阵构建过程的示意图；
图10为本申请实施例提供的一种第二配准图像的示意图；
图11为本申请实施例提供的一种融合过程的示意图；
图12为本申请实施例提供的一种参考图像和目标图像的示意图；
图13为本申请实施例提供的一种图像处理方法的过程示意图；
图14为本申请实施例提供的一种生成融合mask的流程图。
具体实施方式
以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
随着智能终端设备的不断发展，电子设备的使用越来越普及。绝大多数电子设备都内置摄像头，并且随着电子设备的图像处理能力增强以及摄像头技术的发展，用户越来越注重电子设备的拍照性能，尤其关注图像的视觉效果。所以当拍摄出的图像有较多噪点、模糊、反光，会影响用户的拍摄体验。基于此，可以将针对同一拍摄场景的多张图像的特征信息融合为一张图像，使得融合后的图像含有更多的信息。理想情况下，如果输入的一组图像序列中有一张图像的A像素区域没有噪点，其他图像的A像素区域有噪点(即图像之间的噪点位置不同)，那么融合后的图像应该是A像素区域没有噪点的图像。相比于用户按下拍摄键后拍摄出一张有噪点的图像而言，经过多图像融合能够为用户拍摄出一张质量更好的图像。可实际运用中采用多图像融合技术所输出的图像可能存在不仅未消除噪点，而且相比图像序列中的图像的清晰度更低，涂抹感严重的问题。
图1为相关技术中一种图像融合方法的过程示意图，参考图1，以第一图像101作为参考图像，第二图像102作为待配准图像，对第一图像101、第二图像102进行配准处理，输出第一图像101和第三图像103。第三图像103的其中一块区域未配准，因而从图1中可看到，该区域在第一图像101中的像素信息(如灰度值)和第二图像102中的像素信息有较大区别。如果不加处理，直接将第一图像101和第三图像103进行融合，得到的第四图像104中，应显示第一像素值105的区域被第二像素值106遮盖，使得呈现的画质涂抹感严重，即图像清晰度回退。由于图像清晰度回退极大的影响了用户拍照体验，因而该问题亟待解决。
其中图像配准精度差是引起上述问题的重要原因。图像配准(imageregistration)就是将不同时间、不同成像设备或不同拍摄条件下(天候、照度、摄像位置和角度等)获取的多张图像进行匹配、叠加处理。常见的如光流信息配准法、灰度信息配准法等。光流信息配准法是利用两张图像内像素强度的变化来计算像素点的运动，进而对准两张图像之间的像素，实现图像配准。灰度信息配准法是利用两张图像内像素灰度信息的相似性，确定像素在两张图像之间的映射，以实现图像配准。但是在两张图像之间的某些像素点的位移过大，或亮度不一致等情况下，像素对齐不准确，使得画质损失，导致画面具有类似涂抹的效果。
为解决图像配准精度差导致的融合后图像清晰度回退的问题，本申请实施例提供一种图像处理方法，应用于电子设备，电子设备获取目标对象对应的多张图像，其中，多张图像包括参考图像和N张待配准图像，N为大于0的整数。其中，待配准图像用于以参考图像的像素点位置作为参考，通过待配准图像像素点的位置变换，将待配准图像转换为与参考图像同样坐标系统的第一配置图像。针对N张待配准图像中的任一待配准图像，电子设备根据第一像素点从参考图像到待配准图像上的位置映射关系，对待配准图像中的第一像素点进行位置变换，得到待配准图像对应的第一配准图像，其中，第一像素点是参考图像和待配准图像相匹配的像素点。然后电子设备针对N张待配准图像中任一待配准图像对应的第一配准图像，根据第一配准图像的配准对象与参考图像的配准对象之间的差异值，调整第一配准图像中差异值满足第一条件的配准对象的参考权重，得到待配准图像对应的第二配准图像。
本方案在得到第一次配准图像之后，基于第一配准图像的配准对象与参考图像的配准对象的差异值对第一配准图像进行处理，得到第二配准图像，并以第二配准图像作为图像融合的输入。相比于第一配准图像，第二配准图像结合了配准结果的差异度，所以可以降低未配准对象在图像融合过程中的负面影响。之后电子设备对参考图像和N张待配准图像对应的第二配准图像进行融合处理，得到目标对应的目标图像。
在本申请实施例中，电子设备可以为便携式计算机(如手机)、平板电脑、笔记本电脑、个人计算机(personal computer，PC)、可穿戴电子设备(如智能手表)、增强现实(augmented reality，AR)\虚拟现实(virtual reality，VR)设备、车载电脑等具备摄像头功能的设备，以下实施例对该电子设备的具体形式不做特殊限制。
图2为本申请实施例提供的一种电子设备的硬件结构示意图，参考图2，以电子设备是手机为例，手机可以包括处理器210，外部存储器接口220，内部存储器221，通用串行总线(universal serial bus，USB)接口230，充电管理模块240，电源管理模块241，电池242，天线1，天线2，移动通信模块250，无线通信模块260，音频模块270，扬声器270A，受话器270B，麦克风270C，耳机接口270D，传感器模块280，按键290，马达291，指示器292，摄像头293，显示屏294，以及用户标识模块(subscriber identification module，SIM)卡接口295等。
其中，上述传感器模块280可以包括压力传感器，陀螺仪传感器，气压传感器，磁传感器，加速度传感器，距离传感器，接近光传感器，指纹传感器，温度传感器，触摸传感器，环境光传感器和骨传导传感器等传感器。
可以理解的是，本实施例示意的结构并不构成对手机的具体限定。在另一些实施例中，手机可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器210可以包括一个或多个处理单元，例如：处理器210可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
控制器可以是电子设备的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器210中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器210中的存储器为高速缓冲存储器。该存储器可以保存处理器210刚用过或循环使用的指令或数据。如果处理器210需要再次使用该指令或数据，可从存储器中直接调用。避免了重复存取，减少了处理器210的等待时间，因而提高了系统的效率。
在一些实施例中，处理器210可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。
可以理解的是，本实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备的结构限定。在另一些实施例中，电子设备也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
电子设备通过GPU，显示屏294，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏294和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器210可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
外部存储器接口220可以用于连接外部存储卡，例如MicroSD卡，实现扩展电子设备的存储能力。外部存储卡通过外部存储器接口220与处理器210通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
内部存储器221可以用于存储计算机可执行程序代码，可执行程序代码包括指令。内部存储器221可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器221可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。处理器210通过运行存储在内部存储器221的指令，和/或存储在设置于处理器中的存储器的指令，执行电子设备的各种功能应用以及数据处理。
显示屏294用于显示图像，视频等。该显示屏294包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。
电子设备可以通过ISP，摄像头293，视频编解码器，GPU，显示屏294以及应用处理器等实现拍摄功能。
ISP用于处理摄像头293反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头293中。
摄像头293用于捕获静态图像或视频。在预览界面，摄像头便可采集图像。电子设备可以将用户执行的拍照控制指令前后一段时间内采集的图像作为待配准图像或参考图像。经过处理后输出融合后的目标图像，并在界面上显示。在一些实施例中，电子设备可以包括1个或N个摄像头293，N为大于1的正整数。在一些实施例中，电子设备可以将其中一个摄像头293采集的图像作为参考图像，将其他摄像头293采集的图像作为待配准图像。
物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备可以支持一种或多种视频编解码器。这样，电子设备可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。
NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备的智能认知等应用，例如：图像配准，图像融合，人脸识别，语音识别，文本理解等。
在一些实施例中，电子设备中的大量核心部件，比如，处理器210(中央处理器、图像处理器等)、内存以及多类主机控制器(host control)等，可以集成于主芯片中。主芯片的高集成度有助于缩小电子设备的物理空间，满足当前用户对电子设备追求轻量化、便携化的需求。
电子设备的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的安卓AndroidTM系统为例，示例性说明电子设备的软件结构。
图3为本申请实施例提供的一种电子设备的软件结构示意图，参考图3，分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将AndroidTM系统分为四层，从上至下分别为应用程序层，应用程序框架层(简称框架层)，安卓运行时(AndroidTM runtime)和系统库，以及内核层。
其中，应用程序包可以包括相机，日历、地图、视频、音乐、短消息、图库、通话、桌面、视频剪辑等应用程序。
框架层为应用程序层的应用程序提供应用编程接口(application programminginterface，API)和编程框架。框架层包括一些预先定义的函数。框架层可以包括窗口管理器、内容管理器、视图系统、电话管理器、资源管理器、通知管理器、活动管理器等。
其中，视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。
资源管理器为应用程序提供各种资源，比如本地化字符串，图标、图片、布局文件、视频文件等等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小、判断是否有状态栏、锁定屏幕、截取屏幕等。
活动管理器用于管理各个应用程序的生命周期以及导航回退功能，负责AndroidTM的主线程创建，各个应用程序的生命周期的维护。
内核层是硬件和软件之间的层。内核层至少包含摄像头驱动，音频驱动，传感器驱动等。框架层可调用内核层中的硬件驱动，如调用摄像头驱动以启动硬件层的摄像头，被启动的摄像头可以采集图像数据。
在本申请实施例提供的图像处理方法中，检测到用户打开相机应用，应用程序层的相机应用启动拍照功能，并将内核层发送指令，以调用内核层的摄像头驱动，传感器驱动以及显示驱动，使得电子设备启动摄像头采集图像。在摄像头采集图像过程中，光线通过摄像头被传递到图像传感器，图像传感器针对光信号进行光电转换，转化为用户肉眼可见的图像。输出的图像数据以数据流的形式传递给图3中的系统库，由三维图形处理库和图像处理库实现绘图、图像渲染、合成和图层处理等，生成显示图层；由表面管理器将显示图层进行融合处理等，传递给应用程序框架层的内容提供器、窗口管理器和视图系统，控制显示界面的显示。最终，该预览图像显示在相机应用的图像预览区域或者电子设备的显示屏上。当检测到用户针对拍摄按钮的触发操作，框架层向硬件抽象层(hardware abstract layer，HAL)发送指令，以调用图像处理算法，其中，HAL层是位于系统库和内核层之间的层，图3未示出。HAL层中的图像处理算法对可基于输入的参考图像和N张待配准图像，输出融合后的目标图像，并将目标图像显示在相机应用的拍摄界面。
下面以电子设备是手机为例，并结合附图说明本申请实施例提供的方法。
本申请实施例提供一种图像处理方法，应用于拍摄场景或者视频剪辑场景。图4为本申请实施例提供的一组场景示意图，参考图4，手机显示桌面，桌面上显示相机应用401，检测到用户针对相机应用401的触发操作，相机应用启动，并进入预览界面402。摄像头采集到的预览图像显示在预览界面。当检测到用户针对预览界面402中拍摄按钮403的触发操作，手机获取一组图像帧404，其中不同图像帧404之间因拍摄角度、拍摄时间或拍摄设备不同引起噪点405不同。手机对一组图像帧404进行融合，得到目标图像406，并显示拍摄界面407，将目标图像406显示于拍摄界面407。其中，具体的融合步骤包括：以一组图像帧404中的其中一张图像作为参考图像，其他图像为待配准图像，以参考图像为基准，将待配准图像与参考图像进行配准，得到第一配准图像集合，并根据第一配准图像集合中每一张第一配准图像与参考图像之间的差异值，调整第一配准图像进行融合时的参考权重，得到对应的第二配准图像。以第二配准图像和参考图像进行融合，得到目标图像。相比于图像帧404中的画质，目标图像406的噪点少，且清晰度不回退，因而画面质量更高，拍摄效果更好。
继续参考图4，当检测到用户针对视频剪辑应用411的触发操作，视频剪辑应用411启动，并进入视频剪辑界面。在视频剪辑界面中，用户选中一段已录制的视频412，并对视频412中的一段视频帧413进行去噪点处理。手机从视频帧413中获取一组图像帧414，对图像帧414进行融合去噪，得到目标视频帧415。手机将以目标视频帧415替换原视频412中被选中的视频帧413。其中，具体的融合去噪过程可以参考上文图像处理的步骤，在此不做累赘说明。
图5A为本申请实施例提供的一种图像处理方法的原理示意图，参考图5A，该方法包括四个步骤，分别是第一次图像配准，第二次图像配准，图像融合以及图像后处理。其中，第一次图像配准相当于上文提到的获取目标对象对应的多帧图像，多帧图像包括参考图像和N张待配准图像。针对N张待配准图像中的任一待配准图像，电子设备根据第一像素点从参考图像到待配准图像上的位置映射关系，对待配准图像中的第一像素点进行位置变换，得到待配准图像对应的第一配准图像。之后，再根据差异值进行第二次图像配准，相当于上文提到的获取第一配准图像的配准对象与参考图像的配准对象之间的差异值，调整第一配准图像中所述差异值满足第一条件的配准对象的参考权重，得到待配准图像对应的第二配准图像。图像融合是指对参考图像和N张待配准图像对应的第二配准图像进行融合处理，得到目标对应的目标图像。在图像融合处理之后，还可进行图像后处理步骤，在一些实施例中，该步骤可省略。
本申请实施例通过第二次图像配准步骤可以实现：在配准精度差的情况下也能使得融合后的目标图像相比于原图像的画质没有损失，清晰度不会回退的效果。下面依次对这五个步骤进行说明。
图像配准：
本申请实施例中，可采用图像配准系统对多张图像进行配准。图6为本申请实施例提供的一种图像配准系统的示意图，参考图6，图像配准系统包括图像采集设备61、训练服务器62以及模型应用设备63。图像采集设备61采集到多张图像，并将多张图像发送给训练服务器62。训练服务器62内置神经网络模型。训练服务器62以多张图像对神经网络模型进行训练，得到训练好的图像配准神经网络模型。之后模型应用设备63可利用图像配准神经网络模型对图像采集设备61采集的参考图像和N张待配准图像进行图像配准，并输出N张第一配准图像。
其中，图像采集设备61、训练服务器62以及模型应用设备63可以是三个分离的设备，或者可以是同一个设备，或者两两为同一个设备。
具体的，以图像采集设备61和模型应用设备63为同一设备为例，图像采集设备61和模型应用设备63是用于实现无线通信功能的设备，例如终端、用于终端中的芯片。终端或称用户设备(user equipment，UE)、电子设备等。以终端为手机为例，手机可以采集多张图像作为样本集合，并将样本集合发送给训练服务器62，以便训练神经网络模型，得到图像配准神经网络模型。之后训练服务器62可以将图像配准神经网络模型发送给手机，手机便可在采集到参考图像和N张待配准图像的情况下，将参考图像和N张待配准图像输入图像配准神经网络模型中进行匹配处理，得到参考图像和N张第一配准图像。
图7为本申请实施例提供的一种图像配准神经网络模型的训练方法的流程示意图，参考图7，图像配准神经网络模型的训练方法包括：图像采集设备将采集到的多组样本数据集合发送给训练服务器中，其中每组样本数据集合包括一张参考样本图像和多张待配准样本图像。训练服务器将每组样本数据集合输入神经网络模型，神经网络模型包括特征提取网络和回归网络，特征提取网络提取参考样本图像和多张待配准样本图像的像素信息，像素信息可以是特征信息或灰度信息。特征提取网络将像素信息输入回归网络，由回归网络输出匹配矩阵，匹配矩阵用于确定同一像素信息从参考样本图像到待配准样本图像的位置映射关系。根据匹配矩阵和待配准样本图像得到对应的第一配准样本图像。再通过第一配准样本图像与参考样本图像之间的差异值不断调整模型参数，直至差异值满足预设条件，从而得到训练好的图像配准神经网络模型。
在本申请实施例中，神经网络模型可以是基于多层感知机(multilayerperceptron，MLP)、卷积神经网络(convolutional neural network，CNN)和循环神经网络(recurrent neural network，RNN)等基础网络模型构建的。关于神经网络模型的具体解释可参考相关技术的介绍，本申请在此不予累赘说明。
在训练服务器训练得到图像配准神经网络模型之后，模型应用设备(如手机)从训练服务器中获取图像配准神经网络模型。图像采集设备采集第一数据集合，其中，第一数据集合包括多张图像。图像采集设备将第一数据集合发送给模型应用设备，模型应用设备将其中一张图像作为参考图像，将其他图像作为待配准图像。模型应用设备利用图像配准神经网络模型对第一数据集合中的待配准图像和参考图像进行配准，并输出第一配准图像。
在一些实施例中，模型应用设备还可将第一配准图像、第一数据集合发送给训练服务器，以便扩充样本集合，使得训练得到的图像配准神经网络模型可以对不同场景下的图像进行配准处理。
在本实施例中，参考图像可以是第一数据集合中的任一张图像。在一些实施例中，参考图像可以是第一数据集合中清晰度最高的图像。在另一些实施例中，参考图像可以是检测到用户针对拍摄按钮的触发操作时摄像头采集到的图像。在其他一些实施例中，参考图像可以是第一数据集合中噪点数最少的图像。
示例性的，手机可以对第一数据集合中的图像进行清晰度检测，比如通过边缘信息，梯度信息检测图像的清晰度，将清晰度最高，或者较高的图像作为参考图像。需要说明的是，参考图像可以是一张图像或多张图像，本实施例对参考图像的数量并无限制。
再或者，手机可以获取用户针对拍摄按钮的触发操作时的当前时刻，并将第一数据集中与当前时刻最接近的时刻下采集到的图像作为参考图像。使得最终融合得到的目标图像是与用户按下拍摄按钮时的拍摄图像最接近的图像。
又或者，手机可对第一数据集合中的各个图像进行分块处理，得到每个图像对应的多个图像块，获取每个图像块内的像素进行方差，以方差大小表示图像块的噪声水平。若图像中的多个图像块的噪声水平小，则该图像作为参考图像。
在配准得到N张第一配准图像之后，本申请实施例并不是直接将其与参考图像进行融合处理，而是执行下文的第二次图像配准处理，其中，如图5B所示，第二次图像配准处理包括差异提取步骤以及构建掩膜mask矩阵，具体可参考下文介绍。
差异提取。
差异提取是指提取第i张第一配准图像中的配准对象与参考图像中的配准对象的差异程度，其中，差异程度可以用差异值表示。i为大于0且小于N的整数。
其中，差异程度与图像配准神经网络模型本身的匹配精度有关，具体的，配准精度越高，则差异程度越小，反之亦反。差异程度还与待配准图像和参考图像的拍摄场景有关，比如夜景和暗光环境拍摄的图像画质差，更容易将像素点的位置匹配错误，因而得到的第一配准图像和待配准图像的差异程度较大。
在一些实施例中，在配准对象包括至少一个像素点的情况下，差异值包括像素点灰度差。具体的，手机可以获取第一配准图像的任一个第一像素点的第一灰度信息，以及参考图像的第二像素点的第二灰度信息，其中，第一像素点是待配准图像与参考图像相匹配的像素点。第二像素点是与第一配准图像中的任一个第一像素点相匹配的像素点。分别对第一灰度信息和第二灰度信息进行平滑滤波处理。获取平滑滤波处理后的第一灰度信息和平滑滤波处理后的第二灰度信息的差值，基于差值确定像素点灰度差。
图8为本申请实施例提供的一种获取帧间差异的过程示意图，参考图8，分别提取参考图像、第1张第一配准图像的灰度信息…第n-1张第一配准图像的灰度信息以及第n张第一配准图像的灰度信息。其中，图像的灰度信息是指图像中的配准对象的灰度信息。如在该实施例中，配准对象为像素点，那么参考图像的灰度信息是参考图像中各个像素点对应的灰度信息，第n张第一配准图像的灰度信息是指第n张第一配准图像中各个像素点对应的灰度信息。
灰度信息可以由矩阵B0～Bn表示。参考图像与第1张第一配准图像之间的差异值为矩阵B0与矩阵B1的差值，可以用矩阵A1表示。参考图像与第n-1张第一配准图像之间的差异值为矩阵B0与矩阵Bn-1的差值，可以用矩阵An-1表示。参考图像与第n张第一配准图像之间的差异值为矩阵B0与矩阵Bn的差值，可以用矩阵An表示。其中，矩阵A0～An中的每个元素表示互为映射关系的两个像素点之间的灰度差，映射关系可以由上文图像匹配方案所介绍的匹配矩阵中获得。
应理解，本实施例以矩阵来存储灰度差仅作为一种示例性的说明，在实际应用中，也可以采用键值对、序列等表示，本申请对此不做限制。批注，以键值对表示灰度差时，可以记作[key：value]＝[像素点标识：像素点灰度差]。以序列表示灰度差时，可以记作[像素点灰度差1，像素点灰度差2…像素点灰度差n]。
在另一些实施例中，差异值包括特征差异值。其中，特征包括颜色特征、纹理特征、形状特征、空间关系特征的至少一种。特征差异值的提取方法与上文灰度值提取方法类似，在此不予累赘说明。
在一些实施例中，在提取像素信息后，先对像素信息进行去噪处理，然后再提取差异值。具体的，当像素值的像素信息是灰度信息时，对灰度信息进行去噪处理；当像素信息是特征信息时，对特征信息进行去噪处理。
其中，去噪处理可以是平滑滤波处理。平滑滤波处理可以降低图像噪声，以免噪声影响处理结果。平滑滤波包括平滑模糊均值滤波(meanfilter)，高斯滤波(Gaussfilter)，中值滤波，双边滤波等。实际运用中可采用合适的平滑滤波操作对像素信息进行去噪处理，本申请对此不做限制。
经过上文的差异提取可以得到N组像素点差异值，每组像素点差异值表示一张第一配准图像与参考图像之间各个配准对象(或像素点)的差异程度。之后，本申请实施例执行下文的构建掩膜mask矩阵步骤，从而为不同配准差异程度的第一配准图像分配不同的参考权重，使得第一配准图像中未配准的区域对融合的影响小，第一配准图像中配准的区域对融合的影响大，因而可以保证在第一配准图像的配准精度低或者第一配准图像的清晰度低的情况下，融合后的目标图像的清晰度不会回退。具体的构建掩膜mask矩阵可参考下文介绍。
构建掩膜mask矩阵。
掩膜mask可理解用于对第一配准图像(全部或局部)进行遮挡，来控制第一配准图像的处理区域。比如，当第一配准图像中的区域A被掩膜mask遮挡，那么第一配准图像中的区域A不参与融合。
掩膜mask矩阵是用来表示第一配准图像中的每个像素点是否需要被遮挡的矩阵。以掩膜mask矩阵与第一配准图像相乘，可以得到以差异值作为参考权重来调整第一配准图像所得到的第二配准图像。第二配准图像相比于第一配准图像的差别在于，第二配准图像中有被遮挡的像素点，第一配准图像中没有被遮挡的像素点。
举例而非限制，下面示出一些掩膜mask矩阵的具体构建方法。
示例一：
以上文的矩阵A1～An作为原始矩阵(或称第一掩膜mask矩阵)。将矩阵A1～An中差异值大于或等于预设阈值的元素设为预设权重中的最小值，将差异值0设为预设权重中的最大值，拟合得到参考权重f(x)与差异值x的函数关系，并利用该函数关系计算得到其它差异值对应的参考权重。最后将每个像素值的参考权重进行归一化处理，得到矩阵C1～Cn(或称第二掩膜mask矩阵)。比如预设权重的最小值设为0，最大值设为1，那么A1～An中差异值大于或等于预设阈值的元素都设为0，差异值为0的元素都设为1；若预设权重的最小值设为0.01，最大值设为0.99，则A0～An中差异值大于或等预设阈值的元素都设为0.01，差异值为0的元素都设为0.99。
在一些实施例中，预设阈值为小于255的自然数，如预设阈值为5，10，15，20等。
下面以预设阈值为10，预设权重中的最小值为0为例，对构建掩膜mask矩阵进行说明。
图9为本申请实施例提供的一种掩膜mask矩阵构建过程的示意图，参考图9，矩阵A1中，第2行第1列，第2行第2列，第4行第2列的像素点的差异值大于或等于预设阈值，因而将这些像素点的参考权重设为0；第3行第3列的像素点的差异值为0，因而将该像素点的参考权重设为1，以x＝0，f(x)＝1；x＝10，f(x)＝0构建f(x)曲线。将其他像素点的差异值作为x代入f(x)曲线中，分别得到这些像素点的参考权重。之后，再对该矩阵进行归一化处理，得到C1。
示例二：
在示例一的基础上，只剔除矩阵A1～An中差异值大于或等于预设阈值的元素，其余元素的参考权重可设为一个预设值。
示例三：
在示例一的基础上，保留矩阵A1～An中差异值大于或等于预设阈值的元素，将最大的差异值对应的像素点的参考权重设为0，将最小的差异值对应的像素点的参考权重设为1，构建f(x)曲线，其余像素点的参考权重为曲线上的纵轴坐标值。
需要说明的是，在示例一和示例三的构建f(x)曲线之前，可以基于第i张第一配准图像与参考图像的所有像素点的差异值对每个像素点进行平滑过渡处理，使得后续拟合的f(x)曲线更加平滑，减小因噪声对拟合曲线产生的影响。
在本实施例构建的第二掩膜mask矩阵中，第一配准图像中差异值大的像素点对融合结果的影响小，第一配准图像中差异值小的像素点对融合结果的影响大，从而改善因配准精度差造成融合后的目标图像的清晰度回退的问题，使得图像处理效果更好。
具体的，得到第i个第二掩膜mask矩阵后，代入下文公式中，得到第i个第二配准图像。
第i个第一配准图像*第二掩膜mask矩阵+参考图像*(同阶单位矩阵-第二掩膜mask矩阵)＝第i个第二配准图像。
与第i个第一配准图像的配准精度相比，第i个第二配准图像的像素点未配准的情况下，采用参考图像的像素点的像素信息，在配准的情况下，采用第i个第一配准图像的像素点的像素信息，从而具有更高的配准精度。
图10为本申请实施例提供的一种第二配准图像的示意图，参考图10，在第一配准图像的像素区域1001未配准的情况下，将像素区域1001的像素信息替换为像素区域1002的像素信息，使得到的第二配准图像中，像素区域的配准精度更高。
图像融合。
图像融合是指将多张第二配准图像与参考图像一起融合为一张目标图像。在本申请实施例中，可采用融合网络模型进行融合处理。
下面先介绍融合网络模型的训练方式。首先构建多组样本集合，每组样本集合包括多张待融合样本图像以及一张目标样本图像。将多组样本集合输入网络模型中对其进行训练，最终得到融合网络模型。
在一些实施例中，融合网络模型可以在训练服务器中训练，在训练服务器训练得到融合网络模型之后，模型应用设备(如手机)从训练服务器中获取融合网络模型。模型应用设备将上文得到的参考图像，N张第二配准图像及其对应的N个第二掩膜mask矩阵输入融合网络模型中，以N个第二掩膜mask矩阵对融合网络模型作为融合参考，融合参考图像和N张第二配准图像，得到目标图像。
图11为本申请实施例提供的一种融合过程的示意图，参考图11，由参考图像和N张第一配准图像得到了N张第二配准图像和每张第二配准图像对应的第二掩膜mask矩阵。将参考图像、N张第二配准图像和N个第二掩膜mask矩阵输入融合网络模型中，输出目标图像，目标图像中的像素信息融合了参考图像、以及N张待配准图像的像素信息，因而噪点少，且目标图像没有将未配准对象进行融合，因而不会影响图像的清晰度，相比于参考图像或任一张待配准图像，目标图像的视觉效果更好。
图12为本申请实施例提供的一种参考图像和目标图像的示意图，参考图12，参考图像1201中包含较多噪点，图像的视觉效果好，直接将参考图像和N张第一配准图像进行融合，虽然减少了噪点，但第一目标图像1202的像素区域1203有涂抹感，该像素区域1201的清晰度相比于参考图像来说更低。而采用本申请实施例提供的方法将参考图像和N张第二配准图像进行融合后得到的第二目标图像1204，不仅减少了噪点，还未造成清晰度回退(或称画质损失)，所以本申请实施例可以通过参考权重调整不同区域在图像过程中对融合结果的重要程度，来降低未配准的区域在图像融合过程中的负面影响，从而改善融合后的图像清晰度回退的问题，使得图像处理效果更好。
在一些实施例中，可采用像素加权平均(average)的图像融合，即将参考图像的像素值和第i帧第一配准图像的对应像素点的像素值进行加权平均，得到新的像素值。或者，可采用基于变换域的图像融合方法等，关于融合方法的具体解释可参考相关技术的介绍，本申请在此不予累赘说明。
在该步骤之后，可以将融合得到的目标图像输出到手机显示界面上。或者，在送显之前，手机还执行下文的图像后处理操作，以得到一张画面质量更高的目标图像。
图像后处理。
在一些实施例中，手机可以对目标图像进行去噪处理，输出去噪处理后的图像，具体可参考上文中平滑滤波处理相关的说明。
当然，图像后处理还可包括对图像的亮度、大小进行处理，为图像增加滤镜的处理等，本申请对此不做限制。
示例性的，请参考图13，其为本申请实施例提供的一种图像处理方法的过程示意图。该方法中，先获取第一图像集合(相当于前文多张图像)，其中第一数据集合包括N+1帧输入图像，第一图像集合是在检测到用户针对拍摄按钮的触发操作后采集得到的多张图像。将第1帧输入图像作为参考图像，将第2帧输入图像、第3帧输入图像…第N+1帧输入图像分别作为第1帧待配准图像，第2帧待配准图像…第N帧待配准图像。以参考图像为基准，采用配准算法(相当于上文介绍的图像配准神经网络模型)对N张待配准图像进行处理，配准得到参考图像以及N张第一配准图像。分别提取第1张第一配准图像与参考图像的差异值，第2张第一配准图像与参考图像的差异值…第N张第一配准图像与参考图像的差异值。基于差异值构建N个融合mask(相当于上文介绍的第二掩膜mask矩阵)。根据第i个第一配准图像*第i个融合mask+参考图像*(1-第i个融合mask)，得到第i个第二配准图像。将N个第二配准图像进行合并concat处理，并与N个融合mask一起输入融合网络模型进行图像融合，得到第一目标图像。可选的，将第一目标图像进行去噪处理，得到第二目标图像。
在图13所示的方法中，提取参考图像与第i张第一配准图像的差异值以及构建第i个融合mask可具体采用如下方法，参考图14，其为本申请实施例提供的一种生成融合mask的流程图。该方法中，分别计算参考图像的灰度信息以及第i张第一配准图像的灰度信息，并分别对灰度信息进行平滑滤波处理。之后求取灰度差，其中灰度差是指互为映射关系的两个像素点(或称上文中的第一像素点)之间的灰度差。通过预设阈值对大于或等于预设阈值的灰度差进行阈值截断处理，其中阈值截断是指剔除大于或等于预设阈值的灰度差。然后对剩余灰度差进行blur平滑(或称均值平滑)处理。接着对灰度值进行归一化处理，生成0-1融合mask。该步骤可参考上文中介绍的构建掩膜mask矩阵。然后利用0-1融合mask对第i个第一配准图像中配准精度较低(即灰度差较大)的区域以参考图像的对应区域作替换，得到第二配准图像。将N张第二配准图像进行合并concat处理后，与N个0-1融合mask一起输入融合网络模型中，得到第一目标图像。
综上所述，本申请实施例提供的方法，在将待配准图像经过配准处理之后，并未直接将配准后的N张第一配准图像与参考图像一起输入融合网络中，而是利用N张第一配准图像与参考图像之间的差异信息，构建与差异信息相关的第二掩膜mask矩阵，第二掩膜mask矩阵中的每个元素相当于第一配准图像中的每个像素点的像素信息的参考权重。因而以第二掩膜mask矩阵作为辅助信息送入融合网络模型中，能够对与参考图像进行融合的图像(相当于上文第二配准图像)的像素信息进行增强，降低未配准的区域在图像融合过程中的负面影响，从而改善融合后的图像清晰度回退的问题，使得图像处理效果更好。
本申请另一些实施例提供了一种电子设备，该电子设备可以包括：显示屏(如触摸屏)、存储器和一个或多个处理器。该显示屏、存储器和处理器耦合。该存储器用于存储计算机程序代码，该计算机程序代码包括计算机指令。当处理器执行计算机指令时，电子设备可执行上述方法实施例中手机执行的各个功能或者步骤。该电子设备的结构可以参考图4所示的电子设备的结构。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质包括计算机指令，当所述计算机指令在上述电子设备上运行时，使得该电子设备执行上述方法实施例中手机执行的各个功能或者步骤。
本申请实施例还提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行上述方法实施例中手机执行的各个功能或者步骤。
通过以上实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种图像处理方法，其特征在于，应用于电子设备，所述方法包括：
获取目标对象对应的多张图像，其中，所述多张图像包括参考图像和N张待配准图像，N为大于0的整数；
针对所述N张待配准图像中的任一待配准图像，根据第一像素点从所述参考图像到所述待配准图像上的位置映射关系，对所述待配准图像中的所述第一像素点进行位置变换，得到所述待配准图像对应的第一配准图像，其中，所述第一像素点是所述参考图像和所述待配准图像相匹配的像素点；
针对所述N张待配准图像中任一待配准图像对应的第一配准图像，根据所述第一配准图像的配准对象与所述参考图像的配准对象之间的差异值，调整所述第一配准图像中所述差异值满足第一条件的配准对象的参考权重，得到所述待配准图像对应的第二配准图像；
对所述参考图像和N张所述待配准图像对应的第二配准图像进行融合处理，得到所述目标对应的目标图像。
2.根据权利要求1所述的方法，其特征在于，所述配准对象包括第一像素点；
所述针对所述N张待配准图像中任一待配准图像对应的第一配准图像，根据所述第一配准图像的配准对象与所述参考图像的配准对象之间的差异值，调整所述第一配准图像中所述差异值满足第一条件的配准对象的参考权重，得到所述待配准图像对应的第二配准图像，包括：
构建第一掩膜mask矩阵，所述第一掩模mask矩阵包括多个元素，所述第一掩膜mask矩阵中的元素表示所述第一配准图像中的第一像素点与所述参考图像中的所述第一像素点的差异值；
根据所述差异值，调整所述第一配准图像中的每个第一像素点的参考权重，构建第二掩膜mask矩阵，所述第二掩膜mask矩阵中的元素表示所述第一配准图像中的第一像素点的参考权重，其中所述参考权重用于描述所述第一配准图像中的第一像素点在与所述参考图像中的第一像素点进行融合处理时的参考度大小；
根据所述第一配准图像与所述第二掩膜mask矩阵的乘积值，以及所述参考图像与第三掩模mask矩阵的乘积值的和，得到第二配准图像，其中，所述第三掩模mask矩阵是所述第二掩模mask矩阵的同阶单位矩阵与所述第二掩模mask矩阵的差值。
3.根据权利要求2所述的方法，其特征在于，所述根据所述差异值，调整所述第一配准图像中的每个第一像素点的参考权重，包括：
针对所述第一配准图像中的任一个第一像素点，在所述第一像素点与所述参考图像中的第二像素点的差异值大于或等于预设阈值的情况下，将所述第一配准图像的第二像素点的参考权重设为预设权重值集合中的最小值，其中，所述第二像素点是与所述第一配准图像中的所述任一个第一像素点相匹配的像素点。
4.根据权利要求2或3所述的方法，其特征在于，所述根据所述差异值，调整所述第一配准图像中的每个第一像素点的参考权重，包括：
针对所述第一配准图像中的任一个第一像素点，在所述第一像素点与所述参考图像的第二像素点的差异值小于预设阈值的情况下，将所述第一配准图像的所述第一像素点的参考权重设为与所述差异值呈反相关的值，其中，所述第二像素点是与所述第一配准图像中的所述任一个第一像素点相匹配的像素点。
5.根据权利要求1-4中任一项所述的方法，其特征在于，所述第一条件包括：所述第一配准图像的配准对象与所述参考图像的配准对象之间的灰度差大于0。
6.根据权利要求1-5中任一项所述的方法，其特征在于，在所述配准对象包括至少一个第一像素点的情况下，所述差异值包括：像素点灰度差，所述方法还包括：
获取第一配准图像的任一个第一像素点的第一灰度信息，以及所述参考图像的第二像素点的第二灰度信息，其中，所述第二像素点是与所述第一配准图像中的所述任一个第一像素点相匹配的像素点；
分别对所述第一灰度信息和所述第二灰度信息进行平滑滤波处理；
获取所述平滑滤波处理后的第一灰度信息和所述平滑滤波处理后的第二灰度信息的差值，基于所述差值确定像素点灰度差。
7.根据权利要求6所述的方法，其特征在于，所述基于所述差值确定像素点灰度差，包括：
对所述差值进行模糊blur平滑处理，得到所述像素点灰度差。
8.根据权利要求1-7中任一项所述的方法，其特征在于，所述参考图像的噪点位置和所述N张待配准图像的噪点位置不同。
9.一种电子设备，其特征在于，包括：处理器，用于存储所述处理器可执行指令的存储器，所述处理器被配置为执行所述指令时，使得所述电子设备实现如权利要求1至8中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，包括计算机指令，当所述计算机指令在所述电子设备上运行时，使得所述电子设备执行如权利要求1-8中任一项所述的方法。
CN202310184226.0A 2023-02-20 2023-02-20 一种图像处理方法及电子设备 Pending CN117132515A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310184226.0A CN117132515A (zh) 2023-02-20 2023-02-20 一种图像处理方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310184226.0A CN117132515A (zh) 2023-02-20 2023-02-20 一种图像处理方法及电子设备

Publications (1)

Publication Number Publication Date
CN117132515A true CN117132515A (zh) 2023-11-28

Family

ID=88861639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310184226.0A Pending CN117132515A (zh) 2023-02-20 2023-02-20 一种图像处理方法及电子设备

Country Status (1)

Country Link
CN (1) CN117132515A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117854700A (zh) * 2024-01-19 2024-04-09 首都医科大学宣武医院 基于可穿戴监控设备的术后管理方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140375846A1 (en) * 2013-06-24 2014-12-25 Fujitsu Limited Image correction apparatus and imaging apparatus
CN113570530A (zh) * 2021-06-10 2021-10-29 北京旷视科技有限公司 图像融合方法、装置、计算机可读存储介质和电子设备
CN113822792A (zh) * 2021-06-15 2021-12-21 腾讯科技（深圳）有限公司 图像配准方法、装置、设备及存储介质
CN115345774A (zh) * 2022-08-16 2022-11-15 南方电网电力科技股份有限公司 一种红外图像与可见光图像的融合方法和系统
CN115689963A (zh) * 2022-11-21 2023-02-03 荣耀终端有限公司 一种图像处理方法及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140375846A1 (en) * 2013-06-24 2014-12-25 Fujitsu Limited Image correction apparatus and imaging apparatus
CN113570530A (zh) * 2021-06-10 2021-10-29 北京旷视科技有限公司 图像融合方法、装置、计算机可读存储介质和电子设备
CN113822792A (zh) * 2021-06-15 2021-12-21 腾讯科技（深圳）有限公司 图像配准方法、装置、设备及存储介质
CN115345774A (zh) * 2022-08-16 2022-11-15 南方电网电力科技股份有限公司 一种红外图像与可见光图像的融合方法和系统
CN115689963A (zh) * 2022-11-21 2023-02-03 荣耀终端有限公司 一种图像处理方法及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
谷雨;周阳;任刚;冯秋晨;鲁国智;: "结合最佳缝合线和多分辨率融合的图像拼接", 中国图象图形学报, no. 06, 16 June 2017 (2017-06-16) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117854700A (zh) * 2024-01-19 2024-04-09 首都医科大学宣武医院 基于可穿戴监控设备的术后管理方法和系统
CN117854700B (zh) * 2024-01-19 2024-05-28 首都医科大学宣武医院 基于可穿戴监控设备的术后管理方法和系统

Similar Documents

Publication Publication Date Title
WO2021078001A1 (zh) 一种图像增强方法及装置
CN113706414B (zh) 视频优化模型的训练方法和电子设备
CN108513069B (zh) 图像处理方法、装置、存储介质及电子设备
WO2024021742A1 (zh) 一种注视点估计方法及相关设备
CN111612723B (zh) 图像修复方法及装置
CN117132515A (zh) 一种图像处理方法及电子设备
CN108259767B (zh) 图像处理方法、装置、存储介质及电子设备
CN116916151B (zh) 拍摄方法、电子设备和存储介质
CN116055895B (zh) 图像处理方法及其装置、芯片系统和存储介质
CN115049819A (zh) 注视区域识别方法及装置
CN110232417B (zh) 图像识别方法、装置、计算机设备及计算机可读存储介质
CN115908120B (zh) 图像处理方法和电子设备
CN116703995B (zh) 视频虚化处理方法和装置
CN111385481A (zh) 图像处理方法及装置、电子设备及存储介质
CN108495038B (zh) 图像处理方法、装置、存储介质及电子设备
CN115580690B (zh) 图像处理的方法和电子设备
CN115150542B (zh) 一种视频防抖方法及相关设备
CN114827442B (zh) 生成图像的方法和电子设备
CN114399622A (zh) 图像处理方法和相关装置
CN116091572B (zh) 获取图像深度信息的方法、电子设备及存储介质
CN116205822B (zh) 一种图像处理的方法、电子设备和计算机可读存储介质
CN112950516B (zh) 图像局部对比度增强的方法及装置、存储介质及电子设备
CN115988339B (zh) 图像处理方法、电子设备、存储介质及程序产品
CN116012262B (zh) 一种图像处理方法、模型训练方法及电子设备
WO2022179412A1 (zh) 识别方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination