CN113192101A - 图像处理方法、装置、计算机设备和存储介质 - Google Patents

图像处理方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN113192101A
CN113192101A CN202110489937.XA CN202110489937A CN113192101A CN 113192101 A CN113192101 A CN 113192101A CN 202110489937 A CN202110489937 A CN 202110489937A CN 113192101 A CN113192101 A CN 113192101A
Authority
CN
China
Prior art keywords
image
gradient
frame
mask
generate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110489937.XA
Other languages
English (en)
Other versions
CN113192101B (zh
Inventor
谢朝毅
张伟俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Insta360 Innovation Technology Co Ltd
Original Assignee
Insta360 Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Insta360 Innovation Technology Co Ltd filed Critical Insta360 Innovation Technology Co Ltd
Priority to CN202110489937.XA priority Critical patent/CN113192101B/zh
Publication of CN113192101A publication Critical patent/CN113192101A/zh
Priority to PCT/CN2022/089155 priority patent/WO2022233252A1/zh
Application granted granted Critical
Publication of CN113192101B publication Critical patent/CN113192101B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种图像处理方法、装置、计算机设备和存储介质，适用于计算机技术领域。所述方法包括：对同一场景拍摄的多帧图像中的前景进行像素无效处理获得多帧图像对应的一帧掩码图像，生成掩码图像的梯度图像；对多帧图像进行滤波处理，生成多帧图像对应的一帧原始图像，生成原始图像的梯度图像；利用原始图像在前背景边缘区域的像素更新掩码图像在前背景边缘区域的像素，生成第一参考图像；对掩码图像的梯度图像以及原始图像的梯度图像进行求导计算，生成第二参考图像；对第一参考图像和第二参考图像进行融合处理，生成输出图像。采用本方法能够使得去除运动物体的合成图像中不存在色差，提高图像质量。

Description

图像处理方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种图像处理方法、装置、计算机设备和存储介质。
背景技术
随着科学技术的不断发展，用于拍照的设备越来越多，诸如摄像机、照相机、智能手机、平板电脑等设备均可以用于拍照。然而，在用这些设备进行拍照时，通常会有一些行人、车辆、或者动物等其他物体进入拍摄的图像中，影响了图像的美观性。
为了解决上述问题，传统技术中，通常依靠不同帧图像中各个像素值的变化来识别运动物体，从而去除图像中的运动物体。
然而，当运动物体与背景之间的色差较大时，上述方法在消除运动物体时，会使得去除运动物体的合成图像中存在色差，图像质量不佳。
发明内容
基于此，有必要针对上述技术问题，提供一种图像处理方法、装置、计算机设备和存储介质，能够使得去除运动物体的合成图像中不存在色差，提高图像质量。
第一方面，提供了一种图像处理方法，方法包括：对同一场景拍摄的多帧图像中的前景进行像素无效处理获得多帧图像对应的一帧掩码图像，生成掩码图像的梯度图像；对多帧图像进行滤波处理，生成多帧图像对应的一帧原始图像，生成原始图像的梯度图像；利用原始图像在前背景边缘区域的像素更新掩码图像在前背景边缘区域的像素，生成第一参考图像；对掩码图像的梯度图像以及原始图像的梯度图像进行求导计算，生成第二参考图像；对第一参考图像和第二参考图像进行融合处理，生成输出图像。
在其中一个实施例中，对同一场景拍摄的多帧图像中的前景进行像素无效处理获得多帧图像对应的一帧掩码图像，包括：利用神经网络模型对多帧图像进行特征提取，确定多帧图像中每一帧图像的前景；对多帧图像中每一帧图像的前景进行像素无效处理，生成多帧图像对应的多帧掩码图像；对多帧掩码图像进行融合处理，获得多帧图像对应的一帧掩码图像。
在其中一个实施例中，生成掩码图像的梯度图像，包括：按照预设像素排列方向对掩码图像中的像素进行梯度运算，生成掩码图像的梯度图像。
在其中一个实施例中，生成原始图像的梯度图像，包括：按照预设像素排列方向对原始图像中的像素进行梯度运算，生成原始图像的梯度图像。
在其中一个实施例中，对掩码图像的梯度图像以及原始图像的梯度图像进行求导计算，生成第二参考图像，包括：利用原始图像的梯度图像在前背景边缘区域的像素替换掩码图像的梯度图像在前背景边缘区域的像素，以更新掩码图像的梯度图像；对更新后的掩码图像的梯度图像进行求导计算，生成第二参考图像。
在其中一个实施例中，对第一参考图像和第二参考图像进行融合处理，生成输出图像，包括：对第一参考图像进行图像变换处理，获得第一参考图像对应的第一频域图像；对第二参考图像进行图像变换处理，获得第二参考图像对应的第二频域图像；对第一频域图像和第二频域图像进行图像重建，生成输出图像。
在其中一个实施例中，对第一参考图像和第二参考图像进行的图像变换处理为离散余弦变换处理。
第二方面，提供了一种图像处理装置，装置包括：
无效处理模块，用于对摄像模组对同一场景拍摄的多帧图像中的前景进行像素无效处理获得多帧图像对应的一帧掩码图像，生成掩码图像的梯度图像；
第一融合模块，用于对多帧图像进行滤波处理，生成多帧图像对应的一帧原始图像，生成原始图像的梯度图像；
更新模块，用于利用原始图像在前背景边缘区域的像素更新掩码图像在前背景边缘区域的像素，生成第一参考图像；对掩码图像的梯度图像以及原始图像的梯度图像进行求导计算，生成第二参考图像。
第二融合模块，用于对第一参考图像和第二参考图像进行融合处理，生成输出图像。
第三方面，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现如上述第一方面的任一方法。
第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述第一方面的任一方法。
上述图像处理方法、装置、计算机设备和存储介质，通过对同一场景拍摄的多帧图像中的前景进行像素无效处理获得多帧图像对应的一帧掩码图像，生成掩码图像的梯度图像；对多帧图像进行滤波处理，生成多帧图像对应的一帧原始图像，生成原始图像的梯度图像；利用原始图像在前背景边缘区域的像素更新掩码图像在前背景边缘区域的像素，生成第一参考图像；对掩码图像的梯度图像以及原始图像的梯度图像进行求导计算，生成第二参考图像；对第一参考图像和第二参考图像进行融合处理，生成输出图像。上述方法中，通过对多帧图像中的前景进行像素无效处理，并生成多帧图像对应的一帧掩码图像，从而可以消除多帧图像中的前景。并且在生成第一参考图像和第二参考图像的过程中使得第一参考图像和第二参考图像的前景和背景的边缘过渡更加平滑，从而利用第一参考图像和第二参考图像融合处理后的生成的输出图像中没有色差，提高了生成图像的质量。此外，上述方法中，生成掩码图像对应的梯度图像，使得图像的层次感更强，清晰度更高。生成了多帧图像对应的一帧原始图像，并生成原始图像对应的梯度图像，由于原始图像对应的梯度图像前景和背景的边缘过渡更加平滑，所以，为消除图像中的色差提供了基础。终端利用原始图像在前背景边缘区域的像素更新掩码图像在前背景边缘区域的像素，生成第一参考图像，使得第一参考图像中前景和背景的边缘过渡平滑，无色差。终端对掩码图像的梯度图像以及原始图像的梯度图像进行求导计算，生成第二参考图像，使得第二参考图像中前景和背景的边缘过渡平滑，无色差，且第二参考图像更加清晰。终端对第一参考图像和第二参考图像进行融合处理，生成输出图像，使得最终得到的输出图像中不仅消除了前景，输出图像中不存在鬼影和色彩，且图像更加清晰，质量更高。
附图说明
图1为一个实施例中图像处理方法的应用环境图；
图2为一个实施例中图像处理方法的流程示意图；
图3为一个实施例中图像处理步骤的流程示意图；
图4为另一个实施例中图像处理方法的流程示意图；
图5为另一个实施例中图像处理方法的流程示意图；
图6为另一个实施例中图像处理方法的流程示意图；
图7为一个实施例中图像处理装置的结构框图；
图8为一个实施例中图像处理装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的图像处理方法，可以应用于如图1所示的计算机设备中。其中，该计算机设备可以是终端。其内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在本申请一个实施例中，如图2所示，提供了一种图像处理方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：
步骤201，终端对同一场景拍摄的多帧图像中的前景进行像素无效处理获得多帧图像对应的一帧掩码图像，生成掩码图像的梯度图像。
具体地，用户可以将摄像模组所在拍摄设备放置在固定的位置，保持拍摄设备静止不动，使得摄像模组对同一场景拍摄多帧图像。其中，摄像模组对同一场景拍摄的多帧图像中的静止物体的相对位置不发生变化(例如，静止物体可以是建筑物、正在被拍照的人或者树木等)，运动物体的相对位置可以发生变化(例如，运动物体可以是突然闯入当前正在拍摄场景的人、动物或者车辆等)。应当理解，这里的同一场景，主要是针对静止物体而言的同一拍摄场景，即静止物体是最终想要得到的图像中的目标物体，而运动物体是误入这一拍摄场景中，是用户不想要的。上述通过固定摄像模组所在拍摄设备的方式可以得到同一场景的多帧图像，但拍摄得到同一场景多帧图像的方法并不仅限于此，本实施例对此不做具体限定。
可选的，终端或者拍摄设备在接收到用户输入的拍照指令后，可以控制摄像模组拍摄多帧连续图像。可选的，用户输入的拍照指令可以是用户按下快门按键，也可以是用户输入语音拍照口令，还可以是终端或者拍摄设备检测到用户的拍照手势，本申请实施例中对用户输入的拍照指令不做具体限定。
摄像模组对同一场景拍摄多帧图像以后，可以将多帧图像存储至终端的存储设备中，终端可以从存储设备中获取到摄像模组对同一场景拍摄的多帧图像。终端可以将多帧图像输入至预设的神经网络模型中，从而识别出多帧图像中的前景。
可选的，终端可以将多帧图像中的前景进行标注，将前景对应的像素标注为无效像素，从而生成多帧前景像素无效的掩码图像。终端对多帧前景像素无效的图像进行融合处理，最终生成多帧图像对应的一帧掩码图像。
可选的，终端可以对生成的一帧掩码图像进行图像梯度运算，从而生成掩码图像对应的梯度图像。其中，终端可以把掩码图像看成二维离散函数，对这个二维离散函数进行求导，这个过程可以称为图像梯度运算。
示例性的，终端可以将生成的掩码图像看做是图像函数f(x,y)，其中，图像函数f(x,y)在点(x,y)的梯度是一个具有大小和方向的矢量。设Gx和Gy分别标识x方向和y方向的梯度，这个点(x,y)的梯度矢量可以表示为：
Figure BDA0003051917730000051
矢量的幅度为：
Figure BDA0003051917730000052
方向角为：
Figure BDA0003051917730000061
基于上述计算过程，得到掩码图像对应的梯度图像。
可选的，终端可以利用基本梯度计算方法计算掩码图像对应的梯度图像，还可以利用形态学梯度算子计算掩码图像对应的梯度图像，例如，可以利用内部梯度计算方法计算掩码图像对应的梯度图像；还可以利用外部梯度以及方向梯度计算方法计算掩码图像对应的梯度图像。其中，用膨胀后的图像减去腐蚀后的图像得到差值图像，称为基本梯度图像；用原图像减去腐蚀之后的图像得到差值图像，称为图像的内部梯度；图像膨胀之后再减去原来的图像得到的差值图像，称为图像的外部梯度；方向梯度是使用X方向与Y方向的直线作为结构元素之后得到图像梯度。本申请实施例对生成掩码图像对应的梯度图像的计算方法不做具体限定。
步骤202，终端对多帧图像进行滤波处理，生成多帧图像对应的一帧原始图像，生成原始图像的梯度图像。
具体地，终端可以利用中值滤波处理方法、有加权的均值滤波处理方法以及取众数滤波处理方法中的任意一种滤波处理方法，对多帧图像进行滤波处理，生成多帧图像对应的一帧原始图像。
可选地，终端可以对生成的一帧原始图像进行图像梯度运算，从而生成原始图像对应的梯度图像。其中，终端可以把原始图像看成二维离散函数，对这个二维离散函数进行求导，这个过程可以称为图像梯度运算。
可选的，以中值滤波处理方法为例，终端可以不区分每一帧图像中的前景和背景，然后通过计算每一个像素位置对应的多帧图像的像素值的中值，将计算得到的中值结果作为原始图像对应像素位置的像素值，从而生成原始图像。
示例性的，有5帧图像，5帧图像中每帧图像中第一行第一列像素位置对应的像素值分别为244、218、230、195、251；终端计算这5个像素值对应的中值，中值结果为230，则终端将230作为原始图像中第一行第一列像素位置对应的像素值。依此依次计算其他像素位置对应的中值像素值，并将计算得到的中值结果作为原始图像对应像素位置的像素值，从而生成原始图像。
可选的，以有加权的均值滤波处理方法为例，终端可以不区分每一帧图像中的前景和背景，然后通过计算每一个像素位置对应的多帧图像的像素值的平均值，并将计算得到的多帧图像的像素值的平均值乘以预设的权重，最终，将计算得到的乘以相应权重后的各像素值的结果作为原始图像对应位置的像素值，从而生成原始图像。
可选的，以取众数滤波处理方法为例，终端可以将多帧图像中的每一帧图像中的每个像素都当作背景，不区分每一帧图像中的前景和背景，然后通过计算每一个像素位置对应的多帧图像的像素值的众数，并将计算得到的各像素位置对应的像素值的众数结果作为原始图像对应位置的像素值，从而生成原始图像。
上述方法中，在多帧图像中由于前景图像出现的概率相比于背景图像要小，且每帧图像中对应的前景图像不同而背景图像相同，因此经过滤波处理后，生成的原始图像中的前景图像出现的概率就更加小了。示例性的，假设有5帧图像，应像素位置的像素值分别为255、0、0、0以及0，其中，像素值255标识的前景像素，像素值为0表示的背景像素，终端通过对5帧图像进行滤波处理，可以得到对应像素位置的像素值为0，即得到的像素值为背景图像对应的像素值，从而原始图像对应像素位置为背景图像像素值，使得最终生成的原始图像中存在前景的可能性很低。
可选的，在计算得到原始图像之后，终端可以对原始图像进行梯度运算，从而生成原始图像对应的梯度图像。
示例性的，终端可以将生成的掩码图像看做是图像函数f(x,y)，其中，图像函数f(x,y)在点(x,y)的梯度是一个具有大小和方向的矢量。设Gx和Gy分别标识x方向和y方向的梯度，这个点(x,y)的梯度矢量可以表示为：
Figure BDA0003051917730000071
矢量的幅度为：
Figure BDA0003051917730000072
方向角为：
Figure BDA0003051917730000073
基于上述计算过程，得到掩码图像对应的梯度图像。
终端可以利用基本梯度计算方法计算掩码图像对应的梯度图像，还可以利用形态学梯度算子计算掩码图像对应的梯度图像，例如，也可以利用内部梯度计算方法计算原始图像对应的梯度图像；还可以利用外部梯度以及方向梯度计算方法计算原始图像对应的梯度图像。其中，用膨胀后的图像减去腐蚀后的图像得到差值图像，称为基本梯度图像；用原图像减去腐蚀之后的图像得到差值图像，称为图像的内部梯度；图像膨胀之后再减去原来的图像得到的差值图像，称为图像的外部梯度；方向梯度是使用X方向与Y方向的直线作为结构元素之后得到图像梯度。本申请实施例对生成原始图像对应的梯度图像的计算方法不做具体限定。
步骤203，终端利用原始图像在前背景边缘区域的像素更新掩码图像在前背景边缘区域的像素，生成第一参考图像；对掩码图像的梯度图像以及原始图像的梯度图像进行求导计算，生成第二参考图像。
具体地，终端利用预设的算法识别原始图像的前背景，得到原始图像在前背景边缘区域的像素位置，根据原始图像在前背景边缘区域的像素位置确定掩码图像在前背景边缘区域的像素。终端根据原始图像在前背景边缘区域的对应的像素位置，将原始图像中对应的相同像素位置的像素确定为掩码图像在前背景边缘区域的像素。终端利用原始图像在前背景边缘区域的像素替换掩码图像在前背景边缘区域的像素，生成第一参考图像。其中，预设的算法可以是边缘检测算法，也可以是其他算法。其中，边缘检测算法可以包括边缘算子法、曲面拟合法、模板匹配法、门限化法、基于数学形态学的边缘检测、小波变换和小波包变换的边缘检测法、基于模糊理论的边缘检测法、基于神经网络的边缘检测法、基于分形几何的边缘检测算法等。
示例性的，以边缘检测算法为例。其中，边缘是指图像局部变化最显著的部分，边缘主要存在于目标与目标，目标与背景之间，是图像局部特性的不连续性，如灰度的突变、纹理结构的图标、颜色的图标等。在本申请实施例中，边缘检测算法主要是检测原始图像中的前背景边缘区域。
为了减少噪声对边缘检测结果的影响需要先对原始图像进行图像滤波处理。然后，利用增强算法可以将原始图像中强度值有显著变化的像素点突显出来。可选的，可以通过计算梯度的幅值来使得原始图像中强度值有显著变化的像素点突显出来。接下来，检测原始图像中的梯度幅值比较大的像素点，并将这个像素点确定为候选前背景边缘区域。最后，根据各候选前背景边缘区域对应的像素的分辨率，从而候选前背景边缘区域中确定前背景边缘区域，最终识别得到识别原始图像的前背景边缘区域。
可选的，在获取到掩码图像的梯度图像以及原始图像对应的梯度图像之后，终端还可以根据掩码图像对应的各个像素的值确定掩码图像中的前背景边缘区域对应的像素位置，并根据在掩码图像中前背景边缘区域对应的像素位置，来确定掩码图像对应的梯度图像中的前背景边缘区域对应的像素位置。
示例性的，终端根据掩码图像中有效像素和无效像素的标注结果，确定第2行第3个像素为有效像素，第2行第4个像素为无效像素，从而终端确定第2行的第3个像素和第2行的第4个像素为前背景边缘区域对应的像素位置。终端根据掩码图像中前背景边缘区域对应的像素位置，来确定掩码图像对应的梯度图像中的前背景边缘区域对应的像素位置。
由于掩码图像对应的梯度图像与原始图像对应的梯度图像的中的每一个像素位置均为一一对应关系，因此，终端可以根据掩码图像对应的梯度图像中前背景边缘区域对应的像素位置确定原始图像对应的梯度图像中前背景边缘区域对应的像素位置。
终端利用原始图像对应的梯度图像中前背景边缘区域对应的像素替换掩码图像对应的梯度图像中前背景边缘区域对应的像素，生成替换后的梯度图像。终端对替换后的梯度图像，进行求导计算，生成第二参考图像。
步骤204，终端对第一参考图像和第二参考图像进行融合处理，生成输出图像。
具体地，终端可以对第二参考图像进行二次积分计算，将二次积分计算得到的结果确定为预输出图像，并利用第一参考图像的图像亮度调节预输出图像的亮度，从而生成输出图像。
上述图像处理方法中，终端对同一场景拍摄的多帧图像中的前景进行像素无效处理获得多帧图像对应的一帧掩码图像，生成掩码图像的梯度图像；对多帧图像进行滤波处理，生成多帧图像对应的一帧原始图像，生成原始图像的梯度图像；利用原始图像在前背景边缘区域的像素更新掩码图像在前背景边缘区域的像素，生成第一参考图像；对掩码图像的梯度图像以及原始图像的梯度图像进行求导计算，生成第二参考图像；对第一参考图像和第二参考图像进行融合处理，生成输出图像。上述方法中，通过对多帧图像中的前景进行像素无效处理，并生成多帧图像对应的一帧掩码图像，从而可以消除多帧图像中的前景。并且在生成第一参考图像和第二参考图像的过程中使得第一参考图像和第二参考图像的前景和背景的边缘过渡更加平滑，从而利用第一参考图像和第二参考图像融合处理后的生成的输出图像中没有色差，提高了生成图像的质量。此外，上述方法中，生成掩码图像对应的梯度图像，使得图像的层次感更强，清晰度更高。生成了多帧图像对应的一帧原始图像，并生成原始图像对应的梯度图像，由于原始图像对应的梯度图像前景和背景的边缘过渡更加平滑，所以，为消除图像中的色差提供了基础。终端利用原始图像在前背景边缘区域的像素更新掩码图像在前背景边缘区域的像素，生成第一参考图像，使得第一参考图像中前景和背景的边缘过渡平滑，无色差。终端对掩码图像的梯度图像以及原始图像的梯度图像进行求导计算，生成第二参考图像，使得第二参考图像中前景和背景的边缘过渡平滑，无色差，且第二参考图像更加清晰。终端对第一参考图像和第二参考图像进行融合处理，生成输出图像，使得最终得到的输出图像中不仅消除了前景，输出图像中不存在鬼影和色差，且图像更加清晰，质量更高。
在申请一个可选的实现方式中，如图3所示，上述步骤201中的“终端摄像模组对同一场景拍摄的多帧图像中的前景进行像素无效处理获得多帧图像对应的一帧掩码图像”，可以包括以下步骤：
步骤301，终端利用神经网络模型对多帧图像进行特征提取，确定多帧图像中每一帧图像的前景。
具体地，终端在获取到多帧图像后，将多帧图像输入至预设的神经网络模型中，神经网络模型对多帧图像进行特征提取，从而确定多帧图像中每一帧图像的前景。其中，神经网络模型的训练过程中可以是，获取图像训练集，其中图像训练集中的每一张图像中均包括前景，且对每一帧图像中的前景进行了标注。利用带有前景标注的图像训练集训练未经处理的神经网络模型。
可选的，神经网络模型可以是基于手工特征的神经网络模型，例如DPM(Deformable Parts Model,可变形零件模型)，神经网络模型还可以是基于卷积神经网络的模型，例如YOLO(You Only Look Once，你只看一次)检测器、R-CNN，(Region-basedConvolutional Neural Networks，基于区域的卷积神经网络)模型、SSD(Single ShotMultiBox，单发多框)检测器以及Mask R-CNN(Mask Region-based Convolutional NeuralNetworks，带掩码的基于区域的卷积神经网络)模型等。本申请实施例对于神经网络模型不做具体限定。
步骤302，终端对多帧图像中每一帧图像的前景进行像素无效处理，生成多帧图像对应的多帧掩码图像。
具体地，在确定了每一帧图像中的前景之后，可选的，终端可以将每一帧图像中前景对应的像素位置的像素值设置为0，其他像素位置的像素值可以设置为255或者保持不变。其中，像素值为0，则表示像素无效，从而实现将每一帧图像中的前景进行像素无效处理，获得多帧图像对应的多帧掩码图像。
步骤303，终端对多帧掩码图像进行融合处理，获得多帧图像对应的一帧掩码图像。
可选的，在生成多帧图像对应的多帧掩码图像之后，终端可以计算每一帧图像对应的掩码图像的像素值，对每一帧图像对应的掩码图像的像素值进行融合处理，得到多帧图像对应的一帧掩码图像的各像素位置的像素值，从而生成多帧图像对应的一帧掩码图像。
可选的，终端可以采用像素级图像融合方法对多帧掩码图像进行融合处理，从而获得多帧图像对应的一帧掩码图像。其中，像素级图像融合方法可以是基于非多尺度变换的图像融合方法(例如：平均与加权平均法、逻辑滤波器法、数学形态法、图像代数法等)或者是基于多尺度变换的图像融合方法(例如：金字塔图像融合法、小波变换图像融合法、基于神经网络的图像融合法等)。在本申请实施例中，不对多帧掩码图像的融合方法进行限定。其中，采用像素级图像融合方法，可以保留更多的图像信息。
可选的，终端还可以利用背景建模的方法，对多帧掩码图像进行融合处理。其中，背景建模的方法可以使用非递归背景建模方法，也可以使用递归背景建模方法。非递归背景建模方法可以包括中值、均值模型，线性预测模型，非参数核密度估计等，递归背景建模方法可以包括近似中值滤波方法，单高斯模型方法，混合高斯模型方法等。
示例性的，本申请实施例以非递归背景建模方法中的中值模型建模方法为例进行详细介绍。假设有n帧掩码图像。
以
Figure BDA0003051917730000111
表示多帧图像的集合，其中Ik表示第k帧图像。
Figure BDA0003051917730000112
表示对图像集合中的每一帧图像中的各个像素进行标注后得到的掩码图集合，Mk表示Ik对应的掩码图像。其中，掩码图像集合中的每一帧掩码图中的前景对应的像素位置的像素为无效像素，可以将无效像素对应的像素值标注为0，除前景以外其他位置对应的像素为有效像素，可以将各有效像素对应的像素值标注为1，从而生成对应的掩码图像。可选的，Mk中每一像素点的像素值的取值范围可以为{0，1}，其中，0代表无效像素，1代表有效像素。用p＝(x,y)表示掩码图像中各个像素点的坐标位置，例如p＝(1,2)可以代表掩码图像中第一行第二列的像素点的坐标位置。Ik(p)和Mk(p)分别表示Ik和Mk在坐标位置p对应像素点的像素值。用B和B(p)分别表示融合处理后合成的一帧掩码图像和融合处理后合成的一帧掩码图像在坐标位置p对应像素点的像素值，则相应的计算公式为：
Figure BDA0003051917730000121
公式(1)中Median(*)表示对集合中的元素取中值操作。
利用计算出的一帧掩码图像中各个坐标位置p对应像素点的像素值B(p)以及根据p对应像素点的坐标位置，生成一帧掩码图像在坐标位置p对应像素点的像素值B，从而得到一帧掩码图像。
本申请实施例中，通过终端利用神经网络模型对多帧图像进行特征提取，确定多帧图像中每一帧图像的前景，并对多帧图像中每一帧图像的前景进行像素无效处理，生成多帧图像对应的多帧掩码图像。终端对多帧掩码图像进行融合处理，获得多帧图像对应的一帧掩码图像。上述方法，终端利用神经网络模型确定多帧图像中每一帧图像的前景，对多帧图像中每一帧图像的前景进行像素无效处理，生成多帧图像对应的多帧掩码图像，并对多帧掩码图像进行滤波处理，获得多帧图像对应的一帧掩码图像，从而可以消除图像中的前景。
在本申请一种可选的实现方式中，上述步骤201中的“生成掩码图像的梯度图像”，可以包括以下内容：
终端按照预设像素排列方向对掩码图像中的像素进行梯度运算，生成掩码图像的梯度图像。
具体地，终端可以按照预设像素排列方向，对掩码图像中的像素进行梯度运算。其中，预设像素排列方式，可以是图像中的像素从左到右，从上到下排列。可选的，在X轴方向，可以将右侧的像素看做左侧像素的前边，在Y轴方向，可以将上边的像素看做下边像素的前方。
终端利用掩码图像中同一行后一个像素值减去当前像素值，得到当前位置X方向梯度值，依次类推，最终得到掩码图像X方向的前向梯度图；终端利用掩码图像中同一行当前一个像素值减去前像素值，得到当前位置X方向梯度值，依次类推，最终得到掩码图X方向的后向梯度图；终端利用掩码图像中同一列后一个像素值减去当前像素值，得到当前位置Y方向梯度值，依次类推，最终得到掩码图Y方向的前向梯度图；终端利用掩码图像中同一列当前一个像素值减去前像素值，得到当前位置Y方向梯度值，依次类推，最终得到掩码图Y方向的后向梯度图。最终，生成掩码图像对应的前向X轴梯度图、前向Y轴梯度图、后向X轴梯度图以及后向Y轴梯度图。
在本申请实施例中，终端按照预设像素排列方向对掩码图像中的像素进行梯度运算，生成掩码图像的梯度图像，使得提高了图像的层次感和清晰度，因此生成的掩码图像对应的梯度图像的层次感更强，清晰度更高。
在本申请一种可选的实现方式中，上述步骤202中的“生成原始图像的梯度图像”，可以包括以下内容：
终端按照预设像素排列方向对原始图像中的像素进行梯度运算，生成原始图像的梯度图像。
示例性的，终端可以将生成的掩码图像看做是图像函数f(x,y)，其中，图像函数f(x,y)在点(x,y)的梯度是一个具有大小和方向的矢量。设Gx和Gy分别标识x方向和y方向的梯度，这个点(x,y)的梯度矢量可以表示为：
Figure BDA0003051917730000131
矢量的幅度为：
Figure BDA0003051917730000132
方向角为：
Figure BDA0003051917730000133
基于上述计算过程，得到掩码图像对应的梯度图像。
终端可以利用基本梯度计算方法计算掩码图像对应的梯度图像，还可以利用形态学梯度算子计算掩码图像对应的梯度图像，例如，也可以利用内部梯度计算方法照预设像素排列方向对原始图像中的像素进行梯度运算，生成原始图像的梯度图像；还可以利用外部梯度以及方向梯度计算方法照预设像素排列方向对原始图像中的像素进行梯度运算，生成原始图像的梯度图像。其中，用膨胀后的图像减去腐蚀后的图像得到差值图像，称为基本梯度图像；用原图像减去腐蚀之后的图像得到差值图像，称为图像的内部梯度；图像膨胀之后再减去原来的图像得到的差值图像，称为图像的外部梯度；方向梯度是使用X方向与Y方向的直线作为结构元素之后得到图像梯度。本申请实施例对生成原始图像对应的梯度图像的计算方法不做具体限定。
示例性的，以终端利用方向梯度计算方法预设像素排列方向对原始图像中的像素进行梯度运算，生成原始图像的梯度图像为例进行说明。终端可以按照预设像素排列方向，对原始图像中的像素进行方向梯度运算。其中，预设像素排列方式可以是图像中的像素从左到右，从上到下排列。可选的，在X轴方向，可以将右侧的像素看做左侧像素的前边，在Y轴方向，可以将上边的像素看做下边像素的前方。
终端利用原始图像中同一行后一个像素值减去当前像素值，得到当前位置X方向梯度值，依次类推，最终得到掩码图X方向的前向梯度图；终端终端利用原始图像中同一行当前一个像素值减去前像素值，得到当前位置X方向梯度值，依次类推，最终得到掩码图X方向的后向梯度图；终端利用原始图像中同一列当前一个像素值减去前像素值，得到当前位置Y方向梯度值，依次类推，最终得到掩码图Y方向的前向梯度图；终端利用原始图像中同一列前一个像素值减去当前像素值，得到当前位置Y方向梯度值，依次类推，最终得到掩码图Y方向的后向梯度图。最终，生成原始图像对应的前向X轴梯度图、前向Y轴梯度图、后向X轴梯度图以及后向Y轴梯度图。
在本申请实施例中，终端按照预设像素排列方向对原始图像中的像素进行梯度运算，生成原始图像的梯度图像，使得提高了图像的层次感和清晰度，因此生成的原始图像对应的梯度图像的层次感更强，清晰度更高。
在本申请一个可选的实现方式中，如图4所示，上述步骤203中的“对掩码图像的梯度图像以及原始图像的梯度图像进行求导计算，生成第二参考图像”，可以包括以下步骤：
步骤401，终端利用原始图像的梯度图像在前背景边缘区域的像素替换掩码图像的梯度图像在前背景边缘区域的像素，以更新掩码图像的梯度图像。
具体地，终端在分别得到掩码图像对应的前向X轴梯度图、前向Y轴梯度图、后向X轴梯度图、后向Y轴梯度图，以及原始图像对应的前向X轴梯度图、前向Y轴梯度图、后向X轴梯度图以及后向Y轴梯度图之后，终端利用预设算法识别原始图像对应的前向X轴梯度图、前向Y轴梯度图、后向X轴梯度图以及后向Y轴梯度图，从而得到原始图像对应的4张梯度图像在前背景边缘区域的像素位置。其中，预设算法可以是边缘检测算法，也可以是其他算法。其中，边缘检测算法可以包括差分边缘检测、索贝尔算子(Sobel operator)、罗伯茨算子(Roborts operator)等算法。
示例性的，以边缘检测算法为例。其中，边缘是指图像局部变化最显著的部分，边缘主要存在于目标与目标，目标与背景之间，是图像局部特性的不连续性，如灰度的突变、纹理结构的图标、颜色的图标等。在本申请实施例中，边缘检测算法主要是检测原始图像的梯度图像中的前背景边缘区域。
为了减少噪声对边缘检测结果的影响需要先对原始图像对应的梯度图像进行图像滤波处理。然后，利用增强算法可以将原始图像对应的梯度图像中强度值有显著变化的像素点突显出来。可选的，可以通过计算梯度的幅值来使得原始图像对应的梯度图像中强度值有显著变化的像素点突显出来。接下来，检测原始图像对应的梯度图像中的梯度幅值比较大的像素点，并将这个像素点确定为候选前背景边缘区域。最后，根据各候选前背景边缘区域对应的像素的分辨率，从而候选前背景边缘区域中确定前背景边缘区域，最终识别得到原始图像中的前背景边缘区域。
终端根据原始图像对应的4张梯度图像在前背景边缘区域的像素位置，将原始图像对应的4张梯度图像中对应的相同像素位置，确定为掩码图像对应的4张梯度图像中在前背景边缘区域的像素位置，从而确定掩码图像对应的4张梯度图像在前背景边缘区域的像素。
可选的，在获取到掩码图像的梯度图像以及原始图像对应的梯度图像之后，终端还可以根据掩码图像对应的各个像素的值确定掩码图像对应的梯度图像中的前背景边缘区域对应的像素位置，并根据在掩码图像对应的梯度图像中前背景边缘区域对应的像素位置，来确定掩码图像对应的梯度图像中的前背景边缘区域对应的像素位置。
示例性的，终端根据掩码图像对应的梯度图像中有效像素和无效像素的标注结果，确定第2行第3个像素为有效像素，第2行第4个像素为无效像素，从而终端确定第2行的第3个像素和第2行的第4个像素为前背景边缘区域对应的像素位置，从而掩码图像对应的梯度图像中前背景边缘区域对应的像素位置。
由于掩码图像对应的梯度图像与原始图像对应的梯度图像的中的每一个像素位置均为一一对应关系，因此，终端可以根据掩码图像对应的梯度图像中前背景边缘区域对应的像素位置确定原始图像对应的梯度图像中前背景边缘区域对应的像素位置。
在分别确定了原始图像对应的4张梯度图像在前背景边缘区域的像素以及掩码图像对应的4张梯度图像在前背景边缘区域的像素之后，终端分别利用原始图像对应的4张梯度图像在前背景边缘区域的像素更新掩码图像对应的4张梯度图像在前背景边缘区域的像素。
示例性的，终端利用原始图像对应的前向X轴梯度图在前背景边缘区域的像素更新掩码图像对应的前向X轴梯度图在前背景边缘区域的像素；
终端利用原始图像对应的前向Y轴梯度图在前背景边缘区域的像素更新掩码图像对应的前向Y轴梯度图在前背景边缘区域的像素；
终端利用原始图像对应的后向X轴梯度图在前背景边缘区域的像素更新掩码图像对应的后向X轴梯度图在前背景边缘区域的像素；
终端利用原始图像对应的后向Y轴梯度图在前背景边缘区域的像素更新掩码图像对应的后向Y轴梯度图在前背景边缘区域的像素。
步骤402，终端对更新后的掩码图像的梯度图像进行求导计算，生成第二参考图像。
可选的，终端可以对更新后的掩码图像进行拉普拉斯计算，实现对图像的锐化处理。其中，图像锐化处理的作用是使灰度反差增强，从而使模糊图像变得更加清晰。图像模糊的实质就是图像受到平均运算或积分运算，因此可以对图像进行逆运算，如微分运算能够突出图像细节，使图像变得更为清晰。由于拉普拉斯是一种微分算子，它的应用可增强图像中灰度突变的区域，减弱灰度的缓慢变化区域。
可选的，终端可以使用拉普拉斯算子对图像进行锐化滤波，并和原图像叠加，实现对图像的增强。其中，拉普拉斯算子是一个是n维欧几里德空间中的一个二阶微分算子，它的定义如下：
Figure BDA0003051917730000161
在x方向上，
Figure BDA0003051917730000162
在y方向上，
Figure BDA0003051917730000163
合起来就是：
Figure BDA0003051917730000171
终端在更新掩码图像之后，得到更新后的前向X轴梯度图、前向Y轴梯度图、后向X轴梯度图以及后向Y轴梯度图。终端对前向X轴梯度图左移一个像素后与后向X轴梯度图做均值得到梯度图H。终端将前向Y轴梯度图上移一个像素之后，与后向Y轴梯度图做均值，得到梯度图V。终端将梯度图H右移一个像素得到梯度图L，梯度图V下移一个像素得到梯度图U。终端将梯度图H减去梯度图L之后，加上梯度图V，再减去梯度图U，最终得到第二参考图像。
在本申请实施例中，终端利用原始图像的梯度图像在前背景边缘区域的像素替换掩码图像的梯度图像在前背景边缘区域的像素，以更新掩码图像的梯度图像。从而减少了掩码图像对应的梯度图像中的色差，完成初步消除色差的任务，提高了图像的清晰度。终端对更新后的掩码图像的梯度图像进行求导计算，生成第二参考图像，使得生成的第二参考图像的层次感更强，清晰度更高，从而使得图像的质量更佳。
在本申请一个可选的实现方式中，如图5所示，上述步骤204中的“对第一参考图像和第二参考图像进行融合处理，生成输出图像”，可以包括以下内容：
步骤501，终端对第一参考图像进行图像变换处理，获得第一参考图像对应的第一频域图像。
其中，对第一参考图像进行的图像变换处理可以为离散余弦变换处理。
其中，离散余弦变换(DCT)从本质上是一种变换分析方法，用于将第一参考图像的像素从空间域转换为频域。
具体地，终端利用离散余弦变换方法对第一参考图像进行图像变换处理，生成第一参考图像对应的第一频域图像。
其中，在空间域中，函数自变量(x,y)被视为二维空间中的一个点，数字图像f(x,y)即为一个定义在二维空间中的矩形区域上的离散函数；换一个角度，如果将f(x,y)视为幅值变化的二维信号，则可以通过某些变换手段(如傅里叶变换、离散余弦变换、沃尔什变换和小波变换等)在频域下对图像进行处理了因为在频率域就是一些特性比较突出，容易处理。比如在空间图像里不好找出噪声的模式，如果变换到频率域，则比较好找出噪声的模式，并能更容易的处理。
步骤502，终端对第二参考图像进行图像变换处理，获得第二参考图像对应的第二频域图像。
其中，对第二参考图像进行的图像变换处理可以为离散余弦变换处理。
其中，离散余弦变换(DCT)从本质上是一种变换分析方法，用于将第一参考图像的像素从空间域转换为频域。
具体地，终端利用离散余弦变换方法对第二参考图像进行图像变换处理，生成第二参考图像对应的第二频域图像。
其中，在空间域中，函数自变量(x,y)被视为二维空间中的一个点，数字图像f(x,y)即为一个定义在二维空间中的矩形区域上的离散函数；换一个角度，如果将f(x,y)视为幅值变化的二维信号，则可以通过某些变换手段(如傅里叶变换、离散余弦变换、沃尔什变换和小波变换等)在频域下对图像进行处理了因为在频率域就是一些特性比较突出，容易处理。比如在空间图像里不好找出噪声的模式，如果变换到频率域，则比较好找出噪声的模式，并能更容易的处理。
具体地，终端可以将第二参考图像看作二维离散函数，终端对该二维离散函数进行图像变换处理，从而使得将第二参考图像的图像空域信息转化为频域信息。
步骤503，终端对第一频域图像和第二频域图像进行图像重建，生成输出图像。
可选的，终端利用离散余弦变换方法对第一参考图像进行图像变换处理，生成第一参考图像对应的第一频域图像。终端利用离散余弦变换方法对第二参考图像进行图像变换处理，生成第二参考图像对应的第二频域图像。终端可以对第一参考图像对应的第一频域图像和第二参考图像对应的第二频域图像进行图像重建，得到输出图像。
可选的，在进行图像重建之前，终端还可以判断第一频域图像和第二频域图像的重要性，根据第一频域图像和第二频域图像的重要性确定第一频域图像和第二频域图像对应的权重。终端对确定权重后的第一频域图像和第二频域图像进行图像重建，得到输出图像。
可选的，终端还可以利用以下公式，对第一频域图像和第二频域图像进行图像重建，生成输出图像：
Figure BDA0003051917730000181
其中，median_mlp为输出图像对应的像素集合，dct(*)，idct(*)分别表示余弦变换和反余弦变换，dct(Lap)表示第二参考图像对应的第二频域图像，dct(src)表示第一参考图像对应的第一频域图像，Δ表示拉普拉斯算子，λ表示控制参数。
其中，拉普拉斯算子是一个是n维欧几里德空间中的一个二阶微分算子，它的定义如下：
Figure BDA0003051917730000191
在x方向上，
Figure BDA0003051917730000195
在y方向上，
Figure BDA0003051917730000192
合起来就是：
Figure BDA0003051917730000193
其中，离散余弦变换(DCT)是对实信号定义的一种变换，变换后在频域中得到的也是一个实信号，DCT可以减少一半以上的计算。DCT还有一个很重要的性质(能量集中特性)：大多书自然信号(声音、图像)的能量都集中在离散余弦变换后的低频部分，因而DCT在(声音、图像)数据压缩中得到了广泛的使用。
终端基于公式
Figure BDA0003051917730000194
可以得到输出图像对应的像素集合，从而可以得到输出图像。此外，输出图像中不仅消除了前景，且不存在色差，图像的清晰度、层次度以及对比度较高。
在本申请实施例中，输出图像的像素集合主要由第一参考图像对应的第一频域图像、第二参考图像对应的第二频域图像确定。本申请实施例提供的上述公式，只是示例出了得到输出图像的像素集合的一种可选的实现方式，并不做输出图像的像素集合进行限制，任何关于第一参考图像对应的第一频域图像、第二参考图像对应的第二频域图像的公式，均在本申请实施例的保护范围内。
可选的，终端根据泊松融合原理：在已知函数的二阶导以及边界条件的情况，求解函数本身的值。其中，第二频域图像可以表示为函数的二阶导，第一频域图像可以表示为边界条件。终端基于第二频域图像和第一频域图像进行重建，最终求解出输出图像。
其中，泊松融合过程可以为：首先利用拉普拉斯卷积核，进行卷积，求得第二频域图像中每个像素点的散度，基于第二频域图像中每个像素点的散度构建求解方程。基于第一频域图像中每个像素点的像素值构建求解方程对应的边界约束条件。基于求解方程和边界约束条件进行图像重建，生成输出图像。
终端基于泊松融合原理，通过构建求解方程和约束条件，使得最终生成的输出图像的边界更加清晰。
在本申请实施例中，终端对第一参考图像进行图像变换处理，获得第一参考图像对应的第一频域图像，对第二参考图像进行图像变换处理，获得第二参考图像对应的第二频域图像，并对第一频域图像和第二频域图像进行图像重建，生成输出图像。从而使得最终得到的输出图像的对比度更加清晰，从而提高了输出图像的质量。
为了个更好的说明本申请实施例中介绍的图像处理方法，如图6所示，其示出了图像处理方法的一种可选的操作流程。
步骤601，终端利用神经网络模型对多帧图像进行特征提取，确定多帧图像中每一帧图像的前景。
步骤602，终端对多帧图像中每一帧图像的前景进行像素无效处理，生成多帧图像对应的多帧掩码图像。
步骤603，终端对多帧掩码图像进行融合处理，获得多帧图像对应的一帧掩码图像。
步骤604，终端按照预设像素排列方向对掩码图像中的像素进行梯度运算，生成掩码图像的梯度图像。
步骤605，终端对多帧图像进行滤波处理，生成多帧图像对应的一帧原始图像。
步骤606，终端按照预设像素排列方向对原始图像中的像素进行梯度运算，生成原始图像的梯度图像。
步骤607，终端利用原始图像在前背景边缘区域的像素更新掩码图像在前背景边缘区域的像素，生成第一参考图像。
步骤608，终端利用原始图像的梯度图像在前背景边缘区域的像素替换掩码图像的梯度图像在前背景边缘区域的像素，以更新掩码图像的梯度图像。
步骤609，终端对更新后的掩码图像的梯度图像进行求导计算，生成第二参考图像。
步骤610，终端对第一参考图像进行图像变换处理，获得第一参考图像对应的第一频域图像。
步骤611，终端对第二参考图像进行图像变换处理，获得第二参考图像对应的第二频域图像。
步骤612，终端对第一频域图像和第二频域图像进行图像重建，生成输出图像。
应该理解的是，虽然图2-6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-6中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是对同一场景执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图7所示，提供了一种图像处理装置700，包括：无效处理模块701、第一融合模块702、更新模块703以及第二融合模块704，其中：
无效处理模块701，用于对同一场景拍摄的多帧图像中的前景进行像素无效处理获得多帧图像对应的一帧掩码图像，生成掩码图像的梯度图像。
第一融合模块702，用于对多帧图像进行滤波处理，生成多帧图像对应的一帧原始图像，生成原始图像的梯度图像。
更新模块703，用于利用原始图像在前背景边缘区域的像素更新掩码图像在前背景边缘区域的像素，生成第一参考图像；对掩码图像的梯度图像以及原始图像的梯度图像进行求导计算，生成第二参考图像。
第二融合模块704，用于对第一参考图像和第二参考图像进行融合处理，生成输出图像。
在本申请一个实施例中，上述无效处理模块701，具体用于：利用神经网络模型对多帧图像进行特征提取，确定多帧图像中每一帧图像的前景；
对多帧图像中每一帧图像的前景进行像素无效处理，生成多帧图像对应的多帧掩码图像；对多帧掩码图像进行融合处理，获得多帧图像对应的一帧掩码图像。
在本申请一个实施例中，上述无效处理模块701，具体用于按照预设像素排列方向对掩码图像中的像素进行梯度运算，生成掩码图像的梯度图像。
在本申请一个实施例中，上述第一融合模块702，具体用于按照预设像素排列方向对原始图像中的像素进行梯度运算，生成原始图像的梯度图像。
在本申请一个实施例中，上述更新模块703，具体用于利用原始图像的梯度图像在前背景边缘区域的像素替换掩码图像的梯度图像在前背景边缘区域的像素，以更新掩码图像的梯度图像；对更新后的掩码图像的梯度图像进行求导计算，生成第二参考图像。
在本申请一个实施例中，如图8所示，上述第二融合模块704，包括：第一余弦变换单元7041，第二余弦变换单元7042以及生成单元7043，其中：
第一图像变换单元7041，用于对第一参考图像进行图像变换处理，获得第一参考图像对应的第一频域图像。
第二图像变换单元7042，用于对第二参考图像进行图像变换处理，获得第二参考图像对应的第二频域图像。
生成单元7043，用于对第一频域图像和第二频域图像进行图像重建，生成输出图像。
在本申请一个实施例中，上述第一图像变换单元7041和第二图像变换单元7042，对第一参考图像和第二参考图像进行的图像变换处理为离散余弦变换处理。
关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在本申请一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：对同一场景拍摄的多帧图像中的前景进行像素无效处理获得多帧图像对应的一帧掩码图像，生成掩码图像的梯度图像；对多帧图像进行滤波处理，生成多帧图像对应的一帧原始图像，生成原始图像的梯度图像；利用原始图像在前背景边缘区域的像素更新掩码图像在前背景边缘区域的像素，生成第一参考图像；对掩码图像的梯度图像以及原始图像的梯度图像进行求导计算，生成第二参考图像；对第一参考图像和第二参考图像进行融合处理，生成输出图像。
在本申请一个实施例中，处理器执行计算机程序时还实现以下步骤：利用神经网络模型对多帧图像进行特征提取，确定多帧图像中每一帧图像的前景；对多帧图像中每一帧图像的前景进行像素无效处理，生成多帧图像对应的多帧掩码图像；对多帧掩码图像进行融合处理，获得多帧图像对应的一帧掩码图像。
在本申请一个实施例中，处理器执行计算机程序时还实现以下步骤：按照预设像素排列方向对掩码图像中的像素进行梯度运算，生成掩码图像的梯度图像。
在本申请一个实施例中，处理器执行计算机程序时还实现以下步骤：按照预设像素排列方向对原始图像中的像素进行梯度运算，生成原始图像的梯度图像。
在本申请一个实施例中，处理器执行计算机程序时还实现以下步骤：利用原始图像的梯度图像在前背景边缘区域的像素替换掩码图像的梯度图像在前背景边缘区域的像素，以更新掩码图像的梯度图像；对更新后的掩码图像的梯度图像进行求导计算，生成第二参考图像。
在本申请一个实施例中，处理器执行计算机程序时还实现以下步骤：对第一参考图像进行图像变换处理，获得第一参考图像对应的第一频域图像；对第二参考图像进行图像变换处理，获得第二参考图像对应的第二频域图像；对第一频域图像和第二频域图像进行图像重建，生成输出图像。
在本申请一个实施例中，处理器执行计算机程序时还实现以下步骤：对第一参考图像和第二参考图像进行的图像变换处理为离散余弦变换处理。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
对同一场景拍摄的多帧图像中的前景进行像素无效处理获得多帧图像对应的一帧掩码图像，生成掩码图像的梯度图像；对多帧图像进行滤波处理，生成多帧图像对应的一帧原始图像，生成原始图像的梯度图像；利用原始图像在前背景边缘区域的像素更新掩码图像在前背景边缘区域的像素，生成第一参考图像；对掩码图像的梯度图像以及原始图像的梯度图像进行求导计算，生成第二参考图像；对第一参考图像和第二参考图像进行融合处理，生成输出图像。
在本申请一个实施例中，计算机程序被处理器执行时还实现以下步骤：利用神经网络模型对多帧图像进行特征提取，确定多帧图像中每一帧图像的前景；对多帧图像中每一帧图像的前景进行像素无效处理，生成多帧图像对应的多帧掩码图像；对多帧掩码图像进行融合处理，获得多帧图像对应的一帧掩码图像。
在本申请一个实施例中，计算机程序被处理器执行时还实现以下步骤：按照预设像素排列方向对掩码图像中的像素进行梯度运算，生成掩码图像的梯度图像。
在本申请一个实施例中，计算机程序被处理器执行时还实现以下步骤：按照预设像素排列方向对原始图像中的像素进行梯度运算，生成原始图像的梯度图像。
在本申请一个实施例中，计算机程序被处理器执行时还实现以下步骤：利用原始图像的梯度图像在前背景边缘区域的像素替换掩码图像的梯度图像在前背景边缘区域的像素，以更新掩码图像的梯度图像；对更新后的掩码图像的梯度图像进行求导计算，生成第二参考图像。
在本申请一个实施例中，计算机程序被处理器执行时还实现以下步骤：对第一参考图像进行图像变换处理，获得第一参考图像对应的第一频域图像；对第二参考图像进行图像变换处理，获得第二参考图像对应的第二频域图像；对第一频域图像和第二频域图像进行图像重建，生成输出图像。
在本申请一个实施例中，计算机程序被处理器执行时还实现以下步骤：对第一参考图像和第二参考图像进行的图像变换处理为离散余弦变换处理。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：
对同一场景拍摄的多帧图像中的前景进行像素无效处理获得所述多帧图像对应的一帧掩码图像，生成所述掩码图像的梯度图像；
对所述多帧图像进行滤波处理，生成所述多帧图像对应的一帧原始图像，生成所述原始图像的梯度图像；
利用所述原始图像在前背景边缘区域的像素更新所述掩码图像在所述前背景边缘区域的像素，生成第一参考图像；对所述掩码图像的梯度图像以及所述原始图像的梯度图像进行求导计算，生成第二参考图像；
对所述第一参考图像和所述第二参考图像进行融合处理，生成输出图像。
2.根据权利要求1所述的方法，其特征在于，所述对同一场景拍摄的多帧图像中的前景进行像素无效处理获得所述多帧图像对应的一帧掩码图像，包括：
利用神经网络模型对所述多帧图像进行特征提取，确定所述多帧图像中每一帧图像的前景；
对所述多帧图像中每一帧图像的前景进行像素无效处理，生成所述多帧图像对应的多帧掩码图像；
对所述多帧掩码图像进行融合处理，获得所述多帧图像对应的一帧掩码图像。
3.根据权利要求1所述的方法，其特征在于，所述生成所述掩码图像的梯度图像，包括：
按照预设像素排列方向对所述掩码图像中的像素进行梯度运算，生成所述掩码图像的梯度图像。
4.根据权利要求1所述的方法，其特征在于，所述生成原始图像的梯度图像，包括：
按照预设像素排列方向对所述原始图像中的像素进行梯度运算，生成所述原始图像的梯度图像。
5.根据权利要求1所述的方法，其特征在于，所述对所述掩码图像的梯度图像以及所述原始图像的梯度图像进行求导计算，生成第二参考图像，包括：
利用所述原始图像的梯度图像在前背景边缘区域的像素替换所述掩码图像的梯度图像在所述前背景边缘区域的像素，以更新所述掩码图像的梯度图像；
对更新后的所述掩码图像的梯度图像进行求导计算，生成所述第二参考图像。
6.根据权利要求1所述的方法，其特征在于，所述对所述第一参考图像和所述第二参考图像进行融合处理，生成输出图像，包括：
对所述第一参考图像进行图像变换处理，获得所述第一参考图像对应的第一频域图像；
对所述第二参考图像进行图像变换处理，获得所述第二参考图像对应的第二频域图像；
对所述第一频域图像和所述第二频域图像进行图像重建，生成所述输出图像。
7.根据权利要求6所述的方法，其特征在于，对所述第一参考图像和所述第二参考图像进行的图像变换处理为离散余弦变换处理。
8.一种图像处理装置，其特征在于，所述装置包括：
无效处理模块，用于对同一场景拍摄的多帧图像中的前景进行像素无效处理获得所述多帧图像对应的一帧掩码图像，生成所述掩码图像的梯度图像；
第一融合模块，用于对所述多帧图像进行滤波处理，生成所述多帧图像对应的一帧原始图像，生成所述原始图像的梯度图像；
更新模块，用于利用所述原始图像在前背景边缘区域的像素更新所述掩码图像在所述前背景边缘区域的像素，生成第一参考图像；对所述掩码图像的梯度图像以及所述原始图像的梯度图像进行求导计算，生成第二参考图像；
第二融合模块，用于对所述第一参考图像和所述第二参考图像进行融合处理，生成输出图像。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202110489937.XA 2021-05-06 2021-05-06 图像处理方法、装置、计算机设备和存储介质 Active CN113192101B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110489937.XA CN113192101B (zh) 2021-05-06 2021-05-06 图像处理方法、装置、计算机设备和存储介质
PCT/CN2022/089155 WO2022233252A1 (zh) 2021-05-06 2022-04-26 图像处理方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110489937.XA CN113192101B (zh) 2021-05-06 2021-05-06 图像处理方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN113192101A true CN113192101A (zh) 2021-07-30
CN113192101B CN113192101B (zh) 2024-03-29

Family

ID=76984291

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110489937.XA Active CN113192101B (zh) 2021-05-06 2021-05-06 图像处理方法、装置、计算机设备和存储介质

Country Status (2)

Country Link
CN (1) CN113192101B (zh)
WO (1) WO2022233252A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022233252A1 (zh) * 2021-05-06 2022-11-10 影石创新科技股份有限公司 图像处理方法、装置、计算机设备和存储介质
CN115953346A (zh) * 2023-03-17 2023-04-11 广州市易鸿智能装备有限公司 一种基于特征金字塔的图像融合方法、装置及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101371274A (zh) * 2005-12-30 2009-02-18 意大利电信股份公司 视频序列的分割中的边缘比较
US20150334398A1 (en) * 2014-05-15 2015-11-19 Daniel Socek Content adaptive background foreground segmentation for video coding
CN105261021A (zh) * 2015-10-19 2016-01-20 浙江宇视科技有限公司 去除前景检测结果阴影的方法及装置
CN105827952A (zh) * 2016-02-01 2016-08-03 维沃移动通信有限公司 一种去除指定对象的拍照方法及移动终端
CN107085836A (zh) * 2017-05-16 2017-08-22 合肥工业大学 一种在运动物体检测中通用的鬼影消除方法
CN107085609A (zh) * 2017-04-24 2017-08-22 国网湖北省电力公司荆州供电公司 一种基于神经网络进行多特征融合的行人检索方法
WO2017206656A1 (zh) * 2016-05-31 2017-12-07 努比亚技术有限公司 一种图像处理方法及终端、计算机存储介质
CN109002787A (zh) * 2018-07-09 2018-12-14 Oppo广东移动通信有限公司 图像处理方法和装置、存储介质、电子设备
CN111242128A (zh) * 2019-12-31 2020-06-05 深圳奇迹智慧网络有限公司 目标检测方法、装置、计算机可读存储介质和计算机设备
CN111462031A (zh) * 2020-03-27 2020-07-28 Oppo广东移动通信有限公司 一种多帧hdr图像处理方法、装置、存储介质及电子设备
CN111741187A (zh) * 2020-06-08 2020-10-02 北京小米松果电子有限公司 图像处理方法、装置及存储介质
CN112669197A (zh) * 2019-10-16 2021-04-16 顺丰科技有限公司 图像处理方法、装置、移动终端及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012153513A1 (ja) * 2011-05-12 2012-11-15 パナソニック株式会社 画像生成装置、及び画像生成方法
CN105069764B (zh) * 2015-08-28 2017-10-24 上海斐讯数据通信技术有限公司 一种基于边缘跟踪的图像去噪方法及系统
CN109934772B (zh) * 2019-03-11 2023-10-27 影石创新科技股份有限公司 一种图像融合方法、装置及便携式终端
CN113192101B (zh) * 2021-05-06 2024-03-29 影石创新科技股份有限公司 图像处理方法、装置、计算机设备和存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101371274A (zh) * 2005-12-30 2009-02-18 意大利电信股份公司 视频序列的分割中的边缘比较
US20150334398A1 (en) * 2014-05-15 2015-11-19 Daniel Socek Content adaptive background foreground segmentation for video coding
CN105261021A (zh) * 2015-10-19 2016-01-20 浙江宇视科技有限公司 去除前景检测结果阴影的方法及装置
CN105827952A (zh) * 2016-02-01 2016-08-03 维沃移动通信有限公司 一种去除指定对象的拍照方法及移动终端
WO2017206656A1 (zh) * 2016-05-31 2017-12-07 努比亚技术有限公司 一种图像处理方法及终端、计算机存储介质
CN107085609A (zh) * 2017-04-24 2017-08-22 国网湖北省电力公司荆州供电公司 一种基于神经网络进行多特征融合的行人检索方法
CN107085836A (zh) * 2017-05-16 2017-08-22 合肥工业大学 一种在运动物体检测中通用的鬼影消除方法
CN109002787A (zh) * 2018-07-09 2018-12-14 Oppo广东移动通信有限公司 图像处理方法和装置、存储介质、电子设备
CN112669197A (zh) * 2019-10-16 2021-04-16 顺丰科技有限公司 图像处理方法、装置、移动终端及存储介质
CN111242128A (zh) * 2019-12-31 2020-06-05 深圳奇迹智慧网络有限公司 目标检测方法、装置、计算机可读存储介质和计算机设备
CN111462031A (zh) * 2020-03-27 2020-07-28 Oppo广东移动通信有限公司 一种多帧hdr图像处理方法、装置、存储介质及电子设备
CN111741187A (zh) * 2020-06-08 2020-10-02 北京小米松果电子有限公司 图像处理方法、装置及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
洪飞, 王军, 吴志美: "边缘算子在视频对象提取中的应用", 计算机辅助设计与图形学学报, no. 01, 20 January 2004 (2004-01-20) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022233252A1 (zh) * 2021-05-06 2022-11-10 影石创新科技股份有限公司 图像处理方法、装置、计算机设备和存储介质
CN115953346A (zh) * 2023-03-17 2023-04-11 广州市易鸿智能装备有限公司 一种基于特征金字塔的图像融合方法、装置及存储介质
CN115953346B (zh) * 2023-03-17 2023-06-16 广州市易鸿智能装备有限公司 一种基于特征金字塔的图像融合方法、装置及存储介质

Also Published As

Publication number Publication date
WO2022233252A1 (zh) 2022-11-10
CN113192101B (zh) 2024-03-29

Similar Documents

Publication Publication Date Title
CN108898567B (zh) 图像降噪方法、装置及系统
US9262815B2 (en) Algorithm for minimizing latent sharp image cost function and point spread function cost function with a spatial mask in a regularization term
Ben Abdallah et al. Adaptive noise-reducing anisotropic diffusion filter
Pal et al. A brief survey of recent edge-preserving smoothing algorithms on digital images
CN107133923B (zh) 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法
WO2022233252A1 (zh) 图像处理方法、装置、计算机设备和存储介质
CN112215773B (zh) 基于视觉显著性的局部运动去模糊方法、装置及存储介质
Micheli et al. A linear systems approach to imaging through turbulence
Maiseli et al. A multi-frame super-resolution method based on the variable-exponent nonlinear diffusion regularizer
Li et al. A maximum a posteriori estimation framework for robust high dynamic range video synthesis
Lau et al. Variational models for joint subsampling and reconstruction of turbulence-degraded images
CN113362338A (zh) 铁轨分割方法、装置、计算机设备和铁轨分割处理系统
CN113129229A (zh) 图像处理方法、装置、计算机设备和存储介质
CN116612015A (zh) 模型训练方法、图像去摩尔纹方法、装置及电子设备
Tsutsui et al. Halo artifacts reduction method for variational based realtime retinex image enhancement
Pfleger et al. Real-time video denoising on multicores and gpus with kalman-based and bilateral filters fusion
Tallon et al. Space-variant blur deconvolution and denoising in the dual exposure problem
Kang et al. Simultaneous image enhancement and restoration with non-convex total variation
Zou et al. Image haze removal algorithm using a logarithmic guide filtering and multi-channel prior
Yu et al. Continuous digital zooming of asymmetric dual camera images using registration and variational image restoration
Mohan Adaptive super-resolution image reconstruction with lorentzian error norm
Wong et al. Turbo denoising for mobile photographic applications
Van Vo et al. High dynamic range video synthesis using superpixel-based illuminance-invariant motion estimation
Shen et al. Non-uniform motion deblurring with kernel grid regularization
Liu et al. Guided image deblurring by deep multi-modal image fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant