CN111383182A - 图像去噪方法、装置及计算机可读存储介质 - Google Patents

图像去噪方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN111383182A
CN111383182A CN201811622439.2A CN201811622439A CN111383182A CN 111383182 A CN111383182 A CN 111383182A CN 201811622439 A CN201811622439 A CN 201811622439A CN 111383182 A CN111383182 A CN 111383182A
Authority
CN
China
Prior art keywords
image
current frame
reference frame
original image
sampled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811622439.2A
Other languages
English (en)
Other versions
CN111383182B (zh
Inventor
魏道敏
彭晓峰
陈欢
张晓盟
温瑞丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spreadtrum Communications Shanghai Co Ltd
Original Assignee
Spreadtrum Communications Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spreadtrum Communications Shanghai Co Ltd filed Critical Spreadtrum Communications Shanghai Co Ltd
Priority to CN201811622439.2A priority Critical patent/CN111383182B/zh
Publication of CN111383182A publication Critical patent/CN111383182A/zh
Application granted granted Critical
Publication of CN111383182B publication Critical patent/CN111383182B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Abstract

一种图像去噪方法、装置及计算机可读存储介质，图像去噪方法包括：获取当前帧原始图像和参考帧原始图像，分别对当前帧原始图像及参考帧原始图像进行下采样；将当前帧下采样图像与参考帧下采样图像进行图像配准，将当前帧原始图像及参考帧原始图像进行图像配准；计算当前帧下采样图像中每个像素点的m×n邻域范围内的像素点，与配准后的参考帧下采样图像相同位置处对应的像素点的帧间绝对值差之和；计算参考帧下采样图像的帧内绝对值差之和；计算当前帧下采样图像中第k个像素点的权重，计算当前帧原始图像的中对应像素点的融合权重；对当前帧原始图像及配准后的参考帧原始图像进行融合。上述方案，能够在保持去噪性能的同时，抑制鬼影的出现。

Description

图像去噪方法、装置及计算机可读存储介质
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种图像去噪方法、装置及计算机可读存储介质。
背景技术
在获取视频图像信号过程中，视频图像信号不可避免地会受到噪声的干扰。在正常光照条件下，视频图像中的噪声可以用高斯分布，均匀分布或者脉冲分布等进行建模，大部分非线性滤波器都能很好地区分噪声和图像信号，从而能够取得较为准确的去噪结果。然而，当外在光照强度较弱时，噪声干扰会变得十分严重，在低光照条件下，图像中的噪声和图像信号难以区分，从而导致非线性滤波器的性能大幅下降。
为了达到较好的去噪效果，通常可以利用视频图像序列中前后帧之间的时域相关性，采用时域滤波器对视频图形进行去噪以降低噪声水平。在低光照条件下，模拟增益一般都会设置较高值来生成亮度可以接受的图像，但是设置较高的模拟增益的同时也放大了噪声。在模拟增益较大时，时域滤波器都难以区分信号和噪声。因此，现有的时域滤波器去噪时会存在如下问题：噪声去除不够干净，对于局部运动区域容易产生鬼影。
发明内容
本发明实施例解决的技术问题是如何在保持去噪性能的同时，抑制鬼影的出现。
为解决上述技术问题，本发明实施例提供一种图像去噪方法，包括：获取当前帧原始图像和参考帧原始图像，所述参考帧原始图像为所述当前帧原始图像的前一帧；对所述当前帧原始图像进行下采样，得到当前帧下采样图像；对所述参考帧原始图像进行下采样，得到参考帧下采样图像；将所述当前帧下采样图像与所述参考帧下采样图像进行图像配准，将当前帧原始图像及所述参考帧原始图像进行图像配准；根据预设的m×n邻域的绝对值差之和的系数，计算当前帧下采样图像中每个像素点的m×n邻域范围内的像素点，与配准后的参考帧下采样图像相同位置处对应的像素点的帧间绝对值差之和；根据预设的m×n邻域的绝对值差之和的系数，计算所述参考帧下采样图像中每个像素点的m×n邻域范围内的像素点，与所述参考帧下采样图像m×n邻域内中心像素点的帧内绝对值差之和；根据预设的第k个像素点的去噪强度参数以及第k个像素点的帧间绝对值差之和与所述帧内绝对值差之和，计算所述当前帧下采样图像中第k个像素点的权重，k为正整数；对所述当前帧下采样图像中第k个像素点的权重进行上采样，计算所述当前帧原始图像的中对应像素点的融合权重；根据所述当前帧原始图像中的每个像素点对应的融合权重对所述当前帧原始图像及配准后的参考帧原始图像进行融合。
可选地，采用如下方式计算所述预设的m×n邻域的绝对值差之和的系数：根据所述当前帧下采样图像的m×n邻域范围内每个像素点与所述所述m×n邻域的中心点的距离，配置m×n邻域的绝对值差之和的系数。
可选地，包括：采用如下公式，计算所述当前帧下采样图像中第k个像素点的权重：
Figure BDA0001927201650000021
其中，s_weight为当前帧下采样图像中第k个像素点的权重；sigma为第k个像素点的去噪强度参数；intra_sad为参考帧下采样图像的第k个像素点的帧内绝对值差之和；inter_sad为当前帧下采样图像的第k个像素点的帧间绝对值差之和。
可选地，所述图像去噪方法还包括：根据第k个像素点距离当前帧下采样图像的中心点的距离调整所述第k个像素点的去噪强度参数。
可选地，采用如下公式根据所述当前帧原始图像中的每个像素点对应的融合权重对所述当前帧原始图像及所述参考帧原始图像进行融合：
blend＝cur*(1-weight)+ref*weight；
其中，blend为融合图像；cur为当前帧原始图像；ref为参考帧原始图像；weight为原始图像中每个像素点的融合权重。
可选地，所述将所述当前帧下采样图像与所述参考帧下采样图像进行图像配准，包括：根据所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量，对所述当前帧下采样图像与所述参考帧下采样图像进行图像配准。
可选地，所述将当前帧原始图像及及所述参考帧原始图像进行图像配准，包括：根据所述当前帧原始图像相对于所述参考帧原始图像的运动向量，对所述当前帧原始图像与所述参考帧原始图像进行图像配准，其中，所述当前帧原始图像相对于所述参考帧原始图像的运动向量，根据所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量计算得到。
可选地，所述图像去噪方法，还包括：采用如下方式计算所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量：计算当前帧下采样图像相对所述参考帧下采样图像的水平方向的偏移量及垂直方向的偏移量；根据所述当前帧下采样图像相对所述参考帧下采样图像的水平方向的偏移量及垂直方向的偏移量，计算所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量。
可选地，所述计算所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量，包括：将所述当前帧下采样图像在水平方向投影，得到所述当前帧下采样图像在水平方向上投影的投影值；将所述当前帧下采样图像在垂直方向投影，得到所述当前帧下采样图像在垂直方向上投影的投影值；将所述参考帧下采样图像在水平方向投影，得到所述参考帧下采样图像在水平方向上投影的投影值；将所述参考帧下采样图像在垂直方向投影，得到所述参考帧下采样图像在垂直方向上投影的投影值；将所述参考帧下采样图像在水平方向上投影的投影值做offset值偏移后，与所述当前帧下采样图像在水平方向上投影的投影值依次逐点做差取绝对值并求和，得到所述当前帧下采样图像相对所述参考帧下采样图像在垂直方向上所述offset值下的偏移量；将所述参考帧下采样图像在垂直方向上投影的投影值做offset值偏移后，与所述当前帧下采样图像在垂直方向上投影的投影值依次逐点做差取绝对值并求和，得到所述当前帧下采样图像相对所述参考帧下采样图像在水平方向上所述offset值下的偏移量；取所述当前帧下采样图像相对所述参考帧下采样图像在垂直方向上的偏移量最小处对应的坐标，得到垂直方向的运动向量；取所述当前帧下采样图像相对所述参考帧下采样图像在水平方向上的偏移量最小处对应的坐标，得到水平方向的运动向量；根据所述当前帧下采样图像相对所述参考帧下采样图像在垂直方向的运动向量以及在水平方向的运动向量，得到所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量。
可选地，所述当前帧原始图像相对于所述参考帧原始图像的运动向量，根据所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量计算得到，包括：在偏移量曲线的偏移量最小值左右两侧分别选取N个拟合点，N为正整数；对2N+1个拟合点进行多项式拟合，得到拟合曲线；根据所述拟合曲线、所述当前帧原始图像相对所述当前帧下采样图像在垂直方向上的高度比值，得到所述当前帧原始图像相对于所述参考帧原始图像在垂直方向上的运动向量；根据所述拟合曲线、所述当前帧原始图像相对所述当前帧下采样图像在水平方向上的高度比值，得到所述当前帧原始图像相对于所述参考帧原始图像在水平方向上的运动向量；根据所述当前帧原始图像相对于所述参考帧原始图像在垂直方向上的运动向量，以及所述当前帧原始图像相对于所述参考帧原始图像在水平方向上的运动向量，得到所述当前帧原始图像相对于所述参考帧原始图像的运动向量。
本发明实施例还提供一种图像去噪装置，包括：获取单元，适于获取当前帧原始图像和参考帧原始图像，所述参考帧原始图像为所述当前帧原始图像的前一帧；下采样单元，适于对所述当前帧原始图像进行下采样，得到当前帧下采样图像；对所述参考帧原始图像进行下采样，得到参考帧下采样图像；图像配准单元，适于将所述当前帧下采样图像与所述参考帧下采样图像进行图像配准，将当前帧原始图像及所述参考帧原始图像进行图像配准；第一计算单元，适于根据预设的m×n邻域的绝对值差之和的系数，计算当前帧下采样图像中每个像素点的m×n邻域范围内的像素点，与配准后的参考帧下采样图像相同位置处对应的像素点的帧间绝对值差之和；根据预设的m×n邻域的绝对值差之和的系数，计算所述参考帧下采样图像中每个像素点的m×n邻域范围内的像素点，与所述参考帧下采样图像m×n邻域内中心像素点的帧内绝对值差之和；第二计算单元，适于根据预设的第k个像素点的去噪强度参数以及第k个像素点的帧间绝对值差之和与所述帧内绝对值差之和，计算所述当前帧下采样图像中第k个像素点的权重，k为正整数；第三计算单元，适于对所述当前帧下采样图像中第k个像素点的权重进行上采样，计算所述当前帧原始图像的中对应像素点的融合权重；图像融合单元，适于根据所述当前帧原始图像中的每个像素点对应的融合权重对所述当前帧原始图像及配准后的参考帧原始图像进行融合。
可选地，所述第一计算单元，适于根据所述当前帧下采样图像的m×n邻域范围内每个像素点与所述m×n邻域的中心点的距离，配置m×n邻域的绝对值差之和的系数。
可选地，所述第二计算单元，适于采用如下公式，计算所述当前帧下采样图像中第k个像素点的权重：
Figure BDA0001927201650000051
其中，s_weight为当前帧下采样图像中第k个像素点的权重；sigma为第k个像素点的去噪强度参数；intra_sad为参考帧下采样图像的第k个像素点的帧内绝对值差之和；inter_sad为当前帧下采样图像的第k个像素点的帧间绝对值差之和。
可选地，所述图像去噪装置还包括：调整单元，适于根据第k个像素点距离当前帧下采样图像的中心点的距离调整所述第k个像素点的去噪强度参数。
可选地，所述图像融合单元，适于如下公式根据所述当前帧原始图像中的每个像素点对应的融合权重对所述当前帧原始图像及所述参考帧原始图像进行融合：
blend＝cur*(1-weight)+ref*weight；
其中，blend为融合后的图像；cur为当前帧原始图像；ref为参考帧原始图像；weight为原始图像中每个像素点的融合权重。
可选地，所述图像配准单元，适于根据所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量，对所述当前帧下采样图像与所述参考帧下采样图像进行图像配准。
可选地，所述图像配准单元，适于根据所述当前帧原始图像相对于所述参考帧原始图像的运动向量，对所述当前帧原始图像与所述参考帧原始图像进行图像配准，其中，所述当前帧原始图像相对于所述参考帧原始图像的运动向量，根据所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量计算得到。
可选地，所述图像去噪装置还包括：第四计算单元，适于采用如下方式计算所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量：计算当前帧下采样图像相对所述参考帧下采样图像的水平方向的偏移量及垂直方向的偏移量；根据所述当前帧下采样图像相对所述参考帧下采样图像的水平方向的偏移量及垂直方向的偏移量，计算所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量。
可选地，所述第四计算单元，适于将所述当前帧下采样图像在水平方向投影，得到所述当前帧下采样图像在水平方向上投影的投影值；将所述当前帧下采样图像在垂直方向投影，得到所述当前帧下采样图像在垂直方向上投影的投影值；将所述参考帧下采样图像在水平方向投影，得到所述参考帧下采样图像在水平方向上投影的投影值；将所述参考帧下采样图像在垂直方向投影，得到所述参考帧下采样图像在垂直方向上投影的投影值；将所述参考帧下采样图像在水平方向上投影的投影值做offset值偏移后，与所述当前帧下采样图像在水平方向上投影的投影值依次逐点做差取绝对值并求和，得到所述当前帧下采样图像相对所述参考帧下采样图像在垂直方向上所述offset值下的偏移量；将所述参考帧下采样图像在垂直方向上投影的投影值做offset值偏移后，与所述当前帧下采样图像在垂直方向上投影的投影值依次逐点做差取绝对值并求和，得到所述当前帧下采样图像相对所述参考帧下采样图像在水平方向上所述offset值下的偏移量；取所述当前帧下采样图像相对所述参考帧下采样图像在垂直方向上的偏移量最小处对应的坐标，得到垂直方向的运动向量；取所述当前帧下采样图像相对所述参考帧下采样图像在水平方向上的偏移量最小处对应的坐标，得到水平方向的运动向量；根据所述当前帧下采样图像相对所述参考帧下采样图像在垂直方向的运动向量以及在水平方向的运动向量，得到所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量。
可选地，所述第四计算单元，适于在偏移量曲线的偏移量最小值左右两侧分别选取N个拟合点，N为正整数；对2N+1个拟合点进行多项式拟合，得到拟合曲线；根据所述拟合曲线、所述当前帧原始图像相对所述当前帧下采样图像在垂直方向上的高度比值，得到所述当前帧原始图像相对于所述参考帧原始图像在垂直方向上的运动向量；根据所述拟合曲线、所述当前帧原始图像相对所述当前帧下采样图像在水平方向上的高度比值，得到所述当前帧原始图像相对于所述参考帧原始图像在水平方向上的运动向量；根据所述当前帧原始图像相对于所述参考帧原始图像在垂直方向上的运动向量，以及所述当前帧原始图像相对于所述参考帧原始图像在水平方向上的运动向量，得到所述当前帧原始图像相对于所述参考帧原始图像的运动向量。
本发明实施例还提供一种图像去噪装置，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述任一种图像去噪方法的步骤。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机指令，所述计算机指令运行时执行上述任一种图像去噪方法的步骤。
与现有技术相比，本发明实施例的技术方案具有以下有益效果：
通过当前帧下采样图像中每个像素点的m×n邻域范围内的像素点，与配准后的参考帧下采样图像相同位置处对应的像素点的帧间绝对值差之和以及帧内绝对值差之和，来衡量当前帧下采样图像上的像素点与参考帧下采样图像上的像素点的相似性，以此度量来确定当前帧下采样图像与参考帧下采样图像的像素点的相关性，通过像素点相关性的判断可以提高当前帧原始图像的融合权重计算的准确性，从而即使在低光照情况下，也可以提高去噪效果，并抑制局部运动区域出现鬼影。
进一步，以当前帧下采样图像中第k个像素点距离当前帧下采样图像的中心点距离，自适应调整第k个像素点的去噪强度参数，可以提高对当前帧下采样图像边缘处的去噪效果，从而提高对原始图像边缘处的去噪效果。
附图说明
图1是本发明实施例中一种图像去噪方法的流程图；
图2是本发明实施例中另一种图像去噪方法的流程图；
图3是本发明实施例中一种图像去噪装置的结构示意图。
具体实施方式
如上所述，现有技术中，低光照下，对图像去噪处理效果并不理想。对于局部运动区域容易产生鬼影，其中，鬼影指在图像去噪处理过程中所产生的不真实的图像。
本发明实施例中，通过当前帧下采样图像中每个像素点的m×n邻域范围内的像素点，与配准后的参考帧下采样图像相同位置处对应的像素点的帧间绝对值差之和以及帧内绝对值差之和，来衡量当前帧下采样图像上的像素点与参考帧下采样图像上的像素点的相似性，以此度量来确定当前帧下采样图像与参考帧下采样图像的像素点的相关性，通过像素点相关性的判断可以提高当前帧原始图像的融合权重计算的准确性，从而即使在低光照情况下，也可以提高去噪效果，并可以抑制局部运动区域出现鬼影。
为使本发明实施例的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
参照图1，给出了本发明实施例中一种图像去噪方法的流程图。下面通过具体步骤进行说明。
步骤11，获取当前帧原始图像和参考帧原始图像。
在具体实施中，可以从待去噪处理的图像中获取当前帧原始图像和参考帧原始图像。在视频图像序列中，前后帧图像在时域上的相关性较大。因此，在本发明实施例中，可以将所述当前帧原始图像的前一帧图像作为所述参考帧原始图像。
步骤12，对所述当前帧原始图像进行下采样，得到当前帧下采样图像；对所述参考帧原始图像进行下采样，得到参考帧下采样图像。
在具体实施中，可以采用三阶Lanczos kernel对所获取到的当前帧原始图像及参考帧原始图像进行下采样。也可以采用bilinear或者bicubic所获取到的当前帧原始图像及参考帧原始图像进行下采样。
在本发明一实施例中，可以对所述当前帧原始图像分别进行水平方向和垂直方向的下采样，得到所述当前帧下采样图像。对所述参考帧原始图像分别进行水平方向和垂直方向的下采样，得到所述参考帧下采样图像。
步骤13，将所述当前帧下采样图像与所述参考帧下采样图像进行图像配准，将当前帧原始图像及所述参考帧原始图像进行图像配准。
在具体实施中，由于当前帧下采样图像相对于参考帧下采样图像可能存在一定的偏移，根据当前帧下采样图像相对于参考帧下采样图像之间的偏移量，可以将当前帧下采样图像与参考帧下采样图像对齐。
相应地，当前帧原始图像相对于参考帧原始图像存在偏移，根据当前帧原始图像相对于参考帧原始图像之间的偏移量，可以将当前帧原始图像与参考帧原始图像进行对齐。
在本发明一实施例中，根据所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量，对所述当前帧下采样图像与所述参考帧下采样图像进行图像配准。图像配准的过程也即是当前帧下采样图像s_cur与所述参考帧下采样图像s_ref对齐的过程。例如，将s_ref(y+s_mv_y,x+s_mv_x)与s_cur(y，x)对齐，其中，s_mv_y为当前帧下采样图像在垂直方向的运动向量，s_mv_x为当前帧下采样图像在水平方向上的运动向量。
在本发明一实施例中，根据所述当前帧原始图像相对于所述参考帧原始图像的运动向量，对所述当前帧原始图像与所述参考帧原始图像进行图像配准。图像配准的过程也即是当前帧原始图像与所述参考帧原始图像对齐的过程。所述当前帧原始图像相对于所述参考帧原始图像的运动向量，根据所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量计算得到。
步骤14，根据预设的m×n邻域的绝对值差之和的系数，计算当前帧下采样图像中每个像素点的m×n邻域范围内的像素点，与配准后的参考帧下采样图像相同位置处对应的像素点的帧间绝对值差之和；计算所述参考帧下采样图像中每个像素点的m×n邻域范围内的像素点，与所述参考帧下采样图像m×n邻域内中心像素点的帧内绝对值差之和。
在具体实施中，可以采用如下方式计算得到m×n邻域的绝对值差之和(Sum ofAbsolute Difference，SAD)的系数。依据当前帧下采样图像中m×n邻域内每个像素点与所述m×n邻域的中心点之间的距离，配置m×n邻域的SAD系数。
在具体实施中，根据预设的m×n邻域的绝对值差之和的系数，计算所述当前帧下采样图像中每个像素点的m×n邻域范围内的像素点，与配准后的参考帧下采样图像相同位置处对应的像素点的帧间绝对值差之和。根据预设的m×n邻域的绝对值差之和的系数，计算所述参考帧下采样图像中每个像素点的m×n邻域范围内的像素点，与所述参考帧下采样图像m×n邻域内中心像素点的帧内绝对值差之和。
步骤15，根据预设的第k个像素点的去噪强度参数以及第k个像素点的帧间绝对值差之和与所述帧内绝对值差之和，计算所述当前帧下采样图像中第k个像素点的权重。
在具体实施中，每个像素点在当前帧下采样图像中的位置不同，所对应的去噪强度参数不同。根据每个像素点的去噪强度参数以及第k个像素点的帧间绝对值差之和与所述帧内绝对值差之和，计算所述当前帧下采样图像中第k个像素点的权重。
在具体实施中，为进一步提高去噪效果，并抑制运动图像中鬼影的出现。在本发明一实施例中，根据第k个像素点距离当前帧下采样图像的中心点的距离调整所述第k个像素点的去噪强度参数。
例如，以像素点(j，i)为例，可以采用公式(1)调整像素点(j，i)的去噪强度参数。
Figure BDA0001927201650000101
其中，sigma为像素点(j，i)去噪强度参数；theta为控制去噪阈值的基准值；sigma_th为控制去噪阈值的变化率，R为当前帧下采样图像中的像素点距离中心点(cen_y，cen_x)的最远距离。
采用公式(2)计算当前帧下采样图像中第k个像素点的权重。
Figure BDA0001927201650000111
其中，s_weight为当前帧下采样图像中第k个像素点的权重，也可以称为径向权重；sigma为第k个像素点的去噪强度参数；intra_sad为参考帧下采样图像的第k个像素点的帧内绝对值差之和；inter_sad为当前帧下采样图像的第k个像素点的帧间绝对值差之和。
在具体实施中，可以采用如下公式(3)计算第k个像素点的帧内绝对值差之和intra_sad。
Figure BDA0001927201650000112
其中，kernel为配置参数，abs为取绝对值。
步骤16，对所述当前帧下采样图像中第k个像素点的权重进行上采样，计算所述当前帧原始图像的中对应像素点的融合权重。
在本发明一实施例中，为了使得上采样所得到的当前帧原始图像中各像素点的融合权重更加准确，采用2阶Lanczos kernel作为上采样核分别对所述当前帧下采样图像中第k个像素点的权重分别进行水平方向和垂直方向上的上采样，得到当前帧原始图像中对应的像素点的融合权重。
可以理解的是，在实际应用中，还可以采用其他的方式对所述当前帧下采样图像中第k个像素点的权重进行上采样。例如，采用bilinear或者bicubic。
步骤17，根据所述当前帧原始图像中的每个像素点对应的融合权重对所述当前帧原始图像及配准后的参考帧原始图像进行融合。
在具体实施中，得到当前帧原始图像中每个像素点对应的融合权重之后，可以对当前帧原始图像及配准后的参考帧原始图像进行融合，得到融合图像。
在本发明一实施例中，采用公式(4)对当前帧原始图像和参考帧原始图像中的每个像素点进行融合，得到融合后的图像。
blend＝cur*(1-weight)+ref*weight； (4)
其中，blend为融合图像；cur为当前帧原始图像；ref为参考帧原始图像；weight为原始图像中像素点的融合权重。
由上述方案可知，在对当前帧原始图像去噪，计算当前帧原始图像的融合权重时，根据预设的m×n邻域的绝对值差之和的系数、当前帧下采样图像中每个像素点的m×n邻域范围内的像素点，与配准后的参考帧下采样图像相同位置处对应的像素点的帧间绝对值差之和、第k个像素点的去噪强度参数，计算当前帧下采样图像中第k个像素点的权重。通过对当前帧下采样图像中第k个像素点的权重进行上采样，以得到当前帧原始图像中第k个像素点的融合权重。通过当前帧下采样图像中每个像素点的m×n邻域范围内的像素点，与配准后的参考帧下采样图像相同位置处对应的像素点的帧间绝对值差之和以及帧内绝对值差之和，来衡量当前帧下采样图像上的像素点与参考帧下采样图像上的像素点的相似性，以此度量来确定当前帧下采样图像与参考帧下采样图像的像素点的相关性，通过像素点相关性的判断可以提高当前帧原始图像的融合权重计算的准确性，从而即使在低光照情况下，可以提高去噪效果，并抑制局部运动区域出现鬼影。
为了进一步提高图像的去噪效果，可以采用如下方式计算所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量。
计算当前帧下采样图像相对于所述参考帧下采样图像分别在的水平方向的偏移量及垂直方向的偏移量；根据所述当前帧下采样图像相对所述参考帧下采样图像的水平方向的偏移量及垂直方向的偏移量，计算所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量。
具体而言，将所述当前帧下采样图像在水平方向投影，得到所述当前帧下采样图像在垂直方向的投影值；将所述当前帧下采样图像在垂直方向投影，得到所述当前帧下采样图像在水平方向的投影值。
将所述参考帧下采样图像在水平方向投影，得到所述参考帧下采样图像在垂直方向的投影值；将所述参考帧下采样图像在垂直方向投影，得到所述参考帧下采样图像在水平方向的投影值。
将所述参考帧下采样图像在水平方向上投影的投影值做offset值偏移后，与所述当前帧下采样图像在水平方向上投影的投影值依次逐点做差取绝对值并求和，得到所述当前帧下采样图像相对所述参考帧下采样图像在垂直方向上所述offset值下的偏移量；将所述参考帧下采样图像在垂直方向上投影的投影值做offset值偏移后，与所述当前帧下采样图像在垂直方向上投影的投影值依次逐点做差取绝对值并求和，得到所述当前帧下采样图像相对所述参考帧下采样图像在水平方向上所述offset值下的偏移量。
取所述当前帧下采样图像相对所述参考帧下采样图像在垂直方向上的偏移量最小处对应的坐标，得到垂直方向的运动向量；取所述当前帧下采样图像相对所述参考帧下采样图像在水平方向上的偏移量最小处对应的坐标，得到水平方向的运动向量；根据所述当前帧下采样图像相对所述参考帧下采样图像在垂直方向的运动向量以及在水平方向的运动向量，得到所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量。
在偏移量曲线的偏移量最小值左右两侧分别选取N个拟合点，N为正整数；对2N+1个拟合点进行多项式拟合，得到拟合曲线；根据所述拟合曲线、所述当前帧原始图像相对所述当前帧下采样图像在垂直方向上的高度比值，得到所述当前帧原始图像相对于所述参考帧原始图像在垂直方向上的运动向量。
根据所述拟合曲线、所述当前帧原始图像相对所述当前帧下采样图像在水平方向上的高度比值，得到所述当前帧原始图像相对于所述参考帧原始图像在水平方向上的运动向量。
根据所述当前帧原始图像相对于所述参考帧原始图像在垂直方向上的运动向量，以及所述当前帧原始图像相对于所述参考帧原始图像在水平方向上的运动向量，得到所述当前帧原始图像相对于所述参考帧原始图像的运动向量。
此外，在对图像进行去噪处理时，对当前帧原始图像及参考帧原始图像进行了下采样处理，在当前帧下采样图像以及参考帧下采样图像上进行投影、计算运动向量以及融合等去噪操作，由于下采样之后得到的当前帧下采样图像相对当前帧原始图像，以及参考帧下采样图像相对于参考帧原始图像的图像尺寸均减小，分辨率也较低，从而可以减小计算复杂度，减小占用的存储空间，提高运算速度。
为了便于本领域技术人员更好的理解和实现本发明实施例，下面结合图2，通过具体实施例对图像去噪的工作过程进行说明。
步骤21，获取当前帧原始图像及参考帧原始图像。
步骤22，对当前帧原始图像及参考帧原始图像进行下采样。
对当前帧原始图像cur及参考帧原始图像ref分别进行下采样。例如，采用三阶Lanczos kernel对所述当前帧原始图像分别进行水平方向及垂直方向下采样得到当前帧下采样图像s_cur。采用三阶Lanczos kernel对所述参考帧原始图像分别进行水平方向及垂直方向下采样得到参考帧下采样图像s_ref。
步骤23，计算当前帧原始图像相对于参考帧原始图像的运动向量。
对当前帧下采样图像s_cur进行水平方向投影得到的投影值，对当前帧下采样图像s_cur进行垂直方向上的投影得到的投影值。
将对当前帧下采样图像s_ref进行水平方向投影得到的投影值，对当前帧下采样图像s_ref进行垂直方向上的投影得到的投影值。
下面以计算当前帧下采样图像s_cur在水平方向投影得到的投影值为例进行说明。
采用公式(5)得到当前帧下采样图像s_cur在水平方向投影得到的投影值。
proj_s_cur(j)＝∑is_cur(j，i)； (5)
其中，proj_s_cur(j)为当前帧下采样图像s_cur在水平方向投影得到的投影值，j表示行号，i表示列号。
对当前帧下采样图像s_cur在水平方向投影得到的投影值和带有一定偏移量offset的参考帧下采样图像s_ref的投影值进行对应像素点逐点取绝对值差并累加，得到当前帧下采样图像s_cur相对参考帧下采样图像在垂直方向上所述offset下的偏移量，offset的取值范围[-range，range]，其中range即为当前帧下采样图像相对参考帧下采样图像的的最大运动范围。根据最小偏移量对应的坐标可以得到在当前帧下采样图像s_cur相对于参考帧下采样s_ref在垂直方向上的运动向量。
采用公式(6)计算当前帧下采样图像s_cur相对于参考帧下采样图像s_ref在垂直方向的偏移量。采用公式(7)得到在前帧下采样图像s_cur相对于参考帧下采样图像s_ref在垂直方向的运动向量。
diff(offset)＝sum(abs(proj_s_cur(i)-proj_s_ref(i+offset)))； (6)
s_mv-y＝argmin(diff(offset))； (7)
其中，s_mv-y为前帧下采样图像s_cur相对于参考帧下采样图像s_ref在垂直方向的运动向量；abs为取绝对值。
在diff曲线s_mv_y处左边和右边分别选取N个点，对这2*N+1个点进行二次曲线拟合得到如下连续曲线，如公式(8)所示。offset可以是浮点型。
diff_con＝a*offset2+b*offset+c； (8)
其中，a、b、c为多项式的系数。
当前帧原始图像相对参考帧原始图像在垂直方向的运动向量可以采用如下公式(9)得到。
Figure BDA0001927201650000151
其中，mv-y为当前帧原始图像相对参考帧原始图像在垂直方向的运动向量；argmin(diff_con(offset))为使得当前帧下采样图像相对参考帧下采样图像在垂直方向的最小偏移量的因变量集合；height为当前帧原始图像在垂直方向的高度；s_height为当前帧下采样图像在垂直方向的高度。
根据当前帧下采样图像相对于参考帧下采样图像在水平方向上的最小偏移量、当前帧原始图像与当前帧下采样图像在水平方向上的高度比值，得到当前帧原始图像相对于参考帧原始图像的在水平方向的运动向量。
根据所述当前帧原始图像相对于参考帧原始图像的在水平方向的运动向量以及在垂直方向的运动向量得到所述当前帧原始图像相对于参考帧原始图像的运动向量。
步骤23，图像配准。
根据计算得到的当前帧下采样图像相对于参考帧下采样图像的运动向量可知，参考帧下采样图像s_ref中的像素点(y+s_mv_y，x+s_mv_x)与当前帧下采样图像s_cur中的像素点(y，x)相对应。将s_ref(y+s_mv_y,x+s_mv_x)与s_cur(y,x)进行径向权重计算前的对齐。
根据计算到的当前帧原始图像相对于参考帧原始图像在的运动向量可知，参照帧原始图像ref中的像素点(y+mv_y,x+mv_x)与当前帧原始图像cur中的像素点(y，x)相对应。将ref(y+mv_y,x+mv_x)与cur(y，x)进行融合前的对齐。
步骤24，计算当前帧下采样图像的权重。
在具体实施中，依据当前帧下采样图像中mxn邻域内每个像素点(y，x)与该邻域的中心点(cen_y,cen_x)处的距离配置系数核kernel。k_sigma为用户配置参数。
例如，可以采用如下公式(10)计算所述m×n邻域的SAD系数。
Figure BDA0001927201650000161
其中，kernel(y，x)为像素点(j，i)的m×n邻域的SAD系数，k_sigma为配置参数，(cen_y，cen_x)为当前帧下采样图像m×n邻域的中心点。
采用如下公式(11)计算当前帧下采样图像中的每个像素点(j，i)的mxn邻域范围内与配准后的参考帧下采样图像中相同位置处的像素点求取帧间绝对值差之和inter_sad。
Figure BDA0001927201650000162
其中，inter_sad(j,i)为当前帧下采样图像中的像素点(j，i)帧间绝对值差之和；abs为取绝对值。
在具体实施中，为了提高对当前帧下采样图像边缘处的噪声降低效果，可以采用上述公式(1)对当前帧下采用图像中的像素点(j，i)调整像素点(j，i)的去噪强度参数。
采用上述公式(2)计算当前帧下采样图像中各个像素点的权重。
步骤25，对当前帧下采样图像的权重进行上采样，得到当前帧原始图像的融合权重。
为了使得当前帧原始图像的融合权重更加准确，采用了2阶Lanczos kernel作为上采样核对当前帧下采样图像的权重分别在水平和垂直方向进行上采样处理，得到所述当前帧原始图像的融合权重。
采用上述公式(4)对当前帧原始图像及配准后的参考帧原始图像进行融合，从而实现对当前帧图像的去噪。
参照图3，给出了本发明实施例中一种图像去噪装置的结构示意图。所述图像去噪装置30包括：获取单元31、下采样单元32、图像配准单元33、第一计算单元34、第二计算单元35、第三计算单元36及图像融合单元37，其中：
所述获取单元31，适于获取当前帧原始图像和参考帧原始图像，所述参考帧原始图像为所述当前帧原始图像的前一帧；
所述下采样单元32，适于对所述当前帧原始图像进行下采样，得到当前帧下采样图像；对所述参考帧原始图像进行下采样，得到参考帧下采样图像；
所述图像配准单元33，适于将所述当前帧下采样图像与所述参考帧下采样图像进行图像配准，将当前帧原始图像及所述参考帧原始图像进行图像配准；
所述第一计算单元34，适于根据预设的m×n邻域的绝对值差之和的系数，计算当前帧下采样图像中每个像素点的m×n邻域范围内的像素点，与配准后的参考帧下采样图像相同位置处对应的像素点的帧间绝对值差之和；根据预设的m×n邻域的绝对值差之和的系数，计算所述参考帧下采样图像中每个像素点的m×n邻域范围内的像素点，与所述参考帧下采样图像m×n邻域内中心像素点的帧内绝对值差之和；
所述第二计算单元35，适于根据预设的第k个像素点的去噪强度参数以及第k个像素点的帧间绝对值差之和与所述帧内绝对值差之和，计算所述当前帧下采样图像中第k个像素点的权重，k为正整数；
所述第三计算单元36，适于对所述当前帧下采样图像中第k个像素点的权重进行上采样，计算所述当前帧原始图像的中对应像素点的融合权重；
所述图像融合单元37，适于根据所述当前帧原始图像中的每个像素点对应的融合权重对所述当前帧原始图像及配准后的参考帧原始图像进行融合。
在具体实施中，所述第一计算单元34，适于根据所述当前帧下采样图像的m×n邻域范围内每个像素点与所述m×n邻域的中心点的距离，配置m×n邻域的绝对值差之和的系数。
在具体实施中，所述第二计算单元35，适于采用如下公式，计算所述当前帧下采样图像中第k个像素点的权重：
Figure BDA0001927201650000181
其中，s_weight为当前帧下采样图像中第k个像素点的权重；sigma为第k个像素点的去噪强度参数；intra_sad为参考帧下采样图像的第k个像素点的帧内绝对值差之和；inter_sad为当前帧下采样图像的第k个像素点的帧间绝对值差之和。
在具体实施中，所述图像去噪装置30还可以包括：调整单元(图3未示出)，适于根据第k个像素点距离当前帧下采样图像的中心点的距离调整所述第k个像素点的去噪强度参数。
在具体实施中，所述图像融合单元37，适于如下公式根据所述当前帧原始图像中的每个像素点对应的融合权重对所述当前帧原始图像及所述参考帧原始图像进行融合：
blend＝cur*(1-weight)+ref*weight；
其中，blend为融合后的图像；cur为当前帧原始图像；ref为参考帧原始图像；weight为原始图像中每个像素点的融合权重。
在具体实施中，所述图像配准单元33，适于根据所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量，对所述当前帧下采样图像与所述参考帧下采样图像进行图像配准。
在具体实施中，所述图像配准单元33，适于根据所述当前帧原始图像相对于所述参考帧原始图像的运动向量，对所述当前帧原始图像与所述参考帧原始图像进行图像配准，其中，所述当前帧原始图像相对于所述参考帧原始图像的运动向量，根据所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量计算得到。
在具体实施中，所述图像去噪装置30还可以包括：第四计算单元(图3未示出)，适于采用如下方式计算所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量：计算当前帧下采样图像相对所述参考帧下采样图像的水平方向的偏移量及垂直方向的偏移量；
根据所述当前帧下采样图像相对所述参考帧下采样图像的水平方向的偏移量及垂直方向的偏移量，计算所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量。
在具体实施中，所述第四计算单元，适于将所述当前帧下采样图像在水平方向投影，得到所述当前帧下采样图像在水平方向的投影值；将所述当前帧下采样图像在垂直方向投影，得到所述当前帧下采样图像在垂直方向的投影值；将所述参考帧下采样图像在水平方向投影，得到所述参考帧下采样图像在水平方向的投影值；将所述参考帧下采样图像在垂直方向投影，得到所述参考帧下采样图像在垂直方向的投影值；将所述参考帧下采样图像在水平方向上投影的投影值做offset值偏移后，与所述当前帧下采样图像在水平方向上投影的投影值依次逐点做差取绝对值并求和，得到所述当前帧下采样图像相对所述参考帧下采样图像在垂直方向上所述offset值下的偏移量；将所述参考帧下采样图像在垂直方向上投影的投影值做offset值偏移后，与所述当前帧下采样图像在垂直方向上投影的投影值依次逐点做差取绝对值并求和，得到所述当前帧下采样图像相对所述参考帧下采样图像在水平方向上所述offset值下的偏移量；取所述当前帧下采样图像相对所述参考帧下采样图像在水平方向上的偏移量最小处对应的坐标，得到垂直方向的运动向量；取所述当前帧下采样图像相对所述参考帧下采样图像在垂直方向上的偏移量最小处对应的坐标，得到水平方向的运动向量；根据所述当前帧下采样图像相对所述参考帧下采样图像在垂直方向的运动向量以及在水平方向的运动向量，得到所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量。
所述第四计算单元，适于在偏移量曲线的偏移量最小值左右两侧分别选取N个拟合点，N为正整数；对2N+1个拟合点进行多项式拟合，得到拟合曲线；根据所述拟合曲线、所述当前帧原始图像相对所述当前帧下采样图像在垂直方向上的高度比值，得到所述当前帧原始图像相对于所述参考帧原始图像在垂直方向上的运动向量；根据所述拟合曲线、所述当前帧原始图像相对所述当前帧下采样图像在水平方向上的高度比值，得到所述当前帧原始图像相对于所述参考帧原始图像在水平方向上的运动向量；根据所述当前帧原始图像相对于所述参考帧原始图像在垂直方向上的运动向量，以及所述当前帧原始图像相对于所述参考帧原始图像在水平方向上的运动向量，得到所述当前帧原始图像相对于所述参考帧原始图像的运动向量。
在具体实施中，所述图像去噪装置30的工作原理及工作流程可以参考本发明上述实施例中对图像去噪方法中的描述，此处不再赘述。
本发明实施例还提供一种图像去噪装置，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述实施例中提供的任一种图像去噪方法的步骤。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机指令，所述计算机指令运行时执行上述实施例中提供的任一种图像去噪方法的步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于任一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (22)

1.一种图像去噪方法，其特征在于，包括：
获取当前帧原始图像和参考帧原始图像，所述参考帧原始图像为所述当前帧原始图像的前一帧；
对所述当前帧原始图像进行下采样，得到当前帧下采样图像；对所述参考帧原始图像进行下采样，得到参考帧下采样图像；
将所述当前帧下采样图像与所述参考帧下采样图像进行图像配准，将当前帧原始图像及所述参考帧原始图像进行图像配准；
根据预设的m×n邻域的绝对值差之和的系数，计算所述当前帧下采样图像中每个像素点的m×n邻域范围内的像素点，与配准后的参考帧下采样图像相同位置处对应的像素点的帧间绝对值差之和；
根据预设的m×n邻域的绝对值差之和的系数，计算所述参考帧下采样图像中每个像素点的m×n邻域范围内的像素点，与所述参考帧下采样图像m×n邻域内中心像素点的帧内绝对值差之和；
根据预设的第k个像素点的去噪强度参数以及第k个像素点的帧间绝对值差之和与所述帧内绝对值差之和，计算所述当前帧下采样图像中第k个像素点的权重，k为正整数；
对所述当前帧下采样图像中第k个像素点的权重进行上采样，计算所述当前帧原始图像的中对应像素点的融合权重；
根据所述当前帧原始图像中的每个像素点对应的融合权重对所述当前帧原始图像及配准后的参考帧原始图像进行融合。
2.根据权利要求1所述的图像去噪方法，其特征在于，包括：采用如下方式计算所述预设的m×n邻域的绝对值差之和的系数：
根据所述当前帧下采样图像的m×n邻域范围内每个像素点与所述m×n邻域的中心点的距离，配置m×n邻域的绝对值差之和的系数。
3.根据权利要求1所述的图像去噪方法，其特征在于，包括：采用如下公式，计算所述当前帧下采样图像中第k个像素点的权重：
Figure FDA0001927201640000021
其中，s_weight为当前帧下采样图像中第k个像素点的权重；sigma为第k个像素点的去噪强度参数；intra_sad为参考帧下采样图像的第k个像素点的帧内绝对值差之和；inter_sad为当前帧下采样图像的第k个像素点的帧间绝对值差之和。
4.根据权利要求3所述的图像去噪方法，其特征在于，还包括：根据第k个像素点距离当前帧下采样图像的中心点的距离调整所述第k个像素点的去噪强度参数。
5.根据权利要求1所述的图像去噪方法，其特征在于，包括：采用如下公式根据所述当前帧原始图像中的每个像素点对应的融合权重对所述当前帧原始图像及所述参考帧原始图像进行融合：
blend＝cur*(1-weight)+ref*weight；
其中，blend为融合图像；cur为当前帧原始图像；ref为参考帧原始图像；
weight为原始图像中每个像素点的融合权重。
6.根据权利要求1至5任一项所述的图像去噪方法，其特征在于，所述将所述当前帧下采样图像与所述参考帧下采样图像进行图像配准，包括：
根据所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量，对所述当前帧下采样图像与所述参考帧下采样图像进行图像配准。
7.根据权利要求6所述的图像去噪方法，其特征在于，所述将当前帧原始图像及及所述参考帧原始图像进行图像配准，包括：
根据所述当前帧原始图像相对于所述参考帧原始图像的运动向量，对所述当前帧原始图像与所述参考帧原始图像进行图像配准，其中，所述当前帧原始图像相对于所述参考帧原始图像的运动向量，根据所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量计算得到。
8.根据权利要求7所述的图像去噪方法，其特征在于，还包括：采用如下方式计算所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量：计算当前帧下采样图像相对所述参考帧下采样图像的水平方向的偏移量及垂直方向的偏移量；
根据所述当前帧下采样图像相对所述参考帧下采样图像的水平方向的偏移量及垂直方向的偏移量，计算所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量。
9.根据权利要求8所述的图像去噪方法，其特征在于，所述计算所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量，包括：
将所述当前帧下采样图像在水平方向投影，得到所述当前帧下采样图像在水平方向上投影的投影值；
将所述当前帧下采样图像在垂直方向投影，得到所述当前帧下采样图像在垂直方向上投影的投影值；
将所述参考帧下采样图像在水平方向投影，得到所述参考帧下采样图像在水平方向上投影的投影值；
将所述参考帧下采样图像在垂直方向投影，得到所述参考帧下采样图像在垂直方向上投影的投影值；
将所述参考帧下采样图像在水平方向上投影的投影值做offset值偏移后，与所述当前帧下采样图像在水平方向上投影的投影值依次逐点做差取绝对值并求和，得到所述当前帧下采样图像相对所述参考帧下采样图像在垂直方向上所述offset值下的偏移量；
将所述参考帧下采样图像在垂直方向上投影的投影值做offset值偏移后，与所述当前帧下采样图像在垂直方向上投影的投影值依次逐点做差取绝对值并求和，得到所述当前帧下采样图像相对所述参考帧下采样图像在水平方向上所述offset值下的偏移量；
取所述当前帧下采样图像相对所述参考帧下采样图像在垂直方向上的偏移量最小处对应的坐标，得到垂直方向的运动向量；
取所述当前帧下采样图像相对所述参考帧下采样图像在水平方向上的偏移量最小处对应的坐标，得到水平方向的运动向量；
根据所述当前帧下采样图像相对所述参考帧下采样图像在垂直方向的运动向量以及在水平方向的运动向量，得到所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量。
10.根据权利要求9所述的图像去噪方法，其特征在于，所述当前帧原始图像相对于所述参考帧原始图像的运动向量，根据所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量计算得到，包括：
在偏移量曲线的偏移量最小值左右两侧分别选取N个拟合点，N为正整数；
对2N+1个拟合点进行多项式拟合，得到拟合曲线；
根据所述拟合曲线、所述当前帧原始图像相对所述当前帧下采样图像在垂直方向上的高度比值，得到所述当前帧原始图像相对于所述参考帧原始图像在垂直方向上的运动向量；
根据所述拟合曲线、所述当前帧原始图像相对所述当前帧下采样图像在水平方向上的高度比值，得到所述当前帧原始图像相对于所述参考帧原始图像在水平方向上的运动向量；
根据所述当前帧原始图像相对于所述参考帧原始图像在垂直方向上的运动向量，以及所述当前帧原始图像相对于所述参考帧原始图像在水平方向上的运动向量，得到所述当前帧原始图像相对于所述参考帧原始图像的运动向量。
11.一种图像去噪装置，其特征在于，包括：
获取单元，适于获取当前帧原始图像和参考帧原始图像，所述参考帧原始图像为所述当前帧原始图像的前一帧；
下采样单元，适于对所述当前帧原始图像进行下采样，得到当前帧下采样图像；对所述参考帧原始图像进行下采样，得到参考帧下采样图像；
图像配准单元，适于将所述当前帧下采样图像与所述参考帧下采样图像进行图像配准，将当前帧原始图像及所述参考帧原始图像进行图像配准；
第一计算单元，适于根据预设的m×n邻域的绝对值差之和的系数，计算所述当前帧下采样图像中每个像素点的m×n邻域范围内的像素点，与配准后的参考帧下采样图像相同位置处对应的像素点的帧间绝对值差之和；
根据预设的m×n邻域的绝对值差之和的系数，计算所述参考帧下采样图像中每个像素点的m×n邻域范围内的像素点，与所述参考帧下采样图像m×n邻域内中心像素点的帧内绝对值差之和；
第二计算单元，适于根据预设的第k个像素点的去噪强度参数以及第k个像素点的帧间绝对值差之和与所述帧内绝对值差之和，计算所述当前帧下采样图像中第k个像素点的权重，k为正整数；
第三计算单元，适于对所述当前帧下采样图像中第k个像素点的权重进行上采样，计算所述当前帧原始图像的中对应像素点的融合权重；
图像融合单元，适于根据所述当前帧原始图像中的每个像素点对应的融合权重对所述当前帧原始图像及配准后的参考帧原始图像进行融合。
12.根据权利要求11所述的图像去噪装置，其特征在于，所述第一计算单元，适于根据所述当前帧下采样图像的m×n邻域范围内每个像素点与所述m×n邻域的中心点的距离，配置m×n邻域的绝对值差之和的系数。
13.根据权利要求11所述的图像去噪装置，其特征在于，所述第二计算单元，适于采用如下公式，计算所述当前帧下采样图像中第k个像素点的权重：
Figure FDA0001927201640000051
其中，s_weight为当前帧下采样图像中第k个像素点的权重；sigma为第k个像素点的去噪强度参数；intra_sad为参考帧下采样图像的第k个像素点的帧内绝对值差之和；inter_sad为当前帧下采样图像的第k个像素点的帧间绝对值差之和。
14.根据权利要求13所述的图像去噪装置，其特征在于，还包括：调整单元，适于根据第k个像素点距离当前帧下采样图像的中心点的距离调整所述第k个像素点的去噪强度参数。
15.根据权利要求11所述的图像去噪装置，其特征在于，所述图像融合单元，适于如下公式根据所述当前帧原始图像中的每个像素点对应的融合权重对所述当前帧原始图像及所述参考帧原始图像进行融合：
blend＝cur*(1-weight)+ref*weight；
其中，blend为融合后的图像；cur为当前帧原始图像；ref为参考帧原始图像；weight为原始图像中每个像素点的融合权重。
16.根据权利要求11～15任一项所述的图像去噪装置，其特征在于，所述图像配准单元，适于根据所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量，对所述当前帧下采样图像与所述参考帧下采样图像进行图像配准。
17.根据权利要求16所述的图像去噪装置，其特征在于，所述图像配准单元，适于根据所述当前帧原始图像相对于所述参考帧原始图像的运动向量，对所述当前帧原始图像与所述参考帧原始图像进行图像配准，其中，所述当前帧原始图像相对于所述参考帧原始图像的运动向量，根据所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量计算得到。
18.根据权利要求17所述的图像去噪装置，其特征在于，还包括：第四计算单元，适于采用如下方式计算所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量：
计算当前帧下采样图像相对所述参考帧下采样图像的水平方向的偏移量及垂直方向的偏移量；
根据所述当前帧下采样图像相对所述参考帧下采样图像的水平方向的偏移量及垂直方向的偏移量，计算所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量。
19.根据权利要求18所述的图像去噪装置，其特征在于，所述第四计算单元，适于将所述当前帧下采样图像在水平方向投影，得到所述当前帧下采样图像在水平方向上投影的投影值；将所述当前帧下采样图像在垂直方向投影，得到所述当前帧下采样图像在垂直方向上投影的投影值；将所述参考帧下采样图像在水平方向投影，得到所述参考帧下采样图像在水平方向上投影的投影值；将所述参考帧下采样图像在垂直方向投影，得到所述参考帧下采样图像在垂直方向上投影的投影值；将所述参考帧下采样图像在水平方向上投影的投影值做offset值偏移后，与所述当前帧下采样图像在水平方向上投影的投影值依次逐点做差取绝对值并求和，得到所述当前帧下采样图像相对所述参考帧下采样图像在垂直方向上所述offset值下的偏移量；将所述参考帧下采样图像在垂直方向上投影的投影值做offset值偏移后，与所述当前帧下采样图像在垂直方向上投影的投影值依次逐点做差取绝对值并求和，得到所述当前帧下采样图像相对所述参考帧下采样图像在水平方向上所述offset值下的偏移量；取所述当前帧下采样图像相对所述参考帧下采样图像在垂直方向上的偏移量最小处对应的坐标，得到垂直方向的运动向量；取所述当前帧下采样图像相对所述参考帧下采样图像在水平方向上的偏移量最小处对应的坐标，得到水平方向的运动向量；根据所述当前帧下采样图像相对所述参考帧下采样图像在垂直方向的运动向量以及在水平方向的运动向量，得到所述当前帧下采样图像相对于所述参考帧下采样图像的运动向量。
20.根据权利要求19所述的图像去噪装置，其特征在于，所述第四计算单元，适于在偏移量曲线的偏移量最小值左右两侧分别选取N个拟合点，N为正整数；对2N+1个拟合点进行多项式拟合，得到拟合曲线；根据所述拟合曲线、所述当前帧原始图像相对所述当前帧下采样图像在垂直方向上的高度比值，得到所述当前帧原始图像相对于所述参考帧原始图像在垂直方向上的运动向量；根据所述拟合曲线、所述当前帧原始图像相对所述当前帧下采样图像在水平方向上的高度比值，得到所述当前帧原始图像相对于所述参考帧原始图像在水平方向上的运动向量；根据所述当前帧原始图像相对于所述参考帧原始图像在垂直方向上的运动向量，以及所述当前帧原始图像相对于所述参考帧原始图像在水平方向上的运动向量，得到所述当前帧原始图像相对于所述参考帧原始图像的运动向量。
21.一种图像去噪装置，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，其特征在于，所述处理器运行所述计算机指令时执行权利要求1至10任一项所述的图像去噪方法的步骤。
22.一种计算机可读存储介质，计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机指令，其特征在于，所述计算机指令运行时执行权利要求1至10中任一项所述的图像去噪方法的步骤。
CN201811622439.2A 2018-12-28 2018-12-28 图像去噪方法、装置及计算机可读存储介质 Active CN111383182B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811622439.2A CN111383182B (zh) 2018-12-28 2018-12-28 图像去噪方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811622439.2A CN111383182B (zh) 2018-12-28 2018-12-28 图像去噪方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111383182A true CN111383182A (zh) 2020-07-07
CN111383182B CN111383182B (zh) 2022-09-30

Family

ID=71214843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811622439.2A Active CN111383182B (zh) 2018-12-28 2018-12-28 图像去噪方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111383182B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801908A (zh) * 2021-02-05 2021-05-14 深圳技术大学 图像去噪方法、装置、计算机设备和存储介质
CN113344820A (zh) * 2021-06-28 2021-09-03 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读介质、电子设备
CN113658073A (zh) * 2021-08-16 2021-11-16 Oppo广东移动通信有限公司 图像去噪处理方法、装置、存储介质与电子设备
CN114331899A (zh) * 2021-12-31 2022-04-12 上海宇思微电子有限公司 一种图像降噪方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006122009A2 (en) * 2005-05-09 2006-11-16 Lockheed Martin Corporation Continuous extended range image processing
CN107454284A (zh) * 2017-09-13 2017-12-08 厦门美图之家科技有限公司 一种视频去噪方法及计算设备
CN108702512A (zh) * 2017-10-31 2018-10-23 深圳市大疆创新科技有限公司 运动估计方法和装置
US20180343448A1 (en) * 2017-05-23 2018-11-29 Intel Corporation Content adaptive motion compensated temporal filtering for denoising of noisy video for efficient coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006122009A2 (en) * 2005-05-09 2006-11-16 Lockheed Martin Corporation Continuous extended range image processing
US20180343448A1 (en) * 2017-05-23 2018-11-29 Intel Corporation Content adaptive motion compensated temporal filtering for denoising of noisy video for efficient coding
CN107454284A (zh) * 2017-09-13 2017-12-08 厦门美图之家科技有限公司 一种视频去噪方法及计算设备
CN108702512A (zh) * 2017-10-31 2018-10-23 深圳市大疆创新科技有限公司 运动估计方法和装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801908A (zh) * 2021-02-05 2021-05-14 深圳技术大学 图像去噪方法、装置、计算机设备和存储介质
CN113344820A (zh) * 2021-06-28 2021-09-03 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读介质、电子设备
CN113344820B (zh) * 2021-06-28 2024-05-10 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读介质、电子设备
CN113658073A (zh) * 2021-08-16 2021-11-16 Oppo广东移动通信有限公司 图像去噪处理方法、装置、存储介质与电子设备
CN113658073B (zh) * 2021-08-16 2024-07-23 Oppo广东移动通信有限公司 图像去噪处理方法、装置、存储介质与电子设备
CN114331899A (zh) * 2021-12-31 2022-04-12 上海宇思微电子有限公司 一种图像降噪方法及装置

Also Published As

Publication number Publication date
CN111383182B (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
CN111383182B (zh) 图像去噪方法、装置及计算机可读存储介质
US8237868B2 (en) Systems and methods for adaptive spatio-temporal filtering for image and video upscaling, denoising and sharpening
CN103606132B (zh) 基于空域和时域联合滤波的多帧数字图像去噪方法
US9898803B2 (en) Image processing apparatus, image processing method, and recording medium storing image processing program
US20100165122A1 (en) Method of merging images and relative method of generating an output image of enhanced quality
CN106851046A (zh) 视频动态超分辨率处理方法及系统
US9406108B2 (en) Deblurring of an image from a sequence of images
US11138698B2 (en) Static soiling detection and correction
CN106803865B (zh) 视频时域的去噪方法及系统
CN110874827B (zh) 湍流图像复原方法、装置、终端设备及计算机可读介质
JP6160292B2 (ja) 画像補正装置、撮像装置及び画像補正用コンピュータプログラム
JP2012191465A (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN106791279B (zh) 基于遮挡检测的运动补偿方法及系统
CN105931213B (zh) 基于边缘检测和帧差法的高动态范围视频去鬼影的方法
WO2016165112A1 (zh) 一种对比度自适应的视频去噪系统
CN104735301B (zh) 视频时域去噪装置及方法
CN102968765A (zh) 一种基于sigma滤波器的红外焦平面非均匀性校正方法
US20090074318A1 (en) Noise-reduction method and apparatus
JP5657141B2 (ja) 液体媒体中の乱流の影響を含む画像データの処理
CN108270945B (zh) 一种运动补偿去噪方法及装置
CN105809633A (zh) 去除颜色噪声的方法及装置
CN113506212B (zh) 一种改进的基于pocs的高光谱图像超分辨率重建方法
US20180061024A1 (en) Image processing apparatus, image processing method, and storage medium
JP5490117B2 (ja) 画像処理装置
CN111385583B (zh) 图像运动估计方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant