CN113191965A - 图像降噪方法、设备及计算机存储介质 - Google Patents

图像降噪方法、设备及计算机存储介质 Download PDF

Info

Publication number
CN113191965A
CN113191965A CN202110402362.3A CN202110402362A CN113191965A CN 113191965 A CN113191965 A CN 113191965A CN 202110402362 A CN202110402362 A CN 202110402362A CN 113191965 A CN113191965 A CN 113191965A
Authority
CN
China
Prior art keywords
visible light
image
matching
image block
infrared light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110402362.3A
Other languages
English (en)
Other versions
CN113191965B (zh
Inventor
田野
张东
王松
王廷鸟
刘晓沐
夏若彬
胡菁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202110402362.3A priority Critical patent/CN113191965B/zh
Publication of CN113191965A publication Critical patent/CN113191965A/zh
Application granted granted Critical
Publication of CN113191965B publication Critical patent/CN113191965B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20052—Discrete cosine transform [DCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种图像降噪方法、设备及计算机存储介质，该图像降噪方法包括：获取同一场景的多帧可见光图像和多帧红外光图像，可见光图像与红外光图像一一对应，多帧可见光图像包括参考帧可见光图像和其余帧可见光图像，多帧红外光图像包括参考帧红外光图像和其余帧红外光图像；对参考帧红外光图像与其余帧红外光图像进行匹配处理，得到位移信息；利用位移信息得到参考帧可见光图像与其余帧可见光图像之间的匹配关系；利用匹配关系对参考帧可见光图像和其余帧可见光图像进行降噪处理，以得到降噪后的可见光图像。本申请的图像降噪方法提高了图像的信噪比。

Description

图像降噪方法、设备及计算机存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像降噪方法、设备及计算机存储介质。
背景技术
现有技术中，通常采用多帧降噪技术对图像进行降噪处理，其可以有效去除图像噪声，还原场景的有效信息，从而提高图像的信噪比。具体地，利用匹配或对齐的两张图像中物体的运动位移，匹配多张图像中的对应位置，随后将对齐或匹配后的多帧图像进行加权融合，得到降噪后的图像。上述多帧降噪技术仅能处理一些噪声水平不高的图像。在弱光场景中，可见光成像受环境影响，图像噪声剧烈，使得降噪匹配出现匹配、对齐错误，导致降噪性能下降，图像质量不佳。
发明内容
本申请提供了一种图像降噪方法、设备及计算机存储介质，主要解决的技术问题是如何提高图像的信噪比。
为解决上述技术问题，本申请提供了一种图像降噪方法，所述方法包括：
获取同一场景的多帧可见光图像和多帧红外光图像，所述可见光图像与所述红外光图像一一对应，所述多帧可见光图像包括参考帧可见光图像和其余帧可见光图像，所述多帧红外光图像包括参考帧红外光图像和其余帧红外光图像；
对所述参考帧红外光图像与其余帧红外光图像进行匹配处理，得到位移信息；
利用所述位移信息得到所述参考帧可见光图像与所述其余帧可见光图像之间的匹配关系；
利用所述匹配关系对所述参考帧可见光图像和所述其余帧可见光图像进行降噪处理，以得到降噪后的可见光图像。
为解决上述技术问题，本申请还提供了一种电子设备，所述设备包括存储器以及与所述存储器耦接的处理器；
其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如上述的图像降噪方法。
为解决上述技术问题，本申请还提供了一种计算机存储介质，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现如上述的图像降噪方法。
本申请通过获取同一场景的多帧可见光图像和多帧红外光图像，可见光图像与红外光图像一一对应，多帧可见光图像包括参考帧可见光图像和其余帧可见光图像，多帧红外光图像包括参考帧红外光图像和其余帧红外光图像；对参考帧红外光图像与其余帧红外光图像进行匹配处理，得到位移信息；利用位移信息得到参考帧可见光图像与其余帧可见光图像的匹配关系；利用匹配关系对参考帧可见光图像和其余帧可见光图像进行降噪处理，以得到降噪后的可见光图像。本申请借助参考帧红外光图像和其余帧红外光图像之间的位移信息对参考帧可见光图像和其余帧可见光图像进行匹配，避免低照场景中可见光成像被影响而导致图像对齐或匹配出现错误，提高了多帧可见光图像的匹配准确度，使得在对匹配后的参考帧可见光图像和其余帧可见光图像进行降噪处理时，提高图像的信噪比。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请提供的图像降噪方法一实施例的流程示意图；
图2是本申请提供的图像降噪方法又一实施例的流程示意图；
图3是图2所示的图像降噪方法中S203一实施例的流程示意图；
图4是图2所示的图像降噪方法中位移信息获取的简易示意图；
图5是图2所示的图像降噪方法中S207另一实施例的流程示意图；
图6是本申请提供的电子设备一实施例的结构示意图；
图7是本申请提供的计算机存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。根据本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请提出了一种图像降噪方法，可应用于图像处理技术领域。请参阅图1，图1是本申请提供的图像降噪方法一实施例的流程示意图。
其中，图像降噪方法的执行主体可以是图像降噪装置，例如，图像降噪方法可以由电子设备或服务器或其它处理设备执行，其中，电子设备可以为用户设备(UserEquipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(PersonalDigital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该图像降噪方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
具体而言，本实施例的图像降噪方法包括如下步骤：
S101：获取同一场景的多帧可见光图像和多帧红外光图像，可见光图像与红外光图像一一对应。
本公开实施例中，考虑到在弱光场景中，可见光成像受环境影响，图像噪声剧烈，使得降噪匹配出现匹配、对齐错误，导致降噪性能下降，图像质量不佳。对此，本实施例的图像降噪方法借助红外光图像的位移信息对可见光图像进行匹配处理，得到配准的可见光图像。因为，红外光成像受环境影响小，在弱光场景下仍然能够保持良好的图像信噪比。即在弱光场景下，红外光图像噪声强度远远小于可见光图像噪声强度。
具体地，图像降噪装置获取同一场景的多帧可见光图像和多帧红外光图像。其中，红外光图像和可见光图像一一对应。
需要说明的是，为了方便后续利用多帧红外光图像的位移信息对多帧可见光图像进行匹配处理，本实施例中的多帧可见光图像和多帧红外光图像已进行标定和配准。具体地，可通过图像降噪装置对同一场景的多帧可见光图像和多帧红外光图像进行标定和配准。或者，图像降噪装置将获取的同一场景的多帧可见光图像和多帧红外光图像上传至处理装置，以使处理装置标定和配准多帧可见光图像和多帧红外光图像。
进一步地，在具体实施例中，图像降噪装置获取的同一场景的多帧可见光图像和多帧红外光图像具有相同的图像分辨率。在其他实施例中，图像降噪装置获取的同一场景的多帧可见光图像和多帧红外光图像不具有相同的图像分辨率时，可对可见光图像和/或红外光图像进行缩放，以使可见光图像和红外光图像具有相同的分辨率。
由于红外光图像噪声小，图像降噪装置利用多帧红外光图像的位移信息对多帧可见光图像进行匹配处理时，为了获取可信度高的位移信息。本实施例的图像降噪装置可在多帧红外光图像中选取一参考帧红外光图像，利用参考帧红外光图像与其余帧红外光图像获取可信度高的位移信息。
需要说明的是，图像降噪装置可根据实际情况在多帧红外光图像中选取参考帧红外光图像。例如，图像降噪装置可选取多帧红外光图像的中间帧作为参考帧红外光图像，也可选取多帧红外光图像中的清晰帧作为参考帧红外光图像。或者，选取多帧红外光图像中人像姿态最佳帧作为参考帧红外光图像。本实施例对于参考帧红外光图像的选取不作限定。
当然，为了方便利用多帧红外光图像的位移信息匹配多帧可见光图像，图像降噪装置应在多帧可见光图像中选取参考帧可见光图像。其中，参考帧可见光图像与参考帧红外光图像对应。
S102：对参考帧红外光图像与其余帧红外光图像进行匹配处理，得到位移信息。
考虑到同一场景的多帧可见光图像的场景运动和多帧红外光图像的场景运动完全相同，且可见光图像在弱光场景下噪声小。本实施例的图像降噪装置利用多帧红外光图像的位移信息替代多帧可见光图像的位移信息。具体地，图像降噪装置将参考帧红外光图像与其余帧红外光图像进行运动匹配，得到参考帧红外光图像与其余帧红外光图像之间的位移信息。
S103：利用位移信息得到参考帧可见光图像与其余帧可见光图像之间的匹配关系。
考虑到参考帧可见光图像与其余帧可见光图像的对应性，本实施例的图像降噪装置利用参考帧红外光图像与其余帧红外光图像之间的位移信息匹配参考帧可见光图像与其余帧可见光图像，得到参考帧可见光图像与其余帧可见光图像之间的匹配关系。
S104：利用匹配关系对参考帧可见光图像和其余帧可见光图像进行降噪处理，以得到降噪后的可见光图像。
其中，本实施例的图像降噪装置利用参考帧可见光图像与其余帧可见光图像之间的匹配关系对参考帧可见光图像和其余帧可见光图像进行降噪处理，以得到降噪后的可见光图像。
本实施例中，图像降噪装置获取同一场景的多帧可见光图像和多帧红外光图像，可见光图像与红外光图像一一对应，多帧可见光图像包括参考帧可见光图像和其余帧可见光图像，多帧红外光图像包括参考帧红外光图像和其余帧红外光图像；对参考帧红外光图像与其余帧红外光图像进行匹配处理，得到位移信息；利用位移信息得到参考帧可见光图像与其余帧可见光图像的匹配关系；利用匹配关系对参考帧可见光图像和其余帧可见光图像进行降噪处理，以得到降噪后的可见光图像。本申请借助参考帧红外光图像和其余帧红外光图像之间的位移信息对参考帧可见光图像和其余帧可见光图像进行匹配，避免低照场景中可见光成像被影响而导致图像对齐或匹配出现错误，提高了多帧可见光图像的匹配准确度，使得在对匹配后的参考帧可见光图像和其余帧可见光图像进行降噪处理时，提高图像的信噪比。
请继续参阅图2，图2是本申请提供的图像降噪方法又一实施例的流程示意图。具体而言，本实施例的图像降噪方法包括如下步骤：
S201：获取同一场景的多帧可见光图像和多帧红外光图像，可见光图像与红外光图像一一对应。
本实施例的S201的详细描述可参阅上述实施例的S101，对此不进行重复赘述。
S202：对参考帧红外光图像进行分块处理，得到多个红外光参考图像块。
考虑到利用参考帧红外光图像与其余帧红外光图像进行整图像匹配，将降低匹配准确度，导致位移信息存在误差。为解决上述问题，本实施例的图像降噪装置对参考帧红外光图像进行分块处理，以利用分块处理后的红外光参考图像块与对应的其余帧红外光图像中的红外光图像块进行匹配，以提高匹配准确度，从而提高图像信噪比。
具体地，图像降噪装置对参考帧红外光图像进行分块处理，得到多个红外光参考图像块。需要说明的是，每一红外光参考图像块的大小恒定。例如，红外光参考图像块大小可以为8x8，或者其他合适的大小。本实施例对红外光参考图像块大小不作限定，可根据实际情况进行设定。
在实际应用中，考虑到在对参考帧红外光图像进行分块处理时，可能存在参考帧红外光图像的边界区域不满足所设定图像块的大小。也即对参考帧红外光图像进行分块处理时无法均分为大小恒定的多块。为避免上述问题，本实施例的图像降噪装置可对参考帧红外光图像的边界进行扩充，以保证参考帧红外光图像分块数量的完整性。
在具体实施例中，对参考帧红外光图像边界进行扩充的方式可以为边缘对称扩充、边缘重复扩充或者其他合适的扩充方式。
进一步地，为了避免相邻两个红外光参考图像块之间的过渡不佳，出现块效应。本实施例的图像降噪装置在对参考帧红外光图像进行分块时，应保证相邻两个红外光参考图像块之间具有重叠区域。
S203：获取其余帧红外光图像中与红外光参考图像块对应的红外光匹配图像块。
可选地，本实施例可以采用图3实施例实现S203，具体包括S301至S304：
S301：获取其余帧红外光图像中与红外光参考图像块对应的位置信息。
可参阅图4，为了能够获取位移信息，本实施例的图像降噪装置获取其余帧红外光图像中与红外光参考图像块对应的位置信息。具体地，图像降噪装置可获取其余帧红外光图像中与红外光参考图像块对应的红外光图像块所在位置。
S302：利用位置信息确定匹配范围。
由于图像降噪装置获取多帧红外光图像时的时间间隔短，而运动物体运动时间较慢，使得相邻两帧红外光图像或者任意两帧红外光图像中运动物体的运动范围局限。由此，本实施例的图像降噪装置可基于S301中获取的位置信息确定当前红外光参考图像块的匹配范围，以方便在匹配范围内搜索与当前红外光参考图像块匹配的红外光匹配图像块。
S303：计算匹配范围内的红外光图像块与红外光参考图像块之间的匹配误差。
由于匹配范围内存在多个红外光图像块，为了准确获取与当前红外光参考图像块对应的红外光匹配图像块。本实施例的图像降噪装置计算匹配范围内的红外光图像块与红外光参考图像块之间的匹配误差。
在具体实施例中，匹配误差包括匹配块差异项和匹配距离惩罚项。其中，匹配块差异项的计算方式包括但不限于：红外光图像块与红外光参考图像块之间的绝对误差和(SAD，Sum of Absolute Difference)、平均绝对误差(MAD，Mean of AbsoluteDifference)、误差平方和(SSD，Sum of Squared Difference)、平均误差平方和(MSD，Meanof Squared Difference)等。匹配距离惩罚项的计算方式包括但不限于：红外光图像块与红外光参考图像块之间的距离，例如，曼哈顿距离或者欧氏距离等。
S304：选取匹配范围内匹配误差最小的红外光图像块作为红外光匹配图像块。
基于S303中获取的匹配误差，图像降噪装置选取匹配范围内匹配误差最小的红外光图像块作为红外光匹配图像块。需要说明的是，在其余帧红外光图像为多帧时，每一红外光图像中均包括与红外光参考图像块对应的红外光匹配图像块。
S204：计算每一红外光参考图像块与红外光匹配图像块之间的位移信息。
基于S304中获取的红外光匹配图像块和S201中获取的红外光参考图像块，图像降噪装置计算红外光参考图像块与红外光匹配图像块之间的位移信息，以红外光参考图像块与红外光匹配图像块之间的位移信息匹配参考帧可见光图像块和其余帧可见光图像块。其中，位移信息可以为红外光参考图像块与红外光匹配图像块的位移量。
S205：对参考帧可见光图像进行分块处理，得到可见光参考图像块，可见光参考图像块与红外光参考图像块一一对应。
由于本实施例的图像降噪方法利用多帧红外光图像的位移信息替代多帧可见光图像的位移信息，以实现对可见光图像的配准。为此，图像降噪装置在对参考帧可见光图像进行分块处理时，应保证分块后的可见光参考图像块与红外光参考图像块一一对应。
需要说明的是，图像降噪装置对参考帧可见光图像进行分块处理时，若无法均分为大小恒定的多块，同样需对参考帧可见光图像的边界进行扩充，以保证参考帧可见光图像分块数量的完整性。
进一步地，为了避免降噪后相邻两个可见光参考图像块之间的过渡不佳，出现块效应。本实施例的图像降噪装置同样需要在对参考帧可见光图像进行分块时，保证相邻两个可见光参考图像块之间具有重叠区域。
S206：利用位移信息，获取其余帧可见光图像中与可见光参考图像块对应的可见光匹配图像块，得到可见光参考图像块与可见光匹配图像块之间的匹配关系。
基于S204中获取的位移信息，图像降噪装置利用参考帧红外光图像中每个红外光参考图像块与红外光匹配图像块之间的位移信息，作为可见光参考图像块与可见光匹配图像块之间的位移信息，获取其余帧可见光图像中可见光参考图像块对应的可见光匹配图像块，得到可见光参考图像块与可见光匹配图像块之间的匹配关系。
S207：利用匹配关系对参考帧可见光图像和其余帧可见光图像进行降噪处理，以得到降噪后的可见光图像。
考虑到若采用相同的融合权重对参考帧可见光图像和其余帧可见光图像进行降噪处理，将导致降噪后的图像信噪比不佳。为此，本实施例的图像降噪装置可基于303中匹配误差的大小动态设置可见光参考图像块和可见光匹配图像块之间的融合权重，以使不同匹配误差对应的可见光参考图像块和可见光匹配图像块之间采用不同的融合权重进行加权融合，得到融合后的可见光图像块。
具体地，图像降噪装置可通过遍历可见光参考图像帧中的所有可见光参考图像块，将每一可见光参考图像块和与其对应的可见光匹配图像块进行加权融合，得到融合后的多个可见光图像块，并对融合后的多个可见光图像块进行处理，以得到降噪后的可见光图像。需要说明的是，图像降噪装置可对融合后的多个可见光图像块按照对应位置进行组合处理，得到降噪后的可见光图像。
其中，匹配误差与融合权重负相关。也即匹配误差较小的可见光匹配图像块的融合权重较大，匹配误差较大的可见光匹配图像块的融合权重较小。
由于相邻图像块之间存在重叠区域，图像降噪装置将融合后的可见光图像块的重叠区域进行融合处理，以得到降噪后的可见光图像。
需要说明的是，可见光图像块重叠区域的融合方式包括但不限于凯撒窗加权融合、升余弦窗加权融合等。
上述方案中，图像降噪装置对参考帧红外光图像和参考帧可见光图像进行分块处理，得到多个红外光参考图像块和多个可见光参考图像块，避免利用参考帧红外光图像与其余帧红外光图像进行整图像匹配，而降低匹配准确度，导致位移信息存在误差；利用匹配范围内红外光图像块和红外光参考图像块之间的匹配误差大小确定可见光匹配图像块，提高了可见光参考图像块和可见光匹配图像块之间的匹配精确度；利用匹配误差动态设置可见光参考图像块与可见光匹配图像块之间的融合权重，避免利用相同融合权重对可见光参考图像块与可见光匹配图像块进行融合而降低图像信噪比。
请继续参阅图5，图5是图1所示的图像降噪方法中S207另一实施例的流程示意图。具体地，S207还包括如下步骤：
S401：对可见光参考图像块和与其对应的可见光匹配图像块进行频域变换处理，得到变换后的可见光参考图像块和变换后的可见光匹配图像块。图像降噪装置对参考帧可见光图像中的可见光参考图像块和与其对应的可见光匹配图像块进行频域变换处理，得到频域可见光参考图像块和频域可见光匹配图像块，以方便后续对频域可见光参考图像块和频域可见光匹配图像块进行硬阈值降噪处理，并且，后续频域可见光参考图像块与与其对应的频域可见光匹配图像块融合时，可使匹配错误的情况更加鲁棒。
其中，频域变换的方式包括但不限于：离散傅里叶变换(DFT)、离散余弦变换(DCT)、离散沃尔什变换(DWT)等。
S402：对变换后的频域可见光参考图像块和与其对应的变换后的频域可见光匹配图像块进行硬阈值降噪处理，得到降噪后的频域可见光参考图像块和降噪后的频域可见光匹配图像块。
由于单纯地对变换后的可见光参考图像块和与其对应的变换后的可见光匹配图像块进行融合处理，存在降噪强度较弱的问题。为了避免上述问题，本实施例的图像降噪装置在对可见光参考图像块和与其对应的可见光匹配图像块进行融合处理之前，通过频域硬阈值降噪技术增强降噪强度，避免在强噪声环境下可见光图像噪声去除不完全的问题。
具体地，图像降噪装置计算变换后的频域可见光参考图像块和变换后的频域可见光匹配图像块中像素值的绝对值，判断绝对值是否大于等于硬阈值。若是，则保留像素值对应位置数值。若否，则将像素值对应位置数值设置为0。
在具体实施例中，硬阈值降噪技术满足下式：
Figure BDA0003020897440000111
其中，th为硬阈值，FHT(w)为硬阈值降噪处理后的频域可见光参考图像块和/或频域可见光匹配图像块，F(w)为硬阈值降噪处理前的频域可见光参考图像块和/或频域可见光匹配图像块。
需要说明的是，可见光参考图像块与其对应的可见光匹配图像块的硬阈值一致。
进一步地，硬阈值的大小由红外光参考图像块的梯度和计算而来。且硬阈值与红外光参考图像块的梯度和负相关。具体为，对红外光参考图像块的梯度和较小的图像块，增加对应可见光图像块的硬阈值，以增强平坦区域降噪效果。对红外光参考图像块的梯度和较大的图像块，减小对应可见光图像块的硬阈值，以保护对应区域的图像细节，避免降噪过强造成图像细节丢失。
S403：对硬阈值降噪后的频域可见光参考图像块和与其对应的硬阈值降噪后的频域可见光匹配图像块进行融合处理，以得到融合后的频域可见光图像块。
本实施例的图像降噪装置通过计算硬阈值降噪后的频域可见光参考图像块中任一像素与降噪后的频域可见光匹配图像块中对应像素之间的差异绝对值，利用差异绝对值设置融合权重，并利用融合权重对每一降噪后的频域可见光参考图像块和与其对应的降噪后的频域可见光匹配图像块进行加权融合，得到融合后的频域可见光图像块。
其中，差异绝对值与融合权重负相关。也即与频域可见光参考图像块像素差异绝对值较小的图像块对应像素设置较大的融合权重；与频域可见光参考图像块像素差异绝对值较大的图像块对应像素设置较小的融合权重。
需要说明的是，融合后的频域可见光图像块由一硬阈值降噪后的频域可见光参考图像块和与其对应的所有降噪后的频域可见光匹配图像块融合所得。
S404：对融合后的频域可见光图像块进行频域逆变换处理，得到融合后的可见光图像块。
基于S403中获取的融合后的频域可见光图像块，图像降噪装置对融合后的频域可见光图像块进行频域逆变换处理，得到融合后的可见光图像块，即降噪后的可见光图像块。
S405：遍历可见光参考帧中的所有可见光参考图像块，对每一可见光参考图像块和与其对应的可见光匹配图像块进行上述频域变换、硬阈值降噪、融合以及频域逆变换处理，得到融合后的多个可见光图像块。
由于上述S401～S404中仅阐述利用一个可见光参考图像块和与其对应的可见光匹配图像块获取一个降噪后的可将光图像块。为此，本实施例的图像降噪装置需对可见光参考帧中的每一可见光参考图像块采用上述S401～S404同样的处理方式，直至遍历完可见光参考图像帧中的所有可见光参考图像块，得到融合后的多个可见光图像块，也即降噪后的多个可见光图像块。
S406：对融合后的多个可见光图像块进行处理，得到降噪后的可见光图像。
图像降噪装置对融合后的多个可见光图像块进行处理，得到降噪后的可见光图像。具体地，由于相邻可见光图像块之间存在重叠区域，图像降噪装置可通过将融合后的多个可见光图像块的重叠区域再进行融合处理，得到降噪后的可见光图像。
上述方案中，图像降噪装置对可见光参考图像块和可见光匹配图像块进行频域变换处理，方便了后续进行硬阈值降噪，并且，后续频域可见光参考图像块与频域可见光匹配图像块融合时，使匹配错误的情况更加鲁棒；对变换后的可见光参考图像块和变换后的可见光匹配图像块进行硬阈值降噪处理，得到降噪后的可见光参考图像块和降噪后的可见光匹配图像块，避免单纯地对变换后的可见光参考图像块和变换后的可见光匹配图像块进行融合处理，而导致降噪强度较弱的问题；利用降噪后的可见光参考图像块中任一像素与降噪后的可见光匹配图像块中对应像素之间的差异绝对值设置融合权重，避免利用相同融合权重对可见光参考图像块与可见光匹配图像块进行融合而降低图像信噪比。
为实现上述实施例的图像降噪方法，本申请提出了一种电子设备，具体请参阅图6，图6是本申请提供的电子设备一实施例的结构示意图。
电子设备600包括存储器61和处理器62，其中，存储器61和处理器62耦接。
存储器61用于存储程序数据，处理器62用于执行程序数据以实现上述实施例的图像降噪方法。
在本实施例中，处理器62还可以称为CPU(Central Processing Unit，中央处理单元)。处理器62可能是一种集成电路芯片，具有信号的处理能力。处理器62还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器62也可以是任何常规的处理器等。
本申请还提供一种计算机存储介质，如图7所示，计算机存储介质700用于存储程序数据71，程序数据71在被处理器执行时，用以实现如本申请方法实施例中所述的图像降噪方法。
本申请图像降噪方法实施例中所涉及到的方法，在实现时以软件功能单元的形式存在并作为独立的产品销售或使用时，可以存储在装置中，例如一个计算机可读取存储介质中。根据这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，卡口设备的异常检测设备，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种图像降噪方法，其特征在于，所述图像降噪方法包括：
获取同一场景的多帧可见光图像和多帧红外光图像，所述可见光图像与所述红外光图像一一对应，所述多帧可见光图像包括参考帧可见光图像和其余帧可见光图像，所述多帧红外光图像包括参考帧红外光图像和其余帧红外光图像；
对所述参考帧红外光图像与所述其余帧红外光图像进行匹配处理，得到图像中物体运动位移信息；
利用所述位移信息得到所述参考帧可见光图像与所述其余帧可见光图像之间的匹配关系；
利用所述匹配关系对所述参考帧可见光图像和所述其余帧可见光图像进行降噪处理，以得到降噪后的可见光图像。
2.根据权利要求1所述的图像降噪方法，其特征在于，所述对所述参考帧红外光图像与所述其余帧红外光图像进行匹配处理，得到位移信息的步骤，包括：
对所述参考帧红外光图像进行分块处理，得到多个红外光参考图像块；
获取所述其余帧红外光图像中与所述红外光参考图像块对应的红外光匹配图像块；
计算每一所述红外光参考图像块与所述红外光匹配图像块之间的位移信息。
3.根据权利要求2所述的图像降噪方法，其特征在于，所述获取所述其余帧红外光图像中与所述红外光参考图像块对应的红外光匹配图像块的步骤，包括：
获取所述其余帧红外光图像中与所述红外光参考图像块对应的位置信息；
利用所述位置信息确定匹配范围；
计算所述匹配范围内的所述红外光图像块与所述红外光参考图像块之间的匹配误差；
选取所述匹配范围内所述匹配误差最小的所述红外光图像块作为所述红外光匹配图像块。
4.根据权利要求3所述的图像降噪方法，其特征在于，利用所述位移信息得到参考帧可见光图像与其余帧可见光图像的各位置的匹配关系，包括：
对所述参考帧可见光图像进行分块处理，得到可见光参考图像块，所述可见光参考图像块与所述红外光参考图像块一一对应；
利用所述位移信息，获取所述其余帧可见光图像中与所述可见光参考图像块对应的可见光匹配图像块，得到所述可见光参考图像块与所述可见光匹配图像块之间的匹配关系。
5.根据权利要求4所述的图像降噪方法，其特征在于，所述利用所述匹配关系对所述参考帧可见光图像和所述其余帧可见光图像进行降噪处理，以得到降噪后的可见光图像的步骤，包括：
利用所述匹配误差设置所述可见光参考图像块和所述可见光匹配图像块之间的融合权重，所述融合权重与所述匹配误差负相关；
利用所述融合权重对所述可见光参考图像块和所述可见光匹配图像块进行加权融合，得到融合后的可见光图像块；
遍历所述可见光参考帧中的所有可见光参考图像块，将每一所述可见光参考图像块和与其对应的可见光匹配图像块进行加权融合，得到融合后的可见光图像块；
对所述融合后的多个可见光图像块进行处理，以得到降噪后的可见光图像。
6.根据权利要求4所述的图像降噪方法，其特征在于，所述利用所述匹配关系对所述参考帧可见光图像和所述其余帧可见光图像进行降噪处理，以得到降噪后的可见光图像的步骤，包括：
对所述可见光参考图像块和与其对应的所述可见光匹配图像块进行频域变换处理，得到频域可见光参考图像块和频域可见光匹配图像块；
对所述变换后的频域可见光参考图像块和与其对应的所述变换后的频域可见光匹配图像块进行硬阈值降噪处理，得到降噪后的频域可见光参考图像块和降噪后的频域可见光匹配图像块；
对所述降噪后的频域可见光参考图像块和与其对应的所述降噪后的频域可见光匹配图像块进行融合处理，以得到融合后的频域可见光图像块；
对所述融合后的频域可见光图像块进行频域逆变换处理，得到融合后的可见光图像块；
遍历所述可见光参考帧中的所有可见光参考图像块，对每一所述可见光参考图像块和与其对应的所述可见光匹配图像块进行上述频域变换、硬阈值降噪、融合以及频域逆变换处理，得到融合后的多个可见光图像块；
对所述融合后的多个可见光图像块进行处理，得到降噪后的可见光图像。
7.根据权利要求6所述的图像降噪方法，其特征在于，所述对所述变换后的频域可见光参考图像块和所述变换后的频域可见光匹配图像块进行硬阈值降噪处理，得到降噪后的频域可见光参考图像块和降噪后的频域可见光匹配图像块的步骤，包括：
计算所述变换后的频域可见光参考图像块和所述变换后的频域可见光匹配图像块中像素值的绝对值；
计算所述红外光参考图像块的梯度和，基于所述梯度和设置硬阈值，所述硬阈值与所述红外光参考图像块的梯度和负相关；
响应于所述像素值的绝对值小于所述硬阈值，将所述像素值对应位置数值设置为0；
响应于所述像素值的绝对值大于等于所述硬阈值，保留所述像素值对应位置数值。
8.根据权利要求6所述的图像降噪方法，其特征在于，所述对所述降噪后的频域可见光参考图像块和所述降噪后的频域可见光匹配图像块进行融合处理，得到融合后的频域可见光图像块的步骤，包括：
计算所述降噪后的频域可见光参考图像块中任一像素与所述降噪后的频域可见光匹配图像块中对应像素之间的差异绝对值，以基于所述差异绝对值设置融合权重；
利用所述融合权重对每一所述降噪后的频域可见光参考图像块与其对应的降噪后的频域可见光匹配图像块进行加权融合，得到融合后的频域可见光图像块。
9.一种电子设备，其特征在于，所述设备包括存储器以及与所述存储器耦接的处理器；
其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如权利要求1～8任一项所述的图像降噪方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现如权利要求1～8任一项所述的图像降噪方法。
CN202110402362.3A 2021-04-14 2021-04-14 图像降噪方法、设备及计算机存储介质 Active CN113191965B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110402362.3A CN113191965B (zh) 2021-04-14 2021-04-14 图像降噪方法、设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110402362.3A CN113191965B (zh) 2021-04-14 2021-04-14 图像降噪方法、设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN113191965A true CN113191965A (zh) 2021-07-30
CN113191965B CN113191965B (zh) 2022-08-09

Family

ID=76973971

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110402362.3A Active CN113191965B (zh) 2021-04-14 2021-04-14 图像降噪方法、设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN113191965B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113487522A (zh) * 2021-09-08 2021-10-08 深圳市诚识科技有限公司 用于图像通信的多信道切换降噪方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011182026A (ja) * 2010-02-26 2011-09-15 Seiko Epson Corp 画像処理装置、画像表示システム、画像抽出装置
CN109978774A (zh) * 2017-12-27 2019-07-05 展讯通信（上海）有限公司 多帧连续等曝光图像的去噪融合方法及装置
CN110472658A (zh) * 2019-07-05 2019-11-19 哈尔滨工程大学 一种动目标多源探测的层次融合与提取方法
WO2020097128A1 (en) * 2018-11-06 2020-05-14 Flir Commercial Systems, Inc. Automatic co-registration of thermal and visible image pairs
CN111383206A (zh) * 2020-06-01 2020-07-07 浙江大华技术股份有限公司 一种图像处理方法、装置、电子设备及存储介质
CN111699511A (zh) * 2019-12-31 2020-09-22 深圳市大疆创新科技有限公司 图像处理方法、装置及存储介质
CN111784614A (zh) * 2020-07-17 2020-10-16 Oppo广东移动通信有限公司 图像去噪方法及装置、存储介质和电子设备
CN111968057A (zh) * 2020-08-24 2020-11-20 浙江大华技术股份有限公司 图像降噪方法、装置、存储介质及电子装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011182026A (ja) * 2010-02-26 2011-09-15 Seiko Epson Corp 画像処理装置、画像表示システム、画像抽出装置
CN109978774A (zh) * 2017-12-27 2019-07-05 展讯通信（上海）有限公司 多帧连续等曝光图像的去噪融合方法及装置
WO2020097128A1 (en) * 2018-11-06 2020-05-14 Flir Commercial Systems, Inc. Automatic co-registration of thermal and visible image pairs
CN110472658A (zh) * 2019-07-05 2019-11-19 哈尔滨工程大学 一种动目标多源探测的层次融合与提取方法
CN111699511A (zh) * 2019-12-31 2020-09-22 深圳市大疆创新科技有限公司 图像处理方法、装置及存储介质
CN111383206A (zh) * 2020-06-01 2020-07-07 浙江大华技术股份有限公司 一种图像处理方法、装置、电子设备及存储介质
CN111784614A (zh) * 2020-07-17 2020-10-16 Oppo广东移动通信有限公司 图像去噪方法及装置、存储介质和电子设备
CN111968057A (zh) * 2020-08-24 2020-11-20 浙江大华技术股份有限公司 图像降噪方法、装置、存储介质及电子装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BINGQING ZHAO 等: "Automatic and Robust Infrared-Visible Image Sequence Registration via Spatio-Temporal Association", 《SENSORS》 *
胡玉平等: "基于小波变换和数据融合技术的图像降噪方法", 《小型微型计算机系统》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113487522A (zh) * 2021-09-08 2021-10-08 深圳市诚识科技有限公司 用于图像通信的多信道切换降噪方法

Also Published As

Publication number Publication date
CN113191965B (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
Ali MRI medical image denoising by fundamental filters
Tiwari et al. Review of motion blur estimation techniques
US20170316552A1 (en) Blind image deblurring via progressive removal of blur residual
CN109064504B (zh) 图像处理方法、装置和计算机存储介质
Zhou et al. Improved decision-based detail-preserving variational method for removal of random-valued impulse noise
US10021413B2 (en) Apparatus and method for video data processing
KR102038789B1 (ko) 포커스 검출
EP3067858A1 (en) Image noise reduction
CN113077459B (zh) 图像清晰度检测方法、装置、电子设备及存储介质
CN107005623B (zh) 用于图像处理的方法和装置
WO2014070273A1 (en) Recursive conditional means image denoising
Nasimudeen et al. Directional switching median filter using boundary discriminative noise detection by elimination
CN105976327B (zh) 对第一图像进行变换的方法、处理模块和存储介质
JP2019194821A (ja) 目標認識装置、目標認識方法及びプログラム
CN113191965B (zh) 图像降噪方法、设备及计算机存储介质
KR101921608B1 (ko) 깊이 정보 생성 장치 및 방법
CN112419161B (zh) 图像处理方法及装置、存储介质及电子设备
JP2019067169A (ja) 移動ベクトル算出方法、装置、プログラム、及びノイズ除去処理を含む移動ベクトル算出方法
KR101825218B1 (ko) 깊이 정보 생성 장치 및 방법
JP6388507B2 (ja) 画像処理装置
CN111445435A (zh) 一种基于多区块小波变换的无参考图像质量评价方法
Mofidi et al. An adaptive parameter estimation in a BTV regularized image super-resolution reconstruction
US20150317532A1 (en) Increasing canny filter implementation speed
WO2020113419A9 (zh) 一种图像处理方法和装置
WO2015128302A1 (en) Method and apparatus for filtering and analyzing a noise in an image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant