CN110503620A - 一种基于傅立叶频谱提取的图像融合方法 - Google Patents

一种基于傅立叶频谱提取的图像融合方法 Download PDF

Info

Publication number
CN110503620A
CN110503620A CN201910705942.2A CN201910705942A CN110503620A CN 110503620 A CN110503620 A CN 110503620A CN 201910705942 A CN201910705942 A CN 201910705942A CN 110503620 A CN110503620 A CN 110503620A
Authority
CN
China
Prior art keywords
image
frequency
fused
frequency domain
spatial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910705942.2A
Other languages
English (en)
Other versions
CN110503620B (zh
Inventor
彭新雨
周威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maolai (Nanjing) Instrument Co Ltd
Original Assignee
Maolai (Nanjing) Instrument Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maolai (Nanjing) Instrument Co Ltd filed Critical Maolai (Nanjing) Instrument Co Ltd
Priority to CN201910705942.2A priority Critical patent/CN110503620B/zh
Publication of CN110503620A publication Critical patent/CN110503620A/zh
Priority to PCT/CN2020/091353 priority patent/WO2021017588A1/zh
Priority to US17/583,239 priority patent/US20220148297A1/en
Application granted granted Critical
Publication of CN110503620B publication Critical patent/CN110503620B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/431—Frequency domain transformation; Autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于傅立叶频谱提取的图像融合方法，该方法对不同对焦位置的图像进行傅里叶变换，在变换后的频域空间中提取不同对焦位置图像中频率幅值最大的值对应的频率分量，将该分量作为融合图像在对应空间频率下的频率分量，遍历每个频率生成融合后图像的频域分量；最后对融合后图像的频域分量进行傅里叶逆变换，得到融合后的图像。该方法能够在不更换相机和镜头的情况下，利用相同分辨率的图片合成具有不同位置物体细节信息的图片，为计算机视觉检测等应用领域提供了一种快速便捷的图像融合方法。

Description

一种基于傅立叶频谱提取的图像融合方法
技术领域
本发明涉及一种于图像融合方法，具体涉及一种基于傅立叶变换频谱提取的图像融合方法，属于图像处理技术领域。
背景技术
图像融合作为信息融合的一个重要领域已经广泛应用于遥感、计算机视觉、医学、军事目标探测和识别等方面。
目前比较流行的是源于多分辨率的方法，这类方法一大类是基于图像的高斯金字塔分解，然后派生出拉普拉斯金字塔，灰度金字塔，梯度金字塔等；另一大类是基于小波分解的算法，基本思想是把图像分解到不同分辨率下的一个系列予图像，其中每一级包含一个包含低频信息的模糊子图像和三个行、列，对角线方向上的高频细节子图像。这两类方法的共同之处都是在不同的分辨下各自按一定的规则融合，得到一个融合后的图像序列。
发明内容
本发明所要解决的技术问题是提供一种基于傅立叶频谱提取的图像融合方法，该方法通过傅里叶变换提取图像清晰区域，从而实现在小景深的拍摄条件下，利用多张图融合，生成一张在沿拍摄方向上包含不同深度物体细节信息图片的方法。
为解决上述技术问题，本发明所采用的技术方案为：
一种基于傅立叶频谱提取的图像融合方法，所述图像融合方法通过对不同对焦位置的图像进行傅里叶变换，在变换后的频域空间中提取不同对焦位置图像中频率幅值最大的值对应的频率分量，将该分量作为融合图像在对应空间频率下的频率分量，遍历每个频率生成融合后图像的频域分量；最后对融合后图像的频域分量进行傅里叶逆变换，得到融合后的图像。
其中，上述基于傅立叶频谱提取的图像融合方法，具体包括以下步骤：
(1)对待融合的多幅图像获取每一幅图像的灰度图像信息：
fn(x，y)，(x＜K，y＜L)，n＝1，2，...，N
其中，(x，y)是所述灰度图像的像素坐标，K和L分别是图像x和y方向的边界值。N为多幅图像的总数量；
(2)利用二维离散傅立叶变换，将步骤(1)中获取的N幅空间域的灰度图像变换到频域，得到每一幅图像的频率分量：
其中，(fx，fy)是空间频率的坐标，表示了x，y方向上的空间频率，|Fn(fx，fy)|是频域幅值的大小；
(3)根据步骤(2)中获取的频域幅值的大小|Fn(fx，fy)|，提取空间频率(fx，fy)下N幅图中频率幅值|Fn(fx，fy)|最大的值所对应的频率分量作为融合图像的在该空间频率下的频率分量；遍历频率域内每一点(即每一个空间频率(fx，fy))采用上述的方法，最终生成N幅图融合后的频域分量：
Fn(fx，fy)→F(fx，fy)；
(4)利用二维离散傅立叶逆变换对步骤(3)中获取的融合后的频域分量进行逆变换，获取空间域重构后的灰度图像，即为N幅图融合后的图像：
f(x，y)就是重构之后得到的灰度图像。
其中，步骤(1)中，多幅图像的数量N大于等于2。
其中，步骤(1)中，被融合的多幅图像具有相同的视场范围和分辨率。
其中，步骤(1)中，多幅图像对不同深度位置的物体或同一物体具有不同的对焦深度。
有益效果：本发明的图像融合方法，通过对不同对焦位置的图片的傅立叶变换，理解频域信号代表了空间域中图像的边缘、纹理等信息，将不同位置的细节信息提取出来，能够在不更换相机和镜头的情况下，利用相同分辨率的图片合成具有不同位置物体细节信息的图片，为计算机视觉检测等应用领域提供了一种快速便捷的图像融合方法，并且该方法计算简单、融合后的图像包含更多图像细节。
附图说明
图1为本发明基于傅立叶频谱提取的图像融合方法的流程图；
图2为本发明中同一视场、用同一相机拍摄不同对焦面的待融合图像；
图3是图2中三张图分别对应的二维离散傅立叶变换后的空间频率域分布的图像；
图4为图3中三幅空间频率域分布的图像融合后的频率域图像；
图5为图4通过二维离散傅立叶逆变换后重建的空间域的图像。
具体实施方式
根据下述实施例，可以更好地理解本发明。然而，本领域的技术人员容易理解，实施例所描述的内容仅用于说明本发明，而不应当也不会限制权利要求书中所详细描述的本发明。
如图1～5所示，本发明图像融合方法，基于傅立叶变换，提取图像清晰区域，从而实现在小景深的拍摄条件下，利用多张图融合，生成一张在沿拍摄方向上包含不同深度物体细节信息的图片。
本发明算法需要在相同的视场范围内，通过改变镜头的对焦位置，在不同的深度方向(Z方向)拍摄N幅图像。由于受限于镜头的景深，每幅图像只有在对焦面附近前后很小的深度能清晰成在像面上(X、Y方向)。为了能在一张图上显示拍摄物体(或空间)三维(X、Y、Z方向)的信息，要将N幅图进行融合，生成一张图像。从该图像上可以获取不同深度位置物体的细节信息(X、Y方向)。
本发明方法具体包含如下步骤：
(1)对待融合的多幅图像获取每一幅图像的灰度图像信息：
fn(x，y)，(x＜K，y＜L)，n＝1，2，...，N
其中，(x，y)是所述灰度图像的像素坐标，K和L分别是图像x和y方向的边界值。N为多幅图像的总数量，N大于等于2。多幅图像具有相同的视场范围和分辨率。多幅图像对不同深度位置的物体或同一物体具有不同的对焦深度。
(2)利用二维离散傅立叶变换，将步骤(1)中获取的N幅空间域的灰度图像变换到频域，得到每一幅图像的频率分量：
其中，(fx，fy)是空间频率的坐标，表示了x，y方向上的空间频率，|Fn(fx，fy)|是频域幅值的大小，其值越大表示该频率分量成分含量越多，图像的细节信息就越丰富。
(3)根据步骤(2)中获取的频域幅值的大小|Fn(fx，fy)|，提取空间频率(fx，fy)下N幅图中频率幅值|Fn(fx，fy)|最大的值所对应的频率分量作为融合图像的在该空间频率下的频率分量；遍历频率域内每一点(即每一个空间频率(fx，fy))采用上述的方法，最终生成N幅图融合后的频域分量：
Fn(fx，fy)→F(fx，fy)
(4)空间域图像重构步骤，因为fx，fy的方向性，F(fx，fy)包含了N幅图像中不同位置处的图像的细节信息，为了从频域还原到空间域得到融合后的图像效果，利用二维离散傅立叶逆变换对步骤(3)中获取的融合后的频域分量进行逆变换，获取空间域重构后的灰度图像，即为N幅图融合后的图像：
f(x，y)就是重构之后得到的灰度图像。
图2中分别只在各自对焦的位置处的图片显示很清晰，即边缘和细节纹理信息比较丰富；而在融合后的图像中(图5)，三处对焦位置的细节信息很好的融合到了一张图中，即从一张图中可以看到不同拍摄深度位置物体的细节信息，较有效的实现了图像融合的效果。

Claims (5)

1.一种基于傅立叶频谱提取的图像融合方法，其特征在于：所述图像融合方法通过对不同对焦位置的图像进行傅里叶变换，在变换后的频域空间中提取不同对焦位置图像中频率幅值最大的值对应的频率分量，将该频率分量作为融合图像在对应空间频率下的频率分量，遍历每个频率生成融合后图像的频域分量；最后对融合后图像的频域分量进行傅里叶逆变换，得到融合后的图像。
2.根据权利要求1所述的基于傅立叶频谱提取的图像融合方法，其特征在于：具体包括以下步骤：
(1)对待融合的多幅图像获取每一幅图像的灰度图像信息：
fn(x，y)，(x＜K，y＜L)，n＝1，2，...，N
其中，(x，y)是所述灰度图像的像素坐标，K和L分别是图像x和y方向的边界值，N为多幅图像的总数量；
(2)利用二维离散傅立叶变换，将步骤(1)中获取的N幅空间域的灰度图像变换到频域，得到每一幅图像的频率分量：
其中，(fx，fy)是空间频率的坐标，表示了x，y方向上的空间频率，|Fn(fx，fy)|是频域幅值的大小；
(3)根据步骤(2)中获取的频域幅值的大小|Fn(fx，fy)|，提取空间频率(fx，fy)下N幅图中频率幅值|Fn(fx，fy)|最大的值所对应的频率分量作为融合图像的在该空间频率下的频率分量；遍历频率域内每一点均采用上述的方法，最终生成N幅图融合后的频域分量：
Fn(fx，fy)→F(fx，fy)；
(4)利用二维离散傅立叶逆变换对步骤(3)中获取的融合后的频域分量进行逆变换，获取空间域重构后的灰度图像，即为N幅图融合后的图像：
f(x，y)就是重构之后得到的灰度图像。
3.根据权利要求2所述的基于傅立叶频谱提取的图像融合方法，其特征在于：步骤(1)中，所述多幅图像的数量N大于等于2。
4.根据权利要求2所述的基于傅立叶频谱提取的图像融合方法，其特征在于：步骤(1)中，被融合的多幅图像具有相同的视场范围和分辨率。
5.根据权利要求2所述的基于傅立叶频谱提取的图像融合方法，其特征在于：步骤(1)中，所述多幅图像对不同深度位置的物体或同一物体具有不同的对焦深度。
CN201910705942.2A 2019-07-31 2019-07-31 一种基于傅立叶频谱提取的图像融合方法 Active CN110503620B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910705942.2A CN110503620B (zh) 2019-07-31 2019-07-31 一种基于傅立叶频谱提取的图像融合方法
PCT/CN2020/091353 WO2021017588A1 (zh) 2019-07-31 2020-05-20 一种基于傅立叶频谱提取的图像融合方法
US17/583,239 US20220148297A1 (en) 2019-07-31 2022-01-25 Image fusion method based on fourier spectrum extraction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910705942.2A CN110503620B (zh) 2019-07-31 2019-07-31 一种基于傅立叶频谱提取的图像融合方法

Publications (2)

Publication Number Publication Date
CN110503620A true CN110503620A (zh) 2019-11-26
CN110503620B CN110503620B (zh) 2023-01-06

Family

ID=68587003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910705942.2A Active CN110503620B (zh) 2019-07-31 2019-07-31 一种基于傅立叶频谱提取的图像融合方法

Country Status (3)

Country Link
US (1) US20220148297A1 (zh)
CN (1) CN110503620B (zh)
WO (1) WO2021017588A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116102A (zh) * 2020-09-27 2020-12-22 张洪铭 一种域适应训练集的扩展方法及系统
WO2021017588A1 (zh) * 2019-07-31 2021-02-04 茂莱（南京）仪器有限公司 一种基于傅立叶频谱提取的图像融合方法
CN115931319A (zh) * 2022-10-27 2023-04-07 圣名科技(广州)有限责任公司 故障诊断方法、装置、电子设备及存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113643271A (zh) * 2021-08-24 2021-11-12 凌云光技术股份有限公司 一种基于频域滤波的图像瑕疵检测方法及装置
CN116309189B (zh) * 2023-05-17 2023-07-28 中国人民解放军海军青岛特勤疗养中心 一种船舶烧伤伤员紧急转运分类的图像处理方法
CN117197625B (zh) * 2023-08-29 2024-04-05 珠江水利委员会珠江水利科学研究院 基于相关分析的遥感影像空-谱融合方法、系统、设备及介质
CN117274763B (zh) * 2023-11-21 2024-04-05 珠江水利委员会珠江水利科学研究院 基于平衡点分析的遥感影像空-谱融合方法、系统、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103500443A (zh) * 2013-10-10 2014-01-08 中国科学院上海技术物理研究所 一种基于傅里叶变换的红外偏振图像融合方法
CN104361570A (zh) * 2014-11-19 2015-02-18 深圳市富视康实业发展有限公司 一种基于分数阶傅里叶变换的图像融合方法
CN106780392A (zh) * 2016-12-27 2017-05-31 浙江大华技术股份有限公司 一种图像融合方法及装置
CN109118466A (zh) * 2018-08-29 2019-01-01 电子科技大学 一种红外图像与可见光图像融合的处理方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105430266A (zh) * 2015-11-30 2016-03-23 努比亚技术有限公司 基于多尺度变换的图像处理方法及终端
CN105931209B (zh) * 2016-04-07 2019-05-31 重庆邮电大学 一种基于离散正交多项式变换的多聚焦图像融合方法
CN108399611B (zh) * 2018-01-31 2021-10-26 西北工业大学 基于梯度正则化的多聚焦图像融合方法
CN110503620B (zh) * 2019-07-31 2023-01-06 茂莱（南京）仪器有限公司 一种基于傅立叶频谱提取的图像融合方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103500443A (zh) * 2013-10-10 2014-01-08 中国科学院上海技术物理研究所 一种基于傅里叶变换的红外偏振图像融合方法
CN104361570A (zh) * 2014-11-19 2015-02-18 深圳市富视康实业发展有限公司 一种基于分数阶傅里叶变换的图像融合方法
CN106780392A (zh) * 2016-12-27 2017-05-31 浙江大华技术股份有限公司 一种图像融合方法及装置
WO2018120936A1 (en) * 2016-12-27 2018-07-05 Zhejiang Dahua Technology Co., Ltd. Systems and methods for fusing infrared image and visible light image
CN109118466A (zh) * 2018-08-29 2019-01-01 电子科技大学 一种红外图像与可见光图像融合的处理方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021017588A1 (zh) * 2019-07-31 2021-02-04 茂莱（南京）仪器有限公司 一种基于傅立叶频谱提取的图像融合方法
CN112116102A (zh) * 2020-09-27 2020-12-22 张洪铭 一种域适应训练集的扩展方法及系统
CN115931319A (zh) * 2022-10-27 2023-04-07 圣名科技(广州)有限责任公司 故障诊断方法、装置、电子设备及存储介质
CN115931319B (zh) * 2022-10-27 2023-10-10 圣名科技(广州)有限责任公司 故障诊断方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US20220148297A1 (en) 2022-05-12
CN110503620B (zh) 2023-01-06
WO2021017588A1 (zh) 2021-02-04

Similar Documents

Publication Publication Date Title
CN110503620A (zh) 一种基于傅立叶频谱提取的图像融合方法
Kalantari et al. Learning-based view synthesis for light field cameras
Yue et al. Image denoising by exploring external and internal correlations
Dong et al. Color-guided depth recovery via joint local structural and nonlocal low-rank regularization
Yang et al. Real-time photorealistic dynamic scene representation and rendering with 4d gaussian splatting
Kasem et al. Spatial transformer generative adversarial network for robust image super-resolution
CN109118544A (zh) 基于透视变换的合成孔径成像方法
Adil et al. Multi scale-adaptive super-resolution person re-identification using GAN
Meng et al. LightGAN: A deep generative model for light field reconstruction
Lu et al. Simultaneous direct depth estimation and synthesis stereo for single image plant root reconstruction
Pan et al. Multi-stage feature pyramid stereo network-based disparity estimation approach for two to three-dimensional video conversion
Chen et al. A color-guided, region-adaptive and depth-selective unified framework for Kinect depth recovery
Kwon et al. Neural image-based avatars: Generalizable radiance fields for human avatar modeling
Ma et al. VommaNet: An End-to-End network for disparity estimation from reflective and texture-less light field images
Wang et al. Accurate 3D reconstruction of single-frame speckle-encoded textureless surfaces based on densely connected stereo matching network
Anisimov et al. Rapid light field depth estimation with semi-global matching
Ma et al. Light field image quality assessment using natural scene statistics and texture degradation
Martin et al. Nerf-qa: Neural radiance fields quality assessment database
Li et al. A Bayesian approach to uncertainty-based depth map super resolution
Chen et al. MoCo‐Flow: Neural Motion Consensus Flow for Dynamic Humans in Stationary Monocular Cameras
Thamilselvan et al. A novel profuse clustering technique for image denoising
Jiao et al. Generalizable Person Re-Identification via Viewpoint Alignment and Fusion
Deng et al. EA-EDNet: encapsulated attention encoder-decoder network for 3D reconstruction in low-light-level environment
Jäger et al. A comparative Neural Radiance Field (NeRF) 3D analysis of camera poses from HoloLens trajectories and Structure from Motion
Liu Sculpture 3D Modeling Method Based on Image Sequence

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant