CN110517211A - 一种基于梯度域映射的图像融合方法 - Google Patents

一种基于梯度域映射的图像融合方法 Download PDF

Info

Publication number
CN110517211A
CN110517211A CN201910705298.9A CN201910705298A CN110517211A CN 110517211 A CN110517211 A CN 110517211A CN 201910705298 A CN201910705298 A CN 201910705298A CN 110517211 A CN110517211 A CN 110517211A
Authority
CN
China
Prior art keywords
gradient
image
images
fused
domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910705298.9A
Other languages
English (en)
Other versions
CN110517211B (zh
Inventor
彭新雨
周威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maolai (Nanjing) Instrument Co Ltd
Original Assignee
Maolai (Nanjing) Instrument Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maolai (Nanjing) Instrument Co Ltd filed Critical Maolai (Nanjing) Instrument Co Ltd
Priority to CN201910705298.9A priority Critical patent/CN110517211B/zh
Publication of CN110517211A publication Critical patent/CN110517211A/zh
Priority to PCT/CN2020/091354 priority patent/WO2021017589A1/zh
Priority to US17/581,995 priority patent/US20220148143A1/en
Application granted granted Critical
Publication of CN110517211B publication Critical patent/CN110517211B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于梯度域映射的图像融合方法，该方法基于梯度域，提取图像清晰信息然后映射到空间域，从而实现在小景深的拍摄条件下，利用多张图融合，生成一张在沿拍摄方向上包含不同深度物体细节信息图片。该方法能够在不更换相机和镜头的情况下，在相同的拍摄环境和视场，利用多张相同分辨率的图片合成具有不同位置物体细节信息的图片，为计算机视觉检测等应用领域提供了一种快速便捷的图像融合方法。

Description

一种基于梯度域映射的图像融合方法
技术领域
本发明涉及一种于图像融合算法，具体涉及一种基于梯度域映射的图像融合算法，属于图像处理技术领域。
背景技术
图像融合是利用给定方法将同一目标场景的多幅图像变成一幅包含丰富信息的图像，融合后的图像包含了原始图像的所有信息。图像融合技术应用非常广泛，目前，已广泛应用于医学、遥感等领域
图像融合的结构一般分为三个层次：像素级融合、特征级融合、决策级融合。像素级融合是最简单也是最直接的一种融合方法，即直接将从图像传感器获得的图像数据进行处理而获得融合图像，其融合算法有PCA和小波分解融合法等；特征级融合首先获得图像的不同特征，然后利用某些算法融合图像的这些特征；决策级融合是最高级的融合，融合方法有基于贝叶斯法的决策级融合等。
发明内容
本发明所要解决的技术问题是提供一种基于梯度域映射的图像融合方法，该方法基于梯度域，提取图像清晰信息然后映射到空间域，从而实现在小景深的拍摄条件下，利用多张图融合，生成一张在沿拍摄方向上包含不同深度物体细节的信息图片。
为解决上述技术问题，本发明所采用的技术方案为：
一种基于梯度域映射的图像融合方法，将多幅不同对焦位置的图像相融合，生成不同对焦位置物体细节同时清晰的图像，所述方法将待融合的多幅图像进行梯度域变换，在梯度域下提取每一个像素点对应的多幅图像中梯度膜的最大值作为最终融合图像在该像素点的梯度值，遍历每个像素点得到最终融合图像的梯度域分布；将多幅待融合图像根据得出的梯度域分布映射到同一空间域内，获得融合后的图像。
其中，上述基于梯度域映射的图像融合方法，具体包括以下步骤：
(1)对待融合的多幅图像获取每一幅图像的灰度图像信息：
fn(x，y)，(x＜K，y＜L)，n＝1，2，...，N
其中，(x，y)是灰度图像的像素坐标，K和L分别是图像x和y方向的边界值，N为多幅图像的总数量；
(2)利用哈密顿算子构造出N幅图像的梯度域：
其中，为沿x、y方向的单位方向矢量，|grand fn(x，y)|是梯度域下梯度的模；
(3)根据梯度域下梯度的模|grand fn(x，y)|的大小，提取N幅图中(x，y)像素点对应的梯度的模值的最大值，作为最终图像在该(x，y)点的梯度值；遍历每一个像素坐标(x，y)，采用上述的方法，最终生成所有像素点下融合后的梯度域分布：
grand fn(x，y)→grand f(x，y).
(4)根据步骤(3)获取的梯度域分布，遍历每一个像素点(x，y)，在该像素点下选取梯度域对应的所在图像的像素点值作为融合后的图像的像素点，实现N幅图通过梯度域分布，映射到同一空间域内，获得融合后的图像：
其中，f(x，y)为映射之后得到的融合后的灰度图像。
其中，步骤(1)中，所述多幅图像的数量N大于等于2。
其中，步骤(1)中，被融合的多幅图像具有相同的视场范围和分辨率。
其中，步骤(1)中，所述多幅图像对不同深度位置的物体或同一物体具有不同的对焦深度。
有益效果：本发明的图像融合方法，由于梯度值的大小反映了图像在该点的变化大小(细节信息)，通过选取最大梯度模值来映射对应的灰度值，将不同位置的细节信息提取出来，能够在不更换相机和镜头的情况下，在相同的拍摄环境和视场，利用多张相同分辨率的图片合成具有不同位置物体细节信息的图片，为计算机视觉检测等应用领域提供了一种快速便捷的图像融合方法。
附图说明
图1为本发明基于梯度域映射的图像融合方法的流程图；
图2为本发明中同一视场、用同一相机拍摄不同对焦面的待融合图像；
图3是图2中三张图分别对应的梯度域模值分布的图像；
图4是图3中三幅梯度域模值分布图像融合后的梯度域图像；
图5是通过图4映射后重建的空间域图像。
具体实施方式
根据下述实施例，可以更好地理解本发明。然而，本领域的技术人员容易理解，实施例所描述的内容仅用于说明本发明，而不应当也不会限制权利要求书中所详细描述的本发明。
如图1所示，本发明图像融合方法基于梯度域，提取图像清晰信息然后映射到空间域，从而实现在小景深的拍摄条件下，利用多张图融合，生成一张在沿拍摄方向上包含不同深度物体细节信息图片。
本发明算法需要在相同的视场范围内，通过改变镜头的对焦位置，在不同的深度方向(Z方向)拍摄N幅图像。由于受限于镜头的景深，每幅图像只有在对焦面附近前后很小的深度能清晰成在像面上(X、Y方向)。为了能在一张图上显示拍摄物体(或空间)三维(X、Y、Z方向)的信息，要将N幅图进行融合，生成一张图像。从该图像上可以获取不同深度位置物体的细节信息(X、Y方向)。
本发明方法具体包括以下步骤：
(1)对待融合的多幅图像获取每一幅图像的灰度图像信息：
fn(x，y)，(x＜K，y＜L)，n＝1，2，...，N
其中，(x，y)是灰度图像的像素坐标，K和L分别是图像x和y方向的边界值，N为多幅图像的总数量，N大于等于2。多幅图像具有相同的视场范围和分辨率。多幅图像对不同深度位置的物体或同一物体具有不同的对焦深度；
(2)利用哈密顿算子构造出N幅图像的梯度域：
其中，为沿x、y方向的单位方向矢量，|grand fn(x，y)|是梯度域下梯度的模，反应了该点灰度的变化大小，其值越大表示该点处的梯度变换越明显，对应的图像细节信息就越丰富；
(3)根据梯度域下梯度的模|grand fn(x，y)|的大小，提取N幅图中(x，y)像素点对应的梯度的模值的最大值，作为最终图像在该(x，y)点的梯度值；遍历每一个像素坐标(x，y)，采用上述的方法，最终生成所有像素点下融合后的梯度域分布：
grand fn(x，y)→grand f(x，y)；
(4)空间域映射重构步骤，融合后的梯度图在每一点具有最大的梯度模值，则其对应的空间信息也最为丰富；根据步骤(3)获取的梯度域分布，遍历每一个像素点(x，y)，在该像素点下选取梯度域对应的所在图像的像素点值作为融合后的图像的像素点，实现N幅图通过梯度域分布，映射到同一空间域内，获得融合后的图像：
其中，f(x，y)为映射之后得到的融合后的灰度图像。
图2为分别只在各自对焦的位置处的图片显示很清晰，即边缘和细节纹理信息比较丰富；而在融合后的图像中(图5)，三处对焦位置的细节信息很好的融合到了一张图中，即从一张图中可以看到不同拍摄深度位置物体的细节信息，较有效的实现了图像融合的效果。

Claims (5)

1.一种基于梯度域映射的图像融合方法，其特征在于：所述方法将待融合的多幅图像进行梯度域变换，在梯度域下提取每一个像素点对应的多幅图像中梯度膜的最大值作为最终融合图像在该像素点的梯度值，遍历每个像素点得到最终融合图像的梯度域分布；将多幅待融合图像根据得出的梯度域分布映射到同一空间域内，获得融合后的图像。
2.根据权利要求1所述的基于梯度域映射的图像融合方法，其特征在于，具体包括以下步骤：
(1)对待融合的多幅图像获取每一幅图像的灰度图像信息：
fn(x，y)，(x＜K，y＜L)，n＝1，2，...，N
其中，(x，y)是灰度图像的像素坐标，K和L分别是图像x和y方向的边界值，N为多幅图像的总数量；
(2)利用哈密顿算子构造出N幅图像的梯度域：
其中，为沿x、y方向的单位方向矢量，|grandfn(x，y)|是梯度域下梯度的模；
(3)根据梯度域下梯度的模|grandfn(x，y)|的大小，提取N幅图中(x，y)像素点对应的梯度的模值的最大值，作为最终图像在该(x，y)点的梯度值；遍历每一个像素坐标(x，y)，采用上述的方法，最终生成所有像素点下融合后的梯度域分布：
grandfn(x，y)→grandf(x，y)；
(4)根据步骤(3)获取的梯度域分布，遍历每一个像素点(x，y)，在该像素点下选取梯度域对应的所在图像的像素点值作为融合后的图像的像素点，实现N幅图通过梯度域分布，映射到同一空间域内，获得融合后的图像：
其中，f(x，y)为映射之后得到的融合后的灰度图像。
3.根据权利要求2所述的基于梯度域映射的图像融合方法，其特征在于：步骤(1)中，所述多幅图像的数量N大于等于2。
4.根据权利要求2所述的基于梯度域映射的图像融合方法，其特征在于：步骤(1)中，被融合的多幅图像具有相同的视场范围和分辨率。
5.根据权利要求2所述的基于梯度域映射的图像融合方法，其特征在于：步骤(1)中，所述多幅图像对不同深度位置的物体或同一物体具有不同的对焦深度。
CN201910705298.9A 2019-07-31 2019-07-31 一种基于梯度域映射的图像融合方法 Active CN110517211B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910705298.9A CN110517211B (zh) 2019-07-31 2019-07-31 一种基于梯度域映射的图像融合方法
PCT/CN2020/091354 WO2021017589A1 (zh) 2019-07-31 2020-05-20 一种基于梯度域映射的图像融合方法
US17/581,995 US20220148143A1 (en) 2019-07-31 2022-01-24 Image fusion method based on gradient domain mapping

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910705298.9A CN110517211B (zh) 2019-07-31 2019-07-31 一种基于梯度域映射的图像融合方法

Publications (2)

Publication Number Publication Date
CN110517211A true CN110517211A (zh) 2019-11-29
CN110517211B CN110517211B (zh) 2023-06-13

Family

ID=68624196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910705298.9A Active CN110517211B (zh) 2019-07-31 2019-07-31 一种基于梯度域映射的图像融合方法

Country Status (3)

Country Link
US (1) US20220148143A1 (zh)
CN (1) CN110517211B (zh)
WO (1) WO2021017589A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021017589A1 (zh) * 2019-07-31 2021-02-04 茂莱（南京）仪器有限公司 一种基于梯度域映射的图像融合方法
CN114972142A (zh) * 2022-05-13 2022-08-30 杭州汇萃智能科技有限公司 一种变物距情况下的远心镜头图像合成方法
CN115170557A (zh) * 2022-08-08 2022-10-11 中山大学中山眼科中心 结膜杯状细胞成像的图像融合方法及装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115131412B (zh) * 2022-05-13 2024-05-14 国网浙江省电力有限公司宁波供电公司 多光谱图像融合过程中的图像处理方法
CN116563279B (zh) * 2023-07-07 2023-09-19 山东德源电力科技股份有限公司 基于计算机视觉的量测开关检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107481211A (zh) * 2017-08-15 2017-12-15 北京工业大学 一种基于梯度域融合的夜间交通监控增强方法
CN107578418A (zh) * 2017-09-08 2018-01-12 华中科技大学 一种融合色彩和深度信息的室内场景轮廓检测方法
WO2018082185A1 (zh) * 2016-11-03 2018-05-11 广州视源电子科技股份有限公司 图像处理方法和装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7417213B2 (en) * 2005-06-22 2008-08-26 Tripath Imaging, Inc. Apparatus and method for rapid microscopic image focusing having a movable objective
JP2009278363A (ja) * 2008-05-14 2009-11-26 Canon Inc 画像処理装置及び画像処理方法
CN102692364B (zh) * 2012-06-25 2014-05-28 上海理工大学 采用一种基于模糊图像处理的动态颗粒测量装置的颗粒测量方法
CN103973963B (zh) * 2013-02-06 2017-11-21 聚晶半导体股份有限公司 图像获取装置及其图像处理方法
CN104036481B (zh) * 2014-06-26 2017-02-15 武汉大学 一种基于深度信息提取的多聚焦图像融合方法
CN108734686A (zh) * 2018-05-28 2018-11-02 成都信息工程大学 基于非负矩阵分解及视觉感知的多聚焦图像融合方法
CN109934772B (zh) * 2019-03-11 2023-10-27 影石创新科技股份有限公司 一种图像融合方法、装置及便携式终端
CN110517211B (zh) * 2019-07-31 2023-06-13 茂莱（南京）仪器有限公司 一种基于梯度域映射的图像融合方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018082185A1 (zh) * 2016-11-03 2018-05-11 广州视源电子科技股份有限公司 图像处理方法和装置
CN107481211A (zh) * 2017-08-15 2017-12-15 北京工业大学 一种基于梯度域融合的夜间交通监控增强方法
CN107578418A (zh) * 2017-09-08 2018-01-12 华中科技大学 一种融合色彩和深度信息的室内场景轮廓检测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021017589A1 (zh) * 2019-07-31 2021-02-04 茂莱（南京）仪器有限公司 一种基于梯度域映射的图像融合方法
CN114972142A (zh) * 2022-05-13 2022-08-30 杭州汇萃智能科技有限公司 一种变物距情况下的远心镜头图像合成方法
CN115170557A (zh) * 2022-08-08 2022-10-11 中山大学中山眼科中心 结膜杯状细胞成像的图像融合方法及装置

Also Published As

Publication number Publication date
CN110517211B (zh) 2023-06-13
US20220148143A1 (en) 2022-05-12
WO2021017589A1 (zh) 2021-02-04

Similar Documents

Publication Publication Date Title
CN110517211B (zh) 一种基于梯度域映射的图像融合方法
CN111325794B (zh) 一种基于深度卷积自编码器的视觉同时定位与地图构建方法
Dolson et al. Upsampling range data in dynamic environments
US10225473B2 (en) Threshold determination in a RANSAC algorithm
CN110378838B (zh) 变视角图像生成方法，装置，存储介质及电子设备
US20130335535A1 (en) Digital 3d camera using periodic illumination
US9824486B2 (en) High resolution free-view interpolation of planar structure
CN110381268B (zh) 生成视频的方法，装置，存储介质及电子设备
CN110503620B (zh) 一种基于傅立叶频谱提取的图像融合方法
JP2017204673A (ja) 画像処理装置、画像処理方法及びプログラム
US20180181816A1 (en) Handling Perspective Magnification in Optical Flow Proessing
Tsiminaki et al. High resolution 3D shape texture from multiple videos
CN115035235A (zh) 三维重建方法及装置
CN116958437A (zh) 融合注意力机制的多视图重建方法及系统
JP2011165081A (ja) 画像生成方法、画像生成装置、及びプログラム
Schedl et al. Directional super-resolution by means of coded sampling and guided upsampling
Fu et al. Image stitching techniques applied to plane or 3-D models: a review
Ha et al. Embedded panoramic mosaic system using auto-shot interface
Tsiminaki et al. Joint multi-view texture super-resolution and intrinsic decomposition
Yan et al. Stereoscopic image generation from light field with disparity scaling and super-resolution
JP2002094849A (ja) 広視野画像撮像装置
CN113808070A (zh) 一种双目数字散斑图像相关的视差测量方法
Abdul-Rahim et al. An in depth review paper on numerous image mosaicing approaches and techniques
Howells et al. Depth maps comparisons from monocular images by midas convolutional neural networks and dense prediction transformers
CN113805824A (zh) 电子装置以及在显示设备上显示图像的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant