CN110517211B - 一种基于梯度域映射的图像融合方法 - Google Patents
一种基于梯度域映射的图像融合方法 Download PDFInfo
- Publication number
- CN110517211B CN110517211B CN201910705298.9A CN201910705298A CN110517211B CN 110517211 B CN110517211 B CN 110517211B CN 201910705298 A CN201910705298 A CN 201910705298A CN 110517211 B CN110517211 B CN 110517211B
- Authority
- CN
- China
- Prior art keywords
- gradient
- image
- images
- fused
- domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013507 mapping Methods 0.000 title claims abstract description 21
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 17
- 230000004927 fusion Effects 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 9
- 230000009466 transformation Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 2
- 239000000284 extract Substances 0.000 description 2
- 238000013398 bayesian method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于梯度域映射的图像融合方法,该方法基于梯度域,提取图像清晰信息然后映射到空间域,从而实现在小景深的拍摄条件下,利用多张图融合,生成一张在沿拍摄方向上包含不同深度物体细节信息图片。该方法能够在不更换相机和镜头的情况下,在相同的拍摄环境和视场,利用多张相同分辨率的图片合成具有不同位置物体细节信息的图片,为计算机视觉检测等应用领域提供了一种快速便捷的图像融合方法。
Description
技术领域
本发明涉及一种于图像融合算法,具体涉及一种基于梯度域映射的图像融合算法,属于图像处理技术领域。
背景技术
图像融合是利用给定方法将同一目标场景的多幅图像变成一幅包含丰富信息的图像,融合后的图像包含了原始图像的所有信息。图像融合技术应用非常广泛,目前,已广泛应用于医学、遥感等领域
图像融合的结构一般分为三个层次:像素级融合、特征级融合、决策级融合。像素级融合是最简单也是最直接的一种融合方法,即直接将从图像传感器获得的图像数据进行处理而获得融合图像,其融合算法有PCA和小波分解融合法等;特征级融合首先获得图像的不同特征,然后利用某些算法融合图像的这些特征;决策级融合是最高级的融合,融合方法有基于贝叶斯法的决策级融合等。
发明内容
本发明所要解决的技术问题是提供一种基于梯度域映射的图像融合方法,该方法基于梯度域,提取图像清晰信息然后映射到空间域,从而实现在小景深的拍摄条件下,利用多张图融合,生成一张在沿拍摄方向上包含不同深度物体细节的信息图片。
为解决上述技术问题,本发明所采用的技术方案为:
一种基于梯度域映射的图像融合方法,将多幅不同对焦位置的图像相融合,生成不同对焦位置物体细节同时清晰的图像,所述方法将待融合的多幅图像进行梯度域变换,在梯度域下提取每一个像素点对应的多幅图像中梯度膜的最大值作为最终融合图像在该像素点的梯度值,遍历每个像素点得到最终融合图像的梯度域分布;将多幅待融合图像根据得出的梯度域分布映射到同一空间域内,获得融合后的图像。
其中,上述基于梯度域映射的图像融合方法,具体包括以下步骤:
(1)对待融合的多幅图像获取每一幅图像的灰度图像信息:
fn(x,y),(x<K,y<L),n=1,2,...,N
其中,(x,y)是灰度图像的像素坐标,K和L分别是图像x和y方向的边界值,N为多幅图像的总数量;
(3)根据梯度域下梯度的模|grand fn(x,y)|的大小,提取N幅图中(x,y)像素点对应的梯度的模值的最大值,作为最终图像在该(x,y)点的梯度值;遍历每一个像素坐标(x,y),采用上述的方法,最终生成所有像素点下融合后的梯度域分布:
grand fn(x,y)→grand f(x,y).
(4)根据步骤(3)获取的梯度域分布,遍历每一个像素点(x,y),在该像素点下选取梯度域对应的所在图像的像素点值作为融合后的图像的像素点,实现N幅图通过梯度域分布,映射到同一空间域内,获得融合后的图像:
其中,f(x,y)为映射之后得到的融合后的灰度图像。
其中,步骤(1)中,所述多幅图像的数量N大于等于2。
其中,步骤(1)中,被融合的多幅图像具有相同的视场范围和分辨率。
其中,步骤(1)中,所述多幅图像对不同深度位置的物体或同一物体具有不同的对焦深度。
有益效果:本发明的图像融合方法,由于梯度值的大小反映了图像在该点的变化大小(细节信息),通过选取最大梯度模值来映射对应的灰度值,将不同位置的细节信息提取出来,能够在不更换相机和镜头的情况下,在相同的拍摄环境和视场,利用多张相同分辨率的图片合成具有不同位置物体细节信息的图片,为计算机视觉检测等应用领域提供了一种快速便捷的图像融合方法。
附图说明
图1为本发明基于梯度域映射的图像融合方法的流程图;
图2为本发明中同一视场、用同一相机拍摄不同对焦面的待融合图像;
图3是图2中三张图分别对应的梯度域模值分布的图像;
图4是图3中三幅梯度域模值分布图像融合后的梯度域图像;
图5是通过图4映射后重建的空间域图像。
具体实施方式
根据下述实施例,可以更好地理解本发明。然而,本领域的技术人员容易理解,实施例所描述的内容仅用于说明本发明,而不应当也不会限制权利要求书中所详细描述的本发明。
如图1所示,本发明图像融合方法基于梯度域,提取图像清晰信息然后映射到空间域,从而实现在小景深的拍摄条件下,利用多张图融合,生成一张在沿拍摄方向上包含不同深度物体细节信息图片。
本发明算法需要在相同的视场范围内,通过改变镜头的对焦位置,在不同的深度方向(Z方向)拍摄N幅图像。由于受限于镜头的景深,每幅图像只有在对焦面附近前后很小的深度能清晰成在像面上(X、Y方向)。为了能在一张图上显示拍摄物体(或空间)三维(X、Y、Z方向)的信息,要将N幅图进行融合,生成一张图像。从该图像上可以获取不同深度位置物体的细节信息(X、Y方向)。
本发明方法具体包括以下步骤:
(1)对待融合的多幅图像获取每一幅图像的灰度图像信息:
fn(x,y),(x<K,y<L),n=1,2,...,N
其中,(x,y)是灰度图像的像素坐标,K和L分别是图像x和y方向的边界值,N为多幅图像的总数量,N大于等于2。多幅图像具有相同的视场范围和分辨率。多幅图像对不同深度位置的物体或同一物体具有不同的对焦深度;
(3)根据梯度域下梯度的模|grand fn(x,y)|的大小,提取N幅图中(x,y)像素点对应的梯度的模值的最大值,作为最终图像在该(x,y)点的梯度值;遍历每一个像素坐标(x,y),采用上述的方法,最终生成所有像素点下融合后的梯度域分布:
grand fn(x,y)→grand f(x,y);
(4)空间域映射重构步骤,融合后的梯度图在每一点具有最大的梯度模值,则其对应的空间信息也最为丰富;根据步骤(3)获取的梯度域分布,遍历每一个像素点(x,y),在该像素点下选取梯度域对应的所在图像的像素点值作为融合后的图像的像素点,实现N幅图通过梯度域分布,映射到同一空间域内,获得融合后的图像:
其中,f(x,y)为映射之后得到的融合后的灰度图像。
图2为分别只在各自对焦的位置处的图片显示很清晰,即边缘和细节纹理信息比较丰富;而在融合后的图像中(图5),三处对焦位置的细节信息很好的融合到了一张图中,即从一张图中可以看到不同拍摄深度位置物体的细节信息,较有效的实现了图像融合的效果。
Claims (4)
1.一种基于梯度域映射的图像融合方法,其特征在于:所述方法将待融合的多幅图像进行梯度域变换,在梯度域下提取每一个像素点对应的多幅图像中梯度模的最大值作为最终融合图像在该像素点的梯度值,遍历每个像素点得到最终融合图像的梯度域分布;将多幅待融合图像根据得出的梯度域分布映射到同一空间域内,获得融合后的图像;
具体包括以下步骤:
(1)对待融合的多幅图像获取每一幅图像的灰度图像信息:
fn(x,y),x<K,y<L,n=1,2,...,N
其中,(x,y)是灰度图像的像素坐标,K和L分别是图像x和y方向的边界值,N为多幅图像的总数量;
(3)根据梯度域下梯度的模|grand fn(x,y)|的大小,提取N幅图中(x,y)像素点对应的梯度的模值的最大值,作为最终图像在该(x,y)点的梯度值;遍历每一个像素坐标(x,y),采用上述的方法,最终生成所有像素点下融合后的梯度域分布:
grand fn(x,y)→grand f(x,y);
(4)根据步骤(3)获取的梯度域分布,遍历每一个像素点(x,y),在该像素点下选取梯度域对应的所在图像的像素点值作为融合后的图像的像素点,实现N幅图通过梯度域分布,映射到同一空间域内,获得融合后的图像:
其中,f(x,y)为映射之后得到的融合后的灰度图像。
2.根据权利要求1所述的基于梯度域映射的图像融合方法,其特征在于:步骤(1)中,所述多幅图像的数量N大于等于2。
3.根据权利要求1所述的基于梯度域映射的图像融合方法,其特征在于:步骤(1)中,被融合的多幅图像具有相同的视场范围和分辨率。
4.根据权利要求1所述的基于梯度域映射的图像融合方法,其特征在于:步骤(1)中,所述多幅图像对不同深度位置的物体或同一物体具有不同的对焦深度。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910705298.9A CN110517211B (zh) | 2019-07-31 | 2019-07-31 | 一种基于梯度域映射的图像融合方法 |
PCT/CN2020/091354 WO2021017589A1 (zh) | 2019-07-31 | 2020-05-20 | 一种基于梯度域映射的图像融合方法 |
US17/581,995 US20220148143A1 (en) | 2019-07-31 | 2022-01-24 | Image fusion method based on gradient domain mapping |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910705298.9A CN110517211B (zh) | 2019-07-31 | 2019-07-31 | 一种基于梯度域映射的图像融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110517211A CN110517211A (zh) | 2019-11-29 |
CN110517211B true CN110517211B (zh) | 2023-06-13 |
Family
ID=68624196
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910705298.9A Active CN110517211B (zh) | 2019-07-31 | 2019-07-31 | 一种基于梯度域映射的图像融合方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220148143A1 (zh) |
CN (1) | CN110517211B (zh) |
WO (1) | WO2021017589A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110517211B (zh) * | 2019-07-31 | 2023-06-13 | 茂莱(南京)仪器有限公司 | 一种基于梯度域映射的图像融合方法 |
CN115131412B (zh) * | 2022-05-13 | 2024-05-14 | 国网浙江省电力有限公司宁波供电公司 | 多光谱图像融合过程中的图像处理方法 |
CN114972142A (zh) * | 2022-05-13 | 2022-08-30 | 杭州汇萃智能科技有限公司 | 一种变物距情况下的远心镜头图像合成方法 |
CN115170557A (zh) * | 2022-08-08 | 2022-10-11 | 中山大学中山眼科中心 | 结膜杯状细胞成像的图像融合方法及装置 |
CN116563279B (zh) * | 2023-07-07 | 2023-09-19 | 山东德源电力科技股份有限公司 | 基于计算机视觉的量测开关检测方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7417213B2 (en) * | 2005-06-22 | 2008-08-26 | Tripath Imaging, Inc. | Apparatus and method for rapid microscopic image focusing having a movable objective |
JP2009278363A (ja) * | 2008-05-14 | 2009-11-26 | Canon Inc | 画像処理装置及び画像処理方法 |
CN102692364B (zh) * | 2012-06-25 | 2014-05-28 | 上海理工大学 | 采用一种基于模糊图像处理的动态颗粒测量装置的颗粒测量方法 |
CN103973963B (zh) * | 2013-02-06 | 2017-11-21 | 聚晶半导体股份有限公司 | 图像获取装置及其图像处理方法 |
CN104036481B (zh) * | 2014-06-26 | 2017-02-15 | 武汉大学 | 一种基于深度信息提取的多聚焦图像融合方法 |
CN106485720A (zh) * | 2016-11-03 | 2017-03-08 | 广州视源电子科技股份有限公司 | 图像处理方法和装置 |
CN107481211B (zh) * | 2017-08-15 | 2021-01-05 | 北京工业大学 | 一种基于梯度域融合的夜间交通监控增强方法 |
CN107578418B (zh) * | 2017-09-08 | 2020-05-19 | 华中科技大学 | 一种融合色彩和深度信息的室内场景轮廓检测方法 |
CN108734686A (zh) * | 2018-05-28 | 2018-11-02 | 成都信息工程大学 | 基于非负矩阵分解及视觉感知的多聚焦图像融合方法 |
CN109934772B (zh) * | 2019-03-11 | 2023-10-27 | 影石创新科技股份有限公司 | 一种图像融合方法、装置及便携式终端 |
CN110517211B (zh) * | 2019-07-31 | 2023-06-13 | 茂莱(南京)仪器有限公司 | 一种基于梯度域映射的图像融合方法 |
-
2019
- 2019-07-31 CN CN201910705298.9A patent/CN110517211B/zh active Active
-
2020
- 2020-05-20 WO PCT/CN2020/091354 patent/WO2021017589A1/zh active Application Filing
-
2022
- 2022-01-24 US US17/581,995 patent/US20220148143A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
CN110517211A (zh) | 2019-11-29 |
US20220148143A1 (en) | 2022-05-12 |
WO2021017589A1 (zh) | 2021-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110517211B (zh) | 一种基于梯度域映射的图像融合方法 | |
US10225473B2 (en) | Threshold determination in a RANSAC algorithm | |
EP2656309B1 (en) | Method for determining a parameter set designed for determining the pose of a camera and for determining a three-dimensional structure of the at least one real object | |
CN110799991A (zh) | 用于使用卷积图像变换执行同时定位和映射的方法和系统 | |
CN110503620B (zh) | 一种基于傅立叶频谱提取的图像融合方法 | |
CN107767339B (zh) | 一种双目立体图像拼接方法 | |
GB2580691A (en) | Depth estimation | |
US20150170405A1 (en) | High resolution free-view interpolation of planar structure | |
CN115035235A (zh) | 三维重建方法及装置 | |
CN116958437A (zh) | 融合注意力机制的多视图重建方法及系统 | |
CN113379815A (zh) | 基于rgb相机与激光传感器的三维重建方法、装置及服务器 | |
CN113643436A (zh) | 一种深度数据拼接融合方法及装置 | |
Fu et al. | Image stitching techniques applied to plane or 3-D models: a review | |
Yan et al. | Stereoscopic image generation from light field with disparity scaling and super-resolution | |
Tsiminaki et al. | Joint multi-view texture super-resolution and intrinsic decomposition | |
CN113808070A (zh) | 一种双目数字散斑图像相关的视差测量方法 | |
CN109089100B (zh) | 一种双目立体视频的合成方法 | |
JP2012173858A (ja) | 全方位画像生成方法、画像生成装置およびプログラム | |
Abdul-Rahim et al. | An in depth review paper on numerous image mosaicing approaches and techniques | |
CN116129059B (zh) | 一种三维点云集生成及强化方法、装置、设备及存储介质 | |
Mukati et al. | Light field registration: A multi-view geometry approach | |
Guo et al. | Single Image based Fog Information Estimation for Virtual Objects in A Foggy Scene | |
Maekawa et al. | Dense 3D organ modeling from a laparoscopic video | |
CN114037804A (zh) | 一种结合物体级特征约束的室内场景重构方法 | |
Kang et al. | Generation of multi-view images using stereo and time-of-flight depth cameras |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |