CN108830819A - 一种深度图像与红外图像的图像融合方法及装置 - Google Patents
一种深度图像与红外图像的图像融合方法及装置 Download PDFInfo
- Publication number
- CN108830819A CN108830819A CN201810499313.4A CN201810499313A CN108830819A CN 108830819 A CN108830819 A CN 108830819A CN 201810499313 A CN201810499313 A CN 201810499313A CN 108830819 A CN108830819 A CN 108830819A
- Authority
- CN
- China
- Prior art keywords
- image
- depth
- edge
- infrared
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000004927 fusion Effects 0.000 claims abstract description 87
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 44
- 238000000605 extraction Methods 0.000 claims abstract description 13
- 238000002156 mixing Methods 0.000 claims abstract description 10
- 230000009466 transformation Effects 0.000 claims description 40
- 238000003708 edge detection Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 230000010339 dilation Effects 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 241001270131 Agaricus moelleri Species 0.000 claims 1
- 239000000203 mixture Substances 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 4
- 230000007613 environmental effect Effects 0.000 abstract description 2
- 238000005286 illumination Methods 0.000 abstract 1
- 230000000007 visual effect Effects 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000007500 overflow downdraw method Methods 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种深度图像与红外图像的图像融合方法，包括以下步骤：(1)通过红外传感器与TOF深度传感器分别获取红外图像以及深度图像；(2)基于深度图像中的深度信息提取场景、目标物体乃至物体各组成部分的边缘轮廓信息；(3)分别对已完成配准操作的深度图像与红外图像进行同参数的多尺度分解，得到不同尺度的图像表达；(4)对代表源图像细节信息的高频分量选取适当的融合规则确定融合系数，对代表源图像轮廓信息的低频分量选取适当的融合规则确定融合系数；(5)通过对应的多尺度逆变换处理融合后的系数，并与边缘轮廓信息进行融合，从而得到融合图像。该方法在实际应用中受可见光照度影响较小，环境适应性较强。
Description
技术领域
本发明属于图像处理领域，具体涉及一种深度图像与红外图像的图像融合方法及装置。
背景技术
单一的图像传感器由于成像特点及局限性，使得在不同的成像条件和背景环境下难以完成探测、跟踪、侦察等任务。因此，图像融合技术利用传感器间信息互补，综合两幅图像各自特征，能够突出目标温度信息或深度信息，增强场景理解，现已成为了信息融合技术的研究热点。
在现有技术中，具有一种将可见光全色图像与红外遥感图像进行融合的方法，其中公开了一种基于多尺度多层级的将可见光全色图像与红外遥感图像进行融合的方法，该方法通过红外图像温度反演得到红外图像的伪彩色图像，再利用多尺度多层级图像融合方法，将可见光图像的细节信息融入到红外反演图像中，融合结果图像中能反映出场景和目标的温度信息。
另外，还具有一种基于深度图像与可见光图像融合的前景检测方法，其中，首先对可见光图像以及深度图像进行背景建模，在深度图像的背景建模中，对深度值和深度值是否有效的概率进行了建模，在可见光图像中，利用时空域混合随机采样得到背景模型，然后再对检测到的前景进行融合。该深度检测方法巧妙地结合了深度图像中的有用信息，提高了前景目标检测准确率。
但是，目前没有关于深度图像与红外图像融合的技术。现有较为常见的多模态图像融合包括红外与可见光图像融合、可见光与遥感图像融合、多聚焦图像融合等等。
红外与可见光图像融合技术利用传感器间信息互补，综合了两者图像的特征信息，虽能够突出红外目标，增强场景理解，但无法获取场景的深度信息。
现有的深度图像与可见光图像融合的技术也并不多，仅有一项前景检测方法的专利用到了深度图像与可见光图像融合，但也仅仅用到了深度图像中的深度信息的概率统计指标，并未最终得到深度图像与可见光图像融合后的图像，同时无法获得场景的温度信息，不具备红外图像较好的识别伪装的能力。
发明内容
鉴于此，本发明的目的在于提供一种深度图像与红外图像的图像融合方法及装置，使得深度图像与红外图像能够进行图像融合。
本图像融合算法基于TOF(Time of Flight)深度传感器与红外传感器所获取的信息进行数据分析、处理、融合，所得结果不仅可以保留红外传感器获取的目标温度信息和TOF深度传感器获取的目标深度信息，而且可以取得近似于红外与可见光图像融合的效果。该方法不受光照条件的影响，可以全天候工作，在恶劣环境下依然能够取得较好的效果。
为实现上述目的，本发明提供如下技术方案：
一种深度图像与红外图像的图像融合方法，其特征在于，包括以下步骤：
(1)通过红外传感器与TOF深度传感器分别获取红外图像以及深度图像；
(2)基于深度图像中的深度信息提取场景、目标物体的边缘轮廓信息；
(3)分别对已完成配准操作的深度图像与红外图像进行同参数的多尺度分解，得到不同尺度的图像表达；
(4)对代表源图像细节信息的高频分量选取适当的融合规则确定融合系数，对代表源图像轮廓信息的低频分量选取适当的融合规则确定融合系数；
(5)通过对应的多尺度逆变换处理融合后的系数，并与边缘轮廓信息进行融合，从而得到融合图像。
进一步地，在所述步骤(2)中，基于深度图像中的深度信息提取场景、目标物体及目标物体各组成部分的边缘轮廓信息。
进一步地，在所述步骤(2)中，根据深度传感器所得场景中各点的深度数据的差异，赋予各点不同的灰度值，从而得到由深度信息转化而来的灰度图像；对上述灰度图像进行边缘轮廓的提取。
进一步地，对上述灰度图像进行边缘轮廓的提取的具体步骤为：
(1)对灰度图像进行L层小波分解，得到源图像的低频近似子图像及高频细节子图像；
(2)对低频近似子图像选用经典Canny算子进行边缘提取，得到低频子图像的边缘；对高频细节子图像应用B样条小波进行边缘检测，得到高频子图像的边缘；
(3)将图像低频部分边缘与高频部分提取出的边缘进行融合；
(4)从而得到边缘轮廓图像。
进一步地，在将图像低频部分边缘与高频部分提取出的边缘进行融合中，以高频边缘来判断低频边缘，具体方法为：对于高频部分检测出的边缘进行形态学膨胀，掩模大小由小波变换尺度而定，膨胀后的边缘记为待检测区域；在低频子图像的边缘部分，对应于高频待检测区域的像素值若满足连贯性要求则记为边缘点。
进一步地，在所述步骤(3)中，对深度图像与红外图像分别进行多尺度分解，选择适当的融合规则进行融合，得到初步融合结果。
进一步地，以结合了W系统的经验模态分解算法(W-BEMD)对图像进行多尺度分解，具体步骤为：
(1)对深度图像、红外图像分别进行结合了W系统的经验模态分解算法(W-BEMD)；
(2)分别对W-BEMD分解所得的内蕴模函数和残差图像选择特定的融合规则进行融合，得到融合后的内蕴模函数和残差图像；
(3)对融合后的内蕴模函数和残差图像进行逆W-BEMD运算，得初步融合结果。
进一步地，在所述步骤(5)中，将边缘轮廓信息与初步融合结果进行融合，得到最终融合图像，具体融合步骤为：首先对初步融合结果进行多尺度分解，同时可以选择性的将边缘轮廓图像进行多尺度分解，分别对应于初步融合结果的若干高频分量，然后选择特定的融合规则对边缘轮廓图像和初步融合结果的高频分量进行融合，最后进行对应的多尺度逆变换，得最终融合结果。
进一步地，多尺度分解的方法包括：金字塔形分解法、小波(Wavelet)变换、离散余弦变换(DCT)、脊波(ridgelet)变换、条带波(Bandelet)变换、楔波(Wedgelet)变换、小线(Beamlet)变换、曲波(Curvelet)变换、轮廓波(Contourlet)变换、非下采样轮廓波变换(NSCT)、W变换、经验模态分解。
根据本发明的一种图像融合装置，集成有红外传感器和深度传感器，其可执行上述的深度图像与红外图像的图像融合方法。
与现有技术相比，本发明具有以下的有益效果。
在现有技术中，红外与可见光图像融合、深度图像与可见光图像融合虽都能够综合各自传感器所获得图像的互补信息，但是红外与可见光图像融合技术无法获取场景的深度信息，深度图像与可见光图像融合技术无法捕获场景中的温度信息，都会使其应用范围受到限制。
而本发明所提出的深度图像与红外图像融合方法及装置，不仅由源图像就可以获取到场景的深度和温度信息，而且可以通过对深度图像进行更进一步计算求得更加精细的边缘轮廓信息，从而使得融合结果一方面在视觉效果上可基本达到红外与可见光融合图像的效果(即在没有可见光图像的情况下取得基本相同效果)，另一方面，由于成像传感器为TOF深度传感器和红外传感器，故本发明所述的融合方法及装置在实际应用中受可见光照度影响较小，环境适应性较强。并且，本发明采用深度图像与红外图像进行融合，不仅可以保留红外传感器获取的目标温度信息和TOF深度传感器获取的目标深度信息，而且融合结果可以基本取得红外与可见光图像融合的效果(即在没有可见光图像的情况下取得基本相同效果)；且本发明的方法及装置由于没有使用可见光图像，所以不受光照条件的影响，可以全天候工作，在恶劣环境下依然能够取得较好的效果。
附图说明
图1为本发明的新型深度图像与红外图像融合方法的完整融合过程的数据流程示意图；
图2为本发明的基于深度图像中的深度信息提取边缘轮廓信息(边缘轮廓图像)的模块细节示意图；
图3为本发明的深度图像与红外图像初次融合的功能模块示意图；
图4为本发明所举例的基于W系与经验模态分解的图像多尺度分解方法的一次分解的模块细节示意图；
图5为本发明所述的基于多尺度变换的边缘轮廓图像与初步融合结果图像进行融合的模块细节示意图。
具体实施方式
为了便于理解，以下对在本发明中用到的一些术语进行解释，但不能理解为对本发明的限制。
多尺度分解：据生理学家对人类视觉系统研究结果和自然图像统计模型,一种“最优”的图像表示法应该具有多分辨特征：即能够对图像从粗分辨率到细分辨率进行连续逼近，分层表达。多尺度分解作为一种有效的、具有多分辨特征的图像表示法，是图像处理领域经常使用的一种手段。多尺度分解方法先将原图像分解成高、低频分量，再将分解后的低频分量继续分解，如此迭代进行下去，这样图像就被分解到各个层次尺度的子图上。常见的多尺度分解方法有金字塔形分解法、小波(Wavelet)变换、离散余弦变换(DCT)、脊波(ridgelet)变换、条带波(Bandelet)变换、楔波(Wedgelet)变换、小线(Beamlet)变换、曲波(Curvelet)变换、轮廓波(Contourlet)变换、非下采样轮廓波变换(NSCT)、W变换、经验模态分解等。
高频分量与低频分量：信号按照变化频率的快慢可以分为高频和低频。所谓高频，是指一个信号的变化速率较快的部分，是一个相对的概念。相反，低频是指一个信号的变化速率较慢的部分。对于图像来说，其变化是二维的，即空域信号随空间坐标的变化而变化。图像的高频分量对应于图像中亮度或灰度变化较明显的区域，主要是对细节信息如边缘、轮廓的度量。图像的低频分量对应于图像中亮度或灰度变化缓慢的区域，主要是对整幅图像的灰度或亮度强度的综合度量。
TOF深度传感器：TOF深度传感器是利用飞行时间(Time Of Flight)进行测距的，飞行时间法(TOF，Time of flight)是实现场景深度检测的三种主流技术之一。TOF深度传感器是一种光雷达(LIDAR)系统，可从发射极向对象发射光脉冲，接收器则可通过计算光脉冲从发射器到对象、再以像素格式返回到接收器的运行时间来确定被测量对象的距离。TOF深度传感器可同时获得整个场景的深度信息。
红外传感器：红外传感器通过探测物体自身的热辐射来产生图像，能够反映复杂背景中隐藏的目标及其位置信息，且受外界干扰因素影响较小。但是红外图像缺少丰富的场景细节信息，而且目标轮廓信息模糊导致图像的对比度较低，从而无法对目标进行更精确的识别，成像结果也不符合人的视觉习惯。
图像融合的方法正是为了适应多传感器图像数据的协同处理而发展起来的一门技术，它对多幅图像进行信息综合，保留源图像中的重要特征，得到单一有效的融合图像。使其处理结果更符合人或机器的视觉特性，有利于对该图像的进一步分析、理解以及目标检测、识别或跟踪。
像素级图像融合是直接在图像原始数据层面上进行的融合，是最低层次的图像融合，主要是对源图像中的目标和背景等信息进行直接融合处理。该层次融合准确性最高，能够提供其它层次上的图像融合一般不具有的特殊细节信息。
特征级图像融合是先从源图像中提取有用特征信息，然后对特征信息进行综合分析和处理。典型的特征信息有形状、边缘、纹理、相似区域等。特征级融合是中间层次上的融合，它既保留了足够数量的重要图像信息，又能够对图像信息进行压缩，有利于实时处理。
基于深度传感器与红外传感器图像融合技术有利于综合红外图像较好的目标特征、温度信息以及深度传感器获取的目标深度信息，同时基于深度信息可提取出场景、目标物体乃至物体各组成部分的边缘、轮廓线等信息，使得融合后图像的细节更加清晰。
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
本发明的新型深度图像与红外图像融合方法的流程是：首先，基于深度图像中的深度信息提取出场景、目标物体和/或乃至物体各组成部分的边缘轮廓信息(边缘轮廓图像)。然后，分别对已完成配准操作的深度图像与红外图像进行同参数的多尺度分解，得到不同尺度的图像表达。之后，对代表源图像(即深度图像与红外图像)细节信息的高频分量选取适当(特定或相应)的融合规则确定融合系数，对代表源图像轮廓信息的低频分量选取适当的融合规则确定融合系数。最后，通过对应的多尺度逆变换，对融合后的系数进行处理，并与边缘轮廓信息进行融合，从而得到融合图像。
如图1所示，本发明技术方案的详细阐述如下：
1)基于深度图像中的深度信息提取出场景、目标物体乃至物体各组成部分的边缘轮廓信息(边缘轮廓图像)，如图2所示；
图像的边缘是图像最基本的特征，边缘是指图像中周围像素灰度有阶跃变化或屋顶变化的那些像素区域，即灰度值导数较大或极大的区域。在传感器生成图像过程中，场景深度上的不连续、表面方向不连续、物质属性变化和场景照明变化，都会导致图像中边缘的产生。边缘检测是图像处理和计算机视觉中的基本问题，已被广泛研究。根据TOF深度传感器所得场景中各点的深度数据的差异，赋予各点不同的灰度值，从而得到由深度信息转化而来的灰度图像。
对上述灰度图像进行边缘轮廓的提取(即边缘检测)。具体步骤为：(1)对灰度图像进行L层小波分解，得到源图像的低频近似子图像及高频细节子图像；(2)对低频近似子图像选用经典Canny算子进行边缘提取，得到低频子图像的边缘；对高频细节子图像应用B样条小波进行边缘检测，得到高频子图像的边缘。(3)最后将图像低频部分边缘与高频部分提取出的边缘进行融合。由于低频部分Canny算子检测到的边缘连贯性好但定位精度较差，即产生偏移；而高频部分由小波变换法检测到的边缘定位精度高但不连贯，所以以高频边缘来判断低频边缘；具体方法为，对于高频部分检测出的边缘进行形态学膨胀，掩模大小由小波变换尺度而定，膨胀后的边缘记为待检测区域；在低频子图像的边缘部分，对应于高频待检测区域的像素值若满足连贯性要求则记为边缘点；从而得到边缘轮廓图像。
2)对深度图像与红外图像分别进行多尺度分解，选择特定的融合规则进行融合，得初步融合结果，如图3所示。
如第二部分多尺度分解的概念所述，对图像进行多尺度分解的方法很多，任一多尺度分解算法都可以运用在该步骤中，得到图像的多尺度表示。此处我们以结合了W系统的经验模态分解算法(W-BEMD)为例，阐述该步骤：
(1)如图4所示，对深度图像、红外图像分别进行结合了W系统的经验模态分解算法(W-BEMD)：对深度图像/红外图像进行一次经验模态分解，分别得到一幅代表高频细节信息的内蕴模函数和一幅代表低频轮廓信息的残差图像；分别对上述所得的残差图像进行一次W变换，对W变换所得结果的低频四分之一做低一级尺度的W逆变换，此时逆变换结果为原残差图像四分之一大小，且包含了残差图像的低频轮廓信息，以此作为新的残差图像；将新的残差图像进行插值膨胀为原残差图像大小，与原残差图像做差，所得结果为原图像大小，将其与初次经验模态分解所得内蕴模函数求和，所得结果作为新的内蕴模函数。
(2)分别对W-BEMD分解所得的内蕴模函数和残差图像选择特定的融合规则进行融合，得到融合后的内蕴模函数和残差图像：对步骤(1)中所得的深度图像与红外图像的残差图像分别计算局部可见度，并归一化，之后计算定义的匹配度。两幅残差图像的每一个像素点对应位置，若匹配度大于给定阈值，则采取取大规则计算融合后残差图像对应点处的灰度值；若匹配度不大于给定阈值，则将上述归一化之后的局部可见度作为权重，采取加权平均方法计算融合后残差图像对应点处的灰度值。从而求得融合后残差图像。对步骤(1)中所得的深度图像与红外图像的内蕴模函数分别计算区域能量值以及对应位置的区域能量匹配度。两幅内蕴模函数图像的每一个像素点对应位置，若区域能量匹配度大于给定阈值，则采取取大规则计算融合后内蕴模函数对应点处的灰度值；若匹配度不大于给定阈值，则采取加权平均方法计算融合后内蕴模函数对应点处的灰度值。从而求得融合后内蕴模函数对应图像。
(3)对融合后的内蕴模函数和残差图像进行逆W-BEMD运算，得初步融合结果：由于在对可见光/红外图象进行W-BEMD分解的过程中，残差图像经历了W变换与低一级尺度的W逆变换，其大小变为原大小的四分之一，故对步骤(2)所得的融合后残差图像应进行简单插值膨胀为原大小；将插值膨胀后的残差图像与步骤(2)所得的融合后内蕴模函数对应图像简单求和，即可得到初步的融合结果。
3)如图5所示，将边缘轮廓信息与初步融合结果进行融合，得到最终融合图像；
图像的高频分量是指图像中变化速率较快的部分，对应于图像中亮度或灰度变化较明显的区域，如边缘、轮廓等细节信息。边缘轮廓图像即包含了由源图像中提取出来的高频细节信息，故在将其与初步融合结果进行融合时，把它当做高频分量进行处理。具体融合步骤为：首先对初步融合结果进行多尺度分解，同时可以选择性的将边缘轮廓图像进行多尺度分解，分别对应于初步融合结果的若干高频分量，然后选择特定的融合规则对边缘轮廓图像和初步融合结果的高频分量进行融合，最后进行对应的多尺度逆变换，得最终融合结果。具体的多尺度分解亦可以有多种方法，包括但不限于金字塔形分解法、小波(Wavelet)变换、离散余弦变换(DCT)、脊波(ridgelet)变换、条带波(Bandelet)变换、楔波(Wedgelet)变换、小线(Beamlet)变换、曲波(Curvelet)变换、轮廓波(Contourlet)变换、非下采样轮廓波变换(NSCT)、W变换、经验模态分解等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种深度图像与红外图像的图像融合方法，其特征在于，包括以下步骤：
(1)通过红外传感器和TOF深度传感器分别获取红外图像以及深度图像；
(2)基于深度图像中的深度信息提取场景、目标物体的边缘轮廓信息；
(3)分别对已完成配准操作的深度图像与红外图像进行同参数的多尺度分解，得到不同尺度的图像表达；
(4)对代表源图像细节信息的高频分量选取适当的融合规则确定融合系数，对代表源图像轮廓信息的低频分量选取适当的融合规则确定融合系数；
(5)通过对应的多尺度逆变换，对融合后的系数进行处理，并与边缘轮廓信息进行融合，从而得到融合图像。
2.根据权利要求1所述的深度图像与红外图像的图像融合方法，其特征在于，在所述步骤(2)中，进一步地，基于深度图像中的深度信息提取场景、目标物体及目标物体各组成部分的边缘轮廓信息。
3.根据权利要求1或2所述的深度图像与红外图像的图像融合方法，其特征在于，在所述步骤(2)中，根据深度传感器所得场景中各点的深度数据的差异，赋予各点不同的灰度值，从而得到由深度信息转化而来的灰度图像；对上述灰度图像进行边缘轮廓的提取。
4.根据权利要求3所述的深度图像与红外图像的图像融合方法，其特征在于，对上述灰度图像进行边缘轮廓的提取的具体步骤为：
(1)对灰度图像进行L层小波分解，得到源图像的低频近似子图像及高频细节子图像；
(2)对低频近似子图像选用经典Canny算子进行边缘提取，得到低频子图像的边缘；对高频细节子图像应用B样条小波进行边缘检测，得到高频子图像的边缘；
(3)将图像低频部分边缘与高频部分提取出的边缘进行融合；
(4)从而得到边缘轮廓图像。
5.根据权利要求4所述的深度图像与红外图像的图像融合方法，其特征在于，在将图像低频部分边缘与高频部分提取出的边缘进行融合中，以高频边缘来判断低频边缘，具体方法为：对于高频部分检测出的边缘进行形态学膨胀，掩模大小由小波变换尺度而定，膨胀后的边缘记为待检测区域；在低频子图像的边缘部分，对应于高频待检测区域的像素值若满足连贯性要求则记为边缘点。
6.根据权利要求1所述的深度图像与红外图像的图像融合方法，其特征在于，在所述步骤(3)中，对深度图像与红外图像分别进行多尺度分解，选择适当的融合规则进行融合，得到初步融合结果。
7.根据权利要求6所述的深度图像与红外图像的图像融合方法，其特征在于，以结合了W系统的经验模态分解算法(W-BEMD)对图像进行多尺度分解，具体步骤为：
(1)对深度图像、红外图像分别进行结合了W系统的经验模态分解算法(W-BEMD)；
(2)分别对W-BEMD分解所得的内蕴模函数和残差图像选择特定的融合规则进行融合，得到融合后的内蕴模函数和残差图像；
(3)对融合后的内蕴模函数和残差图像进行逆W-BEMD运算，得初步融合结果。
8.根据权利要求1所述的深度图像与红外图像的图像融合方法，其特征在于，在所述步骤(5)中，将边缘轮廓信息与初步融合结果进行融合，得到最终融合图像，具体融合步骤为：首先对初步融合结果进行多尺度分解，同时可以选择性的将边缘轮廓图像进行多尺度分解，分别对应于初步融合结果的若干高频分量，然后选择特定的融合规则对边缘轮廓图像和初步融合结果的高频分量进行融合，最后进行对应的多尺度逆变换，得最终融合结果。
9.根据权利要求1所述的深度图像与红外图像的图像融合方法，其特征在于，多尺度分解的方法包括：金字塔形分解法、小波(Wavelet)变换、离散余弦变换(DCT)、脊波(ridgelet)变换、条带波(Bandelet)变换、楔波(Wedgelet)变换、小线(Beamlet)变换、曲波(Curvelet)变换、轮廓波(Contourlet)变换、非下采样轮廓波变换(NSCT)、W变换、经验模态分解。
10.一种图像融合装置，集成有红外传感器和深度传感器，其特征在于，可执行根据权利要求1-9中任何一项所述的深度图像与红外图像的图像融合方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810499313.4A CN108830819B (zh) | 2018-05-23 | 2018-05-23 | 一种深度图像与红外图像的图像融合方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810499313.4A CN108830819B (zh) | 2018-05-23 | 2018-05-23 | 一种深度图像与红外图像的图像融合方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108830819A true CN108830819A (zh) | 2018-11-16 |
| CN108830819B CN108830819B (zh) | 2021-06-18 |
Family
ID=64148491
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810499313.4A Active CN108830819B (zh) | 2018-05-23 | 2018-05-23 | 一种深度图像与红外图像的图像融合方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108830819B (zh) |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109636748A (zh) * | 2018-12-04 | 2019-04-16 | 青岛小鸟看看科技有限公司 | 一种深度图像的去噪方法、装置和电子设备 |
| CN109658371A (zh) * | 2018-12-05 | 2019-04-19 | 北京林业大学 | 红外图像与可见光图像的融合方法、系统及相关设备 |
| CN109934793A (zh) * | 2019-01-30 | 2019-06-25 | 绵阳慧视光电技术有限责任公司 | 一种基于整数dct变换的实时图像融合方法 |
| CN110047058A (zh) * | 2019-03-25 | 2019-07-23 | 杭州电子科技大学 | 一种基于残差金字塔的图像融合方法 |
| CN110110675A (zh) * | 2019-05-13 | 2019-08-09 | 电子科技大学 | 一种融合边缘信息的小波域分形红外卷云检测方法 |
| CN110322423A (zh) * | 2019-04-29 | 2019-10-11 | 天津大学 | 一种基于图像融合的多模态图像目标检测方法 |
| CN110400326A (zh) * | 2019-07-31 | 2019-11-01 | 广东电网有限责任公司 | 一种基于Tophat算法的复杂背景图像局部轮廓信息识别方法 |
| CN110493531A (zh) * | 2018-12-12 | 2019-11-22 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法和系统 |
| CN110686779A (zh) * | 2019-09-24 | 2020-01-14 | 天津科技大学 | 一种非接触生物发酵过程温度场的自动测量方法和装置 |
| WO2020113408A1 (zh) * | 2018-12-04 | 2020-06-11 | 深圳市大疆创新科技有限公司 | 一种图像处理方法、设备、无人机、系统及存储介质 |
| CN111598065A (zh) * | 2020-07-24 | 2020-08-28 | 上海肇观电子科技有限公司 | 深度图像获取方法及活体识别方法、设备、电路和介质 |
| CN111709903A (zh) * | 2020-05-26 | 2020-09-25 | 中国科学院长春光学精密机械与物理研究所 | 一种红外与可见光图像融合方法 |
| CN112115864A (zh) * | 2020-09-18 | 2020-12-22 | 北京航空航天大学 | 红外图像及深度图像双模态目标分割方法及装置 |
| CN112446843A (zh) * | 2019-08-28 | 2021-03-05 | 深圳市光鉴科技有限公司 | 基于多深度图的图像重建方法、系统、设备及介质 |
| CN112446842A (zh) * | 2019-08-28 | 2021-03-05 | 深圳市光鉴科技有限公司 | 基于稀疏和稠密深度图图像重建方法、系统、设备及介质 |
| CN113763267A (zh) * | 2021-08-26 | 2021-12-07 | 长春理工大学 | 一种基于nsct图像融合的强散射环境下图像复原方法 |
| CN114414065A (zh) * | 2022-01-10 | 2022-04-29 | 珠海格力电器股份有限公司 | 物体温度探测方法、装置、计算机设备和介质 |
| CN114926515A (zh) * | 2022-06-08 | 2022-08-19 | 北京化工大学 | 基于时空域深度信息补全的红外与可见光图像配准方法 |
| WO2023030344A1 (en) * | 2021-08-30 | 2023-03-09 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for medical image processing |
| WO2023178662A1 (en) * | 2022-03-25 | 2023-09-28 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image and video coding using multi-sensor collaboration and frequency adaptive processing |
| CN117173190A (zh) * | 2023-11-03 | 2023-12-05 | 成都中轨轨道设备有限公司 | 基于图像处理的绝缘子红外验损系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101968882A (zh) * | 2010-09-21 | 2011-02-09 | 重庆大学 | 一种多源图像融合方法 |
| CN102129676A (zh) * | 2010-01-19 | 2011-07-20 | 中国科学院空间科学与应用研究中心 | 一种基于二维经验模态分解的显微图像融合方法 |
| CN102903093A (zh) * | 2012-09-28 | 2013-01-30 | 中国航天科工集团第三研究院第八三五八研究所 | 一种基于链码掩模的泊松图像融合方法 |
| CN104361571A (zh) * | 2014-11-21 | 2015-02-18 | 南京理工大学 | 基于边缘信息和支持度变换的红外与微光图像融合方法 |
| CN104732504A (zh) * | 2015-01-23 | 2015-06-24 | 天津大学 | 基于压缩感知和wbct变换的图像融合方法 |
| CN105913408A (zh) * | 2016-04-12 | 2016-08-31 | 湘潭大学 | 一种基于双边滤波器的多聚焦图像融合方法 |
| CN106897987A (zh) * | 2017-01-18 | 2017-06-27 | 江南大学 | 基于平移不变剪切波和栈式自编码的图像融合方法 |
| CN106981057A (zh) * | 2017-03-24 | 2017-07-25 | 中国人民解放军国防科学技术大学 | 一种基于rpca的nsst图像融合方法 |
-
2018
- 2018-05-23 CN CN201810499313.4A patent/CN108830819B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102129676A (zh) * | 2010-01-19 | 2011-07-20 | 中国科学院空间科学与应用研究中心 | 一种基于二维经验模态分解的显微图像融合方法 |
| CN101968882A (zh) * | 2010-09-21 | 2011-02-09 | 重庆大学 | 一种多源图像融合方法 |
| CN102903093A (zh) * | 2012-09-28 | 2013-01-30 | 中国航天科工集团第三研究院第八三五八研究所 | 一种基于链码掩模的泊松图像融合方法 |
| CN104361571A (zh) * | 2014-11-21 | 2015-02-18 | 南京理工大学 | 基于边缘信息和支持度变换的红外与微光图像融合方法 |
| CN104732504A (zh) * | 2015-01-23 | 2015-06-24 | 天津大学 | 基于压缩感知和wbct变换的图像融合方法 |
| CN105913408A (zh) * | 2016-04-12 | 2016-08-31 | 湘潭大学 | 一种基于双边滤波器的多聚焦图像融合方法 |
| CN106897987A (zh) * | 2017-01-18 | 2017-06-27 | 江南大学 | 基于平移不变剪切波和栈式自编码的图像融合方法 |
| CN106981057A (zh) * | 2017-03-24 | 2017-07-25 | 中国人民解放军国防科学技术大学 | 一种基于rpca的nsst图像融合方法 |
Non-Patent Citations (4)
| Title |
|---|
| YAGUANG ZHU等: ""A simple outdoor environment obstacle detection method based on information fusion"", 《JOURNAL OF ROBOTICS》 * |
| 宋瑞霞等: ""NSCT与边缘检测相结合的多聚焦图像融合算法"", 《计算机辅助设计与图形学学报》 * |
| 王璐等: ""W变换和NSCT相结合的多聚焦图像融合方法"", 《电子测量与仪器学报》 * |
| 王青竹: ""B样条小波边缘检测的改进算法"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109636748A (zh) * | 2018-12-04 | 2019-04-16 | 青岛小鸟看看科技有限公司 | 一种深度图像的去噪方法、装置和电子设备 |
| WO2020113408A1 (zh) * | 2018-12-04 | 2020-06-11 | 深圳市大疆创新科技有限公司 | 一种图像处理方法、设备、无人机、系统及存储介质 |
| CN109636748B (zh) * | 2018-12-04 | 2021-03-16 | 青岛小鸟看看科技有限公司 | 一种深度图像的去噪方法、装置和电子设备 |
| CN109658371B (zh) * | 2018-12-05 | 2020-12-15 | 北京林业大学 | 红外图像与可见光图像的融合方法、系统及相关设备 |
| CN109658371A (zh) * | 2018-12-05 | 2019-04-19 | 北京林业大学 | 红外图像与可见光图像的融合方法、系统及相关设备 |
| CN110493531A (zh) * | 2018-12-12 | 2019-11-22 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法和系统 |
| CN109934793A (zh) * | 2019-01-30 | 2019-06-25 | 绵阳慧视光电技术有限责任公司 | 一种基于整数dct变换的实时图像融合方法 |
| CN109934793B (zh) * | 2019-01-30 | 2023-03-31 | 绵阳慧视光电技术有限责任公司 | 一种基于整数dct变换的实时图像融合方法 |
| CN110047058A (zh) * | 2019-03-25 | 2019-07-23 | 杭州电子科技大学 | 一种基于残差金字塔的图像融合方法 |
| CN110322423A (zh) * | 2019-04-29 | 2019-10-11 | 天津大学 | 一种基于图像融合的多模态图像目标检测方法 |
| CN110110675A (zh) * | 2019-05-13 | 2019-08-09 | 电子科技大学 | 一种融合边缘信息的小波域分形红外卷云检测方法 |
| CN110400326A (zh) * | 2019-07-31 | 2019-11-01 | 广东电网有限责任公司 | 一种基于Tophat算法的复杂背景图像局部轮廓信息识别方法 |
| CN112446843A (zh) * | 2019-08-28 | 2021-03-05 | 深圳市光鉴科技有限公司 | 基于多深度图的图像重建方法、系统、设备及介质 |
| CN112446842A (zh) * | 2019-08-28 | 2021-03-05 | 深圳市光鉴科技有限公司 | 基于稀疏和稠密深度图图像重建方法、系统、设备及介质 |
| CN110686779A (zh) * | 2019-09-24 | 2020-01-14 | 天津科技大学 | 一种非接触生物发酵过程温度场的自动测量方法和装置 |
| CN111709903A (zh) * | 2020-05-26 | 2020-09-25 | 中国科学院长春光学精密机械与物理研究所 | 一种红外与可见光图像融合方法 |
| CN111598065A (zh) * | 2020-07-24 | 2020-08-28 | 上海肇观电子科技有限公司 | 深度图像获取方法及活体识别方法、设备、电路和介质 |
| CN112115864A (zh) * | 2020-09-18 | 2020-12-22 | 北京航空航天大学 | 红外图像及深度图像双模态目标分割方法及装置 |
| CN113763267A (zh) * | 2021-08-26 | 2021-12-07 | 长春理工大学 | 一种基于nsct图像融合的强散射环境下图像复原方法 |
| WO2023030344A1 (en) * | 2021-08-30 | 2023-03-09 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for medical image processing |
| CN114414065A (zh) * | 2022-01-10 | 2022-04-29 | 珠海格力电器股份有限公司 | 物体温度探测方法、装置、计算机设备和介质 |
| CN114414065B (zh) * | 2022-01-10 | 2024-02-23 | 珠海格力电器股份有限公司 | 物体温度探测方法、装置、计算机设备和介质 |
| WO2023178662A1 (en) * | 2022-03-25 | 2023-09-28 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image and video coding using multi-sensor collaboration and frequency adaptive processing |
| CN114926515A (zh) * | 2022-06-08 | 2022-08-19 | 北京化工大学 | 基于时空域深度信息补全的红外与可见光图像配准方法 |
| CN114926515B (zh) * | 2022-06-08 | 2024-05-14 | 北京化工大学 | 基于时空域深度信息补全的红外与可见光图像配准方法 |
| CN117173190A (zh) * | 2023-11-03 | 2023-12-05 | 成都中轨轨道设备有限公司 | 基于图像处理的绝缘子红外验损系统 |
| CN117173190B (zh) * | 2023-11-03 | 2024-02-02 | 成都中轨轨道设备有限公司 | 基于图像处理的绝缘子红外验损系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108830819B (zh) | 2021-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108830819A (zh) | 一种深度图像与红外图像的图像融合方法及装置 | |
| Xia et al. | Geometric primitives in LiDAR point clouds: A review | |
| CN108573276B (zh) | 一种基于高分辨率遥感影像的变化检测方法 | |
| CN110428008A (zh) | 一种基于多融合传感器的目标探测与识别装置和方法 | |
| WO2018023916A1 (zh) | 一种彩色图像去阴影方法和应用 | |
| CN109903328B (zh) | 一种应用于智能手机的物体体积测量的装置及方法 | |
| CN108629757A (zh) | 基于复数剪切波变换与深度卷积神经网络的图像融合方法 | |
| Nguyen et al. | Structure overview of vegetation detection. A novel approach for efficient vegetation detection using an active lighting system | |
| Poux et al. | Point cloud classification of tesserae from terrestrial laser data combined with dense image matching for archaeological information extraction | |
| CN110097617A (zh) | 基于卷积神经网络与显著性权重的图像融合方法 | |
| Zeibak et al. | Change detection via terrestrial laser scanning | |
| CN101286236B (zh) | 基于多特征图像和均值漂移的红外目标跟踪方法 | |
| CN105809650A (zh) | 一种基于双向迭代优化的图像融合方法 | |
| Huang et al. | Super resolution of laser range data based on image-guided fusion and dense matching | |
| CN113160210A (zh) | 基于深度相机的排水管道缺陷检测方法及装置 | |
| CN117237553A (zh) | 一种基于点云图像融合的三维地图测绘系统 | |
| Wegen et al. | Non-Photorealistic Rendering of 3D Point Clouds for Cartographic Visualization | |
| Ali et al. | Robust window detection from 3d laser scanner data | |
| Tadic et al. | Edge-preserving Filtering and Fuzzy Image Enhancement in Depth Images Captured by Realsense Cameras in Robotic Applications. | |
| Jiang et al. | Object-oriented building extraction by DSM and very highresolution orthoimages | |
| CN114943984A (zh) | 一种基于雷达点云与视觉图像的智能探鸟驱鸟方法及装置 | |
| CN114332629A (zh) | 基于高速视觉耦合轮廓特征提取的多农药雾滴撞击叶面延迟性的测量方法 | |
| Xu et al. | Research on target detection methods under the concept of deep learning | |
| Baibai et al. | 3D acquisition system for 3D forms recognition | |
| Hannemann et al. | Increasing depth lateral resolution based on sensor fusion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |