CN116385325A - 图像融合方法及装置、存储介质、终端 - Google Patents
图像融合方法及装置、存储介质、终端 Download PDFInfo
- Publication number
- CN116385325A CN116385325A CN202310323887.7A CN202310323887A CN116385325A CN 116385325 A CN116385325 A CN 116385325A CN 202310323887 A CN202310323887 A CN 202310323887A CN 116385325 A CN116385325 A CN 116385325A
- Authority
- CN
- China
- Prior art keywords
- image
- infrared light
- target
- fusion
- light image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 29
- 230000004927 fusion Effects 0.000 claims abstract description 156
- 238000012546 transfer Methods 0.000 claims abstract description 109
- 238000009877 rendering Methods 0.000 claims abstract description 103
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000010586 diagram Methods 0.000 claims abstract description 25
- 238000007499 fusion processing Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000013507 mapping Methods 0.000 claims description 28
- 230000009466 transformation Effects 0.000 claims description 25
- 238000006243 chemical reaction Methods 0.000 claims description 22
- 230000005540 biological transmission Effects 0.000 claims description 18
- 238000004891 communication Methods 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 16
- 230000011218 segmentation Effects 0.000 claims description 12
- 238000004040 coloring Methods 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种图像融合方法及装置、存储介质、终端，涉及图像处理技术领域，主要目的在于解决图像融合方法场景适应性较低的问题。主要包括获取目标拍摄场景的红外光图像、可见光图像、及目标色彩传递参数，所述目标色彩传递参数为基于所述目标拍摄场景的场景类别确定的；将预处理后的红外光图像与所述可见光图像进行信息融合处理，得到初始融合图像，并基于所述目标色彩传递参数对所述初始融合图像进行色彩渲染，得到彩色渲染图；基于所述预处理后的红外光图像、所述彩色渲染图生成目标融合图像，并将所述目标融合图像发送至目标终端，以使所述目标终端将所述目标融合图像渲染至展示页面。主要用于实时融合多光谱图像。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种图像融合方法及装置、存储介质、终端。
背景技术
图像融合是指将不同传感器或同一传感器不同时刻所获得的多幅图像经过一定的处理、综合，以获取对同一场景的更为准确、全面的图像描述，图像融合充分利用了多个被融合图像中包含的互补信息，有效地提取多个图像的信息特征，主要涉及可见光图像、红外光图像、多聚焦图像的融合。近些年，图像融合技术已经广泛的应用于计算机视觉、自动目标识别、机器人、军事应用等多个领域。
现有的图像融合方法，主要包括拉普拉斯金字塔法及基层细节层融合法。拉普拉斯金字塔法将红外光图像的拉普拉斯金字塔替换为具备可见光细节的拉普拉斯金字塔，并对融合金字塔重构得到融合图像。基层细节层融合法是通过操作者触屏输入的融合比加权得到融合图像的基层和细节层，并相加得到融合图像。上述两种方法得到的融合图像均为灰度图像，无法实现色彩渲染，且不适用于多场景切换，图像融合的场景适应性较低。
发明内容
有鉴于此，本发明提供一种图像融合方法及装置、存储介质、终端，主要目的在于解决图像融合方法场景适应性较低的问题。
依据本发明一个方面，提供了一种图像融合方法，包括：
获取目标拍摄场景的红外光图像、可见光图像、及目标色彩传递参数，所述目标色彩传递参数为基于所述目标拍摄场景的场景类别确定的；
将预处理后的红外光图像与所述可见光图像进行信息融合处理，得到初始融合图像，并基于所述目标色彩传递参数对所述初始融合图像进行色彩渲染，得到彩色渲染图；
基于所述预处理后的红外光图像、所述彩色渲染图生成目标融合图像，并将所述目标融合图像发送至目标终端，以使所述目标终端将所述目标融合图像渲染至展示页面。
进一步地，所述基于所述预处理后的红外光图像、所述彩色渲染图生成目标融合图像包括：
对所述预处理后的红外光图像进行亮度、对比度提取得到红外光权重图，并根据所述红外光权重图计算得到可见光权重图；
基于预设调色参数对所述预处理后的红外光图像进行着色处理，得到着色红外光图像；
基于所述彩色渲染图、所述红外光权重图、所述可见光权重图、所述着色红外光图像进行叠加处理，得到目标融合图像。
进一步地，所述对所述预处理后的红外光图像进行亮度、对比度提取得到红外光权重图包括：
基于亮度分割阈值对所述预处理后的红外光图像进行亮度权重提取，得到红外光亮度权重图；
基于滤波核、对比度分割阈值对所述预处理后的红外光图像进行对比度权重提取，得到红外光对比度权重图；
根据所述红外光亮度权重图、所述红外光对比度权重图生成红外光权重图。
进一步地，所述基于所述目标色彩传递参数对所述初始融合图像进行色彩渲染，得到彩色渲染图包括：
将所述初始融合图像进行色彩空间转换，得到色彩空间转换后的初始融合图像；
基于所述目标色彩传递参数对所述色彩空间转换后的初始融合图像进行色彩渲染，得到初始彩色渲染图；
对所述初始彩色渲染图进行色彩空间逆变换处理，得到彩色渲染图。
进一步地，所述获取目标拍摄场景的红外光图像、可见光图像、及目标色彩传递参数之前，所述方法还包括：
根据所述目标拍摄场景确定所述目标拍摄场景的场景类别；
从色彩传递参数映射关系集中识别出与所述场景类别匹配的目标色彩传递参数，所述色彩传递参数映射关系集包括不同场景类别与不同色彩传递参数之间的映射关系。
进一步地，所述根据所述目标拍摄场景确定所述目标拍摄场景的场景类别之前，所述方法还包括：
获取全局场景类别下的可见光图像样本、红外光图像样本；
针对不同场景类别，将同一拍摄场景的所述可见光图像样本、所述红外光图像样本进行融合处理，得到至少一个融合图像样本，并基于所述融合图像样本进行初始色彩传递参数修正处理，得到色彩传递参数；
构建所述色彩传递参数与对应场景类别之间的映射关系，得到色彩传递参数映射关系集。
进一步地，所述将预处理后的红外光图像与所述可见光图像进行信息融合处理，得到初始融合图像之前，所述方法还包括：
获取透射变换参数，所述透射变换参数为对红外光图像采集设备及可见光图像采集设备进行标定计算确定的；
利用所述透射变换参数对所述红外光图像进行校正处理，得到预处理后的红外光图像。
依据本发明另一个方面，提供了一种图像融合装置，包括：
获取模块，用于获取目标拍摄场景的红外光图像、可见光图像、及目标色彩传递参数，所述目标色彩传递参数为基于所述目标拍摄场景的场景类别确定的；
融合模块，用于将预处理后的红外光图像与所述可见光图像进行信息融合处理，得到初始融合图像，并基于所述目标色彩传递参数对所述初始融合图像进行色彩渲染，得到彩色渲染图；
生成模块，用于基于所述预处理后的红外光图像、所述彩色渲染图生成目标融合图像，并将所述目标融合图像发送至目标终端，以使所述目标终端将所述目标融合图像渲染至展示页面。
进一步地，所述生成模块，包括：
计算单元，用于对所述预处理后的红外光图像进行亮度、对比度提取得到红外光权重图，并根据所述红外光权重图计算得到可见光权重图；
着色单元，用于基于预设调色参数对所述预处理后的红外光图像进行着色处理，得到着色红外光图像；
叠加单元，用于基于所述彩色渲染图、所述红外光权重图、所述可见光权重图、所述着色红外光图像进行叠加处理，得到目标融合图像。
进一步地，在具体应用场景中，所述计算单元具体用于基于亮度分割阈值对所述预处理后的红外光图像进行亮度权重提取，得到红外光亮度权重图；
基于滤波核、对比度分割阈值对所述预处理后的红外光图像进行对比度权重提取，得到红外光对比度权重图；
根据所述红外光亮度权重图、所述红外光对比度权重图生成红外光权重图。
进一步地，所述融合模块包括：
第一转换单元，用于将所述初始融合图像进行色彩空间转换，得到色彩空间转换后的初始融合图像；
渲染单元，用于基于所述目标色彩传递参数对所述色彩空间转换后的初始融合图像进行色彩渲染，得到初始彩色渲染图；
第二转换单元，用于对所述初始彩色渲染图进行色彩空间逆变换处理，得到彩色渲染图。
进一步地，所述装置还包括：
确定模块，用于根据所述目标拍摄场景确定所述目标拍摄场景的场景类别；
识别模块，用于从色彩传递参数映射关系集中识别出与所述场景类别匹配的目标色彩传递参数，所述色彩传递参数映射关系集包括不同场景类别与不同色彩传递参数之间的映射关系。
进一步地，所述装置还包括：
所述获取模块，还用于获取全局场景类别下的可见光图像样本、红外光图像样本；
修正模块，用于针对不同场景类别，将同一拍摄场景的所述可见光图像样本、所述红外光图像样本进行融合处理，得到至少一个融合图像样本，并基于所述融合图像样本进行初始色彩传递参数修正处理，得到色彩传递参数；
构建模块，用于构建所述色彩传递参数与对应场景类别之间的映射关系，得到色彩传递参数映射关系集。
进一步地，所述装置还包括：
所述获取模块，还用于获取透射变换参数，所述透射变换参数为对红外光图像采集设备及可见光图像采集设备进行标定计算确定的；
校正模块，用于利用所述透射变换参数对所述红外光图像进行校正处理，得到预处理后的红外光图像。
根据本发明的又一方面，提供了一种存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述图像融合方法对应的操作。
根据本发明的再一方面，提供了一种终端，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述图像融合方法对应的操作。
借由上述技术方案，本发明实施例提供的技术方案至少具有下列优点：
本发明提供了一种图像融合方法及装置、存储介质、终端，本发明实施例通过获取目标拍摄场景的红外光图像、可见光图像、及目标色彩传递参数，所述目标色彩传递参数为基于所述目标拍摄场景的场景类别确定的；将预处理后的红外光图像与所述可见光图像进行信息融合处理，得到初始融合图像，并基于所述目标色彩传递参数对所述初始融合图像进行色彩渲染，得到彩色渲染图；基于所述预处理后的红外光图像、所述彩色渲染图生成目标融合图像，并将所述目标融合图像发送至目标终端，以使所述目标终端将所述目标融合图像渲染至展示页面，实现了对多光谱融合图像的彩色呈现，且用于色彩渲染的参数是基于不同场景类别确定的，以保证色彩渲染在不同场景下的准确性，从而有效提升图像融合的多场景适应性。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例提供的一种图像融合方法流程图；
图2示出了本发明实施例提供的另一种图像融合方法流程图；
图3示出了本发明实施例提供的一种现有技术融合图像与本发明融合图像的效果对比图；
图4示出了本发明实施例提供的一种红外光权重图；
图5示出了本发明实施例提供的一种图像融合流程示意图；
图6示出了本发明实施例提供的一种图像融合装置结构示意图；
图7示出了本发明实施例提供的一种终端的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
针对现有的图像融合方法，主要包括拉普拉斯金字塔法及基层细节层融合法。拉普拉斯金字塔法将红外光图像的拉普拉斯金字塔替换为具备可见光细节的拉普拉斯金字塔，并对融合金字塔重构得到融合图像。基层细节层融合法是通过操作者触屏输入的融合比加权得到融合图像的基层和细节层，并相加得到融合图像。上述两种方法得到的融合图像均为灰度图像，无法实现色彩渲染，且不适用于多场景切换，图像融合的场景适应性较低的问题。本发明实施例提供了一种图像融合方法，如图1所示，该方法包括：
101、获取目标拍摄场景的红外光图像、可见光图像。
本发明实施例中，红外光图像为红外光传感器捕获的目标拍摄场景内物体发出的红外光所形成的图像，可见光图像为可见光传感器捕获的目标拍摄场景内发出的可见光所形成的图像。红外光传感器与可见光传感器在同一时刻对目标拍摄场景中相同的拍摄目标进行图像采集。例如，将可见光相机和红外光相机安装于嵌入式开发平台，如瑞芯微RV1126开发板上，以对目标拍摄场景进行图像采集。其中，目标拍摄场景可以为任何类型的场景，例如，雪地、丛林等，本发明实施例不做具体限定。
102、将预处理后的红外光图像与所述可见光图像进行信息融合处理，得到初始融合图像，并基于目标色彩传递参数对所述初始融合图像进行色彩渲染，得到彩色渲染图。
本发明实施例中，可见光传感器捕捉到的图像纹理较为丰富，但易受环境因素的影响造成特征的偏差，而红外光传感器虽然捕捉到的图像纹理没有可见光传感器丰富，但受环境因素影像较小，即使在黑暗、浓雾等复杂环境下仍能够准确捕捉到显著目标的特征信息，为了弥补单一传感器缺陷，对预处理后的红外光图像与可见光图像进行信息融合，以得到更为丰富、准确的融合图像。具体地，可以初始化一个分辨率与可见光图像相同的8bit三通道图像，将预处理后的红外光图像、可见光图像分别作为RGB在其中两个通道输入，剩余通道置0，生成初始融合图像。该初始融合图像为伪彩色图像，即形式和视觉表现为彩色图像，但其所呈现的颜色并非图像的真实色彩重现，仅仅是各颜色分量的像素值合成的结果，不适合人眼观察的图像。由于初始融合图像不能够体现图像的真实色彩，因此，基于目标色彩传递参数对初始融合图像进行色彩渲染，以得到能够展示图像中景物真实色彩的彩色渲染图。其中，在进行两种图像的信息融合之前，由于红外光传感器与可见光传感器的放置位置不重合，拍摄视角会存在一定的偏差，且由于可见光图像的内容更细腻，图像中的特征较红外光图像更为丰富，为了保证图像准确度、降低图像预处理难度，对红外光图像进行预处理，以使红外光图像与可见光图像对齐。
需要说明的是，目标色彩传递参数为基于目标拍摄场景的场景类别确定的，即色彩渲染过程所使用的目标色彩传递参数为与当前拍摄的目标拍摄场景的场景类别相匹配的色彩传递参数。基于与当前拍摄场景类别匹配的色彩传递参数对图像进行色彩渲染，例如，使用雪景类别下的色彩传递参数对雪景的街道进行色彩渲染，或使用丛林类别下的色彩传递参数对公园场景进行色彩渲染，能够使渲染的颜色更接近于真实颜色，从而有效提升彩色渲染图的颜色的准确度。
103、基于所述预处理后的红外光图像、所述彩色渲染图生成目标融合图像，并将所述目标融合图像发送至目标终端，以使所述目标终端将所述目标融合图像渲染至展示页面。
本发明实施例中，彩色渲染图能够呈现出目标拍摄图像中的细节纹理，及准确的颜色，红外光图像更能够捕捉准确的显著目标信息，基于彩色渲染图、预处理后的红外光图像生成的目标融合图像能够更为准确的呈现图像的信息。为了更为有效的利用红外光图像的目标捕捉特征，可以在得到彩色渲染图之后，基于预处理后的红外光图像提取显著目标，得到红外光权重图。其中，显著目标为图像中比较明显的人或物体，例如，街道图像中的车辆、绿化带中的树木等，目标的数量可以为一个过多个，本发明实施例不做具体限定。此外，还可以对预处理后的红外光图像进行上色处理，得到红外光伪彩图像，进而将显著目标的提取结果、彩色渲染图进行叠加，从而得到目标凸显且彩色的目标融合图像。此目标融合图像可以用于对日常生活中的人员、车辆等进行监控，也可以用于对犯罪分子、敌军人员及装备进行侦查，本发明实施例不做具体限定。
本发明实施例中，为了展示得到的目标融合图像将目标融合图像发送至目标终端，以使目标终端将收到的目标融合图像渲染到此终端的展示页面，其中，目标终端可以为与可见光相机和红外光相机安装于同一嵌入式开发平台的显示设备，也可以为请求接收、查看目标融合图像的任意终端设备，如移动终端设备、计算机等，本发明不做具体限定。
在一个本发明实施例中，为了进一步说明及限定，如图2所示，步骤所述基于所述预处理后的红外光图像、所述彩色渲染图生成目标融合图像包括：
201、对所述预处理后的红外光图像进行亮度、对比度提取得到红外光权重图，并根据所述红外光权重图计算得到可见光权重图。
202、基于预设调色参数对所述预处理后的红外光图像进行着色处理，得到着色红外光图像。
203、基于所述彩色渲染图、所述红外光权重图、所述可见光权重图、所述着色红外光图像进行叠加处理，得到目标融合图像。
本发明实施例中，由于图像中的显著物体通常表现为高亮度，因此，对预处理后的红外光图像进行亮度提取，又由于红外光图像中的显著目标一般与周围环境背景存在较大的亮度差异，表现为对比度，因此，对预处理后的红外光图像进行对比度提取，得到包含显著亮度特征及对比度特征的红外光权重图WIR。其中，亮度提取与对比度提取可以同时进行，也可以不同时进行，本发明是实施例不做具体限定。得到红外光权重图之后，基于红外光权重图计算得到可见光权重图WVIS，公式为：WVIS＝1-WIR(1)。为了叠加得到目标融合图像还需要基于预设调色参数对预处理后的红外光图像进行着色处理，具体地，选择颜色随亮度由大到小，颜色由红到蓝的调色板对预处理后的红外光图像进行着色处理得到着色红外光图像CIR，即红外光伪彩图像。目标融合图像F的计算公式为：F＝WIR×CIR+Ffuse×WVIS(2)；其中，Ffuse为彩色渲染图。
需要说明的是，基于红外光图像提取到的红外光权重图，及可见光权重图，进而基于红外光权重图，及可见光权重图与彩色渲染图进行叠加处理，能够在提供彩色融合图的基础上，提升图像中显著目标的凸出性，使得目标在图像中更加凸显，从而得到目标更为明显的目标融合图像。如图3所示，图中左侧为基于现有方法得到的融合灰度图像，图中右侧为基于本发明中公开的方法得到的目标融合图像的灰度处理图，从图中可以看出，右侧图中的车辆、树木、马路均较左侧图中的更清晰、明显。
在一个本发明实施例中，为了进一步说明及限定，步骤所述对所述预处理后的红外光图像进行亮度、对比度提取得到红外光权重图包括：
基于亮度分割阈值对所述预处理后的红外光图像进行亮度权重提取，得到红外光亮度权重图。
基于滤波核、对比度分割阈值对所述预处理后的红外光图像进行对比度权重提取，得到红外光对比度权重图。
根据所述红外光亮度权重图、所述红外光对比度权重图生成红外光权重图。
本发明实施例中，为了对红外光图像进行亮度权重图提取，抑制低亮度像素的影响，设置亮度分割阈值T1，并将亮度低于亮度分割阈值T1的像素亮度置零，实现对图像中亮度的重新拉伸，得到红外光图像的亮度权重图W′IR，公式为：W′IR＝K1×min((IIR-T1),0)(3)；其中，IIR表示预处理后的红外光图像，K1表示亮度增益系数。进一步，为了对红外光图像进行对比度权重图提取，设置对比度分割阈值T2，实现对图像中对比度的重新拉伸，得到红外光图像的对比度权重图W″IR，公式为：W″IR＝K2×min(filter(IIR,k)-T2,0)(4)；其中，k为[-1,-1,-1；-1,8,-1；-1,-1,-1]的滤波核，K2表示对比度增益系数。进而，采用相加的方式对亮度权重图、对比度权重图进行融合得到红外光权重图WIR，公式为：WIR＝max(min(W′IR+W″IR,0),255)(5)；其中，最小值和最大值的操作是用于防止数据溢出。如图4所示，为一种场景下的红外光权重图。
在一个本发明实施例中，为了进一步说明及限定，步骤所述基于所述目标色彩传递参数对所述初始融合图像进行色彩渲染，得到彩色渲染图包括：
将所述初始融合图像进行色彩空间转换，得到色彩空间转换后的初始融合图像；
基于所述目标色彩传递参数对所述色彩空间转换后的初始融合图像进行色彩渲染，得到初始彩色渲染图；
对所述初始彩色渲染图进行色彩空间逆变换处理，得到彩色渲染图。
本发明实施例中，初始融合图像中的颜色为RGB色彩空间图像，为了对初始融合图像进行色彩渲染，需要将初始融合图像转换到YUV色彩空间其中，YUV色彩空间中的Y代表图像亮度(Luminance)，U、V代表图像色度(Chrominance)，转换公式为：
其中，R、G、B依次表示初始融合图像在RGB色彩空间中的红色通道图像、绿色通道图像、蓝色通道图像。Y表示转换后的图像在YUV色彩空间中的亮度通道图像、U表示U色度通道图像、V表示V色度通道图像。色彩渲染的过程，即进行均值与标准差传递的过程，因此，先确定Y、U、V各个通道的均值及标准差。具体地，根据转换后的三通道图像分别计算个通道的均值μY、μU、μV，公式为：
其中，r为图像高度值，c为图像宽度值，x为像素水平方向坐标，y为像素垂直方向坐标。根据求得的均值计算Y、U、V三通道各自的标准差σY、σU、σV，公式为：/>
得到色彩空间变换后的初始融合图像的均值及标准差之后，根据目标色彩传递参数中的均值传递参数μ′Y、μ′U、μ′V，标准差传递参数σ′Y、σ′U、σV′进行色彩渲染，公式为：/>
其中，Y′、U′、V′为初始彩色渲染图在YUV色彩空间中空间通道图像。进一步，对初始彩色渲染图在YUV色彩空间的各通道图像进行色彩空间逆变换，以得到图像在RGB色彩空间的图像表示，即彩色渲染图，公式为：
需要说明的是，YUV(亦称YCrCb)是被欧洲电视系统所采用的一种颜色编码方法，在YUV色彩空间中亮度Y与色度U、V是分离，基于YUV色彩空间进行色彩空间转换，能够有效降低空间转换过程中的计算复杂度，减少计算量，提升图像融合效率。经实验验证，本发明实施例的图像融合方法，单核每秒可以完成30帧以上的融合图像，能够满足实时图像生成需求，实现实时多光谱图像融合。
在一个本发明实施例中，为了进一步说明及限定，步骤所述获取目标拍摄场景的红外光图像、可见光图像、及目标色彩传递参数之前，所述方法还包括：
根据所述目标拍摄场景确定所述目标拍摄场景的场景类别；
从色彩传递参数映射关系集中识别出与所述场景类别匹配的目标色彩传递参数。
本发明实施例中，用于对初始融合图像进行色彩渲染的目标色彩传递参数不是多场景共用的传递参数，而是根据当前图像采集传感器所采集目标，即依据目标拍摄场景所对应的场景类别而确定的。具体地，场景类别的确定可以为基于对目标拍摄场景的自动识别确定的，也可以为基于人为对预设多个场景类别的选择确定的，本发明实施例不做具体限定。确定场景类别之后，将场景类别与色彩传递参数映射关系集中的场景类别进行匹配，以得到与当前场景类别对应的目标色彩传递参数，其中，色彩传递参数映射关系集包括不同场景类别与不同色彩传递参数之间的映射关系。其中，色彩传递参数为对对应场景类别下的图像进行色彩渲染调试过程中取得的，该色彩传递参数为调试过程中能够满足预期效果或最优的参数组合。
在一个本发明实施例中，为了进一步说明及限定，步骤所述根据所述目标拍摄场景确定所述目标拍摄场景的场景类别之前，所述方法还包括：
获取全局场景类别下的可见光图像样本、红外光图像样本；
针对不同场景类别，将同一拍摄场景的所述可见光图像样本、所述红外光图像样本进行融合处理，得到至少一个融合图像样本，并基于所述融合图像样本进行初始色彩传递参数修正处理，得到色彩传递参数；
构建所述色彩传递参数与对应场景类别之间的映射关系，得到色彩传递参数映射关系集。
本发明实施例中，全局场景类别为图像侦测任务所能涉及的全部场景类别。为了确定全局场景类别下的色彩传递参数，获取不同场景的图像样本，该图像样本包括可见光图像样本、红外光图像样本，进而对同一拍摄场景所对应可见光图像样本、红外光图像样本进行融合处理，得到融合图像样本。其中，融合处理方法与可见光图像与红外光图像的融合方法相同，在此不再赘述。不同场景类别下的不同融合图像样本表示为：{{R11，R12，...，R1N}，{R21，R22，...，R2N}，...，{Rm1，Rm2，...，RmN}}，其中，Rmn代表第m个场景类别的第n张融合图像样本，N代表当前场景类别下的融合图像样本数量。基于公式(6)～(8)计算对图像Rmn的Y、U、V三个通道均值μY(Rmn(x，y))、μU(Rmn(x，y))、μV(Rmn(x，y))与标准差σY(Rmn(x，y))、σU(Rmn(x，y))、σV(Rmn(x，y))，并初步计算场景类别m的色彩传递参数，公式为：
其中，x为像素水平方向坐标，y为像素垂直方向坐标，/>
为场景类别m的Y、U、V三个通道均值，/>
为场景类别m的Y、U、V三个通道的标准差。得到初步色彩传递参数之后，对场景类别m进行色彩传递参数精细调节，直至色彩传递后的图像呈现该场景的视觉效果达到预期，或得到最佳视觉效果，存储当前效果下的色彩传递参数，/>
作为场景类别m的色彩传递参数。其中，对色彩传递参数精细调节的过程，可以基于MATLAB软件实现，也可以基于其他图像调节软件，本发明实施例不做具体限定进而构建不同场景类别与对应色彩传递参数之间的映射关系，得到色彩传递参数映射关系集。
在一个本发明实施例中，为了进一步说明及限定，步骤所述将预处理后的红外光图像与所述可见光图像进行信息融合处理，得到初始融合图像之前，所述方法还包括：
获取透射变换参数；
利用所述透射变换参数对所述红外光图像进行校正处理，得到预处理后的红外光图像。
本发明实施例中，透射变换参数为对红外光图像采集设备及可见光图像采集设备进行标定计算确定的。可见光图像采集设备与红外光图像采集设备的放置位置不同，因此，对同一拍摄场景的拍摄视角存在微小的偏差，为了保证可见光图像与红外光图像能够进行准确的融合，在两个图像融合之前，对图像进行标定，以得到投射变换参数。即在固定两种图像采集设备的位置之后，分别采集可见光图像和红外光图像，以可见光图像为基准，计算红外光图像与可见光图像的视角偏差，得到透射变换矩阵，即透射变换参数。在实际应用中，当采集到红外光图像之后，基于透射变换参数对红外光图像进行校正，从而得到与可见光图像对齐的红外光图像，即预处理后的红外光图像。
在本发明实施例中，如图5所示，为本发明提供的一种图像融合过程流程图，图像采集设备为包含可见光相机和红外光相机的双目相机，基于可见光相机和红外光相机分别采集可见光图像及红外光图像，并基于双目相机的标定结果对红外光图像进行图像预处理，基于预处理后的红外光图像分别进行显著目标提取生成显著目标权重图，红外光伪彩图像，并将预处理后的红外光图像与可见光图像进行图像融合，进而根据确定出的最佳色彩传递参数对融合结果进行色彩渲染，最后将色彩渲染结果、显著目标权重图、红外光伪彩图像进行叠加得到彩色热力图。
本发明提供了一种图像融合方法，本发明实施例通过获取目标拍摄场景的红外光图像、可见光图像、及目标色彩传递参数，所述目标色彩传递参数为基于所述目标拍摄场景的场景类别确定的；将预处理后的红外光图像与所述可见光图像进行信息融合处理，得到初始融合图像，并基于所述目标色彩传递参数对所述初始融合图像进行色彩渲染，得到彩色渲染图；基于所述预处理后的红外光图像、所述彩色渲染图生成目标融合图像，并将所述目标融合图像发送至目标终端，以使所述目标终端将所述目标融合图像渲染至展示页面，实现了对多光谱融合图像的彩色呈现，且用于色彩渲染的参数是基于不同场景类别确定的，以保证色彩渲染在不同场景下的准确性，从而有效提升图像融合的多场景适应性。
进一步的，作为对上述图1所示方法的实现，本发明实施例提供了一种图像融合装置，如图6所示，该装置包括：
获取模块31，用于获取目标拍摄场景的红外光图像、可见光图像、及目标色彩传递参数，所述目标色彩传递参数为基于所述目标拍摄场景的场景类别确定的；
融合模块32，用于将预处理后的红外光图像与所述可见光图像进行信息融合处理，得到初始融合图像，并基于所述目标色彩传递参数对所述初始融合图像进行色彩渲染，得到彩色渲染图；
生成模块33，用于基于所述预处理后的红外光图像、所述彩色渲染图生成目标融合图像，并将所述目标融合图像发送至目标终端，以使所述目标终端将所述目标融合图像渲染至展示页面。
进一步地，所述生成模块33，包括：
计算单元，用于对所述预处理后的红外光图像进行亮度、对比度提取得到红外光权重图，并根据所述红外光权重图计算得到可见光权重图；
着色单元，用于基于预设调色参数对所述预处理后的红外光图像进行着色处理，得到着色红外光图像；
叠加单元，用于基于所述彩色渲染图、所述红外光权重图、所述可见光权重图、所述着色红外光图像进行叠加处理，得到目标融合图像。
进一步地，在具体应用场景中，所述计算单元具体用于基于亮度分割阈值对所述预处理后的红外光图像进行亮度权重提取，得到红外光亮度权重图；
基于滤波核、对比度分割阈值对所述预处理后的红外光图像进行对比度权重提取，得到红外光对比度权重图；
根据所述红外光亮度权重图、所述红外光对比度权重图生成红外光权重图。
进一步地，所述融合模块32包括：
第一转换单元，用于将所述初始融合图像进行色彩空间转换，得到色彩空间转换后的初始融合图像；
渲染单元，用于基于所述目标色彩传递参数对所述色彩空间转换后的初始融合图像进行色彩渲染，得到初始彩色渲染图；
第二转换单元，用于对所述初始彩色渲染图进行色彩空间逆变换处理，得到彩色渲染图。
进一步地，所述装置还包括：
确定模块，用于根据所述目标拍摄场景确定所述目标拍摄场景的场景类别；
识别模块，用于从色彩传递参数映射关系集中识别出与所述场景类别匹配的目标色彩传递参数，所述色彩传递参数映射关系集包括不同场景类别与不同色彩传递参数之间的映射关系。
进一步地，所述装置还包括：
所述获取模块31，还用于获取全局场景类别下的可见光图像样本、红外光图像样本；
修正模块，用于针对不同场景类别，将同一拍摄场景的所述可见光图像样本、所述红外光图像样本进行融合处理，得到至少一个融合图像样本，并基于所述融合图像样本进行初始色彩传递参数修正处理，得到色彩传递参数；
构建模块，用于构建所述色彩传递参数与对应场景类别之间的映射关系，得到色彩传递参数映射关系集。
进一步地，所述装置还包括：
所述获取模块31，还用于获取透射变换参数，所述透射变换参数为对红外光图像采集设备及可见光图像采集设备进行标定计算确定的；
校正模块，用于利用所述透射变换参数对所述红外光图像进行校正处理，得到预处理后的红外光图像。
根据本发明的又一方面，提供了一种存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述图像融合方法对应的操作。
本发明提供了一种图像融合装置，本发明实施例通过获取目标拍摄场景的红外光图像、可见光图像、及目标色彩传递参数，所述目标色彩传递参数为基于所述目标拍摄场景的场景类别确定的；将预处理后的红外光图像与所述可见光图像进行信息融合处理，得到初始融合图像，并基于所述目标色彩传递参数对所述初始融合图像进行色彩渲染，得到彩色渲染图；基于所述预处理后的红外光图像、所述彩色渲染图生成目标融合图像，并将所述目标融合图像发送至目标终端，以使所述目标终端将所述目标融合图像渲染至展示页面，实现了对多光谱融合图像的彩色呈现，且用于色彩渲染的参数是基于不同场景类别确定的，以保证色彩渲染在不同场景下的准确性，从而有效提升图像融合的多场景适应性。
根据本发明一个实施例提供了一种存储介质，所述存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的图像融合方法。
图7示出了根据本发明一个实施例提供的一种终端的结构示意图，本发明具体实施例并不对终端的具体实现做限定。
如图7所示，该终端可以包括：处理器(processor)402、通信接口(CommunicationsInterface)404、存储器(memory)406、以及通信总线408。
其中：处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。
通信接口404，用于与其它设备比如客户端或其它服务器等的网元通信。
处理器402，用于执行程序410，具体可以执行上述图像融合方法实施例中的相关步骤。
具体地，程序410可以包括程序代码，该程序代码包括计算机操作指令。
处理器402可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。终端包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器406，用于存放程序410。存储器406可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序410具体可以用于使得处理器402执行以下操作：
获取目标拍摄场景的红外光图像、可见光图像、及目标色彩传递参数，所述目标色彩传递参数为基于所述目标拍摄场景的场景类别确定的；
将预处理后的红外光图像与所述可见光图像进行信息融合处理，得到初始融合图像，并基于所述目标色彩传递参数对所述初始融合图像进行色彩渲染，得到彩色渲染图；
基于所述预处理后的红外光图像、所述彩色渲染图生成目标融合图像，并将所述目标融合图像发送至目标终端，以使所述目标终端将所述目标融合图像渲染至展示页面。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。
Claims (10)
1.一种图像融合方法，其特征在于，包括：
获取目标拍摄场景的红外光图像、可见光图像、及目标色彩传递参数，所述目标色彩传递参数为基于所述目标拍摄场景的场景类别确定的；
将预处理后的红外光图像与所述可见光图像进行信息融合处理，得到初始融合图像，并基于所述目标色彩传递参数对所述初始融合图像进行色彩渲染，得到彩色渲染图；
基于所述预处理后的红外光图像、所述彩色渲染图生成目标融合图像，并将所述目标融合图像发送至目标终端，以使所述目标终端将所述目标融合图像渲染至展示页面。
2.根据权利要求1所述的方法，其特征在于，所述基于所述预处理后的红外光图像、所述彩色渲染图生成目标融合图像包括：
对所述预处理后的红外光图像进行亮度、对比度提取得到红外光权重图，并根据所述红外光权重图计算得到可见光权重图；
基于预设调色参数对所述预处理后的红外光图像进行着色处理，得到着色红外光图像；
基于所述彩色渲染图、所述红外光权重图、所述可见光权重图、所述着色红外光图像进行叠加处理，得到目标融合图像。
3.根据权利要求2所述的方法，其特征在于，所述对所述预处理后的红外光图像进行亮度、对比度提取得到红外光权重图包括：
基于亮度分割阈值对所述预处理后的红外光图像进行亮度权重提取，得到红外光亮度权重图；
基于滤波核、对比度分割阈值对所述预处理后的红外光图像进行对比度权重提取，得到红外光对比度权重图；
根据所述红外光亮度权重图、所述红外光对比度权重图生成红外光权重图。
4.根据权利要求1所述的方法，其特征在于，所述基于所述目标色彩传递参数对所述初始融合图像进行色彩渲染，得到彩色渲染图包括：
将所述初始融合图像进行色彩空间转换，得到色彩空间转换后的初始融合图像；
基于所述目标色彩传递参数对所述色彩空间转换后的初始融合图像进行色彩渲染，得到初始彩色渲染图；
对所述初始彩色渲染图进行色彩空间逆变换处理，得到彩色渲染图。
5.根据权利要求1所述的方法，其特征在于，所述获取目标拍摄场景的红外光图像、可见光图像、及目标色彩传递参数之前，所述方法还包括：
根据所述目标拍摄场景确定所述目标拍摄场景的场景类别；
从色彩传递参数映射关系集中识别出与所述场景类别匹配的目标色彩传递参数，所述色彩传递参数映射关系集包括不同场景类别与不同色彩传递参数之间的映射关系。
6.根据权利要求5所述的方法，其特征在于，所述根据所述目标拍摄场景确定所述目标拍摄场景的场景类别之前，所述方法还包括：
获取全局场景类别下的可见光图像样本、红外光图像样本；
针对不同场景类别，将同一拍摄场景的所述可见光图像样本、所述红外光图像样本进行融合处理，得到至少一个融合图像样本，并基于所述融合图像样本进行初始色彩传递参数修正处理，得到色彩传递参数；
构建所述色彩传递参数与对应场景类别之间的映射关系，得到色彩传递参数映射关系集。
7.根据权利要求1所述的方法，其特征在于，所述将预处理后的红外光图像与所述可见光图像进行信息融合处理，得到初始融合图像之前，所述方法还包括：
获取透射变换参数，所述透射变换参数为对红外光图像采集设备及可见光图像采集设备进行标定计算确定的；
利用所述透射变换参数对所述红外光图像进行校正处理，得到预处理后的红外光图像。
8.一种图像融合装置，其特征在于，包括：
获取模块，用于获取目标拍摄场景的红外光图像、可见光图像、及目标色彩传递参数，所述目标色彩传递参数为基于所述目标拍摄场景的场景类别确定的；
融合模块，用于将预处理后的红外光图像与所述可见光图像进行信息融合处理，得到初始融合图像，并基于所述目标色彩传递参数对所述初始融合图像进行色彩渲染，得到彩色渲染图；
生成模块，用于基于所述预处理后的红外光图像、所述彩色渲染图生成目标融合图像，并将所述目标融合图像发送至目标终端，以使所述目标终端将所述目标融合图像渲染至展示页面。
9.一种存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-7中任一项所述的图像融合方法对应的操作。
10.一种终端，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的图像融合方法对应的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310323887.7A CN116385325A (zh) | 2023-03-24 | 2023-03-24 | 图像融合方法及装置、存储介质、终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310323887.7A CN116385325A (zh) | 2023-03-24 | 2023-03-24 | 图像融合方法及装置、存储介质、终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116385325A true CN116385325A (zh) | 2023-07-04 |
Family
ID=86980094
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310323887.7A Pending CN116385325A (zh) | 2023-03-24 | 2023-03-24 | 图像融合方法及装置、存储介质、终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116385325A (zh) |
-
2023
- 2023-03-24 CN CN202310323887.7A patent/CN116385325A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Toet et al. | Fusion of visible and thermal imagery improves situational awareness | |
| CN108230437B (zh) | 场景重建方法和装置、电子设备、程序和介质 | |
| Oliveira et al. | Unsupervised local color correction for coarsely registered images | |
| CN108694709B (zh) | 一种图像融合方法及装置 | |
| CN111462128B (zh) | 一种基于多模态光谱图像的像素级图像分割系统及方法 | |
| CN109523551B (zh) | 一种获取机器人行走姿态的方法及系统 | |
| CN105869115B (zh) | 一种基于kinect2.0的深度图像超分辨率方法 | |
| Sidike et al. | Adaptive trigonometric transformation function with image contrast and color enhancement: Application to unmanned aerial system imagery | |
| CN113902657A (zh) | 图像拼接方法、装置和电子设备 | |
| Li et al. | HDRFusion: HDR SLAM using a low-cost auto-exposure RGB-D sensor | |
| CN110210541A (zh) | 图像融合方法及设备、存储装置 | |
| Stone et al. | Forward looking anomaly detection via fusion of infrared and color imagery | |
| CN113298177B (zh) | 夜间图像着色方法、装置、介质和设备 | |
| CN115035147A (zh) | 基于虚拟拍摄的抠图方法、装置、系统及图像融合方法 | |
| CN112470189B (zh) | 光场系统的遮挡消除 | |
| CN113159229B (zh) | 图像融合方法、电子设备及相关产品 | |
| CN113096016A (zh) | 一种低空航拍图像拼接方法和系统 | |
| CN112669232A (zh) | 一种深度图像增强处理方法及装置 | |
| CN116385325A (zh) | 图像融合方法及装置、存储介质、终端 | |
| CN111833384B (zh) | 一种可见光和红外图像快速配准方法及装置 | |
| CN110136104B (zh) | 基于无人机地面站的图像处理方法、系统及介质 | |
| CN114663299A (zh) | 适用于煤矿井下的图像去雾模型的训练方法及其装置 | |
| CN112907454A (zh) | 获取图像的方法、装置、计算机设备和存储介质 | |
| CN112907701B (zh) | 获取图像的方法、装置、计算机设备和存储介质 | |
| CN108564070A (zh) | 用于提取手势的方法及其装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |