CN116309216A - 基于多波段的伪彩色图像融合方法及图像融合系统 - Google Patents

基于多波段的伪彩色图像融合方法及图像融合系统 Download PDF

Info

Publication number
CN116309216A
CN116309216A CN202310166791.4A CN202310166791A CN116309216A CN 116309216 A CN116309216 A CN 116309216A CN 202310166791 A CN202310166791 A CN 202310166791A CN 116309216 A CN116309216 A CN 116309216A
Authority
CN
China
Prior art keywords
channel
channel value
value
index
coordinate point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310166791.4A
Other languages
English (en)
Other versions
CN116309216B (zh
Inventor
李凯文
殷琪
张�杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Boshi Medical Technology Co ltd
Original Assignee
Nanjing Boshi Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Boshi Medical Technology Co ltd filed Critical Nanjing Boshi Medical Technology Co ltd
Priority to CN202310166791.4A priority Critical patent/CN116309216B/zh
Publication of CN116309216A publication Critical patent/CN116309216A/zh
Application granted granted Critical
Publication of CN116309216B publication Critical patent/CN116309216B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种基于多波段的伪彩色图像融合方法,包括获取待融合多波段图像中每个坐标点在颜色空间中的第一通道值和第二通道值;基于预设尺寸选取坐标点周围的局部区域,基于局部区域内第一通道值的特征和第二通道值的特征确定局部索引参数;基于第一通道值、第二通道值及局部索引参数,在预先构建的字典模型中进行索引,得到第三通道索引值;基于第一通道值、第二通道值和第三通道索引值生成融合后的伪彩色图像。本发明基于多波段的伪彩色图像融合方法及图像融合系统能够处理不同模态对应的多通道眼底图像,通过模拟深度学习中自监督方法来构建图像特征索引模型,索引精准度高,且避免了在深度学习中所需要花费的大量训练及调参的时间。

Description

基于多波段的伪彩色图像融合方法及图像融合系统
技术领域
本发明涉及图像融合技术领域,具体涉及一种基于多波段的伪彩色图像融合方法及图像融合系统。
背景技术
医学影像技术迅速发展,已经成为医疗诊断中不可或缺的技术。进入数字影像时代以来,海量数据的产生为医学影像未来的发展提供了更多的可能性。因此,如何对医学影像大数据做进一步分析和挖掘、如何从医学图像高维度数据中提取有价值的信息、如何将现代医学影像的发展与精准医疗紧密结合,成为医学影像未来发展的重要课题。
近年来,随着计算能力的增强和数据的爆炸式增加,以深度学习为代表的人工智能技术取得了长足的进步,并开始应用于生产生活中的各个领域。深度学习方法可以自动提取特征,避免了对高维度医学影像数据的复杂处理。在越来越多的公开的医学影像数据资源、开源的人工智能方法资源以及开放的高性能计算资源的共同推动下,深度学习方法将进一步在医学影像领域中飞速发展。
当前,带标签的监督数据是深度学习方法开发与应用当中十分重要的组成部分,这些数据通过人工标注或者已知信息匹配得到的标签可作为对深度学习方法模型的有效监督,使得深度学习能够通过迭代优化得到新的方法,并被应用于图像识别、语音识别、自然语言翻译等重要领域。然而,深度学习在训练过程中往往需要大量的数据,而将这些数据全部制作标签是一项非常耗费人力成本和时间成本的项目,且一般情况下该单一项目所需要的时间会远远大于整体项目的规划时间,带来部署与实施的困难。
发明内容
为此,本发明实施例提供一种基于多波段的伪彩色图像融合方法及图像融合系统,以解决现有技术中由于数据处理量大而导致的效率低、成本高的问题。
为了实现上述目的,本发明实施例提供如下技术方案:
一种基于多波段的伪彩色图像融合方法,包括以下步骤:
获取待融合多波段图像中每个坐标点在颜色空间中的第一通道值和第二通道值。
对于每个坐标点,基于预设尺寸选取坐标点周围的局部区域,基于局部区域内的第一通道值的特征和第二通道值的特征确定当前坐标点的局部索引参数。
基于每个坐标点的第一通道值、第二通道值及局部索引参数,在预先构建的字典模型中进行索引,得到对应的颜色空间中的第三通道索引值。
基于每个坐标点的第一通道值、第二通道值和第三通道索引值,生成融合后的伪彩色图像。
进一步的,所述字典模型采用如下方法构建:
获取彩色样本图像中的多个像素点的颜色空间中的第一通道值、第二通道值和第三通道值。
对于每个所述像素点,基于预设尺寸选取该像素点周围的局部区域,基于局部区域内的第一通道值的特征和第二通道值的特征确定该像素点的局部索引参数。
同一像素点所对应的第一通道值、第二通道值和局部索引参数构成一组索引条件,对同一索引条件所对应的第三通道值进行统计,将统计结果作为该索引条件的第三通道索引值。
进一步的,所述获取待融合多波段图像的每个坐标点的颜色空间中的第一通道值和第二通道值包括:
当所述待融合多波段图像中仅存在一个具有第一通道值的波段图像时,将颜色空间中的该第一通道值作为待融合多波段图像的每个坐标点的颜色空间中的第一通道值;当所述待融合多波段图像中仅存在一个具有第二通道值的波段图像时,将该颜色空间中的第二通道值作为待融合多波段图像的每个坐标点的颜色空间中的第二通道值。
当所述待融合多波段图像中存在多个具有第一通道值的波段图像时,对各波段图像中对应坐标点的第一通道值以预设方式进行叠加,将叠加结果作为待融合多波段图像的各坐标点的颜色空间中的第一通道值;当所述待融合多波段图像中存在多个具有第二通道值的波段图像时,对各波段图像中对应坐标点的第二通道值以预设方式进行叠加,将叠加结果作为待融合多波段图像的各坐标点的颜色空间中的第二通道值。
进一步的,所述局部索引参数通过以下方法确定:
获取所述局部区域内的第一通道值的特征、第二通道值的特征,其中,所述特征为图像的灰度值均值、对比度值均值或梯度值均值中的一个或多个;
将第一通道值的特征与第二通道值的特征的比值作为该坐标点的局部索引参数。
进一步的,所述局部索引参数的计算公式为:
Figure BDA0004096148760000031
式中,
W1为基于第一通道的取值范围对第一通道值的特征进行归一化,再乘以系数k后的值;
W2为基于第二通道的取值范围对第一通道值的特征进行归一化,再乘以系数k后的值;
round为四舍五入函数。
进一步的,所述对同一索引条件所对应的第三通道值进行统计,统计方法为统计众数、均值、最大值、最小值或按照权重卷积核进行卷积中的任意一种。
进一步的,在所述获取待融合多波段图像的每个坐标点的颜色空间中的第一通道值和第二通道值之前,先对待融合多波段图像进行去噪处理。
一种基于多波段的伪彩色图像融合方法,包括以下步骤:
获取待融合多波段图像的每个坐标点的颜色空间中的第一通道值和第二通道值,基于待融合多波段图像第一通道值的整体特征和第二通道值的整体特征确定整体索引参数。
对于每个坐标点,基于预设尺寸选取该坐标点周围的局部区域,基于局部区域内的第一通道值的特征和第二通道值的特征确定该坐标点的局部索引参数。
基于每个坐标点的第一通道值、第二通道值、局部索引参数及整体索引参数,在预先构建的字典模型中进行索引,得到对应的颜色空间中的第三通道索引值。
基于每个坐标点的第一通道值、第二通道值和第三通道索引值,生成融合后的伪彩色图像。
进一步的,所述字典模型采用如下方法构建:
分别获取多张彩色样本图像中的多个像素点的颜色空间中的第一通道值、第二通道值和第三通道值;基于彩色样本图像第一通道值的整体特征和第二通道值的整体特征确定整体索引参数。
对于每个所述像素点,基于预设尺寸选取该像素点周围的局部区域,基于局部区域内的第一通道值的特征和第二通道值的特征确定该像素点的局部索引参数。
同一张彩色样本图像的同一像素点所对应的第一通道值、第二通道值、局部索引参数以及整体索引参数构成一组索引条件,对同一索引条件所对应的第三通道值进行统计,将统计结果作为该索引条件的第三通道索引值。
一种基于多波段的伪彩色图像融合系统,包括以下模块:
获取模块,用于获取待融合多波段图像的每个坐标点的颜色空间中的第一通道值和第二通道值。
特征模块,用于对于每个坐标点,基于预设尺寸选取该坐标点周围的局部区域,基于局部区域内的第一通道值的特征和第二通道值的特征确定该坐标点的局部索引参数,或者还用于基于待融合多波段图像第一通道值的整体特征和第二通道值的整体特征确定整体索引参数。
索引模块,用于基于每个坐标点的第一通道值、第二通道值及局部索引参数,在预先构建的字典模型中进行索引,得到对应的颜色空间中的第三通道索引值;或者用于基于每个坐标点的第一通道值、第二通道值、局部索引参数及整体索引参数,在预先构建的字典模型中进行索引,得到对应的颜色空间中的第三通道索引值。
融合模块,用于基于每个坐标点的第一通道值、第二通道值和第三通道索引值,生成融合后的伪彩色图像。
本发明实施例具有如下优点:
本发明提供的一种基于多波段的伪彩色图像融合方法及图像融合系统利用层级特征索引的方式,可以在大规模字典中,快速查找到对应的结果值,其模拟深度学习中自监督方法来构建图像特征索引模型,但是不需要像深度学习一样花费大量的时间训练、调参,参数量也比深度学习模型少的多,只需要对每一幅图像处理一遍即可,因此本技术处理速度上也会比深度学习模型输出结果要快。
本发明提供的一种基于多波段的伪彩色图像融合方法及图像融合系统利用层级特征索引的方式,建立点到局部,或点到局部再到整体的多级索引关系,索引的准确度更高,且计算量小,可实现在大规模数据中快速查找到对应的结果值,处理速度比深度学习模型输出结果快,而且根据需要对特征索引进行扩充,适用范围更加广泛。与传统方法的求解线性系数或者非线性系数来进行叠加处理相比,不需要求手动调整相关系数,并且某一模态的图像会有适合自己的一个特有相关系数,因此本方法构建的索引模型更加具有广泛适用性。并且,字典模型可以根据需要对特征索引进行扩充,以处理不同模态对应的多通道图像。本发明提供的一种基于多波段的伪彩色图像融合方法及图像融合系统通过统计大规模彩色样本图像来找到对应的分布规律,并根据特征索引,构建特征索引系统。其通过不断统计新的不同模态的彩色图像数据实现持续学习的目的,构建一个可持续学习及持续扩充的特征索引系统。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案,下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是示例性的,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定本发明可实施的限定条件,故不具技术上的实质意义,任何结构的修饰、比例关系的改变或大小的调整,在不影响本发明所能产生的功效及所能达成的目的下,均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本发明实施例1提供的一种基于多波段的伪彩色图像融合方法的方法流程图;
图2为本发明实施例1提供的一种基于多波段的伪彩色图像融合方法的字典模型构建流程图;
图3为本发明实施例1提供一种基于多波段的伪彩色图像融合方法的统计特征值比值的输出值分布;
图4为本发明实施例1提供的一种基于多波段的伪彩色图像融合方法与传统融合方法的图像融合效果对比图;
图5为本发明实施例2提供的一种基于多波段的伪彩色图像融合方法的方法流程图;
图6为本发明实施例2提供的一种基于多波段的伪彩色图像融合方法的字典模型构建流程图;
图7为本发明实施例提供的一种图像融合系统的系统结构图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式,熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
如图1所示,一种基于多波段的伪彩色图像融合方法,包括以下步骤:
1、获取待融合多波段图像中每个坐标点在颜色空间中的第一通道值和第二通道值。在获取第一通道值和第二通道值之前,可先对待融合多波段图像进行降噪处理,如用于滤去噪声点的滤波处理等。
本实施例中对颜色空间的种类不做具体限定,只要由多种不同分量组成的颜色编码方法均落入本发明的保护范围之内,如所述颜色空间为RGB、YUV、Lab、YCbCr、HSV中的任意一种,其中若颜色空间为RGB,则第一通道为R通道,第二通道为G通道;若颜色空间为YUV,第一通道为Y通道,第二通道为U通道等。
所述待融合多波段图像中至少获取两个波段的图像特征,波段越多,信息越全,索引结果越准确。本实施例中以双波段为例,若所述待融合多波段图像中仅存在一个具有第一通道值的波段图像时,将颜色空间中所述第一通道值作为待融合多波段图像的每个坐标点在颜色空间中的第一通道值,如红光图像的第一通道为R通道,则将R通道的输出值作为每个坐标点在颜色空间中的第一通道值。若所述待融合多波段图像中仅存在一个具有第二通道值的波段图像时,将该颜色空间中的第二通道值作为待融合多波段图像的每个坐标点的颜色空间中的第二通道值,如绿光图像的第二通道为G通道,则将G通道的输出值作为每个坐标点在颜色空间中的第二通道值。
或者,当所述待融合多波段图像中存在多个具有第一通道值的波段图像时,对各波段图像中对应坐标点的第一通道值以预设方式进行叠加,所述叠加方法可以为线性叠加、非线性叠加或加权叠加(卷积),将叠加结果作为待融合多波段图像的各坐标点的颜色空间中的第一通道值,例如单个波段的图像中包含了不止一个索引特征,如紫光图像的第一通道包含R通道与B通道,另一个波段的图像也包含相同的通道,如红外光图像的第一通道包含R通道,当二者融合时,待融合多波段图像的R通道的输出值采用两个波段图像的R值的叠加。第二通道与第一通道同理,当所述待融合多波段图像中存在多个具有第二通道值的波段图像时,对各波段图像中对应坐标点的第二通道值以预设方式进行叠加,所述叠加方法可以为线性叠加、非线性叠加或加权叠加(卷积),将叠加结果作为待融合多波段图像的各坐标点的颜色空间中的第二通道值。
2、对于每个坐标点,基于预设尺寸选取坐标点周围的局部区域,基于局部区域内的第一通道值的特征和第二通道值的特征确定当前坐标点的局部索引参数。
所述局部区域可设置多种形状,如矩形、正方形、圆形等,所述预设尺寸根据局部区域设置的形状不同而变化,如局部区域为矩形,则预设尺寸为预设长与预设宽,选取的坐标点为矩形的对角线交叉点;又如局部区域为圆形,所述预设尺寸为预设半径,选取的坐标点为圆心。
所述局部索引参数通过以下方法确定:
获取所述局部区域内的第一通道值的特征、第二通道值的特征,其中,所述特征为图像的灰度值极值、灰度值均值、对比度值极值、对比度值均值、梯度值极值、梯度值均值、直方图均值、局部灰度方差、局部/全局灰度方差均值、Brenner梯度、拉普拉斯梯度、Sobel梯度、Tenegrad梯度、SMD梯度、SMD2梯度、Roberts梯度、能量梯度、局部/全局信息熵、灰度共生矩阵特征、Tamura纹理特征、自回归纹理模型、小波变换特征、能量谱函数特征、LBP纹理特征中的一个或多个,所述极值包括最大值、最小值、和值等,选取多个特征,能够增加索引级数,以提高局部索引精度。
将第一通道值的特征与第二通道值的特征作为该坐标点的局部索引参数,或者本实施例将两者的比值作为该坐标点的局部索引参数,能够简化搜索量,加快处理时间。本实施例所述局部索引参数的计算公式为:
Figure BDA0004096148760000091
式中,
W1为基于第一通道的取值范围对第一通道值的特征进行归一化,再乘以系数k后的值;
W2为基于第二通道的取值范围对第一通道值的特征进行归一化,再乘以系数k后的值,本实施例中k优选取255;
round为四舍五入函数。
3、基于每个坐标点的第一通道值、第二通道值及局部索引参数,在预先构建的字典模型中进行索引,得到对应的颜色空间中的第三通道索引值。
如图2所示,所述字典模型采用如下方法构建:
获取彩色样本图像中的多个像素点的颜色空间中的第一通道值、第二通道值和第三通道值。
对于每个所述像素点,基于预设尺寸选取该像素点周围的局部区域,基于局部区域内的第一通道值的特征和第二通道值的特征确定该像素点的局部索引参数。
同一像素点所对应的第一通道值、第二通道值和局部索引参数构成一组索引条件,对同一索引条件所对应的第三通道值进行统计,将统计结果作为该索引条件的第三通道索引值。所述统计方法为统计众数、均值、最大值、最小值或按照权重卷积核进行卷积中的任意一种,以众数为例,本实施例中众数的融合计算方法为统计特征值比值的输出值分布,建立输出值与分布数量的二维坐标关系,获取分布数量最多的输出值,得到众数的输出值,如图3所示,经过统计后,有11个特征值比值的输出值为54、2个特征值比值的输出值为48及3个特征值比值的输出值为141,选取数量最多的54作为第三通道索引值。
4、基于每个坐标点的第一通道值、第二通道值和第三通道索引值,生成融合后的伪彩色图像。
本技术先通过多个特征组成的一级索引,将索引范围限定在具体的图像区域,再通过二级索引,从图像区域内确定具体的索引信息,还可增加三级索引、四级索引等后续的索引步骤,或者增加一级索引或二级索引的索引参数,用于增加图片的索引精度,因此本技术的可塑性很强,利用多层级多特征的索引方式实现在大规模的数据中快速查找到对应的结果值,处理速度远快于传统深度学习模型的输出结果,工作效率大幅提升。
下面以785nm近红外图像和520nm绿光图像融合生成伪彩色RGB图像为例,具体说明上述技术方案:
颜色空间为RGB,785nm近红外图像仅具有R通道,将R通道设为颜色空间的第一通道,每个坐标点的R通道值为第一通道值。520nm绿光图像仅具有G通道,将G通道设为颜色空间的第二通道,每个坐标点的G通道值为第二通道值。
然后基于预设尺寸选取每个坐标点(i,j)周围的局部区域,局部区域为正方形,预设尺寸为n,n的取值范围优选为3-30。采集局部区域内的R通道值的特征和G通道值的特征,所述特征为灰度均值,以局部区域的灰度均值作为特征,可以将局部区域的分布信息结合起来,均值对比极值更有效的利用局部信息,以体现局部区域的整体特征。具体的,采集局部区域内全部像素的灰度值,灰度均值的计算公式为:
Figure BDA0004096148760000101
式中,
(i,j)为计算图像特征值均值区域的中心坐标;
EM(i,j)为灰度均值;
grayLM(i,j)为R通道或G通道的特征值;
n为预设边长所覆盖的图像特征值取值点数量。
得到当前坐标点(i,j)的局部索引参数EM(i,j)。
然后基于坐标点(i,j)的R通道值、G通道值及EM(i,j),在预先构建的字典模型中进行索引,得到对应的颜色空间中的B通道值,最终基于每个坐标点的R通道值、G通道值和B通道值,生成融合后的伪彩色图像。如图4所示,图4中展示了785nm近红外眼底图像和520nm绿光眼底图像分别通过传统融合方法、本技术一级索引融合方法、本技术二级索引融合方法生成的融合图像对比,图4中左图看起来偏绿,色调很不正常;中图看起来偏红,但是相比左图要自然一点;右图最自然,接近眼底彩照的正常色调。
实施例2
在实施例1的基础之上进行扩展,在一级索引条件中增加整体索引参数,由于全区域均值下存在不能够很好处理光照不均的问题,因此整体索引参数作为一级索引条件中最优先级的特征进行索引,能够将索引范围快速的缩小到某几个或某个图像区域,具有减少处理数据,可快速锁定图像区域的有益效果,然后在进行实施例1中的各个步骤,以提高工作效率。如图5所示,具体包括以下步骤:
1、获取待融合多波段图像的每个坐标点的颜色空间中的第一通道值和第二通道值;
2、根据全部坐标点的第一通道值计算待融合多波段图像第一通道值的整体特征,根据全部坐标点的第二通道值计算第二通道值的整体特征,并根据第一通道值的整体特征和第二通道值的整体特征确定整体索引参数。
3、对于每个坐标点,基于预设尺寸选取该坐标点周围的局部区域,基于局部区域内的第一通道值的特征和第二通道值的特征确定该坐标点的局部索引参数。
4、基于每个坐标点的第一通道值、第二通道值、局部索引参数及整体索引参数,在预先构建的字典模型中进行索引,得到对应的颜色空间中的第三通道索引值。
5、基于每个坐标点的第一通道值、第二通道值和第三通道索引值,生成融合后的伪彩色图像。
如图6所示,本实施例2中所述字典模型采用如下方法构建:
分别获取多张彩色样本图像中的多个像素点的颜色空间中的第一通道值、第二通道值和第三通道值;
根据第一通道值与第二通道值,分别确定彩色样本图像第一通道值的整体特征和第二通道值的整体特征,确定整体索引参数。
对于每个所述像素点,基于预设尺寸选取该像素点周围的局部区域,基于局部区域内的第一通道值的特征和第二通道值的特征确定该像素点的局部索引参数。
同一张彩色样本图像的同一像素点所对应的第一通道值、第二通道值、局部索引参数以及整体索引参数构成一组索引条件,对同一索引条件所对应的第三通道值进行统计,将统计结果作为该索引条件的第三通道索引值。
实施例3
如图7所示,一种基于多波段的伪彩色图像融合系统,包括:
获取模块1,用于获取待融合多波段图像的每个坐标点的颜色空间中的第一通道值和第二通道值。在构建字典模型中,所述获取模块用于获取彩色样本图像中的多个像素点的颜色空间中的第一通道值、第二通道值和第三通道值。
特征模块2,用于对于每个坐标点,基于预设尺寸选取该坐标点周围的局部区域,基于局部区域内的第一通道值的特征和第二通道值的特征确定该坐标点的局部索引参数,或者还用于基于待融合多波段图像第一通道值的整体特征和第二通道值的整体特征确定整体索引参数。在构建字典模型中,所述特征模块基于预设尺寸选取该像素点周围的局部区域,基于局部区域内的第一通道值的特征和第二通道值的特征确定该像素点的局部索引参数,或者根据全部坐标的第一通道值与第二通道值,分别确定彩色样本图像第一通道值的整体特征和第二通道值的整体特征,确定整体索引参数。
索引模块3,用于基于每个坐标点的第一通道值、第二通道值及局部索引参数,在预先构建的字典模型中进行索引,得到对应的颜色空间中的第三通道索引值;或者用于基于每个坐标点的第一通道值、第二通道值、局部索引参数及整体索引参数,在预先构建的字典模型中进行索引,得到对应的颜色空间中的第三通道索引值。在构建字典模型中,将同一张彩色样本图像中同一像素点所对应的第一通道值、第二通道值以及局部索引参数构成一组索引条件,或者将同一张彩色样本图像中同一像素点所对应的第一通道值、第二通道值、局部索引参数以及整体索引参数构成一组索引条件,对同一索引条件所对应的第三通道值进行统计,将统计结果作为该索引条件的第三通道索引值,并将索引条件及第三通道索引值封装为字典模型,储存在字典模型数据库5中。
融合模块4,用于基于每个坐标点的第一通道值、第二通道值和第三通道索引值,生成融合后的伪彩色图像。
虽然,上文中已经用一般性说明及具体实施例对本发明作了详尽的描述,但在本发明基础上,可以对之作一些修改或改进,这对本领域技术人员而言是显而易见的。因此,在不偏离本发明精神的基础上所做的这些修改或改进,均属于本发明要求保护的范围。

Claims (10)

1.一种基于多波段的伪彩色图像融合方法,其特征在于,包括以下步骤:
获取待融合多波段图像中每个坐标点在颜色空间中的第一通道值和第二通道值;
对于每个坐标点,基于预设尺寸选取坐标点周围的局部区域,基于局部区域内的第一通道值的特征和第二通道值的特征确定当前坐标点的局部索引参数;
基于每个坐标点的第一通道值、第二通道值及局部索引参数,在预先构建的字典模型中进行索引,得到对应的颜色空间中的第三通道索引值;
基于每个坐标点的第一通道值、第二通道值和第三通道索引值,生成融合后的伪彩色图像。
2.根据权利要求1所述的方法,其特征在于,所述字典模型采用如下方法构建:
获取彩色样本图像中的多个像素点的颜色空间中的第一通道值、第二通道值和第三通道值;
对于每个所述像素点,基于预设尺寸选取该像素点周围的局部区域,基于局部区域内的第一通道值的特征和第二通道值的特征确定该像素点的局部索引参数;
同一像素点所对应的第一通道值、第二通道值和局部索引参数构成一组索引条件,对同一索引条件所对应的第三通道值进行统计,将统计结果作为该索引条件的第三通道索引值。
3.根据权利要求1所述的方法,其特征在于,所述获取待融合多波段图像的每个坐标点的颜色空间中的第一通道值和第二通道值包括:
当所述待融合多波段图像中仅存在一个具有第一通道值的波段图像时,将颜色空间中的该第一通道值作为待融合多波段图像的每个坐标点的颜色空间中的第一通道值;当所述待融合多波段图像中仅存在一个具有第二通道值的波段图像时,将该颜色空间中的第二通道值作为待融合多波段图像的每个坐标点的颜色空间中的第二通道值;
当所述待融合多波段图像中存在多个具有第一通道值的波段图像时,对各波段图像中对应坐标点的第一通道值以预设方式进行叠加,将叠加结果作为待融合多波段图像的各坐标点的颜色空间中的第一通道值;当所述待融合多波段图像中存在多个具有第二通道值的波段图像时,对各波段图像中对应坐标点的第二通道值以预设方式进行叠加,将叠加结果作为待融合多波段图像的各坐标点的颜色空间中的第二通道值。
4.根据权利要求1或2所述的方法,其特征在于,所述局部索引参数通过以下方法确定:
获取所述局部区域内的第一通道值的特征、第二通道值的特征;
将第一通道值的特征与第二通道值的特征或者将两者的比值作为该坐标点的局部索引参数。
5.根据权利要求4所述的方法,其特征在于,将第一通道值的特征与第二通道值的特征的比值作为坐标点的局部索引参数,所述局部索引参数的计算公式为:
Figure FDA0004096148740000021
式中,
W1为基于第一通道的取值范围对第一通道值的特征进行归一化,再乘以系数k后的值;
W2为基于第二通道的取值范围对第一通道值的特征进行归一化,再乘以系数k后的值;
round为四舍五入函数。
6.根据权利要求2所述的方法,其特征在于,所述对同一索引条件所对应的第三通道值进行统计,统计方法为统计众数、均值、最大值、最小值或按照权重卷积核进行卷积中的任意一种。
7.根据权利要求1所述的方法,其特征在于,在所述获取待融合多波段图像的每个坐标点的颜色空间中的第一通道值和第二通道值之前,先对待融合多波段图像进行去噪处理。
8.一种基于多波段的伪彩色图像融合方法,其特征在于,包括以下步骤:
获取待融合多波段图像的每个坐标点的颜色空间中的第一通道值和第二通道值;基于待融合多波段图像第一通道值的整体特征和第二通道值的整体特征确定整体索引参数;
对于每个坐标点,基于预设尺寸选取该坐标点周围的局部区域,基于局部区域内的第一通道值的特征和第二通道值的特征确定该坐标点的局部索引参数;
基于每个坐标点的第一通道值、第二通道值、局部索引参数及整体索引参数,在预先构建的字典模型中进行索引,得到对应的颜色空间中的第三通道索引值;
基于每个坐标点的第一通道值、第二通道值和第三通道索引值,生成融合后的伪彩色图像。
9.根据权利要求8所述的方法,其特征在于,所述字典模型采用如下方法构建:
分别获取多张彩色样本图像中的多个像素点的颜色空间中的第一通道值、第二通道值和第三通道值;基于彩色样本图像第一通道值的整体特征和第二通道值的整体特征确定整体索引参数;
对于每个所述像素点,基于预设尺寸选取该像素点周围的局部区域,基于局部区域内的第一通道值的特征和第二通道值的特征确定该像素点的局部索引参数;
同一张彩色样本图像的同一像素点所对应的第一通道值、第二通道值、局部索引参数以及整体索引参数构成一组索引条件,对同一索引条件所对应的第三通道值进行统计,将统计结果作为该索引条件的第三通道索引值。
10.一种基于多波段的伪彩色图像融合系统,其特征在于,包括:
获取模块,用于获取待融合多波段图像的每个坐标点的颜色空间中的第一通道值和第二通道值;
特征模块,用于对于每个坐标点,基于预设尺寸选取该坐标点周围的局部区域,基于局部区域内的第一通道值的特征和第二通道值的特征确定该坐标点的局部索引参数,或者还用于基于待融合多波段图像第一通道值的整体特征和第二通道值的整体特征确定整体索引参数;
索引模块,用于基于每个坐标点的第一通道值、第二通道值及局部索引参数,在预先构建的字典模型中进行索引,得到对应的颜色空间中的第三通道索引值;或者用于基于每个坐标点的第一通道值、第二通道值、局部索引参数及整体索引参数,在预先构建的字典模型中进行索引,得到对应的颜色空间中的第三通道索引值;
融合模块,用于基于每个坐标点的第一通道值、第二通道值和第三通道索引值,生成融合后的伪彩色图像。
CN202310166791.4A 2023-02-27 2023-02-27 基于多波段的伪彩色图像融合方法及图像融合系统 Active CN116309216B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310166791.4A CN116309216B (zh) 2023-02-27 2023-02-27 基于多波段的伪彩色图像融合方法及图像融合系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310166791.4A CN116309216B (zh) 2023-02-27 2023-02-27 基于多波段的伪彩色图像融合方法及图像融合系统

Publications (2)

Publication Number Publication Date
CN116309216A true CN116309216A (zh) 2023-06-23
CN116309216B CN116309216B (zh) 2024-01-09

Family

ID=86789893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310166791.4A Active CN116309216B (zh) 2023-02-27 2023-02-27 基于多波段的伪彩色图像融合方法及图像融合系统

Country Status (1)

Country Link
CN (1) CN116309216B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609927A (zh) * 2012-01-12 2012-07-25 北京理工大学 基于场景景深的雾天可见光/红外图像彩色融合方法
CN103729836A (zh) * 2014-01-27 2014-04-16 中北大学 基于多尺度变换和可能性理论的多波段图像融合方法
US20170069060A1 (en) * 2015-09-04 2017-03-09 Apple Inc. Temporal Multi-Band Noise Reduction
CN107169508A (zh) * 2017-04-17 2017-09-15 杭州电子科技大学 一种基于融合特征的旗袍图像情感语义识别方法
CN108615010A (zh) * 2018-04-24 2018-10-02 重庆邮电大学 基于平行卷积神经网络特征图融合的人脸表情识别方法
CN110853027A (zh) * 2019-11-18 2020-02-28 方玉明 一种基于局部变动和全局变化的三维合成图像无参考质量评价方法
CN111125416A (zh) * 2019-12-27 2020-05-08 郑州轻工业大学 一种基于多特征融合的图像检索方法
CN111402306A (zh) * 2020-03-13 2020-07-10 中国人民解放军32801部队 一种基于深度学习的微光/红外图像彩色融合方法及系统
CN111815549A (zh) * 2020-07-09 2020-10-23 湖南大学 一种基于导向滤波图像融合的夜视图像彩色化方法
CN112288753A (zh) * 2020-11-02 2021-01-29 陈洪 一种基于颜色先验的图像色彩软分割方法及系统
CN114066844A (zh) * 2021-07-16 2022-02-18 天津师范大学 一种基于注意力叠加与特征融合的肺炎x光片图像分析模型及分析方法
CN114881907A (zh) * 2022-06-30 2022-08-09 江苏集萃苏科思科技有限公司 光学显微图像多景深焦点合成方法、系统及图像处理方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609927A (zh) * 2012-01-12 2012-07-25 北京理工大学 基于场景景深的雾天可见光/红外图像彩色融合方法
CN103729836A (zh) * 2014-01-27 2014-04-16 中北大学 基于多尺度变换和可能性理论的多波段图像融合方法
US20170069060A1 (en) * 2015-09-04 2017-03-09 Apple Inc. Temporal Multi-Band Noise Reduction
CN107169508A (zh) * 2017-04-17 2017-09-15 杭州电子科技大学 一种基于融合特征的旗袍图像情感语义识别方法
CN108615010A (zh) * 2018-04-24 2018-10-02 重庆邮电大学 基于平行卷积神经网络特征图融合的人脸表情识别方法
CN110853027A (zh) * 2019-11-18 2020-02-28 方玉明 一种基于局部变动和全局变化的三维合成图像无参考质量评价方法
CN111125416A (zh) * 2019-12-27 2020-05-08 郑州轻工业大学 一种基于多特征融合的图像检索方法
CN111402306A (zh) * 2020-03-13 2020-07-10 中国人民解放军32801部队 一种基于深度学习的微光/红外图像彩色融合方法及系统
CN111815549A (zh) * 2020-07-09 2020-10-23 湖南大学 一种基于导向滤波图像融合的夜视图像彩色化方法
CN112288753A (zh) * 2020-11-02 2021-01-29 陈洪 一种基于颜色先验的图像色彩软分割方法及系统
CN114066844A (zh) * 2021-07-16 2022-02-18 天津师范大学 一种基于注意力叠加与特征融合的肺炎x光片图像分析模型及分析方法
CN114881907A (zh) * 2022-06-30 2022-08-09 江苏集萃苏科思科技有限公司 光学显微图像多景深焦点合成方法、系统及图像处理方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
QI WEI 等: "Blind Model-Based Fusion of Multi-band and Panchromatic Images", 《2016 IEEE LNTEMATIONAL CONFERENCE ON MULTISENSOR FUSION AND INTEGRATION FOR INTELLIGENT SYSTEMS (MFI)》, pages 21 - 25 *
王金龙 等: "基于非子采样Contourlet变换的多波段SAR图像伪彩色融合", 《计算机应用研究》, vol. 26, no. 3, pages 1166 - 1168 *
赵玲 等: "DRF红外双波段彩色图像融合算法", 《激光与红外》, vol. 52, no. 1, pages 64 - 70 *

Also Published As

Publication number Publication date
CN116309216B (zh) 2024-01-09

Similar Documents

Publication Publication Date Title
CN108596248B (zh) 一种基于改进深度卷积神经网络的遥感影像分类方法
CN110399909B (zh) 一种基于标签约束弹性网图模型的高光谱图像分类方法
Yuan et al. Factorization-based texture segmentation
CN111985543B (zh) 一种高光谱图像分类模型的构建方法、分类方法及系统
Yao et al. Application of convolutional neural network in classification of high resolution agricultural remote sensing images
US9626598B2 (en) Method and apparatus for image processing
CN110110596B (zh) 高光谱图像特征提取、分类模型构建及分类方法
CN108460391B (zh) 基于生成对抗网络的高光谱图像无监督特征提取方法
CN109615008B (zh) 基于堆叠宽度学习的高光谱图像分类方法和系统
US20070127834A1 (en) Method of directed pattern enhancement for flexible recognition
JP2002319024A (ja) 色と質感との組み合わせに基づく映像検索方法
CN106294705A (zh) 一种批量遥感影像预处理方法
CN112750125B (zh) 一种基于端到端关键点检测的玻璃绝缘子片定位方法
CN115909052A (zh) 一种基于混合卷积神经网络的高光谱遥感图像分类方法
CN112733736A (zh) 基于增强过采样的类别不平衡高光谱图像分类方法
Lefèvre et al. Hyperspectral image classification from multiscale description with constrained connectivity and metric learning
Ticay-Rivas et al. Pollen classification based on geometrical, descriptors and colour features using decorrelation stretching method
CN113657472B (zh) 一种基于子空间学习的多源遥感数据融合方法
CN114445665A (zh) 基于Transformer增强的非局部U形网络的高光谱影像分类方法
CN113343900A (zh) 基于cnn与超像素结合的组合核遥感影像目标检测方法
CN116309216B (zh) 基于多波段的伪彩色图像融合方法及图像融合系统
CN117115675A (zh) 一种跨时相轻量化空谱特征融合高光谱变化检测方法、系统、设备及介质
CN116704378A (zh) 一种基于自生长卷积神经网络的国土测绘数据分类方法
CN113762128A (zh) 一种基于无监督学习的高光谱影像分类方法
CN111985501B (zh) 一种基于自适应高阶张量分解的高光谱图像特征提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant