CN117934310B - 基于深度学习的血管荧光图像与rgb图像融合系统 - Google Patents
基于深度学习的血管荧光图像与rgb图像融合系统 Download PDFInfo
- Publication number
- CN117934310B CN117934310B CN202410327716.6A CN202410327716A CN117934310B CN 117934310 B CN117934310 B CN 117934310B CN 202410327716 A CN202410327716 A CN 202410327716A CN 117934310 B CN117934310 B CN 117934310B
- Authority
- CN
- China
- Prior art keywords
- image
- fusion
- rgb
- model
- vascular
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 144
- 230000002792 vascular Effects 0.000 title claims abstract description 67
- 238000013135 deep learning Methods 0.000 title claims abstract description 17
- 238000002073 fluorescence micrograph Methods 0.000 title claims description 37
- 238000012545 processing Methods 0.000 claims abstract description 59
- 230000006870 function Effects 0.000 claims abstract description 32
- 230000000694 effects Effects 0.000 claims description 29
- 238000001914 filtration Methods 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000012360 testing method Methods 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 20
- 230000003749 cleanliness Effects 0.000 claims description 16
- 238000007499 fusion processing Methods 0.000 claims description 16
- 238000000034 method Methods 0.000 claims description 16
- 238000003062 neural network model Methods 0.000 claims description 14
- 238000005457 optimization Methods 0.000 claims description 14
- 238000011156 evaluation Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 10
- 239000003086 colorant Substances 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 9
- 238000012795 verification Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 230000007613 environmental effect Effects 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000001902 propagating effect Effects 0.000 claims description 6
- 230000002787 reinforcement Effects 0.000 claims description 5
- 238000009877 rendering Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000001454 recorded image Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims 1
- 230000009471 action Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008021 deposition Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000003292 diminished effect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005312 nonlinear dynamic Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了基于深度学习的血管荧光图像与RGB图像融合系统，涉及图像融合技术领域，为了解决血管荧光图像与RGB图像在进行融合时，图像融合的效率降低的问题。本发明将调整后的红外图像输入到生成器中，损失函数也变了，这样的处理步骤可以确保在后续图像处理中，尽量避免出现因为分辨率不匹配而导致的噪声问题，从而保障最终融合结果的清晰度和准确性，通过正向传播和反向传播的方式，可以精确地调整模型参数，使得模型在处理图像融合任务时更加准确，通过反复进行正向传播和反向传播，可以逐渐减小模型输出与预设数据之间的误差，从而得到更加准确的加强融合图像。
Description
技术领域
本发明涉及图像融合技术领域，具体为基于深度学习的血管荧光图像与RGB图像融合系统。
背景技术
图像融合是指将荧光图像与RGB图像进行结合，生成一张包含两者信息的图像。
公开号为CN117575924A的中国专利公开了一种统一模型的可见光与近红外荧光图像融合方法，主要通过各种融合颜色模式的统一模型，融合过程不需要硬阈值参数和针对性调优的超参数，所以模型泛化性更好，在融合过程种将图像的色彩与亮度解耦，既能够灵活设置融合过程中亮度和色彩的融合方案，又能够同时兼顾呈现可见光图像的细节和近红外荧光图像信号的强弱，设计正弦三角非线性的动态融合系数，客源消除融合边界的锯齿现象，使得融合效果更加真实，边界过渡自然，上述专利虽然解决了图像融合的问题，但是在实际操作中还存在以下问题：
1.没有根据融合图像的模型进行进一步的深度网络学习优化，从而导致融合图像的性能降低。
2.没有采用最佳的优化方式对融合图像进行融合，从而导致不同分辨率的图像无法融合。
3.没有将图像进行有效的图像优化，从而导致图像融合效果降低。
发明内容
本发明的目的在于提供基于深度学习的血管荧光图像与RGB图像融合系统，将调整后的红外图像输入到生成器中，损失函数也变了，这样的处理步骤可以确保在后续图像处理中，尽量避免出现因为分辨率不匹配而导致的噪声问题，从而保障最终融合结果的清晰度和准确性，通过正向传播和反向传播的方式，可以精确地调整模型参数，使得模型在处理图像融合任务时更加准确，通过反复进行正向传播和反向传播，可以逐渐减小模型输出与预设数据之间的误差，从而得到更加准确的加强融合图像，可以解决现有技术中的问题。
为实现上述目的，本发明提供如下技术方案：
基于深度学习的血管荧光图像与RGB图像融合系统，包括：
图像采集处理单元，用于：
将血管荧光图像和RGB图像分别进行采集，采集完成后统一进行图像优化处理，并将优化处理完成的图像标注为目标融合图像；
图像融合处理单元，用于：
将目标融合图像进行图像配准，图像配准完成后根据图像融合算法将配准完成的目标融合图像进行图像融合，图像融合完成后得到标准融合图像；
融合图像加强单元，用于：
将标准融合图像进行模型构建，并将模型构建完成的标准融合图像进行神经网络模型运算，神经网络模型运算完成后得到加强融合图像，并将加强融合图像作为最终的学习图像。
优选的，所述图像采集处理单元，包括：
图像采集模块，用于：
将血管荧光图像进行图像采集，其中，血管荧光图像是通过高速摄像机捕捉荧光反应的过程；
将RGB图像进行图像采集，其中，RGB图像是通过摄像头捕捉红、绿、蓝三个颜色通道的图像信息；
并将血管荧光图像和RGB图像单独进行存储。
优选的，所述图像采集处理单元，还包括：
图像处理模块，用于：
将单独存储的血管荧光图像和RGB图像分别进行图像预处理；
图像预处理包括对血管荧光图像和RGB图像的去噪、亮度和对比度的优化；
其中，先将血管荧光图像和RGB图像的清晰度数值进行确认，采用高斯滤波模型对清晰度数值不在标准清晰度范围内的图像进行滤波处理，并对滤波去噪效果进行评估；
若评估效果未达到设定的去噪效果，则对高斯滤波模型进行滤波参数调整，调整后重新进行图像滤波处理和评估，直至滤波后的图像达到预设的去噪效果为止；
将血管荧光图像和RGB图像去噪处理后的亮度值进行确认，若图像的亮度值小于预设的亮度阈值，则先获取并记录图像中的颜色，然后去除图像中的颜色使图片的亮度更加均匀；
再通过调整图像的灰度级别达到图像的白平衡，在达到白平衡之后，根据记录的图像颜色对图像进行色彩渲染，得到白平衡调整的图像；
将血管荧光图像和RGB图像白平衡调整后的图像的前景区域和背景区域进行识别，并确认前景区域和背景区域的对比度；
若对比度小于预设的对比度阈值，则对前景区域进行图像增强处理；
提取前景区域和背景区域之间临界位置的边缘特征，根据边缘特征识别临界位置宽度；
若临界位置宽度超过设定的宽度阈值，则将临界位置宽度进行两边对称缩减至与宽度阈值相等，得到清晰度调整后的图片；
并将清晰度调整后的图像标注为目标融合图像。
优选的，对滤波去噪效果进行评估的方式如下：
采用设定的像素尺寸为m×n对滤波后的血管荧光图像进行图像块分割，得到多个第一图像块；遍历滤波后的RGB图像分别和每个第一图像块进行相似度对比，将与第一图像块相似度最大且相似度大于设定值的滤波后的RGB图像中的图像块作为第二图像块，将相应的第一图像块和第二图像块作为图像块对；剔除分割剩余的滤波后的血管荧光图像和RGB图像，以及剔除无法形成图像块对的第一图像块或者第二图像块；
对每个图像块对采用以下公式计算滤波指数：
上式中，表示第个图像块对的滤波指数；表示第一图像块中像素
点的第个图像参数；表示第二图像块中像素点的第个图像参数；表示红R、
绿G、蓝B三个通道的颜色图像参数；
若计算得到的所有滤波指数都大于预先设定的指数阈值，则表示滤波后的图
像达到预设的去噪效果；否则，表示未达到设定的去噪效果。
优选的，所述图像融合处理单元，还用于：
根据图像融合算法将配准完成的目标融合图像进行图像融合；
图像融合包括融合图像和可视图像，融合图像和可视图像根据鉴别器和生成器进行计算；
鉴别器和生成器损失函数的计算公式如下：
。
D表示为鉴别器结果；G表示为生成器的生成结果；表示为先验的输入噪声变
量；G(z;)表示为数据空间的映射，G为可微函数，通过一个参数为的多层感知器表示；
D(x;)表示为第二个多层感知器；D和G进行极小极大博弈，其值函数为V(G，D)。
优选的，所述图像融合处理单元，还用于：
图像融合后将鉴别器和生成器的损失函数进行计算，生成器损失函数的计算公式如下：
其中，表示总损失；表示生成器的损失函数和鉴别器；
λ用于平衡和；
生成器的损失函数和鉴别器的计算公式如下：
其中，表示融合图像；N表示融合图像的数量；
和中的计算公式如下：
其中，H,W 分别代表输入图片的高和宽； 表示矩阵Fribenius范数；表示梯
度算子；
辨别器的损失函数计算公式如下：
其中，a和b分别表示可视图像的标签和融合图像的标签； 和
分别表示可见图像和融合图像的分类结果。
优选的，所述图像融合处理单元，还用于：
当血管荧光图像和RGB图像的分辨率不同时，将红外图像的尺度降为原始尺度的c平方分之一；
将红外图像调整至与可见光图像相匹配的分辨率，再将调整后的红外图像输入到生成器中；
其中，当调整后的红外图像输入到生成器时，生成器的损失函数公式如下：
表示为下采样操作；H,W 分别表示为输入图片的高和宽；代表梯度算子；
表示矩阵Fribenius范数。
优选的，所述图像融合处理单元，还用于：
图像融合后得到生成器和辨别器的网络结构；
其中，生成器的网络结构分为五层，第一层和第二层采用了5x5的卷积核，第三层和第四层采用了3x3的卷积核，网络的最终层配置了一个1x1的卷积核；
辨别器的网络结构分为五层，每一层都是3x3的卷积核；
并将图像融合后的网络结构作为模型创建的基础结构，将图像融合完成的图像标注为标准融合图像。
优选的，所述融合图像加强单元，还用于：
将标准融合图像进行模型创建时，以该标准融合图像的网络结构作为模型创建的结构基础；
得到创建的模型后将模型进行神经网络模型运算；
神经网络模型运算流程为将标准融合图像的模型进行模型参数确认；
将模型参数进行正向传播，其中，正向传播为将模型参数由低层次向高层次进行传播；
当正向传播的数据与预设数据不一致时，则进行反向传播；
反向传播时先将正向传播数据与预设数据的误差数据进行确认，再将误差数据从高层次向底层次进行传播训练；
标准融合图像的模型进行神经网络运算后得到加强融合图像。
优选的，所述图像采集处理单元，包括：
环境数据采集处理模块，用于：
实时采集并保存环境数据，环境数据包括空气洁净度和空气湿度；计算保存的全部空气洁净度的平均洁净度；
图像采集质量预测模块，用于：
采用预先构建并训练完成的图像采集质量预测模型，将平均洁净度和当前的空气湿度输入图像采集质量预测模型，输出并得到图像采集质量衰减系数；其中，图像采集质量预测模型训练采用的训练数据集、验证数据集和测试数据集通过同类型图像采集器件进行图像采集试验时收集得到，训练数据集、验证数据集和测试数据集中都包含进行图像采集试验时的空气洁净度和空气湿度；
采集预警模块，用于：
将图像采集质量衰减系数与预设的质量衰减阈值进行对比，若图像采集质量衰减系数等于或者大于质量衰减阈值，则发出采集预警信息。
与现有技术相比，本发明的有益效果如下：
1.本发明提供的基于深度学习的血管荧光图像与RGB图像融合系统，将两种图像分开存储，可以方便后续对图像进行进一步的处理和分析，通过去噪处理，可以有效减少血管荧光图像和RGB图像中的噪声干扰，进行白平衡调整和色彩渲染后，可以更好地还原图像的真实色彩，对图像的前景区域进行增强处理，可以改善图像的对比度，使图像中的细节更加清晰可见，可以减少后续处理中的计算量和复杂度。
2.本发明提供的基于深度学习的血管荧光图像与RGB图像融合系统，将调整后的红外图像输入到生成器中，损失函数也变了，这样的处理步骤可以确保在后续图像处理中，尽量避免出现因为分辨率不匹配而导致的噪声问题，从而保障最终融合结果的清晰度和准确性，采用对红外图像上采样，目的就是为了防止对可视图像下采样时候导致信息缺失，不同的网络分支可以对不同模态的图像进行特征提取，甚至对同种模态使用不同分支提取多种信息。
3.本发明提供的基于深度学习的血管荧光图像与RGB图像融合系统，通过正向传播和反向传播的方式，可以精确地调整模型参数，使得模型在处理图像融合任务时更加准确，通过反复进行正向传播和反向传播，可以逐渐减小模型输出与预设数据之间的误差，从而得到更加准确的加强融合图像。
附图说明
图1为本发明的图像融合模块原理示意图；
图2为本发明的图像融合方法流程示意图；
图3为本发明的生成器网络结构示意图；
图4为本发明的辨别器网络结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决现有技术中，对血管荧光图像与RGB图像进行图像融合之前没有将图像进行有效的图像优化，从而导致图像融合效果降低的问题，请参阅图1和图2，本实施例提供了以下技术方案：
基于深度学习的血管荧光图像与RGB图像融合系统，包括：
图像采集处理单元，用于：
将血管荧光图像和RGB图像分别进行采集，采集完成后统一进行图像优化处理，并将优化处理完成的图像标注为目标融合图像；
图像融合处理单元，用于：
将目标融合图像进行图像配准，图像配准完成后根据图像融合算法将配准完成的目标融合图像进行图像融合，图像融合完成后得到标准融合图像；
融合图像加强单元，用于：
将标准融合图像进行模型构建，并将模型构建完成的标准融合图像进行神经网络模型运算，神经网络模型运算完成后得到加强融合图像，并将加强融合图像作为最终的学习图像。
具体的，通过图像采集处理单元对图像进行预处理，可以减少后续处理中的计算量和复杂度，提高处理效率，通过图像融合处理单元可以使不同的网络分支可以对不同模态的图像进行特征提取，甚至对同种模态使用不同分支提取多种信息，通过融合图像加强单元增强了模型的适应性和泛化能力，可以精确地调整模型参数，使得模型在处理图像融合任务时更加准确。
图像采集处理单元，包括：
图像采集模块，用于：
将血管荧光图像进行图像采集，其中，血管荧光图像是通过高速摄像机捕捉荧光反应的过程；
将RGB图像进行图像采集，其中，RGB图像是通过摄像头捕捉红、绿、蓝三个颜色通道的图像信息；
并将血管荧光图像和RGB图像单独进行存储。
图像处理模块，用于：
将单独存储的血管荧光图像和RGB图像分别进行图像预处理；
图像预处理包括对血管荧光图像和RGB图像的去噪、亮度和对比度的优化；
其中，先将血管荧光图像和RGB图像的清晰度数值进行确认，采用高斯滤波模型对清晰度数值不在标准清晰度范围内的图像进行滤波处理，并对滤波去噪效果进行评估；
若评估效果未达到设定的去噪效果，则对高斯滤波模型进行滤波参数调整，调整后重新进行图像滤波处理和评估，直至滤波后的图像达到预设的去噪效果为止；
将血管荧光图像和RGB图像去噪处理后的亮度值进行确认，若图像的亮度值小于预设的亮度阈值，则先获取并记录图像中的颜色，然后去除图像中的颜色使图片的亮度更加均匀；
再通过调整图像的灰度级别达到图像的白平衡，在达到白平衡之后，根据记录的图像颜色对图像进行色彩渲染，得到白平衡调整的图像；
将血管荧光图像和RGB图像白平衡调整后的图像的前景区域和背景区域进行识别，并确认前景区域和背景区域的对比度；
若对比度小于预设的对比度阈值，则对前景区域进行图像增强处理；
提取前景区域和背景区域之间临界位置的边缘特征，根据边缘特征识别临界位置宽度；
若临界位置宽度超过设定的宽度阈值，则将临界位置宽度进行两边对称缩减至与宽度阈值相等，得到清晰度调整后的图片；
并将清晰度调整后的图像标注为目标融合图像。
具体的，先通过图像采集模块分别将血管荧光图像和RGB图像进行采集，采集后分别进行独立存储，将两种图像分开存储，可以方便后续对图像进行进一步的处理和分析，如图像增强、目标检测、特征提取等，再通过图像处理模块分别将血管荧光图像和RGB图像进行图像优化处理，通过去噪处理，可以有效减少血管荧光图像和RGB图像中的噪声干扰，提高图像的清晰度和纯净度，在对血管荧光图像和RGB图像进行白平衡调整和色彩渲染后，可以更好地还原图像的真实色彩，并增强图像中的颜色特征，通过对图像的前景区域进行增强处理，可以改善图像的对比度，使图像中的细节更加清晰可见。同时，通过调整临界位置的宽度，可以减少图像中的模糊和失真，进一步提高图像的清晰度，从而得到的清晰度调整后的图像可以作为目标融合图像，为后续的图像融合操作提供高质量的输入数据，通过对图像进行预处理，可以减少后续处理中的计算量和复杂度，提高处理效率。同时，预处理后的图像更加符合后续处理的要求，可以更容易地实现图像融合。
在前述实施例的基础上，对滤波去噪效果进行评估的方式如下：
采用设定的像素尺寸为m×n对滤波后的血管荧光图像进行图像块分割，得到多个第一图像块；遍历滤波后的RGB图像分别和每个第一图像块进行相似度对比，将与第一图像块相似度最大且相似度大于设定值的滤波后的RGB图像中的图像块作为第二图像块，将相应的第一图像块和第二图像块作为图像块对；剔除分割剩余的滤波后的血管荧光图像和RGB图像，以及剔除无法形成图像块对的第一图像块或者第二图像块；
对每个图像块对采用以下公式计算滤波指数：
上式中，表示第个图像块对的滤波指数；表示第一图像块中像素
点的第个图像参数；表示第二图像块中像素点的第个图像参数；表示红R、
绿G、蓝B三个通道的颜色图像参数；
若计算得到的所有滤波指数都大于预先设定的指数阈值，则表示滤波后的图
像达到预设的去噪效果；否则，表示未达到设定的去噪效果。
具体地，第一图像块和第二图像块可以分别在滤波后的血管荧光图像和RGB图像中任意选择得到，不过第一图像块在血管荧光图像中的选择位置和第二图像块在RGB图像中的选择位置相对应，采用大小相同的第一图像块和第二图像块作为去噪效果评估的基础，保障了评估中两者对照的一致性；采用上述公式计算得到滤波指数，使得对滤波效果的评估得到量化，通过截取第一图像块和第二图像块用于量化计算，缩小计算数据量，加快了处理速度；另外，量化评估方式减少评估中存在的人为因素影响，提高了评估的客观性和可靠性，能够更精确地评估去噪效果，可以使得滤波次数得到有效控制，一方面避免滤波次数过多影响数据处理效果和控制实时性，另一方面避免滤波次数不足造成滤波后图像噪声仍然超过标准。
为了解决现有技术中，在对血管荧光图像和RGB图像进行图像融合时，没有采用最佳的优化方式对融合图像进行融合，从而导致不同分辨率的图像无法融合的问题，请参阅图1-图3，本实施例提供了以下技术方案：
图像融合处理单元，还用于：
根据图像融合算法将配准完成的目标融合图像进行图像融合；
图像融合包括融合图像和可视图像，融合图像和可视图像根据鉴别器和生成器进行计算；
鉴别器和生成器损失函数的计算公式如下：
D表示为鉴别器结果；G表示为生成器的生成结果；表示为先验的输入噪声变
量；G(z;)表示为数据空间的映射，G为可微函数，通过一个参数为的多层感知器表示；
D(x;)表示为第二个多层感知器；D和G进行极小极大博弈，其值函数为V(G，D)。
图像融合后将鉴别器和生成器的损失函数进行计算，生成器损失函数的计算公式如下：
其中，表示总损失；表示生成器的损失函数和鉴别器；
λ用于平衡和；
生成器的损失函数和鉴别器的计算公式如下：
其中，表示融合图像；N表示融合图像的数量；
和中的计算公式如下：
其中，H,W 分别代表输入图片的高和宽；表示矩阵Fribenius范数；表示梯
度算子；
辨别器的损失函数计算公式如下：
其中，a和b分别表示可视图像的标签和融合图像的标签； 和
分别表示可见图像和融合图像的分类结果。
当血管荧光图像和RGB图像的分辨率不同时，将红外图像的尺度降为原始尺度的c平方分之一；
将红外图像调整至与可见光图像相匹配的分辨率，再将调整后的红外图像输入到生成器中；
其中，当调整后的红外图像输入到生成器时，生成器的损失函数公式如下：
表示为下采样操作；H,W 分别表示为输入图片的高和宽；代表梯度算子；
表示矩阵Fribenius范数。
图像融合后得到生成器和辨别器的网络结构；
其中，如图3所示，生成器的网络结构分为五层，第一层和第二层采用了5x5的卷积核，第三层和第四层采用了3x3的卷积核，网络的最终层配置了一个1x1的卷积核；
如图4所示，辨别器的网络结构分为五层，每一层都是3x3的卷积核；
并将图像融合后的网络结构作为模型创建的基础结构，将图像融合完成的图像标注为标准融合图像。
具体的，D代表鉴别器的结果，值域为0-1，越靠近1，是真实图像的可能性就越大，D
和G进行极小极大博弈，其值函数为V(D,G),代表希望第一项的D(x)越大越好，理想的
状况是鉴定真实的图像的结果尽可能接近1，其结果接近于1，D(x)的值越大，第一部分的评
价标准就越理想。至于第二部分，目标是使其数值尽可能增大，这意味着需要的值尽
可能小，代表分辨器识别生成图像为非真实图像的能力越强，生成器目标是希望第一项和
第二项至最低。第一项尽可能的小，表示D(x)的值减小，意味着区分真实图像与生成图像的
能力减弱。而第二项的降低则对应着D(G(z))增大，理想情况下，这意味着鉴别器将生成的
图像误判为真实图像的概率提升，反复地执行训练过程，鉴别器和生成器的效果会逐步增
强，直到鉴别器无法识别真实图像和生成图像时，模型训练成功；是一种损失函数，
旨在确保图像具备更为精细的纹理细节，第一项用于保证融合图像中的红外图
像的热辐射信息不损失，第二项用在保证可见光图像中包含的梯度信息，则是用来控
制两个项之间的折中，在图像的纹理区域和边界位置，通常存在显著的梯度变化，即像素灰
度值在此呈现出剧烈波动。在训练期间，这两者梯度的差距会逐步缩小，进而使两幅图像的
梯度值趋向一致，也就是说，融合图像与可视图像之间的梯度差异逐渐减小。这一过程导致
融合图像的纹理层次感不断增强。可见图像中的纹理细节不能完全用梯度信息来表示，所
以需要辨别器。当血管荧光图像和RGB图像的分辨率不同时，由于红外与可见光图像的分辨
率存在差异，无法被直接并行处理。因此，需将红外图像调整至与可见光图像相匹配的分辨
率，这一过程涉及插值技术的应用，随后再将调整后的红外图像输入到生成器中，损失函数
也变了，这样的处理步骤可以确保在后续图像处理中，尽量避免出现因为分辨率不匹配而
导致的噪声问题，从而保障最终融合结果的清晰度和准确性，对比其他方法时，采用对红外
图像上采样，目的就是为了防止对可视图像下采样时候导致信息缺失；生成器的网络结构
中为了应对梯度消失，在前四层结构中均融入了归一化处理和激活函数。除了最后一层使
用了tanh外，其余各层均采用了Leaky ReLU激活函数，这样的设计旨在提升网络的非线性
表达能力和训练稳定性，辨别器的网络结构中仅在第一层对输入实施了填充操作，而在接
下来的第2至第4层中则并未采用填充，旨在降低噪音的干扰。网络的最终部分是一个线性
层，它负责执行分类任务，从而不同的网络分支可以对不同模态的图像进行特征提取，甚至
对同种模态使用不同分支提取多种信息。
为了解决现有技术中，血管荧光图像和RGB图像进行图像融合后，没有根据融合图像的模型进行进一步的深度网络学习优化，从而导致融合图像的性能降低的问题，请参阅图1和图2，本实施例提供了以下技术方案：
融合图像加强单元，还用于：
将标准融合图像进行模型创建时，以该标准融合图像的网络结构作为模型创建的结构基础；
得到创建的模型后将模型进行神经网络模型运算；
神经网络模型运算流程为将标准融合图像的模型进行模型参数确认；
将模型参数进行正向传播，其中，正向传播为将模型参数由低层次向高层次进行传播；
当正向传播的数据与预设数据不一致时，则进行反向传播；
反向传播时先将正向传播数据与预设数据的误差数据进行确认，再将误差数据从高层次向底层次进行传播训练；
标准融合图像的模型进行神经网络运算后得到加强融合图像。
具体的，以标准融合图像的网络结构为基础创建模型，可以充分利用已有的网络结构和特征提取能力，避免了从零开始设计模型的繁琐过程，提高了模型的创建效率，由于标准融合图像本身已经融合了多种图像信息，以其为基础创建的模型能够更好地处理类似的多源图像融合任务，增强了模型的适应性和泛化能力，通过正向传播和反向传播的方式，可以精确地调整模型参数，使得模型在处理图像融合任务时更加准确，通过反复进行正向传播和反向传播，可以逐渐减小模型输出与预设数据之间的误差，从而得到更加准确的加强融合图像，因此所得到的加强融合图像对于输入数据的噪声和干扰具有更强的鲁棒性。
在前述实施例的基础上，所述图像采集处理单元，包括：
环境数据采集处理模块，用于：
实时采集并保存环境数据，环境数据包括空气洁净度和空气湿度；计算保存的全部空气洁净度的平均洁净度；
图像采集质量预测模块，用于：
采用预先构建并训练完成的图像采集质量预测模型，将平均洁净度和当前的空气湿度输入图像采集质量预测模型，输出并得到图像采集质量衰减系数；其中，图像采集质量预测模型训练采用的训练数据集、验证数据集和测试数据集通过同类型图像采集器件进行图像采集试验时收集得到，训练数据集、验证数据集和测试数据集中都包含进行图像采集试验时的空气洁净度和空气湿度；
采集预警模块，用于：
将图像采集质量衰减系数与预设的质量衰减阈值进行对比，若图像采集质量衰减系数等于或者大于质量衰减阈值，则发出采集预警信息。
具体地，预先就不同类型图像采集器件进行图像采集试验，收到试验中采用的实验图像，同时收集图像采集试验时的空气洁净度和空气湿度，对采集的实验图像进行质量评价得到每一个实验图像的图像采集质量衰减系数，将前述图像采集试验数据进行分组形成训练数据集、验证数据集和测试数据集；构建神经网络模型，导入训练数据集、验证数据集和测试数据集依次对神经网络模型进行训练、验证和测试，直到测试结果符合要求表示训练完成，得到图像采集质量预测模型；在系统中使用图像采集质量预测模型，将图像采集使用中的采集数据输入图像采集质量预测模型，即可输出得到图像采集质量衰减系数，如果图像采集质量衰减系数等于或者大于质量衰减阈值，表示图像采集设备可能受到尘埃沉积或者空气湿度影响造成图像采集质量不能满足基本要求，此时发出采集预警信息，提醒对图像采集设备进行清洁或者更换，以保障图像采集的原始品质，避免采集的图像质量过低导致即使后续进行滤波等处理都无法达到较好的图像质量要求。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (7)
1.基于深度学习的血管荧光图像与RGB图像融合系统，其特征在于，包括：
图像采集处理单元，用于：
将血管荧光图像和RGB图像分别进行采集，采集完成后统一进行图像优化处理，并将优化处理完成的图像标注为目标融合图像；
图像融合处理单元，用于：
将目标融合图像进行图像配准，图像配准完成后根据图像融合算法将配准完成的目标融合图像进行图像融合，图像融合完成后得到标准融合图像；
融合图像加强单元，用于：
将标准融合图像进行模型构建，并将模型构建完成的标准融合图像进行神经网络模型运算，神经网络模型运算完成后得到加强融合图像，并将加强融合图像作为最终的学习图像；
所述图像采集处理单元，包括：
图像采集模块，用于：
将血管荧光图像进行图像采集，其中，血管荧光图像是通过高速摄像机捕捉荧光反应的过程；
将RGB图像进行图像采集，其中，RGB图像是通过摄像头捕捉红、绿、蓝三个颜色通道的图像信息；
并将血管荧光图像和RGB图像单独进行存储；
所述图像采集处理单元，还包括：
图像处理模块，用于：
将单独存储的血管荧光图像和RGB图像分别进行图像预处理；
图像预处理包括对血管荧光图像和RGB图像的去噪、亮度和对比度的优化；
其中，将血管荧光图像和RGB图像的清晰度数值进行确认，采用高斯滤波模型对清晰度数值不在标准清晰度范围内的图像进行滤波处理，并对滤波去噪效果进行评估；
若评估效果未达到设定的去噪效果，则对高斯滤波模型进行滤波参数调整，调整后重新进行图像滤波处理和评估，直至滤波后的图像达到预设的去噪效果为止；
将血管荧光图像和RGB图像去噪处理后的亮度值进行确认，若图像的亮度值小于预设的亮度阈值，则先获取并记录图像中的颜色，然后去除图像中的颜色使图片的亮度更加均匀；
再通过调整图像的灰度级别达到图像的白平衡，在达到白平衡之后，根据记录的图像颜色对图像进行色彩渲染，得到白平衡调整的图像；
将血管荧光图像和RGB图像白平衡调整后的图像的前景区域和背景区域进行识别，并确认前景区域和背景区域的对比度；
若对比度小于预设的对比度阈值，则对前景区域进行图像增强处理；
提取前景区域和背景区域之间临界位置的边缘特征，根据边缘特征识别临界位置宽度；
若临界位置宽度超过设定的宽度阈值，则将临界位置宽度进行两边对称缩减至与宽度阈值相等，得到清晰度调整后的图片；
并将清晰度调整后的图像标注为目标融合图像；
所述融合图像加强单元，还用于：
将标准融合图像进行模型创建时，以该标准融合图像的网络结构作为模型创建的结构基础；
得到创建的模型后将模型进行神经网络模型运算；
神经网络模型运算流程为将标准融合图像的模型进行模型参数确认；
将模型参数进行正向传播，其中，正向传播为将模型参数由低层次向高层次进行传播；
当正向传播的数据与预设数据不一致时，则进行反向传播；
反向传播时先将正向传播数据与预设数据的误差数据进行确认，再将误差数据从高层次向底层次进行传播训练；
标准融合图像的模型进行神经网络运算后得到加强融合图像。
2.根据权利要求1所述的基于深度学习的血管荧光图像与RGB图像融合系统，其特征在于：对滤波去噪效果进行评估的方式如下：
采用设定的像素尺寸为m×n对滤波后的血管荧光图像进行图像块分割，得到多个第一图像块；遍历滤波后的RGB图像分别和每个第一图像块进行相似度对比，将与第一图像块相似度最大且相似度大于设定值的滤波后的RGB图像中的图像块作为第二图像块，将相应的第一图像块和第二图像块作为图像块对；剔除分割剩余的滤波后的血管荧光图像和RGB图像，以及剔除无法形成图像块对的第一图像块或者第二图像块；
对每个图像块对采用以下公式计算滤波指数：
，
上式中，表示第/>个图像块对的滤波指数；/>表示第一图像块中/>像素点的第/>个图像参数；/>表示第二图像块中/>像素点的第/>个图像参数；/>表示红R、绿G、蓝B三个通道的颜色图像参数；
若计算得到的所有滤波指数都大于预先设定的指数阈值，则表示滤波后的图像达到预设的去噪效果；否则，表示未达到设定的去噪效果。
3.根据权利要求1所述的基于深度学习的血管荧光图像与RGB图像融合系统，其特征在于：所述图像融合处理单元，还用于：
根据图像融合算法将配准完成的目标融合图像进行图像融合；
图像融合包括融合图像和可视图像，融合图像和可视图像根据鉴别器和生成器进行计算；
鉴别器和生成器损失函数的计算公式如下：
，
D表示为鉴别器结果；G表示为生成器的生成结果；表示为先验的输入噪声变量；G(z;/>)表示为数据空间的映射，G为可微函数，通过一个参数为/>的多层感知器表示；D(x;)表示为第二个多层感知器；D和G进行极小极大博弈，其值函数为V(G，D)。
4.根据权利要求3所述的基于深度学习的血管荧光图像与RGB图像融合系统，其特征在于：所述图像融合处理单元，还用于：
图像融合后将鉴别器和生成器的损失函数进行计算，生成器损失函数的计算公式如下：
，
其中，表示总损失；/>表示生成器/>的损失函数和鉴别器/>；λ用于平衡/>和/>；
生成器的损失函数和鉴别器/>的计算公式如下：
，
其中，表示融合图像；N表示融合图像的数量；
和/>中/>的计算公式如下：
，
其中，H,W 分别代表输入图片的高和宽； 表示矩阵Fribenius范数；/>表示梯度算子；
辨别器的损失函数计算公式如下：
，
其中，a和b分别表示可视图像的标签和融合图像/>的标签； />和/>分别表示可见图像和融合图像的分类结果。
5.根据权利要求4所述的基于深度学习的血管荧光图像与RGB图像融合系统，其特征在于：所述图像融合处理单元，还用于：
当血管荧光图像和RGB图像的分辨率不同时，将红外图像的尺度降为原始尺度的c平方分之一；
将红外图像调整至与可见光图像相匹配的分辨率，再将调整后的红外图像输入到生成器中；
其中，当调整后的红外图像输入到生成器时，生成器的损失函数公式如下：
，
表示为下采样操作；H,W 分别表示为输入图片的高和宽；/>代表梯度算子；/> 表示矩阵Fribenius范数。
6.根据权利要求5所述的基于深度学习的血管荧光图像与RGB图像融合系统，其特征在于：所述图像融合处理单元，还用于：
图像融合后得到生成器和辨别器的网络结构；
其中，生成器的网络结构分为五层，第一层和第二层采用5x5的卷积核，第三层和第四层采用3x3的卷积核，网络的最终层配置一个1x1的卷积核；
辨别器的网络结构分为五层，每一层均为3x3的卷积核；
并将图像融合后的网络结构作为模型创建的基础结构，将图像融合完成的图像标注为标准融合图像。
7.根据权利要求1所述的基于深度学习的血管荧光图像与RGB图像融合系统，其特征在于：所述图像采集处理单元，包括：
环境数据采集处理模块，用于：
实时采集并保存环境数据，环境数据包括空气洁净度和空气湿度；计算保存的全部空气洁净度的平均洁净度；
图像采集质量预测模块，用于：
采用预先构建并训练完成的图像采集质量预测模型，将平均洁净度和当前的空气湿度输入图像采集质量预测模型，输出并得到图像采集质量衰减系数；其中，图像采集质量预测模型训练采用的训练数据集、验证数据集和测试数据集通过同类型图像采集器件进行图像采集试验时收集得到，训练数据集、验证数据集和测试数据集中都包含进行图像采集试验时的空气洁净度和空气湿度；
采集预警模块，用于：
将图像采集质量衰减系数与预设的质量衰减阈值进行对比，若图像采集质量衰减系数等于或者大于质量衰减阈值，则发出采集预警信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410327716.6A CN117934310B (zh) | 2024-03-21 | 2024-03-21 | 基于深度学习的血管荧光图像与rgb图像融合系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410327716.6A CN117934310B (zh) | 2024-03-21 | 2024-03-21 | 基于深度学习的血管荧光图像与rgb图像融合系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117934310A CN117934310A (zh) | 2024-04-26 |
| CN117934310B true CN117934310B (zh) | 2024-05-24 |
Family
ID=90757668
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410327716.6A Active CN117934310B (zh) | 2024-03-21 | 2024-03-21 | 基于深度学习的血管荧光图像与rgb图像融合系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117934310B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210099237A (ko) * | 2020-02-03 | 2021-08-12 | 고려대학교 산학협력단 | 다중 영상 융합 방법 및 다중 영상 융합 방법을 수행하는 다중 영상 수술 가이드 장치 |
| CN117575924A (zh) * | 2023-11-10 | 2024-02-20 | 北京数字精准医疗科技有限公司 | 一种统一模型的可见光与近红外荧光图像融合方法 |
-
2024
- 2024-03-21 CN CN202410327716.6A patent/CN117934310B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210099237A (ko) * | 2020-02-03 | 2021-08-12 | 고려대학교 산학협력단 | 다중 영상 융합 방법 및 다중 영상 융합 방법을 수행하는 다중 영상 수술 가이드 장치 |
| CN117575924A (zh) * | 2023-11-10 | 2024-02-20 | 北京数字精准医疗科技有限公司 | 一种统一模型的可见光与近红外荧光图像融合方法 |
Non-Patent Citations (1)
| Title |
|---|
| 拟南芥细胞荧光与相衬图像融合方法研究;唐伟;《中国优秀硕士学位论文全文数据库》;20220215;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117934310A (zh) | 2024-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021104410A1 (zh) | 血涂片全视野智能分析方法血细胞分割模型及识别模型的构造方法 | |
| CN109613002B (zh) | 一种玻璃缺陷检测方法、装置和存储介质 | |
| CN108615226B (zh) | 一种基于生成式对抗网络的图像去雾方法 | |
| CN113592845A (zh) | 一种电池涂布的缺陷检测方法及装置、存储介质 | |
| CN111814867A (zh) | 缺陷检测模型的训练方法、缺陷检测方法及相关装置 | |
| CN110675368B (zh) | 一种融合图像分割与分类的细胞图像语义分割方法 | |
| CN112819772B (zh) | 一种高精度快速图形检测识别方法 | |
| CN109684922B (zh) | 一种基于卷积神经网络的多模型对成品菜的识别方法 | |
| CN112733950A (zh) | 一种基于图像融合与目标检测结合的电力设备故障诊断方法 | |
| CN107680054A (zh) | 雾霾环境下多源图像融合方法 | |
| CN111507426B (zh) | 基于视觉融合特征的无参考图像质量分级评价方法及装置 | |
| CN113240626A (zh) | 一种基于神经网络的玻璃盖板凹凸型瑕疵检测与分类方法 | |
| CN109241867B (zh) | 采用人工智能算法识别数字岩心图像的方法及装置 | |
| Jeon et al. | Ring difference filter for fast and noise robust depth from focus | |
| CN114549981A (zh) | 一种基于深度学习的智能巡检指针式仪表识别及读数方法 | |
| CN109523527A (zh) | 图像中脏污区域的检测方法、装置和电子设备 | |
| CN115841447A (zh) | 一种磁瓦表面缺陷的检测方法 | |
| CN109886932A (zh) | 基于svm的轮速传感器齿圈表面缺陷检测方法 | |
| CN116740728B (zh) | 一种用于晶圆读码器动态获取方法和系统 | |
| CN109886931A (zh) | 基于bp神经网络的轮速传感器齿圈表面缺陷检测方法 | |
| CN110728666A (zh) | 基于数字病理玻片进行慢性鼻窦炎的分型方法及其系统 | |
| Iwasokun et al. | Image enhancement methods: a review | |
| CN114764189A (zh) | 用于评估图像处理结果的显微镜系统和方法 | |
| CN110969164A (zh) | 基于深度学习端对端的低照度成像车牌识别方法及装置 | |
| CN117854072B (zh) | 一种工业视觉缺陷自动标注方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |