CN115018830A - 一种内窥镜荧光与可见光图像融合方法及其系统 - Google Patents

一种内窥镜荧光与可见光图像融合方法及其系统 Download PDF

Info

Publication number
CN115018830A
CN115018830A CN202210932127.1A CN202210932127A CN115018830A CN 115018830 A CN115018830 A CN 115018830A CN 202210932127 A CN202210932127 A CN 202210932127A CN 115018830 A CN115018830 A CN 115018830A
Authority
CN
China
Prior art keywords
image
visible light
fluorescence
sample
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210932127.1A
Other languages
English (en)
Inventor
唐永安
林文晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hualun Medical Supplies Shenzhen Co ltd
Original Assignee
Hualun Medical Supplies Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hualun Medical Supplies Shenzhen Co ltd filed Critical Hualun Medical Supplies Shenzhen Co ltd
Priority to CN202210932127.1A priority Critical patent/CN115018830A/zh
Publication of CN115018830A publication Critical patent/CN115018830A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种内窥镜荧光与可见光图像融合方法及系统，方法包括：获取可见光图像和荧光图像；对可见光图像进行图像增强及预处理，以得到第一图像；将荧光图像和第一图像输入预先训练的神经网络进行融合，得到目标融合图像。与现有技术相比，采用上述方法得到的目标融合图像可以更加清晰地显示病灶区域，从而使得医生对病变组织部位的判断更加准确且高效。

Description

一种内窥镜荧光与可见光图像融合方法及其系统
技术领域
本发明涉及内窥镜成像技术领域，具体涉及一种内窥镜荧光与可见光图像融合方法及其系统。
背景技术
随着微创技术的不断成熟，越来越多的微创手术取代传统手术操作，微创医疗技术已经成为医学发展的新方向。内窥镜微创医疗手术具有创伤小、手术短、术后康复快等特点，受到医患双方的青睐。内窥镜市场规模也得以迅速发展。目前，内窥镜技术已推广至耳鼻喉科、普外科、妇产科、胸外科、泌尿科等。
内窥镜是一种新型的医学成像方法，其能够伸入人体内部腔体实现微创或无创的组织观察。传统单相机内窥镜只有白光图像，不好辨认病灶的具体位置，对医生的专业水平和临床经验要求非常高。随着技术的发展，出现了双相机新型医用内窥镜，其优异的荧光能力大大提高了临床诊断和治疗的效果，也降低了对医生的专业水平及临床经验要求。双相机新型医用内窥镜可发出白光和荧光两种。其中，白光用来显示基础影像，荧光用来显示病灶位置及病灶清晰的边沿。但在实际应用中，双相机医用内窥镜所输出的图像往往存在不清晰等问题，从而影响医生的诊断。
发明内容
本发明实施例的目的在于提供一种内窥镜荧光与可见光图像融合方法及其系统，可以得到更加清晰的医学图像，方便医生的诊断。
为实现上述目的，第一方面，本发明实施例提供了一种内窥镜荧光与可见光图像融合方法及，适用于双相机医用内窥镜，包括：
获取可见光图像和荧光图像；
对所述可见光图像进行图像增强及预处理，得到第一图像；
将所述荧光图像和第一图像输入预先训练的神经网络进行图像融合，得到目标融合图像。
在本申请的某些具体实施方式中，对所述可见光图像进行图像增强及预处理，得到第一图像，具体为：
对所述可见光图像进行剪裁处理，以得到剪裁图像；
对所述剪裁图像进行水平镜像及旋转处理，其中残缺部分用黑色填充；
采用黑色像素填充所述剪裁图像中随机一小块部分；
随机将所述剪裁图像沿水平、垂直方向进行移动，其中残缺部分用黑色填充；
随机对所述剪裁图像进行加噪及归一化处理，得到所述第一图像。
在本申请的某些优选实施方式中，所述方法还包括：
构建神经网络；所述神经网络包括输入层、隐含层以及输出层构成，所述输入层、隐含层以及输出层之间的节点通过连接权重矩阵相连接，所述隐含层采用logsig激活函数，所述输出层采用purelin激活函数；
获取样本图像数据集，所述样本图像数据集中包括样本可见光图像和样本荧光图像；
采用所述样本图像数据集对所述神经网络进行训练。
其中，采用所述样本图像数据集对所述神经网络进行训练，具体为：
将所述样本图像数据集划分为训练集和测试集；
采用所述训练集对所述神经网络进行训练；
采样非线性降维算法对所述测试集进行降维处理，并采用K-means算法对降维处理后的所述测试集进行聚类，得到聚类测试样本；
采用所述聚类测试样本对训练好的神经网络进行测试。
第二方面，本申请实施例还提供了一种内窥镜荧光与可见光图像融合系统，包括相互通讯的双相机医用内窥镜和计算机设备。所述计算机设备包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一方面所述的方法步骤。
第三方面，本申请实施例还提供了另一种内窥镜荧光与可见光图像融合系统，包括相互通讯的双相机医用内窥镜和图像融合装置。其中，所述融合装置包括：
获取单元，用于获取可见光图像和荧光图像；
处理单元，用于对所述可见光图像进行图像增强及预处理，得到第一图像；
融合单元，用于将所述荧光图像和第一图像输入预先训练的神经网络进行图像融合，得到目标融合图像。
作为本申请的一种具体实施方式，所述处理单元具体用于：
对所述可见光图像进行剪裁处理，以得到剪裁图像；
对所述剪裁图像进行水平镜像及旋转处理，其中残缺部分用黑色填充；
采用黑色像素填充所述剪裁图像中随机一小块部分；
随机将所述剪裁图像沿水平、垂直方向进行移动，其中残缺部分用黑色填充；
随机对所述剪裁图像进行加噪及归一化处理，得到所述第一图像。
优选地，作为本申请的一种优选实施方式，所述图像融合系统还包括网络训练单元，用于：
构建神经网络；所述神经网络包括输入层、隐含层以及输出层构成，所述输入层、隐含层以及输出层之间的节点通过连接权重矩阵相连接，所述隐含层采用logsig激活函数，所述输出层采用purelin激活函数；
获取样本图像数据集，所述样本图像数据集中包括样本可见光图像和样本荧光图像；
将所述样本图像数据集划分为训练集和测试集；
采用所述训练集对所述神经网络进行训练；
采样非线性降维算法对所述测试集进行降维处理，并采用K-means算法对降维处理后的所述测试集进行聚类，得到聚类测试样本；
采用所述聚类测试样本对训练好的神经网络进行测试。
实施本发明实施例，先获取可见光图像和荧光图像，再对可见光图像进行图像增强及预处理，以得到第一图像，最后将荧光图像和第一图像输入预先训练的神经网络进行融合，得到目标融合图像。该目标融合图像可以更加清晰地显示病灶区域，从而使得医生对病变组织部位的判断更加准确且高效。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
图1是本发明实施例提供的内窥镜荧光与可见光图像融合方法的流程图；
图2是本发明实施例提供的内窥镜荧光与可见光图像融合系统的结构图；
图3是图2中计算机设备的一种结构图；
图4是本发明实施例提供的图像融合装置的一种结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和 “包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
请参考图1，本发明实施例提供的内窥镜荧光与可见光图像融合方法包括如下步骤：
S101，构建神经网络。
具体地，神经网络由输入层、隐含层以及输出层构成，输入层、隐含层以及输出层之间的节点通过连接权重矩阵相连接。其中，隐含层采用logsig激活函数，输出层采用purelin激活函数。神经网络通过输入层导入样本数据，隐含层进行数据处理，输出层输出测试结果，此过程为信号前向传播，为了降低网络模型精度和收敛性与设定目标的误差，还需要通过随机梯度下降法对神经网络模型的权重和阈值进行调整，从而降低网络误差。
S102，获取样本图像数据集。
该样本图像数据集中包括样本可见光图像和样本荧光图像。可从已公开的医学图像库中获取医学样本图像。其中，已公开的医学图像库可为可视数字人体器官公开数据集，例如美国国家图书馆公开提供的多组可视人体数据集(Visible Human Dataset，VHD)。
S103，采用所述样本图像数据集对所述神经网络进行训练。
具体地，步骤S103包括：
将所述样本图像数据集划分为训练集和测试集；
采用所述训练集对所述神经网络进行训练；
采样非线性降维算法对所述测试集进行降维处理，并采用K-means算法对降维处理后的所述测试集进行聚类，得到聚类测试样本；
采用所述聚类测试样本对训练好的神经网络进行测试。
进一步地，在构建好神经网络之后，将训练集和测试集输入至所述输入层，接着，隐含层根据训练集进行学习训练，得到训练后的神经网络。隐含层的训练包括初始化训练和进阶训练两部分。将训练集拆分为第一部分和第二部分，第二部分主要用于初始化训练，第二部分主要用于进阶训练。
在进行初始化训练时，将训练集的第一部分进行拆分，得到初始输入样本和初始输出目标，例如：训练集的第一部分为
Figure 530381DEST_PATH_IMAGE001
其中，
Figure 419840DEST_PATH_IMAGE002
表示全体m维向量的集合，
Figure 626830DEST_PATH_IMAGE003
表示全体n维向量的集合，拆分得到初始输入样本
Figure 209121DEST_PATH_IMAGE004
和初始输出目标
Figure 603193DEST_PATH_IMAGE005
。根据训练集的第一部分随机生成输入权值矩阵
Figure 561922DEST_PATH_IMAGE006
和偏置矩阵
Figure 92261DEST_PATH_IMAGE007
，其中i=1，2，3...
Figure 609567DEST_PATH_IMAGE008
,输入权值矩阵
Figure 490936DEST_PATH_IMAGE006
表示第i个隐含层节点与输入层间的连接权重矩阵，偏置矩阵
Figure 987776DEST_PATH_IMAGE007
表示第i个隐含层节点的偏置量矩阵。根据权值矩阵
Figure 638200DEST_PATH_IMAGE006
和偏置矩阵
Figure 296715DEST_PATH_IMAGE007
计算初始训练阶段的隐含层输出矩阵
Figure 930958DEST_PATH_IMAGE009
，计算时用
Figure 965910DEST_PATH_IMAGE010
表示隐含层激励函数，隐含层输出矩阵
Figure 736420DEST_PATH_IMAGE009
的计算公式为：
Figure 831415DEST_PATH_IMAGE011
式中，根据该输出矩阵
Figure 200559DEST_PATH_IMAGE009
计算得到神经网络模型的输出权重矩阵
Figure 39202DEST_PATH_IMAGE012
,输出权重矩阵
Figure 398640DEST_PATH_IMAGE012
表示输出层与第i个隐含层节点间的连接权重矩阵，输出权重矩阵
Figure 930115DEST_PATH_IMAGE012
的计算公式为：
Figure 7793DEST_PATH_IMAGE013
式中，
Figure 650126DEST_PATH_IMAGE014
表示输出矩阵
Figure 129649DEST_PATH_IMAGE009
的穆尔-彭罗斯广义逆矩阵，
Figure 566447DEST_PATH_IMAGE015
表示期望输出。
进行进阶训练时，将训练集的第二部分进行拆分，得到进阶输入样本和进阶输出目标，根据进阶输入样本和进阶输出目标再重复上述计算过程，以更新隐含层输出矩阵
Figure 397000DEST_PATH_IMAGE016
和输出权重矩阵
Figure 75980DEST_PATH_IMAGE017
，从而得到训练后的神经网络模型。
进一步地，采用非线性降维算法对测试集进行降维处理，将测试集的维度降低，并对降维后的测试集采用K-means算法进行聚类，得到聚类测试样本。
其中，K-means算法聚类步骤包括：
a、随机设置K个特征空间的点作为初始的聚类中心；
b、计算测试样本集中每个点到K个中心的距离，未知的点选择最近的一个聚类中心点作为标记类别；
c、重新计算每个聚类的中心点；
d、若计算得到的新中心点与原中心点一样，则计算结束，否则重新进入步骤b，直至计算结束。
通过将聚类试样本进行降维聚类后，可将分布较为集中的测试样本数据划归为同一状态类型，将分布较为分散的测试样本批量归类至不同标签下。
得到聚类测试样本后，将聚类测试样本输入至训练后的神经网络中，进行测试，最后得到训练好的神经网络，留做后续步骤使用。
S104，获取可见光图像和荧光图像。
S105，对所述可见光图像进行图像增强及预处理，得到第一图像。
具体地，步骤S105包括：
对所述可见光图像进行剪裁处理，以得到高H×宽W大小的剪裁图像；
对所述剪裁图像进行水平镜像及旋转处理，其中残缺部分用黑色填充；
采用黑色像素填充所述剪裁图像中随机一小块部分；
随机将所述剪裁图像沿水平、垂直方向进行移动，其中残缺部分用黑色填充；
随机对所述剪裁图像进行加噪及归一化处理，得到所述第一图像。
S106，将所述荧光图像和第一图像输入预先训练的神经网络进行图像融合，得到目标融合图像。
S107，输出RGB格式的所述目标融合图像。
实施本发明实施例的图像融合方法，先获取可见光图像和荧光图像，再对可见光图像进行图像增强及预处理，以得到第一图像，最后将荧光图像和第一图像输入预先训练的神经网络进行融合，得到目标融合图像。该目标融合图像可以更加清晰地显示病灶区域，从而使得医生对病变组织部位的判断更加准确且高效。
基于相同的发明构思，本发明实施例提供了一种内窥镜荧光与可见光图像融合系统。如图2所示，该系统包括相互通讯的双相机医用内窥镜200和计算机设备100。
可选地，在本申请的一实施例中，如图3所示，计算机设备100可以包括：一个或多个处理器101、一个或多个输入设备102、一个或多个输出设备103和存储器104，上述处理器101、输入设备102、输出设备103和存储器104通过总线105相互连接。存储器104用于存储计算机程序，所述计算机程序包括程序指令，所述处理器101被配置用于调用所述程序指令执行上述方法实施例部分的方法。
应当理解，在本发明实施例中，所称处理器101可以是中央处理单元 (CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器 (DigitalSignal Processor，DSP)、专用集成电路 (Application Specific Integrated Circuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备102可以包括键盘等，输出设备103可以包括显示器（LCD等）、扬声器等。
该存储器104可以包括只读存储器和随机存取存储器，并向处理器101 提供指令和数据。存储器104的一部分还可以包括非易失性随机存取存储器。例如，存储器104还可以存储设备类型的信息。
具体实现中，本发明实施例中所描述的处理器101、输入设备102、输出设备103可执行本发明实施例提供的内窥镜荧光与可见光图像融合方法的实施例中所描述的实现方式，在此不再赘述。
可选地，在本申请的另一实施例中，内窥镜荧光与可见光图像融合系统包括相互通讯的双相机医用内窥镜和图像融合装置。如图4所示，所述融合装置包括：
网络训练单元，用于构建及训练神经网络；
获取单元，用于获取可见光图像和荧光图像；
处理单元，用于对所述可见光图像进行图像增强及预处理，得到第一图像；
融合单元，用于将所述荧光图像和第一图像输入预先训练的神经网络进行图像融合，得到目标融合图像。
进一步地，所述网络训练单元，用于：
构建神经网络；所述神经网络包括输入层、隐含层以及输出层构成，所述输入层、隐含层以及输出层之间的节点通过连接权重矩阵相连接，所述隐含层采用logsig激活函数，所述输出层采用purelin激活函数；
获取样本图像数据集，所述样本图像数据集中包括样本可见光图像和样本荧光图像；
将所述样本图像数据集划分为训练集和测试集；
采用所述训练集对所述神经网络进行训练；
采样非线性降维算法对所述测试集进行降维处理，并采用K-means算法对降维处理后的所述测试集进行聚类，得到聚类测试样本；
采用所述聚类测试样本对训练好的神经网络进行测试。
进一步地，所述处理单元具体用于：
对所述可见光图像进行剪裁处理，以得到高H×宽W大小的剪裁图像；
对所述剪裁图像进行水平镜像及旋转处理，其中残缺部分用黑色填充；
采用黑色像素填充所述剪裁图像中随机一小块部分；
随机将所述剪裁图像沿水平、垂直方向进行移动，其中残缺部分用黑色填充；
随机对所述剪裁图像进行加噪及归一化处理，得到所述第一图像。
需要说明的是，关于图像融合系统部分更为具体的工作流程等，请参考前述方法实施例部分，在此不再赘述。
从以上描述可以得知，本发明实施例所提供的图像融合系统，先获取可见光图像和荧光图像，再对可见光图像进行图像增强及预处理，以得到第一图像，最后将荧光图像和第一图像输入预先训练的神经网络进行融合，得到目标融合图像。该目标融合图像可以更加清晰地显示病灶区域，从而使得医生对病变组织部位的判断更加准确且高效。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备 ( 可以是个人计算机，服务器，或者网络设备等 ) 执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U 盘、移动硬盘、只读存储器 (ROM，Read-OnlyMemory)、随机存取存储器 (RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种内窥镜荧光与可见光图像融合方法，适用于双相机医用内窥镜，其特征在于，包括：
获取可见光图像和荧光图像；
对所述可见光图像进行图像增强及预处理，得到第一图像；
将所述荧光图像和第一图像输入预先训练的神经网络进行图像融合，得到目标融合图像。
2.如权利要求1所述的内窥镜荧光与可见光图像融合方法，其特征在于，对所述可见光图像进行图像增强及预处理，得到第一图像，具体为：
对所述可见光图像进行剪裁处理，以得到剪裁图像；
对所述剪裁图像进行水平镜像及旋转处理，其中残缺部分用黑色填充；
采用黑色像素填充所述剪裁图像中随机一小块部分；
随机将所述剪裁图像沿水平、垂直方向进行移动，其中残缺部分用黑色填充；
随机对所述剪裁图像进行加噪及归一化处理，得到所述第一图像。
3.如权利要求1所述的内窥镜荧光与可见光图像融合方法，其特征在于，获取可见光图像之前，所述方法还包括：
构建神经网络；所述神经网络包括输入层、隐含层以及输出层构成，所述输入层、隐含层以及输出层之间的节点通过连接权重矩阵相连接，所述隐含层采用logsig激活函数，所述输出层采用purelin激活函数；
获取样本图像数据集，所述样本图像数据集中包括样本可见光图像和样本荧光图像；
采用所述样本图像数据集对所述神经网络进行训练。
4.如权利要求3所述的内窥镜荧光与可见光图像融合方法，其特征在于，采用所述样本图像数据集对所述神经网络进行训练，具体为：
将所述样本图像数据集划分为训练集和测试集；
采用所述训练集对所述神经网络进行训练；
采样非线性降维算法对所述测试集进行降维处理，并采用K-means算法对降维处理后的所述测试集进行聚类，得到聚类测试样本；
采用所述聚类测试样本对训练好的神经网络进行测试。
5.如权利要求1-4任一项所述的内窥镜荧光与可见光图像融合方法，其特征在于，得到目标融合图像之后，所述方法还包括：
输出RGB格式的所述目标融合图像。
6.一种内窥镜荧光与可见光图像融合系统，包括相互通讯的双相机医用内窥镜和计算机设备，其特征在于，所述计算机设备包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求5所述的方法。
7.一种内窥镜荧光与可见光图像融合系统，包括相互通讯的双相机医用内窥镜和图像融合装置，其特征在于，所述融合装置包括：
获取单元，用于获取可见光图像和荧光图像；
处理单元，用于对所述可见光图像进行图像增强及预处理，得到第一图像；
融合单元，用于将所述荧光图像和第一图像输入预先训练的神经网络进行图像融合，得到目标融合图像。
8.如权利要求7所述的内窥镜荧光与可见光图像融合系统，其特征在于，所述处理单元具体用于：
对所述可见光图像进行剪裁处理，以得到剪裁图像；
对所述剪裁图像进行水平镜像及旋转处理，其中残缺部分用黑色填充；
采用黑色像素填充所述剪裁图像中随机一小块部分；
随机将所述剪裁图像沿水平、垂直方向进行移动，其中残缺部分用黑色填充；
随机对所述剪裁图像进行加噪及归一化处理，得到所述第一图像。
9.如权利要求7或8所述的内窥镜荧光与可见光图像融合系统，其特征在于，所述图像融合系统还包括网络训练单元，用于：
构建神经网络；所述神经网络包括输入层、隐含层以及输出层构成，所述输入层、隐含层以及输出层之间的节点通过连接权重矩阵相连接，所述隐含层采用logsig激活函数，所述输出层采用purelin激活函数；
获取样本图像数据集，所述样本图像数据集中包括样本可见光图像和样本荧光图像；
将所述样本图像数据集划分为训练集和测试集；
采用所述训练集对所述神经网络进行训练；
采样非线性降维算法对所述测试集进行降维处理，并采用K-means算法对降维处理后的所述测试集进行聚类，得到聚类测试样本；
采用所述聚类测试样本对训练好的神经网络进行测试。
CN202210932127.1A 2022-08-04 2022-08-04 一种内窥镜荧光与可见光图像融合方法及其系统 Pending CN115018830A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210932127.1A CN115018830A (zh) 2022-08-04 2022-08-04 一种内窥镜荧光与可见光图像融合方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210932127.1A CN115018830A (zh) 2022-08-04 2022-08-04 一种内窥镜荧光与可见光图像融合方法及其系统

Publications (1)

Publication Number Publication Date
CN115018830A true CN115018830A (zh) 2022-09-06

Family

ID=83065321

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210932127.1A Pending CN115018830A (zh) 2022-08-04 2022-08-04 一种内窥镜荧光与可见光图像融合方法及其系统

Country Status (1)

Country Link
CN (1) CN115018830A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778893A (zh) * 2016-12-28 2017-05-31 东北大学 一种基于降维与聚类的高光谱样本选择方法
CN109993234A (zh) * 2019-04-10 2019-07-09 百度在线网络技术（北京）有限公司 一种无人驾驶训练数据分类方法、装置及电子设备
CN110555819A (zh) * 2019-08-20 2019-12-10 中国石油大学(北京) 基于红外和可见光图像融合的设备监测方法、装置及设备
CN112288663A (zh) * 2020-09-24 2021-01-29 山东师范大学 一种红外与可见光图像融合方法及系统
CN113469923A (zh) * 2021-05-28 2021-10-01 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN114445316A (zh) * 2022-04-11 2022-05-06 青岛大学附属医院 一种内窥镜荧光与可见光图像融合方法
CN114463205A (zh) * 2022-01-20 2022-05-10 中国人民解放军陆军工程大学 一种基于双分支Unet噪声抑制的车辆目标分割方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778893A (zh) * 2016-12-28 2017-05-31 东北大学 一种基于降维与聚类的高光谱样本选择方法
CN109993234A (zh) * 2019-04-10 2019-07-09 百度在线网络技术（北京）有限公司 一种无人驾驶训练数据分类方法、装置及电子设备
CN110555819A (zh) * 2019-08-20 2019-12-10 中国石油大学(北京) 基于红外和可见光图像融合的设备监测方法、装置及设备
CN112288663A (zh) * 2020-09-24 2021-01-29 山东师范大学 一种红外与可见光图像融合方法及系统
CN113469923A (zh) * 2021-05-28 2021-10-01 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN114463205A (zh) * 2022-01-20 2022-05-10 中国人民解放军陆军工程大学 一种基于双分支Unet噪声抑制的车辆目标分割方法
CN114445316A (zh) * 2022-04-11 2022-05-06 青岛大学附属医院 一种内窥镜荧光与可见光图像融合方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黎巎 著: "《旅游大数据研究》", 31 July 2018, 北京：中国经济出版社 *

Similar Documents

Publication Publication Date Title
TWI743931B (zh) 網路訓練、圖像處理方法、電子設備和儲存媒體
US20210406591A1 (en) Medical image processing method and apparatus, and medical image recognition method and apparatus
US8369585B2 (en) Automatic classification of information in images
WO2021238438A1 (zh) 肿瘤图像的处理方法和装置、电子设备、存储介质
WO2021031459A1 (zh) 适用于内窥镜的图像增强方法、装置和存储介质
CN111627508B (zh) 一种医学影像的解读方法、装置及计算机可读介质
EP3998579B1 (en) Medical image processing method, apparatus and device, medium and endoscope
CN111368849B (zh) 图像处理方法、装置、电子设备及存储介质
WO2021259391A2 (zh) 图像处理方法及装置、电子设备和存储介质
WO2020168698A1 (zh) 基于VRDS 4D医学影像的静脉的Ai内镜分析方法及产品
JP2019008349A (ja) 学習データ生成支援装置および学習データ生成支援方法並びに学習データ生成支援プログラム
CN116228787A (zh) 图像勾画方法、装置、计算机设备、存储介质
Hussain et al. Automatic segmentation of inner ear on CT-scan using auto-context convolutional neural network
KR102222509B1 (ko) 의료 영상에 관한 판단을 보조하는 방법 및 이를 이용한 장치
CN112634231A (zh) 一种图像分类方法、装置、终端设备和存储介质
US9123163B2 (en) Medical image display apparatus, method and program
WO2021030995A1 (zh) 基于vrds ai下腔静脉影像的分析方法及产品
Sendra-Balcells et al. Generalisability of fetal ultrasound deep learning models to low-resource imaging settings in five African countries
WO2021072873A1 (zh) 灰度图像处理方法、系统、装置和计算机可读存储介质
WO2021081771A1 (zh) 基于vrds ai医学影像的心脏冠脉的分析方法和相关装置
CN115018830A (zh) 一种内窥镜荧光与可见光图像融合方法及其系统
CN114708283A (zh) 图像目标的分割方法、装置、电子设备及存储介质
CN112086155A (zh) 一种基于语音录入的诊疗信息结构化收集方法
US20220284542A1 (en) Semantically Altering Medical Images
CN117078664B (zh) 计算机可读存储介质、超声图像质量评估装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination