CN116883803B - 一种用于胶质瘤边缘获取的图像融合方法及系统 - Google Patents

一种用于胶质瘤边缘获取的图像融合方法及系统 Download PDF

Info

Publication number
CN116883803B
CN116883803B CN202311150688.7A CN202311150688A CN116883803B CN 116883803 B CN116883803 B CN 116883803B CN 202311150688 A CN202311150688 A CN 202311150688A CN 116883803 B CN116883803 B CN 116883803B
Authority
CN
China
Prior art keywords
image
representing
moment
fused
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311150688.7A
Other languages
English (en)
Other versions
CN116883803A (zh
Inventor
蔡惠明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Nuoyuan Medical Devices Co Ltd
Original Assignee
Nanjing Nuoyuan Medical Devices Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Nuoyuan Medical Devices Co Ltd filed Critical Nanjing Nuoyuan Medical Devices Co Ltd
Priority to CN202311150688.7A priority Critical patent/CN116883803B/zh
Publication of CN116883803A publication Critical patent/CN116883803A/zh
Application granted granted Critical
Publication of CN116883803B publication Critical patent/CN116883803B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及医学图像识别技术领域，公开了一种用于胶质瘤边缘获取的图像融合方法及系统，该方法的步骤包括：从医学设备获取不同拍摄角度待融合的医学图像；从不同拍摄角度待融合的医学图像中提取医学图像边缘特征信息；将提取的医学图像边缘特征信息输入基于Gabor矩的自适应简化GA‑PCNN神经网络模型中，得到融合后的特征图；解码融合后的特征图，得到包含边缘特征信息的融合图像。本发明解决了难以准确确定胶质瘤与正常组织的边界的问题，对于胶质瘤的诊疗具有重大意义。

Description

一种用于胶质瘤边缘获取的图像融合方法及系统
技术领域
本发明涉及医学图像识别技术领域，具体为一种用于胶质瘤边缘获取的图像融合方法及系统。
背景技术
随着传感器技术的发展，医学成像设备呈现出多样化。不同的设备由于成像原理不同，导致它们采集的信息不同。为了充分结合各类医学图像的优势辅助医生完成诊断，研究人员把来自不同设备的医学图像进行融合。融合后的图像可以更完整地描述器官的形态结构和代谢情况，帮助医生更好地完成患者的诊疗方案。
神经胶质瘤是一种严重威胁人类健康的疾病，其前期异常会出现在组织或器官的边缘特征中，但由于癌细胞的浸润性生长，使其与正常脑组织之间的界限往往不明确，且成像设备和操作者个人情况的不同，同时伴随着病人的运动、体位的变化、心脏或不自主运动、结构的生长以及呼吸引起的软组织移位，在不同的时间范围内用同一模态获得的医学图像通常会造成拍摄角度的偏差，致使医学图像在传递信息的过程中包含很多不确定因素，在一定程度上影响融合图像对组织边缘特征的描述，这不仅会加重医生的负担，占用大量人力，而且医生在诊断过程中可能会出现误判的情况，因此，边缘特征的获取对于胶质瘤图像融合领域至关重要。
目前有两种常用且效果较好的处理图像边缘特征的方法，即像素的能量和PCNN网络，像素的能量可以在识别图像的边缘特征方面发挥较好的作用，而PCNN网络则更擅长处理边缘特征，二者一定程度地提升了图像的轮廓和局部细节的融合效果，然而像素块能量的处理和PCNN由网络参数过多仍会导致模型产生融合效率偏低的问题。
例如在授权公告号为CN115222724B的中国专利中公开了一种基于NSST域混合滤波与ED-PCNN的医学图像融合方法，采用ED-PCNN算法，利用Kirsch边缘算子进行边缘检测计算出边缘响应幅度最大值再乘以改进的空间频率作为PCNN的馈送输入，得到最终清晰边缘融合图。又如在授权公告号为CN110163830B的中国专利中公开了一种基于Riesz-Lap变换及PCNN的图像融合方法，将待融合源图像先分解到Riesz变换域，再将Riesz变换域的图像序列进行基于分数阶拉普拉斯算子以及多重调和样条小波变换，运用Riesz-Lap_PCNN表示Riesz分数阶拉普拉斯金字塔分解及脉冲耦合神经网络的图像融合方法，得到的图像融合结果视觉效果较好，提高了运行效率。
上述专利中存在以下问题：在顾及边缘的医学图像融合模型构建过程中，很少有方法可以在顾及图像边缘的同时保证模型效率，一方面，图像边缘清晰程度虽然得到了保证，但模型的构成往往十分复杂，网络参数较多，导致效率偏低，在系统参数的设置上需要人为操作，无法依据图像差异做出调整；另一方面，变换操作的PCNN神经网络虽然可以提高模型效率，但忽略了融合后图像边缘信息的保留与提取，虽然在申请公开号为CN105427269A的中国专利中公开了一种基于WEMD和PCNN的医学图像融合方法兼顾了模型自适应差以及边缘清晰度的问题，但在自适应过程中没有考虑由于病人运动等客观因素造成的图像偏移、角度变换等问题，且计算过程复杂，难以适用于胶质瘤的边缘提取。
发明内容
本发明的目的是提供一种用于胶质瘤边缘获取的图像融合方法及系统，通过基于Gabor矩的自适应神经网络模型，顾及图像角度偏移问题、利用灰度调整自适应链接系数，实现准确获取胶质瘤边缘特征信息的目的。
为达到上述目的，本发明是采用下述技术方案实现的。
一方面，本发明提供一种用于胶质瘤边缘获取的图像融合方法，所述图像融合方法包括：
S1：从医学设备获取不同拍摄角度待融合的医学图像；
S2：从不同拍摄角度待融合的医学图像中提取医学图像边缘特征信息；
S3：将提取的医学图像边缘特征信息输入基于Gabor矩的自适应简化GA-PCNN神经网络模型中，得到融合后的特征图；
S4：解码融合后的特征图，得到包含边缘特征信息的融合图像。
本发明进一步的改进在于，所述从不同拍摄角度待融合的医学图像中提取医学图 像边缘特征信息包括建立特征提取模型，采用在GoogLeNet上的预训练模型的第一个卷积 层来作为特征提取模型的第一个卷积层，在卷积过程中引入Canny算子，在梯度的幅度和角 度的计算中引入一阶微分偏导数代替高斯函数，以图像的两条对角线的交点为坐标原 点，建立二维直角坐标系，则一阶微分偏导数的计算公式如下：
；
；
其中，和分别表示水平方向和竖直方向的一阶偏导数，角度参数表示偏移图像旋转角，表示像素点坐标，表示在像素点坐标处的高斯函 数值，梯度的幅度和角度的计算公式分别如下：
本发明进一步的改进在于，所述偏移图像旋转角通过计算不同拍摄角度待融 合的医学图像的灰度中心矩获得，计算公式如下：
；
；
其中，和表示图像行列数，和分别表示偏移图像与参照图像的灰度中 心矩，和分别表示偏移图像与参照图像像素点以图像的两条对角线的交点 为坐标原点建立的二维直角坐标系中的质心坐标，和表示灰度矩阶数，表示偏 移图像在像素点坐标处的灰度值，表示参照图像在像素点坐标处的灰 度值，分别计算偏移图像与坐标系夹角和参照图像与坐标系夹角：
；
；
其中，、和分别表示参照图像的一阶矩、二阶矩和斜二阶矩，、和 分别表示偏移图像的一阶矩、二阶矩和斜二阶矩，由此得出偏移图像旋转角。
本发明进一步的改进在于，所述将提取的医学图像边缘特征信息输入基于Gabor矩的自适应简化GA-PCNN神经网络模型中包括GA-PCNN神经网络模型，其中GA-PCNN神经网络模型通过基于Gabor矩实现，包括如下步骤：
S31：通过所述Gabor矩得到滤波响应器图；
S32：设计所述自适应简化PCNN网络模型，在简化PCNN中，输入图像通过突触连接到神经元网络，并在所述神经元网络中脉冲的相互作用下进行信息处理；结合相似度和图像本身的空间特性和灰度特性，加入偏移图像旋转角来确定链接系数；
S33：将所述Gabor矩作为能量引导块，利用Gabor矩引导块在像素点坐标处的 潜在能量激励自适应简化GA-PCNN网络完成特征融合，激励过程描述如下：
；
其中，自适应简化PCNN操作由PCNN()函数完成，PCNN()函数表示简化PCNN操作， PCNN()函数由S32步骤计算，触发次数矩阵表示由决定的总触发次数， 表示Gabor矩引导块在像素点坐标处的潜在能量。
本发明进一步的改进在于，所述简化PCNN不考虑权重的调整和学习，将已发出脉 冲的神经元通过突触把脉冲传递给其邻近的神经元，传递到神经元的脉冲输入 计算公式如下：
；
其中，表示神经元的邻域坐标，表示神经元邻域窗口，表示神经元之 间的脉冲传递延迟，是坐标处神经元的脉冲输出，内部活动计算 公式如下所示：，其中表示反馈输入，表示神经元 的耦合链接，表示链接系数。
本发明进一步的改进在于，所述链接系数还包括链接系数的自适应设置，所述自适应设置用于获得链接系数矩阵，所述链接系数矩阵的计算公式如下：
；
表示自适应链接系数矩阵，将图像像素划分为个窗口，每个窗口包含像 素的大小为，表示每个窗口内像素的灰度值，表示每个窗口内像素的方差， 表示邻域窗口灰度相似度。
本发明进一步的改进在于，所述邻域窗口灰度相似度通过欧式距离度量方法计算，灰度相似度具体计算公式如下：
；
其中， 和是邻域窗口中坐标和处的神经元在第个 通道上的灰度值。
本发明进一步的改进在于，所述Gabor矩引导块在像素点坐标处的潜在能量 计算方式如下：
将图像特征图表示为CH，将CH分成尺寸为行列的块，每个块的第行第列 的位置信息表示为，其中，因此Gabor矩引导块在上的潜在能量计算公式如下：
；
其中，，和分别表示特征图邻域窗口中第行、第列的像素值和第行、第列的 像素值。
本发明进一步的改进在于，所述融合后的特征图包括两个卷积层，首先经过3×3 卷积操作、批量归一化和LeakyReLU激活函数处理，再经过1×1卷积操作和激活函数处理， 将两种处理结果相乘得到重构后的融合图像，其中，激活函数采取双曲正切函数，计算公式 为：，其中，为所述简化PCNN操作过程。。
另一方面，本发明提供一种用于胶质瘤边缘获取的图像融合系统，包括：
图像获取模块，从医学设备获取不同拍摄角度待融合的医学图像；
特征提取模块，从不同拍摄角度待融合的医学图像中提取医学图像边缘特征信息；
特征融合模块，将提取的医学图像边缘特征信息输入结合Gabor矩的自适应简化GA-PCNN神经网络模型中，得到融合后的特征图；
图像重构模块，解码融合后的特征图，得到包含边缘特征信息的融合图像。
本发明的一种计算机可读存储介质，其上存储有计算机程序，当该计算机程序被处理器执行时，实现一种用于胶质瘤边缘获取的图像融合方法。
本发明的一种控制器，包括存储器和处理器，所述存储器用于存储计算机程序，当执行所述计算机程序时实现一种用于胶质瘤边缘获取的图像融合方法。
与现有技术相比，本发明所达到的有益效果：
本发明首先通过搭载1×1卷积核作用于多层卷积提取图像特征，以减少网络开销，并计算角度参数改进Canny算子加入卷积；在特征融合过程中，再次利用角度参数，通过结合图像不同角度及灰度对链接系数进行了自适应设置，构建了结合Gabor矩和自适应简化GA-PCNN神经网络模型，以矩阵为核心顾及多角度和图像灰度构建融合策略，在减少PCNN网络的参数数量、降低了模型的时间复杂度的同时，提升了医学图像边缘特征的处理能力，同时利用灰度和角度调整自适应链接系数的设计可以有效区分胶质瘤与正常组织、避开图像本身偏移和人工设置带来的误差，弥补了由于医生掌握技能和设备限制较大以及病人运动等客观因素造成的拍摄角度不同，导致难以准确确定胶质瘤与正常组织的边界的问题，对疾病的诊疗判断具有重大的现实意义。
附图说明
图1为本发明一种用于胶质瘤边缘获取的医学图像融合方法流程图；
图2为本发明一种用于胶质瘤边缘获取的医学图像融合方法的示意图；
图3为本发明一种用于胶质瘤边缘获取的医学图像融合方法中所述自适应简化GA-PCNN神经网络模型示意图；
图4为本发明一种用于胶质瘤边缘获取的医学图像融合系统的框架图。
具体实施方式
下面通过附图以及具体实施例对本发明技术方案做详细地说明，应当理解本发明实施例以及实施例中的具体特征是对本发明技术方案的详细的说明，而不是对本发明技术方案的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互组合。
术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，字符"/"，一般表示前后关联对象是一种“或”的关系。
实施例1
图2为本发明一实施例的一种用于胶质瘤边缘获取的医学图像融合方法示意图，参照图1所示，本实施例中的一种用于胶质瘤边缘获取的医学图像融合方法包括以下步骤：
S1：从医学设备获取不同拍摄角度待融合的医学图像；
S2：从不同拍摄角度待融合的医学图像中提取医学图像边缘特征信息；
在本实施例中，从不同拍摄角度待融合的医学图像中提取医学图像边缘特征信息通过特征提取模块实现，特征提取模块采用在GoogLeNet上的预训练模型的第一个卷积层来作为特征提取模块的第一个卷积层，其中Inception模块处于核心地位，第一个卷积层包含64个大小为7×7的卷积核，使用LeakyReLU激活函数，为了降低特征图的尺寸并提取更细节的特征，对第一层卷积输出进行下采样操作，通常使用max pooling操作，提取图像重要特征。
在第一层卷积操作中引入Canny算子，Canny算子可以有效去除噪声，具体步骤为：应用高斯滤波平滑图像去除噪声，计算图像梯度，得到可能边缘，再应用非最大抑制技术和双阈值的方法来消除边误检、筛选边缘信息；
二维高斯平滑图像计算公式如下所示，其中表示高斯图像的标准差，表 示需要融合的图像在坐标处的像素值，表示在坐标处的高斯函数值：
；
在图像获取过程中，伴随着病人的运动、体位的变化、心脏或不自主运动、结构的 生长以及呼吸引起的软组织移位，在不同的时间范围内用同一模态获得的医学图像通常会 造成拍摄角度的偏差，因此本发明针对多角度拍摄图像，先根据偏移图像与参照图像的一 阶矩计算得出两幅图像的质心坐标，再根据图像的二阶矩计算得出图像和坐标系的夹角， 并利用灰度值计算偏移图像旋转角；以图像的两条对角线的交点为坐标原点建立二维直角 坐标系，其中偏移图像和参照图像的质心坐标 计算公式分别如下：
；
；
其中，表示偏移图像在像素点坐标处的灰度值，，表示参照图 像在像素点坐标处的灰度值，偏移图像与参照图像的灰度中心矩分别为：
；
；
其中，和表示图像行列数，和分别表示偏移图像与参照图像的灰度中 心矩，和表示灰度矩阶数；计算归一化二阶中心矩、和，用于消除图像尺度和 位置的影响，则偏移图像与坐标系夹角和参照图像与坐标系夹角可以通过图像二阶 矩获取：
；
；
其中，、和分别表示参照图像的一阶矩、二阶矩和斜二阶矩，、和 分别表示偏移图像的一阶矩、二阶矩和斜二阶矩，由此得出偏移图像旋转角。
在梯度的幅度和的计算中引入结合偏移图像旋转角的一阶微分偏导数代替 高斯函数，一阶微分偏导数的计算公式如下，
；
；
其中，和分别表示水平方向和竖直方向的一阶偏导数， 表示 像素点坐标，表示在像素点坐标处的高斯函数值，梯度的幅度和角度计算公式如下：
；
；
基于第一个卷积层得到的边缘特征信息加入第二个卷积层，与第一个卷积层类似，对下采样后的特征图进行第二层卷积操作，第二个卷积层包含64个5×5的卷积核，所述第二卷积层经过5×5卷积操作、批量归一化和LeakyReLU激活函数进行图像采样；
再加入第三个卷积层，包含64个3×3的卷积核，经批量归一化和LeakyReLU激活函数进行图像采样；
将所述第一个卷积层与第二个卷积层相乘减第一个卷积层，再与第二个卷积层和第三个卷积层的结果相加，获得输出结果。
在Inception模块中，通过使用3×3和5×5的卷积核来提高抽象性的特征向量，但这种卷积设置会带来网络开销增大的弊端，影响Inception模块的进行，因此，本发明通过搭载一个1×1的卷积核作用于多层卷积，1×1的卷积核可以降低模型参数量和计算量，减少通道数，以降低特征维度，为增加模型的非线性能力，在1×1的卷积核后添加一个激活函数LeakyReLU，将1×1卷积层的输出与其他并行分支的输出进行逐元素相加融合，将融合后的特征作为Inception模块的输出，供后续模型层使用。通过该卷积作用于5×5和3×3的卷积上，在减少计算量的同时还可修正线性激活。
在网络的最后几个Inception模块之后，使用全局平均池化操作来降低特征图的空间尺寸。可以将整个特征图转换为一个固定大小的特征向量。经过全局平均池化后的特征向量将用于全连接层，用于将特征向量映射到不同类别的概率输出。最后，应用Softmax函数对输出结果进行规范化，最后通过降维拼接得到特征图。
S3：通过所述特征融合模块融合所述医学图像边缘特征信息，完成特征图融合，在医学图像融合领域，融合模型构建的核心包括自编码的网络结构和构建融合策略，因此，利用Gabor矩引导块作为自适应简化PCNN神经网络的输入，将所有特征图分成大小相同的块，通过块的Gabor矩引导计算潜在能量，来激励自适应简化PCNN完成特征融合；具体步骤为：
S31：计算Gabor矩引导块的潜在能量；
Gabor矩通常指的是使用Gabor滤波器生成的矩阵，Gabor滤波器是一种能够在空间和频域同时拥有较好局部特征的滤波器，通过将Gabor滤波器应用于图像的不同位置和方向，可以得到一个矩阵，称为Gabor矩，所述Gabor矩通过滤波得到滤波响应器图。
图像特征图可以表示为CH，将CH分成尺寸为行列的块，每个块的位置信息表 示为，，运用下述公式计算Gabor矩引导块在上 的潜在能量：
；
其中， 表示Gabor矩引导块在像素点坐标处的潜在能量，和表示特征图邻域 窗口中第行、第列和第行、第列的像素值。
S32：自适应简化PCNN网络单元设计；
图3为自适应简化GA-PCNN神经网络模型示意图，在简化PCNN中，输入图像通过突触连接到神经元网络，并在网络中脉冲的相互作用下进行信息处理；具体步骤为：
步骤一：在初始化阶段，设定神经元之间的脉冲传递延迟，初始化时，采用最小 值方式对所述待融合图像进行初始化融合处理，这种方法有助于降低噪声的影响，所述最 小值为，表示最小值，即在融合处理时，比较偏移图像和参照图像中对应位置处像素的灰度值的大小，以其中灰度值小的像素作为 融合后图像处的像素，获得初始融合信息。
步骤二：将待处理的图像作为输入，将每个像素与对应的神经元进行连接，每个像 素的像素值为。
步骤三：计算每个神经元的激励值，在每个迭代步骤中，对于每个神经元，根据输入和当前状态计算激励；
步骤四：根据内部活动和阈值T，判断神经元是否发出脉冲，神经元坐标处的 阈值由确定，其中，是归一化常数，是在[0，1] 之间的时间衰减常数， 表示脉冲输出值，的计算公式如下：
；
其中， 表示的内部活动。
步骤五：当神经元的激励输出为1时，它会发出脉冲；反之，为0时不会发出脉冲。
进一步地，还包括自适应模型的设置，所述自适应模型的关键之一是确定链接系数和阈值，它直接影响到网络中神经元之间的耦合强度。通过动态调整链接系数，PCNN可以自适应地调整网络的连接强度，以适应输入图像的不同特征。
本发明通过结合相似度和图像本身的空间和灰度特性来确定链接系数，可以控制PCNN网络的同步脉冲发放特性，从而获得更精细的图像融合效果。对比度和亮度是描述图像的两个重要特征。对比度高的区域通常位于图像边缘和纹理明显的区域，这些区域的PCNN神经元需要调整其同步脉冲发放特性，以更好地保留图像细节信息。相反，对比度较低的区域像素间相关性较大，属于同一连通区域或背景，在处理大面积连通区域时，这些区域的PCNN神经元需要抑制其同步脉冲发放特性，以消除噪声对图像分割的不良影响。图像的亮度和对比度可以通过图像灰度的均值和方差近似衡量。给定一个像素，它与相邻像素构成的区域的灰度均值和方差可以作为链接矩阵设定的依据。下面是链接系数矩阵W的确定方法：
首先，选择每个神经元的邻域3x3的窗口。在一个邻域窗口中，神经元的坐标可以 表示为，其中i和j分别表示邻域窗口中的行和列。
分别计算图像中每个像素与其相邻像素构成区域的灰度均值和方差：公式分别如下：
；
；
其中，表示窗口内像素的灰度平均值，表示窗口内像素的方差，表 示窗口中像素的数量，表示窗口半径，表示图像中像素点坐标的灰度值。
胶质瘤通常具有高度的细胞浓度，与周围正常组织相比，其细胞核和胞质的浓度 较大。这会导致在医学影像中，胶质瘤区域的灰度值通常较高，与周围组织相比显示明显的 亮度差异；因此本发明用灰度值代替像素值，加入偏移图像旋转角，利用欧式距离度量方法 计算每对邻域窗口中的神经元灰度之间的相似度： ，其中， 和是邻域 窗口中坐标和处的神经元在第k个通道上的灰度值。
根据计算得到的灰度相似度和方差调整链接系数矩阵，具体计算公式如下：
；
表示自适应链接系数矩阵，将图像像素划分为个窗口，每个窗口包含像 素的大小为，表示每个窗口内像素的灰度值，表示每个窗口内像素的方差。在每 次迭代中，根据当前的脉冲传播和神经元输出状态来自适应调整链接系数矩阵。其中，是时间步t中神经元的链接系数矩阵，是神经元在时间步t的输出。
S33：将所述Gabor矩作为能量引导块，利用Gabor矩引导块在像素点坐标处的 潜在能量激励自适应简化GA-PCNN网络完成特征融合，激励过程描述如下：
；
其中，自适应简化PCNN操作由PCNN()函数完成，PCNN()函数表示简化PCNN操作， 由S32步骤计算，触发次数矩阵表示由决定的总触发次数，表示Gabor矩 引导块在像素点坐标处的潜在能量。
已发出脉冲的神经元通过突触把脉冲传递给其邻近的神经元。通过以下公式计算 传递到神经元的脉冲输入：
；
其中，表示神经元的邻域坐标，表示神经元邻域窗口，表示神经元之 间的脉冲传递延迟，是坐标处神经元的脉冲输出，内部活动计算 公式如下所示：，其中表示反馈输入，表示神经元 的耦合链接，表示链接系数。
重复以上步骤，当迭代次数达到最大时，迭代停止。
S4：解码融合后的特征图，得到包含边缘特征的融合图像；
所述图像重构模块是把从卷积操作捕捉的特征作为输入。所述映射单元由两个卷积层组成。第一层的卷积核为3x3，包含64个卷积核个数，步长为1；第二层为包含3个大小为1x1的卷积核，第一层使用LeakyReLU激活函数，最后一层使用tanh激活函数代替LeakyReLU实现最终的图像重构。
实施例2
与实施例1基于相同的发明构思，本实施例介绍一种基于神经网络获取器官边缘特征的医学图像融合系统，包括：
图像获取模块，从医学设备获取不同拍摄角度待融合的医学图像；
特征提取模块，从不同拍摄角度待融合的医学图像中提取医学图像边缘特征信息；
特征融合模块，将提取的医学图像边缘特征信息输入基于Gabor矩的自适应简化GA-PCNN神经网络模型中，得到融合后的特征图；
图像重构模块，解码融合后的特征图，得到包含边缘特征的融合图像。
图4为本发明一种用于胶质瘤边缘获取的医学图像融合系统的框架图，在本实施例中，从不同拍摄角度待融合的医学图像中提取医学图像边缘特征信息通过特征提取模块实现，特征提取模块采用在GoogLeNet上的预训练模型的第一个卷积层来作为特征提取模块的第一个卷积层，其中Inception模块处于核心地位，第一个卷积层包含64个大小为7×7的卷积核，使用LeakyReLU激活函数，为了降低特征图的尺寸并提取更细节的特征，对第一层卷积输出进行下采样操作，通常使用max pooling操作，提取图像重要特征。
在第一层卷积操作中引入Canny算子，Canny算子可以有效去除噪声，具体步骤为：应用高斯滤波平滑图像去除噪声，计算图像梯度，得到可能边缘，再应用非最大抑制技术和双阈值的方法来消除边误检、筛选边缘信息；
二维高斯平滑图像计算公式如下所示，其中表示高斯图像的标准差，表 示需要融合的图像在坐标处的像素值，表示在坐标处的高斯函数值：
；
在图像获取过程中，伴随着病人的运动、体位的变化、心脏或不自主运动、结构的 生长以及呼吸引起的软组织移位，在不同的时间范围内用同一模态获得的医学图像通常会 造成拍摄角度的偏差，因此本发明针对多角度拍摄图像，先根据偏移图像与参照图像的一 阶矩计算得出两幅图像的质心坐标，再根据图像的二阶矩计算得出图像和坐标系的夹角， 并利用灰度值计算偏移图像旋转角；以图像的两条对角线的交点为坐标原点建立二维直角 坐标系，其中偏移图像和参照图像的质心坐标 计算公式分别如下：
；
；
其中，表示偏移图像在像素点坐标处的灰度值，，表示参照图 像在像素点坐标处的灰度值，偏移图像与参照图像的灰度中心矩分别为：
；
；
其中，和表示图像行列数，和分别表示偏移图像与参照图像的灰度中 心矩，和表示灰度矩阶数；计算归一化二阶中心矩、和，用于消除图像尺度和 位置的影响，则偏移图像与坐标系夹角和参照图像与坐标系夹角可以通过图像二阶 矩获取：
；
；
其中，、和分别表示参照图像的一阶矩、二阶矩和斜二阶矩，、和 分别表示偏移图像的一阶矩、二阶矩和斜二阶矩，由此得出偏移图像旋转角。
在梯度的幅度和的计算中引入结合偏移图像旋转角的一阶微分偏导数代替 高斯函数，一阶微分偏导数的计算公式如下，
；
；
其中，和分别表示水平方向和竖直方向的一阶偏导数， 表示 像素点坐标，表示在像素点坐标处的高斯函数值，梯度的幅度和角度计算公式如下：
；
；
基于第一个卷积层得到的边缘特征信息加入第二个卷积层，与第一个卷积层类似，对下采样后的特征图进行第二层卷积操作，第二个卷积层包含64个5×5的卷积核，所述第二卷积层经过5×5卷积操作、批量归一化和LeakyReLU激活函数进行图像采样；
再加入第三个卷积层，包含64个3×3的卷积核，经批量归一化和LeakyReLU激活函数进行图像采样；
将所述第一个卷积层与第二个卷积层相乘减第一个卷积层，再与第二个卷积层和第三个卷积层的结果相加，获得输出结果。
在Inception模块中，通过使用3×3和5×5的卷积核来提高抽象性的特征向量，但这种卷积设置会带来网络开销增大的弊端，影响Inception模块的进行，因此，本发明通过搭载一个1×1的卷积核作用于多层卷积，1×1的卷积核可以降低模型参数量和计算量，减少通道数，以降低特征维度，为增加模型的非线性能力，在1×1的卷积核后添加一个激活函数LeakyReLU，将1×1卷积层的输出与其他并行分支的输出进行逐元素相加融合，将融合后的特征作为Inception模块的输出，供后续模型层使用。通过该卷积作用于5×5和3×3的卷积上，在减少计算量的同时还可修正线性激活。
在网络的最后几个Inception模块之后，使用全局平均池化操作来降低特征图的空间尺寸。可以将整个特征图转换为一个固定大小的特征向量。经过全局平均池化后的特征向量将用于全连接层，用于将特征向量映射到不同类别的概率输出。最后，应用Softmax函数对输出结果进行规范化，最后通过降维拼接得到特征图。
S3：通过所述特征融合模块融合所述医学图像边缘特征信息，完成特征图融合，在医学图像融合领域，融合模型构建的核心包括自编码的网络结构和构建融合策略，因此，利用Gabor矩引导块作为自适应简化PCNN神经网络的输入，将所有特征图分成大小相同的块，通过块的Gabor矩引导计算潜在能量，来激励自适应简化PCNN完成特征融合；具体步骤为：
S31：计算Gabor矩引导块的潜在能量；
Gabor矩通常指的是使用Gabor滤波器生成的矩阵，Gabor滤波器是一种能够在空间和频域同时拥有较好局部特征的滤波器，通过将Gabor滤波器应用于图像的不同位置和方向，可以得到一个矩阵，称为Gabor矩，所述Gabor矩通过滤波得到滤波响应器图。
图像特征图可以表示为CH，将CH分成尺寸为行列的块，每个块的位置信息表 示为，，运用下述公式计算Gabor矩引导块在上 的潜在能量：
；
其中， 表示Gabor矩引导块在像素点坐标处的潜在能量，和表示特征图邻域 窗口中第行、第列和第行、第列的像素值。
S32：自适应简化PCNN网络单元设计；
在简化PCNN中，输入图像通过突触连接到神经元网络，并在网络中脉冲的相互作用下进行信息处理；具体步骤为：
步骤一：在初始化阶段，设定神经元之间的脉冲传递延迟，初始化时，采用最小 值方式对所述待融合图像进行初始化融合处理，这种方法有助于降低噪声的影响，所述最 小值为，表示最小值，即在融合处理时，比较偏移图像和参照图像中对应位置处像素的灰度值的大小，以其中灰度值小的像素作为 融合后图像处的像素，获得初始融合信息。
步骤二：将待处理的图像作为输入，将每个像素与对应的神经元进行连接，每个像 素的像素值为。
步骤三：计算每个神经元的激励值，在每个迭代步骤中，对于每个神经元，根据输入和当前状态计算激励；
步骤四：根据内部活动和阈值T，判断神经元是否发出脉冲，神经元坐标处的 阈值由确定，其中，是归一化常数，是在[0，1] 之间的时间衰减常数， 表示脉冲输出值，的计算公式如下：
；
其中， 表示的内部活动。
步骤五：当神经元的激励输出为1时，它会发出脉冲；反之，为0时不会发出脉冲。
进一步地，还包括自适应模型的设置，所述自适应模型的关键之一是确定链接系数和阈值，它直接影响到网络中神经元之间的耦合强度。通过动态调整链接系数，PCNN可以自适应地调整网络的连接强度，以适应输入图像的不同特征。
本发明通过结合相似度和图像本身的空间和灰度特性来确定链接系数，可以控制PCNN网络的同步脉冲发放特性，从而获得更精细的图像融合效果。对比度和亮度是描述图像的两个重要特征。对比度高的区域通常位于图像边缘和纹理明显的区域，这些区域的PCNN神经元需要调整其同步脉冲发放特性，以更好地保留图像细节信息。相反，对比度较低的区域像素间相关性较大，属于同一连通区域或背景，在处理大面积连通区域时，这些区域的PCNN神经元需要抑制其同步脉冲发放特性，以消除噪声对图像分割的不良影响。图像的亮度和对比度可以通过图像灰度的均值和方差近似衡量。给定一个像素，它与相邻像素构成的区域的灰度均值和方差可以作为链接矩阵设定的依据。下面是链接系数矩阵W的确定方法：
首先，选择每个神经元的邻域3x3的窗口。在一个邻域窗口中，神经元的坐标可以 表示为，其中i和j分别表示邻域窗口中的行和列。
分别计算图像中每个像素与其相邻像素构成区域的灰度均值和方差：公式分别如下：
；
；
其中，表示窗口内像素的灰度平均值，表示窗口内像素的方差，表 示窗口中像素的数量，表示窗口半径，表示图像中像素点坐标的灰度值。
胶质瘤通常具有高度的细胞浓度，与周围正常组织相比，其细胞核和胞质的浓度 较大。这会导致在医学影像中，胶质瘤区域的灰度值通常较高，与周围组织相比显示明显的 亮度差异；因此本发明用灰度值代替像素值，加入偏移图像旋转角，利用欧式距离度量方法 计算每对邻域窗口中的神经元灰度之间的相似度： ，其中， 和是邻域 窗口中坐标和处的神经元在第k个通道上的灰度值。
根据计算得到的灰度相似度和方差调整链接系数矩阵，具体计算公式如下：
；
表示自适应链接系数矩阵，将图像像素划分为个窗口，每个窗口包含像 素的大小为，表示每个窗口内像素的灰度值，表示每个窗口内像素的方差。在每 次迭代中，根据当前的脉冲传播和神经元输出状态来自适应调整链接系数矩阵。其中，是时间步t中神经元的链接系数矩阵，是神经元在时间步t的输出。
S33：将所述Gabor矩作为能量引导块，利用Gabor矩引导块在像素点坐标处的 潜在能量激励自适应简化GA-PCNN网络完成特征融合，激励过程描述如下：
；
其中，自适应简化PCNN操作由PCNN()函数完成，PCNN()函数表示简化PCNN操作， 由S32步骤计算，触发次数矩阵表示由决定的总触发次数，表示Gabor矩 引导块在像素点坐标处的潜在能量。
已发出脉冲的神经元通过突触把脉冲传递给其邻近的神经元。通过以下公式计算 传递到神经元的脉冲输入：
；
其中，表示神经元的邻域坐标，表示神经元邻域窗口，表示神经元之 间的脉冲传递延迟，是坐标处神经元的脉冲输出，内部活动计算 公式如下所示：，其中表示反馈输入，表示神经元 的耦合链接，表示链接系数。
重复以上步骤，当迭代次数达到最大时，迭代停止。
S4：解码融合后的特征图，得到包含边缘特征的融合图像；
所述图像重构模块是把从卷积操作捕捉的特征作为输入。所述映射单元由两个卷积层组成。第一层的卷积核为3x3，包含64个卷积核个数，步长为1；第二层为包含3个大小为1x1的卷积核，第一层使用LeakyReLU激活函数，最后一层使用tanh激活函数代替LeakyReLU实现最终的图像重构。
实施例3
本发明的一种计算机可读存储介质，其上存储有计算机程序，当该计算机程序被处理器执行时，实现上述任一所述的一种用于胶质瘤边缘获取的图像融合方法。需要说明的是：一种用于胶质瘤边缘获取的图像融合方法的运行环境为Intel(R)Core(TM)i7和MATLAB。
本发明的一种控制器，包括存储器和处理器，所述存储器用于存储计算机程序，当执行所述计算机程序时实现上述任一项所述的一种用于胶质瘤边缘获取的图像融合方法。
综上实施例，本发明首先通过搭载1×1卷积核作用于多层卷积提取图像特征，以减少网络开销，并计算角度参数改进Canny算子加入卷积；在特征融合过程中，再次利用角度参数，通过结合图像不同角度及灰度对链接系数进行了自适应设置，构建了结合Gabor矩和自适应简化GA-PCNN神经网络模型，以矩阵为核心顾及多角度和图像灰度构建融合策略，在减少PCNN网络的参数数量、降低了模型的时间复杂度的同时，提升了医学图像边缘特征的处理能力，同时利用灰度和角度调整自适应链接系数的设计可以有效区分胶质瘤与正常组织、避开图像本身偏移和人工设置带来的误差，弥补了由于医生掌握技能和设备限制较大以及病人运动等客观因素造成的拍摄角度不同，导致难以准确确定胶质瘤与正常组织的边界的问题，对疾病的诊疗判断具有重大的现实意义。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (9)

1.一种用于胶质瘤边缘获取的图像融合方法，其特征在于，包括以下具体步骤：
S1：从医学设备获取不同拍摄角度待融合的医学图像；
S2：从不同拍摄角度待融合的医学图像中提取医学图像边缘特征信息；
S3：将提取的医学图像边缘特征信息输入基于Gabor矩的自适应简化GA-PCNN神经网络模型中，得到融合后的特征图，其中GA-PCNN神经网络模型通过基于Gabor矩实现，包括如下步骤：
S31：通过所述Gabor矩得到滤波响应器图；
S32：设计所述自适应简化PCNN网络模型，在简化PCNN中，输入图像通过突触连接到神经元网络，并在所述神经元网络中脉冲的相互作用下进行信息处理；结合相似度和图像本身的空间特性和灰度特性，加入偏移图像旋转角来确定链接系数；
所述链接系数还包括链接系数的自适应设置，所述自适应设置用于获得链接系数矩阵，所述链接系数矩阵的计算公式如下：
；
表示自适应链接系数矩阵，将图像像素划分为/>个窗口，每个窗口包含像素的大小为/>，/>表示每个窗口内像素的灰度值，/>表示每个窗口内像素的方差，/>表示邻域窗口灰度相似度；
所述邻域窗口灰度相似度通过欧式距离度量方法计算，灰度相似度具体计算公式如下：
；
其中，和/>是邻域窗口中坐标/>和/>处的神经元在第/>个通道上的灰度值；
S33：将所述Gabor矩作为能量引导块，利用Gabor矩引导块在像素点坐标处的潜在能量激励自适应简化GA-PCNN网络完成特征融合，所述激励过程描述如下：
；
其中，自适应简化PCNN操作由PCNN()函数完成，PCNN()函数表示简化PCNN操作，PCNN()函数由S32步骤计算，触发次数矩阵表示由/>决定的总触发次数，/>表示Gabor矩引导块在像素点坐标/>处的潜在能量；
S4：解码融合后的特征图，得到包含边缘特征信息的融合图像。
2.根据权利要求1所述的一种用于胶质瘤边缘获取的图像融合方法，其特征在于：所述从不同拍摄角度待融合的医学图像中提取医学图像边缘特征信息包括建立特征提取模型，采用在GoogLeNet上的预训练模型的第一个卷积层来作为特征提取模型的第一个卷积层，在卷积过程中引入Canny算子，在梯度的幅度和角度的计算中引入一阶微分偏导数代替高斯函数，以图像的两条对角线的交点为坐标原点，建立二维直角坐标系，则一阶微分偏导数/>的计算公式如下：
；
；
其中，和/>分别表示水平方向和竖直方向的一阶偏导数，角度参数/>表示偏移图像旋转角，/>表示像素点坐标，/>表示像素点坐标/>处的高斯函数值，梯度的幅度/>和角度/>的计算公式分别如下：
；
。
3.根据权利要求2所述的一种用于胶质瘤边缘获取的图像融合方法，其特征在于：所述偏移图像旋转角通过计算不同拍摄角度待融合的医学图像的灰度中心矩获得，计算公式如下：
；
；
其中，和/>表示图像行列数，/>和/>分别表示偏移图像与参照图像的灰度中心矩，/>和/>分别表示偏移图像与参照图像像素点以图像的两条对角线的交点为坐标原点建立的二维直角坐标系中的质心坐标，/>和/>表示灰度矩阶数，/>表示偏移图像在像素点坐标/>处的灰度值，/>表示参照图像在像素点坐标/>处的灰度值，分别计算偏移图像与坐标系夹角/>和参照图像与坐标系夹角/>：
；
；
其中，、/>和/>分别表示参照图像的一阶矩、二阶矩和斜二阶矩，/>、/>和/>分别表示偏移图像的一阶矩、二阶矩和斜二阶矩，由此得出偏移图像旋转角/>。
4.根据权利要求3所述的一种用于胶质瘤边缘获取的图像融合方法，其特征在于：所述简化PCNN不考虑权重的调整和学习，将已发出脉冲的神经元通过突触把脉冲传递给其邻近的神经元，传递到神经元的脉冲输入/>计算公式如下：
；
其中，表示神经元的邻域坐标，/>表示神经元邻域窗口，/>表示神经元之间的脉冲传递延迟，/>是坐标/>处神经元的脉冲输出，/>内部活动/>计算公式如下所示：/>，其中/>表示反馈输入，/>表示神经元的耦合链接，/>表示链接系数。
5.根据权利要求4所述的一种用于胶质瘤边缘获取的图像融合方法，其特征在于：所述Gabor矩引导块在像素点坐标处的潜在能量计算方式如下：
将图像特征图表示为CH，将CH分成尺寸为行/>列的块，每个块的第/>行第/>列的位置信息表示为/>，其中/>，因此Gabor矩引导块在/>上的潜在能量计算公式如下：
；
其中，，/>和分别表示特征图邻域窗口中第/>行、第/>列的像素值和第/>行、第/>列的像素值。
6.根据权利要求5所述的一种用于胶质瘤边缘获取的图像融合方法，其特征在于:所述融合后的特征图包括两个卷积层，首先经过3×3卷积操作、批量归一化和LeakyReLU激活函数处理，再经过1×1卷积操作和激活函数处理，将两种处理结果相乘得到重构后的融合图像，其中，激活函数采取双曲正切函数，所述激活函数计算公式为：，其中，/>为所述简化PCNN操作过程。
7.一种用于胶质瘤边缘获取的图像融合系统，其基于权利要求1-6中任一项所述的一种用于胶质瘤边缘获取的图像融合方法实现，其特征在于：所述系统包括
图像获取模块，从医学设备获取不同拍摄角度待融合的医学图像；
特征提取模块，从不同拍摄角度待融合的医学图像中提取医学图像边缘特征信息；
特征融合模块，将提取的医学图像边缘特征信息输入基于Gabor矩的自适应简化GA-PCNN神经网络模型中，得到融合后的特征图；
图像重构模块，解码融合后的特征图，得到包含边缘特征信息的融合图像。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现权利要求1-6中任一项所述的一种用于胶质瘤边缘获取的图像融合方法。
9.一种控制器，包括存储器和处理器，所述存储器用于存储计算机程序，其特征在于，所述处理器用于执行所述计算机程序时实现权利要求1-6中任一项所述的一种用于胶质瘤边缘获取的图像融合方法。
CN202311150688.7A 2023-09-07 2023-09-07 一种用于胶质瘤边缘获取的图像融合方法及系统 Active CN116883803B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311150688.7A CN116883803B (zh) 2023-09-07 2023-09-07 一种用于胶质瘤边缘获取的图像融合方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311150688.7A CN116883803B (zh) 2023-09-07 2023-09-07 一种用于胶质瘤边缘获取的图像融合方法及系统

Publications (2)

Publication Number Publication Date
CN116883803A CN116883803A (zh) 2023-10-13
CN116883803B true CN116883803B (zh) 2023-12-05

Family

ID=88272215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311150688.7A Active CN116883803B (zh) 2023-09-07 2023-09-07 一种用于胶质瘤边缘获取的图像融合方法及系统

Country Status (1)

Country Link
CN (1) CN116883803B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103037168A (zh) * 2012-12-10 2013-04-10 内蒙古科技大学 基于复合型PCNN的平稳Surfacelet域多聚焦图像融合方法
CN104504725A (zh) * 2015-01-16 2015-04-08 河南师范大学 一种快速自动语义图像分割模型方法
CN112308873A (zh) * 2020-11-09 2021-02-02 西安工程大学 多尺度Gabor小波PCA融合图像边缘检测方法
CN115100093A (zh) * 2022-07-28 2022-09-23 西安理工大学 一种基于梯度滤波的医学图像融合方法
CN116342444A (zh) * 2023-02-14 2023-06-27 山东财经大学 一种双通道多模态图像融合方法及融合成像终端机

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103217436B (zh) * 2013-03-06 2015-05-20 京东方科技集团股份有限公司 一种背光模组瑕疵的检测方法及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103037168A (zh) * 2012-12-10 2013-04-10 内蒙古科技大学 基于复合型PCNN的平稳Surfacelet域多聚焦图像融合方法
CN104504725A (zh) * 2015-01-16 2015-04-08 河南师范大学 一种快速自动语义图像分割模型方法
CN112308873A (zh) * 2020-11-09 2021-02-02 西安工程大学 多尺度Gabor小波PCA融合图像边缘检测方法
CN115100093A (zh) * 2022-07-28 2022-09-23 西安理工大学 一种基于梯度滤波的医学图像融合方法
CN116342444A (zh) * 2023-02-14 2023-06-27 山东财经大学 一种双通道多模态图像融合方法及融合成像终端机

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Multimodal Medical Image Fusion Based on Gabor Representation Combination of Multi-CNN and Fuzzy Neural Network;Lifang Wang等;《IEEE Access》;第9卷;67634 – 67647 *
一种优化脉冲耦合神经网络模型及在图像分割中的应用;安琦等;《计算机科学》;第41卷(第6A期);215-217 *
基于图像相似度计算的青少年独创性评价模型的研究与应用;胡慧;《中国优秀硕士学位论文全文数据库信息科技辑》(第02期);I138-1084 *
基于视觉信息的PCNN参数自适应设定及模型改进;赵彦明;《计算机科学》(第6期);291-294 *

Also Published As

Publication number Publication date
CN116883803A (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
Xiong et al. Fully automatic left atrium segmentation from late gadolinium enhanced magnetic resonance imaging using a dual fully convolutional neural network
US11664125B2 (en) System and method for deep learning based cardiac electrophysiology model personalization
CN110807829B (zh) 一种基于超声成像构建三维心脏模型的方法
CN110827216A (zh) 图像去噪的多生成器生成对抗网络学习方法
Xiang et al. Automatic segmentation of retinal layer in OCT images with choroidal neovascularization
US8538117B2 (en) Accurate pelvic fracture detection for X-ray and CT images
Leclerc et al. LU-Net: a multistage attention network to improve the robustness of segmentation of left ventricular structures in 2-D echocardiography
Lokesh et al. CNN based deep learning methods for precise analysis of cardiac arrhythmias
Antczak et al. Stenosis detection with deep convolutional neural networks
CN111292307A (zh) 一种消化系统胆囊结石识别方法及定位方法
Sawakare et al. Classification of brain tumor using discrete wavelet transform, principal component analysis and probabilistic neural network
CN115082493A (zh) 基于形状引导对偶一致性的3d心房图像分割方法及系统
CN111178369A (zh) 一种医学影像的识别方法及系统、电子设备、存储介质
CN116993848B (zh) Cbct图像重建方法、系统、计算机装置及存储介质
CN106127783A (zh) 一种基于深度学习的医疗影像识别系统
Du et al. An integrated deep learning framework for joint segmentation of blood pool and myocardium
Elalfi et al. Artificial neural networks in medical images for diagnosis heart valve diseases
CN113160120A (zh) 基于多模态融合与深度学习的肝脏血管分割方法及系统
CN116188677A (zh) 血管介入手术区域三维重建方法、系统及装置
Khachnaoui et al. Deep learning for automatic pulmonary embolism identification using CTA images
Dong et al. Deep supervision adversarial learning network for retinal vessel segmentation
Kabir Early stage brain tumor detection on MRI image using a hybrid technique
Fu et al. MDRANet: A multiscale dense residual attention network for magnetic resonance and nuclear medicine image fusion
Fu et al. Robust implementation of foreground extraction and vessel segmentation for X-ray coronary angiography image sequence
CN116883803B (zh) 一种用于胶质瘤边缘获取的图像融合方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant