CN117455935B - 基于腹部ct医学图像融合及器官分割方法及系统 - Google Patents

基于腹部ct医学图像融合及器官分割方法及系统 Download PDF

Info

Publication number
CN117455935B
CN117455935B CN202311775530.9A CN202311775530A CN117455935B CN 117455935 B CN117455935 B CN 117455935B CN 202311775530 A CN202311775530 A CN 202311775530A CN 117455935 B CN117455935 B CN 117455935B
Authority
CN
China
Prior art keywords
fusion
image
value
frequency
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311775530.9A
Other languages
English (en)
Other versions
CN117455935A (zh
Inventor
陈志达
郗洪庆
张鹏飞
刘怡
张淦
卢婷婷
董晓宇
张海亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
First Medical Center of PLA General Hospital
Original Assignee
First Medical Center of PLA General Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by First Medical Center of PLA General Hospital filed Critical First Medical Center of PLA General Hospital
Priority to CN202311775530.9A priority Critical patent/CN117455935B/zh
Publication of CN117455935A publication Critical patent/CN117455935A/zh
Application granted granted Critical
Publication of CN117455935B publication Critical patent/CN117455935B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明提供一种基于腹部CT医学图像融合及器官分割方法及系统，涉及图像处理领域，包括对腹部CT医学图像进行水平方向分解和垂直方向分解，产生低频子带和高频子带；对低频子带计算低频融合值；分析高频子带的像素信息，计算高频融合值，构建融合子带，重建成融合图像；对融合图像进行像素值预处理，输入图像初级分割网络，采用全连接分割方法，构建下采样层，通过计算池化区域的激活值，确定填充值，构建上采样层，下采样层和上采样层相堆叠，确定初级分割结果图像；将初级分割结果图像输入特征精细分割网络，经过全域特征融合器处理，提取全域特征表示，再输入动态特征调控器，进行分流和卷积操作，确定最终分割结果图像。

Description

基于腹部CT医学图像融合及器官分割方法及系统
技术领域
本发明涉及图像处理技术，尤其涉及一种基于腹部CT医学图像融合及器官分割方法及系统。
背景技术
使用CT图像作为诊断工具已成为惯例，并且CT结果通常是临床医生可获得的关于病变、肿瘤或其他类似感兴趣靶标的大小和位置的信息来源。通常通过在轴向、冠状和矢状方向中的每一个方向上以切片对患者进行数字成像来获得CT图像。临床医生在尝试识别或定位靶标时从每个方向逐个切片查看CT图像数据；
CN202111382294.5，公开了一种医学影像器官分割方法，包括：数据标注，对第一医学影像中的器官进行标注，得到标注后的第二医学影像；数据预处理，对第一医学影像和第二医学影像进行数据预处理；构建神经网络模型，神经网络模型包括3D-Unet网络模块、集中模块、聚合模块及后处理模块；训练神经网络模型，将第一医学影像裁切为若干子块后作为输入，将第二医学影像裁切为若干子块后作为学习目标，训练神经网络模型；医学影像器官分割，将包含器官的第三医学影像进行预处理，将预处理后的第三医学影像通过滑窗裁切为若干子块，将若干子块送入神经网络模型。本发明通过构建识别全局语义特征的深度学习神经网络，提升了医学影像器官分割效果；
综上所述，基于深度学习的医学影像器官分割方法被广泛应用在传统深度学习方法下，医学影像中器官同质、异质之间，或边缘、背景之间对比度低，造成器官的分割精度较低，由于医学图像成像方式的限制以及解剖结构的复杂性，感兴趣的解剖或病理结构与背景环境对比度较低且边界微弱难以识别，本发明的应用至少能够解决现有技术的部分问题。
发明内容
本发明实施例提供一种基于腹部CT医学图像融合及器官分割方法及系统，至少能够解决现有技术中部分问题。
本发明实施例的第一方面，
提供一种基于腹部CT医学图像融合及器官分割方法，包括：
选择图像分解工具，对腹部CT医学图像进行水平方向分解和垂直方向分解，产生低频子带和高频子带；对所述低频子带进行区域划分，根据区域特征，计算低频融合值；分析所述高频子带的像素信息，计算高频融合值，通过所述低频融合值和所述高频融合值，构建融合子带，将所有所述融合子带重建成融合图像；
对所述融合图像进行像素值预处理，生成预处理图像，将所述预处理图像输入图像初级分割网络，确定初级分割结果图像，其中，所述图像初级分割网络采用全连接分割方法，形成全连接卷积结构，基于所述全连接卷积结构，构建下采样层，通过计算池化区域的激活值，按照预设的激活值选择规则，确定填充值，构建上采样层，所述下采样层和所述上采样层相堆叠；
将所述初级分割结果图像输入特征精细分割网络，经过所述特征精细分割网络中的全域特征融合器处理，提取全域特征表示，将所述全域特征表示输入所述特征精细分割网络中的动态特征调控器，进行分流和卷积操作，提取最终输出特征，确定最终分割结果图像。
在一种可选的实施例中，
选择图像分解工具，对腹部CT医学图像进行水平方向分解和垂直方向分解，产生低频子带和高频子带；对所述低频子带进行区域划分，根据区域特征，计算低频融合值；分析所述高频子带的像素信息，计算高频融合值，通过所述低频融合值和所述高频融合值，构建融合子带，将所有所述融合子带重建成融合图像带包括：
选择多分辨率分解工具，结合小波函数，进行腹部CT医学图像分解；
将所述医学图像延水平方向进行水平分解，得到低频信息和水平高频信息，将所述低频信息延垂直方向进行垂直分解，得到更新低频信息和垂直高频信息，重复所述水平分解和所述垂直分解，直到达到预设的分解级别，所述水平高频信息和所述垂直高频信息构成高频子带，所述更新低频信息构成低频子带；
对所述低频子带进行分割，得到局部区域，计算所述局部区域的区域特征值，基于所述区域特征值分配区域特征权重，根据所述区域特征权重，结合局部区域像素值，进行区域特征融合，计算低频融合值；
比较所述水平高频信息和所述垂直高频信息在同一位置的像素值，选择两者像素最大值作为像素特征融合值，以所述像素特征融合值的位置为中心，创建窗口区域，确定所述窗口区域的纹理信息和结构信息，融合所述纹理信息和所述结构信息作为上下文感知融合值，将所述像素特征融合值和所述上下文感知融合值进行结合，得到高频融合值；
通过所述低频融合值和所述高频融合值，构建融合子带，将所有所述融合子带重建成融合图像带。
在一种可选的实施例中，
对所述低频子带进行分割，得到局部区域，计算所述局部区域的区域特征值，基于所述区域特征值分配区域特征权重，根据所述区域特征权重，结合局部区域像素值，进行区域特征融合，计算低频融合值包括：
将低频子带图像分割成局部区域，对局部区域计算区域特征值，所述区域特征值包括：平均亮度、对比度和纹理强度，所述区域特征值表示如下：
；
其中，L R 表示区域R内像素的平均亮度，R表示区域，∣R∣表示区域R内的像素数，I(p)表示像素p的亮度值，C R 表示区域R内像素的对比度，T R 表示区域R内的纹理强度，∣I(p)−I(q)∣表示像素p和像素q的亮度差的绝对值；
根据区域特征值，结合各特征值的权重，计算区域特征权重，其公式如下：
；
其中，w R 表示区域R特征权重，α表示平均亮度的权重因子，β表示对比度的权重因子，γ表示纹理强度的权重因子；
根据所述区域特征权重，结合局部区域像素值，进行区域特征融合，计算低频融合值，其公式如下：
；
其中，VL R 表示区域R的低频融合值，N表示所有医学图像的总数，P RJ 表示第J个医学图像在区域R的像素值，w RJ 表示第J个医学图像在区域R的特征权重。
在一种可选的实施例中，
比较所述高频子带的所述水平高频信息和所述垂直高频信息在同一位置的像素值，选择两者像素最大值作为像素特征融合值，以所述像素特征融合值的位置为中心，创建窗口区域，确定所述窗口区域的纹理信息和结构信息，融合所述纹理信息和所述结构信息作为上下文感知融合值，将所述像素特征融合值和所述上下文感知融合值进行结合，得到高频融合值包括：
比较所述高频子带的所述水平高频信息和所述垂直高频信息在同一位置的像素值，选择两者像素最大值作为像素特征融合值VP xy ；
创建窗口区域W xy ，融合所述纹理信息和所述结构信息作为上下文感知融合值，其公式如下：
；
其中，VT xy 表示在位置(x,y)处的上下文感知融合值，∣W xy ∣表示窗口区域W xy 中的像素数量，即窗口区域大小，(u,v)表示窗口区域中的像素索引，P i,uv 表示第i个医学图像在窗口区域中(u,v)位置的像素值；
计算高频融合值，其公式如下：
；
其中，VH xy 表示在位置(x,y)处结合后的融合值，λ表示0到1的权重因子。
在一种可选的实施例中，
对所述融合图像进行像素值预处理，生成预处理图像，将所述预处理图像输入图像初级分割网络，确定初级分割结果图像，其中，所述图像初级分割网络采用全连接分割方法，形成全连接卷积结构，基于所述全连接卷积结构，构建下采样层，通过计算池化区域的激活值，按照预设的激活值选择规则，确定填充值，构建上采样层，所述下采样层和所述上采样层相堆叠包括：
对所述融合图像中不规则形状区域进行像素值填充，根据转换条件公式将像素值转换成相对密度值，生成预处理图像；
将所述预处理图像作为图像初级分割网络的输入图像，所述图像初级分割网络采用全连接分割方法，在所述全连接分割方法中，每个卷积层前设置单元卷积层，通过建立短路径，连接每两个卷积层，形成全连接卷积结构，基于所述全连接卷积结构构建下采样层；
计算每个池化区域的激活值以及整个池化区域的平均激活值，比较所述激活值和所述平均激活值，按照预设的激活值选择规则，选择填充值，构建上采样层；
将所述下采样层和所述上采样层相堆叠，确定初级分割结果图像。
在一种可选的实施例中，
还包括：
图像初级分割网络通过反向传播，结合损失函数，调整模型参数，所述损失函数的公式如下：
；
其中，L(m i ,n i )表示图像初级分割网络的损失函数，m i 表示像素i的实际标签，n i 表示像素i的预测概率，θ表示加权系数，μ表示L2正则项的权重，σ表示模型的权重参数。
在一种可选的实施例中，
将所述初级分割结果图像输入特征精细分割网络，经过所述特征精细分割网络中的全域特征融合器处理，提取全域特征表示，将所述全域特征表示输入所述特征精细分割网络中的动态特征调控器，进行分流和卷积操作，提取最终输出特征，确定最终分割结果图像包括：
所述初级分割结果图像输入特征精细分割网络，所述特征精细分割网络包括全域特征融合器和动态特征调控器；
所述全域特征融合器接收所述初级分割结果图像，通过对尺度和维度的特征提取，执行全局平均池化和全局最大池化的并行操作，结合卷积融合处理，获得全域特征表示；
将所述全域特征表示输入所述动态特征调控器，对所述全域特征表示进行分流，提取全局空间信息和通道特征信息，结合注意力机制，生成具有动态参数的卷积核，通过聚合所述卷积核，提取最终输出特征，确定最终分割结果图像。
在一种可选的实施例中，
还包括：
特征精细分割网络对器官进行分割，通过全局空间信息和通道特征信息进行卷积操作，结合损失函数，进行模型参数调整，所述损失函数公式如下：
；
其中，LD表示特征精细分割网络的损失函数，K表示器官类别总数，k表示第k类的器官索引，Z表示图像的像素点总数，z表示像素点索引，s k (z)表示像素z的器官类别是k的预测概率，t k (z)表示像素z的器官类别是k的真实值。
本发明实施例的第二方面，
提供一种基于腹部CT医学图像融合及器官分割系统，包括：
第一单元，用于选择图像分解工具，对腹部CT医学图像进行水平方向分解和垂直方向分解，产生低频子带和高频子带；对所述低频子带进行区域划分，根据区域特征，计算低频融合值；分析所述高频子带的像素信息，计算高频融合值，通过所述低频融合值和所述高频融合值，构建融合子带，将所有所述融合子带重建成融合图像；
第二单元，用于对所述融合图像进行像素值预处理，生成预处理图像，将所述预处理图像输入图像初级分割网络，确定初级分割结果图像，其中，所述图像初级分割网络采用全连接分割方法，形成全连接卷积结构，基于所述全连接卷积结构，构建下采样层，通过计算池化区域的激活值，按照预设的激活值选择规则，确定填充值，构建上采样层，所述下采样层和所述上采样层相堆叠；
第三单元，用于将所述初级分割结果图像输入特征精细分割网络，经过所述特征精细分割网络中的全域特征融合器处理，提取全域特征表示，将所述全域特征表示输入所述特征精细分割网络中的动态特征调控器，进行分流和卷积操作，提取最终输出特征，确定最终分割结果图像。
本发明实施例的第三方面，
提供一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行前述所述的方法。
在本发明中，对低频子带进行局部区域划分，并计算每个区域的特征值，通过权重分配和融合，实现低频信息的局部特征融合，有助于保留图像中局部结构的信息；对高频子带进行像素级的分析，计算边缘信息、纹理强度等高频特征，选择每个位置上像素值的最大值，突出图像中的强烈边缘和纹理信息，有助于捕捉图像的细节；根据区域特征值，结合各特征值的权重，计算区域特征权重，根据不同特征的重要性为每个区域分配适当的权重，更好地反映医学图像的局部特性；全连接结构允许每个神经元与前一层的所有神经元相连接，使得网络能够获取全局信息；用下采样层和上采样层，有助于在不同尺度上保留图像的特征，提高网络对不同层次细节的感知能力；通过选择填充值的方式，有助于避免分割结果中出现过大方差的问题，提高分割结果的质量；过改进损失函数的计算从而改善网络中反向传播的信号倾向，进一步增强训练过程中网络对目标前景的捕捉；通过分流操作，能够分别提取全局空间信息和通道特征信息，有助于更好地控制特征的提取方向，使网络能够关注于不同尺度和通道的信息，更有效地捕捉图像细节；分流和卷积操作中采用注意力机制，动态地生成卷积核的参数，使特征精细分割网络在特征提取时能够更加灵活地调整参数，根据输入的全域特征表示动态生成适应性卷积核，提高了网络的自适应性。
附图说明
图1为本发明实施例基于腹部CT医学图像融合及器官分割方法的流程示意图；
图2为本发明实施例基于腹部CT医学图像融合及器官分割系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1为本发明实施例基于腹部CT医学图像融合及器官分割方法的流程示意图，如图1所示，所述方法包括：
S101.选择图像分解工具，对腹部CT医学图像进行水平方向分解和垂直方向分解，产生低频子带和高频子带；对所述低频子带进行区域划分，根据区域特征，计算低频融合值；分析所述高频子带的像素信息，计算高频融合值，通过所述低频融合值和所述高频融合值，构建融合子带，将所有所述融合子带重建成融合图像；
所述低频子带具体是指包含图像的大致结构和整体信息，类似于图像的模糊轮廓，对应于图像中变化缓慢的部分，以及图像的全局特征；
所述高频子带具体是指包含图像中细节和变化较快的信息，对应于图像中的细微纹理、边缘等局部特征，主要表示图像中的高频细节；
选择适合的图像分解工具，优选地，使用小波变换，将图像分解为不同频率的子带，包括低频和高频；
对腹部CT医学图像沿水平方向进行小波变换分解，产生包含图像中水平方向上的图像细节信息的水平高频信息，和包含图像中水平方向上近似的低频信息；对低频信息进行垂直方向的小波变换分解，产生包含图像中垂直方向上的图像细节信息的垂直高频信息，和包含图像中垂直方向上更新近似的低频信息；
重复进行水平和垂直方向的小波变换分解，直到达到预设的分解级别，每一次水平和垂直方向的分解都会产生新的高频信息和更新的低频信息；在最后一次水平和垂直方向的分解中，得到的更新的低频信息即为最终的低频子带；在每一次分解中得到的水平和垂直方向的高频信息构成了多层次的高频子带，每一层都捕捉了不同尺度的图像细节；
将低频子带图像分割成多个局部区域，对于每个划分的区域计算区域特征值，基于计算得到的区域特征值，为每个区域分配一个权重，将每个区域的特征按照其权重进行融合，得到低频融合值，反映了整个低频子带的局部特征融合后的结果；
对高频子带进行像素级的分析，计算边缘信息、纹理强度、梯度等高频特征，对于每个高频子带，选择每个位置上像素值的最大值表示最强的边缘或纹理信息，对于每个像素位置，计算高频融合值；
将计算得到的低频融合值和高频融合值按照预设的规则组合起来，形成融合后的子带，将所有融合后的子带进行与分解时相反的反向操作，重建成最终的融合图像。
在本实施例中，小波变换的多层次水平和垂直方向的分解实现了对不同尺度的图像细节的提取，每一次分解产生新的高频信息和更新的低频信息，充分反映了图像在不同尺度上的变化；对低频子带进行局部区域划分，并计算每个区域的特征值，通过权重分配和融合，实现低频信息的局部特征融合，有助于保留图像中局部结构的信息；对高频子带进行像素级的分析，计算边缘信息、纹理强度等高频特征，选择每个位置上像素值的最大值，突出图像中的强烈边缘和纹理信息，有助于捕捉图像的细节；将低频融合值和高频融合值按照预设的规则组合，形成融合后的子带，在综合考虑了低频和高频信息的基础上，构建了更具丰富细节和局部特征的融合子带；反向重建过程将融合后的子带重新组合成最终的融合图像，确保整个图像融合过程的可逆性和图像的完整性。
在一种可选的实施例中，选择图像分解工具，对腹部CT医学图像进行水平方向分解和垂直方向分解，产生低频子带和高频子带；对所述低频子带进行区域划分，根据区域特征，计算低频融合值；分析所述高频子带的像素信息，计算高频融合值，通过所述低频融合值和所述高频融合值，构建融合子带，将所有所述融合子带重建成融合图像带包括：
选择多分辨率分解工具，结合小波函数，进行腹部CT医学图像分解；
将所述医学图像延水平方向进行水平分解，得到低频信息和水平高频信息，将所述低频信息延垂直方向进行垂直分解，得到更新低频信息和垂直高频信息，重复所述水平分解和所述垂直分解，直到达到预设的分解级别，所述水平高频信息和所述垂直高频信息构成高频子带，所述更新低频信息构成低频子带；
对所述低频子带进行分割，得到局部区域，计算所述局部区域的区域特征值，基于所述区域特征值分配区域特征权重，根据所述区域特征权重，结合局部区域像素值，进行区域特征融合，计算低频融合值；
比较所述水平高频信息和所述垂直高频信息在同一位置的像素值，选择两者像素最大值作为像素特征融合值，以所述像素特征融合值的位置为中心，创建窗口区域，确定所述窗口区域的纹理信息和结构信息，融合所述纹理信息和所述结构信息作为上下文感知融合值，将所述像素特征融合值和所述上下文感知融合值进行结合，得到高频融合值；
通过所述低频融合值和所述高频融合值，构建融合子带，将所有所述融合子带重建成融合图像带。
选择小波变换结合适当的小波函数作为多分辨率分解工具；
将医学图像延水平方向进行水平分解，得到水平高频信息和低频信息，将低频信息延垂直方向进行垂直分解，得到垂直高频信息和更新低频信息，重复水平分解和垂直分解，每一次水平和垂直方向的分解产生新的高频信息和更新的低频信息，所得到的水平高频信息和垂直高频信息构成高频子带，更新的低频信息构成低频子带；
对低频子带进行分割，得到局部区域，计算每个局部区域的区域特征值，可能包括平均亮度、对比度、纹理强度等，基于计算得到的区域特征值，为每个区域分配权重，结合权重和局部区域像素值，进行区域特征融合，计算低频融合值；
对高频子带进行像素级的分析，比较同位置的像素值，选择像素最大值作为像素特征融合值；对于每个像素，以其为中心创建窗口区域，计算窗口区域的纹理和结构信息，作为上下文感知融合值，将像素特征融合值和上下文感知融合值进行结合，计算高频融合值；
通过所得到的低频融合值和高频融合值，按照预设的规则构建融合子带，将所有构建的融合子带进行反向操作，重建成最终的融合图像。
在一种可选的实施例中，对所述低频子带进行分割，得到局部区域，计算所述局部区域的区域特征值，基于所述区域特征值分配区域特征权重，根据所述区域特征权重，结合局部区域像素值，进行区域特征融合，计算低频融合值包括：
将低频子带图像分割成局部区域，对局部区域计算区域特征值，所述区域特征值包括：平均亮度、对比度和纹理强度，所述区域特征值表示如下：
；
其中，L R 表示区域R内像素的平均亮度，R表示区域，∣R∣表示区域R内的像素数，I(p)表示像素p的亮度值，C R 表示区域R内像素的对比度，T R 表示区域R内的纹理强度，∣I(p)−I(q)∣表示像素p和像素q的亮度差的绝对值；
根据区域特征值，结合各特征值的权重，计算区域特征权重，其公式如下：
；
其中，w R 表示区域R特征权重，α表示平均亮度的权重因子，β表示对比度的权重因子，γ表示纹理强度的权重因子；
根据所述区域特征权重，结合局部区域像素值，进行区域特征融合，计算低频融合值，其公式如下：
；
其中，VL R 表示区域R的低频融合值，N表示所有医学图像的总数，P RJ 表示第J个医学图像在区域R的像素值，w RJ 表示第J个医学图像在区域R的特征权重。
在一种可选的实施例中，比较所述高频子带的所述水平高频信息和所述垂直高频信息在同一位置的像素值，选择两者像素最大值作为像素特征融合值，以所述像素特征融合值的位置为中心，创建窗口区域，确定所述窗口区域的纹理信息和结构信息，融合所述纹理信息和所述结构信息作为上下文感知融合值，将所述像素特征融合值和所述上下文感知融合值进行结合，得到高频融合值包括：
比较所述高频子带的所述水平高频信息和所述垂直高频信息在同一位置的像素值，选择两者像素最大值作为像素特征融合值VP xy ；
创建窗口区域W xy ，融合所述纹理信息和所述结构信息作为上下文感知融合值，其公式如下：
；
其中，VT xy 表示在位置(x,y)处的上下文感知融合值，∣W xy ∣表示窗口区域W xy 中的像素数量，即窗口区域大小，(u,v)表示窗口区域中的像素索引，P i,uv 表示第i个医学图像在窗口区域中(u,v)位置的像素值；
计算高频融合值，其公式如下：
；
其中，VH xy 表示在位置(x,y)处结合后的融合值，λ表示0到1的权重因子。
在所述实施例中，区域特征融合通过计算局部区域的平均亮度、对比度和纹理强度，综合考虑不同区域的亮度信息、对比度和纹理强度，得到具有更好区域特征表达的低频融合值，有助于在融合图像中更好地保留医学图像的局部结构和特征；根据区域特征值，结合各特征值的权重，计算区域特征权重，根据不同特征的重要性为每个区域分配适当的权重，更好地反映医学图像的局部特性；通过比较高频子带同位置的像素值，选择像素最大值作为像素特征融合值，结合上下文感知融合值，计算高频融合值，有助于保留图像的边缘和纹理信息，提高高频子带的质量；在高频子带的分析中，引入基于像素周围的窗口区域纹理和结构信息的上下文感知融合值，使融合过程对于图像局部结构更加敏感，提高了对于纹理和细节的保留。
S102.对所述融合图像进行像素值预处理，生成预处理图像，将所述预处理图像输入图像初级分割网络，确定初级分割结果图像，其中，所述图像初级分割网络采用全连接分割方法，形成全连接卷积结构，基于所述全连接卷积结构，构建下采样层，通过计算池化区域的激活值，按照预设的激活值选择规则，确定填充值，构建上采样层，所述下采样层和所述上采样层相堆叠；
所述图像初级分割网络具体是指用于对预处理后的图像进行粗分割的神经网络结构，包含由每个神经元与前一层的所有神经元相连，形成的全连接结构构成的全连接卷积层；
所述下采样层具体是指图像初级分割网络中的一种处理方法，用于减小特征图的空间尺寸，同时保留重要的特征，通过降低分辨率减少计算量，同时保留图像中的关键特征；
所述上采样层具体是指图像初级分割网络中的反卷积层，用于增加特征图的空间尺寸，从而恢复分辨率，将网络输出的低分辨率特征图还原为与输入图像相同尺寸的分割结果，根据激活值的大小决定填充值的数值，以调整分割结果的细节；
CT图像由于成像原理的特殊性，CT图像和一般自然图像之间存在差异，如果一般归一化的预处理方式，会使图像失去细节信息，难以细化分割结果；对融合图像进行像素值预处理，使器官和周围组织彼此之间有明显区分度，
将预处理图像输入到图像初级分割网络中，采用全连接分割方法，确保网络能够对图像进行全局信息的学习，在每个卷积层之间都建立了一条短路径，使每一个卷积层的输入均来自于当前所处结构中之前所有卷积层的输出，将所有层直接相连，形成全连接卷积结构，给每个卷积层之前增加一层1x1的卷积层，将前几层传递的特征进一步进行特征融合，控制特征的数量，减少网络的维度和参数的数目，减少了参数数量和计算量，构建出下采样层；
将每个池化区域中激活值与整个池化区域的平均激活值相比较，根据比较后的结果选择对应的填充值，而不是仅仅选择用 0 值去填充，如，用va表示整张图的平均激活值，mp表示池化过程中所选择的最大激活值，当mp大于等于va时，使用整张图的平均激活值作为填充值，其他情况使用0作为填充值，再结合反卷积计算，构建出上采样层；
将下采样层和上采样层相堆叠，形成初级分割结果图像；
在本实施例中，全连接结构允许每个神经元与前一层的所有神经元相连接，使得网络能够获取全局信息，有助于网络更好地理解整体模式和语义信息；使用下采样层和上采样层，有助于在不同尺度上保留图像的特征，提高网络对不同层次细节的感知能力；针对池化区域的激活值进行选择规则，根据预设的策略调整网络对不同区域的注意力，有助于解决样本不均衡问题；通过选择填充值的方式，有助于避免分割结果中出现过大方差的问题，提高分割结果的质量。
在一种可选的实施例中，对所述融合图像进行像素值预处理，生成预处理图像，将所述预处理图像输入图像初级分割网络，确定初级分割结果图像，其中，所述图像初级分割网络采用全连接分割方法，形成全连接卷积结构，基于所述全连接卷积结构，构建下采样层，通过计算池化区域的激活值，按照预设的激活值选择规则，确定填充值，构建上采样层，所述下采样层和所述上采样层相堆叠包括：
对所述融合图像中不规则形状区域进行像素值填充，根据转换条件公式将像素值转换成相对密度值，生成预处理图像；
将所述预处理图像作为图像初级分割网络的输入图像，所述图像初级分割网络采用全连接分割方法，在所述全连接分割方法中，每个卷积层前设置单元卷积层，通过建立短路径，连接每两个卷积层，形成全连接卷积结构，基于所述全连接卷积结构构建下采样层；
计算每个池化区域的激活值以及整个池化区域的平均激活值，比较所述激活值和所述平均激活值，按照预设的激活值选择规则，选择填充值，构建上采样层；
将所述下采样层和所述上采样层相堆叠，确定初级分割结果图像。
对人体组织或器官测试密度大小的度量称为亨氏单位（HU）或HU值；CT图像和一般自然图像之间存在差异，CT图像可以包含4096个灰度阶层，一般自然图像仅含有 256 个灰度阶层，如果按照传统自然图像归一化的预处理方式，会使图像失去很多关键和细节部分的信息，难以细化分割结果；
在 CT 图像采集的过程中，对于在切片上呈现不规则形状的区域部分，会根据预先设置值自动进行填充，优选地，值选择0值；对于人体中的器官，HU值总会存在在一定的区间范围内，优选地，将HU值范围区间设置在[-75, 225]之间；像素值与HU值之间的转换条件公式定义如下：
HU = pixel_value * rescale_slope + rescale_intercept；
其中，HU表示HU值，pixel_value表示像素值，rescale_slope表示窗位，rescale_intercept表示窗宽，优选地，rescale_slope为1，rescale_intercept为-1024；
经过像素值预处理后，得到预处理图像；
通过连续的卷积层不断增强目标器官的特征提取，在保证所有卷积层特征信息传递不受影响的前提下，本算法在每个卷积层之间都建立了一条短路径，通过短路径连接，将当前卷积层输出的特征图能够直接传递给每一个卷积层，每一个卷积层的输入均来自于当前所处位置之前所有卷积层的输出；
由于每一个卷积层的输入来自于之前卷积层输出的特征图的堆叠，为了避免在末端输入尺寸过大，避免网络参数量溢出的问题，每个卷积层之前都增加了一层1×1的卷积层，使每个卷积层的输出边窄，1×1的卷积层不仅可以将前几层传递的特征图进一步的进行特征融合，而且可以控制特征图的数量，减少网络的维度和参数的数目，减少参数数量和计算量，有效的抑制了过拟合的问题。
将每个池化区域中激活值与整个池化区域的平均激活值相比较，根据比较后的结果选择对应的填充值，而不是仅仅选择用0值去填充，首先根据池化层的逆过程将图像放大，在生成映射的同时计算整个图像的平均激活值，然后将区域的最大激活值与平均激活值进行比较，当区域的最大激活值大于或等于平均激活值时，选择平均激活值填充，在这个过程中，需要在平均激活值和0值之间做出选择，并在上采样的过程中填充空缺，在区域的最大激活值激活值小于平均激活值时，仍然存在许多稀疏的空缺，为了能够避免分割结果产生空洞区域，对这些空缺的0值区域采用反卷积计算使最终图像更加密集化；将所述下采样层和所述上采样层相堆叠，构建初级分割结果图像；
在本实施例中，通过对融合图像进行像素值预处理，根据转换条件公式将像素值转换成相对密度值。这有助于使CT图像中的像素值与HU值相对应，提高图像的质量和信息还原度；每个卷积层前设置单元卷积层，通过建立短路径连接形成全连接卷积结构，从而捕获更丰富的特征信息；基于全连接卷积结构构建下采样层，通过计算池化区域的激活值，并按照预设的激活值选择规则确定填充值，构建上采样层。下采样和上采样的堆叠有助于保留图像的重要特征，同时降低计算复杂度；在卷积层之间建立了短路径连接，通过这种连接方式，当前卷积层输出的特征图可以直接传递给每一个卷积层，有助于更好地融合不同位置和通道的特征，提高网络对目标器官的关注度；在每个卷积层之前增加了一层1×1的卷积层，用于进一步的特征融合和控制特征图的数量，减少网络的维度和参数的数目，有效抑制过拟合；通过比较每个池化区域中激活值与整个池化区域的平均激活值，选择对应的填充值，有助于避免分割结果中空洞区域的产生。
在一种可选的实施例中，还包括：
图像初级分割网络通过反向传播，结合损失函数，调整模型参数，所述损失函数的公式如下：
；
其中，L(m i ,n i )表示图像初级分割网络的损失函数，m i 表示像素i的实际标签，n i 表示像素i的预测概率，θ表示加权系数，μ表示L2正则项的权重，σ表示模型的权重参数。
在本公式中，通过改进损失函数的计算从而改善网络中反向传播的信号倾向，进一步增强训练过程中网络对目标前景的捕捉；通过加入平衡因子的方式，让网络更加倾向于对目标前景的关注度，从而集中于区分前景和背景像素，因此即便目标前景所占比例很小的情况下，损失函数也能更容易的捕获前景特征，同时为了避免反向传播中发生过拟合，该损失函数加入了L2正则项，提升损失函数的信号质量，从而解决多个目标区域不连通的分割问题；
S103.所述初级分割结果图像输入特征精细分割网络，经过所述特征精细分割网络中的全域特征融合器处理，提取全域特征表示，将所述全域特征表示输入所述特征精细分割网络中的动态特征调控器，进行分流和卷积操作，提取最终输出特征，确定最终分割结果图像。
将初级分割结果图像输入特征精细分割网络，采用全域特征融合器对初级分割结果图像进行处理，执行全局平均池化和全局最大池化的并行操作，以及卷积融合处理，捕捉图像的全局上下文信息，得到全域特征表示；
将全域特征表示输入动态特征调控器中，对全域特征表示进行进一步处理，提取图像中的全局空间信息和通道特征信息，使用注意力机制，动态地生成卷积核的参数，通过卷积操作处理分流后的特征，以进一步提取和调整特征表示；
将经过分流和卷积操作的特征进行聚合，得到最终输出特征，利用最终输出特征构建最终的分割结果图像。
在本实施例中，通过全域特征融合器的处理，捕捉到图像的全局上下文信息，全局平均池化和全局最大池化的并行操作，以及卷积融合处理，有助于在特征表示中包含更广泛的语境信息，提高对整体图像结构的理解；通过分流操作，能够分别提取全局空间信息和通道特征信息，有助于更好地控制特征的提取方向，使网络能够关注于不同尺度和通道的信息，更有效地捕捉图像细节；分流和卷积操作中采用注意力机制，动态地生成卷积核的参数，使特征精细分割网络在特征提取时能够更加灵活地调整参数，根据输入的全域特征表示动态生成适应性卷积核，提高了网络的自适应性。
在一种可选的实施例中，将所述初级分割结果图像输入特征精细分割网络，经过所述特征精细分割网络中的全域特征融合器处理，提取全域特征表示，将所述全域特征表示输入所述特征精细分割网络中的动态特征调控器，进行分流和卷积操作，提取最终输出特征，确定最终分割结果图像包括：
所述初级分割结果图像输入特征精细分割网络，所述特征精细分割网络包括全域特征融合器和动态特征调控器；
所述全域特征融合器接收所述初级分割结果图像，通过对尺度和维度的特征提取，执行全局平均池化和全局最大池化的并行操作，结合卷积融合处理，获得全域特征表示；
将所述全域特征表示输入所述动态特征调控器，对所述全域特征表示进行分流，提取全局空间信息和通道特征信息，结合注意力机制，生成具有动态参数的卷积核，通过聚合所述卷积核，提取最终输出特征，确定最终分割结果图像。
对于输入图像，通过卷积操作后生成多个平行路径的输入特征，然后通过多尺度全局子模块和多维度局部子模块来提取详细的多尺度全局和多维度局部语义信息，通过执行全局平均池化和全局最大池化的并行操作，构建子分支，其中，多尺度全局子模块融合了多个并行的卷积和池化操作分支，可以提供不同大小的感受野，其中大的感受野可以为较大器官生成抽象的特征，而小的感受野更适合较小的器官，多维度局部子模块通过对不同方向感受野的池化操作，提取多个维度中的不同特征并进行整合；
在所有子分支进行池化操作之后，进一步使用卷积和上采样操作来将每个尺寸分支中的信息加工和上采样为相同的尺寸，接着将所有分支的信息相加并激活，经过卷积操作，分别对多尺度全局子模块、多维度局部子模块中提取到的像素信息进行卷积融合处理，将分别融合处理的结果做拼接，再进行卷积融合处理，获得全域特征表示。
经过全域特征融合器提取了足够的多尺度全局和多维度局部特征后，将特征作为输入，送入空间和通道两条分流处理，再将两条分流合并，采用通道随机散装操作来启用沿通道维度的跨组信息流，以生成卷积内核的归一化注意力权重，结合注意力机制动态地生成卷积内核的参数，然后将卷积核线性聚合后生成有更强特征提取能力的卷积，提取最终输出特征，构建最终分割结果图像。
在本实施例中，在梯度反向传播过程中，使用了两种不同的全局池化机制，平均池化可以给出功能映射的所有点的反馈，最大池化只能对功能映射中最大的响应提供反馈，而且这种最大池化响应更有助于在腹部多器官分割任务中专注于腹部多个器官信息，结合这两种全局池化机制的三维混合信息融合模块可以提取更多有意义的特征，多个并行池化和卷积操作分支同时提取了多个尺度的特征和多个维度的特征，可以更好地把握多个高度变化的腹部器官的总体关系、每个腹部器官的具体细节及其空间定位；通过空间和通道两条分流的处理，结合注意力机制动态地生成卷积内核的参数，有助于网络更好地适应不同图像的特征分布，提高了特征提取的能力。
在一种可选的实施例中，还包括：
特征精细分割网络对器官进行分割，通过全局空间信息和通道特征信息进行卷积操作，结合损失函数，进行模型参数调整，所述损失函数公式如下：
；
其中，LD表示特征精细分割网络的损失函数，K表示器官类别总数，k表示第k类的器官索引，Z表示图像的像素点总数，z表示像素点索引，s k (z)表示像素z的器官类别是k的预测概率，t k (z)表示像素z的器官类别是k的真实值。
在本公式中，基于Dice损失，构建的损失函数是一种用于度量分割任务的损失函数，其计算方式基于预测结果和真实标签的重叠度，通过最小化损失，优化模型参数，可以提高对器官分割任务的精度；损失函数中包含了对所有器官类别的考虑，通过对每个器官类别的损失的平均，全面评估模型对多个器官的分割性能；通过逐类别计算损失，损失函数能够适应不同器官的特性，不同器官之间的差异性得到了充分的考虑，使模型更具有通用性和适应性；在计算时对每个像素点的预测和真实值进行比较，因此具有较好的灵活性，可以适应不同形状和大小的器官结构。
图2为本发明实施例基于腹部CT医学图像融合及器官分割系统的结构示意图，如图2所示，所述系统包括：
第一单元，用于选择图像分解工具，对腹部CT医学图像进行水平方向分解和垂直方向分解，产生低频子带和高频子带；对所述低频子带进行区域划分，根据区域特征，计算低频融合值；分析所述高频子带的像素信息，计算高频融合值，通过所述低频融合值和所述高频融合值，构建融合子带，将所有所述融合子带重建成融合图像；
第二单元，用于对所述融合图像进行像素值预处理，生成预处理图像，将所述预处理图像输入图像初级分割网络，确定初级分割结果图像，其中，所述图像初级分割网络采用全连接分割方法，形成全连接卷积结构，基于所述全连接卷积结构，构建下采样层，通过计算池化区域的激活值，按照预设的激活值选择规则，确定填充值，构建上采样层，所述下采样层和所述上采样层相堆叠；
第三单元，用于将所述初级分割结果图像输入特征精细分割网络，经过所述特征精细分割网络中的全域特征融合器处理，提取全域特征表示，将所述全域特征表示输入所述特征精细分割网络中的动态特征调控器，进行分流和卷积操作，提取最终输出特征，确定最终分割结果图像。
本发明实施例的第三方面，
提供一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行前述所述的方法。
本发明可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本发明的各个方面的计算机可读程序指令。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种基于腹部CT医学图像融合及器官分割方法，其特征在于，包括：
选择图像分解工具，对腹部CT医学图像进行水平方向分解和垂直方向分解，产生低频子带和高频子带；对所述低频子带进行区域划分，根据区域特征，计算低频融合值；分析所述高频子带的像素信息，计算高频融合值，通过所述低频融合值和所述高频融合值，构建融合子带，将所有所述融合子带重建成融合图像；
对所述融合图像进行像素值预处理，生成预处理图像，将所述预处理图像输入图像初级分割网络，确定初级分割结果图像，其中，所述图像初级分割网络采用全连接分割方法，形成全连接卷积结构，基于所述全连接卷积结构，构建下采样层，通过计算池化区域的激活值，按照预设的激活值选择规则，确定填充值，构建上采样层，所述下采样层和所述上采样层相堆叠；
将所述初级分割结果图像输入特征精细分割网络，经过所述特征精细分割网络中的全域特征融合器处理，提取全域特征表示，将所述全域特征表示输入所述特征精细分割网络中的动态特征调控器，进行分流和卷积操作，提取最终输出特征，确定最终分割结果图像；
选择图像分解工具，对腹部CT医学图像进行水平方向分解和垂直方向分解，产生低频子带和高频子带；对所述低频子带进行区域划分，根据区域特征，计算低频融合值；分析所述高频子带的像素信息，计算高频融合值，通过所述低频融合值和所述高频融合值，构建融合子带，将所有所述融合子带重建成融合图像带包括：
选择多分辨率分解工具，结合小波函数，进行腹部CT医学图像分解；
将所述医学图像沿水平方向进行水平分解，得到低频信息和水平高频信息，将所述低频信息沿垂直方向进行垂直分解，得到更新低频信息和垂直高频信息，重复所述水平分解和所述垂直分解，直到达到预设的分解级别，所述水平高频信息和所述垂直高频信息构成高频子带，所述更新低频信息构成低频子带；
对所述低频子带进行分割，得到局部区域，计算所述局部区域的区域特征值，基于所述区域特征值分配区域特征权重，根据所述区域特征权重，结合局部区域像素值，进行区域特征融合，计算低频融合值；
比较所述水平高频信息和所述垂直高频信息在同一位置的像素值，选择两者像素最大值作为像素特征融合值，以所述像素特征融合值的位置为中心，创建窗口区域，确定所述窗口区域的纹理信息和结构信息，融合所述纹理信息和所述结构信息作为上下文感知融合值，将所述像素特征融合值和所述上下文感知融合值进行结合，得到高频融合值；
通过所述低频融合值和所述高频融合值，构建融合子带，将所有所述融合子带重建成融合图像带；
对所述低频子带进行分割，得到局部区域，计算所述局部区域的区域特征值，基于所述区域特征值分配区域特征权重，根据所述区域特征权重，结合局部区域像素值，进行区域特征融合，计算低频融合值包括：
将低频子带图像分割成局部区域，对局部区域计算区域特征值，所述区域特征值包括：平均亮度、对比度和纹理强度，所述区域特征值表示如下：
；
其中，L R 表示区域R内像素的平均亮度，R表示区域，∣R∣表示区域R内的像素数，I(p)表示像素p的亮度值，C R 表示区域R内像素的对比度，T R 表示区域R内的纹理强度，∣I(p)−I(q)∣表示像素p和像素q的亮度差的绝对值；
根据区域特征值，结合各特征值的权重，计算区域特征权重，其公式如下：
；
其中，w R 表示区域R特征权重，α表示平均亮度的权重因子，β表示对比度的权重因子，γ表示纹理强度的权重因子；
根据所述区域特征权重，结合局部区域像素值，进行区域特征融合，计算低频融合值，其公式如下：
；
其中，VL R 表示区域R的低频融合值，N表示所有医学图像的总数，P RJ 表示第J个医学图像在区域R的像素值，w RJ 表示第J个医学图像在区域R的特征权重。
2.根据权利要求1所述的方法，其特征在于，比较所述高频子带的所述水平高频信息和所述垂直高频信息在同一位置的像素值，选择两者像素最大值作为像素特征融合值，以所述像素特征融合值的位置为中心，创建窗口区域，确定所述窗口区域的纹理信息和结构信息，融合所述纹理信息和所述结构信息作为上下文感知融合值，将所述像素特征融合值和所述上下文感知融合值进行结合，得到高频融合值包括：
比较所述高频子带的所述水平高频信息和所述垂直高频信息在同一位置的像素值，选择两者像素最大值作为像素特征融合值VP xy ；
创建窗口区域W xy ，融合所述纹理信息和所述结构信息作为上下文感知融合值，其公式如下：
；
其中，VT xy 表示在位置(x,y)处的上下文感知融合值，∣W xy ∣表示窗口区域W xy 中的像素数量，即窗口区域大小，(u,v)表示窗口区域中的像素索引，P i,uv 表示第i个医学图像在窗口区域中(u,v)位置的像素值；
计算高频融合值，其公式如下：
；
其中，VH xy 表示在位置(x,y)处结合后的融合值，λ表示0到1的权重因子。
3.根据权利要求1所述的方法，其特征在于，对所述融合图像进行像素值预处理，生成预处理图像，将所述预处理图像输入图像初级分割网络，确定初级分割结果图像，其中，所述图像初级分割网络采用全连接分割方法，形成全连接卷积结构，基于所述全连接卷积结构，构建下采样层，通过计算池化区域的激活值，按照预设的激活值选择规则，确定填充值，构建上采样层，所述下采样层和所述上采样层相堆叠包括：
对所述融合图像中不规则形状区域进行像素值填充，根据转换条件公式将像素值转换成相对密度值，生成预处理图像；
将所述预处理图像作为图像初级分割网络的输入图像，所述图像初级分割网络采用全连接分割方法，在所述全连接分割方法中，每个卷积层前设置单元卷积层，通过建立短路径，连接每两个卷积层，形成全连接卷积结构，基于所述全连接卷积结构构建下采样层；
计算每个池化区域的激活值以及整个池化区域的平均激活值，比较所述激活值和所述平均激活值，按照预设的激活值选择规则，选择填充值，构建上采样层；
将所述下采样层和所述上采样层相堆叠，确定初级分割结果图像。
4.根据权利要求3所述的方法，其特征在于，还包括：
图像初级分割网络通过反向传播，结合损失函数，调整模型参数，所述损失函数的公式如下：
；
其中，L(m i ,n i )表示图像初级分割网络的损失函数，m i 表示像素i的实际标签，n i 表示像素i的预测概率，θ表示加权系数，μ表示L2正则项的权重，σ表示模型的权重参数。
5.根据权利要求1所述的方法，其特征在于，将所述初级分割结果图像输入特征精细分割网络，经过所述特征精细分割网络中的全域特征融合器处理，提取全域特征表示，将所述全域特征表示输入所述特征精细分割网络中的动态特征调控器，进行分流和卷积操作，提取最终输出特征，确定最终分割结果图像包括：
所述初级分割结果图像输入特征精细分割网络，所述特征精细分割网络包括全域特征融合器和动态特征调控器；
所述全域特征融合器接收所述初级分割结果图像，通过对尺度和维度的特征提取，执行全局平均池化和全局最大池化的并行操作，结合卷积融合处理，获得全域特征表示；
将所述全域特征表示输入所述动态特征调控器，对所述全域特征表示进行分流，提取全局空间信息和通道特征信息，结合注意力机制，生成具有动态参数的卷积核，通过聚合所述卷积核，提取最终输出特征，确定最终分割结果图像。
6.根据权利要求5所述的方法，其特征在于，还包括：
特征精细分割网络对器官进行分割，通过全局空间信息和通道特征信息进行卷积操作，结合损失函数，进行模型参数调整，所述损失函数公式如下：
；
其中，LD表示特征精细分割网络的损失函数，K表示器官类别总数，k表示第k类的器官索引，Z表示图像的像素点总数，z表示像素点索引，s k (z)表示像素z的器官类别是k的预测概率，t k (z)表示像素z的器官类别是k的真实值。
7.一种基于腹部CT医学图像融合及器官分割系统，用于实现前述权利要求1-6中任一项所述的基于腹部CT医学图像融合及器官分割方法，其特征在于，包括：
第一单元，用于选择图像分解工具，对腹部CT医学图像进行水平方向分解和垂直方向分解，产生低频子带和高频子带；对所述低频子带进行区域划分，根据区域特征，计算低频融合值；分析所述高频子带的像素信息，计算高频融合值，通过所述低频融合值和所述高频融合值，构建融合子带，将所有所述融合子带重建成融合图像；
第二单元，用于对所述融合图像进行像素值预处理，生成预处理图像，将所述预处理图像输入图像初级分割网络，确定初级分割结果图像，其中，所述图像初级分割网络采用全连接分割方法，形成全连接卷积结构，基于所述全连接卷积结构，构建下采样层，通过计算池化区域的激活值，按照预设的激活值选择规则，确定填充值，构建上采样层，所述下采样层和所述上采样层相堆叠；
第三单元，用于将所述初级分割结果图像输入特征精细分割网络，经过所述特征精细分割网络中的全域特征融合器处理，提取全域特征表示，将所述全域特征表示输入所述特征精细分割网络中的动态特征调控器，进行分流和卷积操作，提取最终输出特征，确定最终分割结果图像。
8.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求1至6中任意一项所述的方法。
CN202311775530.9A 2023-12-22 2023-12-22 基于腹部ct医学图像融合及器官分割方法及系统 Active CN117455935B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311775530.9A CN117455935B (zh) 2023-12-22 2023-12-22 基于腹部ct医学图像融合及器官分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311775530.9A CN117455935B (zh) 2023-12-22 2023-12-22 基于腹部ct医学图像融合及器官分割方法及系统

Publications (2)

Publication Number Publication Date
CN117455935A CN117455935A (zh) 2024-01-26
CN117455935B true CN117455935B (zh) 2024-03-19

Family

ID=89591497

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311775530.9A Active CN117455935B (zh) 2023-12-22 2023-12-22 基于腹部ct医学图像融合及器官分割方法及系统

Country Status (1)

Country Link
CN (1) CN117455935B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106456128A (zh) * 2014-06-12 2017-02-22 皇家飞利浦有限公司 医学图像处理设备和方法
CN111275732A (zh) * 2020-01-16 2020-06-12 北京师范大学珠海分校 一种基于深度卷积神经网络的前景对象图像分割方法
CN111539983A (zh) * 2020-04-15 2020-08-14 上海交通大学 基于深度图像的运动物体分割方法及系统
CN112634293A (zh) * 2021-01-14 2021-04-09 北京工业大学 一种基于由粗到细密集编解码网络的颞骨内耳骨腔结构自动分割方法
WO2021151272A1 (zh) * 2020-05-20 2021-08-05 平安科技（深圳）有限公司 细胞图像分割方法、装置、电子设备及可读存储介质
CN113409928A (zh) * 2021-06-29 2021-09-17 中国人民解放军总医院第一医学中心 一种医疗信息共享系统
CN113744214A (zh) * 2021-08-24 2021-12-03 北京长木谷医疗科技有限公司 基于深度强化学习的股骨柄放置方法、装置及电子设备
CN115131369A (zh) * 2022-06-15 2022-09-30 南京邮电大学 一种基于3DA-U-Nets架构的CT图像肝脏肿瘤分割方法
CN116630971A (zh) * 2023-07-24 2023-08-22 安徽大学 基于CRF_ResUnet++网络的小麦赤霉病孢子分割方法
WO2023221954A1 (zh) * 2022-05-19 2023-11-23 浙江大学 基于强化学习和注意力的胰腺肿瘤图像分割方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598728B (zh) * 2018-11-30 2019-12-27 腾讯科技（深圳）有限公司 图像分割方法、装置、诊断系统及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106456128A (zh) * 2014-06-12 2017-02-22 皇家飞利浦有限公司 医学图像处理设备和方法
CN111275732A (zh) * 2020-01-16 2020-06-12 北京师范大学珠海分校 一种基于深度卷积神经网络的前景对象图像分割方法
CN111539983A (zh) * 2020-04-15 2020-08-14 上海交通大学 基于深度图像的运动物体分割方法及系统
WO2021151272A1 (zh) * 2020-05-20 2021-08-05 平安科技（深圳）有限公司 细胞图像分割方法、装置、电子设备及可读存储介质
CN112634293A (zh) * 2021-01-14 2021-04-09 北京工业大学 一种基于由粗到细密集编解码网络的颞骨内耳骨腔结构自动分割方法
CN113409928A (zh) * 2021-06-29 2021-09-17 中国人民解放军总医院第一医学中心 一种医疗信息共享系统
CN113744214A (zh) * 2021-08-24 2021-12-03 北京长木谷医疗科技有限公司 基于深度强化学习的股骨柄放置方法、装置及电子设备
WO2023221954A1 (zh) * 2022-05-19 2023-11-23 浙江大学 基于强化学习和注意力的胰腺肿瘤图像分割方法及系统
CN115131369A (zh) * 2022-06-15 2022-09-30 南京邮电大学 一种基于3DA-U-Nets架构的CT图像肝脏肿瘤分割方法
CN116630971A (zh) * 2023-07-24 2023-08-22 安徽大学 基于CRF_ResUnet++网络的小麦赤霉病孢子分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Multiview RT3D Echocardiography Image Fusion;Kashif Rajpoot et al.;《Functional Imaging and Modeling of the Heart》;20090630;第5528卷;第134-143页 *
血管内超声弹性显像技术和弹性力学的基础与临床研究;张鹏飞;《中国优秀博硕士学位论文全文数据库(博士)》;20060115(第01期);第1-154页 *

Also Published As

Publication number Publication date
CN117455935A (zh) 2024-01-26

Similar Documents

Publication Publication Date Title
US11887311B2 (en) Method and apparatus for segmenting a medical image, and storage medium
CN110176012B (zh) 图像中的目标分割方法、池化方法、装置及存储介质
CN109754007A (zh) 前列腺手术中外包膜智能检测和预警方法及系统
US10366488B2 (en) Image processing used to estimate abnormalities
CN105335945B (zh) 图像处理装置及图像处理方法
CN115496771A (zh) 一种基于脑部三维mri图像设计的脑肿瘤分割方法
US11935213B2 (en) Laparoscopic image smoke removal method based on generative adversarial network
CN110378875A (zh) 基于机器学习算法的体内尿路结石成分鉴别方法
Shahsavari et al. Proposing a novel Cascade Ensemble Super Resolution Generative Adversarial Network (CESR-GAN) method for the reconstruction of super-resolution skin lesion images
CN113838067B (zh) 肺结节的分割方法和装置、计算设备、可存储介质
Appan K et al. Retinal image synthesis for cad development
Pradhan et al. Machine learning model for multi-view visualization of medical images
Guo et al. Haze removal for single image: A comprehensive review
Zhang et al. Feature decomposition and enhancement for unsupervised medical ultrasound image denoising and instance segmentation
Mentl et al. Noise reduction in low-dose ct using a 3D multiscale sparse denoising autoencoder
US11455755B2 (en) Methods and apparatus for neural network based image reconstruction
Vani et al. Multi focus and multi modal image fusion using wavelet transform
CN117455935B (zh) 基于腹部ct医学图像融合及器官分割方法及系统
Du et al. X-ray image super-resolution reconstruction based on a multiple distillation feedback network
CN115375787A (zh) 伪影校正方法、计算机设备及可读存储介质
CN110570417B (zh) 肺结节分类装置及图像处理设备
CN115187519A (zh) 图像质量评价方法、系统及计算机可读介质
Wan et al. Multi-focus color image fusion based on quaternion multi-scale singular value decomposition
CN112967295A (zh) 一种基于残差网络和注意力机制的图像处理方法及系统
EP4094223A1 (en) Weakly supervised lesion segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant