CN119048673A - 电镜显微图像中的生物管状结构重建方法、设备及介质 - Google Patents

电镜显微图像中的生物管状结构重建方法、设备及介质 Download PDF

Info

Publication number
CN119048673A
CN119048673A CN202411102017.8A CN202411102017A CN119048673A CN 119048673 A CN119048673 A CN 119048673A CN 202411102017 A CN202411102017 A CN 202411102017A CN 119048673 A CN119048673 A CN 119048673A
Authority
CN
China
Prior art keywords
skeleton
tubular structure
image
biological tubular
skeleton point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202411102017.8A
Other languages
English (en)
Other versions
CN119048673B (zh
Inventor
陈雪锦
吴枫
王毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202411102017.8A priority Critical patent/CN119048673B/zh
Publication of CN119048673A publication Critical patent/CN119048673A/zh
Application granted granted Critical
Publication of CN119048673B publication Critical patent/CN119048673B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种电镜显微图像中的生物管状结构重建方法、设备及介质，属生物电镜显微图像处理领域。方法包括：步骤1，将原始电镜显微图像分块得到分块图像，使用具有自注意力机制的生物管状结构分割网络通过自注意力机制捕获显微图像中的生物管状结构的长距离依赖关系，对各分块图像进行分割依据长距离依赖关系得到生物管状结构分割概率图像；步骤2，对步骤1得到的生物管状结构分割概率图像进行前处理得到追踪用图像块，通过具有骨架点预测的追踪网络对得到的追踪用图像块预测得出管状结构骨架点集，根据连接方向连接骨架点集的各骨架点，得到树状结构的生物管状结构的重建结果。本方法对生物图像中的各类管状结构重建准确性高且连通性能好。

Description

电镜显微图像中的生物管状结构重建方法、设备及介质
技术领域
本发明涉及电镜显微图像处理技术领域，尤其涉及一种大规模电镜显微图像中的生物管状结构重建方法。
背景技术
气管和血管在呼吸系统中扮演着至关重要的角色，它们的结构和功能研究对于深入理解呼吸系统疾病和开发新的治疗方法至关重要。三维重建技术的发展，为气管和血管这类典型的分支管状结构提供了更加深入的认识。这项技术旨在生物电镜显微图像中重建气管或血管的管状回路，为生物医学分析提供了重要的工具。它不仅帮助科学家们更深入地理解这些结构的自然变化，而且在病理诊断中为医生提供了有力的辅助。通过三维重建气管和血管，研究人员能够更清晰地观察到结构异常，这对于哮喘、气管炎以及动脉粥样硬化等血管相关疾病的发病机制研究至关重要。气管、血管的研究不仅有助于人们深入理解呼吸系统的复杂性，还为相关疾病的预防和治疗提供了重要的科学依据。
随着高速高分辨率显微成像技术的发展，全脑超高分辨率扫描成为了可能。2018年，霍华德·休斯医学研究所在《细胞》杂志发布了首个完整的果蝇大脑纳米级电镜扫描图像(Full Adult Fly Brain，简称为FAFB数据集)，其物理分辨率达到了4nm×4nm×40nm，全脑图像共包括7062张切片图像，总数据量达106TB(ZHENG Z,et al.,“A completeelectron microscopy volume of the brain of adult Drosophila melanogaster”,inCell,2018)。在纳米级分辨率下，能够更加清晰地观察到气管、神经元束、胞体等微观结构的细节。这种高分辨率的成像能力，为进行大规模数据集上的精细气管三维重建以及深入的生物学研究，提供了丰富的数据资源。
近年来，科研工作者针对生物管状树状结构(如气管、血管、神经元等)的重建投入了大量的研究工作，这些研究工作可以分为分割、追踪步骤。在分割中，大多数已有方法都是使用3D CNN系列方法对三维医学图像数据进行分割。这类方法采用三维卷积核对三维图像进行处理，有效利用生物医学图像的z轴空间信息，深入挖掘三维空间的特征。受限于三维感知野大小，这类方法对全局上下文信息的处理能力较弱。近年来，一些借助于Transformer模型的方法应用在医学器官分割任务中。Transformer模型以其强大的自注意力机制，在处理序列数据时，不仅聚焦于局部细节，还能够考虑到全局上下文信息，能够更有效地捕捉长距离依赖，这对于管状结构分割任务中的连续性和准确性至关重要。
由于图像分割仅仅产生逐像素或逐体素的类别标签，形成分割掩膜，但并不能直接表达目标的三维结构特性，例如连通关系、管状分叉、轴向长度等，因此需要生物管状结构追踪，连接分割结果中的组织碎片，重建管状结构通路，从而进行后续的生物分析。现有的传统追踪方法往往依靠手工设计特征，选定种子点，追踪属于特定生物管状结构的体素，重建生物管状结构形态。这类方法高度依赖图像分割的质量，在图像质量较差的区域往往效果不佳，容易导致追踪结果出现大量断裂与错误连接，后续需要人为引入先验进行修正。近年来，一些方法借助神经网络的力量来提高追踪准确度。这些方法大多将追踪分为点集预测和点集连接两个步骤。这些方法利用神经网络对生物电镜显微图像进行特征提取，学习和识别图像中的多尺度、多层次的特征表示，提升图像质量较差区域及结构复杂区域的追踪性能，展现出了更好的鲁棒性。然而，对于信号较弱的区域，很多方法性能受到影响。例如，PointNeuron在进行点集预测时，从图像中采样点云，丢失了信号较弱区域的图像信息。相比之下，NRTR则采用基于目标检测的DETR方法，参见文献“Carion N,et al.,End-to-endobject detection with Transformers,in ECCV,2020”，从光学显微镜图像中预测点集，从而保留了更多的图像细节。但NRTR使用的DETR基础版本在训练时不稳定，收敛速度较慢。此外，在处理部分密集的电镜数据时，NRTR在点集连接阶段频繁产生连接错误，影响最终的管状结构重建准确度。
有鉴于此，特提出本发明。
发明内容
本发明的目的是提供了一种电镜显微图像中的生物管状结构重建方法、设备及介质，能从生物电镜显微图像中获得更加准确的三维管状结构重建结果，进而解决现有技术中存在的上述技术问题。
本发明的目的是通过以下技术方案实现的：
一种电镜显微图像中的生物管状结构重建方法，其特征在于，包括：
步骤1，将原始电镜显微图像分块得到分块图像，使用具有自注意力机制的生物管状结构分割网络通过自注意力机制捕获原始电镜显微图像中的生物管状结构的长距离依赖关系，逐块对各分块图像进行生物管状结构分割依据长距离依赖关系得到生物管状结构概率分割图像；
步骤2，对步骤1得到的生物管状结构概率分割图像进行前处理得到追踪用图像块，通过具有骨架点预测的生物管状结构追踪网络对得到的追踪用图像块进行预测得出生物管状结构的骨架点集，根据连接方向连接生物管状结构的骨架点集的各骨架点构建树状结构的生物管状结构，得到生物管状结构的重建结果。
一种处理设备，包括：
至少一个存储器，用于存储一个或多个程序；
至少一个处理器，能执行所述存储器所存储的一个或多个程序，在一个或多个程序被处理器执行时，使得所述处理器能实现本发明所述的方法。
一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时能实现本发明所述的方法。
与现有技术相比，本发明所提供的电镜显微图像中的生物管状结构重建方法、设备及介质，其有益效果包括：
通过使用具有自注意力机制的生物管状结构分割网络，准确对原始电镜显微图像进行生物管状结构分割得到生物管状结构概率分割图像，对生物管状结构概率分割图像进行前处理后得到的追踪用图像块，通过具有骨架点预测的生物管状结构追踪网络进行预测得到生物管状的骨架点集，根据连接方向连接生物管状结构的骨架点集中各骨架点构建树状结构的生物管状结构，得到生物管状结构重建结果。由于具有自注意力机制的生物管状结构分割网络，利用自注意力机制有效处理原始电镜显微图像中的生物管状结构的长距离依赖信息，提高了分割的准确性，减少了漏分；由于采用具有骨架点预测的生物管状结构追踪网络，能从Transformer编码器输出特征中，选择感兴趣的特征生成骨架提议点，作为Transformer解码器的初始查询，优化网络结构，稳定网络训练，提升网络性能；并在骨架点集预测中额外预测各骨架点的连接方向，利用连接方向引导骨架点集中的各骨架点连接的过程，获得更加准确的重建结果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的电镜显微图像中的生物管状结构重建方法的流程图。
图2为本发明实施例提供的重建方法中的生物管状结构追踪流程图。
图3为本发明实施例提供的重建方法的生物管状结构重建结果对比示意图；其中，(a)为分割图像块的生物管状结构示意图；(b)为人工标注方法的生物管状结构重建结果示意图；(c)为NGPST方法的生物管状结构重建结果示意图；(d)为NRTR方法的生物管状结构重建结果示意图；(e)为本发明方法的生物管状结构的重建结果示意图。
图4为本发明实施例提供的重建方法的全脑重建结果示意图。
具体实施方式
下面结合本发明的具体内容，对本发明实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，这并不构成对本发明的限制。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
首先对本文中可能使用的术语进行如下说明：
术语“和/或”是表示两者任一或两者同时均可实现，例如，X和/或Y表示既包括“X”或“Y”的情况也包括“X和Y”的三种情况。
术语“包括”、“包含”、“含有”、“具有”或其它类似语义的描述，应被解释为非排它性的包括。例如：包括某技术特征要素(如原料、组分、成分、载体、剂型、材料、尺寸、零件、部件、机构、装置、步骤、工序、方法、反应条件、加工条件、参数、算法、信号、数据、产品或制品等)，应被解释为不仅包括明确列出的某技术特征要素，还可以包括未明确列出的本领域公知的其它技术特征要素。
术语“由……组成”表示排除任何未明确列出的技术特征要素。若将该术语用于权利要求中，则该术语将使权利要求成为封闭式，使其不包含除明确列出的技术特征要素以外的技术特征要素，但与其相关的常规杂质除外。如果该术语只是出现在权利要求的某子句中，那么其仅限定在该子句中明确列出的要素，其他子句中所记载的要素并不被排除在整体权利要求之外。
除另有明确的规定或限定外，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如：可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本文中的具体含义。
术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述和简化描述，而不是明示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本文的限制。
下面对本发明所提供的方案进行详细描述。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。本发明实施例中未注明具体条件者，按照本领域常规条件或制造商建议的条件进行。本发明实施例中所用试剂或仪器未注明生产厂商者，均为可以通过市售购买获得的常规产品。
如图1所示，本发明实施方式提供一种电镜显微图像中的生物管状结构重建方法，包括：
步骤1，将原始电镜显微图像分块得到分块图像，使用具有自注意力机制的生物管状结构分割网络通过自注意力机制捕获原始电镜显微图像中的生物管状结构的长距离依赖关系，逐块对各分块图像进行生物管状结构分割依据长距离依赖关系得到生物管状结构概率分割图像；
步骤2，对步骤1得到的生物管状结构概率分割图像进行前处理得到追踪用图像块，通过具有骨架点预测的生物管状结构追踪网络对得到的追踪用图像块进行预测得出生物管状结构的骨架点集，根据连接方向连接生物管状结构的骨架点集的各骨架点构建树状结构的生物管状结构，得到生物管状结构的重建结果。
可以知道，上述的生物管状结构的重建结果是一种生物管状结构的重建数据，可保存在标准文本SWC文件中，现代生物学领域常常将这种生物管状结构定义为树状骨架，树状骨架由众多骨架点构成，每个骨架点都包含了其三维空间位置、半径大小以及与其他节点的连接信息，通过骨架点间连接信息构建出管状结构通路。
优选的，上述重建方法的步骤2中，按以下方式对步骤1得到的生物管状结构概率分割图像进行前处理得到追踪用图像块，通过具有骨架点预测的生物管状结构追踪网络对得到的追踪用图像块进行预测得出生物管状结构的骨架点集，根据连接方向连接生物管状结构的骨架点集的各骨架点构建树状结构的生物管状结构，得到生物管状结构的重建结果，包括：
步骤21，利用步骤1中分割得到的生物管状结构概率分割图像中的生物管状结构区域分割概率，获得分块的三维分割概率图像，将多块三维分割概率图像拼合成整体三维分割概率图像，对得到的整体三维分割概率图像下采样并切分成至少一个固定大小的追踪用图像块，
步骤22，将步骤21得到的各追踪用图像块输入到具有骨架点预测的生物管状结构追踪网络中进行骨架点预测，得到追踪用图像块中的生物管状结构的骨架点的三维空间位置和连接方向，所述三维空间位置由坐标和半径组成；
步骤23，利用得到的生物管状结构的骨架点的三维空间位置与连接方向连接各骨架点，完成各追踪用图像块的生物管状结构的树状结构的三维构建，最后将多个追踪用图像块的生物管状结构的树状结构重建结果拼合得到整体三维分割概率图像对应的生物管状结构重建结果。
优选的，上述重建方法中，所述具有自注意力机制的生物管状结构分割网络采用具有自注意力机制的Swin UNETR网络；
该具有自注意力机制的Swin UNETR网络的输入电镜显微图像的物理分辨率为16nm×16nm×40nm，体素大小为128×128×16；
该具有自注意力机制的Swin UNETR网络的输出为每个体素是否属于生物管状结构的概率图像，即生物管状结构概率分割图像；
所述具有骨架点预测的生物管状结构追踪网络包括：图像特征提取网络、基于Transformer的骨架点集预测网络和骨架点集连接模块；其中，
所述图像特征提取网络，能以对步骤1得到的生物管状结构概率分割图像进行前处理得到追踪用图像块为输入，提取低分辨率图像特征作为输出；
所述基于Transformer的骨架点集预测网络，与所述图像特征提取网络的输出端通信连接，能以所述图像特征提取网络输出的低分辨率图像特征作为输入标记序列，计算输入的标记序列中各个图像块标记之间的关联，生成生物管状结构的骨架提议点特征序列，并对生物管状提议点特征序列预测得到生物管状结构骨架点序列中各骨架点的分类概率、三维空间位置和连接方向，由各骨架点的分类概率、三维空间位置和连接方向构成骨架点集，所述三维空间位置由三维空间坐标和半径组成；
所述骨架点集连接模块，与所述基于Transformer的骨架点集预测网络的输出端通信连接，能以所述基于Transformer的骨架点集预测网络预测得到的骨架点集为输入，基于预测的各骨架点的连接方向，连接骨架点集中各骨架点生成最终的生物管状结构的树状结构。
优选的，上述重建方法中，所述图像特征提取网络由依次连接的三维残差网络和特征金字塔网络组成，其中，所述三维残差网络以对步骤1得到的生物管状结构概率分割图像进行前处理得到追踪用图像块为输入，能进行三维残差处理后输出至特征金字塔网络，进行低分辨率图像特征提取，得到低分辨率图像特征；
所述基于Transformer的骨架点集预测网络由Transformer编码器、骨架提议点集预测子模块、Transformer解码器和骨架点集预测子模块组成；其中，
所述Transformer编码器，与所述图像特征提取网络通信连接，能以图像特征提取网络输出的低分辨率图像特征的每个像素位置的位置编码和该低分辨率图像特征的所有像素特征组成的像素特征序列共同作为输入，通过自注意力机制，将像素特征序列和每个像素位置的位置编码映射到包含所有图像特征的位置信息和内容信息的特征序列中，并输出特征序列；
所述骨架提议点预测子模块，与所述Transformer编码器的输出端通信连接，能以所述Transformer编码器输出的特征序列为输入，分别预测得出生物管状结构骨架提议点的分类概率、三维空间位置以及生物管状结构骨架提议点的连接方向，所述三维空间位置由三维空间坐标和半径组成；
所述Transformer解码器，分别与所述Transformer编码器与骨架提议点集预测子模块通信连接，能以所述骨架提议点集预测子模块输出的分类概率中前N个概率最大的生物管状结构骨架点作为骨架提议点，从特征序列中选择与这N个骨架提议点对应的N个特征重新组合成生物管状结构点预测特征提议序列作为初始对象查询矩阵，并以这N个骨架提议点的位置编码以及Transformer编码器输出的特征序列输入到该Transformer解码器的每一层作为键和值，利用交叉注意力机制来捕捉目标生物管状结构点与图像中所有位置之间的依赖关系，输出与生物管状结构点预测特征提议序列形状相同的目标生物管状结构点特征；
所述骨架点集预测子模块，与所述Transformer解码器通信连接，能以所述Transformer解码器输出的目标生物管状结构点特征为输入，得出各骨架点的分类概率、三维空间位置和角度，所述三维空间位置由三维空间坐标和半径组成，由得出的各骨架点构成骨架点集。
优选的，上述重建方法中，所述基于Transformer的骨架点集预测网络中，所述Transformer编码器由依次连接的多个编码器层组成，每个编码器层均由多头自注意力模块与多层感知模块组成；
所述骨架提议点集预测子模块由六个多层感知机组成，其中，前两个多层感知机分别用于预测生物管状结构骨架点的分类概率和三维空间位置，后四个多层感知机用于预测连接方向对应的水平角和垂直角；
所述Transformer解码器由依次连接的多个解码器层构成，每个解码器层由多头自注意力子模块、多头交叉注意力子模块和多层感知子模块组成。
优选的，上述重建方法中，所述骨架点集预测子模块由六个多层感知机组成，其中，前两个多层感知机分别用于预测生物管状结构点的分类概率和三维空间位置，后四个多层感知机用于预测连接方向对应的水平角和垂直角。
优选的，上述重建方法中，所述具有骨架点预测的生物管状结构追踪网络的总损失函数为：
其中，各参数含义为：表示所有预测的骨架提议点与它在真实值中的匹配点的匹配损失之和；表示所有预测的骨架点与它在真实值中的匹配点的匹配损失之和；表示具有骨架点预测的生物管状结构追踪网络的基于Transformer的骨架点集预测网络的骨架提议点集预测子模块运用Top-K策略选出的N个最大概率的生物管状结构点构成的骨架提议点集；表示骨架提议点集与真实值骨架点集Y的最优匹配；表示基于Transformer的骨架点集预测网络输出的N个骨架点组成的骨架点集；表示骨架点集与真实值骨架点集Y的最优匹配；ω1、ω2分别为超参数；
上述总损失中，均按以下计算，为：
其中，ci、Li、Ai分别表示真实值Yi的分类概率、三维空间位置与角度，所述三维空间位置由三维空间坐标和半径组成；分别表示预测结果的分类概率、三维空间位置与角度，所述三维空间位置由坐标和半径组成；ωcls、ωbox、ωiou、ωdir分别为超参数；表示分类损失，设置为交叉熵损失函数；与均表示位置损失，为L1损失函数，为球体交并比损失函数；为方向损失，计算方式如下：
其中，分别表示每个骨架点的方向真实值方向di对应的水平角分类、水平角类内偏移值、垂直角分类与垂直角类内偏移；分别表示预测方向的水平角分类、水平角类内偏移值、垂直角分类与垂直角类内偏移；表示角度分类损失，设置为交叉熵损失函数；表示角度类内偏移回归损失，采用L1损失函数，且仅计算角度目标区间所在的偏移值中预测值与真实值的差距。
优选的，上述重建方法的步骤2中，按以下方式根据连接方向连接生物管状结构的骨架点集构建树状结构的生物管状结构，得到生物管状结构重建图像，包括：
从生物管状结构的骨架点集中删去分类概率小于预定阈值的骨架点，将剩余的骨架点作为筛选出的骨架点，依据筛选出的骨架点预测的角度计算每个骨架点的预测连接方向，对剩下的所有骨架点建立点边图，将两点距离小于距离阈值且两点方向与预测方向角度差距小于角度阈值的两个骨架点建立边关系，然后根据角度差距与点间距离作为边权值ei，j，ei，j为：
ei，j＝ω3dist(Pi，Pj)+
ω4min{[1-cos(di，diri，j)]，[1-cos(dj，dirj，i)]} (9)；
其中，dist(Pi，Pj)表示骨架点i与骨架点j的欧式空间距离；(Pi，Pj)表示骨架点i与骨架点，的位置；cos(di，diri，j)表示骨架点i的预测方向与骨架点i到骨架点，朝向的余弦距离；(di，diri，j)表示骨架点i的预测方向与骨架点i到骨架点，的朝向；cos(dj，dirj，i)表示骨架点j的预测方向与骨架点j到骨架点i朝向的余弦距离；(dj，dirj，i)表示骨架点j的预测方向与骨架点j到骨架点i的朝向；ω3、ω4均为超参数；min{}表示取最小值；
采用最小生成树将构建的点边图去环，得到最终的生物管状结构的树状结构。
本发明实施方式还提供一种处理设备，包括：
至少一个存储器，用于存储一个或多个程序；
至少一个处理器，能执行所述存储器所存储的一个或多个程序，在一个或多个程序被处理器执行时，使得所述处理器能实现上述的方法。
本发明实施方式进一步一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时能实现上述的方法。
综上可见，本发明实施例的方法，通过使用具有自注意力机制的生物管状结构分割网络，准确对原始电镜显微图像进行生物管状结构分割得到生物管状结构概率分割图像，通过具有骨架点预测的生物管状结构追踪网络，对生物管状结构概率分割图像进行前处理得到的追踪用图像块进行预测得出生物管状结构的骨架点集，根据连接方向连接生物管状结构的骨架点集构建树状结构的生物管状结构，得到生物管状结构重建图像。使用Swin UNETR网络作为具有自注意力机制的生物管状结构分割网络，利用自注意力机制有效处理原始电镜显微图像中的生物管状结构的长距离依赖信息，提高了分割的准确性，减少了漏分；由于采用具有骨架点预测的生物管状结构追踪网络，能从Transformer编码器输出的输出特征序列中，选择感兴趣的特征生成骨架提议点，作为Transformer解码器的初始查询，优化网络结构，稳定网络训练，提升网络性能；并在骨架点集预测中额外预测骨架点集的连接方向，利用连接方向引导骨架点集中各骨架点连接的过程，获得更加准确的重建结构。对本发明方法在FAFB电镜数据上展开了实验，利用少量数据训练具有自注意力机制的生物管状结构分割网络与具有骨架点预测的生物管状结构追踪网络，在测试数据集上，本发明方法相较于主流传统NGPST方法与深度学习NRTR方法，重建图像各项指标均获得最优，在各项指标上均有大幅度的提升。
为了更加清晰地展现出本发明所提供的技术方案及所产生的技术效果，下面以具体实施例对本发明实施例所提供的电镜显微图像中的生物管状结构重建方法进行详细描述。
实施例1
如图1所示，本发明实施例提供一种电镜显微图像中的生物管状结构重建方法，以基于Transformer的大规模电镜显微图像进行果蝇气管重建为例进行说明，具体包括：气管分割和气管追踪。由于气管形态的复杂多样性、电镜显微图像的质量参差不齐等问题都对气管重建提出了重大挑战。针对这些问题，本发明采用基于Swin UNETR网络(参见文献：Hatamizadeh A,et al.,“Swin UNETR:Swin Transformers for semantic segmentationof brain tumors in MRI images”,in BrainLes,2021)的气管分割方法，与基于DETR和连接方向的气管追踪方法。本发明的整体方法步骤如下：
首先，考虑到气管半径变化大、气管跨度长，常用的3D CNN方法受限于三维感知野大小，对于全局上下文信息的处理能力较弱，在长而细气管的分割中容易出现漏分，造成后续重建过程中出现气管断裂的情况，影响重建结果的准确性。使用Swin UNETR网络作为具有自注意力机制的生物管状结构分割网络，利用自注意力机制有效处理气管的长距离依赖信息，提高了气管分割的准确性，减少了漏分。另外，现有传统生物管状结构追踪方法受图像质量影响大，难以重建出准确的全脑气管，常常需要人为引入生物先验知识进行修正。最新的深度学习追踪方法NRTR直接预测骨架点集，然后使用简单的连接方法构建树状结构，但是其网络训练不稳定，并且直接运用于电镜气管数据会在气管密集处产生错误连接。基于NRTR方法(参见文献：Wang Y,et al.,“NRTR:Neuron reconstruction withTransformer from 3Doptical microscopy images”,in IEEE TMI,2024)，本发明在具有骨架点预测的生物管状结构追踪网络加入了新设计的骨架提议点预测子模块，从Transformer编码器输出的输出特征序列中，选择感兴趣的特征生成骨架提议点，作为Transformer解码器的初始查询，优化网络结构，稳定网络训练，提升网络性能；并在骨架点集预测中额外预测骨架点集中的各骨架点的连接方向，利用连接方向引导骨架点集中各骨架点连接的过程，获得更加准确的重建结果。
具体的，本发明实施例利用具有自注意力机制的Swin UNETR网络对原始电镜显微图像进行气管分割，获得概率气管分割图像；对概率气管分割图像前处理得出追踪用图像块后，然后使用具有骨架点预测的生物管状结构追踪网络对图像块进行预测获得图像块中的气管结构的骨架点集，骨架点集具体包括骨架点的三维空间位置(由三维空间坐标和半径组成)及连接方向，并根据连接方向连接骨架点集中各骨架点，构建气管结构的树状结构重建结果。
接下来将详细说明每个部分。
(1)具有自注意力机制的Swin UNETR网络(即具有自注意力机制的生物管状结构分割网络)：
气管分割是气管重建流程的第一步工作，气管分割的准确程度往往决定了后续重建结果的精确程度。考虑到果蝇全脑气管形态差异大的问题，例如直径范围差异大、气管跨度较长等，气管分割网络需要在细长气管中保持空间连续性。为此，本发明采用了具有自注意力机制的Swin UNETR网络，既保留了U-Net的U形结构和跳跃连接的设计，有效地融合多尺度图像特征，还利用强大的自注意力机制，有效地捕获图像序列中的长距离依赖关系，从而掌握全局信息，生成精细和空间连续性强的分割结果。考虑完整图像过大，需要分块后输入到具有自注意力机制的Swin UNETR网络中，得到分割结果并拼合为全脑分割结果。具体地，本实施例具有自注意力机制的Swin UNETR网络的输入图像的物理分辨率为16nm×16nm×40nm，体素大小为128×128×16，输出是每个体素是否属于气管的概率。
(2)具有骨架点预测的生物管状结构追踪网络：
由于果蝇气管部分区域的密集分布、图像具有噪声等问题，高分辨率下的电镜显微图像的气管追踪任务面临着追踪错误的挑战。现代生物组织传统的追踪方法或从顺序追踪的角度出发，或从全局图优化的角度出发。生物组织主流追踪方法NGPST，根据分割图像自动采样种子点，根据图像强度向邻近位置追踪，并依据人为设定的规则判断终止与分叉，重建生物组织的形态。这些方法十分依赖图像质量，往往会在图像质量较差的区域产生多处错误。后续工作经常需要人为引入生物先验知识对追踪结果进行修正，这需要人为根据修正结果调整修正规则，往往费时费力。
针对上述问题，本发明提出一种基于DETR(Carion N,et al.,End-to-end objectDEtection with Transformers,in ECCV,2020)检测网络与连接方向的生物管状结构重建方法，能够在分割图像中学习和识别图像中的多尺度、多层次的特征表示，提升图像质量较差区域及结构复杂区域的追踪性能。给定一个电镜切片图像，首先利用Swin UNETR网络预测气管分割概率，获得三维分割概率图像，将多个分割结果拼合成整体三维分割概率图像；其次，将整体三维分割概率下采样，并切分成多个固定大小的图像块，将每个图像块输入到具有骨架点预测的生物管状结构追踪网络中，检测图像块中的骨架点的三维空间位置与连接方向；然后，利用骨架点集的三维空间位置与连接方向信息，完成管状树状结构的构建，最后将多个图像块的重建结果拼合，得到整体三维分割概率图像对应的气管重建结果。
本发明提出连接方向引导的电镜显微图像生物管状结构追踪方法，具体包括：图像特征提取网络、基于Transformer的骨架点集预测网络和骨架点集连接模块几个部分；方法流程如图2所示，
其中，基于Transformer的骨架点集预测网络包括：Transformer编码器、Transformer解码器、骨架提议点集预测子模块和骨架点集预测子模块。其中，图像特征提取网络以气管的整体三维分割概率图像分块得到的追踪用图像块作为输入，提取图像特征，然后将每个图像块的图像特征作为单词(token)输入到Transformer编码器中，Transformer编码器计算输入图像特征中各个token之间的依赖关系，输出一系列骨架提议点，其中Transformer解码器以骨架提议点集预测子模块的输出作为查询目标，与Transformer编码器的输出特征通过注意力机制，生成骨架点特征序列，从而生成一组含有概率、三维空间位置与连接方向的骨架点，然后基于对每个骨架点的预测连接方向，连接骨架点集中各骨架点生成最终气管结构的树状结构的重建结果。
1)各网络结构：
与逐体素的高分辨率气管分割结果相比，气管结构的树状结构通过将分割图像中的多个体素抽象为一个球体点，实现了一种更加简化的点集表示。为了将全脑分割图像输入到具有骨架点预测的生物管状结构追踪网络，需要先对分割图像进行下采样，并裁剪划分成较小的图像块。本发明的具有骨架点预测的生物管状结构追踪网络读取裁剪后的概率分割图像块并从中预测气管结构的骨架点集，点集可以表示为其中，W、H、D为图像块的宽度、高度与深度，N是一个超参数，需要大于任意图像块对应的真实气管结构的骨架点数量，(xj，yj，zj)、rj与dj分别是归一化后的骨架点的三维空间位置(由三维空间坐标和半径组成)与连接方向，cj∈[0，1]表示预测点属于骨架点的分类概率，dj为三维预测方向的方向向量。具体地，经过多次实验，本实施例选择具有骨架点预测的生物管状结构追踪网络的输入图像的物理分辨率为128nm×128nm×128nm(该图像可由三维概率分割图像插值采样得到)，体素大小为64×64×64。
对于三维连接方向预测，在实际训练中，首先将三维方向dj拆分为水平角ψj与垂直角φj，对这两个角度分别进行预测，计算方式如下，
dj＝(dj，x，dj，y，，dj，z) (1)；
本发明遵循方向目标检测的方法，采用“分段预测”(分bin)的方式，将连续的角度离散化到λ个区间，每个区间代表一个大小为的角度范围，以ψj为例，首先预测角度属于每一个区间的概率然后预测角度在每一个区间内的具体偏移值(需要根据进行归一化)，φj与之类似。通过这种方式，将方位角(ψj，φj)转化为并对Aj进行预测。在推理阶段，得到后，根据这两个角度的最大概率所在区间及该区间内部的偏移量来计算出具体的角度，然后根据上述式(1)～式(3)的逆过程得到预测方向dj。
图像特征提取网络包括：三维残差网络和特征金字塔网络。该图像特征提取网络的输入为单通道分割概率图像经过图像特征提取网络后，得到低分辨率图像特征将低分辨率图像特征If输入到基于Transformer的骨架点集
预测网络，以低分辨率图像特征的每一个像素作为一个token，所有像素作为一个序列输入Transformer编码器，序列为其中，t表示序列的长度，也即低分辨率图像特征If的图像大小，t＝D0×H0×W0。同时，考虑到图像中的空间位置，计算每个特征位置的位置编码，位置编码为位置编码采用余弦位置编码实现。序列S与位置编码P共同被作为Transformer编码器的输入。
Transformer编码器作为基于Transformer的骨架点集预测网络的特征提取器，由K个编码器层组成，每个编码器层由多头自注意力模块(Multi-head Self-attention)与多层感知机(MLP)组成。由于Transformer架构是置换不变的，每次都将上层编码器层输出与位置编码输入到下一编码器层中。Transformer编码器通过自注意力机制，将序列S和P映射到特征序列Z中，将特征序列Z输入到骨架提议点集预测子模块与Transformer解码器中。
Transformer解码器依靠目标查询来建模骨架点集与分割图像的关系。为获得较好的初始查询点，本发明提出了一种查询点动态生成过程。在NRTR方法中，查询点是通过一个可学习的线性层生成的。然而，在单个迭代轮次内，对于不同的图像，这些查询点输入通常是静态的，即它们是相同的。在网络的初始学习阶段，这个线性层往往采用全零或随机初始化的方式生成，导致查询点含义不明确，进而影响训练的稳定性和收敛速度。为了进一步利用Transformer编码器，本发明从Transformer编码器最后一层编码器层输出的特征序列Z中选择部分tokens特征作为先验来增强Transformer解码器查询。本发明通过在Transformer编码器后接骨架提议点集预测子模块，计算所有特征的评分，并从中选择前N个(与查询点数量相同)编码器特征，具体地，通过骨架提议点集预测子模块预测每个特征位置点属于气管结构骨架点的分类概率，将概率最高的N个tokens的特征作为提议点，使用这些提议点的特征与对应的位置编码作为Transformer解码器的目标查询，使得目标查询在一开始就与分割图像中可能存在目标区域相关联，使得Transformer解码器能够更有效地关注这些特定区域。本发明通过计算骨架提议点集预测子模块的预测结果与真实值的损失，来约束骨架提议点集预测子模块与Transformer编码器。通过这样的方法，能使得基于Transformer的骨架点集预测网络的训练更加稳定，收敛更快，获得更好的预测结果。
骨架提议点集预测子模块包括六个多层感知机，前两个多层感知机分别用来预测骨架提议点的分类概率和三维空间位置，后四个多层感知机用来预测每个骨架提议点连接方向对应的两个角度，包括水平角ψ和垂直角φ的不同的角度区间分类概率以及区间内偏移值。在骨架提议点集预测子模块中，Transformer编码器输出的特征序列Z经过骨架提议点集预测子模块输出t个骨架提议点的概率三维空间位置角度本发明的动态查询将从这些信息中，根据t个骨架提议点的概率CE选择部分信息，用作Transformer解码器的目标初始查询。具体地，本发明采用Top-K策略，选择t个骨架提议点的概率CE中前N个概率最大的预测点作为查询提议点，从Transformer编码器输出的特征序列Z中选择与之对应的N个特征重新组合成序列Q0，输入到Transformer解码器，作为Transformer解码器的初始对象查询矩阵，另外还要将这N个提议点的位置编码P0输入到Transformer解码器的每一层。
Transformer解码器通过目标对象查询(Object Query)，建模骨架点目标与图像的关系，由K个解码器层构成，每个解码器层由多头自注意力模块、多头交叉注意力模块(Multi-head Cross-attention)和多层感知机组成。将骨架提议点集预测子模块的预测特征Q0与P0，依据编码器输出的特征序列Z输入到Transformer解码器中，因Transformer解码器也是置换不变的，每一层解码器也需要输入位置编码，Transformer解码器利用交叉注意力机制来捕捉目标骨架点与图像中所有位置之间的依赖关系，输出与序列Q0维度相同的目标骨架点特征Q。
将目标骨架点特征Q输入骨架点集预测子模块，得到最终气管结构骨架点的详细信息。骨架点集预测子模块与骨架提议点集预测子模块的网络架构一致，但具体网络参数不同，需要在网络训练中学习。Transformer解码器的输出特征序列经过骨架点集预测子模块输出N个骨架点的分类概率三维空间位置角度作为最终的骨架点集预测结果，用于后续构建气管结构的树状结构。
2)损失函数：
训练具有骨架点预测的生物管状结构追踪网络的损失函数如下：
骨架点集预测子模块输出一个固定大小的预测骨架点集合，该预测骨架点集合包含N个预测的骨架点；另外，为了充分利用Transformer编码器信息，Transformer编码器输出了t个体素点的特征，在骨架提议点集预测子模块中选择N个骨架提议点输入到Transformer解码器中。
本发明的损失函数则使用骨架提议点集预测子模块的N个骨架提议点与骨架点集预测子模块的N个预测骨架点进行计算，首先要将这些骨架点集与真实点集匹配起来，然后计算损失。为了方便介绍，先假设已经将预测骨架点集与真实点集匹配起来，介绍匹配损失，之后再给出匹配方法，从而计算最终总损失。
(21)各项损失函数：
骨架提议点集预测子模块会输出N个骨架提议点，骨架点集预测子模块会输出N个骨架点，假定真实值中有M个骨架点，要求N>M，首先在真实值中补充N-M个类别为空的点，使得真实值中最终有N个点，与预测的N个骨架点进行一对一匹配。对于一个预测的骨架点与它在真实值中的匹配点Yi，损失计算如下：
其中，ci、Li、Ai分别表示真实值Yi的分类概率、三维空间位置与角度，所述三维空间位置由三维空间坐标和半径组成；分别表示预测结果的分类概率、三维空间位置与角度，所述三维空间位置由坐标和半径组成；ωcls、ωbox、ωiou、ωdir分别为超参数；表示分类损失，设置为交叉熵损失函数；与均表示位置损失，为L1损失函数，为球体交并比损失函数；为方向损失，计算方式如下：
其中，分别表示每个骨架点的方向真实值di对应的水平角分类、水平角类内偏移值、垂直角分类、垂直角类内偏移；分别表示预测方向的水平角分类、水平角类内偏移值、垂直角分类、垂直角类内偏移；表示角度分类损失，设置为交叉熵损失函数；为角度类内偏移回归损失，设置为L1损失，并且仅计算角度目标区间所在的偏移值中预测值与真实值的差距。
下面说明预测骨架点集的损失。对于真实值骨架点集Y与预测骨架点集假设已经获取了它们的最优匹配损失计算如下：
当真实点为骨架点时，会计算分类、位置和方向损失，当真实点为空时，只计算分类损失。两个点集的损失即为每个点的损失之和。下一节将介绍如何确定点集间的最优匹配。
3)点集匹配：
上述说明了在确定点集匹配的情况下，如何计算损失，下面将说明如何寻找点集间的最优匹配。这里点集匹配的定义为，对于具有M个点的真实值骨架点集Y，与具有N个点的预测骨架点集对于预测骨架点集中的每一个骨架点，如何从真实点集中找到最准确的唯一匹配点。本发明采用匈牙利算法进行匹配，首先在真实点集中补充N-M个空集点，两个集合点数一致后，然后考虑所有一一对应点的点集匹配方案，使得最优匹配损失最小，计算公式如下：
使用以上方法，找到了预测骨架点集与真实值骨架点集之间的最优匹配方案。一方面，为了使得最终输出尽可能接近真实值骨架点集，需要对骨架点集预测子模块的输出进行约束；另一方面，为了使得Transformer解码器的初始化目标查询尽可能接近真实值骨架点集，也需要对骨架提议点集预测子模块的输出进行约束，因此该骨架提议点集预测子模块的最终损失为：
其中，表示骨架提议点集预测子模块运用Top-K策略选出的N个最大概率的骨架提议点集合；表示骨架提议点集与真实值骨架点集Y的最优匹配；表示骨架点集预测子模块输出的N个骨架点集合，表示预测骨架点集与真实值骨架点集Y的最优匹配。ω1、ω2为超参数。
4)点集连接：
骨架点集连接模块将预测到的骨架点集依据每个骨架点的预测方向连接为树状结构。在通过基于Transformer的骨架点集预测网络得到骨架点集后，需要对骨架点集进行处理，连接成为最终的树状结构的重建结果。首先使用0.5的概率阈值来筛选骨架点，删去分类概率小于0.5的骨架点，并依据骨架点预测的角度信息计算每个骨架点的预测连接方向，对剩下的所有骨架点建立点边图，将两点距离小于距离阈值的、且两点方向与预测方向角度差距小于角度阈值的两个骨架点建立边关系，然后根据角度差距与点间距离作为边权值，即：
ei，j＝ω3dist(Pi，Pj)+
ω4min{[1-cos(di，diri，j)]，[1-cos(dj，dirj，i)]} (9)；
其中，(Pi，Pj)表示骨架点i与骨架点，的位置；(di，diri，j)表示骨架点i的预测方向与骨架点i到骨架点j的朝向；dist(Pi，Pj)表示骨架点i与骨架点，的欧式空间距离；cos(di，diri，j)表示骨架点i的预测方向与骨架点i到骨架点，朝向的余弦距离；ω3、ω4均为超参数；由于气管结构骨架SWC文件中不能具有环(即两个骨架点之间只存在一条路径)，因此采用最小生成树将构建的点边图去环，得到最终气管结构的的树状结构。
5)总体框架：
本发明的方法主要分为两步，第一步使用具有自注意力机制的Swin UNETR网络，从原始电镜显微图像中提取出气管结构区域。通过Transformer网络的自注意力机制，捕获图像中的长距离依赖关系，获得更准确、空间连续性更好的气管结构分割结果。第二步使用具有骨架点预测的生物管状结构追踪网络以连接方向引导的生物管状结构追踪方法进行气管追踪。该方法能够提取多层次、多尺度的图像特征，能够自适应地处理图像质量较差区域与生物结构复杂区域，生成质量更好、更准确的追踪结果。通过使用具有骨架点预测的生物管状结构追踪网络预测的骨架点集连接方向来引导连接过程，获得更加准确的气管结构重建结果。
表1为各方法对果蝇电镜显微图像气管重建结果准确度对比
表2为本发明方法在果蝇气管追踪任务上的消融实验结果
通过上述表1可以看出，本发明的方法相比于传统追踪方法NGPST和深度学习方法NRTR，在各项指标均获得最优，且有较大幅度的提升，通过上述表2可以看出，本发明的方法通过使用骨架提议点预测子模块增加Transformer解码器查询和利用方向预测信息指导气管结构连接，实现更加准确的重建结果。
本发明实施例通过使用具有自注意力机制的生物管状结构分割网络在果蝇全脑电镜显微图像中进行果蝇气管分割，获得骨架点的三维空间位置更准确、空间连续性更好的气管追踪结果，解决了细长气管遗漏分割的问题。本发明通过基于检测网络与连接方向预测的具有骨架点预测的生物管状结构追踪网络，实现了电镜显微图像中气管结构的准确三维追踪。本发明在骨架点预测子模块中提出了一种查询点动态生成方法，使得网络训练更加稳定，获得了更好的预测结果。并依据预测得到的骨架点的连接方向构建气管结构的树状连接结构，获得准确的三维重建结果。依据本发明方法，可以在果蝇全脑电镜显微图像少量气管数据标注下，获得准确的气管三维重建结果，参见图4。在实验验证下，本发明的方法取得了最先进的生物管状结构三维重建性能。
本领域普通技术人员可以理解：实现上述实施例方法中的全部或部分流程是可以通过程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。本文背景技术部分公开的信息仅仅旨在加深对本发明的总体背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

Claims (10)

1.一种电镜显微图像中的生物管状结构重建方法，其特征在于，包括：
步骤1，将原始电镜显微图像分块得到分块图像，使用具有自注意力机制的生物管状结构分割网络通过自注意力机制捕获原始电镜显微图像中的生物管状结构的长距离依赖关系，逐块对各分块图像进行生物管状结构分割依据长距离依赖关系得到生物管状结构概率分割图像；
步骤2，对步骤1得到的生物管状结构概率分割图像进行前处理得到追踪用图像块，通过具有骨架点预测的生物管状结构追踪网络对得到的追踪用图像块进行预测得出生物管状结构的骨架点集，根据连接方向连接生物管状结构的骨架点集的各骨架点构建树状结构的生物管状结构，得到生物管状结构的重建结果。
2.根据权利要求1所述的电镜显微图像中的生物管状结构重建方法，其特征在于，所述步骤2中，按以下方式对步骤1得到的生物管状结构概率分割图像进行前处理得到追踪用图像块，通过具有骨架点预测的生物管状结构追踪网络对得到的追踪用图像块进行预测得出生物管状结构的骨架点集，根据连接方向连接生物管状结构的骨架点集的各骨架点构建树状结构的生物管状结构，得到生物管状结构的重建结果，包括：
步骤21，利用步骤1中分割得到的生物管状结构概率分割图像中的生物管状结构区域分割概率，获得分块的三维分割概率图像，将多块三维分割概率图像拼合成整体三维分割概率图像，对得到的整体三维分割概率图像下采样并切分成至少一个固定大小的追踪用图像块，
步骤22，将步骤21得到的各追踪用图像块输入到具有骨架点预测的生物管状结构追踪网络中进行骨架点预测，得到追踪用图像块中的生物管状结构的骨架点的三维空间位置和连接方向，所述三维空间位置由三维空间坐标和半径组成；
步骤23，利用得到的生物管状结构的骨架点的三维空间位置与连接方向连接各骨架点，完成各追踪用图像块的生物管状结构的树状结构的三维构建，最后将多个追踪用图像块的生物管状结构的树状结构重建结果拼合得到整体三维分割概率图像对应的生物管状结构重建结果。
3.根据权利要求1或2所述的电镜显微图像中的生物管状结构重建方法，其特征在于，所述具有自注意力机制的生物管状结构分割网络采用具有自注意力机制的Swin UNETR网络；
该具有自注意力机制的Swin UNETR网络的输入电镜显微图像的物理分辨率为16nm×16nm×40nm，体素大小为128×128×16；
该具有自注意力机制的Swin UNETR网络的输出为每个体素是否属于生物管状结构的概率图像，即生物管状结构概率分割图像；
所述具有骨架点预测的生物管状结构追踪网络包括：图像特征提取网络、基于Transformer的骨架点集预测网络和骨架点集连接模块；其中，
所述图像特征提取网络，能以对步骤1得到的生物管状结构概率分割图像进行前处理得到追踪用图像块为输入，提取低分辨率图像特征作为输出；
所述基于Transformer的骨架点集预测网络，与所述图像特征提取网络的输出端通信连接，能以所述图像特征提取网络输出的低分辨率图像特征作为输入标记序列，计算输入的标记序列中各个图像块标记之间的关联，生成生物管状结构的骨架提议点特征序列，并对生物管状提议点特征序列预测得到生物管状结构骨架点序列中各骨架点的分类概率、三维空间位置和连接方向，由各骨架点的分类概率、三维空间位置和连接方向构成骨架点集，所述位置由坐标和半径组成；
所述骨架点集连接模块，与所述基于Transformer的骨架点集预测网络的输出端通信连接，能以所述基于Transformer的骨架点集预测网络预测得到的骨架点集为输入，基于预测的各骨架点的连接方向，连接骨架点集中各骨架点生成最终的生物管状结构的树状结构。
4.根据权利要求3所述的电镜显微图像中的生物管状结构重建方法，其特征在于，所述图像特征提取网络由依次连接的三维残差网络和特征金字塔网络组成，其中，所述三维残差网络以对步骤1得到的生物管状结构概率分割图像进行前处理得到追踪用图像块为输入，能进行三维残差处理后输出至特征金字塔网络，进行低分辨率图像特征提取，得到低分辨率图像特征；
所述基于Transformer的骨架点集预测网络由Transformer编码器、骨架提议点集预测子模块、Transformer解码器和骨架点集预测子模块组成；其中，
所述Transformer编码器，与所述图像特征提取网络通信连接，能以图像特征提取网络输出的低分辨率图像特征的每个像素位置的位置编码和该低分辨率图像特征的所有像素特征组成的像素特征序列共同作为输入，通过自注意力机制，将像素特征序列和每个像素位置的位置编码映射到包含所有图像特征的位置信息和内容信息的特征序列中，并输出特征序列；
所述骨架提议点预测子模块，与所述Transformer编码器的输出端通信连接，能以所述Transformer编码器输出的特征序列为输入，分别预测得出生物管状结构骨架提议点的分类概率、三维空间位置以及生物管状结构骨架提议点的连接方向，所述三维空间位置由三维空间坐标和半径组成；
所述Transformer解码器，分别与所述Transformer编码器与骨架提议点集预测子模块通信连接，能以所述骨架提议点集预测子模块输出的分类概率中前N个概率最大的生物管状结构骨架点作为骨架提议点，从特征序列中选择与这N个骨架提议点对应的N个特征重新组合成生物管状结构点预测特征提议序列作为初始对象查询矩阵，并以这N个骨架提议点的位置编码以及Transformer编码器输出的特征序列输入到该Transformer解码器的每一层作为键和值，利用交叉注意力机制来捕捉目标生物管状结构点与图像中所有位置之间的依赖关系，输出与生物管状结构点预测特征提议序列形状相同的目标生物管状结构点特征；
所述骨架点集预测子模块，与所述Transformer解码器通信连接，能以所述Transformer解码器输出的目标生物管状结构点特征为输入，得出各骨架点的分类概率、三维空间位置和角度，所述三维空间位置由三维空间坐标和半径组成，由得出的各骨架点构成骨架点集。
5.根据权利要求4所述的电镜显微图像中的生物管状结构重建方法，其特征在于，所述基于Transformer的骨架点集预测网络中，所述Transformer编码器由依次连接的多个编码器层组成，每个编码器层均由多头自注意力模块与多层感知模块组成；
所述骨架提议点集预测子模块由六个多层感知机组成，其中，前两个多层感知机分别用于预测生物管状结构骨架点的分类概率和三维空间位置，后四个多层感知机用于预测连接方向对应的水平角和垂直角；
所述Transformer解码器由依次连接的多个解码器层构成，每个解码器层由多头自注意力子模块、多头交叉注意力子模块和多层感知子模块组成。
6.根据权利要求4所述的电镜显微图像中的生物管状结构重建方法，其特征在于，所述骨架点集预测子模块由六个多层感知机组成，其中，前两个多层感知机分别用于预测生物管状结构点的分类概率和三维空间位置，后四个多层感知机用于预测连接方向对应的水平角和垂直角。
7.根据权利要求3所述的电镜显微图像中的生物管状结构重建方法，其特征在于，所述具有骨架点预测的生物管状结构追踪网络的总损失函数为：
其中，各参数含义为：表示所有预测的骨架提议点与它在真实值中的匹配点的匹配损失之和；表示所有预测的骨架点与它在真实值中的匹配点的匹配损失之和；表示具有骨架点预测的生物管状结构追踪网络的基于Transformer的骨架点集预测网络的骨架提议点集预测子模块运用Top-K策略选出的N个最大概率的生物管状结构点构成的骨架提议点集；表示骨架提议点集与真实值骨架点集Y的最优匹配；表示基于Transformer的骨架点集预测网络输出的N个骨架点组成的骨架点集；表示骨架点集与真实值骨架点集Y的最优匹配；ω1、ω2分别为超参数；
上述总损失中，均按以下计算，为：
其中，ci、Li、Ai分别表示真实值Yi的分类概率、三维空间位置与角度，所述三维空间位置由三维空间坐标和半径组成；分别表示预测结果的分类概率、三维空间位置与角度，所述三维空间位置由三维空间坐标和半径组成；ωcls、ωbox、ωiou、ωdir分别为超参数；表示分类损失，设置为交叉熵损失函数；与均表示位置损失，为L1损失函数，为球体交并比损失函数；为方向损失，计算方式如下：
其中，分别表示每个骨架点的方向真实值方向di对应的水平角分类、水平角类内偏移值、垂直角分类与垂直角类内偏移；分别表示预测方向的水平角分类、水平角类内偏移值、垂直角分类与垂直角类内偏移；表示角度分类损失，设置为交叉熵损失函数；表示角度类内偏移回归损失，采用L1损失函数，且仅计算角度目标区间所在的偏移值中预测值与真实值的差距。
8.根据权利要求1或2所述的电镜显微图像中的生物管状结构重建方法，其特征在于，所述步骤2中，按以下方式根据连接方向连接生物管状结构的骨架点集构建树状结构的生物管状结构，得到生物管状结构重建图像，包括：
从生物管状结构的骨架点集中删去分类概率小于预定阈值的骨架点，将剩余的骨架点作为筛选出的骨架点，依据筛选出的骨架点预测的角度计算每个骨架点的预测连接方向，对剩下的所有骨架点建立点边图，将两点距离小于距离阈值且两点方向与预测方向角度差距小于角度阈值的两个骨架点建立边关系，然后根据角度差距与点间距离作为边权值ei，j，ei，j为：
ei，j＝ω3dist(Pi，Pj)+
ω4min{[1-cos(di，diri，j)]，[1-cos(dj，dirj，i)]} (9)；
其中，dist(Pi，Pj)表示骨架点i与骨架点j的欧式空间距离；(Pi，Pj)表示骨架点i与骨架点j的位置；cos(di，diri，j)表示骨架点i的预测方向与骨架点i到骨架点j朝向的余弦距离；(di，diri，j)表示骨架点i的预测方向与骨架点i到骨架点j的朝向；cos(dj，dirj，i)表示骨架点j的预测方向与骨架点j到骨架点i朝向的余弦距离；(dj，dirj，i)表示骨架点j的预测方向与骨架点j到骨架点i的朝向；ω3、ω4均为超参数；min{}表示取最小值；
采用最小生成树将构建的点边图去环，得到最终的生物管状结构的树状结构。
9.一种处理设备，其特征在于，包括：
至少一个存储器，用于存储一个或多个程序；
至少一个处理器，能执行所述存储器所存储的一个或多个程序，在一个或多个程序被处理器执行时，使得所述处理器能实现权利要求1-8任一项所述的方法。
10.一种可读存储介质，存储有计算机程序，其特征在于，当计算机程序被处理器执行时能实现权利要求1-8任一项所述的方法。
CN202411102017.8A 2024-08-12 2024-08-12 电镜显微图像中的生物管状结构重建方法、设备及介质 Active CN119048673B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202411102017.8A CN119048673B (zh) 2024-08-12 2024-08-12 电镜显微图像中的生物管状结构重建方法、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202411102017.8A CN119048673B (zh) 2024-08-12 2024-08-12 电镜显微图像中的生物管状结构重建方法、设备及介质

Publications (2)

Publication Number Publication Date
CN119048673A true CN119048673A (zh) 2024-11-29
CN119048673B CN119048673B (zh) 2025-07-04

Family

ID=93586778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202411102017.8A Active CN119048673B (zh) 2024-08-12 2024-08-12 电镜显微图像中的生物管状结构重建方法、设备及介质

Country Status (1)

Country Link
CN (1) CN119048673B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510506A (zh) * 2018-04-14 2018-09-07 深圳市图智能科技有限公司 一种管状结构图像分割方法
CN115482241A (zh) * 2022-10-21 2022-12-16 上海师范大学 一种跨模态双分支互补融合的图像分割方法及装置
CN116740081A (zh) * 2023-07-31 2023-09-12 河北师范大学 Ct图像中肺血管分割方法、装置、终端设备及介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510506A (zh) * 2018-04-14 2018-09-07 深圳市图智能科技有限公司 一种管状结构图像分割方法
CN115482241A (zh) * 2022-10-21 2022-12-16 上海师范大学 一种跨模态双分支互补融合的图像分割方法及装置
CN116740081A (zh) * 2023-07-31 2023-09-12 河北师范大学 Ct图像中肺血管分割方法、装置、终端设备及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YIJUN WANG 等: "NRTR: Neuron Reconstruction With Transformer From 3D Optical Microscopy Images", IEEE TRANSACTIONS ON MEDICAL IMAGING, 29 February 2024 (2024-02-29), pages 886 - 898 *
金传 等: "融合 CNN 与 Transformer 结构的遥感图像分类方法", 激光与光电子学进展, 31 October 2023 (2023-10-31) *

Also Published As

Publication number Publication date
CN119048673B (zh) 2025-07-04

Similar Documents

Publication Publication Date Title
Karthik et al. A deep supervised approach for ischemic lesion segmentation from multimodal MRI using Fully Convolutional Network
Liu et al. TreePartNet: neural decomposition of point clouds for 3D tree reconstruction
CN113012172A (zh) 一种基于AS-UNet的医学图像分割方法及系统
CN109215033A (zh) 图像分割的方法及系统
CN112215101B (zh) 一种基于注意力机制的三维目标识别方法及系统
Fu et al. Sstrans-net: Smart swin transformer network for medical image segmentation
WO2024216672A1 (zh) 基于扩散模型及3d transformer的三维分割方法、系统、设备及介质
CN109712150A (zh) 基于稀疏表示的光学微波图像融合重建方法和装置
CN115115662B (zh) 一种基于知识与数据融合驱动的多模态医学影像目标分割方法
CN113920123B (zh) 一种成瘾性脑网络分析方法及装置
CN115836849B (zh) 一种基于对比测试时间适应的心率失常分类方法
Huang et al. Automatic Retinal Vessel Segmentation Based on an Improved U‐Net Approach
Ruan et al. An efficient tongue segmentation model based on u-net framework
CN116630531A (zh) 一种基于点云上采样的肋骨三维重建方法及系统
Napte et al. Deep learning based liver segmentation: A review
CN114612535B (zh) 基于偏微分对抗学习的图像配准方法、系统、设备和介质
CN119048673A (zh) 电镜显微图像中的生物管状结构重建方法、设备及介质
CN117633558A (zh) 基于视觉语言模型的多激励融合零样本病变检测方法
Li et al. [Retracted] Design of an Incremental Music Teaching and Assisted Therapy System Based on Artificial Intelligence Attention Mechanism
Gao Medical image segmentation algorithm based on deep learning and convolutional neural network
CN116130049A (zh) 一种融合准周期运动约束的体表-肿瘤关联模型优化方法
Hussein et al. Semantic segmentation of aerial images using u-net architecture
Zhou et al. Neuronal morphological model-driven image registration for serial electron microscopy sections
Jiang et al. Segmentation of coronary artery based on discriminative frequency learning and coronary-geometric refinement
CN119295496B (zh) 基于曼巴网络改进域自适应框架的跨模态医学图像分割方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant