CN113436322A - 一种眼底血管三维重建方法、装置、设备及存储介质 - Google Patents

一种眼底血管三维重建方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113436322A
CN113436322A CN202110774785.8A CN202110774785A CN113436322A CN 113436322 A CN113436322 A CN 113436322A CN 202110774785 A CN202110774785 A CN 202110774785A CN 113436322 A CN113436322 A CN 113436322A
Authority
CN
China
Prior art keywords
blood vessel
dimensional
depth
point cloud
octa
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110774785.8A
Other languages
English (en)
Inventor
赵一天
郁帅
谢建洋
蒋珊珊
顾愿愿
岳星宇
阎岐峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Institute of Material Technology and Engineering of CAS
Cixi Institute of Biomedical Engineering CIBE of CAS
Original Assignee
Ningbo Institute of Material Technology and Engineering of CAS
Cixi Institute of Biomedical Engineering CIBE of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Institute of Material Technology and Engineering of CAS, Cixi Institute of Biomedical Engineering CIBE of CAS filed Critical Ningbo Institute of Material Technology and Engineering of CAS
Priority to CN202110774785.8A priority Critical patent/CN113436322A/zh
Publication of CN113436322A publication Critical patent/CN113436322A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本申请公开了一种眼底血管三维重建方法、装置、设备及存储介质，该方法包括：通过跨域深度自适应网络对不同设备的OCTA二维血管正面投影图像进行深度预测，得到深度图预测结果；在OCTA二维血管分割图像上提取血管的中心线位置和半径长度；根据深度图预测结果所带的深度信息和OCTA二维血管分割图像的提取信息，获取三维血管中心线点云；根据三维血管中心线点云和圆的空间参数方程，对血管的三维表面网格进行重建。这样从二维到三维的视网膜血管重建过程，有效地解决了二维正面投影图像中血管空间信息缺失问题、OCTA图像中常见的伪影问题、以及由于三维数据缺失和技术手段限制导致无法使用三维体数据重建血管的问题。

Description

一种眼底血管三维重建方法、装置、设备及存储介质
技术领域
本发明涉及图像处理领域，特别是涉及一种眼底血管三维重建方法、装置、设备及存储介质。
背景技术
血管类疾病是世界最常见的公共卫生安全之一，早期临床表现不明显，晚期的突发性表现会对患者的生命安全造成严重威胁。然而由于目前血管类疾病诊断手段的复杂性与有创性，无法实现大规模的普查。因此，早期的筛查对于公众的生命健康安全具有重要意义。临床研究表明，视网膜血管的形态变化，是揭示和识别许多眼部和全身性疾病早期症状的重要标志。作为人体内在无创伤条件下唯一可获取的血管组织，有关视网膜血管的研究和分析已经在血管类疾病的筛查中展现了非常大的前景。
光学相干断层扫描血管造影(Optical Coherence Tomography Angiography,OCTA)能以无创、微米级别的高分辨率、三维的方式获得视网膜的血流及结构信息。目前绝大多数基于OCTA的研究都是在其二维正面投影(en face)图像上进行，这些工作表明，OCTA的en face表示为医生分析视网膜血管提供了重要的参考。然而，原始三维血管丰富的深度信息和拓扑性质在二维空间中将不可避免地被掩盖。在实践中，高质量的三维血管可视化对医生观察微血管的变化非常有帮助。现有的算法使用OCTA体数据(三维原始数据)来进行三维血管重建，由于存在对比度差，伪影投射，拓扑结构复杂和直径相对较小等问题，这一工作仍面临很大挑战。另外，在实际应用中获得所需的体数据并不总是简单的。一些公共数据集不提供三维数据，此外由于厂商限制，从某些OCTA设备输出体数据存在困难，这使得无法通过现有算法实现血管的三维重建。
因此，如何解决现有的视网膜血管三维重建算法存在对比度差，伪影投射，计算量大并且依赖于不易获取的OCTA三维体数据的问题，是本领域技术人员亟待解决的技术问题。
发明内容
有鉴于此，本发明的目的在于提供一种眼底血管三维重建方法、装置、设备及存储介质，可以准确预测OCTA二维血管正面投影的深度图并且有效地重建视网膜血管三维结构，整体计算量小。其具体方案如下：
一种眼底血管三维重建方法，包括：
通过跨域深度自适应网络对不同设备的OCTA二维血管正面投影图像进行深度预测，得到深度图预测结果；
在OCTA二维血管分割图像上提取血管的中心线位置和半径长度；
根据所述深度图预测结果所带的深度信息和所述OCTA二维血管分割图像的提取信息，获取三维血管中心线点云；
根据所述三维血管中心线点云和圆的空间参数方程，对血管的三维表面网格进行重建。
优选地，在本发明实施例提供的上述眼底血管三维重建方法中，所述跨域深度自适应网络的骨干网络为U-net深度学习网络，在所述U-net深度学习网络中编码器和解码器之间的跳跃连接加入结构分支机构。
优选地，在本发明实施例提供的上述眼底血管三维重建方法中，所述跨域深度自适应网络中的U型网络的输出端与深度对抗自适应模型连接；所述深度对抗自适应模型通过基于图像像素块的判别模块和血管深度连续性自校正模块，对跨域图像进行深度预测。
优选地，在本发明实施例提供的上述眼底血管三维重建方法中，所述跨域深度自适应网络通过子编码块和损失函数进行约束；所述损失函数包括交叉熵损失、网络所预测的深度图和机器所带金标准之间的损失、对抗损失、连续性自我校正损失。
优选地，在本发明实施例提供的上述眼底血管三维重建方法中，所述根据所述深度图预测结果所带的深度信息和所述OCTA二维血管分割图像的提取信息，获取三维血管中心线点云，包括：
通过定位相交点来检测血管的分叉点和交叉点，将所有相交点及其邻近点从所述OCTA二维血管分割图像中删除，获得具有清晰分离的血管段图像；
根据所述血管段图像所带的中心线位置，以及所述深度图预测结果所带的深度信息与所述血管的半径长度之和，获得分段血管中心线点云；
使用双线性插值根据拓扑一致性来连接相邻的血管段，得到连续完整的血管网络，以获取三维血管中心线点云。
优选地，在本发明实施例提供的上述眼底血管三维重建方法中，所述根据所述三维血管中心线点云和圆的空间参数方程，对血管的三维表面网格进行重建，包括：
以中心线上的点为空间中的圆心，中心线上相邻两个点之间的连线作为法向量，构建圆的空间参数方程；
通过所述圆的空间参数方程得到圆上每一个点的坐标，将所述三维血管中心线点云转化成三维表面密集点云；
根据所述三维表面密集点云，重建血管的三维表面网格。
优选地，在本发明实施例提供的上述眼底血管三维重建方法中，所述根据所述三维表面密集点云，重建血管的三维表面网格，包括：
采用泊松圆盘采样算法对所述三维表面密集点云进行均匀化处理；
根据均匀的所述三维表面密集点云，使用球透视算法重建血管的三维表面网格。
本发明实施例还提供了一种眼底血管三维重建装置，包括：
深度预测模块，用于通过跨域深度自适应网络对不同设备的OCTA二维血管正面投影图像进行深度预测，得到深度图预测结果；
中心线提取模块，用于在OCTA二维血管分割图像上提取血管的中心线位置和半径长度；
中心线点云获取模块，用于根据所述深度图预测结果所带的深度信息和所述OCTA二维血管分割图像的提取信息，获取三维血管中心线点云；
三维网格重建模块，用于根据所述三维血管中心线点云和圆的空间参数方程，对血管的三维表面网格进行重建。
本发明实施例还提供了一种眼底血管三维重建设备，包括处理器和存储器，其中，所述处理器执行所述存储器中存储的计算机程序时实现如本发明实施例提供的上述眼底血管三维重建方法。
本发明实施例还提供了一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如本发明实施例提供的上述眼底血管三维重建方法。
从上述技术方案可以看出，本发明所提供的一种眼底血管三维重建方法，包括：通过跨域深度自适应网络对不同设备的OCTA二维血管正面投影图像进行深度预测，得到深度图预测结果；在OCTA二维血管分割图像上提取血管的中心线位置和半径长度；根据深度图预测结果所带的深度信息和OCTA二维血管分割图像的提取信息，获取三维血管中心线点云；根据三维血管中心线点云和圆的空间参数方程，对血管的三维表面网格进行重建。
本发明提供的上述眼底血管三维重建方法，先通过跨域深度自适应网络预测深度图，有效地解决了二维正面投影图像中血管空间信息缺失的问题，实现深度预测精确性和效率的提升，然后结合二维血管分割结果实现视网膜血管在空间中的重建，这样通过从二维到三维的映射，整体计算量小，有效地解决了OCTA图像中常见的伪影问题，最终重建的表面网格可用于后续三维特征提取和分析，有效克服了由于三维数据缺失和技术手段限制导致无法使用三维体数据重建血管的问题，为视网膜的三维重建提供了强大的潜在工具，且为视网膜血管在空间中的可视化以及血管性疾病的量化分析和临床筛查诊断提供了一种有效的途径。
此外，本发明还针对眼底血管三维重建方法提供了相应的装置、设备及计算机可读存储介质，进一步使得上述方法更具有实用性，该装置、设备及计算机可读存储介质具有相应的优点。
附图说明
为了更清楚地说明本发明实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的眼底血管三维重建方法的流程图；
图2为本发明实施例提供的眼底血管三维重建方法的整个过程示意图；
图3a为本发明实施例提供的原始OCTA三维图像；
图3b为本发明实施例提供的OCTA二维血管正面投影图；
图3c为本发明实施例提供的预测出的深度图；
图4为本发明实施例提供的从血管分割结果上提取中心线和直径的示意图；
图5为现有技术中基于OCTA体数据的血管重建结果；
图6为本发明实施例提供的血管重建结果；
图7为本发明实施例提供的跨域深度自适应网络架构图；
图8为本发明实施例提供的三维空间中圆的表示图；
图9为本发明实施例提供的从点云到表面网格的血管重建过程示意图；
图10a至图10c分别为本发明实施例提供的源域图像对应的正面投影图、深度图金标准、预测深度图；
图10d和图10e分别为本发明实施例提供的目标域图像对应的正面投影图、预测深度图；
图10f为本发明实施例提供的网格重建图；
图10g至图10i分别为本发明实施例提供的不同视角血管三维重建预实验结果的可视化图；
图11为本发明实施例提供的眼底血管三维重建装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种眼底血管三维重建方法，如图1和图2所示，包括以下步骤：
S101、通过跨域深度自适应网络对不同设备的OCTA二维血管正面投影图像进行深度预测，得到深度图预测结果；
需要说明的是，深度图为带有颜色编码的OCTA图像；深度图本质上是不同深度视网膜层的组合，其像素值反映了血管在空间中的相对位置。图3a示出了原始OCTA三维图像；图3b示出了OCTA二维血管正面投影图像；图3c示出了预测出的深度图。
S102、在OCTA二维血管分割图像上提取血管的中心线位置和半径长度；
具体地，执行步骤S102时，给定一张OCTA的二维血管分割图像，可以采用骨架化算法提取血管中心线的位置和对应直径(D)，半径长度为直径的一般，中心线由一系列中心点组成。图4示出了提取的血管中心线和直径。
S103、根据深度图预测结果所带的深度信息和OCTA二维血管分割图像的提取信息，获取三维血管中心线点云；
需要说明的是，该步骤S103中血管三维中心线点云的提取过程可以看作是从二维到三维的映射问题。
S104、根据三维血管中心线点云和圆的空间参数方程，对血管的三维表面网格进行重建。
图5示出的是现有技术中基于OCTA体数据的血管重建结果，可以看出存在血管伪影，而图6示出的是采用本发明实施例提供的上述眼底血管三维重建方法得到的血管重建结果，可以看出伪影消除。
在本发明实施例提供的上述眼底血管三维重建方法中，先通过跨域深度自适应网络预测深度图，有效地解决了二维正面投影图像中血管空间信息缺失的问题，实现深度预测精确性和效率的提升，然后结合二维血管分割结果实现视网膜血管在空间中的重建，这样通过从二维到三维的映射，整体计算量小，有效地解决了OCTA图像中常见的伪影问题，最终重建的表面网格可用于后续三维特征提取和分析，有效克服了由于三维数据缺失和技术手段限制导致无法使用三维体数据重建血管的问题，为视网膜的三维重建提供了强大的潜在工具，且为视网膜血管在空间中的可视化以及血管性疾病的量化分析和临床筛查诊断提供了一种有效的途径。
鉴于U-net深度学习网络在生物医学图像处理任务中的出色表现，在具体实施时，在本发明实施例提供的上述眼底血管三维重建方法中，将U-net深度学习网络用作跨域深度自适应网络的骨干网络。由于U-net中编码器和解码器之间的直接跳跃连接将发送冗余信息，在本发明的深度预测任务中，在非常复杂的血管拓扑结构约束下，具有血管的图像区域的深度精度对于随后的重建尤为重要。为此，本发明在U-net基础上进行改进，如图7所示，在跳跃连接之间加入结构分支机构。
进一步地，在具体实施时，在本发明实施例提供的上述眼底血管三维重建方法中，为了优化域适应能力，即减小不同型号设备拍摄的OCTA图像之间存在的差异，如图7所示，跨域深度自适应网络中的U型网络的输出端与深度对抗自适应(Depth AdversarialAdaptation,DAA)模型连接；深度对抗自适应模型通过基于图像像素块的判别模块(PatchDiscriminator)和血管深度连续性自校正模块(Continuity Self-correction,CSC)来减小域差异，对跨域图像进行深度预测。
本发明将OCTA的深度图加入视网膜血管的重建工作，并且在深度预测网络中加入了跨域自适应模块，不仅实现了不同设备的OCTA图像的深度预测，还减小了不同设备的OCTA图像之间的差异(噪声分布等)。
另外，在具体实施时，在本发明实施例提供的上述眼底血管三维重建方法中，如图7所示，跨域深度自适应网络通过子编码块(Sub Coding Block，SCB)和损失函数进行约束，仅处理与血管相关的信息，以实现深度预测精确性和效率的提升。其中，损失函数可以包括交叉熵损失、网络所预测的深度图和机器所带金标准之间的损失、对抗损失、连续性自我校正损失。
网络中所使用的损失函数由Lseg,Lacc,Ladv,Lcsc四个部分组成，本发明首先在预测的分割图predseg上使用交叉熵(CE)损失Lseg：
Figure BDA0003154365450000071
其中，
Figure BDA0003154365450000072
和
Figure BDA0003154365450000073
分别表示源域和目标域图像的分割金标准，网络中源域和目标域代表不同设备(即CIRRUS HD-OCT 5000和RTVue XR Avanti)拍摄出的OCTA en face图像。为了在像素级和整体结构级上提高所预测深度图的准确性，本发明将均方误差(MeanSquare Error，MSE)和结构相似性(Structural Similarity，SSIM)损失合并为网络所预测的深度图Ms和机器所带金标准Ys之间的损失Lacc：
Lacc＝LMSE(Ms，Ys)+LSSIM(Ms，Ys) (2)
对于对抗训练，本发明将对抗损失Ladv定义为：
Ladv＝minGmaxD E[LogD(Ms)]+E[Log(1-D(G(Xt)))] (3)
其中，G是生成器，D是鉴别器，Ladv旨在通过最大化目标域预测结果被视为源域的概率欺骗D来训练网络。
此外，定义了连续性自我校正损失Lcsc以确保相邻血管深度的连续性：
Lcsc＝Var[∑iPatch(i)] (4)
其中，Var[·]表示输入·的方差，Patch(i)表示第i个滑动像素块(本发明中块大小可以设置为8×8，滑动步长为4)。因此，损失函数Ltotal为：
Ltotal＝λ1Lacc+λ2Lseg+λ3Ladv+λ4Lcsc (5)
其中，根据实验将λ1，λ2，λ3和λ4分别设置为100、7、1和1。
在具体实施时，在本发明实施例提供的上述眼底血管三维重建方法中，步骤S103根据深度图预测结果所带的深度信息和OCTA二维血管分割图像的提取信息，获取三维血管中心线点云，具体可以包括以下步骤：
首先，通过定位相交点(具有两个以上相邻像素的像素点)来检测血管的分叉点和交叉点，将所有相交点及其邻近点从已提取出中心线的OCTA二维血管分割图像(中心线图)中删除，获得具有清晰分离的血管段图像；
然后，根据血管段图像所带的中心线位置，以及深度图预测结果所带的深度信息与血管的半径长度之和，获得分段血管中心线点云；可以理解的是，本发明在执行步骤S101之后已经预测出来OCTA对应的深度图，每个中心线点的深度取决于其深度图的相应位置，并向下移动血管半径长度的距离(深度图上每个点的像素表示血管上表面的位置)，因此，能够获得包含了分段血管中心线点的3D点云；
最后，使用双线性插值根据拓扑一致性来连接相邻的血管段，得到连续完整的血管网络，以获取三维血管中心线点云。
在具体实施时，在本发明实施例提供的上述眼底血管三维重建方法中，步骤S104根据三维血管中心线点云和圆的空间参数方程，对血管的三维表面网格进行重建，具体可以包括以下步骤：
首先，如图8所示，以中心线上的点(c1，c2，c3)为空间中的圆心，中心线上相邻两个点之间的连线作为法向量
Figure BDA0003154365450000081
圆的半径为r，构建圆的空间参数方程；
x(θ)＝c1+r cos(θ)a1+r sin(θ)b1 (6)
y(θ)＝c2+r cos(θ)a2+r sin(θ)b2 (7)
z(θ)＝c3+r cos(θ)a3+r sin(θ)b3 (8)
其中，(a1，a2，a3)与(b1，b2，b3)分别对应单位向量
Figure BDA0003154365450000091
与
Figure BDA0003154365450000092
它们既垂直于
Figure BDA0003154365450000093
又互相垂直；随着θ从0变化到2π(在本发明中划分一百等分)；
然后，如图9所示，通过圆的空间参数方程得到圆上每一个点的坐标，将三维血管中心线点云转化成三维表面密集点云；
最后，如图9所示，根据三维表面密集点云，重建血管的三维表面网格。
在具体实施时，在本发明实施例提供的上述眼底血管三维重建方法中，上述步骤根据三维表面密集点云，重建血管的三维表面网格，具体可以包括：首先，采用受约束的泊松圆盘采样算法(Poisson-disk sampling)对三维表面密集点云进行均匀化处理；然后，根据均匀的三维表面密集点云，使用球透视(Ball-pivoting)算法重建血管的三维表面网格。
需要注意的是，本发明实施例提供的上述眼底血管三维重建方法是一个潜在的强大工具，当OCTA的三维数据无法获取或不可用时，以此来实现从二维图像重建视网膜三维血管。
本发明在两个数据库(如源域图像数据库和目标域图像数据库)中进行了预实验，如图10a至图10i可以看出本发明实施例提供的上述眼底血管三维重建方法能够准确地预测OCTA en face图像的深度图并且能够有效的重建视网膜血管三维结构。
基于同一发明构思，本发明实施例还提供了一种眼底血管三维重建装置，由于该装置解决问题的原理与前述一种眼底血管三维重建方法相似，因此该装置的实施可以参见眼底血管三维重建方法的实施，重复之处不再赘述。
在具体实施时，本发明实施例提供的眼底血管三维重建装置，如图11所示，具体包括：
深度预测模块11，用于通过跨域深度自适应网络对不同设备的OCTA二维血管正面投影图像进行深度预测，得到深度图预测结果；
中心线提取模块12，用于在OCTA二维血管分割图像上提取血管的中心线位置和半径长度；
中心线点云获取模块13，用于根据深度图预测结果所带的深度信息和OCTA二维血管分割图像的提取信息，获取三维血管中心线点云；
三维网格重建模块14，用于根据三维血管中心线点云和圆的空间参数方程，对血管的三维表面网格进行重建。
在本发明实施例提供的上述眼底血管三维重建装置中，可以通过上述四个模块的相互作用，有效地解决二维正面投影图像中血管空间信息缺失的问题、OCTA图像中常见的伪影问题、以及由于三维数据缺失和技术手段限制导致无法使用三维体数据重建血管的问题，为视网膜的三维重建提供了强大的潜在工具，且为视网膜血管在空间中的可视化以及血管性疾病的量化分析和临床筛查诊断提供了一种有效的途径。
关于上述各个模块更加具体的工作过程可以参考前述实施例公开的相应内容，在此不再进行赘述。
相应地，本发明实施例还公开了一种眼底血管三维重建设备，包括处理器和存储器；其中，处理器执行存储器中存储的计算机程序时实现前述实施例公开的眼底血管三维重建方法。
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
进一步地，本发明还公开了一种计算机可读存储介质，用于存储计算机程序；计算机程序被处理器执行时实现前述公开的眼底血管三维重建方法。
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置、设备、存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
综上，本发明实施例提供的一种眼底血管三维重建方法，包括：通过跨域深度自适应网络对不同设备的OCTA二维血管正面投影图像进行深度预测，得到深度图预测结果；在OCTA二维血管分割图像上提取血管的中心线位置和半径长度；根据深度图预测结果所带的深度信息和OCTA二维血管分割图像的提取信息，获取三维血管中心线点云；根据三维血管中心线点云和圆的空间参数方程，对血管的三维表面网格进行重建。本发明先通过跨域深度自适应网络预测深度图，有效地解决了二维正面投影图像中血管空间信息缺失的问题，实现深度预测精确性和效率的提升，然后结合二维血管分割结果实现视网膜血管在空间中的重建，这样通过从二维到三维的映射，整体计算量小，有效地解决了OCTA图像中常见的伪影问题，最终重建的表面网格可用于后续三维特征提取和分析，有效克服了由于三维数据缺失和技术手段限制导致无法使用三维体数据重建血管的问题，为视网膜的三维重建提供了强大的潜在工具，且为视网膜血管在空间中的可视化以及血管性疾病的量化分析和临床筛查诊断提供了一种有效的途径。此外，本发明还针对眼底血管三维重建方法提供了相应的装置、设备及计算机可读存储介质，进一步使得上述方法更具有实用性，该装置、设备及计算机可读存储介质具有相应的优点。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的眼底血管三维重建方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种眼底血管三维重建方法，其特征在于，包括：
通过跨域深度自适应网络对不同设备的OCTA二维血管正面投影图像进行深度预测，得到深度图预测结果；
在OCTA二维血管分割图像上提取血管的中心线位置和半径长度；
根据所述深度图预测结果所带的深度信息和所述OCTA二维血管分割图像的提取信息，获取三维血管中心线点云；
根据所述三维血管中心线点云和圆的空间参数方程，对血管的三维表面网格进行重建。
2.根据权利要求1所述的眼底血管三维重建方法，其特征在于，所述跨域深度自适应网络的骨干网络为U-net深度学习网络，在所述U-net深度学习网络中编码器和解码器之间的跳跃连接加入结构分支机构。
3.根据权利要求2所述的眼底血管三维重建方法，其特征在于，所述跨域深度自适应网络中的U型网络的输出端与深度对抗自适应模型连接；所述深度对抗自适应模型通过基于图像像素块的判别模块和血管深度连续性自校正模块，对跨域图像进行深度预测。
4.根据权利要求3所述的眼底血管三维重建方法，其特征在于，所述跨域深度自适应网络通过子编码块和损失函数进行约束；所述损失函数包括交叉熵损失、网络所预测的深度图和机器所带金标准之间的损失、对抗损失、连续性自我校正损失。
5.根据权利要求4所述的眼底血管三维重建方法，其特征在于，所述根据所述深度图预测结果所带的深度信息和所述OCTA二维血管分割图像的提取信息，获取三维血管中心线点云，包括：
通过定位相交点来检测血管的分叉点和交叉点，将所有相交点及其邻近点从所述OCTA二维血管分割图像中删除，获得具有清晰分离的血管段图像；
根据所述血管段图像所带的中心线位置，以及所述深度图预测结果所带的深度信息与所述血管的半径长度之和，获得分段血管中心线点云；
使用双线性插值根据拓扑一致性来连接相邻的血管段，得到连续完整的血管网络，以获取三维血管中心线点云。
6.根据权利要求5所述的眼底血管三维重建方法，其特征在于，所述根据所述三维血管中心线点云和圆的空间参数方程，对血管的三维表面网格进行重建，包括：
以中心线上的点为空间中的圆心，中心线上相邻两个点之间的连线作为法向量，构建圆的空间参数方程；
通过所述圆的空间参数方程得到圆上每一个点的坐标，将所述三维血管中心线点云转化成三维表面密集点云；
根据所述三维表面密集点云，重建血管的三维表面网格。
7.根据权利要求6所述的眼底血管三维重建方法，其特征在于，所述根据所述三维表面密集点云，重建血管的三维表面网格，包括：
采用泊松圆盘采样算法对所述三维表面密集点云进行均匀化处理；
根据均匀的所述三维表面密集点云，使用球透视算法重建血管的三维表面网格。
8.一种眼底血管三维重建装置，其特征在于，包括：
深度预测模块，用于通过跨域深度自适应网络对不同设备的OCTA二维血管正面投影图像进行深度预测，得到深度图预测结果；
中心线提取模块，用于在OCTA二维血管分割图像上提取血管的中心线位置和半径长度；
中心线点云获取模块，用于根据所述深度图预测结果所带的深度信息和所述OCTA二维血管分割图像的提取信息，获取三维血管中心线点云；
三维网格重建模块，用于根据所述三维血管中心线点云和圆的空间参数方程，对血管的三维表面网格进行重建。
9.一种眼底血管三维重建设备，其特征在于，包括处理器和存储器，其中，所述处理器执行所述存储器中存储的计算机程序时实现如权利要求1至7任一项所述的眼底血管三维重建方法。
10.一种计算机可读存储介质，其特征在于，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的眼底血管三维重建方法。
CN202110774785.8A 2021-07-08 2021-07-08 一种眼底血管三维重建方法、装置、设备及存储介质 Pending CN113436322A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110774785.8A CN113436322A (zh) 2021-07-08 2021-07-08 一种眼底血管三维重建方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110774785.8A CN113436322A (zh) 2021-07-08 2021-07-08 一种眼底血管三维重建方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113436322A true CN113436322A (zh) 2021-09-24

Family

ID=77759795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110774785.8A Pending CN113436322A (zh) 2021-07-08 2021-07-08 一种眼底血管三维重建方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113436322A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677374A (zh) * 2022-05-27 2022-06-28 杭州键嘉机器人有限公司 一种下颌神经管中心线提取与半径计算的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111243087A (zh) * 2020-01-20 2020-06-05 上海市第一人民医院 眼底血管的三维重建方法、装置及电子设备
CN111369662A (zh) * 2018-12-25 2020-07-03 罗园明 Ct图像中血管的三维模型重建方法及系统
CN111797901A (zh) * 2020-06-09 2020-10-20 中国科学院宁波工业技术研究院慈溪生物医学工程研究所 一种基于拓扑结构估计的视网膜动静脉分类方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111369662A (zh) * 2018-12-25 2020-07-03 罗园明 Ct图像中血管的三维模型重建方法及系统
CN111243087A (zh) * 2020-01-20 2020-06-05 上海市第一人民医院 眼底血管的三维重建方法、装置及电子设备
CN111797901A (zh) * 2020-06-09 2020-10-20 中国科学院宁波工业技术研究院慈溪生物医学工程研究所 一种基于拓扑结构估计的视网膜动静脉分类方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIN Q 等: "Domain adaptation based self-correction model for COVID-19 infection segmentation in CT images", EXPERT SYSTEMS WITH APPLICATIONS, vol. 176, 13 March 2021 (2021-03-13), pages 1 - 12, XP086564646, DOI: 10.1016/j.eswa.2021.114848 *
YU S 等: "3D vessel reconstruction in OCT-angiography via depth map estimation", 2021 IEEE 18TH INTERNATIONAL SYMPOSIUM ON BIOMEDICAL IMAGING (ISBI). IEEE, 25 May 2021 (2021-05-25), pages 1609 - 1613 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677374A (zh) * 2022-05-27 2022-06-28 杭州键嘉机器人有限公司 一种下颌神经管中心线提取与半径计算的方法

Similar Documents

Publication Publication Date Title
CN110390650B (zh) 基于密集连接和生成对抗网络的oct图像去噪方法
CN111368849B (zh) 图像处理方法、装置、电子设备及存储介质
CN111815766B (zh) 基于2d-dsa图像重建血管三维模型处理方法及系统
CN110858399B (zh) 用于提供虚拟断层扫描中风后续检查图像的方法和装置
CN110517198A (zh) 用于ldct图像去噪的高频敏感gan网络
KR20220032067A (ko) 데이터 처리 방법, 장치, 기기 및 저장매체
CN114549308A (zh) 面向感知的具有大感受野的图像超分辨率重建方法及系统
Yancheng et al. RED-MAM: A residual encoder-decoder network based on multi-attention fusion for ultrasound image denoising
CN113436322A (zh) 一种眼底血管三维重建方法、装置、设备及存储介质
Chen et al. Double paths network with residual information distillation for improving lung CT image super resolution
CN114005514B (zh) 医学影像诊断方法、系统及装置
Zhao et al. Medical images super resolution reconstruction based on residual network
CN105976321B (zh) 一种光学相干断层图像超分辨率重建方法和装置
CN111815692B (zh) 无伪影数据及有伪影数据的生成方法、系统及存储介质
CN113706684A (zh) 三维血管图像重建方法、系统、医疗设备以及存储介质
CN107389720B (zh) 磁共振波谱交互方法及系统
CN112862827B (zh) 一种左心耳的开口参数确定方法、装置、终端及存储介质
Stankiewicz et al. Matching 3d oct retina images into super-resolution dataset
CN114569116A (zh) 基于三通道图像及迁移学习的心冲击图室颤辅助诊断系统
Bergamasco et al. A bipartite graph approach to retrieve similar 3D models with different resolution and types of cardiomyopathies
CN114792371B (zh) 电线实时分割和识别算法的确定方法、装置、设备及介质
CN111755104A (zh) 一种心脏状态监测方法、系统、电子设备及存储介质
CN117745725B (zh) 图像处理方法、图像处理模型训练方法、三维医学图像处理方法、计算设备及存储介质
Zhao et al. Perception-oriented generative adversarial network for retinal fundus image super-resolution
Kazem Super-resolution using 3d convolutional neural networks in CT scan image of COVID19

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination