CN117710373A - 一种抗干扰的octa视网膜血管提取方法和装置 - Google Patents
一种抗干扰的octa视网膜血管提取方法和装置 Download PDFInfo
- Publication number
- CN117710373A CN117710373A CN202410162204.9A CN202410162204A CN117710373A CN 117710373 A CN117710373 A CN 117710373A CN 202410162204 A CN202410162204 A CN 202410162204A CN 117710373 A CN117710373 A CN 117710373A
- Authority
- CN
- China
- Prior art keywords
- style
- image
- paired
- information
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 62
- FCKYPQBAHLOOJQ-UHFFFAOYSA-N Cyclohexane-1,2-diaminetetraacetic acid Chemical compound OC(=O)CN(CC(O)=O)C1CCCCC1N(CC(O)=O)CC(O)=O FCKYPQBAHLOOJQ-UHFFFAOYSA-N 0.000 title claims abstract description 54
- 210000001210 retinal vessel Anatomy 0.000 title claims abstract description 36
- 230000004927 fusion Effects 0.000 claims abstract description 66
- 210000001525 retina Anatomy 0.000 claims abstract description 43
- 238000010586 diagram Methods 0.000 claims abstract description 10
- 230000002207 retinal effect Effects 0.000 claims description 32
- 230000002792 vascular Effects 0.000 claims description 31
- 229940088594 vitamin Drugs 0.000 claims description 26
- 239000011782 vitamin Substances 0.000 claims description 26
- 238000000034 method Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 11
- 210000004204 blood vessel Anatomy 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000001105 regulatory effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 2
- 230000011218 segmentation Effects 0.000 description 6
- 238000012512 characterization method Methods 0.000 description 5
- 238000010606 normalization Methods 0.000 description 4
- 238000012014 optical coherence tomography Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 206010061818 Disease progression Diseases 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 230000005750 disease progression Effects 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 230000004256 retinal image Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 208000022873 Ocular disease Diseases 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 206010012601 diabetes mellitus Diseases 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 208000030533 eye disease Diseases 0.000 description 1
- 208000002780 macular degeneration Diseases 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000004770 neurodegeneration Effects 0.000 description 1
- 208000015122 neurodegenerative disease Diseases 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Eye Examination Apparatus (AREA)
Abstract
本发明公开了一种抗干扰的OCTA视网膜血管提取方法和装置，属于图像处理技术领域，包括：配对图像1输入生物信息编码器得到生物特征，将生物特征输入生物信息解码器得到条件约束；配对图像2和条件约束融合并输入风格信息编码器得到融合风格特征，条件约束输入风格信息编码器得到条件风格特征，融合条件风格特征和融合风格特征得到融合特征并输入风格信息解码器，得到风格重建图；利用风格重建图和配对图像2之间的损失函数最小化，以及互信息最小化模块使生物特征和融合特征差异最小化，得到训练好的生物信息编码器；将生物信息编码器和视网膜结构提取解码器级联，提取视网膜血管。本发明实现了OCTA图像中生物信息和风格信息的解耦合。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种抗干扰的OCTA视网膜血管提取方法和装置。
背景技术
光学相干断层血管成像（Optical Coherence Tomography Angiography，OCTA）是一种快速、非侵入性的技术，建立在光学相干断层成像（OCT）平台上，用于生成包含视网膜血管和微血管系统功能信息的图像。量化从OCTA图像中获取的视网膜指标在眼病和神经退行性疾病的研究和临床决策中具有至关重要的作用。
举例来说，与健康对照组相比，糖尿病患者的眼睛可能表现出明显的视网膜血管密度减少。在某些情况下，黄斑变性患者的中央凹无血管区（Foveal Avascular Zone，FAZ）的尺寸和形状也可能与健康对照组存在差异。这些变化在OCTA图像中清晰可见，为医生提供了重要信息，用于诊断和监测疾病的进展。
基于上述原因，自动、准确地从OCTA图像中提取视网膜结构指标对于早期诊断视网膜循环相关疾病和评估疾病进展至关重要。然而，由于不同设备具有不同的固有模式和伪影表示，因此对自动提取视网膜血管结构带来了干扰，这些伪影表示和不同的固有模式下的噪声直接影响了OCTA图像的成像质量，这意味着，如果需要准确提取生物特征，就需要训练一个能够理解OCTA图像的生物信息和风格信息的解耦网络。
针对上述问题，公开号为CN115082677A的专利文献公开了一种基于OCTA图像的血管分割方法，包括：S1：通过预训练的自编码器网络对标签图像进行编码，得到标签隐向量特征；S2：采用SwinTransformer模块对输入图像进行隐向量特征的提取，并通过最小二乘生成对抗网络，将原始图像的隐空间和分割标签的隐空间进行特征对齐；S3：将对齐后的隐向量特征由解码器网络进行上采样并得到分割结果。
但是该发明采用的SwinTransformer模型是一个相对较大的模型，可能会带来计算效率不高的问题，并且该发明整体方案缺乏泛化能力，也并未考虑到对OCTA图像中的生物信息和风格信息的解耦合方案。
公开号为CN104102899A的专利文献公开了一种视网膜血管识别方法及装置，包括：从RGB格式的视网膜眼底图像中提取绿色通路中的视网膜灰度图；设置多个对比尺度，在每个对比尺度下均从多个方向对所述视网膜灰度图上的像素点进行对比度量化，得到视网膜二值化对比度图，其中视网膜二值化对比度图中的像素分为视网膜血管上的像素及非视网膜血管上的像素；对获取的多个所述视网膜二值化对比度图进行差分融合，并去除融合后获得的图像中的噪音及伪影，得到视网膜融合图；从视网膜融合图中确定中央反光区域，并对中央反光区域进行填充，得到视网膜血管分布图。同样的，该发明也没有涉及到OCTA图像中生物信息和风格信息的解耦合任务。
发明内容
本发明的目的是提供一种抗干扰的OCTA视网膜血管提取方法和装置，基于端到端的多任务学习算法，实现OCTA成像设备固有伪影与视网膜血管之间的解耦合，以对抗噪声干扰，并自动提取与视网膜血管相关的特征指标，为视网膜结构指标的定量分析和眼底疾病诊断提供了一种有效的方法。
为实现上述发明目的，本发明提供的技术方案如下：
第一方面，本发明实施例提供的一种抗干扰的OCTA视网膜血管提取方法，包括以下步骤：
从两个不同成像模式的OCTA设备中获取配对的第一配对图像和第二配对图像，将第一配对图像输入生物信息编码器得到高维生物特征，将高维生物特征输入生物信息解码器得到条件约束；
将第二配对图像和条件约束进行融合并输入风格信息编码器中，得到融合风格特征；将条件约束输入风格信息编码器得到条件风格特征，将融合风格特征和条件风格特征进行特征融合，得到融合特征并输入风格信息解码器，得到风格重建图；
对风格重建图和第二配对图像之间进行损失计算，并将损失回传进行条件约束的优化，利用互信息最小化模块，使高维生物特征和融合特征之间的差异最小化，直到将第一配对图像和第二配对图像中的风格信息进行解耦并去除，得到训练好的生物信息编码器；
将第一配对图像输入训练好的生物信息编码器，得到去风格信息后的生物信息特征，将所述生物信息特征输入视网膜结构提取解码器，得到视网膜血管结构。
本发明的技术构思为：本发明利用视网膜影像配对数据，对视网膜影像中的风格信息和生物信息进行解耦。将第一配对图像分别经过生物信息编码器和生物信息解码器，得到条件约束；通过第二配对图像和条件约束的特征融合，再经过风格信息编码器，得到融合风格特征，利用两者的互补信息，使风格信息编码器具备初步的解耦能力。
接着，将条件约束通过风格信息编码器得到条件风格特征，再通过条件风格特征和融合风格特征之间的特征融合，得到融合特征，输入风格信息解码器中，使得风格信息解码器能从输入数据中将风格信息解耦出来，得到风格重建图。
计算风格重建图和第二配对图像之间的重建损失函数，并通过互信息最小化模块，使融合特征和高维生物特征之间的差异最小化，损失回传不算优化条件约束，直到将第一配对图像和第二配对图像中的风格信息完全解耦，于是得到训练好的生物信息编码器，并通过共享结构共享权重的视网膜结构提取解码器得到视网膜血管结构。
进一步的，所述的第一配对图像和第二配对图像，是指通过具有不同成像模式的OCTA设备，对同一个视网膜对象进行影像采集，得到的包含不同的风格信息、相同生物信息的两张图像。
进一步的，当仅有非配对数据时，对非配对数据进行随机高斯扰动，得到转换分布后的扰动图像，所述扰动图像作为非配对数据的配对图像，将非配对数据和配对图像分别作为第一配对图像和第二配对图像。
进一步的，生物信息编码器和风格信息编码器共享结构但不共享网络权重，且均采用最大池化进行编码；生物信息解码器和风格信息解码器共享结构但不共享网络权重，且均采用双线性插值完成图像分辨率重建工作。
进一步的，所述的对风格重建图和第二配对图像之间进行损失计算，采用重建损失函数，用公式表示为：
，
其中，Lc表示重建损失，Lc∈[0,+∞)，当且仅当P(i)和Q(i)完全相等时为零，和分别表示第二配对图像和风格重建图中的第i个元素，n表示元素数量，P(i)表示第二配对图像在元素i上的概率分布，Q(i)表示风格重建图在元素i上的概率分布。
进一步的，所述的利用互信息最小化模块，使高维生物特征和融合特征之间的差异最小化，用公式表示为：
，，
其中，表示高维生物特征X和融合特征Y之间的互信息程度，P(X,Y)表示高维生物特征X和融合特征Y的概率分布，/>表示互信息损失计算，/>表示调节网络的超参数。
进一步的，所述的视网膜结构提取解码器，与生物信息编码器共享结构并共享网络权重，基于U-Net网络有监督的跳跃连接，对训练好的生物信息编码器中各层的采样特征进行拼接，得到视网膜血管结构。
第二方面，为实现上述发明目的，本发明实施例还提供了一种抗干扰的OCTA视网膜血管提取装置，包括条件约束获取单元、风格重建单元、系统训练单元、视网膜血管提取单元；
所述条件约束获取单元用于从两个不同成像模式的OCTA设备中获取配对的第一配对图像和第二配对图像，将第一配对图像输入生物信息编码器得到高维生物特征，将高维生物特征输入生物信息解码器得到条件约束；
所述风格重建单元用于将第二配对图像和条件约束进行融合并输入风格信息编码器中，得到融合风格特征；将条件约束输入风格信息编码器得到条件风格特征，将融合风格特征和条件风格特征进行特征融合，得到融合特征并输入风格信息解码器，得到风格重建图；
所述系统训练单元用于对风格重建图和第二配对图像之间进行损失计算，并将损失回传进行条件约束的优化，利用互信息最小化模块，使高维生物特征和融合特征之间的差异最小化，直到将第一配对图像和第二配对图像中的风格信息进行解耦并去除，得到训练好的生物信息编码器；
所述视网膜血管提取单元用于将第一配对图像输入训练好的生物信息编码器，得到去风格信息后的生物信息特征，将所述生物信息特征输入视网膜结构提取解码器，得到视网膜血管结构。
第三方面，为实现上述发明目的，本发明实施例还提供了一种抗干扰的OCTA视网膜血管提取设备，包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于当执行所述计算机程序时，实现第一方面本发明实施例提供的抗干扰的OCTA视网膜血管提取方法。
本发明的有益效果如下：
(1)本发明首次提出了一种端到端的解耦学习框架，用于联合学习配对OCTA图像中的生物信息和风格信息，并将生物信息进行保留，为下游视网膜血管结构指标的量化分析提供了一种有效方式；
(2)本发明首次提出了一种渐进式解耦学习策略，先通过信息互补的融合风格特征和条件风格特征的特征融合，使网络具有初步的解耦能力，再利用互信息最小化模块进一步降低高维生物特征和融合特征之间的耦合性，使网络具备强制性解耦能力，最后通过下游视网膜血管结构提取任务进行有监督训练，对网络解耦能力进行强化，本发明提出的渐进式解耦学习方式为解决解耦稳定问题提供一种有效策略；
(3)本发明以视网膜影像的配对图像作为编码器的输入，在两个OCTA数据集上进行评估，充分利用了不同成像模式的图像语义信息，使得本发明提出的解耦方法具有良好的解耦性能，并提升本方法在医学图像中的适用性，同时能够有效辅助下游视网膜血管结构提取工作。
附图说明
图1是本发明实施例提供的抗干扰的OCTA视网膜血管提取方法的流程图。
图2是本发明实施例提供的抗干扰的OCTA视网膜血管提取方法的算法流程示意图。
图3是本发明实施例提供的基于解耦表征学习的视网膜结构提取网络的结构示意图。
图4是本发明实施例提供的OCTA图像表征解耦与视网膜结构提取结果示意图。
图5是本发明实施例提供的抗干扰的OCTA视网膜血管提取装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅用以解释本发明，并不限定本发明的保护范围。
如图1、2所示，实施例提供了一种抗干扰的OCTA视网膜血管提取方法，包括以下步骤：
S110，从两个不同成像模式的OCTA设备中获取配对的第一配对图像和第二配对图像，将第一配对图像输入生物信息编码器得到高维生物特征，将高维生物特征输入生物信息解码器得到条件约束。
基于两个不同成像模式的OCTA设备，对同一个对象的视网膜进行影像采集，得到配对的第一配对图像和第二配对图像，配对的OCTA图像具有相似的视网膜血管结构和不同的图像风格信息。当仅有非配对数据时，对非配对数据进行随机高斯扰动，得到转换分布后的扰动图像，所述扰动图像作为非配对数据的配对图像，将非配对数据和配对图像分别作为第一配对图像和第二配对图像，以满足本发明提出的血管提取网络中两个编码器的输入条件。
本实施例中，构建解耦表征学习的视网膜结构提取网络，包含生物信息编码器、生物信息解码器、风格信息编码器、风格信息解码器和视网膜结构提取解码器。
其中，生物信息编码器和风格信息编码器共享结构但不共享网络权重，且均采用最大池化（MaxPooling）完成图像的压缩编码工作。生物信息编码器完成对视网膜血管结构信息编码，该编码器由多个3×3卷积层和批处理归一化（BN）和ReLU激活函数组成。
风格信息编码器完成对图像风格信息编码，该编码器由多个3×3卷积层和实例归一化（IN）和随即修正线性单元（LeakyReLU）激活函数组成，如图3所示，四层风格信息编码器中的每层均以卷积网络模块为基本单元，卷积网络模块包含二维卷积、实例归一化以及随机修正线性单元。考虑每个样本独特的细节，使风格信息编码器对图像风格具有更完整的编码能力。
将第一配对图像输入生物信息编码器，得到高维生物特征，再将高维生物特征通过生物信息解码器，得到条件约束。如图3所示。
S120，将第二配对图像和条件约束进行融合并输入风格信息编码器中，得到融合风格特征；将条件约束输入风格信息编码器得到条件风格特征，将融合风格特征和条件风格特征进行特征融合，得到融合特征并输入风格信息解码器，得到风格重建图。
如图3所示，将第二配对图像和条件约束进行特征融合，输入风格信息编码器中，由于第二配对图像和条件约束中的生物信息存在互补，从而使风格信息编码器更好地学习输入数据中的风格信息，得到融合风格特征。
进一步的，考虑到配对OCTA图像具有相似的视网膜血管结构和不同的图像风格信息，因此将条件约束通过风格信息编码器，得到条件风格特征，将条件风格特征和融合风格特征进行特征融合，得到融合特征，输入到风格信息解码器中进行特征提取，同样基于输入数据之间的互补生物信息，解耦表征学习的视网膜结构提取网络具备了初步的解耦能力，风格信息解码器在对融合特征进行解码时可以更好的学习到图像之间的风格差异，输出风格重建图。
本实施例中，对于内容解码器和风格编码器的设计，采用相似的解码结构，由多个3×3卷积层和批处理归一化（BN）和线性修正单元（ReLU）激活函数组成，最后一个卷积层使用sigmoid算子将特征映射为概率的形式，有1个通道可以作为选择特征的权重。两解码器共享结构但不共享网络权重。
S130，对风格重建图和第二配对图像之间进行损失计算，并将损失回传进行条件约束的优化，利用互信息最小化模块，使高维生物特征和融合特征之间的差异最小化，直到将第一配对图像和第二配对图像中的风格信息进行解耦并去除，得到训练好的生物信息编码器。
计算S120得到的风格重建图和第二配对图像之间的重建损失函数，具体的，本实施例通过计算两者的KL散度，作为重建损失，对风格信息分布和内容信息分布进行贝叶斯方式的表征解耦。重建损失函数用公式表示为：
，
其中，Lc表示重建损失，Lc∈[0,+∞)，和/>分别表示第二配对图像和风格重建图中的第i个元素，n表示元素数量，P(i)表示第二配对图像在元素i上的概率分布，Q(i)表示风格重建图在元素i上的概率分布。具体来说，KL散度衡量的是在真实分布P的观察下，使用近似分布Q来表示真实分布所需的额外平均比特数，本实施例中，以第二配对图像的空间分布作为真实分布，以风格重建图的空间分布作为近似分布，且KL散度是非负的，当且仅当P和Q完全相等时为零。
除此之外，本实施例中进一步在高维生物特征和融合特征之间设置了互信息最小化模块，使高维生物特征和融合特征之间的差异最小化，以进一步减少生物表征和风格表征的耦合性。用公式表示为：
，，
其中，表示高维生物特征X和融合特征Y之间的互信息程度，P(X,Y)表示高维生物特征X和融合特征Y的概率分布，/>表示互信息损失计算，/>表示调节网络的超参数。
将损失回传并不断优化条件约束，通过互信息最小化模块和重建损失函数的最小化，直到将第一配对图像和第二配对图像中的风格信息完全解耦。至此，生物信息编解码已经具备对配对图像的风格信息与生物信息的解耦能力，于是可以将图像中的风格信息去除，仅保留包含视网膜血管结构的生物信息特征。
S140，将第一配对图像输入训练好的生物信息编码器，得到去风格信息后的生物信息特征，将所述生物信息特征输入视网膜结构提取解码器，基于U-Net网络的跳跃连接，得到视网膜血管结构。
视网膜结构提取解码器采用U-Net网络架构，其中解码器设计与生物信息编码器共享网络结构，同时共享网络权重。如图3所示，训练好的生物信息编码器级联视网膜结构提取解码器，用于提取视网膜影像配对数据中的视网膜血管结构。
由于级联网络中的生物信息编码路径中已经具备对风格信息特征去除的能力，因此可以通过级联网络得到输入的视网膜图像中的视网膜血管结构。
进一步的，本发明为了提升网络的抗干扰能力，采取有监督的学习策略，通过计算第一配对图像和视网膜结构提取解码器输出的视网膜血管结构图之间的分割损失函数，通过使分割损失函数最小化，使网络在提取视网膜血管结构时，能够具备抗噪性能。
视网膜结构提取解码器通过将训练好的生物信息编码器在不同编码阶段的采样特征进行拼接，使得网络能够保留较多图像语义信息，完成对视网膜血管结构提取网络的训练，同时强化生物信息编码器的结构能力，最终得到视网膜血管结构，提取效果如图4所示。
从图4中能够明显看出，输入的原图中除了血管分布之外，包含大量的伪影，即风格信息，通过本发明提出的解耦表征学习的视网膜结构提取网络，对原图中的生物信息和风格信息进行解耦之后，去除了风格信息，仅保留清晰可见的视网膜血管结构，因此，通过级联网络，将仅保留生物信息的视网膜血管结构叠加上风格信息，得到去除伪影以及噪声的分割图，即视网膜结构提取解码器提取到的视网膜血管结构。于是，眼科医生能够根据本发明提取得到的视网膜血管结构对眼病患者进行进一步诊疗。
基于同样的发明构思，本发明实施例还提供了一种抗干扰的OCTA视网膜血管提取装置500，如图5所示，包括条件约束获取单元510、风格重建单元520、系统训练单元530、视网膜血管提取单元540；
其中，条件约束获取单元510用于从两个不同成像模式的OCTA设备中获取配对的第一配对图像和第二配对图像，将第一配对图像输入生物信息编码器得到高维生物特征，将高维生物特征输入生物信息解码器得到条件约束；
风格重建单元520用于将第二配对图像和条件约束进行融合并输入风格信息编码器中，得到融合风格特征；将条件约束输入风格信息编码器得到条件风格特征，将融合风格特征和条件风格特征进行特征融合，得到融合特征并输入风格信息解码器，得到风格重建图；
系统训练单元530用于对风格重建图和第二配对图像之间进行损失计算，并将损失回传进行条件约束的优化，利用互信息最小化模块，使高维生物特征和融合特征之间的差异最小化，直到将第一配对图像和第二配对图像中的风格信息进行解耦并去除，得到训练好的生物信息编码器；
视网膜血管提取单元540用于将第一配对图像输入训练好的生物信息编码器，得到去风格信息后的生物信息特征，将所述生物信息特征输入视网膜结构提取解码器，得到视网膜血管结构。
对于本发明实施例提供的抗干扰的OCTA视网膜血管提取装置而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
基于同样的发明构思，实施例还提供了一种抗干扰的OCTA视网膜血管提取设备，包括存储器和处理器，其中，存储器用于存储计算机程序，处理器用于当执行所述计算机程序时，实现上述抗干扰的OCTA视网膜血管提取方法。
本发明实施例提出的抗干扰的OCTA视网膜血管提取设备可以为诸如计算机等设备。设备实施例能够通过软件实现，也能够通过硬件或者软硬件结合的方式实现。
需要说明的是，上述实施例提供的抗干扰的OCTA视网膜血管提取装置和抗干扰的OCTA视网膜血管提取设备，均与抗干扰的OCTA视网膜血管提取方法实施例属于同一构思，其具体实现过程详见抗干扰的OCTA视网膜血管提取方法实施例，这里不再赘述。
以上所述，仅为本发明的优选实施案例，并非对本发明做任何形式上的限制。虽然前文对本发明的实施过程进行了详细说明，对于熟悉本领域的人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行同等替换。凡在本发明精神和原则之内所做修改、同等替换等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种抗干扰的OCTA视网膜血管提取方法，其特征在于，包括以下步骤：
从两个不同成像模式的OCTA设备中获取配对的第一配对图像和第二配对图像，将第一配对图像输入生物信息编码器得到高维生物特征，将高维生物特征输入生物信息解码器得到条件约束；
将第二配对图像和条件约束进行融合并输入风格信息编码器中，得到融合风格特征；将条件约束输入风格信息编码器得到条件风格特征，将融合风格特征和条件风格特征进行特征融合，得到融合特征并输入风格信息解码器，得到风格重建图；
对风格重建图和第二配对图像之间进行损失计算，并将损失回传进行条件约束的优化，利用互信息最小化模块，使高维生物特征和融合特征之间的差异最小化，直到将第一配对图像和第二配对图像中的风格信息进行解耦并去除，得到训练好的生物信息编码器；
将第一配对图像输入训练好的生物信息编码器，得到去风格信息后的生物信息特征，将所述生物信息特征输入视网膜结构提取解码器，得到视网膜血管结构。
2.根据权利要求1所述的抗干扰的OCTA视网膜血管提取方法，其特征在于，所述的第一配对图像和第二配对图像，是指通过具有不同成像模式的OCTA设备，对同一个视网膜对象进行影像采集，得到的包含不同的风格信息、相同生物信息的两张图像。
3.根据权利要求1或2所述的抗干扰的OCTA视网膜血管提取方法，其特征在于，当仅有非配对数据时，对非配对数据进行随机高斯扰动，得到转换分布后的扰动图像，所述扰动图像作为非配对数据的配对图像，将非配对数据和配对图像分别作为第一配对图像和第二配对图像。
4.根据权利要求1所述的抗干扰的OCTA视网膜血管提取方法，其特征在于，生物信息编码器和风格信息编码器共享结构但不共享网络权重，且均采用最大池化进行编码；生物信息解码器和风格信息解码器共享结构但不共享网络权重，且均采用双线性插值完成图像分辨率重建工作。
5.根据权利要求1所述的抗干扰的OCTA视网膜血管提取方法，其特征在于，所述的对风格重建图和第二配对图像之间进行损失计算，采用重建损失函数，用公式表示为：
,
其中，Lc表示重建损失，Lc∈[0,+∞)，当且仅当P(i)和Q(i)完全相等时为零，和/>分别表示第二配对图像和风格重建图中的第i个元素，n表示元素数量，P(i)表示第二配对图像在元素i上的概率分布，Q(i)表示风格重建图在元素i上的概率分布。
6.根据权利要求1所述的抗干扰的OCTA视网膜血管提取方法，其特征在于，所述的利用互信息最小化模块，使高维生物特征和融合特征之间的差异最小化，用公式表示为：
，/>，
其中，表示高维生物特征X和融合特征Y之间的互信息程度，P(X,Y)表示高维生物特征X和融合特征Y的概率分布，/>表示互信息损失计算，/>表示调节网络的超参数。
7.根据权利要求1所述的抗干扰的OCTA视网膜血管提取方法，其特征在于，所述的视网膜结构提取解码器，与生物信息编码器共享结构并共享网络权重，基于U-Net网络有监督的跳跃连接，对训练好的生物信息编码器中各层的采样特征进行拼接，得到视网膜血管结构。
8.一种抗干扰的OCTA视网膜血管提取装置，其特征在于，包括条件约束获取单元、风格重建单元、系统训练单元、视网膜血管提取单元；
所述条件约束获取单元用于从两个不同成像模式的OCTA设备中获取配对的第一配对图像和第二配对图像，将第一配对图像输入生物信息编码器得到高维生物特征，将高维生物特征输入生物信息解码器得到条件约束；
所述风格重建单元用于将第二配对图像和条件约束进行融合并输入风格信息编码器中，得到融合风格特征；将条件约束输入风格信息编码器得到条件风格特征，将融合风格特征和条件风格特征进行特征融合，得到融合特征并输入风格信息解码器，得到风格重建图；
所述系统训练单元用于对风格重建图和第二配对图像之间进行损失计算，并将损失回传进行条件约束的优化，利用互信息最小化模块，使高维生物特征和融合特征之间的差异最小化，直到将第一配对图像和第二配对图像中的风格信息进行解耦并去除，得到训练好的生物信息编码器；
所述视网膜血管提取单元用于将第一配对图像输入训练好的生物信息编码器，得到去风格信息后的生物信息特征，将所述生物信息特征输入视网膜结构提取解码器，得到视网膜血管结构。
9.一种抗干扰的OCTA视网膜血管提取设备，包括存储器和处理器，所述存储器用于存储计算机程序，其特征在于，所述处理器用于当执行所述计算机程序时，实现权利要求1-7任一项所述的抗干扰的OCTA视网膜血管提取方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410162204.9A CN117710373A (zh) | 2024-02-05 | 2024-02-05 | 一种抗干扰的octa视网膜血管提取方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410162204.9A CN117710373A (zh) | 2024-02-05 | 2024-02-05 | 一种抗干扰的octa视网膜血管提取方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117710373A true CN117710373A (zh) | 2024-03-15 |
Family
ID=90159292
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410162204.9A Pending CN117710373A (zh) | 2024-02-05 | 2024-02-05 | 一种抗干扰的octa视网膜血管提取方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117710373A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108596830A (zh) * | 2018-04-28 | 2018-09-28 | 国信优易数据有限公司 | 一种图像风格迁移模型训练方法以及图像风格迁移方法 |
| CN109726743A (zh) * | 2018-12-12 | 2019-05-07 | 苏州大学 | 一种基于三维卷积神经网络的视网膜oct图像分类方法 |
| CN110390647A (zh) * | 2019-06-14 | 2019-10-29 | 平安科技（深圳）有限公司 | 基于环形对抗生成网络的oct图像去噪方法及装置 |
| US20210295483A1 (en) * | 2019-02-26 | 2021-09-23 | Tencent Technology (Shenzhen) Company Limited | Image fusion method, model training method, and related apparatuses |
-
2024
- 2024-02-05 CN CN202410162204.9A patent/CN117710373A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108596830A (zh) * | 2018-04-28 | 2018-09-28 | 国信优易数据有限公司 | 一种图像风格迁移模型训练方法以及图像风格迁移方法 |
| CN109726743A (zh) * | 2018-12-12 | 2019-05-07 | 苏州大学 | 一种基于三维卷积神经网络的视网膜oct图像分类方法 |
| US20210295483A1 (en) * | 2019-02-26 | 2021-09-23 | Tencent Technology (Shenzhen) Company Limited | Image fusion method, model training method, and related apparatuses |
| CN110390647A (zh) * | 2019-06-14 | 2019-10-29 | 平安科技（深圳）有限公司 | 基于环形对抗生成网络的oct图像去噪方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 丁亮;沈梦叶;苏日娜;张永平;: "基于图像分解的视网膜图像分割新方法", 宁波工程学院学报, no. 02, 15 June 2011 (2011-06-15) * |
| 杨泽鹏;李娜;张保昌;吴宗翰;杨俊;周寿军;: "血管造影图像分割方法研究的现状与进展", 生物医学工程研究, no. 01, 25 March 2020 (2020-03-25) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3596697B1 (en) | Generalizable medical image analysis using segmentation and classification neural networks | |
| US11989877B2 (en) | Method and system for analysing images of a retina | |
| CN108717869B (zh) | 基于卷积神经网络的糖尿病视网膜并发症诊断辅助系统 | |
| CN114881968A (zh) | 基于深度卷积神经网络的octa图像血管分割方法、设备及介质 | |
| CN115760586A (zh) | 一种基于多尺度注意力生成对抗网络的医学图像增强方法 | |
| CN111524109A (zh) | 头部医学影像的评分方法和装置、电子设备及存储介质 | |
| CN111145901B (zh) | 深静脉血栓溶栓疗效预测方法及系统、存储介质与终端 | |
| CN113256638A (zh) | 基于卷积神经网络模型的眼球角膜神经分割方法及装置 | |
| CN116051545B (zh) | 一种双模态影像的脑龄预测方法 | |
| CN115547502B (zh) | 基于时序数据的血透病人风险预测装置 | |
| US11842492B2 (en) | Cerebral hematoma volume analysis | |
| CN116563224A (zh) | 基于深度语义特征的影像组学胎盘植入预测方法及装置 | |
| CN117710373A (zh) | 一种抗干扰的octa视网膜血管提取方法和装置 | |
| CN116309346A (zh) | 医学图像的检测方法、装置、设备、存储介质及程序产品 | |
| CN113313717B (zh) | 一种基于深度学习的分节段椎骨ct图像分割方法 | |
| CN112884706B (zh) | 一种基于神经网络模型的图像评估系统和相关产品 | |
| CN116313037A (zh) | 一种基于多模态数据的糖尿病预测方法和系统 | |
| Fu et al. | Agc-unet: a global context feature fusion method based on u-net for retinal vessel segmentation | |
| Taş et al. | Detection of retinal diseases from ophthalmological images based on convolutional neural network architecture. | |
| Murillo-Olmos et al. | Thresholding algorithm applied to chest X-ray images with pneumonia | |
| Brown et al. | Deep learning for computer-aided diagnosis in ophthalmology: a review | |
| Liu et al. | OCTA retinal vessel segmentation based on vessel thickness inconsistency loss | |
| CN117612221B (zh) | 结合注意力shift的OCTA图像血管提取方法 | |
| Li et al. | A Self-Supervised Model Advance OCTA Image Disease Diagnosis | |
| CN114155208B (zh) | 一种基于深度学习的心房颤动评估方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |