CN117078720B - 融合神经网络的管状结构快速追踪方法 - Google Patents
融合神经网络的管状结构快速追踪方法 Download PDFInfo
- Publication number
- CN117078720B CN117078720B CN202311109710.3A CN202311109710A CN117078720B CN 117078720 B CN117078720 B CN 117078720B CN 202311109710 A CN202311109710 A CN 202311109710A CN 117078720 B CN117078720 B CN 117078720B
- Authority
- CN
- China
- Prior art keywords
- track
- tubular structure
- tracking
- test
- ith
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 15
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 42
- 238000012360 testing method Methods 0.000 claims description 42
- 238000004364 calculation method Methods 0.000 claims description 18
- 239000002243 precursor Substances 0.000 claims description 18
- 210000001210 retinal vessel Anatomy 0.000 claims description 12
- 230000002792 vascular Effects 0.000 claims description 9
- 210000001525 retina Anatomy 0.000 claims description 7
- 239000012634 fragment Substances 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000006467 substitution reaction Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
一种融合神经网络的管状结构快速追踪方法,涉及医学图像处理领域,利用Attention U‑Net网络对数据集进行前景背景分类训练,使用基于图的路径搜索方案的全局最优性提供强大的几何先验。神经网路与最小路径框架相互配合,克服血管追踪过程中的如捷径、短支路组合等诸多问题,实现更快速、更精准的管状结构追踪。
Description
技术领域
本发明涉及医学图像处理领域,具体涉及一种融合神经网络的管状结构快速追踪方法。
背景技术
随着医学成像技术的发展和广泛应用,对血管结构进行准确追踪的需求日益增加。血管追踪在医学诊断、手术规划和治疗监测等领域具有重要意义。然而,传统的血管追踪方法存在一些局限性,如对噪声、图像质量以及复杂血管网络的处理敏感性。因此,研究人员不断探索新的血管追踪方法,旨在提高准确性、鲁棒性和效率。
传统的管状结构追踪方法通常依赖于手工设计的特征提取和跟踪算法,这些方法在复杂场景下往往面临着精度不高、鲁棒性差、计算复杂度高等问题。随着深度学习的兴起,基于深度学习的管状结构追踪方法逐渐成为研究热点,2016年Ronneberger等提出了U-net网络(参考文献:O.Ronneberger,P.Fischer,and T.Brox,“U-net:convolutionalnetworks for biomedical image segmentation,”in International Conference onMedical Image Computing and Computer-Assisted Intervention,2015,pp.234–241.)。另外,Liu等人(参考文献:L.Liu,D.Chen,M.Shu,H.Shu and L.D.Cohen,"A New TubularStructure Tracking Algorithm Based On Curvature-Penalized PerceptualGrouping,"ICASSP 2021-2021IEEE International Conference on Acoustics,Speechand Signal Processing(ICASSP),Toronto,ON,Canada,2021,pp.2195-2199,doi:10.1109/ICASSP39728.2021.9414114.)中的曲率正则化模型在管状结构追踪方面取得非常好的效果,随着深度学习网络的发展,传统方法与深度学习网络相结合的血管追踪方法得到蓬勃发展。
发明内容
本发明为了克服以上技术的不足,提供了一种利用神经网路与最小路径框架相互配合,克服血管追踪过程中的如捷径、短支路组合等诸多问题的融合神经网络的管状结构快速追踪方法。
本发明克服其技术问题所采用的技术方案是:
一种融合神经网络的管状结构快速追踪方法,包括如下步骤:
a)收集N张眼底视网膜血管图像,得到数据集T,T={t1,t2,...,ti,...,tN},ti为第i张眼底视网膜血管图像,i∈{1,...,N};
b)在python中导入Image包,使用crop()函数将第i张眼底视网膜血管图像ti进行切片、拆分,将所有N张眼底视网膜血管图像切片、拆分的形成的切片中眼底视网膜血管位于图像中心位置的切片作为正样本,其它切片作为负样本,将正样本和负样本组成数据集T′;
c)将数据集T′划分为训练集train′和测试集test′,train′={train1′,train2′,...,traini′,...,traink′},traini′为训练集train′中第i张切片,i∈{1,...,k},k为训练集中切片张数,test′={test1′,test2′,...,tests′,...,testm′},tests′为测试集test′中第s张切片,s∈{1,...,m},m为测试集中切片张数;
d)将第i张切片traini′输入到Attention U-Net网络中,使用adam优化器利用交叉熵损失函数对眼底视网膜血管图像的前景、背景进行分类训练,得到优化后的AttentionU-Net网络;
e)建立管状结构追踪路径计算模型,将第s张切片tests′输入到管状结构追踪路径计算模型中,输出得到邻接矩阵Pn[vn][vn];
f)建立管状结构追踪路径生成模型,将邻接矩阵Pn[vn][vn]输入到管状结构追踪路径生成模型中,得到管状结构追踪路径。
优选的,步骤a)中从公开FIVESDataset数据集中选取30张眼底视网膜血管图像,得到数据集T。
优选的,步骤b)中将正样本和负样本按照1:3的比例组成数据集T′。
优选的,步骤c)中将数据集T′按7:3的比例划分为训练集train′和测试集test′。进一步的,步骤e)包括如下步骤:
e-1)管状结构追踪路径计算模型由轨迹生成层、轨迹优化层、权重生成层、追踪路径生成层构成;
e-2)将第s张切片tests′输入到轨迹生成层中,使用OOF滤波器提取第s张切片tests′血管结构特征,得到管状结构概率图Φ1;
e-3)将管状结构概率图Φ1进行阈值处理得到管状结构二值图像Φ2;
e-4)将管状结构二值图像Φ2输入到轨迹优化层中,利用MatLab中的bwmorph()函数对管状结构二值图像Φ2进行骨架化处理,得到骨架片段图Φ3,使用阈值法去除骨架片段图Φ3中长度小于Th值的骨架片段,得到轨迹图Φ4,轨迹图Φ4中的轨迹集合为V,V={v1,v2,...,vi,...,vj,...,vt,...,vk,...,vn},其中,vi为第i条轨迹,vj为第j条轨迹,vt为第t条轨迹,vk为第k条轨迹,i<j<t<k,i<n,j<n,t<n,k<n,n为轨迹数量;
e-5)管状结构追踪路径计算模型的权重生成层由曲率正则化模型构成,将轨迹集合V及轨迹图Φ4输入到曲率正则化模型中,利用轨迹间的欧几里得距离搜索轨迹图Φ4中的相邻轨迹,以相邻轨迹间的测地线为连接边,得到相邻轨迹间边的集合E,利用测地线提供的曲率信息计算相邻轨迹间边的权重,得到轨迹间边上的权重集合W,其中/>为第i条轨迹vi与第j条轨迹vj的边, 为边/>的权重;
e-6)将相邻轨迹间边的集合E、轨迹集合V及轨迹间边上的权重集合W输入到追踪路径生成层中,定义大小为n+1的邻接矩阵集合A及大小为n+1的邻接矩阵集合P,
A={A-1[vi][vj],A1[vi][vj],A2[vi][vj],...,Ai[vi][vj],...,An[vi][vj]},
式中Ai[vi][vj]为第i条轨迹vi与第j条轨迹vj之间边的权重的第i个邻接矩阵,A-1[vi][vj]为权重集合W中第i条轨迹vi与第j条轨迹vj之间边的权重的矩阵的初始矩阵,A-1[vi][vj]中不相邻轨迹间的权重值为正无穷,
P={P-1[vi][vj],P1[vi][vj],P2[vi][vj],...,Pi[vi][vj],...,Pn[vi][vj]},
式中Pi[vi][vj]为第i条轨迹vi对应第j条轨迹vj最小路径的第i个前驱矩阵,P-1[vi][vj]为第i条轨迹vi对应第j条轨迹vj最小路径的前驱矩阵的初始矩阵,P-1[vi][vj]中的所有值初始化为-1;
e-7)以第t条轨迹vt两端点之间的欧式距离为边长,从轨迹图Φ4剪裁出包含轨迹vt的正方形切片Pt′,将正方形切片Pt′输入到优化后的Attention U-Net网络中对优化后的Attention U-Net网络进行前景与背景的分类,如果正方形切片Pt′为背景则将权重设置为无穷大,如果正方形切片Pt′为前景,则将权重/>的权重值保持不变,如果Ai[vi][vj]>Ai[vi][vt]+Ai[vt][vj],则将Ai[vi][vj]的值更新为Ai[vi][vt]+Ai[vt][vj]的值且将Pi[vi][vj]改为vt;
e-8)重复步骤e-7)直至轨迹集合为V中的轨迹全部遍历完成,得到邻接矩阵Pn[vn][vn]。
优选的,步骤e-4)中Th取值为20像素。
进一步的,步骤f)包括如下步骤:
f-1)管状结构追踪路径生成模型由目标点选取计算层、追踪路径生成层构成;
f-2)将轨迹集合V输入到管状结构追踪路径生成模型的目标点选取计算层中,手动选取目标管状结构的源点o和终点f,计算源点o与轨迹集合V中每一条轨迹的欧式距离,选取轨迹集合V中与源点o有最小欧式距离的轨迹vi,计算终点f与轨迹集合V中每一条轨迹的欧式距离,选取集合轨迹集合V中与终点f有最小欧式距离的轨迹vj;
f-3)将轨迹vi、轨迹vj、邻接矩阵Pn[vn][vn]输入到管状结构追踪路径生成模型的追踪路径生成层中,将轨迹vi及轨迹vj代入邻接矩阵Pn[vn][vn]中,如果Pn[vn][vn]=-1,则直接输出路径{vi,vj},如果Pn[vn][vn]≠-1,则令vt=Pn[vi][vj],轨迹vi对应轨迹vt最小路径的第n个前驱矩阵为Pn[vi][vt],轨迹vt对应轨迹vj最小路径的第n个前驱矩阵为Pn[vt][vj],轨迹集合V中的轨迹vk对应轨迹vj最小路径的第n个前驱矩阵为Pn[vk][vj],如果Pn[vi][vt]=-1且Pn[vt][vj]=-1,得到管状结构追踪路径为{o,vi,vt,vj,f};
f-4)如果Pn[vi][vt]=-1且Pn[vt][vj]≠-1,则重复执行步骤f-3)直至轨迹集合V中的第k条轨迹vk对应轨迹vj最小路径的第n个前驱矩阵Pn[vk][vj]=-1,得到管状结构追踪路径为{o,vi,vt,...,vk,vj,f}。
本发明的有益效果是:从结构复杂或背景复杂的医学图像中进行血管追踪,克服了血管追踪过程中存在的捷径和短支路组合的问题。本方法分三个阶段融合神经网络,三个阶段相互融合、优势互补,利用Attention U-Net网络对数据集进行前景背景分类训练,使用基于图的路径搜索方案的全局最优性提供强大的几何先验。神经网路与最小路径框架相互配合,克服血管追踪过程中的如捷径、短支路组合等诸多问题。该方法可以应用于医学图像、工业检测、自动驾驶等多个领域,为相关领域的研究和应用提供了有力支持。通过该技术,可以实现更快速、更精准的管状结构追踪,为相关领域的自动化和智能化发展带来新的机遇。
附图说明
图1为本发明的方法流程图。
具体实施方式
下面结合附图1对本发明做进一步说明。
一种融合神经网络的管状结构快速追踪方法,包括如下步骤:
a)收集N张眼底视网膜血管图像,得到数据集T,T={t1,t2,...,ti,...,tN},ti为第i张眼底视网膜血管图像,i∈{1,...,N}。
b)在python中导入Image包,使用crop()函数将第i张眼底视网膜血管图像ti进行切片、拆分,将所有N张眼底视网膜血管图像切片、拆分的形成的切片中眼底视网膜血管位于图像中心位置的切片作为正样本,其它切片作为负样本,将正样本和负样本组成数据集T′。
c)将数据集T′划分为训练集train′和测试集test′,train′={train1′,train2′,...,traini′,...,traink′},traini′为训练集train′中第i张切片,i∈{1,...,k},k为训练集中切片张数,test′={test1′,test2′,...,tests′,...,testm′},tests′为测试集test′中第s张切片,s∈{1,...,m},m为测试集中切片张数。
d)将第i张切片traini′输入到Attention U-Net网络中,使用adam优化器利用交叉熵损失函数对眼底视网膜血管图像的前景、背景进行分类训练,得到优化后的AttentionU-Net网络。
e)建立管状结构追踪路径计算模型,将第s张切片tests′输入到管状结构追踪路径计算模型中,输出得到邻接矩阵Pn[vn][vn]。
f)建立管状结构追踪路径生成模型,将邻接矩阵Pn[vn][vn]输入到管状结构追踪路径生成模型中,得到管状结构追踪路径。
本发明从结构复杂或背景复杂的医学图像中进行血管追踪,克服了血管追踪过程中存在的捷径和短支路组合的问题。本方法分为三个阶段。第一阶段,使用Attention U-Net网络对数据集进行前景背景分类训练。第二阶段,对管状结构进行骨架化处理,生成轨迹,利用曲率信息计算轨迹间权重。第三阶段,基于图的路径搜索方案的全局最优性完成血管追踪。本发明的三个阶段相互融合、优势互补,利用Attention U-Net神经网络对血管结构的前景与背景进行分类,使用于图的路径搜索方案为血管追踪提供强大的几何先验。神经网路与最小路径框架相互配合,克服血管追踪过程中的如捷径、短支路组合等诸多问题。
在本发明的一个实施例中,步骤a)中从公开FIVESDataset数据集中选取30张眼底视网膜血管图像,得到数据集T。步骤b)中将正样本和负样本按照1:3的比例组成数据集T′。步骤c)中将数据集T′按7:3的比例划分为训练集train′和测试集test′。
在本发明的一个实施例中,步骤e)包括如下步骤:
e-1)管状结构追踪路径计算模型由轨迹生成层、轨迹优化层、权重生成层、追踪路径生成层构成。
e-2)将第s张切片tests′输入到轨迹生成层中,使用OOF滤波器提取第s张切片tests′血管结构特征,得到管状结构概率图Φ1。
e-3)将管状结构概率图Φ1进行阈值处理得到管状结构二值图像Φ2。
e-4)将管状结构二值图像Φ2输入到轨迹优化层中,利用MatLab中的bwmorph()函数对管状结构二值图像Φ2进行骨架化处理,得到骨架片段图Φ3,使用阈值法去除骨架片段图Φ3中长度小于Th值的骨架片段,得到轨迹图Φ4,轨迹图Φ4中的轨迹集合为V,V={v1,v2,…,vi,...,vj,…,vt,…,vk,…,vn},其中,vi为第i条轨迹,vj为第j条轨迹,vt为第t条轨迹,vk为第k条轨迹,i<j<t<k,i<n,j<n,t<n,k<n,n为轨迹数量。
e-5)管状结构追踪路径计算模型的权重生成层由曲率正则化模型构成,将轨迹集合V及轨迹图Φ4输入到曲率正则化模型中,利用轨迹间的欧几里得距离搜索轨迹图Φ4中的相邻轨迹,以相邻轨迹间的测地线为连接边,得到相邻轨迹间边的集合E,利用测地线提供的曲率信息计算相邻轨迹间边的权重,得到轨迹间边上的权重集合W,其中/>为第i条轨迹vi与第j条轨迹vj的边, 为边/>的权重。
e-6)将相邻轨迹间边的集合E、轨迹集合V及轨迹间边上的权重集合W输入到追踪路径生成层中,定义大小为n+1的邻接矩阵集合A及大小为n+1的邻接矩阵集合P,
A={A-1[vi][vj],A1[vi][vj],A2[vi][vj],…,Ai[vi][vj],…,An[vi][vj]},
式中Ai[vi][vj]为第i条轨迹vi与第j条轨迹vj之间边的权重的第i个邻接矩阵,A-1[vi][vj]为权重集合W中第i条轨迹vi与第j条轨迹vj之间边的权重的矩阵的初始矩阵,A-1[vi][vj]中不相邻轨迹间的权重值为正无穷,
P={P-1[vi][vj],P1[vi][vj],P2[vi][vj],...,Pi[vi][vj],...,Pn[vi][vj]},
式中Pi[vi][vj]为第i条轨迹vi对应第j条轨迹vj最小路径的第i个前驱矩阵,P-1[vi][vj]为第i条轨迹vi对应第j条轨迹vj最小路径的前驱矩阵的初始矩阵,P-1[vi][vj]中的所有值初始化为-1。
e-7)以第t条轨迹vt两端点之间的欧式距离为边长,从轨迹图Φ4剪裁出包含轨迹vt的正方形切片Pt′,将正方形切片Pt′输入到优化后的Attention U-Net网络中对优化后的Attention U-Net网络进行前景与背景的分类,如果正方形切片Pt′为背景则将权重设置为无穷大,如果正方形切片Pt′为前景,则将权重/>的权重值保持不变,如果Ai[vi][vj]>Ai[vi][vt]+Ai[vt][vj],则将Ai[vi][vj]的值更新为Ai[vi][vt]+Ai[vt][vj]的值且将Pi[vi][vj]改为vt;
e-8)重复步骤e-7)直至轨迹集合为V中的轨迹全部遍历完成,得到邻接矩阵Pn[vn][vn]。
在该实施例中,优选的,步骤e-4)中Th取值为20像素。
在本发明的一个实施例中,步骤f)包括如下步骤:
f-1)管状结构追踪路径生成模型由目标点选取计算层、追踪路径生成层构成。
f-2)将轨迹集合V输入到管状结构追踪路径生成模型的目标点选取计算层中,手动选取目标管状结构的源点o和终点f,计算源点o与轨迹集合V中每一条轨迹的欧式距离,选取轨迹集合V中与源点o有最小欧式距离的轨迹vi,计算终点f与轨迹集合V中每一条轨迹的欧式距离,选取集合轨迹集合V中与终点f有最小欧式距离的轨迹vj。
f-3)将轨迹vi、轨迹vj、邻接矩阵Pn[vn][vn]输入到管状结构追踪路径生成模型的追踪路径生成层中,将轨迹vi及轨迹vj代入邻接矩阵Pn[vn][vn]中,如果Pn[vn][vn]=-1,则直接输出路径{vi,vj},如果Pn[vn][vn]≠-1,则令vt=Pn[vi][vj],轨迹vi对应轨迹vt最小路径的第n个前驱矩阵为Pn[vi][vt],轨迹vt对应轨迹vj最小路径的第n个前驱矩阵为Pn[vt][vj],轨迹集合V中的轨迹vk对应轨迹vj最小路径的第n个前驱矩阵为Pn[vk][vj],如果Pn[vi][vt]=-1且Pn[vt][vj]=-1,得到管状结构追踪路径为{o,vi,vt,vj,f}。
f-4)如果Pn[vi][vt]=-1且Pn[vt][vj]≠-1,则重复执行步骤f-3)直至轨迹集合V中的第k条轨迹vk对应轨迹vj最小路径的第n个前驱矩阵Pn[vk][vj]=-1,得到管状结构追踪路径为{o,vi,vt,...,vk,vj,f}。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种融合神经网络的管状结构快速追踪方法,其特征在于,包括如下步骤:
a)收集N张眼底视网膜血管图像,得到数据集T,T={t1,t2,...,ti,...,tN},ti为第i张眼底视网膜血管图像,i∈{1,...,N};
b)在python中导入Image包,使用crop()函数将第i张眼底视网膜血管图像ti进行切片、拆分,将所有N张眼底视网膜血管图像切片、拆分的形成的切片中眼底视网膜血管位于图像中心位置的切片作为正样本,其它切片作为负样本,将正样本和负样本组成数据集T′;
c)将数据集T′划分为训练集train′和测试集test′,train′={train1′,train2′,...,traini′,...,traink′},traini′为训练集train′中第i张切片,i∈{1,...,k},k为训练集中切片张数,test′={test1′,test2′,...,tests′,...,testm′},tests′为测试集test′中第s张切片,s∈{1,...,m},m为测试集中切片张数;
d)将第i张切片traini′输入到Attention U-Net网络中,使用adam优化器利用交叉熵损失函数对眼底视网膜血管图像的前景、背景进行分类训练,得到优化后的Attention U-Net网络;
e)建立管状结构追踪路径计算模型,将第s张切片tests′输入到管状结构追踪路径计算模型中,输出得到邻接矩阵Pn[vn][vn];
f)建立管状结构追踪路径生成模型,将邻接矩阵Pn[vn][vn]输入到管状结构追踪路径生成模型中,得到管状结构追踪路径;
步骤e)包括如下步骤:
e-1)管状结构追踪路径计算模型由轨迹生成层、轨迹优化层、权重生成层、追踪路径生成层构成;
e-2)将第s张切片tests′输入到轨迹生成层中,使用OOF滤波器提取第s张切片tests′血管结构特征,得到管状结构概率图Φ1;
e-3)将管状结构概率图Φ1进行阈值处理得到管状结构二值图像Φ2;
e-4)将管状结构二值图像Φ2输入到轨迹优化层中,利用MatLab中的bwmorph()函数对管状结构二值图像Φ2进行骨架化处理,得到骨架片段图Φ3,使用阈值法去除骨架片段图Φ3中长度小于Th值的骨架片段,得到轨迹图Φ4,轨迹图Φ4中的轨迹集合为V,V={v1,v2,...,vi,...,vj,...,vt,...,vk,...,vn},其中,vi为第i条轨迹,vj为第j条轨迹,vt为第t条轨迹,vk为第k条轨迹,i<j<t<k,i<n,j<n,t<n,k<n,n为轨迹数量;
e-5)管状结构追踪路径计算模型的权重生成层由曲率正则化模型构成,将轨迹集合V及轨迹图Φ4输入到曲率正则化模型中,利用轨迹间的欧几里得距离搜索轨迹图Φ4中的相邻轨迹,以相邻轨迹间的测地线为连接边,得到相邻轨迹间边的集合E,利用测地线提供的曲率信息计算相邻轨迹间边的权重,得到轨迹间边上的权重集合W,其中/>为第i条轨迹vi与第j条轨迹vj的边, 为边的权重;
e-6)将相邻轨迹间边的集合E、轨迹集合V及轨迹间边上的权重集合W输入到追踪路径生成层中,定义大小为n+1的邻接矩阵集合A及大小为n+1的邻接矩阵集合P,
A={A-1[vi][vj],A1[vi][vj],A2[vi][vj],...,Ai[vi][vj],...,An[vi][vj]},
式中Ai[vi][vj]为第i条轨迹vi与第j条轨迹vj之间边的权重的第i个邻接矩阵,A-1[vi][vj]为权重集合W中第i条轨迹vi与第j条轨迹vj之间边的权重的矩阵的初始矩阵,A-1[vi][vj]中不相邻轨迹间的权重值为正无穷,P={P-1[vi][vj],P1[vi][vj],P2[vi][vj],...,Pi[vi][vj],...,Pn[vi][vj]},
式中Pi[vi][vj]为第i条轨迹vi对应第j条轨迹vj最小路径的第i个前驱矩阵,P-1[vi][vj]为第i条轨迹vi对应第j条轨迹vj最小路径的前驱矩阵的初始矩阵,P-1[vi][vj]中的所有值初始化为-1;
e-7)以第t条轨迹vt两端点之间的欧式距离为边长,从轨迹图Φ4剪裁出包含轨迹vt的正方形切片Pt′,将正方形切片Pt′输入到优化后的Attention U-Net网络中对优化后的Attention U-Net网络进行前景与背景的分类,如果正方形切片Pt′为背景则将权重设置为无穷大,如果正方形切片Pt′为前景,则将权重/>的权重值保持不变,如果Ai[vi][vj]>Ai[vi][vt]+Ai[vt][vj],则将Ai[vi][vj]的值更新为Ai[vi][vt]+Ai[vt][vj]的值且将Pi[vi][vj]改为vt;
e-8)重复步骤e-7)直至轨迹集合为V中的轨迹全部遍历完成,得到邻接矩阵Pn[vn][vn]。
2.根据权利要求1所述的融合神经网络的管状结构快速追踪方法,其特征在于:步骤a)中从公开FIVESDataset数据集中选取30张眼底视网膜血管图像,得到数据集T。
3.根据权利要求1所述的融合神经网络的管状结构快速追踪方法,其特征在于:步骤b)中将正样本和负样本按照1:3的比例组成数据集T′。
4.根据权利要求1所述的融合神经网络的管状结构快速追踪方法,其特征在于:步骤c)中将数据集T′按7:3的比例划分为训练集train′和测试集test′。
5.根据权利要求1所述的融合神经网络的管状结构快速追踪方法,其特征在于:步骤e-4)中Th取值为20像素。
6.根据权利要求1所述的融合神经网络的管状结构快速追踪方法,其特征在于,步骤f)包括如下步骤:
f-1)管状结构追踪路径生成模型由目标点选取计算层、追踪路径生成层构成;
f-2)将轨迹集合V输入到管状结构追踪路径生成模型的目标点选取计算层中,手动选取目标管状结构的源点o和终点f,计算源点o与轨迹集合V中每一条轨迹的欧式距离,选取轨迹集合V中与源点o有最小欧式距离的轨迹vi,计算终点f与轨迹集合V中每一条轨迹的欧式距离,选取集合轨迹集合V中与终点f有最小欧式距离的轨迹vj;
f-3)将轨迹vi、轨迹vj、邻接矩阵Pn[vn][vn]输入到管状结构追踪路径生成模型的追踪路径生成层中,将轨迹vi及轨迹vj代入邻接矩阵Pn[vn][vn]中,如果Pn[vn][vn]=-1,则直接输出路径{vi,vj},如果Pn[vn][vn]≠-1,则令vt=Pn[vi][vj],轨迹vi对应轨迹vt最小路径的第n个前驱矩阵为Pn[vi][vt],轨迹vt对应轨迹vj最小路径的第n个前驱矩阵为Pn[vt][vj],轨迹集合V中的轨迹vk对应轨迹vj最小路径的第n个前驱矩阵为Pn[vk][vj],如果Pn[vi][vt]=-1且Pn[vt][vj]=-1,得到管状结构追踪路径为{o,vi,vt,vj,f};
f-4)如果Pn[vi][vt]=-1且Pn[vt][vj]≠-1,则重复执行步骤f-3)直至轨迹集合V中的第k条轨迹vk对应轨迹vj最小路径的第n个前驱矩阵Pn[vk][vj]=-1,得到管状结构追踪路径为{o,vi,vt,...,vk,vj,f}。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311109710.3A CN117078720B (zh) | 2023-08-31 | 2023-08-31 | 融合神经网络的管状结构快速追踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311109710.3A CN117078720B (zh) | 2023-08-31 | 2023-08-31 | 融合神经网络的管状结构快速追踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117078720A CN117078720A (zh) | 2023-11-17 |
CN117078720B true CN117078720B (zh) | 2024-03-01 |
Family
ID=88713207
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311109710.3A Active CN117078720B (zh) | 2023-08-31 | 2023-08-31 | 融合神经网络的管状结构快速追踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117078720B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113538497A (zh) * | 2021-07-07 | 2021-10-22 | 山东省人工智能研究院 | 一种基于曲率正则化感知分组的管状结构快速追踪方法 |
CN114881962A (zh) * | 2022-04-28 | 2022-08-09 | 桂林理工大学 | 一种基于改进U-Net网络的视网膜图像血管分割方法 |
CN116452992A (zh) * | 2023-05-18 | 2023-07-18 | 山东省人工智能研究院 | 一种最小路径管状结构中心线的提取方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2262410B1 (en) * | 2008-04-08 | 2015-05-27 | National University of Singapore | Retinal image analysis systems and method |
-
2023
- 2023-08-31 CN CN202311109710.3A patent/CN117078720B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113538497A (zh) * | 2021-07-07 | 2021-10-22 | 山东省人工智能研究院 | 一种基于曲率正则化感知分组的管状结构快速追踪方法 |
CN114881962A (zh) * | 2022-04-28 | 2022-08-09 | 桂林理工大学 | 一种基于改进U-Net网络的视网膜图像血管分割方法 |
CN116452992A (zh) * | 2023-05-18 | 2023-07-18 | 山东省人工智能研究院 | 一种最小路径管状结构中心线的提取方法 |
Non-Patent Citations (1)
Title |
---|
trajectory grouping with curvature regularization for tubular structure tracking;Li Liu 等;arXiv:2003.03710v2;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN117078720A (zh) | 2023-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109685776B (zh) | 一种基于ct图像的肺结节检测方法及系统 | |
CN113344849B (zh) | 一种基于YOLOv5的微乳头检测系统 | |
Wu et al. | Cascaded fully convolutional networks for automatic prenatal ultrasound image segmentation | |
CN109919230B (zh) | 基于循环特征金字塔的医学图像肺结节检测方法 | |
CN109671094B (zh) | 一种基于频域分级的眼底图像血管分割方法 | |
CN111680706A (zh) | 一种基于编码和解码结构的双通道输出轮廓检测方法 | |
US11972571B2 (en) | Method for image segmentation, method for training image segmentation model | |
CN113674253A (zh) | 基于U-Transformer的直肠癌CT影像自动分割方法 | |
CN111161287A (zh) | 基于对称双向级联网络深度学习的视网膜血管分割方法 | |
CN114708255B (zh) | 一种基于TransUNet模型的多中心儿童X线胸片图像肺部分割方法 | |
CN112489060B (zh) | 一种用于肺炎病灶分割的系统及方法 | |
CN114998265A (zh) | 一种基于改进U-Net的肝脏肿瘤分割方法 | |
CN110751636A (zh) | 一种基于改进型编解码网络的眼底图像视网膜动脉硬化检测方法 | |
CN109636788A (zh) | 一种基于深度神经网络的ct图像胆结石智能检测模型 | |
Mathews et al. | EfficientNet for retinal blood vessel segmentation | |
CN115661066A (zh) | 基于分割和分类相融合的糖尿病性视网膜病变检测方法 | |
Manikandan et al. | Segmentation and Detection of Pneumothorax using Deep Learning | |
CN113744215B (zh) | 三维断层扫描图像中树状管腔结构中心线的提取方法和装置 | |
Sangeetha et al. | Diagnosis of pneumonia using image recognition techniques | |
CN113469199A (zh) | 一种基于深度学习的快速高效图像边缘检测方法 | |
CN117078720B (zh) | 融合神经网络的管状结构快速追踪方法 | |
Prabhakar et al. | Automatic detection of diabetic retinopathy in retinal images: a study of recent advances | |
Rammy et al. | Conditional patch-based generative adversarial network for retinal vessel segmentation | |
Kanse et al. | HG-SVNN: harmonic genetic-based support vector neural network classifier for the glaucoma detection | |
CN116681883A (zh) | 基于Swin Transformer改进的乳腺影像病灶检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |