CN117078720B - 融合神经网络的管状结构快速追踪方法 - Google Patents

融合神经网络的管状结构快速追踪方法 Download PDF

Info

Publication number
CN117078720B
CN117078720B CN202311109710.3A CN202311109710A CN117078720B CN 117078720 B CN117078720 B CN 117078720B CN 202311109710 A CN202311109710 A CN 202311109710A CN 117078720 B CN117078720 B CN 117078720B
Authority
CN
China
Prior art keywords
track
tubular structure
tracking
test
ith
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311109710.3A
Other languages
English (en)
Other versions
CN117078720A (zh
Inventor
陈达
李焕春
舒明雷
刘丽
韩孝兴
郭学丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Shandong Institute of Artificial Intelligence
Original Assignee
Qilu University of Technology
Shandong Institute of Artificial Intelligence
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology, Shandong Institute of Artificial Intelligence filed Critical Qilu University of Technology
Priority to CN202311109710.3A priority Critical patent/CN117078720B/zh
Publication of CN117078720A publication Critical patent/CN117078720A/zh
Application granted granted Critical
Publication of CN117078720B publication Critical patent/CN117078720B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • G06N3/0455Auto-encoder networks; Encoder-decoder networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

一种融合神经网络的管状结构快速追踪方法,涉及医学图像处理领域,利用Attention U‑Net网络对数据集进行前景背景分类训练,使用基于图的路径搜索方案的全局最优性提供强大的几何先验。神经网路与最小路径框架相互配合,克服血管追踪过程中的如捷径、短支路组合等诸多问题,实现更快速、更精准的管状结构追踪。

Description

融合神经网络的管状结构快速追踪方法
技术领域
本发明涉及医学图像处理领域,具体涉及一种融合神经网络的管状结构快速追踪方法。
背景技术
随着医学成像技术的发展和广泛应用,对血管结构进行准确追踪的需求日益增加。血管追踪在医学诊断、手术规划和治疗监测等领域具有重要意义。然而,传统的血管追踪方法存在一些局限性,如对噪声、图像质量以及复杂血管网络的处理敏感性。因此,研究人员不断探索新的血管追踪方法,旨在提高准确性、鲁棒性和效率。
传统的管状结构追踪方法通常依赖于手工设计的特征提取和跟踪算法,这些方法在复杂场景下往往面临着精度不高、鲁棒性差、计算复杂度高等问题。随着深度学习的兴起,基于深度学习的管状结构追踪方法逐渐成为研究热点,2016年Ronneberger等提出了U-net网络(参考文献:O.Ronneberger,P.Fischer,and T.Brox,“U-net:convolutionalnetworks for biomedical image segmentation,”in International Conference onMedical Image Computing and Computer-Assisted Intervention,2015,pp.234–241.)。另外,Liu等人(参考文献:L.Liu,D.Chen,M.Shu,H.Shu and L.D.Cohen,"A New TubularStructure Tracking Algorithm Based On Curvature-Penalized PerceptualGrouping,"ICASSP 2021-2021IEEE International Conference on Acoustics,Speechand Signal Processing(ICASSP),Toronto,ON,Canada,2021,pp.2195-2199,doi:10.1109/ICASSP39728.2021.9414114.)中的曲率正则化模型在管状结构追踪方面取得非常好的效果,随着深度学习网络的发展,传统方法与深度学习网络相结合的血管追踪方法得到蓬勃发展。
发明内容
本发明为了克服以上技术的不足,提供了一种利用神经网路与最小路径框架相互配合,克服血管追踪过程中的如捷径、短支路组合等诸多问题的融合神经网络的管状结构快速追踪方法。
本发明克服其技术问题所采用的技术方案是:
一种融合神经网络的管状结构快速追踪方法,包括如下步骤:
a)收集N张眼底视网膜血管图像,得到数据集T,T={t1,t2,...,ti,...,tN},ti为第i张眼底视网膜血管图像,i∈{1,...,N};
b)在python中导入Image包,使用crop()函数将第i张眼底视网膜血管图像ti进行切片、拆分,将所有N张眼底视网膜血管图像切片、拆分的形成的切片中眼底视网膜血管位于图像中心位置的切片作为正样本,其它切片作为负样本,将正样本和负样本组成数据集T′;
c)将数据集T′划分为训练集train′和测试集test′,train′={train1′,train2′,...,traini′,...,traink′},traini′为训练集train′中第i张切片,i∈{1,...,k},k为训练集中切片张数,test′={test1′,test2′,...,tests′,...,testm′},tests′为测试集test′中第s张切片,s∈{1,...,m},m为测试集中切片张数;
d)将第i张切片traini′输入到Attention U-Net网络中,使用adam优化器利用交叉熵损失函数对眼底视网膜血管图像的前景、背景进行分类训练,得到优化后的AttentionU-Net网络;
e)建立管状结构追踪路径计算模型,将第s张切片tests′输入到管状结构追踪路径计算模型中,输出得到邻接矩阵Pn[vn][vn];
f)建立管状结构追踪路径生成模型,将邻接矩阵Pn[vn][vn]输入到管状结构追踪路径生成模型中,得到管状结构追踪路径。
优选的,步骤a)中从公开FIVESDataset数据集中选取30张眼底视网膜血管图像,得到数据集T。
优选的,步骤b)中将正样本和负样本按照1:3的比例组成数据集T′。
优选的,步骤c)中将数据集T′按7:3的比例划分为训练集train′和测试集test′。进一步的,步骤e)包括如下步骤:
e-1)管状结构追踪路径计算模型由轨迹生成层、轨迹优化层、权重生成层、追踪路径生成层构成;
e-2)将第s张切片tests′输入到轨迹生成层中,使用OOF滤波器提取第s张切片tests′血管结构特征,得到管状结构概率图Φ1
e-3)将管状结构概率图Φ1进行阈值处理得到管状结构二值图像Φ2
e-4)将管状结构二值图像Φ2输入到轨迹优化层中,利用MatLab中的bwmorph()函数对管状结构二值图像Φ2进行骨架化处理,得到骨架片段图Φ3,使用阈值法去除骨架片段图Φ3中长度小于Th值的骨架片段,得到轨迹图Φ4,轨迹图Φ4中的轨迹集合为V,V={v1,v2,...,vi,...,vj,...,vt,...,vk,...,vn},其中,vi为第i条轨迹,vj为第j条轨迹,vt为第t条轨迹,vk为第k条轨迹,i<j<t<k,i<n,j<n,t<n,k<n,n为轨迹数量;
e-5)管状结构追踪路径计算模型的权重生成层由曲率正则化模型构成,将轨迹集合V及轨迹图Φ4输入到曲率正则化模型中,利用轨迹间的欧几里得距离搜索轨迹图Φ4中的相邻轨迹,以相邻轨迹间的测地线为连接边,得到相邻轨迹间边的集合E,利用测地线提供的曲率信息计算相邻轨迹间边的权重,得到轨迹间边上的权重集合W,其中/>为第i条轨迹vi与第j条轨迹vj的边, 为边/>的权重;
e-6)将相邻轨迹间边的集合E、轨迹集合V及轨迹间边上的权重集合W输入到追踪路径生成层中,定义大小为n+1的邻接矩阵集合A及大小为n+1的邻接矩阵集合P,
A={A-1[vi][vj],A1[vi][vj],A2[vi][vj],...,Ai[vi][vj],...,An[vi][vj]},
式中Ai[vi][vj]为第i条轨迹vi与第j条轨迹vj之间边的权重的第i个邻接矩阵,A-1[vi][vj]为权重集合W中第i条轨迹vi与第j条轨迹vj之间边的权重的矩阵的初始矩阵,A-1[vi][vj]中不相邻轨迹间的权重值为正无穷,
P={P-1[vi][vj],P1[vi][vj],P2[vi][vj],...,Pi[vi][vj],...,Pn[vi][vj]},
式中Pi[vi][vj]为第i条轨迹vi对应第j条轨迹vj最小路径的第i个前驱矩阵,P-1[vi][vj]为第i条轨迹vi对应第j条轨迹vj最小路径的前驱矩阵的初始矩阵,P-1[vi][vj]中的所有值初始化为-1;
e-7)以第t条轨迹vt两端点之间的欧式距离为边长,从轨迹图Φ4剪裁出包含轨迹vt的正方形切片Pt′,将正方形切片Pt′输入到优化后的Attention U-Net网络中对优化后的Attention U-Net网络进行前景与背景的分类,如果正方形切片Pt′为背景则将权重设置为无穷大,如果正方形切片Pt′为前景,则将权重/>的权重值保持不变,如果Ai[vi][vj]>Ai[vi][vt]+Ai[vt][vj],则将Ai[vi][vj]的值更新为Ai[vi][vt]+Ai[vt][vj]的值且将Pi[vi][vj]改为vt
e-8)重复步骤e-7)直至轨迹集合为V中的轨迹全部遍历完成,得到邻接矩阵Pn[vn][vn]。
优选的,步骤e-4)中Th取值为20像素。
进一步的,步骤f)包括如下步骤:
f-1)管状结构追踪路径生成模型由目标点选取计算层、追踪路径生成层构成;
f-2)将轨迹集合V输入到管状结构追踪路径生成模型的目标点选取计算层中,手动选取目标管状结构的源点o和终点f,计算源点o与轨迹集合V中每一条轨迹的欧式距离,选取轨迹集合V中与源点o有最小欧式距离的轨迹vi,计算终点f与轨迹集合V中每一条轨迹的欧式距离,选取集合轨迹集合V中与终点f有最小欧式距离的轨迹vj
f-3)将轨迹vi、轨迹vj、邻接矩阵Pn[vn][vn]输入到管状结构追踪路径生成模型的追踪路径生成层中,将轨迹vi及轨迹vj代入邻接矩阵Pn[vn][vn]中,如果Pn[vn][vn]=-1,则直接输出路径{vi,vj},如果Pn[vn][vn]≠-1,则令vt=Pn[vi][vj],轨迹vi对应轨迹vt最小路径的第n个前驱矩阵为Pn[vi][vt],轨迹vt对应轨迹vj最小路径的第n个前驱矩阵为Pn[vt][vj],轨迹集合V中的轨迹vk对应轨迹vj最小路径的第n个前驱矩阵为Pn[vk][vj],如果Pn[vi][vt]=-1且Pn[vt][vj]=-1,得到管状结构追踪路径为{o,vi,vt,vj,f};
f-4)如果Pn[vi][vt]=-1且Pn[vt][vj]≠-1,则重复执行步骤f-3)直至轨迹集合V中的第k条轨迹vk对应轨迹vj最小路径的第n个前驱矩阵Pn[vk][vj]=-1,得到管状结构追踪路径为{o,vi,vt,...,vk,vj,f}。
本发明的有益效果是:从结构复杂或背景复杂的医学图像中进行血管追踪,克服了血管追踪过程中存在的捷径和短支路组合的问题。本方法分三个阶段融合神经网络,三个阶段相互融合、优势互补,利用Attention U-Net网络对数据集进行前景背景分类训练,使用基于图的路径搜索方案的全局最优性提供强大的几何先验。神经网路与最小路径框架相互配合,克服血管追踪过程中的如捷径、短支路组合等诸多问题。该方法可以应用于医学图像、工业检测、自动驾驶等多个领域,为相关领域的研究和应用提供了有力支持。通过该技术,可以实现更快速、更精准的管状结构追踪,为相关领域的自动化和智能化发展带来新的机遇。
附图说明
图1为本发明的方法流程图。
具体实施方式
下面结合附图1对本发明做进一步说明。
一种融合神经网络的管状结构快速追踪方法,包括如下步骤:
a)收集N张眼底视网膜血管图像,得到数据集T,T={t1,t2,...,ti,...,tN},ti为第i张眼底视网膜血管图像,i∈{1,...,N}。
b)在python中导入Image包,使用crop()函数将第i张眼底视网膜血管图像ti进行切片、拆分,将所有N张眼底视网膜血管图像切片、拆分的形成的切片中眼底视网膜血管位于图像中心位置的切片作为正样本,其它切片作为负样本,将正样本和负样本组成数据集T′。
c)将数据集T′划分为训练集train′和测试集test′,train′={train1′,train2′,...,traini′,...,traink′},traini′为训练集train′中第i张切片,i∈{1,...,k},k为训练集中切片张数,test′={test1′,test2′,...,tests′,...,testm′},tests′为测试集test′中第s张切片,s∈{1,...,m},m为测试集中切片张数。
d)将第i张切片traini′输入到Attention U-Net网络中,使用adam优化器利用交叉熵损失函数对眼底视网膜血管图像的前景、背景进行分类训练,得到优化后的AttentionU-Net网络。
e)建立管状结构追踪路径计算模型,将第s张切片tests′输入到管状结构追踪路径计算模型中,输出得到邻接矩阵Pn[vn][vn]。
f)建立管状结构追踪路径生成模型,将邻接矩阵Pn[vn][vn]输入到管状结构追踪路径生成模型中,得到管状结构追踪路径。
本发明从结构复杂或背景复杂的医学图像中进行血管追踪,克服了血管追踪过程中存在的捷径和短支路组合的问题。本方法分为三个阶段。第一阶段,使用Attention U-Net网络对数据集进行前景背景分类训练。第二阶段,对管状结构进行骨架化处理,生成轨迹,利用曲率信息计算轨迹间权重。第三阶段,基于图的路径搜索方案的全局最优性完成血管追踪。本发明的三个阶段相互融合、优势互补,利用Attention U-Net神经网络对血管结构的前景与背景进行分类,使用于图的路径搜索方案为血管追踪提供强大的几何先验。神经网路与最小路径框架相互配合,克服血管追踪过程中的如捷径、短支路组合等诸多问题。
在本发明的一个实施例中,步骤a)中从公开FIVESDataset数据集中选取30张眼底视网膜血管图像,得到数据集T。步骤b)中将正样本和负样本按照1:3的比例组成数据集T′。步骤c)中将数据集T′按7:3的比例划分为训练集train′和测试集test′。
在本发明的一个实施例中,步骤e)包括如下步骤:
e-1)管状结构追踪路径计算模型由轨迹生成层、轨迹优化层、权重生成层、追踪路径生成层构成。
e-2)将第s张切片tests′输入到轨迹生成层中,使用OOF滤波器提取第s张切片tests′血管结构特征,得到管状结构概率图Φ1
e-3)将管状结构概率图Φ1进行阈值处理得到管状结构二值图像Φ2
e-4)将管状结构二值图像Φ2输入到轨迹优化层中,利用MatLab中的bwmorph()函数对管状结构二值图像Φ2进行骨架化处理,得到骨架片段图Φ3,使用阈值法去除骨架片段图Φ3中长度小于Th值的骨架片段,得到轨迹图Φ4,轨迹图Φ4中的轨迹集合为V,V={v1,v2,…,vi,...,vj,…,vt,…,vk,…,vn},其中,vi为第i条轨迹,vj为第j条轨迹,vt为第t条轨迹,vk为第k条轨迹,i<j<t<k,i<n,j<n,t<n,k<n,n为轨迹数量。
e-5)管状结构追踪路径计算模型的权重生成层由曲率正则化模型构成,将轨迹集合V及轨迹图Φ4输入到曲率正则化模型中,利用轨迹间的欧几里得距离搜索轨迹图Φ4中的相邻轨迹,以相邻轨迹间的测地线为连接边,得到相邻轨迹间边的集合E,利用测地线提供的曲率信息计算相邻轨迹间边的权重,得到轨迹间边上的权重集合W,其中/>为第i条轨迹vi与第j条轨迹vj的边, 为边/>的权重。
e-6)将相邻轨迹间边的集合E、轨迹集合V及轨迹间边上的权重集合W输入到追踪路径生成层中,定义大小为n+1的邻接矩阵集合A及大小为n+1的邻接矩阵集合P,
A={A-1[vi][vj],A1[vi][vj],A2[vi][vj],…,Ai[vi][vj],…,An[vi][vj]},
式中Ai[vi][vj]为第i条轨迹vi与第j条轨迹vj之间边的权重的第i个邻接矩阵,A-1[vi][vj]为权重集合W中第i条轨迹vi与第j条轨迹vj之间边的权重的矩阵的初始矩阵,A-1[vi][vj]中不相邻轨迹间的权重值为正无穷,
P={P-1[vi][vj],P1[vi][vj],P2[vi][vj],...,Pi[vi][vj],...,Pn[vi][vj]},
式中Pi[vi][vj]为第i条轨迹vi对应第j条轨迹vj最小路径的第i个前驱矩阵,P-1[vi][vj]为第i条轨迹vi对应第j条轨迹vj最小路径的前驱矩阵的初始矩阵,P-1[vi][vj]中的所有值初始化为-1。
e-7)以第t条轨迹vt两端点之间的欧式距离为边长,从轨迹图Φ4剪裁出包含轨迹vt的正方形切片Pt′,将正方形切片Pt′输入到优化后的Attention U-Net网络中对优化后的Attention U-Net网络进行前景与背景的分类,如果正方形切片Pt′为背景则将权重设置为无穷大,如果正方形切片Pt′为前景,则将权重/>的权重值保持不变,如果Ai[vi][vj]>Ai[vi][vt]+Ai[vt][vj],则将Ai[vi][vj]的值更新为Ai[vi][vt]+Ai[vt][vj]的值且将Pi[vi][vj]改为vt
e-8)重复步骤e-7)直至轨迹集合为V中的轨迹全部遍历完成,得到邻接矩阵Pn[vn][vn]。
在该实施例中,优选的,步骤e-4)中Th取值为20像素。
在本发明的一个实施例中,步骤f)包括如下步骤:
f-1)管状结构追踪路径生成模型由目标点选取计算层、追踪路径生成层构成。
f-2)将轨迹集合V输入到管状结构追踪路径生成模型的目标点选取计算层中,手动选取目标管状结构的源点o和终点f,计算源点o与轨迹集合V中每一条轨迹的欧式距离,选取轨迹集合V中与源点o有最小欧式距离的轨迹vi,计算终点f与轨迹集合V中每一条轨迹的欧式距离,选取集合轨迹集合V中与终点f有最小欧式距离的轨迹vj
f-3)将轨迹vi、轨迹vj、邻接矩阵Pn[vn][vn]输入到管状结构追踪路径生成模型的追踪路径生成层中,将轨迹vi及轨迹vj代入邻接矩阵Pn[vn][vn]中,如果Pn[vn][vn]=-1,则直接输出路径{vi,vj},如果Pn[vn][vn]≠-1,则令vt=Pn[vi][vj],轨迹vi对应轨迹vt最小路径的第n个前驱矩阵为Pn[vi][vt],轨迹vt对应轨迹vj最小路径的第n个前驱矩阵为Pn[vt][vj],轨迹集合V中的轨迹vk对应轨迹vj最小路径的第n个前驱矩阵为Pn[vk][vj],如果Pn[vi][vt]=-1且Pn[vt][vj]=-1,得到管状结构追踪路径为{o,vi,vt,vj,f}。
f-4)如果Pn[vi][vt]=-1且Pn[vt][vj]≠-1,则重复执行步骤f-3)直至轨迹集合V中的第k条轨迹vk对应轨迹vj最小路径的第n个前驱矩阵Pn[vk][vj]=-1,得到管状结构追踪路径为{o,vi,vt,...,vk,vj,f}。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种融合神经网络的管状结构快速追踪方法,其特征在于,包括如下步骤:
a)收集N张眼底视网膜血管图像,得到数据集T,T={t1,t2,...,ti,...,tN},ti为第i张眼底视网膜血管图像,i∈{1,...,N};
b)在python中导入Image包,使用crop()函数将第i张眼底视网膜血管图像ti进行切片、拆分,将所有N张眼底视网膜血管图像切片、拆分的形成的切片中眼底视网膜血管位于图像中心位置的切片作为正样本,其它切片作为负样本,将正样本和负样本组成数据集T′;
c)将数据集T′划分为训练集train′和测试集test′,train′={train1′,train2′,...,traini′,...,traink′},traini′为训练集train′中第i张切片,i∈{1,...,k},k为训练集中切片张数,test′={test1′,test2′,...,tests′,...,testm′},tests′为测试集test′中第s张切片,s∈{1,...,m},m为测试集中切片张数;
d)将第i张切片traini′输入到Attention U-Net网络中,使用adam优化器利用交叉熵损失函数对眼底视网膜血管图像的前景、背景进行分类训练,得到优化后的Attention U-Net网络;
e)建立管状结构追踪路径计算模型,将第s张切片tests′输入到管状结构追踪路径计算模型中,输出得到邻接矩阵Pn[vn][vn];
f)建立管状结构追踪路径生成模型,将邻接矩阵Pn[vn][vn]输入到管状结构追踪路径生成模型中,得到管状结构追踪路径;
步骤e)包括如下步骤:
e-1)管状结构追踪路径计算模型由轨迹生成层、轨迹优化层、权重生成层、追踪路径生成层构成;
e-2)将第s张切片tests′输入到轨迹生成层中,使用OOF滤波器提取第s张切片tests′血管结构特征,得到管状结构概率图Φ1
e-3)将管状结构概率图Φ1进行阈值处理得到管状结构二值图像Φ2
e-4)将管状结构二值图像Φ2输入到轨迹优化层中,利用MatLab中的bwmorph()函数对管状结构二值图像Φ2进行骨架化处理,得到骨架片段图Φ3,使用阈值法去除骨架片段图Φ3中长度小于Th值的骨架片段,得到轨迹图Φ4,轨迹图Φ4中的轨迹集合为V,V={v1,v2,...,vi,...,vj,...,vt,...,vk,...,vn},其中,vi为第i条轨迹,vj为第j条轨迹,vt为第t条轨迹,vk为第k条轨迹,i<j<t<k,i<n,j<n,t<n,k<n,n为轨迹数量;
e-5)管状结构追踪路径计算模型的权重生成层由曲率正则化模型构成,将轨迹集合V及轨迹图Φ4输入到曲率正则化模型中,利用轨迹间的欧几里得距离搜索轨迹图Φ4中的相邻轨迹,以相邻轨迹间的测地线为连接边,得到相邻轨迹间边的集合E,利用测地线提供的曲率信息计算相邻轨迹间边的权重,得到轨迹间边上的权重集合W,其中/>为第i条轨迹vi与第j条轨迹vj的边, 为边的权重;
e-6)将相邻轨迹间边的集合E、轨迹集合V及轨迹间边上的权重集合W输入到追踪路径生成层中,定义大小为n+1的邻接矩阵集合A及大小为n+1的邻接矩阵集合P,
A={A-1[vi][vj],A1[vi][vj],A2[vi][vj],...,Ai[vi][vj],...,An[vi][vj]},
式中Ai[vi][vj]为第i条轨迹vi与第j条轨迹vj之间边的权重的第i个邻接矩阵,A-1[vi][vj]为权重集合W中第i条轨迹vi与第j条轨迹vj之间边的权重的矩阵的初始矩阵,A-1[vi][vj]中不相邻轨迹间的权重值为正无穷,P={P-1[vi][vj],P1[vi][vj],P2[vi][vj],...,Pi[vi][vj],...,Pn[vi][vj]},
式中Pi[vi][vj]为第i条轨迹vi对应第j条轨迹vj最小路径的第i个前驱矩阵,P-1[vi][vj]为第i条轨迹vi对应第j条轨迹vj最小路径的前驱矩阵的初始矩阵,P-1[vi][vj]中的所有值初始化为-1;
e-7)以第t条轨迹vt两端点之间的欧式距离为边长,从轨迹图Φ4剪裁出包含轨迹vt的正方形切片Pt′,将正方形切片Pt′输入到优化后的Attention U-Net网络中对优化后的Attention U-Net网络进行前景与背景的分类,如果正方形切片Pt′为背景则将权重设置为无穷大,如果正方形切片Pt′为前景,则将权重/>的权重值保持不变,如果Ai[vi][vj]>Ai[vi][vt]+Ai[vt][vj],则将Ai[vi][vj]的值更新为Ai[vi][vt]+Ai[vt][vj]的值且将Pi[vi][vj]改为vt
e-8)重复步骤e-7)直至轨迹集合为V中的轨迹全部遍历完成,得到邻接矩阵Pn[vn][vn]。
2.根据权利要求1所述的融合神经网络的管状结构快速追踪方法,其特征在于:步骤a)中从公开FIVESDataset数据集中选取30张眼底视网膜血管图像,得到数据集T。
3.根据权利要求1所述的融合神经网络的管状结构快速追踪方法,其特征在于:步骤b)中将正样本和负样本按照1:3的比例组成数据集T′。
4.根据权利要求1所述的融合神经网络的管状结构快速追踪方法,其特征在于:步骤c)中将数据集T′按7:3的比例划分为训练集train′和测试集test′。
5.根据权利要求1所述的融合神经网络的管状结构快速追踪方法,其特征在于:步骤e-4)中Th取值为20像素。
6.根据权利要求1所述的融合神经网络的管状结构快速追踪方法,其特征在于,步骤f)包括如下步骤:
f-1)管状结构追踪路径生成模型由目标点选取计算层、追踪路径生成层构成;
f-2)将轨迹集合V输入到管状结构追踪路径生成模型的目标点选取计算层中,手动选取目标管状结构的源点o和终点f,计算源点o与轨迹集合V中每一条轨迹的欧式距离,选取轨迹集合V中与源点o有最小欧式距离的轨迹vi,计算终点f与轨迹集合V中每一条轨迹的欧式距离,选取集合轨迹集合V中与终点f有最小欧式距离的轨迹vj
f-3)将轨迹vi、轨迹vj、邻接矩阵Pn[vn][vn]输入到管状结构追踪路径生成模型的追踪路径生成层中,将轨迹vi及轨迹vj代入邻接矩阵Pn[vn][vn]中,如果Pn[vn][vn]=-1,则直接输出路径{vi,vj},如果Pn[vn][vn]≠-1,则令vt=Pn[vi][vj],轨迹vi对应轨迹vt最小路径的第n个前驱矩阵为Pn[vi][vt],轨迹vt对应轨迹vj最小路径的第n个前驱矩阵为Pn[vt][vj],轨迹集合V中的轨迹vk对应轨迹vj最小路径的第n个前驱矩阵为Pn[vk][vj],如果Pn[vi][vt]=-1且Pn[vt][vj]=-1,得到管状结构追踪路径为{o,vi,vt,vj,f};
f-4)如果Pn[vi][vt]=-1且Pn[vt][vj]≠-1,则重复执行步骤f-3)直至轨迹集合V中的第k条轨迹vk对应轨迹vj最小路径的第n个前驱矩阵Pn[vk][vj]=-1,得到管状结构追踪路径为{o,vi,vt,...,vk,vj,f}。
CN202311109710.3A 2023-08-31 2023-08-31 融合神经网络的管状结构快速追踪方法 Active CN117078720B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311109710.3A CN117078720B (zh) 2023-08-31 2023-08-31 融合神经网络的管状结构快速追踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311109710.3A CN117078720B (zh) 2023-08-31 2023-08-31 融合神经网络的管状结构快速追踪方法

Publications (2)

Publication Number Publication Date
CN117078720A CN117078720A (zh) 2023-11-17
CN117078720B true CN117078720B (zh) 2024-03-01

Family

ID=88713207

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311109710.3A Active CN117078720B (zh) 2023-08-31 2023-08-31 融合神经网络的管状结构快速追踪方法

Country Status (1)

Country Link
CN (1) CN117078720B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538497A (zh) * 2021-07-07 2021-10-22 山东省人工智能研究院 一种基于曲率正则化感知分组的管状结构快速追踪方法
CN114881962A (zh) * 2022-04-28 2022-08-09 桂林理工大学 一种基于改进U-Net网络的视网膜图像血管分割方法
CN116452992A (zh) * 2023-05-18 2023-07-18 山东省人工智能研究院 一种最小路径管状结构中心线的提取方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2262410B1 (en) * 2008-04-08 2015-05-27 National University of Singapore Retinal image analysis systems and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538497A (zh) * 2021-07-07 2021-10-22 山东省人工智能研究院 一种基于曲率正则化感知分组的管状结构快速追踪方法
CN114881962A (zh) * 2022-04-28 2022-08-09 桂林理工大学 一种基于改进U-Net网络的视网膜图像血管分割方法
CN116452992A (zh) * 2023-05-18 2023-07-18 山东省人工智能研究院 一种最小路径管状结构中心线的提取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
trajectory grouping with curvature regularization for tubular structure tracking;Li Liu 等;arXiv:2003.03710v2;全文 *

Also Published As

Publication number Publication date
CN117078720A (zh) 2023-11-17

Similar Documents

Publication Publication Date Title
CN109685776B (zh) 一种基于ct图像的肺结节检测方法及系统
CN113344849B (zh) 一种基于YOLOv5的微乳头检测系统
Wu et al. Cascaded fully convolutional networks for automatic prenatal ultrasound image segmentation
CN109919230B (zh) 基于循环特征金字塔的医学图像肺结节检测方法
CN109671094B (zh) 一种基于频域分级的眼底图像血管分割方法
CN111680706A (zh) 一种基于编码和解码结构的双通道输出轮廓检测方法
US11972571B2 (en) Method for image segmentation, method for training image segmentation model
CN113674253A (zh) 基于U-Transformer的直肠癌CT影像自动分割方法
CN111161287A (zh) 基于对称双向级联网络深度学习的视网膜血管分割方法
CN114708255B (zh) 一种基于TransUNet模型的多中心儿童X线胸片图像肺部分割方法
CN112489060B (zh) 一种用于肺炎病灶分割的系统及方法
CN114998265A (zh) 一种基于改进U-Net的肝脏肿瘤分割方法
CN110751636A (zh) 一种基于改进型编解码网络的眼底图像视网膜动脉硬化检测方法
CN109636788A (zh) 一种基于深度神经网络的ct图像胆结石智能检测模型
Mathews et al. EfficientNet for retinal blood vessel segmentation
CN115661066A (zh) 基于分割和分类相融合的糖尿病性视网膜病变检测方法
Manikandan et al. Segmentation and Detection of Pneumothorax using Deep Learning
CN113744215B (zh) 三维断层扫描图像中树状管腔结构中心线的提取方法和装置
Sangeetha et al. Diagnosis of pneumonia using image recognition techniques
CN113469199A (zh) 一种基于深度学习的快速高效图像边缘检测方法
CN117078720B (zh) 融合神经网络的管状结构快速追踪方法
Prabhakar et al. Automatic detection of diabetic retinopathy in retinal images: a study of recent advances
Rammy et al. Conditional patch-based generative adversarial network for retinal vessel segmentation
Kanse et al. HG-SVNN: harmonic genetic-based support vector neural network classifier for the glaucoma detection
CN116681883A (zh) 基于Swin Transformer改进的乳腺影像病灶检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant