CN115457038A - 分级预测模型的训练方法、分级预测的方法及相关产品 - Google Patents

分级预测模型的训练方法、分级预测的方法及相关产品 Download PDF

Info

Publication number
CN115457038A
CN115457038A CN202211413605.4A CN202211413605A CN115457038A CN 115457038 A CN115457038 A CN 115457038A CN 202211413605 A CN202211413605 A CN 202211413605A CN 115457038 A CN115457038 A CN 115457038A
Authority
CN
China
Prior art keywords
sample
skeleton
network
vein
fundus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211413605.4A
Other languages
English (en)
Other versions
CN115457038B (zh
Inventor
黄烨霖
史晓宇
贺婉佶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Airdoc Technology Co Ltd
Original Assignee
Beijing Airdoc Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Airdoc Technology Co Ltd filed Critical Beijing Airdoc Technology Co Ltd
Priority to CN202211413605.4A priority Critical patent/CN115457038B/zh
Publication of CN115457038A publication Critical patent/CN115457038A/zh
Application granted granted Critical
Publication of CN115457038B publication Critical patent/CN115457038B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A61B3/1241Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes specially adapted for observation of ocular blood flow, e.g. by fluorescein angiography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Vascular Medicine (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Hematology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本申请公开了一种分级预测模型的训练方法、分级预测的方法及相关产品,该训练方法包括:基于眼底样本图像中动脉样本网络和静脉样本网络的交叉点,获取包含所述交叉点的样本图像块;根据所述样本图像块中交叉点处的压迹程度,对所述样本图像块赋予相应级别的标签;以及使用带所述标签的样本图像块对分级预测模型进行训练。根据本申请实施例的训练方法,可以使得训练后的分级预测模型能够用于对眼底动静脉交叉处的压迹分级预测。

Description

分级预测模型的训练方法、分级预测的方法及相关产品
技术领域
本申请一般涉及图像处理技术领域。更具体地,本申请涉及一种用于眼底压迹预测的分级预测模型的训练方法、基于眼底图像进行压迹分级预测的方法、用于眼底压迹分级预测的设备及计算机可读存储介质。
背景技术
眼底交叉压迹病症是眼底静脉与动脉的交叉处发生的动脉对静脉的压迫现象,其是许多慢性疾病或者心脑血管疾病(例如高血脂症、高血压性动脉硬化等)的重要病症之一。通过在眼底影像中识别和标识出交叉压迹处的位置,可以有利于提高对某些慢性疾病或者心脑血管疾病的可解释性,以及可以用于对某些慢性疾病或者心脑血管疾病的病情评估以及部分眼底高风险评估提供依据。
目前常采用的检测眼底交叉压迹病症的方法,通常是对动静脉交叉点进行二分类。该方法仅能确定该动静脉交叉点是否为压迹点,而无法识别该压迹点的压迹进程。
有鉴于此,亟需提供一种新的技术方案,来实现对眼底交叉压迹处的分级预测。
发明内容
为了至少解决如上所提到的一个或多个技术问题,本申请在多个方面中提出了一种用于眼底压迹预测的分级预测模型的训练方法、基于眼底图像进行压迹分级预测的方法、用于眼底压迹分级预测的设备及计算机可读存储介质。
在第一方面中,本申请提供一种用于眼底压迹预测的分级预测模型的训练方法,包括:基于眼底样本图像中动脉样本网络和静脉样本网络的交叉点,获取包含所述交叉点的样本图像块;根据所述样本图像块中交叉点处的压迹程度,对所述样本图像块赋予相应级别的标签;以及使用带所述标签的样本图像块对分级预测模型进行训练。
在一些实施例中,基于交叉点获取样本图像块包括:获取带样本标注的眼底样本图像,其中所述样本标注用于标识所述眼底样本图像中的压迹交叉点;基于所述眼底样本图像中动脉样本网络和静脉样本网络的一个或多个交叉点,确定所述眼底样本图像中相应的一个或多个候选区域;根据所述样本标注中标注框与各候选区域的对比结果,在各候选区域中确定阳性候选区域和阴性候选区域;以及基于所述阳性候选区域和所述阴性候选区域,获取包含阳性候选区域的阳性图像块和包含阴性候选区域的阴性图像块。
在另一些实施例中,在基于交叉点确定候选区域之前,所述训练方法还包括:使用分割模型对所述眼底样本图像进行分割处理,以得到连续的动脉样本网络和连续的静脉样本网络;对所述连续的动脉样本网络进行骨架提取,以得到连续的动脉样本骨架;对所述连续的静脉样本网络进行骨架提取,以得到连续的静脉样本骨架;以及根据动脉样本骨架与静脉样本骨架之间的交点,确定动脉样本网络和静脉样本网络的交叉点。
在又一些实施例中,根据动脉样本骨架与静脉样本骨架之间的交点确定交叉点包括:基于所述动脉样本骨架,确定所述动脉样本网络中各中心点处的动脉管径值和所述动脉样本网络的平均动脉管径值;根据动脉样本网络中动脉管径值大于平均动脉管径值的动脉部分,确定有效动脉样本骨架;基于所述静脉样本骨架,确定所述静脉样本网络中各中心点处的静脉管径值和所述静脉样本网络的平均静脉管径值;根据静脉样本网络中静脉管径值大于平均静脉管径值的静脉部分,确定有效静脉样本骨架;以及将有效动脉样本骨架与有效静脉样本骨架之间的交点确定为所述交叉点。
在一些实施例中,将有效动脉样本骨架与有效静脉样本骨架之间的交点确定为交叉点进一步包括:获取所述有效动脉样本骨架的第一掩膜样本图;获取所述有效静脉样本骨架的第二掩膜样本图;将所述第一掩模样本图和所述第二掩膜样本图中相应像素点的像素值进行叠加,以得到每个像素点的叠加像素值;以及将叠加像素值大于或等于像素值阈值的像素点确定为所述交叉点。
在另一些实施例中,根据标注框与各候选区域的对比结果,确定阳性候选区域和阴性候选区域包括:根据每个标注框与每个候选区域之间的交并比,确定每个候选区域是否为所述阳性候选区域或所述阴性候选区域。
在又一些实施例中,根据交并比确定阳性候选区阈或阴性候选区域包括:响应于存在候选区域与任一标注框之间的交并比大于或等于第一阈值,确定该候选区域为相应级别的阳性候选区域;响应于存在候选区域与任一标注框之间的交并比均小于第二阈值,确定该候选区域为阴性候选区域。
在一些实施例中,所述第二阈值小于所述第一阈值。
在另一些实施例中,所述样本图像块包括阳性图像块和阴性图像块;对所述样本图像块赋予相应级别的标签包括:对所述阴性图像块赋予阴性标签;以及根据所述阳性图像块中压迹交叉点的压迹程度,对所述阳性图像块赋予相应级别的阳性标签。
在又一些实施例中,所述阴性标签为0,所述阳性标签为正整数。
在一些实施例中,在使用分割模型对所述眼底样本图像进行分割处理之前,所述训练方法还包括对所述眼底样本图像进行以下预处理中的至少一项:去除眼底样本图像中的黑色背景区域;对眼底样本图像进行直方图均衡化处理。
在另一些实施例中,所述分级预测模型包括基于神经网络的回归模型。
在第二方面中,本申请提供一种基于眼底图像进行压迹分级预测的方法,其特征在于,包括:基于待测眼底图像中动脉网络和静脉网络的目标交叉点,获取包含所述目标交叉点的目标图像块;以及使用经由本申请在第一方面中任一所述的训练方法训练后的分级预测模型对所述目标图像块进行压迹分级预测,以得到所述目标交叉点处的压迹分级结果。
在一些实施例中,在基于目标交叉点获取目标图像块之前,所述方法还包括:使用分割模型对所述待测眼底图像进行分割处理,以得到连续的动脉网络和连续的静脉网络;对所述连续的动脉网络进行骨架提取,以得到连续的动脉骨架;对所述连续的静脉网络进行骨架提取,以得到连续的静脉骨架;以及根据动脉骨架与静脉骨架之间的交点,确定动脉网络和静脉网络的目标交叉点。
在另一些实施例中,根据动脉骨架与静脉骨架之间的交点确定目标交叉点包括:基于所述动脉骨架,确定所述动脉网络中各中心点处的动脉管径值和所述动脉网络的平均动脉管径值;根据动脉网络中动脉管径值大于平均动脉管径值的动脉部分,确定有效动脉骨架;基于所述静脉骨架,确定所述静脉网络中各中心点处的静脉管径值和所述静脉网络的平均静脉管径值;根据静脉网络中静脉管径值大于平均静脉管径值的静脉部分,确定有效静脉骨架;以及将有效动脉骨架与有效静脉骨架之间的交点确定为所述目标交叉点。
在又一些实施例中,将有效动脉骨架与有效静脉骨架之间的交点确定为目标交叉点进一步包括:获取所述有效动脉骨架的第一掩膜图;获取所述有效静脉骨架的第二掩膜图;将所述第一掩模图和所述第二掩膜图中相应像素点的像素值进行叠加,以得到每个像素点的叠加像素值;以及将叠加像素值大于或等于像素值阈值的像素点确定为所述目标交叉点。
在一些实施例中,在使用分割模型对所述待测眼底图像进行分割处理之前,所述方法还包括对所述待测眼底图像进行以下预处理中的至少一项:去除待测眼底图像中的黑色背景区域;对待测眼底图像进行直方图均衡化处理。
在第三方面中,本申请提供一种用于眼底压迹分级预测的设备,其包括:处理器,其用于执行程序指令;以及存储器,其存储有所述程序指令,当所述程序指令由所述处理器加载并执行时,使得所述处理器执行根据本申请在第一方面中任一所述的用于眼底压迹预测的分级预测模型的训练方法或者执行根据本申请在第二方面中任一所述的基于眼底图像进行压迹分级预测的方法。
在第四方面中,本申请提供一种计算机可读存储介质,其上存储有计算机可读指令,该计算机可读指令被一个或多个处理器执行时,实现如本申请在第一方面中任意一项所述的用于眼底压迹预测的分级预测模型的训练方法或者如本申请在第二方面中任一所述的基于眼底图像进行压迹分级预测的方法。
通过如上所提供的用于眼底压迹预测的分级预测方案,可以理解的是,本申请的方案中通过对基于交叉点的样本图像块赋予相应级别的标签,并使用带不同级别的标签的样本图像块来对分级预测模型进行训练,使得训练后的该分级预测模型能够用于对眼底动静脉交叉处的压迹分级预测,从而不仅可以识别动静脉交叉点处是否存在压迹现象,还能够有助于评估压迹交叉点的压迹程度。
进一步,在一些实施例中,通过获取带样本标注的眼底样本图像,并根据样本标注中标注框与眼底样本图像中各候选区域的比对结果,可以确定阳性图像块和阴性图像块,相比于仅使用阳性图像块进行训练,同时使用阴性图像块进行训练能够使得分级预测模型学习到正常交叉点的特征,从而有利于分级预测模型学习到正常交叉点和压迹交叉点之间的区别,进而更有利于训练后的分级预测模型实现对各动静脉交叉点的准确分级。
附图说明
通过参考附图阅读下文的详细描述,本申请示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本申请的若干实施方式,并且相同或对应的标号表示相同或对应的部分,其中:
图1示出了根据本申请实施例的用于眼底压迹预测的分级预测模型的训练方法流程图;
图2示出了根据本申请实施例的获取样本图像块的过程示意图;
图3示出了根据本申请实施例的基于交叉点获取样本图像块的方法流程图;
图4示出了根据本申请一个实施例的带样本标注的眼底样本图像;
图5示出了根据本申请实施例的确定阳性候选区域或阴性候选区域的示意图;
图6示出了根据本申请实施例的确定交叉点的方法流程图;
图7示出了根据本申请实施例的分割结果的可视化示意图;
图8示出了根据本申请实施例的预处理的示意图;以及
图9示出了根据本申请实施例的基于眼底图像进行压迹分级预测的方法流程图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应当理解,本申请的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的,而并不意在限定本申请。如在本申请说明书和权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解,在本申请说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本说明书和权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当... 时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
下面结合附图来详细描述本申请的具体实施方式。
图1示出了根据本申请实施例的用于眼底压迹预测的分级预测模型的训练方法流程图。如图1中所示,训练方法100可以包括:在步骤101中,可以基于眼底样本图像中动脉样本网络和静脉样本网络的交叉点,获取包含该交叉点的样本图像块。
在一些实施例中,眼底样本图像可以通过眼底相机等医学设备采集得到。在另一些实施例中,眼底样本图像可以来自于眼科医院的临床场景中收集到的。在又一些实施例中,用于训练的眼底样本图像的数量可以根据需要进行设置,例如数十张、数百张或者数千张等。
在一些实施例中,基于每张眼底样本图像可以获取至少一个样本图像块。血管的分布可以理解为是一种具有二叉树形式的网络结构,动脉样本网络和静脉样本网络之间会存在交叉重叠的位置,这样的位置可以称之为交叉点。在一些实施例中,基于交叉点获取样本图像块可以包括:基于交叉点获取感兴趣区域,将感兴趣区域从眼底样本图像中截取或者裁切出来,以得到该感兴趣区域的样本图像块。
在另一些实施例中,可以基于眼底样本图像中的每个交叉点,确定每个感兴趣区域,以获取每个感兴趣区域的样本图像块。为了便于理解,下面将结合图2进行示例性的说明。
图2示出了根据本申请实施例的获取样本图像块的过程示意图。如图2中的(a)图所示,首先,可以在眼底样本图像中确定每个感兴趣的交叉点pi(图中以圆圈示出每个交叉点pi的位置)。然后,可以以每个感兴趣的交叉点pi为中心点,确定例如长度和宽度均为L的矩形框为感兴趣区域,如图2中的(b)图中所示出的白色矩形框中的区域。通过沿每个矩形框的边缘将每个感兴趣区域截取出来,可以获得相应的样本图像块。在一些应用场景中,一个样本图像块中可以包括一个交叉点,例如图2中的(b)图中所示的感兴趣区域201中仅包括一个交叉点。在另一些应用场景中,一个样本图像块中可以包括多个交叉点,例如图2中的(b)图中所示的感兴趣区域202中包括两个交叉点。
在获得了样本图像块之后,下面返回图1继续描述。如图1中所示,训练方法100还可以包括步骤102,在步骤102中,可以根据样本图像块中交叉点处的压迹程度,对样本图像块赋予相应级别的标签。在一些实施例中,压迹程度可以包括是否有压迹以及有压迹时的压迹严重程度。在另一些实施例中,压迹程度可以包括无压迫、轻微压迫、轻度压迫、中轻度压迫、中度压迫、中重度压迫和重度压迫等中的一种或多种,通常每个交叉点可以对应其中的一种压迹程度。在一些实施例中,每个交叉点的压迹程度可以通过医师人工判断来获得。在另一些实施例中,样本图像块中每个交叉点处的压迹程度可以通过人工标注或者机器标注的方式来表示。
上文中所述的相应级别的标签可以是与压迹程度相对应的标签,用以表示压迹程度的级别,例如由低到高的压迹程度,可以对应低级别到高级别的标签。在一些实施例中,标签可以为整数型数字标签,例如0、1、2、3等,以分别用于表示不同的压迹程度,其中,标签0可以用于表示正常(即压迹程度为0,或称无压迫)、标签1可以用于表示轻度压迫、标签2可以用于表示中度压迫、标签3可以用于表示重度压迫等。
在另一些实施例中,样本图像块可以包括阳性图像块和阴性图像块;对样本图像块赋予相应级别的标签可以包括:对阴性图像块赋予阴性标签;以及根据阳性图像块中压迹交叉点的压迹程度,对阳性图像块赋予相应级别的阳性标签。具体地,阳性图像块是包括至少一个压迹交叉点的样本图像块,阴性图像块是仅包括正常交叉点(即未发生压迹)的样本图像块。
在一些实施例中,阴性标签可以是所有标签中级别最低的,即可以用于表示压迹程度为无压迫。在另一些实施例中,阴性标签可以为0。在又一些实施例中,阳性标签可以为正整数,并且可以根据不同阳性图像块中压迹交叉点的压迹程度,分别赋予不同阳性图像块不同的正整数标签,例如对于压迹程度越高的阳性图像块可以赋予更高级别的标签值。
在一些实施例中,当一个样本图像块中仅包括一个交叉点,则对该样本图像块赋予的标签对应表示该一个交叉点的压迹程度。在又一些实施例中,当一个样本图像块中包括多个交叉点时,可以根据该多个交叉点中压迹程度最大(或者可以理解为压迹程度最严重)的交叉点,确定该样本图像块的标签,即对该包括多个交叉点的样本图像块赋予的标签,是对应于该多个交叉点中最严重压迹程度的级别。
例如,在一些应用场景中,某个样本图像块中包括一个正常交叉点和一个压迹交叉点,由于压迹交叉点的压迹程度大于正常交叉点,因此可以根据该样本图像中压迹交叉点的压迹程度,确定该样本图像块对应的标签。在另一些应用场景中,某个样本图像块中包括一个轻度压迫的压迹交叉点和一个中度压迫的压迹交叉点,由于中度压迫的压迹程度比轻度压迫更严重,因此可以根据该中度压迫的压迹交叉点,确定该样本图像块的对应的标签,例如标签确定为用于表示中度压迫的正整数2,而不是用于表示轻度压迫的正整数1。
在另一些实施例中,基于一张或多张眼底样本图像获取多个样本图像块后,可以将这些样本图像块按照压迹程度进行分类,以形成用于表示不同压迹程度类别的数据集;并通过为每个类别的数据集赋予分级别的标签,来生成用于训练的带标签的训练数据集。
为了便于理解,仍以压迹程度划分为正常、轻度压迫、中度压迫和重度压迫为例进行说明。具体地,可以将仅包括正常交叉点的样本图像块组成为正常类数据集,将最高压迹程度为轻度压迫的样本图像块组成为轻度压迫类数据集,将最高压迹程度为中度压迫的样本图像块组成为中度压迫类数据集,以及将最高压迹程度为重度压迫的样本图像块组成为重度压迫类数据集。然后,将这四个类别数据集分别赋予不同级别的标签,例如对正常类数据集赋予标签0,对轻度类数据集赋予标签1、对中度类数据集赋予标签2、对重度类数据集赋予标签3。通过对数据集赋予标签,可以实现快速对相同类别的样本图像块赋予相同的标签,有利于提高赋予标签的速度和效率。
然后,流程可以前进到步骤103中,可以使用带标签的样本图像块对分级预测模型进行训练。使用带标签的样本图像块进行训练可以是将每个带标签的样本图像块输入至分级预测模型中进行训练。相比于眼底样本图像,样本图像块中包含的交叉点的数量更少,使得分级预测模型能够学习到每个样本图像块中更精细的特征,以及更关注于有限个交叉点的压迹程度学习,进而有利于提高训练后的分级预测模型对交叉点分级预测的准确性。
在一些实施例中,可以使用多个带标签的样本图像块组成的训练数据集来对分级预测模型进行有监督的训练。在另一些实施例中,可以使用带标签的样本图像块形成的训练数据集和均方误差损失函数,来对分级预测模型进行监督训练。在又一些实施例中,分级预测模型可以包括例如基于神经网络的回归模型。在一些实施例中,回归模型可以采用卷积神经网络结构。
以上结合图1和图2对根据本申请实施例的用于眼底压迹预测的分级预测模型的训练方法进行了示例性的描述,可以理解的是,通过获取样本图像块以及赋予相应级别的标签,可以使得分级预测模型不仅能够学习到交叉点的细微特征,还能够学习到不同压迹程度的交叉点的特征之间的差别,从而有利于训练后的分级预测模型对交叉点进行准确的分级预测,为交叉压迹的进展评估提供可靠的数据支持。还可以理解的是,上面的描述是示例性的而非限制性的,例如图示中每个步骤的具体实现方式可以不限于上文中所描述的实施例。为了便于理解,下面将结合图3对步骤101的一个具体实现方式进行示例性的描述。
图3示出了根据本申请实施例的基于交叉点获取样本图像块的方法流程图。通过下面的描述,可以理解的是,下面结合图3描述的方法300可以是前文中结合图1描述的步骤101的一个具体化表现形式,因此前文中关于步骤101的描述也可以适用于下面对方法300的描述中。
如图3中所示,方法300可以包括:在步骤301中,可以获取带样本标注的眼底样本图像,其中样本标注用于标识眼底样本图像中的压迹交叉点。在一些实施例中,样本标注可以通过人工标注或者机器标注的方式来实现。在一些应用场景中,带样本标注的眼底样本图像可以是从临床场景中收集到的经由医学专家人工标注的眼底样本图像。在一些实施例中,样本标注可以包括用于标识压迹交叉点的位置(或者坐标)的标注框。在另一些实施例中,样本标注还可以包括用于标识压迹交叉点的压迹程度的类别标签。在又一些实施例中,每张眼底样本图像中可以包括一个或多个样本标注。
例如,图4示出了根据本申请一个实施例的带样本标注的眼底样本图像,如图4中所示,该眼底样本图像中包括多个样本标注,其中每个样本标注包括一个标注框和该标注框中压迹交叉点所属的压迹程度类别(例如图示中的轻度压迫、中度压迫和重度压迫)。
接着,在步骤302中,可以基于眼底样本图像中动脉样本网络和静脉样本网络的一个或多个交叉点,确定眼底样本图像中相应的一个或多个候选区域。在一些实施例中,可以基于在带样本标注的眼底样本图像中检测到的每个交叉点,以每个交叉点的坐标位置为中心,确定与每个交叉点对应的候选区域。在一些实施例中,候选区域可以为预设长度和预设宽度的矩形区域,或者可以为预设半径的圆形区域等。
然后,流程可以前进到步骤303中,可以根据样本标注中标注框与各候选区域的对比结果,在各候选区域中确定阳性候选区域和阴性候选区域。在一些实施例中,步骤303可以进一步包括:可以根据每个标注框与各候选区域之间的距离,确定每个候选区域是否为阳性候选区域或者阴性候选区域。在另一些实施例中,可以根据每个标注框与各候选区域之间的相似度,确定每个候选区域是否为阳性候选区域或者阴性候选区域。阳性候选区域可以为包括压迹交叉点的候选区域。阴性候选区域可以为仅包括正常交叉点的候选区域。
在另一些实施例中,如图3中进一步示出的,步骤303可以包括:在步骤3031(虚线框示出)中,可以根据每个标注框与每个候选区域之间的交并比,确定每个候选区域是否为阳性候选区域或阴性候选区域。交并比(iou)用于表示标注框与候选区域的交集和并集之比(或称交叠率)。当任一标注框与任一候选区域之间的交并比为1时,表示二者完全重叠。当任一标注框与任一候选区域之间的交并比为0时,表示二者之间没有交集。
在又一些实施例中,步骤3031可以进一步包括:响应于存在候选区域与任一标注框之间的交并比大于或等于第一阈值,确定该候选区域为相应级别的阳性候选区域;响应于存在候选区域与任一标注框之间的交并比均小于第二阈值,确定该候选区域为阴性候选区域。具体地,可以将每个候选区域与每个标注框之间进行交并比计算,并可以将与任一标注框之间的交并比大于或等于第一阈值的候选区域,确定为与该标注框具有相同压迹程度类别的阳性候选区域(即相应级别的阳性候选区域),以便于在后续赋予标签的操作中赋予与该标注框的压迹程度类别相对应的级别的标签。进一步地,还可以将与任何标注框之间的交并比均小于第二阈值的候选区域确定为仅包括正常交叉点的阴性候选区域。
在又一些实施例中,确定该候选区域为相应级别的阳性候选区域可以进一步包括:响应于存在候选区域与多个标注框之间的交并比均大于或等于第一阈值,可以根据与该多个标注框之间的最大交并比,确定该候选区域为与最大交并比对应的标注框相应级别的阳性候选区域。
在一些实施例中,第一阈值和第二阈值可以设置的相等,例如均为0.5或者0.6或者0.4等。根据这样的设置,可以将步骤302中确定的全部候选区域划分为阳性候选区域和阴性候选区域。在另一些实施例中,第二阈值可以小于第一阈值。例如,在一些实施例中,第一阈值可以根据需要设置为0.5或0.6或0.7等,第二阈值可以设置为0.3或其他小于第一阈值的数值。
相比于第一阈值和第二阈值设置的相等,将第二阈值设置为小于第一阈值可以将一些实际应用中较难以确定阴性或阳性的候选区域筛选掉,即将交并比处于第一阈值和第二阈值之间的可信度较低的候选区域排除掉,以避免这类候选区域的样本图像块对模型训练中可能产生的不利影响,例如影响模型对真实阳性候选区域与真实阴性候选区域之间差别的学习效果。
为了进一步理解步骤3031,下面结合图5进行示例性的说明。图5示出了根据本申请实施例的确定阳性候选区域或阴性候选区域的示意图。如图5中所示,通过对该带样本标注的眼底样本图像执行方法300中的步骤302,可以得到多个候选区域(实线框示出)。然后,通过将每个标注框与每个候选区域进行交并比计算,可以在各候选区域中确定例如图示中的与压迹交叉点501(圆圈示出)的标注框的交并比大于第一阈值的候选区域504(黑色实线框示出),与压迹交叉点502(圆圈示出)的标注框的交并比大于第一阈值的候选区域505(黑色实线框示出),以及与压迹交叉点503(圆圈示出)的标注框的交并比大于第一阈值的候选区域506(黑色实线框示出)。
假设压迹交叉点501对应的压迹程度类别为轻度压迫,压迹交叉点502中压迹交叉点对应的压迹程度类别可以为中度压迫,压迹交叉点503中压迹交叉点对应的压迹程度类别可以为重度压迫,则可以确定候选区域504为对应于低度压迫级别的阳性候选区域、候选区域505为对应于中度压迫级别的阳性候选区域、以及候选区域506为对应于重度压迫级别的阳性候选区域。
进一步地,在各候选区域中还可以确定与任何标注框的交并比均小于第二阈值的多个候选区域507(白色实线框示出),从而可以将这些候选区域507均确定为阴性候选区域。
以上结合图5对根据本申请实施例的确定阳性候选区域和阴性候选区域进行了示例性的描述,可以理解的是,通过确定候选区域以及将候选区域与标注框进行对比,可以在各候选区域中筛选出阴性候选区域,从而能够为分级预测模型的训练提供阴性数据,有利于提高分级预测模型的分级训练效果。进一步地,在一些应用场景中,标注框周边可能存在基于正常交叉点确定的候选区域,可以通过将这样的候选区域与标注框进行对比来筛选出来,并作为阳性候选区域,这样的方式能够有利于扩充和增强用于训练的阳性数据,从而更有利于分级预测模型的训练。
在确定了阳性候选区域和阴性候选区域之后,可以返回图3继续执行步骤304。在步骤304中,可以基于阳性候选区域和阴性候选区域,获取包含阳性候选区域的阳性图像块和包含阴性候选区域的阴性图像块。具体地,可以将每个阳性候选区域分别进行块图像的裁剪保存,以生成每个包含相应阳性候选区域的阳性图像块。可以将每个阴性候选区域分别进行块图像的裁剪保存,以生成每个包含相应阴性候选区域的阳性图像块。
以上结合图3对根据本申请实施例的获取样本图像块的实现方式进行了示例性的描述,可以理解的是,上面的描述是示例性的而非限制性地,例如步骤303中可以不限于根据交并比与阈值比较的方式确定阳性候选区域和阴性候选区域,也可以根据上述距离与一个或多个距离阈值比较的方式确定阳性候选区域和阴性候选区域,或者可以根据上述相似度与一个或多个相似度阈值比较的方式确定阳性候选区域和阴性候选区域,比较的方式与前文中描述的交并比与第一阈值和第二阈值比较的方式类似,此处不再赘述。
还可以理解的是,根据本申请实施例的训练方法可以不限于仅包括图1和图3所描述的步骤,还可以包括其他步骤。例如,在图1中所示的步骤101之前或者在图3中所示的步骤302之前,还可以包括对眼底样本图像进行分割处理,以确定动脉样本网络和静脉样本网络的交叉点的步骤。下面将结合图6进行示例性的说明。
图6示出了根据本申请实施例的确定交叉点的方法流程图。如图6中所示,方法600可以包括:在步骤601中,可以使用分割模型对眼底样本图像进行分割处理,以得到连续的动脉样本网络和连续的静脉样本网络。在一些实施例中,分割模型可以包括U型连接的全卷积神经网络(例如unet基础网络)和二分类分支网络,其中unet基础网络用于特征提取,以输出特征图;二分类分支网络包括第一分支和第二分支,第一分支和第二分支用于基于特征图分别输出动脉分割结果和静脉分割结果,即第一分支和第二分支分别负责一个类别的二分类结果。在另一些实施例中,二分类分支网络可以采用sigmoid激活函数。
对于采用输出层共享参数且使用多类别的softmax激活函数的分割网络,其不具体区分动静脉,且所输出的血管网络会因动静脉局部相互遮挡而导致拓扑结构不连续。本申请方案中的unet基础网络可以采用传统unet的网络结构和参数来进行特征的提取,然后利用二分类分支网络对unet基础网络输出的特征图进行识别,从而实现对动脉样本网络和静脉样本网络的单独分割。由此,可以有效规避局部动静脉相互遮挡所产生的影响等情况,从而能够得到连续的动脉样本网络和静脉样本网络。
在另一些实施例中,对上述包括unet基础网络和二分类分支网络的分割模型进行训练时,可以通过对用于训练的眼底图像中的动脉和静脉分别标注,具体可以在动静脉交叉重叠的地方,同时标注动脉和静脉的前景信息,然后使用带分别标注的用于训练的眼底图像进行监督训练。另外,在因拍摄因素或生理上部分血管未显露在视网膜上等情况导致眼底图像中出现局部缺失时,可以根据对血管走向认识的经验补上这部分标注。
通过对分割得到的连续的动脉样本网络和连续的静脉样本网络进行可视化,可以显示为例如图7中所示的分割结果。如图7中所示,颜色较深的血管网络为连续的动脉样本网络701,颜色较浅的血管网络为连续的静脉样本网络702。
在得到连续的动脉样本网络和连续的静脉样本网络之后,可以返回图6继续描述。在步骤602中,可以对连续的动脉样本网络进行骨架提取,以得到连续的动脉样本骨架。可以采用现有的或者未来可实现的骨架提取技术对连续的动脉样本网络进行骨架提取。可以理解的是,由于是对连续的动脉样本网络进行骨架提取,因此可以得到连续的动脉样本骨架。在一些实施例中,动脉样本骨架可以表示为中心线,或称骨架线。在另一些实施例中,可以对分割得到的连续的动脉样本掩膜进行骨架提取,以得到连续的动脉样本骨架掩膜。
同时,在步骤603中,可以对连续的静脉样本网络进行骨架提取,以得到连续的静脉样本骨架。可以采用现有的或者未来可实现的骨架提取技术对连续的静脉样本网络进行骨架提取。可以理解的是,由于是对连续的静脉样本网络进行骨架提取,因此可以得到连续的静脉样本骨架。在一些实施例中,静脉样本骨架可以表示为中心线,或称骨架线。在另一些实施例中,可以对分割得到的连续的静脉样本掩膜进行骨架提取,以得到连续的静脉样本骨架掩膜。步骤603可以与步骤602同时执行,或者根据需要先后执行。
然后,流程可以前进到步骤604中,可以根据动脉样本骨架与静脉样本骨架之间的交点,确定动脉样本网络和静脉样本网络的交叉点。在一些实施例中,可以将动脉样本骨架与静脉样本骨架之间的全部交点,均确定为用于后续处理的交叉点。在另一些实施例中,可以在动脉样本骨架与静脉样本骨架之间的全部交点中确定有效交点,以便将该有效交点确定为用于后续处理的交叉点。在又一些实施例中,可以根据有效动脉样本骨架与有效静脉样本骨架之间的交点,确定用于后续处理的交叉点。
在又一些实施例中,步骤604可以包括:在步骤6041(虚线框示出)中,可以基于动脉样本骨架,确定动脉样本网络中各中心点处的动脉管径值和动脉样本网络的平均动脉管径值。基于动脉样本骨架,可以确定动脉样本网络中的各中心点。在一些实施例中,可以通过计算各中心点与背景之间的距离,确定各中心点处的动脉管径值。在另一些实施例中,可以使用OPENCV中的distanceTransform()函数得到各中心点处的动脉管径值。在又一些实施例中,可以通过计算动脉样本网络中各中心点处的动脉管径值的平均值,确定平均动脉管径值。
接着,在步骤6042(虚线框示出)中,可以根据动脉样本网络中动脉管径值大于平均动脉管径值的动脉部分,确定有效动脉样本骨架。即,可以将动脉样本网络中动脉管径值大于平均动脉管径值的动脉部分的骨架,确定为有效动脉样本骨架。根据这样的设置,可以有效去除动脉样本网络中的毛细血管产生的骨架部分,不仅能够有利于减少后续确定的交叉点的数量以降低数据处理量以及压迹判断的难度,还由于临床上通常不会考虑毛细血管是否存在交叉压迹,因此去除毛细血管的影响也符合实际应用需求。
然后,流程可以前进到步骤6043(虚线框示出)中,可以基于静脉样本骨架,确定静脉样本网络中各中心点处的静脉管径值和静脉样本网络的平均静脉管径值。基于静脉样本骨架,可以确定静脉样本网络中的各中心点。在一些实施例中,可以通过计算各中心点与背景之间的距离,确定各中心点处的静脉管径值。在另一些实施例中,可以使用OPENCV中的distanceTransform()函数得到各中心点处的静脉管径值。在又一些实施例中,可以通过计算静脉样本网络中各中心点处的静脉管径值的平均值,确定平均静脉管径值。
进一步地,在步骤6044(虚线框示出)中,可以根据静脉样本网络中静脉管径值大于平均静脉管径值的静脉部分,确定有效静脉样本骨架。即,可以将静脉样本网络中静脉管径值大于平均静脉管径值的静脉部分的骨架,确定为有效静脉样本骨架。根据这样的设置,可以有效去除静脉样本网络中的毛细血管产生的骨架部分,不仅能够有利于减少后续确定的交叉点的数量以降低数据处理量以及压迹判断的难度,还由于临床上通常不会考虑毛细血管是否存在交叉压迹,因此去除毛细血管的影响也符合实际应用需求。步骤6043和步骤6044可以不限于图示中的在步骤6041和步骤6042之后执行,也可以根据需要与步骤6041和步骤6042同步执行。
如图6中进一步示出的,步骤604还进一步包括步骤6045(虚线框示出),在步骤6045中,可以将有效动脉样本骨架与有效静脉样本骨架之间的交点确定为交叉点。在一些实施例中,由于有效动脉样本骨架与有效静脉样本骨架是相互独立的连续骨架结构,并且依据交叉压迹是仅出现在动脉和静脉的血管交汇点的特性,可以通过计算有效动脉样本骨架与有效静脉样本骨架之间的交点,来确定交叉点。
具体地,在一些实施例中,步骤6045可以进一步包括:获取有效动脉样本骨架的第一掩膜样本图;获取有效静脉样本骨架的第二掩膜样本图;将第一掩模样本图和第二掩膜样本图中相应像素点的像素值进行叠加,以得到每个像素点的叠加像素值;以及将叠加像素值大于或等于像素值阈值的像素点确定为交叉点。
这里的掩膜可以理解为是用选定的图像、图形或物体,对处理的图像(全部或局部)进行遮挡,来控制图像处理的区域或处理过程。掩膜样本图具体可以通过一些通用的图像掩膜模型来获取。在交叉点的确定过程中,通过利用各样本骨架的掩膜样本图可以屏蔽图像中一些不参与处理的区域或参数,有利于提高确定交叉点的精准度与效率。
在一些实施例中,可以基于分割得到的动脉样本网络的掩模图,来获取有效动脉样本骨架的第一掩膜样本图。在另一些实施例中,可以基于分割得到的静脉样本网络的掩模图,来获取有效静脉样本骨架的第二掩膜样本图。在又一些实施例中,掩膜样本图可以为二值化图像,例如将前景的像素值置为1,以及将背景的像素值置为0。
在获得第一掩膜样本图和第二掩膜样本图之后,可以将二者相应位置坐标上的像素点的像素值进行叠加。例如,在同一位置的像素点上,第一掩膜样本图中的像素值为1,第二掩膜样本图中的像素值为1,则该位置像素点上的叠加像素值为2。还例如,在同一位置的像素点上,第一掩膜样本图中的像素值为0,第二掩膜样本图中的像素值为0,则该位置像素点上的叠加像素值为0。再例如,在同一位置的像素点上,第一掩膜样本图和第二掩膜样本图二者中的一个的像素值为1,另一个为0,则该位置像素点上的叠加像素值为1。基于此,可以得到每个像素点上的叠加像素值。
在一些实施例中,像素值阈值可以设置为1,可以将叠加像素值大于1的像素点确定为交叉点。在另一些实施例中,像素值阈值可以设置为2,可以将叠加像素值大于或等于2的像素点确定为交叉点。
可以理解的是,由于根据本申请实施例中的动脉样本网络和静脉样本网络均是连续的,因此依据交叉压迹是仅出现在动脉和静脉的血管交汇点的特性,可以通过叠加像素值的方式实现交叉点的确定。对于非连续的分割结果,由于动静脉的交点处的像素值不是相互独立的,因此不能通过进行像素值的叠加来确定交叉点,而需要通过例如骨架端点判断或者分叉点判断等方式来实现。相比较而言,根据本申请实施例的基于叠加像素值进行交叉点的判断,计算过程更加简单,有利于提高查找交叉点的速度和效率,并且准确率更高。
以上结合图6对根据本申请实施例的确定交叉点的实现方式进行了示例性的描述,可以理解的是,当方法600与方法300结合使用时,可以是对带样本标注的眼底样本图像进行分割处理等。还可以理解的是,上面的描述是示例性的而非限制性的,例如,步骤601可以不限于是对眼底样本图像直接进行分割处理,也可以是对预处理后的眼底样本图像进行分割处理。
具体地,在一些实施例中,在使用分割模型对眼底样本图像进行分割处理之前,根据本申请实施例的训练方法还可以包括对眼底样本图像进行以下预处理中的至少一项:去除眼底样本图像中的黑色背景区域;对眼底样本图像进行直方图均衡化处理。去除黑色背景区域可以基于像素值判断的方式实现,例如可以从眼底样本图像的上、下、左、右四个边界分别向图像中心逐行或逐列进行像素值判断,如果整行或者整列都是黑色像素,则去除该行或该列。去除黑色背景区域可以在保留有效区域的基础上,有效减小眼底样本图像的尺寸,从而有利于降低后续处理的数据量。直方图均衡化处理是图像处理领域中利用图像直方图对对比度进行调整的方法。
图8示出了根据本申请实施例的预处理的示意图。如图8中所示,可以对例如图示中的眼底图像801进行去除黑色背景区域和直方图均衡化处理,以得到例如图示中的预处理后的眼底图像802。可以看出,相比于眼底图像801,预处理后的眼底图像802中有效区域的占比更大,对比度更好。
图9示出了根据本申请实施例的基于眼底图像进行压迹分级预测的方法流程图。如图9中所示,方法900可以包括:在步骤901中,可以基于待测眼底图像中动脉网络和静脉网络的目标交叉点,获取包含该目标交叉点的目标图像块。在一些实施例中,待测眼底图像可以通过例如眼底相机等设备采集得到。
在另一些实施例中,基于每张待测眼底图像可以获取一个或多个目标图像块。在又一些实施例中,可以将待测眼底图像中的全部交叉点均确定为目标交叉点。在一些实施例中,可以将待测眼底图像中感兴趣的交叉点确定为目标交叉点。在另一些实施例中,可以将待测眼底图像中的有效交叉点确定为目标交叉点。在又一些实施例中,可以基于每个目标交叉点确定每个感兴趣区域,并通过对感兴趣区域进行裁切以获得目标图像块,该过程与前文中结合图2描述的示例过程类似,此处不再赘述。
步骤901中获取目标图像块的方式与前文中结合图1的步骤101的实现过程可以类似,此处不再赘述。
接着,在步骤902中,可以使用前文中结合图1-图8中任一所描述的训练方法训练后的分级预测模型对目标图像块进行压迹分级预测,以得到目标交叉点处的压迹分级结果。在一些实施例中,压迹分级结果可以包括用于表示目标交叉点处的压迹程度的压迹分数。在另一些实施例中,压迹分数可以为训练时所使用的标签范围内的数值。
例如,假设对分级预测模型进行训练时所使用的的标签为0~3之间的整数数值,则训练后的分级预测模型输出的压迹分级结果可以包括0~3之间的浮点数值。在一些应用场景中,压迹分级结果中的压迹分数越高,表示相应目标交叉点处的预测压迹程度越大;压迹分级结果中的压迹分数越低,表示相应目标交叉点处的预测压迹程度越小。
在另一些实施例中,在得到压迹分级结果之后,可以基于阈值判断规则来判断目标交叉点是否为阴性目标(即正常交叉点)或者阳性目标(即压迹交叉点)。例如,假设判断阈值设置为1,则可以将压迹分级结果小于1的目标交叉点确定为阴性目标,还可以将压迹分级结果大于1的目标交叉点确定为阳性目标,并基于压迹分级结果的具体数值大小,来确定阳性目标的预测压迹程度。
在一些实施例中,在基于目标交叉点获取目标图像块之前,方法900还可以包括:使用分割模型对待测眼底图像进行分割处理,以得到连续的动脉网络和连续的静脉网络;对连续的动脉网络进行骨架提取,以得到连续的动脉骨架;对连续的静脉网络进行骨架提取,以得到连续的静脉骨架;以及根据动脉骨架与静脉骨架之间的交点,确定动脉网络和静脉网络的目标交叉点。
在另一些实施例中,根据动脉骨架与静脉骨架之间的交点确定目标交叉点可以包括:基于动脉骨架,确定动脉网络中各中心点处的动脉管径值和动脉网络的平均动脉管径值;根据动脉网络中动脉管径值大于平均动脉管径值的动脉部分,确定有效动脉骨架;基于静脉骨架,确定静脉网络中各中心点处的静脉管径值和静脉网络的平均静脉管径值;根据静脉网络中静脉管径值大于平均静脉管径值的静脉部分,确定有效静脉骨架;以及将有效动脉骨架与有效静脉骨架之间的交点确定为目标交叉点。
在又一些实施例中,将有效动脉骨架与有效静脉骨架之间的交点确定为目标交叉点可以进一步包括:获取有效动脉骨架的第一掩膜图;获取有效静脉骨架的第二掩膜图;将第一掩模图和第二掩膜图中相应像素点的像素值进行叠加,以得到每个像素点的叠加像素值;以及将叠加像素值大于像素值阈值的像素点确定为目标交叉点。
在一些实施例中,在使用分割模型对待测眼底图像进行分割处理之前,方法900还可以包括对待测眼底图像进行以下预处理中的至少一项:去除待测眼底图像中的黑色背景区域;对待测眼底图像进行直方图均衡化处理。
以上所述的确定目标交叉点的实施方式可以与前文中结合图6-图8中描述的训练过程中确定交叉点的实现方式相类似,此处不再赘述。
进一步地,本申请还提供一种用于眼底压迹分级预测的设备,其可以包括:处理器,其用于执行程序指令;以及存储器,其可以存储有该程序指令,当该程序指令由处理器加载并执行时,使得处理器执行根据前文结合图1-图8中任一所描述的用于眼底压迹预测的分级预测模型的训练方法,或者可以执行前文中结合图9所描述的基于眼底图像进行压迹分级预测的方法。
例如,该设备可以执行对眼底图像的动静脉分割、交叉点的检测、以及分级预测模型的训练等。在一些实施场景中,设备可以包括具有图像处理功能的设备(例如电脑、PC、图像分析仪等终端设备等)。在实际应用中,设备可以由具有上述多种功能的一台设备来构成,也可以由多台具有部分功能的设备组合构成。本申请的方案对设备可具备的结构设计并不进行限制。
还应当理解,本申请示例的执行操作的主体(例如设备、模块或组件等)可以包括或以其他方式访问计算机可读介质,诸如存储介质、计算机存储介质或数据存储设备(可移除的)和/或不可移动的)例如磁盘、光盘或磁带。计算机存储介质可以包括以用于存储信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质,例如计算机可读指令、数据结构、程序模块或其他数据。基于此,本申请也提供了一种计算机可读存储介质,其上存储有计算机可读指令,该计算机可读指令被一个或多个处理器执行时,实现如前文结合图1-图8中任意一项所述的用于眼底压迹预测的分级预测模型的训练方法或者如前文中结合图9所述的基于眼底图像进行压迹分级预测的方法。
虽然本文已经示出和描述了本申请的多个实施例,但对于本领域技术人员显而易见的是,这样的实施例只是以示例的方式来提供。本领域技术人员可以在不偏离本申请思想和精神的情况下想到许多更改、改变和替代的方式。应当理解的是在实践本申请的过程中,可以采用对本文所描述的本申请实施例的各种替代方案。所附权利要求书旨在限定本申请的保护范围,并因此覆盖这些权利要求范围内的等同或替代方案。

Claims (19)

1.一种用于眼底压迹预测的分级预测模型的训练方法,其特征在于,包括:
基于眼底样本图像中动脉样本网络和静脉样本网络的交叉点,获取包含所述交叉点的样本图像块;
根据所述样本图像块中交叉点处的压迹程度,对所述样本图像块赋予相应级别的标签;以及
使用带所述标签的样本图像块对分级预测模型进行训练。
2.根据权利要求1所述的训练方法,其特征在于,基于交叉点获取样本图像块包括:
获取带样本标注的眼底样本图像,其中所述样本标注用于标识所述眼底样本图像中的压迹交叉点;
基于所述眼底样本图像中动脉样本网络和静脉样本网络的一个或多个交叉点,确定所述眼底样本图像中相应的一个或多个候选区域;
根据所述样本标注中标注框与各候选区域的对比结果,在各候选区域中确定阳性候选区域和阴性候选区域;以及
基于所述阳性候选区域和所述阴性候选区域,获取包含阳性候选区域的阳性图像块和包含阴性候选区域的阴性图像块。
3.根据权利要求2所述的训练方法,其特征在于,在基于交叉点确定候选区域之前,所述训练方法还包括:
使用分割模型对所述眼底样本图像进行分割处理,以得到连续的动脉样本网络和连续的静脉样本网络;
对所述连续的动脉样本网络进行骨架提取,以得到连续的动脉样本骨架;
对所述连续的静脉样本网络进行骨架提取,以得到连续的静脉样本骨架;以及
根据动脉样本骨架与静脉样本骨架之间的交点,确定动脉样本网络和静脉样本网络的交叉点。
4.根据权利要求3所述的训练方法,其特征在于,根据动脉样本骨架与静脉样本骨架之间的交点确定交叉点包括:
基于所述动脉样本骨架,确定所述动脉样本网络中各中心点处的动脉管径值和所述动脉样本网络的平均动脉管径值;
根据动脉样本网络中动脉管径值大于平均动脉管径值的动脉部分,确定有效动脉样本骨架;
基于所述静脉样本骨架,确定所述静脉样本网络中各中心点处的静脉管径值和所述静脉样本网络的平均静脉管径值;
根据静脉样本网络中静脉管径值大于平均静脉管径值的静脉部分,确定有效静脉样本骨架;以及
将有效动脉样本骨架与有效静脉样本骨架之间的交点确定为所述交叉点。
5.根据权利要求4所述的训练方法,其特征在于,将有效动脉样本骨架与有效静脉样本骨架之间的交点确定为交叉点进一步包括:
获取所述有效动脉样本骨架的第一掩膜样本图;
获取所述有效静脉样本骨架的第二掩膜样本图;
将所述第一掩模样本图和所述第二掩膜样本图中相应像素点的像素值进行叠加,以得到每个像素点的叠加像素值;以及
将叠加像素值大于或等于像素值阈值的像素点确定为所述交叉点。
6.根据权利要求2-5任一所述的训练方法,其特征在于,根据标注框与各候选区域的对比结果,确定阳性候选区域和阴性候选区域包括:
根据每个标注框与每个候选区域之间的交并比,确定每个候选区域是否为所述阳性候选区域或所述阴性候选区域。
7.根据权利要求6所述的训练方法,其特征在于,根据交并比确定阳性候选区阈或阴性候选区域包括:
响应于存在候选区域与任一标注框之间的交并比大于或等于第一阈值,确定该候选区域为相应级别的阳性候选区域;
响应于存在候选区域与任一标注框之间的交并比均小于第二阈值,确定该候选区域为阴性候选区域。
8.根据权利要求7所述的训练方法,其特征在于,所述第二阈值小于所述第一阈值。
9.根据权利要求1-5任一所述的训练方法,其特征在于,所述样本图像块包括阳性图像块和阴性图像块;
对所述样本图像块赋予相应级别的标签包括:
对所述阴性图像块赋予阴性标签;以及
根据所述阳性图像块中压迹交叉点的压迹程度,对所述阳性图像块赋予相应级别的阳性标签。
10.根据权利要求9所述的训练方法,其特征在于,所述阴性标签为0,所述阳性标签为正整数。
11.根据权利要求3-5任一所述的训练方法,其特征在于,在使用分割模型对所述眼底样本图像进行分割处理之前,所述训练方法还包括对所述眼底样本图像进行以下预处理中的至少一项:
去除眼底样本图像中的黑色背景区域;
对眼底样本图像进行直方图均衡化处理。
12.根据权利要求1-5任一所述的训练方法,其特征在于,所述分级预测模型包括基于神经网络的回归模型。
13.一种基于眼底图像进行压迹分级预测的方法,其特征在于,包括:
基于待测眼底图像中动脉网络和静脉网络的目标交叉点,获取包含所述目标交叉点的目标图像块;以及
使用经由权利要求1-12任一所述的训练方法训练后的分级预测模型对所述目标图像块进行压迹分级预测,以得到所述目标交叉点处的压迹分级结果。
14.根据权利要求13所述的方法,其特征在于,在基于目标交叉点获取目标图像块之前,所述方法还包括:
使用分割模型对所述待测眼底图像进行分割处理,以得到连续的动脉网络和连续的静脉网络;
对所述连续的动脉网络进行骨架提取,以得到连续的动脉骨架;
对所述连续的静脉网络进行骨架提取,以得到连续的静脉骨架;以及
根据动脉骨架与静脉骨架之间的交点,确定动脉网络和静脉网络的目标交叉点。
15.根据权利要求14所述的方法,其特征在于,根据动脉骨架与静脉骨架之间的交点确定目标交叉点包括:
基于所述动脉骨架,确定所述动脉网络中各中心点处的动脉管径值和所述动脉网络的平均动脉管径值;
根据动脉网络中动脉管径值大于平均动脉管径值的动脉部分,确定有效动脉骨架;
基于所述静脉骨架,确定所述静脉网络中各中心点处的静脉管径值和所述静脉网络的平均静脉管径值;
根据静脉网络中静脉管径值大于平均静脉管径值的静脉部分,确定有效静脉骨架;以及
将有效动脉骨架与有效静脉骨架之间的交点确定为所述目标交叉点。
16.根据权利要求15所述的方法,其特征在于,将有效动脉骨架与有效静脉骨架之间的交点确定为目标交叉点进一步包括:
获取所述有效动脉骨架的第一掩膜图;
获取所述有效静脉骨架的第二掩膜图;
将所述第一掩模图和所述第二掩膜图中相应像素点的像素值进行叠加,以得到每个像素点的叠加像素值;以及
将叠加像素值大于或等于像素值阈值的像素点确定为所述目标交叉点。
17.根据权利要求14-16任一所述的方法,其特征在于,在使用分割模型对所述待测眼底图像进行分割处理之前,所述方法还包括对所述待测眼底图像进行以下预处理中的至少一项:
去除待测眼底图像中的黑色背景区域;
对待测眼底图像进行直方图均衡化处理。
18. 一种用于眼底压迹分级预测的设备,其特征在于,包括:
处理器,其用于执行程序指令;以及
存储器,其存储有所述程序指令,当所述程序指令由所述处理器加载并执行时,使得所述处理器执行根据权利要求1-12任一所述的用于眼底压迹预测的分级预测模型的训练方法或者执行根据权利要求13-17任一所述的基于眼底图像进行压迹分级预测的方法。
19.一种计算机可读存储介质,其特征在于,其上存储有计算机可读指令,该计算机可读指令被一个或多个处理器执行时,实现如权利要求1-12中任意一项所述的用于眼底压迹预测的分级预测模型的训练方法或者如权利要求13-17任一所述的基于眼底图像进行压迹分级预测的方法。
CN202211413605.4A 2022-11-11 2022-11-11 分级预测模型的训练方法、分级预测的方法及相关产品 Active CN115457038B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211413605.4A CN115457038B (zh) 2022-11-11 2022-11-11 分级预测模型的训练方法、分级预测的方法及相关产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211413605.4A CN115457038B (zh) 2022-11-11 2022-11-11 分级预测模型的训练方法、分级预测的方法及相关产品

Publications (2)

Publication Number Publication Date
CN115457038A true CN115457038A (zh) 2022-12-09
CN115457038B CN115457038B (zh) 2023-08-22

Family

ID=84295461

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211413605.4A Active CN115457038B (zh) 2022-11-11 2022-11-11 分级预测模型的训练方法、分级预测的方法及相关产品

Country Status (1)

Country Link
CN (1) CN115457038B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63157287A (ja) * 1986-12-20 1988-06-30 Ricoh Co Ltd 文字パタ−ン抽出方法
WO2001030235A1 (fr) * 1999-10-22 2001-05-03 Bml, Inc. Dispositif de detection de l'arteriosclerose, et procede d'utilisation correspondant
CN101556532A (zh) * 2008-04-08 2009-10-14 宏碁股份有限公司 光标位置定位方法及装置
CN111861999A (zh) * 2020-06-24 2020-10-30 北京百度网讯科技有限公司 动静脉交叉压迫征的检测方法、装置、电子设备及可读存储介质
CN112233789A (zh) * 2020-10-12 2021-01-15 辽宁工程技术大学 一种区域特征融合的高血压视网膜病变分类方法
CN113576399A (zh) * 2021-08-02 2021-11-02 北京鹰瞳科技发展股份有限公司 一种糖网分析方法、系统以及电子设备
CN113744271A (zh) * 2021-11-08 2021-12-03 四川大学 基于神经网络的视神经自动分割和受压迫程度测算方法
CN113920077A (zh) * 2021-09-30 2022-01-11 北京鹰瞳科技发展股份有限公司 一种训练眼底图像分割模型的方法以及动静脉分割方法
US20220036561A1 (en) * 2020-07-30 2022-02-03 Infervision Medical Technology Co., Ltd. Method for image segmentation, method for training image segmentation model
CN114359284A (zh) * 2022-03-18 2022-04-15 北京鹰瞳科技发展股份有限公司 用于对视网膜眼底图像进行分析的方法及其相关产品
CN114387219A (zh) * 2021-12-17 2022-04-22 依未科技(北京)有限公司 眼底动静脉交叉压迫特征的检测方法、装置、介质及设备
CN114387218A (zh) * 2021-12-17 2022-04-22 依未科技(北京)有限公司 基于视计算的眼底特征的识别方法、装置、介质和设备
CN114937086A (zh) * 2022-07-19 2022-08-23 北京鹰瞳科技发展股份有限公司 多图像目标检测的训练方法、检测方法及相关产品

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63157287A (ja) * 1986-12-20 1988-06-30 Ricoh Co Ltd 文字パタ−ン抽出方法
WO2001030235A1 (fr) * 1999-10-22 2001-05-03 Bml, Inc. Dispositif de detection de l'arteriosclerose, et procede d'utilisation correspondant
CN101556532A (zh) * 2008-04-08 2009-10-14 宏碁股份有限公司 光标位置定位方法及装置
CN111861999A (zh) * 2020-06-24 2020-10-30 北京百度网讯科技有限公司 动静脉交叉压迫征的检测方法、装置、电子设备及可读存储介质
US20220036561A1 (en) * 2020-07-30 2022-02-03 Infervision Medical Technology Co., Ltd. Method for image segmentation, method for training image segmentation model
CN112233789A (zh) * 2020-10-12 2021-01-15 辽宁工程技术大学 一种区域特征融合的高血压视网膜病变分类方法
CN113576399A (zh) * 2021-08-02 2021-11-02 北京鹰瞳科技发展股份有限公司 一种糖网分析方法、系统以及电子设备
CN113920077A (zh) * 2021-09-30 2022-01-11 北京鹰瞳科技发展股份有限公司 一种训练眼底图像分割模型的方法以及动静脉分割方法
CN113744271A (zh) * 2021-11-08 2021-12-03 四川大学 基于神经网络的视神经自动分割和受压迫程度测算方法
CN114387219A (zh) * 2021-12-17 2022-04-22 依未科技(北京)有限公司 眼底动静脉交叉压迫特征的检测方法、装置、介质及设备
CN114387218A (zh) * 2021-12-17 2022-04-22 依未科技(北京)有限公司 基于视计算的眼底特征的识别方法、装置、介质和设备
CN114359284A (zh) * 2022-03-18 2022-04-15 北京鹰瞳科技发展股份有限公司 用于对视网膜眼底图像进行分析的方法及其相关产品
CN114937086A (zh) * 2022-07-19 2022-08-23 北京鹰瞳科技发展股份有限公司 多图像目标检测的训练方法、检测方法及相关产品

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张恒义等: "视网膜动静脉血管交叉征的定量分析", 《浙江大学学报(工学版)》, no. 03, 25 March 2000 (2000-03-25) *
黄祚继,王春林,孙金彦,董丹丹, 中国科学技术大学出版社 *
黄祚继,王春林,孙金彦,董丹丹, 中国科学技术大学出版社, pages: 140 - 142 *

Also Published As

Publication number Publication date
CN115457038B (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
CN111899245B (zh) 图像分割、模型的训练方法及装置,电子设备及存储介质
CN111815599B (zh) 一种图像处理方法、装置、设备及存储介质
WO2022063198A1 (zh) 一种肺部图像处理方法、装置及设备
CN112716446B (zh) 高血压性视网膜病变的病变特征的测量方法及测量系统
CN111369528B (zh) 基于深度卷积网络的冠状动脉血管造影图像狭窄区域标示方法
CN112734785B (zh) 亚像素级眼底血管边界确定的方法、装置、介质和设备
US11972571B2 (en) Method for image segmentation, method for training image segmentation model
CN112489060B (zh) 一种用于肺炎病灶分割的系统及方法
CN112734828B (zh) 一种眼底血管中心线确定的方法、装置、介质和设备
Zhao et al. Retinal vascular junction detection and classification via deep neural networks
CN113240684B (zh) 对提取出含冠脉中心线的掩膜数据转换为中心线点集方法
CN114359284B (zh) 用于对视网膜眼底图像进行分析的方法及其相关产品
CN112991365A (zh) 一种冠状动脉分割方法、系统及存储介质
CN115063425A (zh) 基于读片知识图谱的结构化检查所见生成方法及系统
CN116188485A (zh) 图像处理方法、装置、计算机设备和存储介质
CN113889238B (zh) 一种图像识别方法、装置、电子设备及存储介质
CN113537026B (zh) 建筑平面图中的图元检测方法、装置、设备及介质
CN113935961A (zh) 一种鲁棒性乳腺钼靶mlo视角图像胸肌分割方法
CN113096080A (zh) 图像分析方法及系统
CN112418299A (zh) 冠状动脉分割模型训练方法、冠状动脉分割方法、及装置
CN116563305A (zh) 一种血管的异常区域的分割方法、装置及电子设备
CN115457038A (zh) 分级预测模型的训练方法、分级预测的方法及相关产品
CN116664592A (zh) 基于图像的动静脉血管分离方法、装置、电子设备及介质
Shi et al. FreeCOS: self-supervised learning from fractals and unlabeled images for curvilinear object segmentation
CN115908418A (zh) 一种主动脉ct图像中心线确定方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant