CN114255875A - 用于评估肾病风险的方法、装置、系统和计算机可读存储介质 - Google Patents

用于评估肾病风险的方法、装置、系统和计算机可读存储介质 Download PDF

Info

Publication number
CN114255875A
CN114255875A CN202210190519.5A CN202210190519A CN114255875A CN 114255875 A CN114255875 A CN 114255875A CN 202210190519 A CN202210190519 A CN 202210190519A CN 114255875 A CN114255875 A CN 114255875A
Authority
CN
China
Prior art keywords
fundus image
kidney disease
fundus
image
serum creatinine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210190519.5A
Other languages
English (en)
Other versions
CN114255875B (zh
Inventor
熊健皓
付萌
田园
赵昕
和超
张大磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Airdoc Technology Co Ltd
Original Assignee
Beijing Airdoc Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Airdoc Technology Co Ltd filed Critical Beijing Airdoc Technology Co Ltd
Priority to CN202210190519.5A priority Critical patent/CN114255875B/zh
Publication of CN114255875A publication Critical patent/CN114255875A/zh
Application granted granted Critical
Publication of CN114255875B publication Critical patent/CN114255875B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明提供一种用于评估肾病风险的方法、装置、系统和计算机可读存储介质,其中所述装置包括:处理器;以及存储器,其存储有用于评估肾病风险的程序指令,当程序指令由所述处理器运行时,使得装置执行以下操作:获取待评估肾病风险的眼底图像;将眼底图像输入至肾病风险预测模型中,以确定该眼底图像所反映的肾病风险水平,其中肾病风险预测模型基于深度学习神经网络模型构建,并且经由用于训练的眼底图像和对应的血清肌酐估算肾小球滤过率训练而获得。利用本发明的方案,可以通过分析眼底图像来实现无创地对肾病风险进行评估,从而相对于现有技术显著简化评估的复杂度并提升了评估的准确性。

Description

用于评估肾病风险的方法、装置、系统和计算机可读存储介质
技术领域
本发明一般地涉及图像分析领域。更具体地,本发明涉及一种用于基于眼底图像评估肾病风险的方法、装置、系统和计算机可读存储介质。
背景技术
当前对肾病风险(例如慢性肾炎)的评估指标和标准有很多,而绝大部分的标准都是基于有创的测试进行评估。就具体的评估指标而言,当前有白白尿、尿沉渣异常、小管相关病变、组织学异常、影像学所结构异常、移植病史、GFR(“Glomerular Filtration Rate”,即血清肌酐估算肾小球滤过率)和eGFR(“estimated Glomerular Filtration Rate”,即估计的血清肌酐估算肾小球滤过率)等相关指标。此类基于评估标准的评估方法的缺点是有创、需要专业医学辅助、且测试时间周期长。因此,如何克服现有技术中的评估缺陷,从而提供无创和高效的评估方案成为亟需解决的技术问题。
发明内容
为了解决上述的技术问题,本发明提供了一种基于眼底影像无创评估肾病(例如慢性肾病)风险的方案。特别地,本发明通过预测模型并结合GFR或eGFR的评估指标来对肾病风险进行预测,从而实现对肾病风险的无创和有效评估。为此,本发明在如下的多个方面提供解决方案。
在第一方面中,本发明提供一种用于评估肾病风险的装置,包括:处理器;以及存储器,其存储有用于评估肾病风险的程序指令,当程序指令由处理器运行时,使得装置执行以下操作:获取待评估肾病风险的眼底图像;将眼底图像输入至肾病风险预测模型中,以确定该眼底图像所反映的肾病风险水平,其中肾病风险预测模型基于深度学习神经网络模型构建,并且经由用于训练的眼底图像和对应的血清肌酐估算肾小球滤过率训练而获得。
在一个实施例中,当程序指令由处理器运行时,还使得装置执行以下操作:对眼底图像执行预处理;以及将经预处理后的眼底图像输入至肾病风险预测模型中,以得到预测的血清肌酐估算肾小球滤过率。
在一个实施例中,当所述程序指令由所述处理器运行时,还使得所述装置在对眼底图像执行预处理中执行以下操作:对眼底图像执行基于图像处理的数据增强操作和/或对眼底图像中的肾病相关特征进行对比度强化处理。
在一个实施例中,当所述程序指令由所述处理器运行时,还使得所述装置在对眼底图像执行基于图像处理的数据增强操作中执行以下中的一项或多项操作:对眼底图像执行随机的裁剪、翻转和预定角度内的随机旋转。
在一个实施例中,当所述程序指令由所述处理器运行时,还使得所述装置在对眼底图像中的肾病相关特征进行对比度强化处理中执行以下操作:分别对眼底图像的多个通道执行单通道标准差归一化处理,以得到对比度强化后的眼底图像。
在一个实施例中,其中当所述程序指令由所述处理器运行时,还使得所述装置在分别对眼底图像的多个通道执行单通道标准差归一化处理中执行以下操作:计算关于眼底图像的多个通道的整体方差;以及根据所述整体方差来对每个通道执行归一化处理。
在一个实施例中,其中所述血清肌酐估算肾小球滤过率包括估计的血清肌酐估算肾小球滤过率。
在一个实施例中,其中基于血清肌酐、年龄和性别进行估算以得到所述血清肌酐估算肾小球滤过率。
在一个实施例中、其中用于训练所述肾病风险预测模型的损失函数设置成:当血清肌酐估算肾小球滤过率的标签值小于或等于阈值时,损失函数为血清肌酐估算肾小球滤过率的标签值和训练值二者之间差值的绝对值;以及当血清肌酐估算肾小球滤过率的标签值大于阈值时,则损失函数为取所述绝对值和预设损失值之间的最小值。
在第二方面中,本发明提供一种眼底相机,包括根据第一方面及其多个实施例所述的装置。
在第三方面中,本发明提供一种用于评估肾病风险的系统,包括:云端服务器,其上布置有根据第一方面及其多个实施例所述的装置,以用于从本地端设备接收眼底图像并且向本地端设备反馈眼底图像所反映的肾病风险水平;或者本地端设备,其上布置有根据第一方面及其多个实施例所述的装置,以用于接收眼底图像并且评估眼底图像所反映的肾病风险水平。
在第四方面中,本发明提供一种计算机可读存储介质,其存储有用于评估肾病风险的程序指令,当所述程序指令由处理器执行时,实现根据第一方面及其多个实施例所述装置的操作。
在第五方面中,本发明提供一种用于评估肾病风险的方法,包括:获取待评估肾病风险的眼底图像;将所述眼底图像输入至肾病风险预测模型中,以确定该眼底图像所反映的肾病风险水平,其中所述肾病风险预测模型基于深度学习神经网络模型构建,并且经由用于训练的眼底图像和对应的血清肌酐估算肾小球滤过率训练而获得。
在一个实施例中,所述方法还包括:对眼底图像执行预处理;以及将经预处理后的眼底图像输入至所述肾病风险预测模型中,以得到预测的血清肌酐估算肾小球滤过率。
在一个实施例中,其中对眼底图像执行预处理包括对所述眼底图像执行基于图像处理的数据增强操作和/或对眼底图像中的肾病相关特征进行对比度强化处理。
在一个实施例中,其中在对眼底图像执行基于图像处理的数据增强操作中执行以下中的一项或多项操作:对眼底图像执行随机的裁剪、翻转和预定角度内的随机旋转。
在一个实施例中,其中对眼底图像中的肾病相关特征进行对比度强化处理包括:分别对眼底图像的多个通道执行单通道标准差归一化处理,以得到对比度强化后的眼底图像。
在一个实施例中,其中基于血清肌酐、年龄和性别进行估算以得到所述血清肌酐估算肾小球滤过率。
利用上述多个方面及其实施例所描述的方案,本发明可以简单地通过分析眼底图像来实现无创地对肾病风险进行评估,从而相对于现有技术显著简化了评估的复杂度。进一步,通过利用预测模型和GFR或eGFR的值进行评估,本发明的方案可以提供快速和准确的评估结果,从而对于患者和医护人员具有较高的参考价值。另外,为了令眼底图像更适于肾病的评估,本发明还创新性地提出对多通道的眼底图像,利用多通道的整体方差来对每个通道执行归一化处理,从而得到对比度强化的图像特征。基于此类的图像预处理,本发明可以在肾病风险预测模型的训练阶段和使用阶段分别为模型提供高质量和有效的训练数据和输入数据,从而提高模型训练的有效性并有利地减小模型训练的次数,由此可以获得高质量的肾病风险预测模型并提供准确的预测。
附图说明
通过参考附图阅读下文的详细描述,本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本发明的若干实施方式,并且相同或对应的标号表示相同或对应的部分其中:
图1是示出根据本发明实施例的用于评估肾病风险的装置的框图;
图2是示出根据本发明实施例的对眼底图像执行图像预处理的流程图;
图3是示出根据本发明实施例的肾病风险预测模型的示例性网络架构图;
图4是示出根据本发明实施例的肾病风险预测方案的预测水平的示图;
图5是示出根据本发明实施例的用于评估肾病风险的系统的框图。
具体实施方式
现在将参考附图描述本发明的多个方面及其对应的实施例。应当理解的是,为了表述的简单和清楚,在合适的情况下,可以在附图中重复附图标记以指示对应或类似的元件。另外,本发明阐述了许多具体细节以便提供对本文所述实施例的透彻理解。然而,基于本发明的公开和教导,本领域普通技术人员也可以在没有这些具体细节的情况下实践本文描述的实施例。在其他情况下,对于公知的方法、过程和组件,本发明将不再描述以免模糊本发明旨在保护的方案。另外,本发明的下文描述旨在对本发明的方案进行全面和示例性的描述,而该描述也不应被视为限制本文描述的实施例的范围。
为了实现对肾病风险的有效评估,本发明的方案提出基于眼底图像来实现无创地评估肾病(例如慢性肾炎)风险。具体地,本发明的方案基于肾病风险预测模型对输入的目标眼底图像进行预测评估,从而可以利用作为评估标准的GFR(或eGFR)来有效地评估肾功能。作为一个实现方式,本发明的肾病风险预测模型可以基于深度学习神经网络模型而构建,并且可以利用用于训练目的的眼底图像及其对应的GFR来训练深度学习神经网络,从而最终得到能够执行推断(即评估或预测)的肾病风险预测模型。
下面将结合附图对本发明的方案进行详细地描述。
图1是示出根据本发明实施例的用于评估肾病风险的装置100的框图。如图中所示,该装置100包括处理器101和存储器102。在一个实施方式中,这里的处理器101可以包括通用处理器(“CPU”)和/或专用图形处理器(“GPU”),并且存储器存储有用于评估肾病风险的程序指令。
在评估操作中,当上述的程序指令由处理器运行时,将使得本发明的装置100执行:获取待评估肾病风险的目标眼底图像,并且将目标眼底图像输入至肾病风险预测模型中,以确定该眼底图像所反映的肾病风险水平,也即得到图中所示出的评估结果。如前所述,这里的肾病风险预测模型可以是基于深度学习神经网络模型而构建的。进一步,该深度学习神经网络的基干网络可以基于inception-Resnet-v2,给定的输入图片大小可以为299×299。关于该深度学习神经网络模型的示例性架构,稍后将结合图3来描述。
为了实现上述肾病风险预测模型的预测或评估功能,需要对其进行训练。在一个实施场景中,当基于上文的深度神经网络构建时,可以利用专用于训练的眼底图像和对应的GFR来对该深度神经网络进行训练。具体来说,针对于用于训练的眼底图像的患者或用户,可以通过直接测定其GRF或基于其年龄、性别、血清肌酐浓度来计算出其eGFR,并且将该测定的GRF或计算出的eGFR作为用于训练神经网络模型的标签值,可以表示为
Figure 689815DEST_PATH_IMAGE001
或者
Figure 819314DEST_PATH_IMAGE002
。接着,可以将通过深度学习神经网络模型计算获得的GRF或eGFR称之为预测值(或评估值),并且可以相应地表示为
Figure 194932DEST_PATH_IMAGE003
Figure 303964DEST_PATH_IMAGE004
作为示例,可以通过下面的两种方式来计算eGFR:
第一种方式是MDRD(Modification of diet in renal disease):
Figure 714217DEST_PATH_IMAGE006
其中SCr表示肌酐,Age表示年龄,0.742if female表示当患者或测试者是女性时,则公式(1)将额外地乘以系数0.742。换句话说,男性测试者将不需要乘以系数0.742。
第二种方式是CKD-EPI(Chronic kidney disease epidemiology consortium),其于2009年以碘钛酸清除率作为参考标准:
Figure 14617DEST_PATH_IMAGE007
基于上述的关于GFR或eGFR的标签值和预测值,本发明提出将深度神经网络模型的损失函数设置成:当GFR或eGFR的标签值小于或等于阈值时,损失函数为GFR或eGFR的标签值和训练值(或称预测值)二者之间差值的绝对值。相对地,当GFR或eGFR的标签值大于阈值时,则损失函数为取所述绝对值和预设损失值之间的最小值。
仍以eGFR为例,其损失函数可以通过下式来设计:
Figure 877531DEST_PATH_IMAGE009
其中H是用于eGFR异常筛选的阈值(即上文的阈值),其值优选地可以取90。由此,当
Figure 790255DEST_PATH_IMAGE001
的数值小于或等于90时,其对应的眼底图像是eGFR异常的样本,也即深度学习神经网络模型需要识别的目标。鉴于此,本发明的深度学习神经网络模型需要在参数更新上给予侧重,因此使用二者差值的绝对值作为模型更新的目标。相比而言,当
Figure 258276DEST_PATH_IMAGE001
的数值大于90时,其对应的眼底图像是没有肾病(例如慢性肾炎)风险的样本。对于这些样本,本发明提出利用最小值min()函数将这些样本对损失函数的贡献控制在一定的范围内,由此可以使深度学习神经网络模型赋予如慢性肾炎的特征学习更多的权重。作为示例,当损失函数中的K(也即上文所提到的预设损失值)取值为20时,即表示单个的非肾炎风险(也即无肾病风险)样本最大贡献的损失不超过20。
在确定损失函数后,就可以对本发明的深度学习神经网络模型进行训练,其包括正向训练和反向训练。具体地,在正向训练上,可以向深度学习神经网络输入用于训练的眼底图像,例如尺寸为299×299的眼底图像,并且得到正向训练的预测或评估结果,也即上文所提到的训练值或预测值。接着,基于本轮的训练值和标签值所确定的如上损失函数来执行反向方向上的例如梯度下降算法,以对深度学习神经网络模型的参数(例如权重或偏置)进行更新。通过多轮前文的正向和反向训练,并且可选地经由验证集和测试集进行验证和测试,最终可以得到能够执行推断的深度学习神经网络模型,也即本发明的肾病风险预测模型。
在一些应用场景中,当程序指令由处理器执行时,还使得本发明的装置执行以下的操作:对眼底图像执行预处理,以及将经预处理后的眼底图像输入至肾病风险预测模型中,以得到预测的GFR或eGFR。这里,前述的眼底图像既可以是待预测的目标眼底图像或者是用于训练目的的眼底图像。在一个实施场景中,对前述的眼底图像执行预处理包括对眼底图像执行基于图像处理的数据增强操作和/或对眼底图像中的肾病相关特征进行对比度强化处理。根据本发明的方案,上述的数据增强操作和对比度强化处理的执行顺序可以灵活地设置,例如可以先执行数据增强操作而后执行对比度强化处理或者先执行对比度强化处理而后执行数据增强操作。
根据不同的应用,上文的数据增强操作可以是对眼底图像执行随机的裁剪、翻转、预定角度内(例如±30°内)的随机旋转中的一项或多项,从而可以实现多种有效的技术效果,包括但不限于克服例如训练集和测试集中可能存在的位置偏差、扩充训练集、调整图像内容的位置朝向等。
关于上文的对比度强化处理,其旨在调高眼底图像中血管与周围背景的对比度,以便令血管的形态或延伸方向更为明显,从而更易于识别。鉴于此,本发明的方案提出如下的处理方式:
首先,假定输入的眼底图像是BGR/RBG的三通道眼底图像,其图像尺寸为H×W×3。这里,H和W分别表示眼底图像的高度和宽度(例如以像素计)。作为示例,二者的取值可以为299。假定f i 代表尺寸为H×W×3的三通道中的第i通道的单通道图像,且i
Figure 339365DEST_PATH_IMAGE010
,则经对比度强化处理的第i通道的单通道图像可以表示为:
Figure 938842DEST_PATH_IMAGE011
其中
Figure 904524DEST_PATH_IMAGE012
Figure 762803DEST_PATH_IMAGE013
分别表示单通道图像f i 的最大像素值和最小像素值,
Figure 890159DEST_PATH_IMAGE014
表示改进的sigmoid函数。通过这样的公式(2)可以实现数值重整,即针对于单通道图像的归一化处理。
对应地,上述的
Figure 117878DEST_PATH_IMAGE014
可以表示为:
Figure 480727DEST_PATH_IMAGE016
其中
Figure 205231DEST_PATH_IMAGE017
表示单通道图像
Figure 769068DEST_PATH_IMAGE018
的像素均值,该均值可以通过下面的公式来计算获得:
Figure 77558DEST_PATH_IMAGE020
其中
Figure 385043DEST_PATH_IMAGE021
为三通道图像f的标准差(也即本发明上下文的整体方差),其可以下面的公式来计算获得:
Figure 964054DEST_PATH_IMAGE023
其中
Figure 698792DEST_PATH_IMAGE017
为三通道图像f的像素均值,
Figure 228999DEST_PATH_IMAGE017
可以使用公式(4)的三个通道均值再取平均来获得。
通过上述的一系列计算,可以分别对输入的眼底图像f的三个通道进行归一化处理,以得到新的三通道图像g,以作为待输入至本发明的深度学习神经网络模型的训练眼底图像或者目标眼底图像。相比较于现有单个方差,本发明使用了三通道的整体方差(即公式(5)中所示
Figure 933650DEST_PATH_IMAGE021
)作为归一化的基准,以实现对三个通道中每个单通道逐一执行独立的归一化处理。该改进基于sigmoid函数对于例如大于5以上的输入或小于-5以下的输入具有非线性的响应,而对于例如在-5到5之间的输入具有接近于线性化的响应。由此,通过使用改进的sigmoid函数可以实现将公式(3)的
Figure 616435DEST_PATH_IMAGE024
部分的输入数值归一化到-5到5的线性化区域,从而最大程度地实现对数值的区分性描述。
需要理解的是上述利用sigmoid函数来执行归一化的处理仅仅是示例性的而非限制性的,本领域技术人员根据本发明的教导也可以利用其他的函数或通过其他的数学方式来实现多通道的整体方差对单通道的单个方差的归一化处理。例如,也可以使用如下的函数表达来实现本发明的归一化处理。
其中
Figure 7228DEST_PATH_IMAGE017
为三通道图像f的像素均值,
Figure 775463DEST_PATH_IMAGE017
可以使用公式(4)的三个通道均值再取平均来获得。
通过上述的一系列计算,可以分别对输入的眼底图像f的三个通道进行归一化处理,以得到新的三通道图像g,以作为待输入至本发明的深度学习神经网络模型的训练眼底图像或者目标眼底图像。相比较于现有单个方差,本发明使用了三通道的整体方差(即公式(5)中所示
Figure 283805DEST_PATH_IMAGE021
)作为归一化的基准,以实现对三个通道中每个单通道逐一执行独立的归一化处理。该改进基于sigmoid函数对于例如大于5以上的输入或小于-5以下的输入具有非线性的响应,而对于例如在-5到5之间的输入具有接近于线性化的响应。由此,通过使用改进的sigmoid函数可以实现将公式(3)的
Figure 70364DEST_PATH_IMAGE024
部分的输入数值归一化到-5到5的线性化区域,从而最大程度地实现对数值的区分性描述。
需要理解的是上述利用sigmoid函数来执行归一化的处理仅仅是示例性的而非限制性的,本领域技术人员根据本发明的教导也可以利用其他的函数或通过其他的数学方式来实现多通道的整体方差对单通道的单个方差的归一化处理。例如,也可以使用如下的函数表达来实现本发明的归一化处理。
Figure 881326DEST_PATH_IMAGE025
其中
Figure 153169DEST_PATH_IMAGE021
为整个通道的标准差(也即上文的整体方差),归一化后为均值为0、方差为1的单通道图像。
通过上述的对比度强化处理,本发明的方案可以强化图片的血管对比特征,并且对血液异常导致的出血或渗出也具有强化的效果。基于此对比度强化处理后的眼底图片将更适合对肾病风险的预测或评估。
需要理解的是,上文结合三通道的眼底图像对本发明的对比度强化操作进行了描述。然而,该描述仅仅是示例性的而非限制性的,基于本发明上文的教导,本领域技术人员也可以想到本发明的方案经过调整也可以适用于大于或多于三个通道的情形。由此,上述公式(2)-(5)中的“i”可以取N,N为大于或等于三的正整数。另外,尽管上文中以尺寸为299×299的眼底图像为例,但本发明的方案不限于此,也可以根据深度学习神经网络模型的要求来调整输入眼底图像的尺寸。由此,公式(4)和(5)中的299也可以调整成适宜的尺寸值。
为了便于更好的理解本发明的预处理操作,下面将结合图2的流程图来对该预处理操作进行进一步描述。
图2是示出根据本发明实施例的对眼底图像执行图像预处理的流程图。如图2中所示,在步骤S202处,对待输入肾病风险预测模型的眼底图像进行随机裁剪、预定角度的随机旋转和图像翻转。为了表示该步骤的执行顺序可以灵活设置,图中以虚框示出,即该步骤的操作也可以设置在步骤S212处执行。
接着,在步骤S201处,可以获取关于多通道的眼底图像中单通道图像的像素均值。例如,可以利用上文公式(4)来计算获得。此后,在步骤S206处,获取多通道的眼底图像的整体方差。例如,可以利用上文公式(5)来计算获得。
在获得整体方差后,可以在步骤S208处,针对整体方差、单通道图像的像素均值、最大像素值和最小像素值来分别计算出各自的sigmoid函数的函数值。换句话说,可以利用
Figure 74989DEST_PATH_IMAGE014
计算出公式(2)中的各项值。接着,在步骤S210处,基于前述的各自的函数值来执行归一化计算,以得到本发明经对比度强度处理后的单通道图像。作为一种实现方式,可以利用公式(2)来执行前述的归一化计算,以得到单通道图像
Figure 857000DEST_PATH_IMAGE026
如前所述,关于对眼底图像进行数据增强处理,例如随机裁剪、预定角度的旋转和图像翻转可以在步骤S202处执行,也可以设置成在步骤S212处执行,本发明对此不做过多限制。另外,基于本发明针对于眼底图像的预处理操作,可以令输入至肾病风险预测模型的眼底图像更适用于模型的训练和实际 肾病风险的评估。
图3是示出根据本发明实施例的肾病风险预测模型300的示例性网络架构图。可以理解的是,图中所示出的肾病风险预测模型的结构和布置仅仅是示例性的而非限制性的,本领域技术人员根据本发明的教导也可以灵活地调整模型的层数及其连接关系,以输出用于肾病风险的评估值。进一步,该肾病风险预测模型可以以软件代码化的形式来实现,该软件代码(或称程序指令)可以存储于图1所示出的存储器102中,以便由处理器来调取和执行。
如图3中所示,本发明的肾病风险预测模型是基于深度学习神经网络模型来构建的,并且其基干网络是基于图中所示的inception-Resnet-v2。当例如经前文描述的预处理后的眼底图像(尺寸可以为299×299)输入至基干网络后,该基干网络将会返回一个多维向量,例如8×8×1536 的向量。此后,该多维向量可以经由池化层进行处理,以减小数据维度,例如经由如图所示出的8×8平均池化操作。接着,可以对经池化层池化操作后输出的结果执行深度学习神经网络中的dropout操作,以防止在训练过程中出现的过拟合问题,减弱网络中神经元节点间的联合适应性,从而增强泛化能力。
接着,经dropout处理后的输出将被输入至一个大小例如为1×32的全连接单元(即图中的1×32 dense),该全连接单元连接至一个单独的全连接单元(即图中的1×1dense),从而可以输出本发明在模型训练阶段的预测值。通过对图中所示模型进行如前所述的反复训练,最终可以得到能够执行推断的肾病风险预测模型。
图4是示出根据本发明实施例的肾病风险预测方案的预测水平的曲线图。作为示例,使用训练集和验证集共计57.9万张眼底图像(或称图片),测试集3.9万,其中训练集、验证集和测试集的eGFR小于或等于60的阳性样本数量分别为2428、126和127万。基于此,可以得到如图4所示出的eGFR(<= 60)二分类(阳性样本n=127)结果。
具体地,图4左图示出本方案在eGFR CKD上的预测结果AUC(“Area Under Curve”,ROC曲线下面积)为0.91,而右图是在MDRD上的测试结果AUC为0.806。基于图4曲线图所示可以看出,使用本方案的CKD预测可以到达AUC 0.91,其对应的特异性(图中的x轴)和敏感性(图中的y轴)分别为0.87和0.84,也即是说无论对阴性样本还是阳性样本,本发明模型的预测均具备显著的区分效果。因此,基于本发明方案的肾病风险预测模型可以用于大规模的慢性肾病筛查。
图5是示出根据本发明实施例的用于评估肾病风险的系统500的框图。如图中所示,该系统500可以包括根据本发明实施例的装置501及其外围设备和外部网络,其中装置501可以用于执行结合图1-图4所讨论的本发明的方案,包括但不限于获取待预测或评估的眼底图像、对肾病风险预测模型进行训练以及利用肾病风险预测模型来执行关于肾病风险的推断操作。
如图5中所示,本发明的装置501可以包括CPU 511,其可以是通用CPU、专用CPU(如专用图形处理器GPU)或者其他信息处理以及程序运行的执行单元。进一步,装置501还可以包括大容量存储器512和只读存储器ROM 513,其中大容量存储器512可以配置用于存储各类数据,包括基于眼底图像的训练数据、中间数据、训练结果以及运行本发明的深度学习神经网络模型所需要的各种程序,而ROM 513可以配置成存储对于装置501的加电自检、系统中各功能模块的初始化、系统的基本输入/输出的驱动程序及引导操作系统所需的数据。
进一步,装置501还可以包括其他的硬件平台或组件,例如示出的张量处理单元(TPU) 514、图形处理单元(GPU)515、现场可编程门阵列(FPGA)516和机器学习单元(MLU)517。可以理解的是,尽管在装置501中示出了多种硬件平台或组件,但这里仅仅是示例性的而非限制性的,本领域技术人员可以根据实际需要增加或移除相应的硬件。例如,装置501也可以仅包括CPU,以用于执行相应的模型训练、优化和推断操作。
为了实现信息的传递,本发明的装置501还包括通信接口518,从而可以通过其连接到局域网/无线局域网(LAN/WLAN)505,进而可以通过LAN/WLAN连接到本地服务器506或连接到因特网(“Internet”)507。替代地或附加地,本发明的装置501还可以通过通信接口518基于无线通信技术直接连接到因特网或蜂窝网络,例如基于第三代(“3G”)、第四代(“4G”)或第5代(“5G”)的无线通信技术。在一些应用场景中,本发明的装置501还可以根据需要访问外部网络的服务器508以及可能的数据库509,以便获得各种已知的神经网络模型、数据和模块,并且可以远程地存储训练和推断中使用或产生的各种数据。
附加地或可选地,当本发明的装置501实现为眼底相机中的部件时,则其外围设备还可以包括多个马达502、成像装置503和输入/显示装置504。在一个实施例中,马达502可以是移动主摄像头的步进马达,而成像装置包括主摄像头和与主摄像头固定连接的双目系统,其由两个副摄像头构成。在一个实施例中,输入/显示装置504中的输入装置包括例如键盘、鼠标、麦克风,或其他输入按钮或控件,其配置用于接收用户指令,而显示装置例如可以包括一个或多个扬声器和/或一个或多个视觉显示器或触敏显示器,其配置用于对训练结果或者推断结果进行语音提示和/或视觉显示。
本发明的装置501的上述CPU 511、大容量存储器512、ROM 513、TPU 514、GPU 515、FPGA 516、MLU 517和通信接口518可以通过总线519相互连接,并且通过该总线与外围设备实现数据交互。在一个实施例中,通过该总线519,CPU511可以控制装置501中的其他硬件组件及其外围设备。
本发明的装置可以根据不同的应用场景而灵活地布置。在一个实施场景中,本发明的装置可以布置于云端服务器处,以用于从本地端设备接收眼底图像并且向本地端设备反馈眼底图像所反映的肾病风险水平。在另一个实施场景中,本发明的装置可以布置于本地端设备处,以用于接收眼底图像并且评估眼底图像所反映的肾病风险水平。
另外,基于前文的描述,本领域技术人员可以理解本发明实际上也公开了用于评估肾病风险的方法,其可以执行获取待评估肾病风险的眼底图像,以及将所述眼底图像输入至肾病风险预测模型中,以确定该眼底图像所反映的肾病风险水平。这里,肾病风险预测模型也即前文讨论的基于深度学习神经网络模型,并且经由用于训练的眼底图像和对应的血清肌酐估算肾小球滤过率训练而获得。基于此,本发明实际上也公开了关于该方法的进一步细节,也即前文结合图1和图2所讨论的装置的操作步骤。
还应当理解,当本发明的方案还可以借助于计算机指令来实现,该计算机指令可以存储于计算机可读介质中。根据不同的实现方式,该计算机可读介质,诸如存储介质、计算机存储介质或数据存储设备(可移除的)和/或不可移动的)例如磁盘、光盘或磁带。计算机存储介质可以包括以用于存储信息的任何方法或技术实现的易失性和非易失性,可移动和不可移动介质,例如计算机可读指令、数据结构、程序模块或其他数据。基于此,本发明还公开了一种计算机可读存储介质,其中存储有程序指令,所述程序指令适于由处理器加载并使得本发明的装置执行前述结合图1-图4所描述的本发明的方案。
上述的计算机可读存储介质可以是任何适当的磁存储介质或者磁光存储介质,比如,阻变式存储器RRAM(Resistive Random Access Memory)、动态随机存取存储器DRAM(Dynamic Random Access Memory)、静态随机存取存储器SRAM(Static Random-AccessMemory)、增强动态随机存取存储器EDRAM(Enhanced Dynamic Random Access Memory)、高带宽内存HBM(High-Bandwidth Memory)、混合存储立方HMC(Hybrid Memory Cube)等等,或者可以用于存储所需信息并且可以由应用程序、模块或两者访问的任何其他介质。任何这样的计算机存储介质可以是本发明的设备的一部分或可访问或可连接到设备。本发明描述的任何应用或模块可以使用可以由这样的计算机可读介质存储或以其他方式保持的计算机可读/可执行指令来实现。
应当理解,本发明披露的权利要求、说明书及附图中的可能术语“第一”或“第二”等是用于区别不同对象,而不是用于描述特定顺序。本发明披露的说明书和权利要求书中使用的术语“包括”和 “包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本发明披露说明书中所使用的术语仅仅是出于描述特定实施例的目的,而并不意在限定本发明披露。如在本发明披露说明书和权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解,在本发明披露说明书和权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
虽然本发明的实施方式如上,但所述内容只是为便于理解本发明而采用的实施例,并非用以限定本发明的范围和应用场景。任何本发明所述技术领域内的技术人员,在不脱离本发明所揭露的精神和范围的前提下,可以在实施的形式上及细节上作任何的修改与变化,但本发明的专利保护范围,仍须以所附的权利要求书所界定的范围为准。

Claims (18)

1.一种用于评估肾病风险的装置,包括:
处理器;以及
存储器,其存储有用于评估肾病风险的程序指令,当所述程序指令由所述处理器运行时,使得所述装置执行以下操作:
获取待评估肾病风险的眼底图像;
将所述眼底图像输入至肾病风险预测模型中,以确定该眼底图像所反映的肾病风险水平,
其中所述肾病风险预测模型基于深度学习神经网络模型构建,并且经由用于训练的眼底图像和对应的血清肌酐估算肾小球滤过率训练而获得。
2.根据权利要求1所述的装置,其中当所述程序指令由所述处理器运行时,还使得所述装置执行以下操作:
对眼底图像执行预处理;以及
将经预处理后的眼底图像输入至所述肾病风险预测模型中,以得到预测的血清肌酐估算肾小球滤过率。
3.根据权利要求2所述的装置,其中当所述程序指令由所述处理器运行时,还使得所述装置在对眼底图像执行预处理中执行以下操作:
对所述眼底图像执行基于图像处理的数据增强操作和/或对眼底图像中的肾病相关特征进行对比度强化处理。
4.根据权利要求3所述的装置,其中当所述程序指令由所述处理器运行时,还使得所述装置在对眼底图像执行基于图像处理的数据增强操作中执行以下中的一项或多项操作:
对眼底图像执行随机的裁剪、翻转和预定角度内的随机旋转。
5.根据权利要求4所述的装置,其中当所述程序指令由所述处理器运行时,还使得所述装置在对眼底图像中的肾病相关特征进行对比度强化处理中执行以下操作:
分别对眼底图像的多个通道执行单通道标准差归一化处理,以得到对比度强化后的眼底图像。
6.根据权利要求5所述的装置,其中当所述程序指令由所述处理器运行时,还使得所述装置在分别对眼底图像的多个通道执行单通道标准差归一化处理中执行以下操作:
计算关于眼底图像的多个通道的整体方差;以及
根据所述整体方差来对每个通道执行归一化处理。
7.根据权利要求1-6的任意一项所述的装置,其中所述血清肌酐估算肾小球滤过率包括估计的血清肌酐估算肾小球滤过率。
8.根据权利要求7所述的装置,其中基于血清肌酐、年龄和性别进行估算以得到所述血清肌酐估算肾小球滤过率。
9.根据权利要求7所述的装置,其中用于训练所述肾病风险预测模型的损失函数设置成:
当血清肌酐估算肾小球滤过率的标签值小于或等于阈值时,损失函数为血清肌酐估算肾小球滤过率的标签值和预测值二者之间差值的绝对值;以及
当血清肌酐估算肾小球滤过率的标签值大于阈值时,则损失函数为取所述绝对值和预设损失值之间的最小值。
10.一种眼底相机,包括根据权利要求1-9的任意一项所述的装置。
11.一种用于评估肾病风险的系统,包括:
云端服务器,其上布置有根据权利要求1-9的任意一项所述的装置,以用于从本地端设备接收眼底图像并且向本地端设备反馈眼底图像所反映的肾病风险水平;或者
本地端设备,其上布置有根据权利要求1-9的任意一项所述的装置,以用于接收眼底图像并且评估眼底图像所反映的肾病风险水平。
12.一种计算机可读存储介质,其存储有用于评估肾病风险的程序指令,当所述程序指令由处理器执行时,实现根据权利要求1-9的任意一项所述装置的操作。
13.一种用于评估肾病风险的方法,包括:
获取待评估肾病风险的眼底图像;
将所述眼底图像输入至肾病风险预测模型中,以确定该眼底图像所反映的肾病风险水平,
其中所述肾病风险预测模型基于深度学习神经网络模型构建,并且经由用于训练的眼底图像和对应的血清肌酐估算肾小球滤过率训练而获得。
14.根据权利要求13所述的方法,还包括:
对眼底图像执行预处理;以及
将经预处理后的眼底图像输入至所述肾病风险预测模型中,以得到预测的血清肌酐估算肾小球滤过率。
15.根据权利要求14所述的方法,其中对眼底图像执行预处理包括:
对所述眼底图像执行基于图像处理的数据增强操作和/或对眼底图像中的肾病相关特征进行对比度强化处理。
16.根据权利要求15所述的方法,其中在对眼底图像执行基于图像处理的数据增强操作中执行以下中的一项或多项操作:
对眼底图像执行随机的裁剪、翻转和预定角度内的随机旋转。
17.根据权利要求15所述的方法,其中对眼底图像中的肾病相关特征进行对比度强化处理包括:
分别对眼底图像的多个通道执行单通道标准差归一化处理,以得到对比度强化后的眼底图像。
18.根据权利要求13-17的任意一项所述的方法,其中基于血清肌酐、年龄和性别进行估算以得到所述血清肌酐估算肾小球滤过率。
CN202210190519.5A 2022-02-28 2022-02-28 用于评估肾病风险的方法、装置、系统和计算机可读存储介质 Active CN114255875B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210190519.5A CN114255875B (zh) 2022-02-28 2022-02-28 用于评估肾病风险的方法、装置、系统和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210190519.5A CN114255875B (zh) 2022-02-28 2022-02-28 用于评估肾病风险的方法、装置、系统和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN114255875A true CN114255875A (zh) 2022-03-29
CN114255875B CN114255875B (zh) 2022-06-21

Family

ID=80797216

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210190519.5A Active CN114255875B (zh) 2022-02-28 2022-02-28 用于评估肾病风险的方法、装置、系统和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114255875B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115482933A (zh) * 2022-11-01 2022-12-16 北京鹰瞳科技发展股份有限公司 用于对驾驶员的驾驶风险进行评估的方法及其相关产品
CN115602330A (zh) * 2022-12-15 2023-01-13 北京鹰瞳科技发展股份有限公司(Cn) 对评估冠心病危险级别的评估模型进行训练的方法和设备
CN117672503A (zh) * 2024-01-31 2024-03-08 中国医学科学院北京协和医院 一种基于DKI评估IgG4-RKD风险的方法、系统及可存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109858429A (zh) * 2019-01-28 2019-06-07 北京航空航天大学 一种基于卷积神经网络的眼底图像病变程度识别与可视化系统
US20200005900A1 (en) * 2018-06-29 2020-01-02 pulseData Inc. Machine Learning Systems and Methods for Predicting Risk of Renal Function Decline
CN111080643A (zh) * 2019-12-31 2020-04-28 上海鹰瞳医疗科技有限公司 基于眼底图像的糖尿病及相关疾病的分类方法及设备
US20200320391A1 (en) * 2019-04-05 2020-10-08 Koninklijke Philips N.V. Multilayer perceptron based network to identify baseline illness risk
CN112075922A (zh) * 2020-10-14 2020-12-15 中国人民解放军空军军医大学 2型糖尿病眼底图像指标的测量及与糖尿病肾病相关性的分析方法
CN113012148A (zh) * 2021-04-14 2021-06-22 中国人民解放军总医院第一医学中心 一种基于眼底影像的糖尿病肾病-非糖尿病肾病鉴别诊断装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200005900A1 (en) * 2018-06-29 2020-01-02 pulseData Inc. Machine Learning Systems and Methods for Predicting Risk of Renal Function Decline
CN109858429A (zh) * 2019-01-28 2019-06-07 北京航空航天大学 一种基于卷积神经网络的眼底图像病变程度识别与可视化系统
US20200320391A1 (en) * 2019-04-05 2020-10-08 Koninklijke Philips N.V. Multilayer perceptron based network to identify baseline illness risk
CN111080643A (zh) * 2019-12-31 2020-04-28 上海鹰瞳医疗科技有限公司 基于眼底图像的糖尿病及相关疾病的分类方法及设备
CN112075922A (zh) * 2020-10-14 2020-12-15 中国人民解放军空军军医大学 2型糖尿病眼底图像指标的测量及与糖尿病肾病相关性的分析方法
CN113012148A (zh) * 2021-04-14 2021-06-22 中国人民解放军总医院第一医学中心 一种基于眼底影像的糖尿病肾病-非糖尿病肾病鉴别诊断装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张钦等: "住院患者急性肾损伤的风险预测与关键影响因素分析", 《中国生物医学工程学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115482933A (zh) * 2022-11-01 2022-12-16 北京鹰瞳科技发展股份有限公司 用于对驾驶员的驾驶风险进行评估的方法及其相关产品
CN115482933B (zh) * 2022-11-01 2023-11-28 北京鹰瞳科技发展股份有限公司 用于对驾驶员的驾驶风险进行评估的方法及其相关产品
CN115602330A (zh) * 2022-12-15 2023-01-13 北京鹰瞳科技发展股份有限公司(Cn) 对评估冠心病危险级别的评估模型进行训练的方法和设备
CN117672503A (zh) * 2024-01-31 2024-03-08 中国医学科学院北京协和医院 一种基于DKI评估IgG4-RKD风险的方法、系统及可存储介质
CN117672503B (zh) * 2024-01-31 2024-05-03 中国医学科学院北京协和医院 一种基于DKI评估IgG4-RKD风险的方法、系统及可存储介质

Also Published As

Publication number Publication date
CN114255875B (zh) 2022-06-21

Similar Documents

Publication Publication Date Title
CN114255875B (zh) 用于评估肾病风险的方法、装置、系统和计算机可读存储介质
KR101908680B1 (ko) 약한 지도 학습 기반의 기계 학습 방법 및 그 장치
WO2021020198A1 (ja) 情報処理装置、プログラム、学習済みモデル、診断支援装置、学習装置及び予測モデルの生成方法
US11043295B2 (en) Method and providing unit for providing a virtual tomographic stroke follow-up examination image
US11830187B2 (en) Automatic condition diagnosis using a segmentation-guided framework
Selvan et al. Uncertainty quantification in medical image segmentation with normalizing flows
CN112926537B (zh) 图像处理方法、装置、电子设备以及存储介质
US20220351863A1 (en) Method and System for Disease Quantification of Anatomical Structures
CN112435341A (zh) 三维重建网络的训练方法及装置、三维重建方法及装置
CN114298234A (zh) 脑部医学影像分类方法、装置、计算机设备和存储介质
CN111523593B (zh) 用于分析医学影像的方法和装置
CN111179235A (zh) 图像检测模型的生成方法及装置、应用方法及装置
Ossenberg-Engels et al. Conditional generative adversarial networks for the prediction of cardiac contraction from individual frames
US11875507B1 (en) Systems and methods for detecting cardiovascular anomalies using spatiotemporal neural networks
CN112750110A (zh) 基于神经网络对肺部病灶区进行评估的评估系统和相关产品
CN116958679A (zh) 一种基于弱监督的目标检测方法及相关设备
US11875898B2 (en) Automatic condition diagnosis using an attention-guided framework
KR20200067052A (ko) 안저 사진을 이용한 뇌동맥류 예측 장치 및 뇌동맥류 예측 결과 제공 방법
CN114820480A (zh) 动脉瘤类型识别方法、装置和计算机设备
JP2023131287A (ja) 情報処理装置および学習方法
CN112561918A (zh) 卷积神经网络的训练方法和病灶分割方法
CN116205909B (zh) 一种用于预测帕金森病认知障碍的装置和存储介质
CN114999001B (zh) 用于预测冻结步态的方法、设备和计算机可读存储介质
US20230394655A1 (en) System and method for evaluating or predicting a condition of a fetus
KR102671699B1 (ko) 신장암의 진단에 필요한 정보를 제공하는 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant