CN108229545B - 青光眼诊断的方法、装置及电子设备 - Google Patents

青光眼诊断的方法、装置及电子设备 Download PDF

Info

Publication number
CN108229545B
CN108229545B CN201711405697.0A CN201711405697A CN108229545B CN 108229545 B CN108229545 B CN 108229545B CN 201711405697 A CN201711405697 A CN 201711405697A CN 108229545 B CN108229545 B CN 108229545B
Authority
CN
China
Prior art keywords
visual field
detection report
field detection
color block
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711405697.0A
Other languages
English (en)
Other versions
CN108229545A (zh
Inventor
张秀兰
乔宇
王哲
李飞
曲国祥
钟华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201711405697.0A priority Critical patent/CN108229545B/zh
Publication of CN108229545A publication Critical patent/CN108229545A/zh
Application granted granted Critical
Publication of CN108229545B publication Critical patent/CN108229545B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施方式公开了青光眼诊断的方法、装置、设备及存储介质,其中的方法包括:获取基于视野的色块图;利用机器学习方法对所述色块图进行处理,得到青光眼诊断结果。

Description

青光眼诊断的方法、装置及电子设备
技术领域
本申请涉及计算机视觉技术,尤其是涉及一种青光眼诊断的方法、青光眼诊断的装置、电子设备、计算机可读存储介质以及计算机程序。
背景技术
青光眼由于其具有不可逆型致盲的危害,而应被尽早发现并治疗。
目前,诊断青光眼的方法通常为:由医生根据视野计等可以进行视野检测的设备,所生成的视野检测报告来诊断患者是否为青光眼患者。
如何辅助医生进行青光眼诊断,以减轻医生的工作量,并提高青光眼诊断的效率,是一个值得关注的技术问题。
发明内容
本申请实施方式提供一种青光眼诊断的技术方案。
根据本申请实施方式其中一方面,提供了一种青光眼诊断的方法,该方法主要包括:获取基于视野的色块图;利用机器学习方法对所述色块图进行处理,得到青光眼诊断结果。
在本申请一实施方式中,所述获取基于视野的色块图包括:从视野检测报告中获取基于视野的色块图。
在本申请又一实施方式中,在所述从视野检测报告中获取基于视野的色块图之前,所述方法还包括:对所述视野检测报告的有效性进行校验,以确定所述视野检测报告是否为有效的视野检测报告;所述从视野检测报告中获取基于视野的色块图,包括:在确定所述视野检测报告为有效的视野检测报告的情况下,从所述视野检测报告中获取基于视野的色块图。
在本申请再一实施方式中,所述对所述视野检测报告的有效性进行校验包括:获取所述视野检测报告中的固视丢失率、假阳性率及假阴性率中的至少一个;基于获取到的所述固视丢失率、假阳性率以及假阴性率中的至少一个,确定所述视野检测报告是否为有效的视野检测报告。
在本申请再一实施方式中,所述基于获取到的所述固视丢失率、假阳性率以及假阴性率中的至少一个,确定所述视野检测报告是否为有效的检测报告,包括:在获取到的所述固视丢失率、假阳性率及假阴性率中的至少一个中的每个数值满足对应的取值范围的情况下,确定所述视野检测报告为有效的视野检测报告。
在本申请再一实施方式中,所述获取所述视野检测报告中的固视丢失率、假阳性率及假阴性率中的至少一个包括:根据所述固视丢失率、假阳性率及假阴性率中的至少一个在视野检测报告中的预设位置信息,从所述视野检测报告中获取至少一个图像块;对所述至少一个图像块中的每个图像块进行光学字符识别OCR处理,得到所述固视丢失率、假阳性率及假阴性率中的至少一个。
在本申请再一实施方式中,所述从视野检测报告中获取色块图包括:根据色块图在视野检测报告中的预设位置信息,从所述视野检测报告中获取所述色块图。
在本申请再一实施方式中,所述基于视野的色块图包括灰度图、总偏差概率图及模式偏差概率图中的至少一个。
在本申请再一实施方式中,所述利用机器学习方法对所述色块图进行处理,得到青光眼诊断结果,包括:利用神经网络对所述色块图进行处理,得到青光眼诊断结果。
在本申请再一实施方式中,所述方法还包括:获取视功能评估参数;所述利用神经网络对所述色块图进行处理,得到青光眼诊断结果包括:利用神经网络对所述视功能评估参数和所述色块图进行处理,得到青光眼诊断结果。
在本申请再一实施方式中,所述利用神经网络对所述视功能评估参数和所述色块图进行处理,得到青光眼诊断结果,包括:利用神经网络对所述色块图进行特征提取处理,得到所述色块图的图像特征;将所述视功能评估参数和所述色块图的图像特征进行拼接处理,得到拼接特征;基于所述拼接特征,利用神经网络对所述拼接特征进行处理,得到青光眼诊断结果。
在本申请再一实施方式中,所述视功能评估参数包括加权视野指数、平均偏差及模式标准偏差中的至少一个。
在本申请再一实施方式中,所述获取视功能评估参数包括:从所述视野检测报告中获取视功能评估参数。
在本申请再一实施方式中,所述方法还包括:获取色块图样本,其中,所述色块图样本标注有青光眼诊断标注信息;基于待训练的神经网络,获得所述色块图样本的青光眼诊断结果;以所述色块图样本的青光眼诊断标注信息为指导信息,对所述待训练的神经网络进行监督学习,以减小基于待训练的神经网络获得的色块图样本的青光眼诊断结果与所述青光眼诊断标注信息之间的差异。
在本申请再一实施方式中,所述方法还包括:从患者的临床诊断信息中获取所述色块图样本的青光眼诊断标注信息。
根据本申请实施方式的其中另一方面,提供了一种青光眼诊断的装置,该装置包括:第一获取模块,用于获取基于视野的色块图;处理模块,用于利用机器学习方法对所述第一获取模块获取的色块图进行处理,得到青光眼诊断结果。
在本申请一实施方式中,所述装置还包括:校验模块,用于对视野检测报告的有效性进行校验,以确定所述视野检测报告是否为有效的视野检测报告;所述第一获取模块具体用于:在所述校验模块确定所述视野检测报告为有效的视野检测报告的情况下,从所述视野检测报告中获取基于视野的色块图。
在本申请又一实施方式中,所述处理模块具体用于,利用神经网络对所述色块图进行处理,得到青光眼诊断结果。
在本申请再一实施方式中,所述装置还包括:第二获取模块,用于获取视功能评估参数;所述处理模块具体用于,利用神经网络对所述视功能评估参数和所述色块图进行处理,得到青光眼诊断结果。
在本申请再一实施方式中,所述处理模块包括:第一单元,用于利用神经网络对所述色块图进行特征提取处理,得到所述色块图的图像特征;第二单元,用于将所述视功能评估参数和所述色块图的图像特征进行拼接处理,得到拼接特征;第三单元,用于基于所述拼接特征,利用神经网络对所述拼接特征进行处理,得到青光眼诊断结果。
在本申请再一实施方式中,所述装置还包括:训练模块,用于获取色块图样本,其中,所述色块图样本标注有青光眼诊断标注信息;基于待训练的神经网络,获得所述色块图样本的青光眼诊断结果;以所述色块图样本的青光眼诊断标注信息为指导信息,对所述待训练的神经网络进行监督学习,以减小基于待训练的神经网络获得的色块图样本的青光眼诊断结果与所述青光眼诊断标注信息之间的差异。
在本申请再一实施方式中,所述装置还包括:第三获取模块,用于从患者的临床诊断信息中获取所述色块图样本的青光眼诊断标注信息。
根据本申请实施方式的再一个方面,提供了一种电子设备,包括:存储器,用于存储计算机程序;处理器,用于执行所述存储器中存储的计算机程序,且所述计算机程序被执行时,实现本申请任一可能的实施方式中的方法。
根据本申请实施方式的再一个方面,提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时,实现本申请任一可能的实施方式中的方法。
根据本申请实施方式的再一个方面,提供的一种计算机程序,用于存储计算机可读指令,所述指令被执行时使得计算机执行上述任一可能的实现方式中所述的青光眼诊断方法。
在一个可选实施方式中,所述计算机程序产品具体为计算机存储介质,在另一个可选实施方式中,所述计算机程序产品具体为软件产品,例如SDK等。
根据本公开实施例还提供了另一种青光眼诊断方法及其对应的装置和电子设备、计算机存储介质、计算机程序以及计算机程序产品,其中,该方法包括:第一装置向第二装置发送青光眼诊断指示,该指示使得第二装置执行上述任一可能的实施例中的青光眼诊断方法;第一装置接收第二装置发送的青光眼诊断结果。
基于本申请提供的青光眼诊断的方法、装置、设备、计算机可读存储介质以及计算机程序,本申请通过利用机器学习方法来对基于视野的色块图进行处理,可以经机器学习方法获得青光眼诊断结果,从而有利于减轻医生的工作量,并有利于提高青光眼诊断的效率。
下面通过附图和实施方式,对本申请的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本申请的实施方式,并且连同描述一起用于解释本申请的原理。
参照附图,根据下面的详细描述,可以更加清楚地理解本申请,其中:
图1为本申请的青光眼诊断的方法的实施方式的示意性流程图;
图2为本申请的视野检测报告的一个示例的示意图;
图3为本申请的视野检测报告的另一个示例的示意图;
图4为从图2中模式偏差概率图的一个示例的示意图;
图5为本申请的神经网络训练方法的实施方式的流程图;
图6为本申请的形成训练数据集的方法实施方式的流程图;
图7为本申请的青光眼诊断的装置的实施方式的示意图;
图8为实现本申请实施方式的示例性电子设备的框图;
图9为本申请实施例中利用卷积神经网络对色块图进行处理的示例的示意图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本申请及其应用或者使用的任何限制。
对于相关领域普通技术人员已知的技术、方法以及设备可能不作详细讨论,但在适当情况下,所述技术、方法及设备应当被视为说明书的一部分。
应注意到:相似的标号以及字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
本申请实施例可以应用于终端设备、计算机系统以及服务器等电子设备中,其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于:个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统以及包括上述任何系统的分布式云计算技术环境等等。
终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常,程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等,它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施,分布式云计算环境中,任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中,程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
示例性实施例
下面结合图1至图9对本申请提供的青光眼诊断的技术方案以及训练神经网络的技术方案进行说明。
在一个可选示例中,本申请的青光眼诊断的技术方案通常可以适用于远程医疗以及本地智能医疗等应用场景中,例如,终端设备可以获取患者或者医生或其他设备提供的患者的视野报告(或称为视野检测报告),并利用本地预设的神经网络等机器学习方法对该视野报告进行处理,获得青光眼诊断结果(可以称为青光眼诊断预测信息)。进一步地,终端设备可以将青光眼诊断结果呈现给患者或者医生或其他类型的用户;再例如,终端设备在获取到视野报告之后,可以将获取到的视野报告上传服务器,由服务器利用预先设置的神经网络等机器学习方法对该视野报告进行处理,得到青光眼诊断结果,服务器可以将该青光眼诊断结果返回至终端设备,由终端设备呈现给患者或者医生或其他用户。本申请不限制青光眼诊断的技术方案的具体应用场景。
图1为本申请的青光眼诊断的方法的实施例的流程图。如图1所示,该实施例方法包括:S100以及S110。
S100、获取基于视野的色块图。
在一个可选示例中,一些用于检测视野的检测设备,所形成的视野检测报告中包含有基于视野的色块图,例如,视野计所产生的视野检测报告中包括有灰度图、总偏差概率图或者模式偏差概率图等基于视野的色块图。本申请实施例可以从视野检测报告中获取基于视野的色块图,如从视野检测报告中获取灰度图、总偏差概率图以及模式偏差概率图中的任意一个或多个。本申请也可以以其他方式获取基于视野的色块图,例如,其他类型的检测报告中包含有基于视野的色块图,相应地,在一个或多个可选例子中,也可以从其他类型的检测报告中获取基于视野的色块图。可选地,视野检测报告可以为包括52个点的视野检测报告(也可以称为24-2的视野检测报告),例如图2所示的一个例子,或者为包括74个点的视野检测报告(也可以称为30-2的视野检测报告),例如图3所示的一个例子,或者为其他类型的视野检测报告。本申请实施例不限制获取基于视野的色块图的具体实现方式以及视野检测报告的具体表现形式。
在一个可选示例中,在从视野检测报告中获取基于视野的色块图的情况下,本申请实施例可以先对视野检测报告进行有效性校验,例如,可以确定视野检测报告中的检测信息是否属于可靠的检测信息。此时,可选地,可以在确定该视野检测报告为有效的视野检测报告的情况下,再从该视野检测报告中获取基于视野的色块图,这样可以避免由于视野检测报告的错误而导致误诊的发生。可选地,在确定该视野检测报告为无效的视野检测报告的情况下,则可以不再从该视野检测报告中获取基于视野的色块图,例如,可以输出视野检测报告中的检测信息可靠性存在问题等提示信息或者直接丢弃该视野检测报告,但本申请实施例不限于此。
在一个可选示例中,本申请实施例可以通过多种方式来对视野检测报告进行有效性校验,例如,本申请实施例可以从视野检测报告中获取一个或者多个检测指标的取值,并判断获取到的检测指标的取值是否属于预定取值范围,如果检测指标的取值属于预定取值范围,则可选地可以确定该视野检测报告为有效的视野检测报告,而如果检测指标的取值不属于预定取值范围,则可选地可以确定该视野检测报告为无效的视野检测报告。上述检测指标可以包括FL(Fixation Losses,固视丢失率)、FP(False POS Errors,假阳性率)以及FN(False NEG Errors,假阴性率)中的任意一个或多个。其中,不同的检测指标可以对应于相同或不同的预定取值范围。在一个可选例子中,FL、FP和FN可以分别对应有预定取值范围,相应地,本申请实施例可以从视野检测报告中获取FL的取值、FP的取值以及FN的取值,在判断出FL的取值属于FL对应的预定取值范围、FP的取值属于FP对应的预定取值范围、且FN的取值属于FN对应的预定取值范围的情况下,则可以确定该视野检测报告为有效的视野检测报告;而在判断出FL的取值不属于FL对应的预定取值范围、或者FP的取值不属于FP对应的预定取值范围、或者FN的取值不属于FN对应的预定取值范围的情况下,可以确定该视野检测报告为无效的视野检测报告。本申请中的各预定取值范围可以根据实际需求来设置,本申请不限制预定取值范围的具体数值。
本申请实施例可以通过多种方式获取至少一个检测指标中每个检测指标的数值。例如,可以从格式化文本(例如视野检测报告或其他类型的报告)中获取一个或多个检测指标的数值。此时,可以根据检测指标的数值在格式化文本中对应的预设位置信息,从格式化文本中获取检测指标的数值。
在一个可选示例中,本申请可以根据检测指标在视野检测报告中的预设位置信息,从视野检测报告中获取图像块,例如,本申请可以从视野检测报告中剪切图像块,然后,对获取到的图像块进行OCR(Optical CharacterRecognition,光学字符识别)处理,得到检测指标的取值。
在图2以及图3所示的例子中,视野检测报告中的FL的取值、FP的取值以及FN的取值在视野检测报告中的位置通常是固定的,都在视野检测报告中的左上角位置处,因此,可选地,本申请实施例可以根据视野检测报告中的FL的取值、FP的取值以及FN的取值在视野检测报告中的位置,来设置对应图像块的位置信息,例如,可以设置包含了FL的取值的图像块的端点信息,例如,该图像块可以为矩形(也可以称为FL的取值外接框),该图像块的端点信息可以包括矩形的对角位置处的两个顶点坐标;类似地,也可以设置包含了FP或FN的取值的图像块的端点信息,例如,设置包含FP或FN的取值的矩形(也可以称为FP或FN的取值外接框)的对角位置处的两个顶点坐标。在设置了图像块的位置信息之后,可以根据相应的位置信息从视野检测报告中获取相应的图像块,例如,根据FL的取值外接框的位置信息从视野检测报告中获取包含FL取值的图像块,根据FP的取值外接框的位置信息从视野检测报告中获取包含FP取值的图像块,和/或根据FN的取值外接框的位置信息从视野检测报告中获取包含FN取值的图像块。然后,可以对包含FL取值的图像块、包含FP取值的图像块以及包含FN取值的图像块中的任意一项或多项分别进行OCR处理,以获得FL的取值(如图2中的0/13,再如图3中的1/15)、FP的取值(如图2中的0%,再如图3中的4%)以及FN的取值(如图2中的7%,再如图3中的9%)中的任意一项或多项。
在一个可选示例中,基于视野的色块图在视野检测报告中的位置也是预先设置的。这样,可以根据基于视野的色块图在视野检测报告中对应的位置信息,从视野检测报告中获取色块图,例如,可以从视野检测报告中的预设位置处剪切图像块,并将剪切出的图像块作为色块图。其中,可选地,本申请实施例可以通过剪切获得一个或者多个图像块,如通过剪切获得灰度图、总偏差概率图以及模式偏差概率图中的任意一个或多个,但本申请实施例也通过其他方式获取色块图,这里对获取色块图的具体实现不作限定。
在图2以及图3所示的例子中,视野检测报告中的色块图的位置通常是比较固定的,例如,灰度图位于视野检测报告中的右上角位置处(即图2和图3中的第一排最右端的图),总偏差概率图位于视野检测报告中的左下角位置处(即图2和图3中的最下面一排最左端的图),而模式偏差概率图位于视野检测报告中的总偏差概率图的右侧(即图2和图3中的最下面一排最右端的图),因此,本申请实施例可以根据视野检测报告中的色块图的位置来设置对应图像块的位置信息,例如,设置包含了灰度图的矩形(也可以称为灰度图外接框)的对角位置处的两个顶点坐标、包含了总偏差概率图的矩形(也可以称为总偏差概率图外接框)的对角位置处的两个顶点坐标、和/或包含了模式偏差概率图的矩形(也可以称为模式偏差概率图外接框)的对角位置处的两个顶点坐标。在设置了图像块的位置信息之后,可以根据相应的位置信息从视野检测报告中获取图像块,并将获取到的图像块作为色块图。例如,可以根据灰度图外接框的位置信息从视野检测报告中获取图像块作为灰度图。再例如,可以根据模式偏差概率图外接框的位置信息从视野检测报告中获取图像块作为模式偏差概率图,如图4所示的例子。再例如,可以根据总偏差概率图外接框的位置信息从视野检测报告中剪切出的图像块为总偏差概率图。再例如,可以根据模式偏差概率图外接框的位置信息以及总偏差概率图外接框的位置信息从视野检测报告中获取两个图像块分别作为模式偏差概率图以及总偏差概率图。再例如,可以根据灰度图外接框的位置信息、模式偏差概率图外接框的位置信息以及总偏差概率图外接框的位置信息从视野检测报告中获取三个图像块分别作为灰度图、模式偏差概率图以及总偏差概率图,等等,本申请实施例对此不做限定。
作为一个或多个可选例子,可以利用神经网络对色块图进行处理,得到青光眼诊断结果,但本申请实施例也可以采用其他类型的机器学习方法对色块图进行处理,得到青光眼诊断结果,例如支持向量机(Support Vector Machine,SVM)、随机森林(RandomForest,RF)、K最近邻居(K-Nearest-Neighbor,k-NN)等等,本申请实施例对此不做限定。
S110、利用机器学习方法对色块图进行处理,得到青光眼诊断结果。
在一个可选示例中,在从视野检测报告中或以其他方式获取到基于视野的色块图之后,可以利用神经网络等机器学习方法对色块图进行处理,得到青光眼诊断结果。其中的青光眼诊断结果可以包括患者是否患有青光眼,或者患者患有青光眼的概率,本申请实施例对青光眼诊断结果的具体实现不作限定。下面以审计网络为例,对本步骤进行说明。
可选地,本申请可以直接将色块图输入到神经网络,或者可以对色块图进行一种或多种处理之后将其输入到神经网络,例如,可以根据神经网络对输入图像的要求(如输入图像的大小要求等)对色块图进行尺寸调整处理,以使色块图符合神经网络对输入图像的要求。神经网络在接收到输入信息之后,可以对输入信息进行处理,得到输出信息,其中,该输出信息可以为青光眼诊断结果,或者该输出信息进行一种或多种处理之后的结果可以为青光眼诊断结果,本申请实施例对此不做限定。
在一个可选示例中,神经网络可以具体为卷积神经网络或其他类型的神经网络。该神经网络的网络结构可以采用但不限于AlexNet、VGGNet(Visual Geometry GroupNetwork,视觉几何组网络)或者深度残差网络(Deep Residual Network,ResNet,如ResNet-101)等。可选地,该神经网络可以包括但不限于至少一卷积层以及至少一非线性ReLU(Rectified Linear Units,修正线性单元)层等,神经网络所包含的层数越多,则网络越深。可选地,该神经网络可以具体为深度神经网络,但本申请实施例不限于此。
在一个或多个可选示例中,在神经网络是基于灰度图样本成功训练的神经网络的情况下,本申请实施例可以将灰度图提供给神经网络,神经网络可以通过对该灰度图进行处理,输出青光眼诊断结果。在神经网络是基于模式偏差概率图样本成功训练的神经网络的情况下,本申请实施例可以将模式偏差概率图提供给神经网络,神经网络可以对该模式偏差概率图进行处理,输出青光眼诊断结果。在神经网络是基于总偏差概率图样本成功训练的神经网络的情况下,也可以将总偏差概率图提供给神经网络,神经网络可以对该总偏差概率图进行处理,输出青光眼诊断结果。在神经网络是基于灰度图样本、模式偏差概率图样本和总偏差概率图样本中的任意两个或者三个成功训练的神经网络的情况下,也可以将灰度图、模式偏差概率图和总偏差概率图中的任意两个或者三个提供给神经网络,神经网络可以对该灰度图、模式偏差概率图和总偏差概率图中的任意两个或者三个进行处理,输出青光眼诊断结果,但本申请实施例不限于此。
在一个或多个可选示例中,神经网络输出的青光眼诊断结果可以是一个2维向量,其中,第一维向量表示患者属于青光眼的概率,第二维向量表示患者不属于青光眼的概率。另外,神经网络输出的青光眼诊断结果也可以是1维向量,该1维向量表示患者属于青光眼的概率。神经网络输出的青光眼诊断结果的具体形式通常与神经网络在训练过程中所采用的损失函数相关,例如,在利用Softmax作为损失函数来训练神经网络的情况下,训练成功的神经网络针对偏差概率图所输出的青光眼诊断预测结果可以是2维向量,再例如,在利用Crossentropy作为损失函数来训练神经网络的情况下,训练成功的神经网络针对偏差概率图所输出的青光眼诊断预测信息可以是1维向量。或者,神经网络输出的青光眼诊断结果也可以是超过2维的向量,如输出的3维或3维以上的向量中的一维向量可以表示患者属于青光眼的概率,另一维向量可以表示患者不属于青光眼的概率,其他一维或者多维向量可以表示患者属于疑似青光眼的概率、属于疑似非青光眼的概率以及疑似其他眼病的概率等中的至少一个,等等。本申请实施例不限制神经网络输出的青光眼诊断结果的具体表现形式。
在一个可选示例中,本申请实施例还可以获取视功能评估参数的值,并基于视功能评估参数的值以及色块图,得到青光眼诊断结果。
作为一个或多个可选例子,可以从视野检测报告中获取视功能评估参数的值,其中,可选地,可以在对视野检测报告进行有效性校验,并在有效性校验结果为该视野检测报告为有效的视野检测报告的情况下,从有效的视野检测报告获取色块图以及视功能评估参数的值,但本申请实施例不限于此。
在一个可选示例中,本申请中的视功能评估参数可以包括:VFI(Visual FieldIndex,加权视野指数)、MD(Mean Deviation,平均偏差)以及PSD(Pattern StandardDeviation,模式标准偏差)中的任意一个或多个。或者,视功能评估参数也可以保护其他类型的参数,本申请实施例对此不做限定。
在一个或多个可选示例中,可以获取视功能评估参数在视野检测报告中的位置信息,并基于该位置信息,从视野检测报告中获取对应的图像块,然后,可以对获取到的对应的图像块进行处理,例如进行OCR处理,得到视功能评估参数的值。其中,可选地,视功能评估参数的位置信息可以包括视功能评估参数的值的位置信息和/或视功能评估参数对应的图像块的位置信息。可选地,也可以通过其他方式获取视功能评估参数的值,本申请实施例对此不做限定。
在图2以及图3所示的例子中,视野检测报告中的VFI的取值、MD的取值以及PSD的取值在视野检测报告中的位置通常是固定的,都在视野检测报告中的右侧中间位置处,可选地,本申请实施例可以根据视野检测报告中的VFI的取值、MD的取值及PSD的取值在视野检测报告中的位置信息,来设置对应图像块的位置信息。例如,可以设置包含了VFI的取值的矩形(也可以称为VFI的取值外接框)的对角位置处的两个顶点坐标、包含了MD的取值的矩形(也可以称为MD的取值外接框)的对角位置处的两个顶点坐标、和/或包含了PSD的取值的矩形(也可以称为PSD的取值外接框)的对角位置处的两个顶点坐标。在设置了对应图像块的位置信息之后,可以根据该位置信息从视野检测报告中获取对应的图像块。例如,可以根据VFI的取值外接框从视野检测报告中获取包括VFI取值的图像块,可以根据MD的取值外接框从视野检测报告中获取包括MD取值的图像块,和/或可以根据PSD的取值外接框从视野检测报告中获取包含PSD取值的图像块。然后,通过对包含VFI取值的图像块、包含MD取值的图像块以及包含PSD取值的图像块中的任意一项或多项分别进行OCR处理,可以获得VFI的取值(如图2中的69%,再如图3中的59%)、MD的取值(如图2中的-12.15dB P<0.5%,再如图3中的-16.68dB P<0.5%)以及PSD的取值(如图2中的9.64dBP<0.5%,再如图3中的13.30dBP<0.5%)中的任意一项或多项。
本申请实施例通过利用色块图(如灰度图、总偏差概率图和模式偏差概率图中的任意一项或多项)来预测青光眼诊断结果,与其他利用阈值图、阈值总偏差图和/或模式偏差图等来预测青光眼诊断结果相比,可以避免无法从视野检测报告中获取阈值图、阈值总偏差图以及模式偏差图中的数字而只能从设备后台获取的问题以及降低预测不准确的风险,有利于提高预测结果的准确性。
在一个可选示例中,在利用神经网络对色块图进行处理的情况下,可以利用神经网络对色块图和视功能评估参数进行处理,得到青光眼诊断结果。例如,可以将色块图和视功能评估参数直接或间接提供给神经网络,神经网络可以对色块图进行特征提取处理,得到色块图的图像特征,并将该图像特征与视功能评估参数进行拼接处理,如图9所示,图9右下方的三个1×1的三个视功能评估参数与1×200的图像特征进行拼接,得到1×203的拼接特征,本申请可以基于该拼接特征,得到青光眼诊断结果。可选地,神经网络可以对色块图依次进行一次或多次特征提取处理(图9的左侧示出了多次特征提取过程),得到上述图像特征,本申请实施例对此不做限定。
在一个可选示例中,神经网络中可以设置有拼接层,例如,可以在神经网络的倒数第二层和最后一层之间设置拼接层,并将视功能评估参数提供给该拼接层,由该拼接层将其上一层输出的图像特征与其接收到的视功能评估参数进行拼接,并将拼接结果提供给神经网络的最后一层,但本申请实施例不限于此。
下面结合图5和图6,详细介绍本申请实施例中神经网络的训练方法。
S500、从训练数据集中获取色块图样本。
在一个可选示例中,本申请的训练数据集中通常设置有多条训练数据,一条训练数据中包括色块图样本以及色块图样本对应的青光眼诊断标注信息。本申请中的一条训练数据可以为基于灰度图样本及其青光眼诊断标注信息而形成的训练数据,也可以为基于模式偏差概率图样本及其青光眼诊断标注信息而形成的训练数据,还可以为基于总偏差概率图样本及其青光眼诊断标注信息而形成的训练数据,还可以为基于灰度图样本、模式偏差概率图样本和总偏差概率图样本中的任意两个或者三个以及青光眼诊断标注信息形成的训练数据。另外,训练数据集中还可以包括视功能评估参数样本,即训练数据集中的一条训练数据在包括色块图样本以及青光眼诊断标注信息的基础上,还包括视功能评估参数样本,如一条训练数据包括VFI、MD以及PSD中的任意一个或者任意两个或者三个。
在一个可选示例中,一个色块图样本所对应的青光眼诊断标注信息通常为患者是青光眼的诊断信息或者患者不是青光眼的诊断信息。另外,一个色块图样本所对应的青光眼诊断标注信息也可以为疑似青光眼的诊断信息或者疑似非青光眼的诊断信息或者疑似其他眼病的诊断信息等。本申请不限制青光眼诊断标注信息的具体表现形式。本申请形成训练数据集的一个具体过程可以参见下述针对图6的描述。
在一个可选示例中,本申请实施例可以采用随机读取或者顺序读取等方式,从训练数据集中一次读取一条或者多条训练数据。本申请不限制从训练数据集中获取训练数据的具体实现方式。另外,训练数据集中的色块图样本通常是符合神经网络对输入图像要求的样本,在训练数据集中的色块图样本不符合神经网络对输入图像要求的情况下,本申请实施例可以在从训练数据集中获取训练数据之后,对训练数据中的色块图样本进行调整,以使色块图样本符合神经网络对输入图像的要求。
S510、利用待训练的神经网络对色块图样本进行处理,得到青光眼诊断信息。
在一个可选示例中,本申请提供给待训练的神经网络的色块图样本可以为灰度图样本、模式偏差概率图样本、以及总偏差概率图样本中的任意一个或者任意两个或者三个。另外,本申请还可以将训练数据中的视功能评估参数样本提供给待训练的神经网络,具体的,本申请实施例可以将视功能评估参数样本提供给位于待训练的神经网络中的拼接层,由该拼接层将其上一层输出的图像特征与其接收到的视功能评估参数进行拼接,并将拼接后的图像特征和视功能评估参数提供给待训练的神经网络的最后一层。
S520、以色块图样本的青光眼诊断标注信息为指导信息,对待训练的神经网络进行监督学习,以减小利用待训练的神经网络,获得的青光眼诊断信息与青光眼诊断标注信息之间的差异。
在一个可选示例中,本申请实施例可以以色块图样本的青光眼诊断标注信息为指导信息(即学习的目标),对待训练的神经网络进行监督学习,从而形成神经网络的一反向传播过程。在反向传播过程中,本申请实施例可以基于随机梯度下降法,利用相应的损失函数(例如,Softmax Loss损失函数)针对色块图样本的青光眼诊断标注信息与待训练的神经网络输出的青光眼诊断信息的计算结果,以调整待训练的神经网络中的网络参数(例如,卷积核的权重等)。在待训练的神经网络训练的迭代次数达到预定次数或者待训练的神经网络输出的青光眼诊断信息与青光眼诊断标注信息之间的差异已经达到预定要求的情况下,待该训练的神经网络的训练过程结束。如果训练结束的神经网络所输出的青光眼诊断预测信息与青光眼诊断标注信息之间的差异达到预定要求,则神经网络训练成功。
图6为本申请实施例的形成训练数据集的方法的流程图。如图6所示,该实施例方法包括:S600以及S610。
S600、从视野检测报告样本中获取色块图,并获取视野检测报告样本对应的青光眼诊断信息。
在一个可选示例中,本申请预先设置有多个视野检测报告样本。本申请的视野检测报告样本可以具体为52个点的视野检测报告样本,也可以具体为74个点的视野检测报告样本。
在一个可选示例中,在从任一视野检测报告样本中,获取色块图的情况下,本申请实施例可以先对视野检测报告样本进行有效性校验,在有效性校验结果为该视野检测报告样本为有效的视野检测报告样本的情况下,再从该视野检测报告样本中获取色块图;而在有效性校验结果为该视野检测报告样本为无效的视野检测报告样本的情况下,则本申请实施例可以不再从该视野检测报告样本中获取色块图,此时,本申请实施例可以输出视野检测报告样本中的检测信息可靠性存在问题等提示信息。本申请中的有效的视野检测报告样本通常可以指视野检测报告样本中的检测信息属于可靠的检测信息。
本申请通过对视野检测报告样本进行有效性校验,可以避免利用无效样本对神经网络进行训练的现象,有利于提高神经网络的训练效果。
在一个可选示例中,本申请实施例可以通过多种方式来对视野检测报告样本进行有效性校验,例如,本申请实施例可以从视野检测报告样本中获取一个或者多个检测指标的取值,并判断获取到的检测指标的取值是否属于预定取值范围,如果检测指标的取值属于预定取值范围,则可以确定该视野检测报告样本为有效的视野检测报告,而如果检测指标的取值不属于预定取值范围,则确定该视野检测报告样本为无效的视野检测报告样本。上述检测指标可以具体为FL、FP以及FN中的至少一个。在一个可选例子中,本申请中的FL、FP和FN各自对应有预定取值范围,本申请实施例可以从视野检测报告样本中获取FL的取值、FP的取值以及FN的取值,在判断出FL的取值属于FL对应的预定取值范围,FP的取值属于FP对应的预定取值范围,且FN的取值属于FN对应的预定取值范围,则确定该视野检测报告样本为有效的视野检测报告;在判断出FL的取值不属于FL对应的预定取值范围,或者FP的取值不属于FP对应的预定取值范围,且FN的取值不属于FN对应的预定取值范围,则确定该视野检测报告样本为无效的视野检测报告样本。本申请中的各预定取值范围可以根据实际需求来设置,本申请不限制预定取值范围的具体数值。
在一个可选示例中,本申请实施例可以从视野检测报告样本中获取一个或多个检测指标的取值的方式可以为:先根据预先针对检测指标设置的位置信息,从视野检测报告样本中剪切图像块,然后,对剪切出的图像块进行OCR处理,从而根据OCR处理结果获得检测指标的取值。
在一个可选示例中,视野检测报告样本中的FL的取值、FP的取值以及FN的取值在视野检测报告样本中的位置通常是固定的,例如,都在视野检测报告样本中的左上角位置处,因此,本申请实施例可以预先根据视野检测报告样本中的FL的取值、FP的取值以及FN的取值在视野检测报告样本中的位置,来设置位置信息,例如,设置包含了FL的取值的矩形(也可以称为FL的取值外接框)的对角位置处的两个顶点坐标、包含了FP的取值的矩形(也可以称为FP的取值外接框)的对角位置处的两个顶点坐标以及包含了FN的取值的矩形(也可以称为FN的取值外接框)的对角位置处的两个顶点坐标;在设置了位置信息之后,本申请实施例可以根据相应的位置信息从视野检测报告样本中剪切出图像块,例如,根据FL的取值外接框从视野检测报告样本中剪切出FL取值图像块,根据FP的取值外接框从视野检测报告样本中剪切出FP取值图像块,根据FN的取值外接框从视野检测报告样本中剪切出FN取值图像块;本申请通过对FL取值图像块、FP取值图像块以及FN取值图像块分别进行OCR处理,从而可以获得FL的取值、FP的取值以及FN的取值。
在一个可选示例中,本申请实施例可以从有效的视野检测报告样本中获取基于视野的色块图的方式可以为:根据预先针对基于视野的色块图设置的位置信息,从视野检测报告样本中剪切图像块,将剪切出的图像块作为色块图样本。本申请中的基于视野的色块图样本可以包括灰度图样本、总偏差概率图样本以及模式偏差概率图样本中的至少一个。
在一个可选示例中,视野检测报告样本中的色块图的位置,通常是固定的,例如,灰度图位于视野检测报告样本中的右上角位置处,总偏差概率图位于视野检测报告样本中的左下角位置处,模式偏差概率图位于视野检测报告样本中的总偏差概率图的右侧,因此,本申请实施例可以预先根据视野检测报告样本中的色块图的位置来设置位置信息,例如,设置包含了灰度图的矩形的对角位置处的两个顶点坐标、包含了总偏差概率图的矩形的对角位置处的两个顶点坐标、和/或包含了模式偏差概率图的矩形的对角位置处的两个顶点坐标;在设置了位置信息之后,本申请实施例可以根据相应的位置信息从视野检测报告样本中剪切出图像块,剪切出的图像块即为色块图;例如,根据灰度图外接框从视野检测报告样本中剪切出的图像块为灰度图;根据模式偏差概率图外接框从视野检测报告样本中剪切出的图像块为模式偏差概率图;再例如,根据总偏差概率图外接框从视野检测报告样本中剪切出的图像块为总偏差概率图;再例如,根据灰度图外接框、模式偏差概率图外接框以及总偏差概率图外接框中的任意两个或者三个从视野检测报告样本中剪切出的两个或者三个图像块,分别为相应的灰度图、模式偏差概率图以及总偏差概率图。
在一个可选示例中,本申请在从有效的视野检测报告样本中获取色块图之后,可以根据神经网络对输入图像的要求对色块图进行调整,以使色块图符合神经网络对输入图像的要求。本申请不限制对色块图进行调整的具体实现方式。
在一个可选示例中,本申请还可以从有效的视野检测报告样本中获取视功能评估参数。由于视野检测报告样本中的VFI的取值、MD的取值以及PSD的取值在视野检测报告样本中的位置通常是固定的,例如,都在视野检测报告样本中的右侧中间位置处,因此,本申请实施例可以根据视野检测报告样本中的VFI的取值、MD的取值及PSD的取值在视野检测报告样本中的位置,来设置位置信息,在设置了位置信息后,本申请实施例可以根据相应的位置信息从视野检测报告样本中剪切出图像块,通过对剪切出的图像块进行OCR处理,从而可以获得视功能评估参数。
在一个可选示例中,本申请实施例可以根据医生的临床诊断信息获取视野检测报告样本对应的青光眼诊断信息,例如,在医生的临床诊断信息为数字形式的情况下,本申请实施例可以通过读取的方式获取视野检测报告样本对应的青光眼诊断信息;再例如,在医生的临床诊断信息为手书形式的情况下,本申请实施例可以通过扫描以及文字识别的方式获取视野检测报告样本对应的青光眼诊断信息。本申请不限制从医生的临床诊断信息中获取视野检测报告样本对应的青光眼诊断信息的具体实现方式。
S610、将色块图和青光眼诊断信息作为训练数据集中的色块图样本和青光眼诊断标注信息。
在一个可选示例中,本申请实施例可以将上述获取到的色块图作为一条训练数据中的色块图样本,并将上述获取到的色块图对应的青光眼诊断信息作为该条训练数据中的青光眼诊断标注信息,并将该条训练数据存储在训练数据集中。利用图6所示的方法可以形成包含有多条训练数据的训练数据集。
在本发明实施例中应用神经网络进行青光眼诊断的过程以及训练神经网络的过程大部分类似,并且形成训练数据集的过程和实际处理过程中形成卷积网络的输入信息的过程类似,为了简洁,这里不再赘述。
图7为本申请的青光眼诊断的装置一个实施例的结构示意图。如图7所示,该实施例的装置主要包括:第一获取模块700以及处理模块710。可选的,该实施例的装置还可以包括:校验模块720、第二获取模块730、训练模块740以及第三获取模块750。
第一获取模块700主要用于获取基于视野的色块图。第一获取模块700可以从视野检测报告中获取基于视野的色块图。第一获取模块700获取基于视野的色块图的具体实现方式,可以参见上述方法实施方式的S100中的相关描述,在此不再重复说明。
处理模块710主要用于利用机器学习方法对第一获取模块700获取到的色块图进行处理,得到青光眼诊断结果。处理模块710可以利用神经网络对第一获取模块700获取到的色块图进行处理,得到青光眼诊断结果。处理模块710所执行的具体操作可以参见上述方法实施方式的S110中的相关描述,在此不再重复说明。
校验模块720主要用于对视野检测报告的有效性进行校验,以确定视野检测报告是否为有效的视野检测报告。校验模块720对视野检测报告的有效性进行校验的具体实现方式,可以参见上述方法实施方式的S100中与有效性校验相关的描述,在此不再重复说明。另外,在本申请的装置包括校验模块720的情况下,第一获取模块700可以具体用于,在校验模块720确定出视野检测报告为有效的视野检测报告的情况下,从视野检测报告中获取基于视野的色块图。
第二获取模块730主要用于获取视功能评估参数。第二获取模块730可以从视野检测报告中获取视功能评估参数。第二获取模块730获取视功能评估参数的具体实现方式,可以参见上述方法实施方式的S110中的相关描述,在此不再重复说明。
另外,在本申请的装置包括第二获取模块730的情况下,处理模块710可以具体用于,利用神经网络对视功能评估参数和基于视野的色块图进行处理,得到青光眼诊断结果。在一个可选示例中,处理模块710可以包括第一单元、第二单元以及第三单元;其中的第一单元主要用于利用神经网络对基于视野的色块图进行特征提取处理,得到该色块图的图像特征。第二单元主要用于将第二获取模块730获取到的视功能评估参数和第一单元获取到的色块图的图像特征进行拼接处理,得到拼接特征;第三单元主要用于基于第二单元拼接处理形成的拼接特征,利用神经网络对拼接特征进行处理,得到青光眼诊断结果。第一单元、第二单元以及第三单元所执行的具体操作,可以参见上述方法实施方式的S110中的相关描述,在此不再重复说明。
训练模块740主要用于获取色块图样本,其中,该色块图样本标注有青光眼诊断标注信息;基于待训练的神经网络,获得该色块图样本的青光眼诊断结果;以该色块图样本的青光眼诊断标注信息为指导信息,对该待训练的神经网络进行监督学习,以减小色块图样本的青光眼诊断结果与青光眼诊断标注信息之间的差异。训练模块740对待训练的神经网络进行训练的具体过程,可以参见上述方法实施方式中针对图5的描述,在此不再重复说明。
第三获取模块750主要用于从患者的临床诊断信息中获取色块图样本的青光眼诊断标注信息。第三获取模块750获取色块图样本的青光眼诊断标注信息的具体过程,可以参见上述方法实施方式中针对图6的描述,在此不再重复说明。
示例性设备
图8示出了适于实现本申请的示例性设备800,设备800可以是汽车中配置的控制系统/电子系统、移动终端(例如,智能移动电话等)、个人计算机(PC,例如,台式计算机或者笔记型计算机等)、平板电脑以及服务器等。图8中,设备800包括一个或者多个处理器、通信部等,所述一个或者多个处理器可以为:一个或者多个中央处理单元(CPU)801,和/或,一个或者多个利用神经网络进行青光眼诊断的器(GPU)813等,处理器可以根据存储在只读存储器(ROM)802中的可执行指令或者从存储部分808加载到随机访问存储器(RAM)803中的可执行指令而执行各种适当的动作和处理。通信部812可以包括但不限于网卡,所述网卡可以包括但不限于IB(Infiniband)网卡。处理器可与只读存储器802和/或随机访问存储器830中通信以执行可执行指令,通过总线804与通信部812相连、并经通信部812与其他目标设备通信,从而完成本申请中的相应步骤。
上述各指令所执行的操作可以参见上述方法实施例中的相关描述,在此不再详细说明。
此外,在RAM 803中,还可以存储有装置操作所需的各种程序以及数据。CPU801、ROM802以及RAM803通过总线804彼此相连。在有RAM803的情况下,ROM802为可选模块。RAM803存储可执行指令,或在运行时向ROM802中写入可执行指令,可执行指令使中央处理单元801执行上述物体分割方法所包括的步骤。输入/输出(I/O)接口805也连接至总线804。通信部812可以集成设置,也可以设置为具有多个子模块(例如,多个IB网卡),并分别与总线连接。
以下部件连接至I/O接口805:包括键盘、鼠标等的输入部分806;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807;包括硬盘等的存储部分808;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器810上,以便于从其上读出的计算机程序根据需要被安装在存储部分808中。
需要特别说明的是,如图8所示的架构仅为一种可选实现方式,在具体实践过程中,可根据实际需要对上述图8的部件数量和类型进行选择、删减、增加或替换;在不同功能部件设置上,也可采用分离设置或集成设置等实现方式,例如,GPU和CPU可分离设置,再如理,可将GPU集成在CPU上,通信部可分离设置,也可集成设置在CPU或GPU上等。这些可替换的实施方式均落入本申请的保护范围。
特别地,根据本申请的实施方式,下文参考流程图描述的过程可以被实现为计算机软件程序,例如,本申请实施方式包括一种计算机程序产品,其包含有形地包含在机器可读介质上的计算机程序,计算机程序包含用于执行流程图所示的步骤的程序代码,程序代码可包括对应执行本申请提供的步骤对应的指令。
在这样的实施方式中,该计算机程序可以通过通信部分809从网络上被下载及安装,和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时,执行本申请中记载的上述指令。
在一个或多个可选实施方式中,本公开实施例还提供了一种计算机程序程序产品,用于存储计算机可读指令,所述指令被执行时使得计算机执行上述任意实施例中所述的青光眼诊断方法。
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选例子中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选例子中,所述计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。
在一个或多个可选实施方式中,本公开实施例还提供了另一种青光眼诊断方法及其对应的装置和电子设备、计算机存储介质、计算机程序以及计算机程序产品,其中的方法包括:第一装置向第二装置发送青光眼诊断指示,该指示使得第二装置执行上述任一可能的实施例中的青光眼诊断方法;第一装置接收第二装置发送的青光眼诊断结果。
在一些实施例中,该青光眼诊断指示可以具体为调用指令,第一装置可以通过调用的方式指示第二装置执行青光眼诊断操作,相应地,响应于接收到调用指令,第二装置可以执行上述青光眼诊断方法中的任意实施例中的步骤和/或流程。
应理解,本公开实施例中的“第一”、“第二”等术语仅仅是为了区分,而不应理解成对本公开实施例的限定。
还应理解,在本公开中,“多个”可以指两个或两个以上,“至少一个”可以指一个、两个或两个以上。
还应理解,对于本公开中提及的任一部件、数据或结构,在没有明确限定或者在前后文给出相反启示的情况下,一般可以理解为一个或多个。
还应理解,本公开对各个实施例的描述着重强调各个实施例之间的不同之处,其相同或相似之处可以相互参考,为了简洁,不再一一赘述。
可能以许多方式来实现本申请的方法和装置、电子设备以及计算机可读存储介质。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本申请的方法和装置、电子设备以及计算机可读存储介质。用于方法的步骤的上述顺序仅是为了进行说明,本申请的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施方式中,还可将本申请实施为记录在记录介质中的程序,这些程序包括用于实现根据本申请的方法的机器可读指令。因而,本申请还覆盖存储用于执行根据本申请的方法的程序的记录介质。
本申请的描述是为了示例和描述起见而给出的,而并不是无遗漏的或者将本申请限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择以及描述实施方式是为了更好说明本申请的原理和实际应用,并且使本领域的普通技术人员能够理解本申请实施例可以从而设计适于特定用途的带有各种修改的各种实施方式。

Claims (21)

1.一种青光眼诊断的装置,其特征在于,包括:
第一获取模块,用于获取基于视野的色块图;其中,所述基于视野的色块图包括灰度图、总偏差概率图及模式偏差概率图中的至少一个;
处理模块,用于利用机器学习方法对所述第一获取模块获取的色块图进行处理,得到青光眼诊断结果;
所述装置还包括:
第二获取模块,用于从视野检测 报告中获取视功能评估参数;
所述处理模块包括:
第一单元,用于利用神经网络对所述色块图进行特征提取处理,得到所述色块图的图像特征;
第二单元,用于将所述视功能评估参数和所述色块图的图像特征进行拼接处理,得到拼接特征;
第三单元,用于利用所述神经网络对所述拼接特征进行处理,得到青光眼诊断结果;
其中,所述神经网络的倒数第二层和最后一层之间设置有拼接层,所述视功能评估参数被提供给所述拼接层,由所述拼接层将其上一层输出的图像特征与其接收到的视功能拼接参数进行拼接,并将拼接特征提供给所述神经网络的最后一层,由所述神经网络的最后一层对所述拼接特征进行处理,得到青光眼诊断结果;
其中,所述装置还包括:
校验模块,用于对所述视野检测报告的有效性进行校验,以确定所述视野检测报告是否为有效的视野检测报告,其中,从所述视野检测报告中获取固视丢失率的取值、假阳性率的取值以及假阴性率的取值,在判断出所述固视丢失率的取值属于所述固视丢失率对应的预定取值范围、所述假阳性率的取值属于所述假阳性率对应的预定取值范围、且所述假阴性率的取值属于所述假阴性率对应的预定取值范围的情况下,则确定所述视野检测报告为有效的视野检测报告;
所述第一获取模块具体用于:在所述校验模块确定所述视野检测报告为有效的视野检测报告的情况下,从所述视野检测报告中获取基于视野的色块图。
2.根据权利要求1所述的装置,其特征在于,所述装置还包括:
训练模块,用于获取色块图样本,其中,所述色块图样本标注有青光眼诊断标注信息;基于待训练的神经网络,获得所述色块图样本的青光眼诊断结果;以所述色块图样本的青光眼诊断标注信息为指导信息,对所述待训练的神经网络进行监督学习,以减小基于待训练的神经网络获得的色块图样本的青光眼诊断结果与所述青光眼诊断标注信息之间的差异。
3.根据权利要求2所述的装置,其特征在于,所述装置还包括:
第三获取模块,用于从患者的临床诊断信息中获取所述色块图样本的青光眼诊断标注信息。
4.一种电子设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述存储器中存储的计算机程序,且所述计算机程序被执行时,实现下述步骤:
获取基于视野的色块图;其中,所述基于视野的色块图包括灰度图、总偏差概率图及模式偏差概率图中的至少一个;
利用机器学习方法对所述色块图进行处理,得到青光眼诊断结果;
所述计算机程序被执行时,还实现下述步骤:
获取视功能评估参数;
所述计算机程序被执行时,具体实现下述步骤:
利用神经网络对所述色块图进行特征提取处理,得到所述色块图的图像特征;
将所述视功能评估参数和所述色块图的图像特征进行拼接处理,得到拼接特征;
利用神经网络对所述拼接特征进行处理,得到青光眼诊断结果;
其中,所述神经网络的倒数第二层和最后一层之间设置有拼接层,所述视功能评估参数被提供给所述拼接层,由所述拼接层将其上一层输出的图像特征与其接收到的视功能拼接参数进行拼接,并将拼接特征提供给所述神经网络的最后一层,由所述神经网络的最后一层对所述拼接特征进行处理,得到青光眼诊断结果;
其中,所述计算机程序被执行时,具体实现下述步骤:
从视野检测报告中获取基于视野的色块图;
其中,所述计算机程序被执行时,还实现下述步骤:
在所述从视野检测报告中获取基于视野的色块图之前,对所述视野检测报告的有效性进行校验,以确定所述视野检测报告是否为有效的视野检测报告,其中,从所述视野检测报告中获取固视丢失率的取值、假阳性率的取值以及假阴性率的取值,在判断出所述固视丢失率的取值属于所述固视丢失率对应的预定取值范围、所述假阳性率的取值属于所述假阳性率对应的预定取值范围、且所述假阴性率的取值属于所述假阴性率对应的预定取值范围的情况下,则确定所述视野检测报告为有效的视野检测报告;
所述计算机程序被执行时,具体实现下述步骤:
在确定所述视野检测报告为有效的视野检测报告的情况下,从所述视野检测报告中获取基于视野的色块图。
5.根据权利要求4所述的电子设备,其特征在于,所述计算机程序被执行时,具体实现下述步骤:
获取所述视野检测报告中的固视丢失率、假阳性率及假阴性率中的至少一个;
基于获取到的所述固视丢失率、假阳性率及假阴性率中的至少一个,确定所述视野检测报告是否为有效的视野检测报告。
6.根据权利要求5所述的电子设备,其特征在于,所述计算机程序被执行时,具体实现下述步骤:
在获取到的所述固视丢失率、假阳性率及假阴性率中的至少一个中的每个数值满足对应的取值范围的情况下,确定所述视野检测报告为有效的视野检测报告。
7.根据权利要求5所述的电子设备,其特征在于,所述计算机程序被执行时,具体实现下述步骤:
根据所述固视丢失率、假阳性率及假阴性率中的至少一个在视野检测报告中的预设位置信息,从所述视野检测报告中获取至少一个图像块;
对所述至少一个图像块中的每个图像块进行光学字符识别OCR处理,得到所述固视丢失率、假阳性率及假阴性率中的至少一个。
8.根据权利要求4至7中任一项所述的电子设备,其特征在于,所述计算机程序被执行时,具体实现下述步骤:
根据色块图在视野检测报告中的预设位置信息,从所述视野检测报告中获取所述色块图。
9.根据权利要求4所述的电子设备,其特征在于,所述视功能评估参数包括加权视野指数、平均偏差及模式标准偏差中的至少一个。
10.根据权利要求4所述的电子设备,其特征在于,所述计算机程序被执行时,具体实现下述步骤:
从所述视野检测报告中获取视功能评估参数。
11.根据权利要求4所述的电子设备,其特征在于,所述计算机程序被执行时,还实现下述步骤:
获取色块图样本,其中,所述色块图样本标注有青光眼诊断标注信息;
基于待训练的神经网络,获得所述色块图样本的青光眼诊断结果;
以所述色块图样本的青光眼诊断标注信息为指导信息,对所述待训练的神经网络进行监督学习,以减小基于待训练的神经网络获得的色块图样本的青光眼诊断结果与所述青光眼诊断标注信息之间的差异。
12.根据权利要求11所述的电子设备,其特征在于,所述计算机程序被执行时,还实现下述步骤:
从患者的临床诊断信息中获取所述色块图样本的青光眼诊断标注信息。
13.一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时,实现下述步骤:
获取基于视野的色块图;其中,所述基于视野的色块图包括灰度图、总偏差概率图及模式偏差概率图中的至少一个;
利用机器学习方法对所述色块图进行处理,得到青光眼诊断结果;
所述计算机程序被执行时,还实现下述步骤:
获取视功能评估参数;
所述计算机程序被执行时,具体实现下述步骤:
利用神经网络对所述色块图进行特征提取处理,得到所述色块图的图像特征;
将所述视功能评估参数和所述色块图的图像特征进行拼接处理,得到拼接特征;
利用神经网络对所述拼接特征进行处理,得到青光眼诊断结果;
其中,所述神经网络的倒数第二层和最后一层之间设置有拼接层,所述视功能评估参数被提供给所述拼接层,由所述拼接层将其上一层输出的图像特征与其接收到的视功能拼接参数进行拼接,并将拼接特征提供给所述神经网络的最后一层,由所述神经网络的最后一层对所述拼接特征进行处理,得到青光眼诊断结果;
其中,所述计算机程序被处理器执行时,具体实现下述步骤:
从视野检测报告中获取基于视野的色块图;
其中,所述计算机程序被执行时,还实现下述步骤:
在所述从视野检测报告中获取基于视野的色块图之前,对所述视野检测报告的有效性进行校验,以确定所述视野检测报告是否为有效的视野检测报告,其中,从所述视野检测报告中获取固视丢失率的取值、假阳性率的取值以及假阴性率的取值,在判断出所述固视丢失率的取值属于所述固视丢失率对应的预定取值范围、所述假阳性率的取值属于所述假阳性率对应的预定取值范围、且所述假阴性率的取值属于所述假阴性率对应的预定取值范围的情况下,则确定所述视野检测报告为有效的视野检测报告;
所述计算机程序被执行时,具体实现下述步骤:
在确定所述视野检测报告为有效的视野检测报告的情况下,从所述视野检测报告中获取基于视野的色块图。
14.根据权利要求13所述的计算机可读存储介质,其特征在于,所述计算机程序被执行时,具体实现下述步骤:
获取所述视野检测报告中的固视丢失率、假阳性率及假阴性率中的至少一个;
基于获取到的所述固视丢失率、假阳性率及假阴性率中的至少一个,确定所述视野检测报告是否为有效的视野检测报告。
15.根据权利要求14所述的计算机可读存储介质,其特征在于,所述计算机程序被执行时,具体实现下述步骤:
在获取到的所述固视丢失率、假阳性率及假阴性率中的至少一个中的每个数值满足对应的取值范围的情况下,确定所述视野检测报告为有效的视野检测报告。
16.根据权利要求14所述的计算机可读存储介质,其特征在于,所述计算机程序被执行时,具体实现下述步骤:
根据所述固视丢失率、假阳性率及假阴性率中的至少一个在视野检测报告中的预设位置信息,从所述视野检测报告中获取至少一个图像块;
对所述至少一个图像块中的每个图像块进行光学字符识别OCR处理,得到所述固视丢失率、假阳性率及假阴性率中的至少一个。
17.根据权利要求13至16中任一项所述的计算机可读存储介质,其特征在于,所述计算机程序被执行时,具体实现下述步骤:
根据色块图在视野检测报告中的预设位置信息,从所述视野检测报告中获取所述色块图。
18.根据权利要求13所述的计算机可读存储介质,其特征在于,所述视功能评估参数包括加权视野指数、平均偏差及模式标准偏差中的至少一个。
19.根据权利要求13所述的计算机可读存储介质,其特征在于,所述计算机程序被执行时,具体实现下述步骤:
从所述视野检测报告中获取视功能评估参数。
20.根据权利要求13所述的计算机可读存储介质,其特征在于,所述计算机程序被执行时,还实现下述步骤:
获取色块图样本,其中,所述色块图样本标注有青光眼诊断标注信息;
基于待训练的神经网络,获得所述色块图样本的青光眼诊断结果;
以所述色块图样本的青光眼诊断标注信息为指导信息,对所述待训练的神经网络进行监督学习,以减小基于待训练的神经网络获得的色块图样本的青光眼诊断结果与所述青光眼诊断标注信息之间的差异。
21.根据权利要求20所述的计算机可读存储介质,其特征在于,所述计算机程序被执行时,还实现下述步骤:
从患者的临床诊断信息中获取所述色块图样本的青光眼诊断标注信息。
CN201711405697.0A 2017-12-22 2017-12-22 青光眼诊断的方法、装置及电子设备 Active CN108229545B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711405697.0A CN108229545B (zh) 2017-12-22 2017-12-22 青光眼诊断的方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711405697.0A CN108229545B (zh) 2017-12-22 2017-12-22 青光眼诊断的方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN108229545A CN108229545A (zh) 2018-06-29
CN108229545B true CN108229545B (zh) 2021-09-14

Family

ID=62647746

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711405697.0A Active CN108229545B (zh) 2017-12-22 2017-12-22 青光眼诊断的方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN108229545B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109528155B (zh) * 2018-11-19 2021-07-13 复旦大学附属眼耳鼻喉科医院 一种适用于高度近视并发开角型青光眼的智能筛查系统及其建立方法
CN110619332B (zh) * 2019-08-13 2022-03-29 中国科学院深圳先进技术研究院 基于视野检查报告的数据处理方法、装置及设备
CN111179226B (zh) * 2019-12-14 2024-04-19 中国科学院深圳先进技术研究院 视野图的识别方法、装置及计算机存储介质
CN112651921B (zh) * 2020-09-11 2022-05-03 浙江大学 一种基于深度学习的青光眼视野数据区域提取方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102112044A (zh) * 2008-05-14 2011-06-29 科学、技术与研究机构 自动杯盘比测量系统
CN106308738A (zh) * 2016-08-30 2017-01-11 湖州美科沃华医疗技术有限公司 一种用于青光眼检测的装置及方法
CN106529558A (zh) * 2016-10-28 2017-03-22 北京化工大学 青光眼图像特征提取方法及装置
EP2558862B1 (en) * 2010-04-13 2018-11-21 m-lab GmbH Diagnostic methods for glaucoma

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8243999B2 (en) * 2006-05-03 2012-08-14 Ut-Battelle, Llc Method and system for the diagnosis of disease using retinal image content and an archive of diagnosed human patient data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102112044A (zh) * 2008-05-14 2011-06-29 科学、技术与研究机构 自动杯盘比测量系统
EP2558862B1 (en) * 2010-04-13 2018-11-21 m-lab GmbH Diagnostic methods for glaucoma
CN106308738A (zh) * 2016-08-30 2017-01-11 湖州美科沃华医疗技术有限公司 一种用于青光眼检测的装置及方法
CN106529558A (zh) * 2016-10-28 2017-03-22 北京化工大学 青光眼图像特征提取方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Automatic Feature Learning for Glaucoma Detection Based on Deep Learning;Xiangyu Chen 等;《Medical Image Computing and Computer-Assisted》;20151118;第669-677页 *
Development of machine learning models for diagnosis of glaucoma;Seong Jae Kim 等;《Machine learning models for diagnosis of glaucoma》;20170523;第1-16页 *
Glaucoma Progression Detection Using Structural;Siamak Yousefi 等;《IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING》;20140430;第1143-1153页 *
Siamak Yousefi 等.Glaucoma Progression Detection Using Structural.《IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING》.2014,第1143-1153页. *

Also Published As

Publication number Publication date
CN108229545A (zh) 2018-06-29

Similar Documents

Publication Publication Date Title
CN108229545B (zh) 青光眼诊断的方法、装置及电子设备
CN108038880B (zh) 用于处理图像的方法和装置
CN111310808B (zh) 图片识别模型的训练方法、装置、计算机系统及存储介质
CN107622240B (zh) 人脸检测方法和装置
CN114155543B (zh) 神经网络训练方法、文档图像理解方法、装置和设备
CN108280477B (zh) 用于聚类图像的方法和装置
US10467743B1 (en) Image processing method, terminal and storage medium
US20200380398A1 (en) Remote Validation of Machine-Learning Models for Data Imbalance
US11521115B2 (en) Method and system of detecting data imbalance in a dataset used in machine-learning
CN111062389A (zh) 文字识别方法、装置、计算机可读介质及电子设备
CN113065614B (zh) 分类模型的训练方法和对目标对象进行分类的方法
CN113705362B (zh) 图像检测模型的训练方法、装置、电子设备及存储介质
Shenoy et al. Utilizing smartphone-based machine learning in medical monitor data collection: seven segment digit recognition
US20220405961A1 (en) Long distance qr code decoding
US11341394B2 (en) Diagnosis of neural network
CN110210314B (zh) 人脸检测方法、装置、计算机设备及存储介质
CN116524477A (zh) 一种识别检测盒检测结果的方法及系统
CN116188940A (zh) 训练模型的方法、装置、存储介质以及电子设备
CN110851349B (zh) 页面异常显示的检测方法、终端设备及存储介质
CN112749978B (zh) 检测方法、装置、设备、存储介质以及程序产品
CN114663418A (zh) 图像处理的方法及装置、存储介质及电子设备
CN111046380B (zh) 一种基于对抗样本增强模型抗攻击能力的方法和系统
US20240054402A1 (en) Attribution and Generation of Saliency Visualizations for Machine-Learning Models
CN115512131B (zh) 图像检测方法和图像检测模型的训练方法
Marais Automatic extraction of data from infra-red thermometers with computer vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant