CN112651938B - 视盘图像分类模型的训练方法、装置、设备及存储介质 - Google Patents

视盘图像分类模型的训练方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112651938B
CN112651938B CN202011549433.4A CN202011549433A CN112651938B CN 112651938 B CN112651938 B CN 112651938B CN 202011549433 A CN202011549433 A CN 202011549433A CN 112651938 B CN112651938 B CN 112651938B
Authority
CN
China
Prior art keywords
image
video disc
sample
disc image
image quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011549433.4A
Other languages
English (en)
Other versions
CN112651938A (zh
Inventor
王关政
范栋轶
王瑞
王立龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202011549433.4A priority Critical patent/CN112651938B/zh
Priority to PCT/CN2021/084532 priority patent/WO2022134362A1/zh
Publication of CN112651938A publication Critical patent/CN112651938A/zh
Application granted granted Critical
Publication of CN112651938B publication Critical patent/CN112651938B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24137Distances to cluster centroïds
    • G06F18/2414Smoothing the distance, e.g. radial basis function networks [RBFN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及人工智能技术领域,公开了一种视盘图像分类模型的训练方法,包括:基于MaskRCNN网络构建神经网络模型,并将MaskRCNN网络的Mask实例分割单元替换为图像质量检测单元;获取多个视盘图像样本,视盘图像样本包括图像质量合格样本和图像质量不合格样本,图像质量合格样本包括视盘图像正常样本和视盘图像异常样本,视盘图像异常样本包括青光眼图像样本和视盘水肿图像样本;将视盘图像样本输入至神经网络模型中进行迭代训练,以得到所述视盘图像分类模型。本申请还涉及区块链技术领域。本申请还公开了一种视盘图像分类模型的训练装置、计算机设备以及计算机可读存储介质。本申请方便提高了对视盘图像检测的准确率。

Description

视盘图像分类模型的训练方法、装置、设备及存储介质
技术领域
本申请涉及人工智能技术领域,尤其涉及一种视盘图像分类模型的训练方法、视盘图像分类模型的训练装置、计算机设备以及计算机可读存储介质。
背景技术
青光眼、视盘水肿等病变会严重的影响视力。由于青光眼、视盘水肿等病变隐匿性较强,初期无明显症状,早期筛查具有很大困难性。青光眼、视盘水肿等病变会导致视盘出现异常,例如青光眼患者视盘形态会出现异常的凹陷,视盘水肿患者的视盘会出现明显的隆起,视乳头炎患者的视盘会出现出血或肿胀。
目前,虽然深度学习已应用在对视盘图片的检测,在一定程度上提高了检测效率,但也存在因图像拍摄质量不好而导致对视盘图片检测的结果产生误判的情况。
上述内容仅用于辅助理解本申请的技术方案,并不代表承认上述内容是现有技术。
发明内容
本申请的主要目的在于提供一种视盘图像分类模型的训练方法、视盘图像分类模型的训练装置、计算机设备以及计算机可读存储介质,旨在解决如何避免因图像质量不合格而影响视盘图像的检测结果的情况发生,从而提高对视盘图像检测的准确率的问题。
为实现上述目的,本申请提供一种视盘图像分类模型的训练方法,包括以下步骤:
基于MaskRCNN网络构建神经网络模型,并将所述MaskRCNN网络的Mask实例分割单元替换为图像质量检测单元;以及,
获取多个视盘图像样本,其中,所述视盘图像样本包括图像质量合格样本和图像质量不合格样本,所述图像质量合格样本包括视盘图像正常样本和视盘图像异常样本,所述视盘图像异常样本包括青光眼图像样本和视盘水肿图像样本;
将所述视盘图像样本输入至所述神经网络模型中进行迭代训练,直到所述神经网络模型训练完成,其中,所述图像质量检测单元用于区分所述图像质量合格样本和所述图像质量不合格样本;训练完成的所述神经网络模型用于对视盘图像进行分类。
进一步地,所述神经网络模型采用的损失函数Loss为:
Loss=0.4*LQ+0.4*LC+0.2*LD
其中,所述LQ为图像质量损失函数,所述LC为目标分类损失函数,所述LD为位置回归损失函数。
进一步地,所述图像质量损失函数LQ为:
LQ=-[y*[log(P1)+log(P2)]+(1-y)*[log(1-P1)]]其中,所述
进一步地,所述将所述视盘图像样本输入至所述神经网络模型中进行迭代训练,直到所述神经网络模型训练完成,以得到所述视盘图像分类模型的步骤之后,还包括:
将所述视盘图像分类模型存储至区块链网络。
进一步地,所述将所述视盘图像样本输入至所述神经网络模型中进行迭代训练,直到所述神经网络模型训练完成,以得到所述视盘图像分类模型的步骤之后,还包括:
当采集到视盘图像时,利用所述视盘图像分类模型对所述视盘图像进行分析,得到所述视盘图像的分类结果,其中,所述分类结果为图像质量不合格、视盘正常和视盘异常中的任一个。
进一步地,所述当采集到视盘图像时,利用所述视盘图像分类模型对所述视盘图像进行分析,得到所述视盘图像的分类结果的步骤之后,还包括:
检测到所述分类结果为图像质量不合格时,输出提示信息,所述提示信息用于提示重新采集视盘图像。
进一步地,所述视盘图像利用眼科OCT设备采集;所述检测到所述分类结果为图像质量不合格时,输出提示信息的步骤之后,还包括:
将所述分类结果对应的视盘图像作为第一视盘图像;
检测到所述眼科OCT设备重新采集第二视盘图像时,将所述第一视盘图像作为所述图像质量不合格样本。
为实现上述目的,本申请还提供一种视盘图像分类模型的训练装置,所述视盘图像分类模型的训练装置包括:
处理模块,用于基于MaskRCNN网络构建神经网络模型,并将所述MaskRCNN网络的Mask实例分割单元替换为图像质量检测单元;以及,
获取模块,用于获取多个视盘图像样本,其中,所述视盘图像样本包括图像质量合格样本和图像质量不合格样本,所述图像质量合格样本包括视盘图像正常样本和视盘图像异常样本,所述视盘图像异常样本包括青光眼图像样本和视盘水肿图像样本;
训练模块,用于将所述视盘图像样本输入至所述神经网络模型中进行迭代训练,直到所述神经网络模型训练完成,以得到所述视盘图像分类模型,其中,所述图像质量检测单元用于对基于所述视盘图像分类模型进行分类的视盘图像作图像质量判别,以使所述视盘图像分类模型分类出图像质量不合格的视盘图像。
为实现上述目的,本申请还提供一种计算机设备,所述计算机设备包括:
所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视盘图像分类模型的训练程序,所述视盘图像分类模型的训练程序被所述处理器执行时实现如上述视盘图像分类模型的训练方法的步骤。
为实现上述目的,本申请还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有视盘图像分类模型的训练程序,所述视盘图像分类模型的训练程序被处理器执行时实现如上述视盘图像分类模型的训练方法的步骤。
本申请提供的视盘图像分类模型的训练方法、视盘图像分类模型的训练装置、计算机设备以及计算机可读存储介质,通过在基于神经网络构建的视盘图像分类模型中增加了视盘图像的质控功能,使之成为一个端到端的网络,更有利于实际的应用和部署,从而有效地识别出图像质量不合格、视盘正常和视盘异常这三类视盘图像,最终达到避免因图像质量不合格而影响视盘图像的检测结果的情况发生的目的,可以只对质量好的图像进行视盘正异类识别,进而提高了对视盘图像检测的准确率。
附图说明
图1为本申请一实施例中视盘图像分类模型的训练方法步骤示意图;
图2为本申请一实施例中视盘图像分类模型的训练方法的原始MaskRCNN网络示例图;
图3为本申请一实施例中视盘图像分类模型的训练方法的MaskRCNN网络改进示例图;
图4为本申请一实施例的视盘图像分类模型的训练装置示意框图;
图5为本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
参照图1,在一实施例中,所述视盘图像分类模型的训练方法包括:
步骤S10、基于MaskRCNN网络构建神经网络模型,并将所述MaskRCNN网络的Mask实例分割单元替换为图像质量检测单元;以及,
步骤S20、获取多个视盘图像样本,其中,所述视盘图像样本包括图像质量合格样本和图像质量不合格样本,所述图像质量合格样本包括视盘图像正常样本和视盘图像异常样本,所述视盘图像异常样本包括青光眼图像样本和视盘水肿图像样本;
步骤S30、将所述视盘图像样本输入至所述神经网络模型中进行迭代训练,直到所述神经网络模型训练完成,以得到所述视盘图像分类模型,其中,所述图像质量检测单元用于对基于所述视盘图像分类模型进行分类的视盘图像作图像质量判别,以使所述视盘图像分类模型分类出图像质量不合格的视盘图像。
本实施例中,实施例终端可以是一种计算机设备,也可以是一种视盘图像分类模型的训练装置。
如步骤S10所述:终端利用人工智能和图像识别技术,采用MaskRCNN网络构建神经网络模型。Mask RCNN网络是faster RCNN网络的扩展形式,能够有效地检测图像中的目标。
可选的,参照图2至图3,终端还进一步将Mask RCNN网络中初始提供的Mask实例分割单元(图示为Mask)替换为图像质量检测单元(图示为quality),此外保留Mask RCNN网络中除Mask实例分割单元外其他功能单元。
如步骤S20所述:视盘图像样本包括图像质量合格样本和图像质量不合格样本,其中,图像质量不合格样本表示为样本中的图像质量不合格,而图像质量不合格的情况包括:图像模糊、图像无视盘、图像曝光过多等;而除图像质量不合格样本之外的其他视盘图像样本,即属于图像质量合格样本。
进一步地,所述图像质量合格样本则进一步包括视盘图像正常样本和视盘图像异常样本,其中,所述视盘图像异常样本即为样本中的视盘图像为青光眼图像、视盘水肿图像等视盘病变图像(即视盘图像异常样本可以是包括青光眼图像样本和视盘水肿图像样本);而除视盘图像异常样本之外的其他图像质量合格样本,即属于视盘图像正常样本。
可选的,视盘图像样本可来源于医院系统保存的临床采集的视盘图像,并由相关工程师预先对这些视盘图像进行标注后生成视盘图像样本,然后再将视盘图像样本输入到终端。
其中,视盘图像样本需标注出样本属于图像质量合格样本或者属于图像质量不合格样本;且图像质量合格样本还需标注出样本属于视盘图像正常样本或者视盘图像异常样本。
可选的,视盘图像样本的数量需足够多,以便于后续可基于此得到训练完成的神经网络模型。例如工程师可以采集总数为12000个的视盘图像样本,其中分为8000个图像质量合格样本和4000个图像质量不合格样本,而图像质量合格样本又分为4000个视盘图像正常样本和4000个视盘图像异常样本。
如步骤S30所述:终端获取到多个视盘图像样本后,则将视盘图像样本作为基于步骤S10构建的神经网络模型的训练样本,并将视盘图像样本输入至神经网络模型中进行迭代训练。
在神经网络模型训练的过程中,神经网络模型的图像质量检测单元用于区分所述图像质量合格样本和所述图像质量不合格样本,这样当神经网络模型对视盘图像样本进行卷积运算得到特征图后,即可利用图像质量检测单元识别特征图的图像质量(即识别为质量合格图像还是质量不合格图像)。
这样,通过采用图像质量检测单元替换Mask RCNN网络中初始提供的Mask实例分割单元,不再考虑对视盘图像的目标区域(即视盘具体显像区域)分割的精度的提升,只需重点关注对视盘图像的图像质量的识别即可。因为针对质量不合格的图像,则并无再识别并分割出目标区域的必要,而针对质量合格的图像,则势必能识别出其中的目标区域,因此无需再利用Mask实例分割单元提高对目标区域识别和分割的精度,只需利用Mask RCNN网络提供的RPN网络单元进行目标区域的识别即可,从而达到充分利用Mask RCNN网络算力的目的。
可选的,神经网络模型在训练和学习过程中,其回归过程需利用损失函数(lossfunction)进行模型优化。需要说明的是,损失函数是用来评估模型的预测值与真实值的不一致程度,损失函数越小,代表模型的鲁棒性越好,损失函数能指导模型学习。
可选的,在本实施例中,神经网络模型采用的损失函数Loss为:
Loss=0.4*LQ+0.4*LC+0.2*LD
其中,所述LQ为图像质量损失函数,所述LC为目标分类损失函数,所述LD为位置回归损失函数。这样,使得神经网络模型的损失函数Loss还可以考虑到图像质量的损失。
可选的,所述图像质量损失函数LQ为:
LQ=-[y*[log(P1)+log(P2)]+(1-y)*[log(1-P1)]]其中,所述
这样,使得图像质量损失函数LQ不仅考虑了图像质量分类的结果,同时考虑了因扫描位置不准确造成的图像质量不合格的情况,将视盘检测的结果加入到图像质控的损失中,从而提高了对视盘图像质控的分类精度。
可选的,所述目标分类损失函数LC
LC=-log pu
其中,u是目标的真实类别(即视盘图像正常和视盘图像异常这两类别之一),pu即为网络预测目标为u的置信度分数。
可选的,所述位置回归损失函数LD为:
其中,ti和vi分别是目标(即视盘)的真实位置和预测位置;可以抑制异常样本点对反向传播过程的影响,其公式为:
可选的,终端根据图像质量损失函数LQ、目标分类损失函数LC和位置回归损失函数LD生成总的损失函数Loss时,虽然优选在三者间分配的权重配比为0.4:0.4:0.2(参见损失函数Loss的公式),但不排除还有其他权重配比的组合,例如为目标分类损失函数LC分配更大的权重(如0.5),相应减少回归损失函数LD(如减少至0.1),而维持图像质量损失函数LQ不变(如维持为0.4),此时三者间分配的权重配比即变为0.4:0.5:0.1,故具体设置的权重配比可根据对神经网络模型的性能需求相应配置。
应当理解的是,在损失函数Loss的公式,为公式中的因子所分配的权重越大,则模型对于该因子所对应的维度越重视。
可选的,当神经网络模型基于多个视盘图像样本进行多次迭代训练后,当终端检测到神经网络模型达到收敛时,即可得到训练完成的神经网络模型,并将训练完成的神经网络模型作为视盘图像分类模型。
可选的,在基于多个视盘图像样本训练神经网络模型的过程中,终端还可先将视盘图像样本进行预处理,得到训练集和测试集。然后使用训练集对所述神经网络进行训练,在得到训练完成的神经网络模型后,再采用测试集对神经网络模型进行测试,使神经网络模型基于所述测试集达到预设的灵敏度和特异性后,选取最佳模型参数,将所述最佳模型参数对应的神经网络模型作为最终得到的视盘图像分类模型。这样,可以进一步提高视盘图像分类模型的性能。
可选的,终端设有图像采集装置,或者终端与图像采集装置建立有通信连接。在视盘图像分类模型训练完成后,终端可利用图像采集装置实时采集被检查人员的视盘图像。
可选的,所述图像采集装置为眼科OCT(optical coherence tomography)设备,该设备可以安全的、非接触的获得被检查人员的眼底视网膜视盘区的扫描图像。
可选的,当采集到视盘图像时,利用所述视盘图像分类模型对所述视盘图像进行分析,得到所述视盘图像的分类结果,其中,所述分类结果为图像质量不合格、视盘正常和视盘异常中的任一个。
可选的,当终端将视盘图像输入到视盘图像分类模型中进行分析时,参照图3,视盘图像分类模型即可利用FPN(Feature Pyramid Networks)网络对视盘图像进行卷积,并提取出视盘图像对应的特征图(feature maps),然后利用RPN(RegionProposal Network)+proposal网络单元提取特征图中的目标区域(识别得到至少一个目标区域),最后再使用RoI Align方法结合原特征图,进行所有目标区域的区域提取与对齐,以及进行归一化处理,得到待分类图像。
进一步地,在Mask RCNN网络中,图像质量检测单元(图示为quality)、图像正异类检测单元(图示为category)和视盘检测单元(图示为coordinate)采用并行的分支结构,视盘图像分类模型在得到待分类图像后,将待分类图像并行输入到图像质量检测单元、图像正异类检测单元和视盘检测单元中进行图像分类识别。
其中,图像质量检测单元用于识别待分类图像的质量(分为质量合格和质量不合格),其输出值记为Output1,且图像质量合格则Output1输出为1,图像质量不合格则Output1输出为0。
其中,图像正异类检测单元用于识别待分类图像属于视盘图像正常,还是属于视盘图像异常,其输出值记为Output2,且视盘图像正常则Output2输出为1,视盘图像不正常则Output2输出为2。
其中,视盘检测单元用于检测待分类图像中有无视盘(即有无视盘显像区域),其输出值记为Output3,且检测到视盘则Output3输出为1,检测不到视盘则Output3输出为0。
可选的,在得到图像质量检测单元、图像正异类检测单元和视盘检测单元的输出后,将这三者输出进行融合,得到最终的分类结果Output:
Output=Output1*Output2*Output3
其中,当Output输出值为0时,表示分类结果为图像质量不合格;当Output输出值为1时,表示分类结果为视盘正常;当Output输出值为2时,表示分类结果为视盘异常,即神经网络模型最终输出的视盘图像的分类结果为图像质量不合格、视盘正常和视盘异常中的任一个。
在一实施例中,通过在基于神经网络构建的视盘图像分类模型中增加了视盘图像的质控功能,使之成为一个端到端的网络,更有利于实际的应用和部署,从而有效地识别出图像质量不合格、视盘正常和视盘异常这三类视盘图像,最终达到避免因图像质量不合格而影响视盘图像的检测结果的情况发生的目的,可以只对质量好的图像进行视盘正异类识别,进而提高了对视盘图像检测的准确率。
在一实施例中,在上述实施例基础上,所述将所述视盘图像样本输入至所述神经网络模型中进行迭代训练,直到所述神经网络模型训练完成,以得到所述视盘图像分类模型的步骤之后,还包括:
步骤S40、将所述视盘图像分类模型存储至区块链网络。
本实施例中,终端与区块链网络(Blockchain Network)建立有通信连接。区块链网络是通过共识的方式将新区块纳入区块链的一系列的节点的集合。
区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。其中,用户管理模块负责所有区块链参与者的身份信息管理,包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等,并且在授权的情况下,监管和审计某些真实身份的交易情况,提供风险控制的规则配置(风控审计);基础服务模块部署在所有区块链节点设备上,用来验证业务请求的有效性,并对有效请求完成共识后记录到存储上,对于一个新的业务请求,基础服务先对接口适配解析和鉴权处理(接口适配),然后通过共识算法将业务信息加密(共识管理),在加密之后完整一致的传输至共享账本上(网络通信),并进行记录存储;智能合约模块负责合约的注册发行以及合约触发和合约执行,开发人员可以通过某种编程语言定义合约逻辑,发布到区块链上(合约注册),根据合约条款的逻辑,调用密钥或者其它的事件触发执行,完成合约逻辑,同时还提供对合约升级注销的功能;运营监控模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出,例如:告警、监控网络情况、监控节点设备健康状态等。
可选的,当终端得到训练完成的视盘图像分类模型后,则可以将视盘图像分类模型上传至区块链网络进行存储。
这样,不仅可以提高视盘图像分类模型存储的安全性和节约本地存储空间,而且还可以方便各医院系统从区块链模块中获取视盘图像分类模型,以快速将视盘图像分类模型投入到实际应用中。各医院系统只需接入到任一区块链网络节点,即可获取得到同一视盘图像分类模型,十分方便高效。
而且当终端即为任一医院系统时,当任一医院系统本地的视盘图像分类模型有更新时,该医院系统即可将更新后的视盘图像分类模型(或者只上传更新部分的模型参数即可)同步更新到区块链网络中,使得视盘图像分类模型的性能可以得到更好的优化。
在一实施例中,在上述实施例基础上,所述当采集到视盘图像时,利用所述视盘图像分类模型对所述视盘图像进行分析,得到所述视盘图像的分类结果的步骤包括:
步骤S50、当采集到视盘图像时,将所述视盘图像发送至所述区块链网络,以供所述区块链网络利用所述视盘图像分类模型对所述视盘图像进行分析,得到所述视盘图像的分类结果;
步骤S51、接收所述区块链网络发送的所述分类结果。
本实施例中,当终端将训练完成的视盘图像分类模型存储至区块链网络后,当终端利用图像采集装置采集到被检查人员的视盘图像后,则可以将采集到的视盘图像发送至区块链网络。
可选的,当区块链网络的任一区块链节点接收到终端发送的视盘图像时,即可利用存储的视盘图像分类模型对视盘图像进行分析,视盘图像分类模型在对视盘图像分析完成后,即会输出视盘图像对应的分类结果。
当区块链网络中的区块链节点得到视盘图像分类模型输出的分类结果后,即可将分类结果反馈至终端,此时终端即将接收到的分类结果作为该视盘图像对应的分类结果,从而完成对视盘图像的分类过程。
这样,通过将视盘图像分类模型存储至区块链网络,不仅可以提高视盘图像分类模型存储的安全性和有效节约本地存储空间的同时,还能实现避免因图像质量不合格而影响视盘图像的检测结果的情况发生,从而提高了对视盘图像检测的准确率。
在一实施例中,在上述实施例基础上,所述当采集到视盘图像时,利用所述视盘图像分类模型对所述视盘图像进行分析,得到所述视盘图像的分类结果的步骤之后,还包括:
步骤S60、检测到所述分类结果为图像质量不合格时,输出提示信息,所述提示信息用于提示重新采集视盘图像。
本实施例中,当终端得到视盘图像的分类结果后,则进一步检测该分类结果是否表示为图像质量不合格。
可选的,当终端检测到分类结果并非是表示为图像质量不合格时(即表示为视盘正常或者视盘异常时),则直接输出分类结果,以便于用户(例如相关医护人员)基于分类结果进一步对视盘图像对应的视盘被检查者作出诊断结论。
可选的,当终端检测到分类结果是表示为图像质量不合格时,则输出提示信息,所述提示信息用于提示用户需重新采集视盘被检查者的视盘图像。例如在相关检测仪器的显示界面提示当前采集的视盘图像质量异常,需要重新采集。
这样,不仅可以避免因图像质量不合格而影响视盘图像的检测结果的情况发生,而且当视盘图像存在质量异常时,还能够及时反馈视盘图像的采集质量,保证视盘图片质量的稳定性。
在一实施例中,在上述实施例基础上,所述视盘图像利用眼科OCT设备采集;所述检测到所述分类结果为图像质量不合格时,输出提示信息的步骤之后,还包括:
步骤S70、将所述分类结果对应的视盘图像作为第一视盘图像;
步骤S71、检测到所述眼科OCT设备重新采集第二视盘图像时,将所述第一视盘图像作为所述图像质量不合格样本。
本实施例中,当终端检测到分类结果是表示为图像质量不合格时,则将该分类结果对应的视盘图像作为第一视盘图像。同时,终端还可以输出提示信息,以提示用户需重新采集视盘被检查者的视盘图像。
进一步地,当用户重新启用眼科OCT设备采用视盘图像时,则将眼科OCT设备当前采集的视盘图像作为第二视盘图像,且此时终端可判定第一视盘图像的分类结果正确,然后进一步将第一视盘图像标注为图像质量不合格样本。应当理解的是,此处基于第一视盘图像得到的图像质量不合格样本为新样本。
可选的,当终端检测到视盘图像分类模型空闲时,或者检测到新样本的数量大于预设数量时,则将新样本输出到视盘图像分类模型中,以对视盘图像分类模型进行迭代更新。其中,所述预设数量可以根据实际情况需要设置,本实施例对此不作限定。
这样,可以提高视盘图像分类模型对视盘图像进行质量检测的准确率。
参照图4,本申请实施例中还提供一种视盘图像分类模型的训练装置10,包括:
处理模块11,用于基于MaskRCNN网络构建神经网络模型,并将所述MaskRCNN网络的Mask实例分割单元替换为图像质量检测单元;以及,
获取模块12,用于获取多个视盘图像样本,其中,所述视盘图像样本包括图像质量合格样本和图像质量不合格样本,所述图像质量合格样本包括视盘图像正常样本和视盘图像异常样本,所述视盘图像异常样本包括青光眼图像样本和视盘水肿图像样本;
训练模块13,用于将所述视盘图像样本输入至所述神经网络模型中进行迭代训练,直到所述神经网络模型训练完成,以得到所述视盘图像分类模型,其中,所述图像质量检测单元用于对基于所述视盘图像分类模型进行分类的视盘图像作图像质量判别,以使所述视盘图像分类模型分类出图像质量不合格的视盘图像。
参照图5,本申请实施例中还提供一种计算机设备,该计算机设备可以是服务器,其内部结构可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于视盘图像分类模型的训练程序。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种视盘图像分类模型的训练方法。
本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定。
此外,本申请还提出一种计算机可读存储介质,所述计算机可读存储介质包括视盘图像分类模型的训练程序,所述视盘图像分类模型的训练程序被处理器执行时实现如以上实施例所述的视盘图像分类模型的训练方法的步骤。可以理解的是,本实施例中的计算机可读存储介质可以是易失性可读存储介质,也可以为非易失性可读存储介质。
综上所述,为本申请实施例中提供的视盘图像分类模型的训练方法、视盘图像分类模型的训练装置、计算机设备和存储介质,通过在基于神经网络构建的视盘图像分类模型中增加了视盘图像的质控功能,使之成为一个端到端的网络,更有利于实际的应用和部署,从而有效地识别出图像质量不合格、视盘正常和视盘异常这三类视盘图像,最终达到避免因图像质量不合格而影响视盘图像的检测结果的情况发生的目的,可以只对质量好的图像进行视盘正异类识别,进而提高了对视盘图像检测的准确率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM通过多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其它要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其它相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (8)

1.一种视盘图像分类模型的训练方法,其特征在于,包括:
基于MaskRCNN网络构建神经网络模型,并将所述MaskRCNN网络的Mask实例分割单元替换为图像质量检测单元;以及,
获取多个视盘图像样本,其中,所述视盘图像样本包括图像质量合格样本和图像质量不合格样本,所述图像质量合格样本包括视盘图像正常样本和视盘图像异常样本,所述视盘图像异常样本包括青光眼图像样本和视盘水肿图像样本;
将所述视盘图像样本输入至所述神经网络模型中进行迭代训练,直到所述神经网络模型训练完成,以得到所述视盘图像分类模型,其中,所述图像质量检测单元用于对基于所述视盘图像分类模型进行分类的视盘图像作图像质量判别,以使所述视盘图像分类模型分类出图像质量不合格的视盘图像;所述神经网络模型采用的损失函数Loss为:
Loss=0.4*LQ+0.4*LC+0.2*LD
其中,所述LQ为图像质量损失函数,所述LC为目标分类损失函数,所述LD为位置回归损失函数;
所述图像质量损失函数LQ为:
LQ=-[y*[log(P1)+log(P2)]+(1-y)*[log(1-P1)]]
其中,所述y为图像质量标签,包括质量合格标签和质量不合格标签;所述P1为图像质量分类的概率,包括图像质量合格的概率和/或图像质量不合格的概率;所述P2为图像中有无视盘图像的标签,包括有视盘图像标签和无视盘图像标签。
2.如权利要求1所述的视盘图像分类模型的训练方法,其特征在于,所述将所述视盘图像样本输入至所述神经网络模型中进行迭代训练,直到所述神经网络模型训练完成,以得到所述视盘图像分类模型的步骤之后,还包括:
将所述视盘图像分类模型存储至区块链网络。
3.如权利要求1-2中任一项所述的视盘图像分类模型的训练方法,其特征在于,所述将所述视盘图像样本输入至所述神经网络模型中进行迭代训练,直到所述神经网络模型训练完成,以得到所述视盘图像分类模型的步骤之后,还包括:
当采集到视盘图像时,利用所述视盘图像分类模型对所述视盘图像进行分析,得到所述视盘图像的分类结果,其中,所述分类结果为图像质量不合格、视盘正常和视盘异常中的任一个。
4.如权利要求3所述的视盘图像分类模型的训练方法,其特征在于,所述当采集到视盘图像时,利用所述视盘图像分类模型对所述视盘图像进行分析,得到所述视盘图像的分类结果的步骤之后,还包括:
检测到所述分类结果为图像质量不合格时,输出提示信息,所述提示信息用于提示重新采集视盘图像。
5.如权利要求4所述的视盘图像分类模型的训练方法,其特征在于,所述视盘图像利用眼科OCT设备采集;所述检测到所述分类结果为图像质量不合格时,输出提示信息的步骤之后,还包括:
将所述分类结果对应的视盘图像作为第一视盘图像;
检测到所述眼科OCT设备重新采集第二视盘图像时,将所述第一视盘图像作为所述图像质量不合格样本。
6.一种视盘图像分类模型的训练装置,其特征在于,包括:
处理模块,用于基于MaskRCNN网络构建神经网络模型,并将所述MaskRCNN网络的Mask实例分割单元替换为图像质量检测单元;以及,
获取模块,用于获取多个视盘图像样本,其中,所述视盘图像样本包括图像质量合格样本和图像质量不合格样本,所述图像质量合格样本包括视盘图像正常样本和视盘图像异常样本,所述视盘图像异常样本包括青光眼图像样本和视盘水肿图像样本;
训练模块,用于将所述视盘图像样本输入至所述神经网络模型中进行迭代训练,直到所述神经网络模型训练完成,以得到所述视盘图像分类模型,其中,所述图像质量检测单元用于对基于所述视盘图像分类模型进行分类的视盘图像作图像质量判别,以使所述视盘图像分类模型分类出图像质量不合格的视盘图像;
所述神经网络模型采用的损失函数Loss为:
Loss=0.4*LQ+0.4*LC+0.2*LD
其中,所述LQ为图像质量损失函数,所述LC为目标分类损失函数,所述LD为位置回归损失函数;
所述图像质量损失函数LQ为:
LQ=-[y*[log(P1)+log(P2)]+(1-y)*[log(1-P1)]]
其中,所述y为图像质量标签,包括质量合格标签和质量不合格标签;所述P1为图像质量分类的概率,包括图像质量合格的概率和/或图像质量不合格的概率;所述P2为图像中有无视盘图像的标签,包括有视盘图像标签和无视盘图像标签。
7.一种计算机设备,其特征在于,所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视盘图像分类模型的训练程序,所述视盘图像分类模型的训练程序被所述处理器执行时实现如权利要求1至5中任一项所述的视盘图像分类模型的训练方法的步骤。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有视盘图像分类模型的训练程序,所述视盘图像分类模型的训练程序被处理器执行时实现如权利要求1至5中任一项所述的视盘图像分类模型的训练方法的步骤。
CN202011549433.4A 2020-12-24 2020-12-24 视盘图像分类模型的训练方法、装置、设备及存储介质 Active CN112651938B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011549433.4A CN112651938B (zh) 2020-12-24 2020-12-24 视盘图像分类模型的训练方法、装置、设备及存储介质
PCT/CN2021/084532 WO2022134362A1 (zh) 2020-12-24 2021-03-31 视盘图像分类模型的训练方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011549433.4A CN112651938B (zh) 2020-12-24 2020-12-24 视盘图像分类模型的训练方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112651938A CN112651938A (zh) 2021-04-13
CN112651938B true CN112651938B (zh) 2023-12-19

Family

ID=75359877

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011549433.4A Active CN112651938B (zh) 2020-12-24 2020-12-24 视盘图像分类模型的训练方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN112651938B (zh)
WO (1) WO2022134362A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113438204B (zh) * 2021-05-06 2022-09-23 中国地质大学(武汉) 基于区块链的多节点协同识别响应方法
CN113902743A (zh) * 2021-12-08 2022-01-07 武汉爱眼帮科技有限公司 一种基于云端计算的糖尿病视网膜病变的识别方法及装置
CN116403122B (zh) * 2023-04-14 2023-12-19 北京卫星信息工程研究所 无锚框定向目标检测方法
CN116152229B (zh) * 2023-04-14 2023-07-11 吉林大学 一种糖尿病视网膜病变诊断模型的构建方法及诊断模型

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018141232A1 (zh) * 2017-02-06 2018-08-09 腾讯科技(深圳)有限公司 图像处理方法、计算机存储介质及计算机设备
WO2018170512A1 (en) * 2017-03-17 2018-09-20 Neurala, Inc. Online, incremental real-time learning for tagging and labeling data streams for deep neural networks and neural network applications
CN110021009A (zh) * 2019-01-18 2019-07-16 平安科技(深圳)有限公司 一种评估眼底图像质量的方法、装置及存储介质
CN110084288A (zh) * 2019-04-11 2019-08-02 江南大学 一种基于自学习神经单元的图像融合方法
CN111325725A (zh) * 2020-02-19 2020-06-23 京东方科技集团股份有限公司 视网膜图像识别方法及装置、电子设备、存储介质
CN111862187A (zh) * 2020-09-21 2020-10-30 平安科技(深圳)有限公司 基于神经网络的杯盘比确定方法、装置、设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3616120A1 (en) * 2017-04-27 2020-03-04 Retinascan Limited System and method for automated funduscopic image analysis
CN109447169B (zh) * 2018-11-02 2020-10-27 北京旷视科技有限公司 图像处理方法及其模型的训练方法、装置和电子系统
CN110210286B (zh) * 2019-04-17 2024-05-31 平安科技(深圳)有限公司 基于眼底图像的异常识别方法、装置、设备及存储介质
US11947890B2 (en) * 2019-05-10 2024-04-02 Sandisk Technologies Llc Implementation of deep neural networks for testing and quality control in the production of memory devices
CN110837869A (zh) * 2019-11-11 2020-02-25 深圳市商汤科技有限公司 图像分类模型训练方法、图像处理方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018141232A1 (zh) * 2017-02-06 2018-08-09 腾讯科技(深圳)有限公司 图像处理方法、计算机存储介质及计算机设备
WO2018170512A1 (en) * 2017-03-17 2018-09-20 Neurala, Inc. Online, incremental real-time learning for tagging and labeling data streams for deep neural networks and neural network applications
CN110021009A (zh) * 2019-01-18 2019-07-16 平安科技(深圳)有限公司 一种评估眼底图像质量的方法、装置及存储介质
CN110084288A (zh) * 2019-04-11 2019-08-02 江南大学 一种基于自学习神经单元的图像融合方法
CN111325725A (zh) * 2020-02-19 2020-06-23 京东方科技集团股份有限公司 视网膜图像识别方法及装置、电子设备、存储介质
CN111862187A (zh) * 2020-09-21 2020-10-30 平安科技(深圳)有限公司 基于神经网络的杯盘比确定方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于Mask R-CNN的人脸皮肤色斑检测分割方法;陈友升 等;激光杂志;第40卷(第12期);第19-22页 *

Also Published As

Publication number Publication date
WO2022134362A1 (zh) 2022-06-30
CN112651938A (zh) 2021-04-13

Similar Documents

Publication Publication Date Title
CN112651938B (zh) 视盘图像分类模型的训练方法、装置、设备及存储介质
CN111667011B (zh) 损伤检测模型训练、车损检测方法、装置、设备及介质
CN111209434B (zh) 一种基于多源异构数据融合的变电站设备巡检系统及方法
Leegwater et al. Performance study of a score‐based likelihood ratio system for forensic fingermark comparison
US11029260B2 (en) Solder paste printing quality inspection system and method
CN113283185B (zh) 联邦模型训练、客户画像方法、装置、设备及介质
WO2022121186A1 (zh) 基于目标匹配的油气管道巡检方法、装置、设备及介质
CN112950569B (zh) 黑色素瘤图像识别方法、装置、计算机设备及存储介质
US20230334840A1 (en) Classification and prediction method and apparatus, device, storage medium, and computer program product
WO2020238552A1 (zh) 基于微表情识别的审批指令生成方法、装置和计算机设备
CN113241138B (zh) 医疗事件信息的抽取方法、装置、计算机设备及存储介质
CN113705685B (zh) 疾病特征识别模型训练、疾病特征识别方法、装置及设备
CN111767192B (zh) 基于人工智能的业务数据检测方法、装置、设备和介质
CN111372042B (zh) 故障检测方法、装置、计算机设备和存储介质
CN113707304B (zh) 分诊数据处理方法、装置、设备及存储介质
JPWO2021079792A5 (zh)
CN114817055A (zh) 基于接口的回归测试方法、装置、计算机设备和存储介质
CN114978968A (zh) 微服务的异常检测方法、装置、计算机设备和存储介质
CN112836041A (zh) 人员关系分析方法、装置、设备及存储介质
CN111275059A (zh) 一种图像处理方法、装置和计算机可读存储介质
US20200110954A1 (en) System for characterization of biometric station metrics
CN115984646A (zh) 面向遥感跨卫星观测的分布式目标检测方法、装置和卫星
CN111489816B (zh) 基于就诊数据传递的智能医疗故障处理方法及云服务器
CN114036117A (zh) 日志查看方法、装置、计算机设备和存储介质
CN114764948A (zh) 活体检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40041488

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant