CN113658165B - 杯盘比确定方法、装置、设备及存储介质 - Google Patents

杯盘比确定方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113658165B
CN113658165B CN202110978322.3A CN202110978322A CN113658165B CN 113658165 B CN113658165 B CN 113658165B CN 202110978322 A CN202110978322 A CN 202110978322A CN 113658165 B CN113658165 B CN 113658165B
Authority
CN
China
Prior art keywords
image
network
cup
feature map
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110978322.3A
Other languages
English (en)
Other versions
CN113658165A (zh
Inventor
李葛
曾婵
郑强
高鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202110978322.3A priority Critical patent/CN113658165B/zh
Publication of CN113658165A publication Critical patent/CN113658165A/zh
Priority to PCT/CN2022/071693 priority patent/WO2023024418A1/zh
Application granted granted Critical
Publication of CN113658165B publication Critical patent/CN113658165B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Geometry (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及人工智能领域，公开了一种杯盘比确定方法、装置、设备及存储介质，该方法包括：获取并检测眼底图像，得到视盘区域；将视盘区域输入图像分割模型的编码网络提取图像特征，得到第一特征图；将第一特征图输入解码网络的位置校正网络，得到位置校正的第二特征图；通过解码网络中的分割网络对第一特征图进行卷积操作，得到第三特征图；通过连接层，拼接第二特征图和第三特征图，得到图像分割结果；根据图像分割结果，计算得到视杯直径和视盘直径；根据视杯直径和视盘直径计算眼底图像的杯盘比。本方法提高分割得到的视杯视盘图像的准确度，减少疾病筛查过程中的多筛、漏筛情况，此外，本发明还涉及区块链技术，眼底图像可存储于区块链中。

Description

杯盘比确定方法、装置、设备及存储介质
技术领域
本发明涉及人工智能领域，尤其涉及一种基于图像分割模型的杯盘比确定方法、装置、设备及存储介质。
背景技术
青光眼是一种全球三大致盲的眼科疾病之一，其不可逆性导致它的早期诊断和治疗对于提高患者的生活质量有至关重要的作用。在对青光眼进行自动筛查时，通常使用杯盘比作为评估指标，采用分割方法对眼底图像中的视杯和视盘进行分割，然后计算杯盘比。
现有技术通常分为两种方法对视盘视杯进行分割，1、基于眼底图像的色彩，纹理的特征进行特征提取与聚类的传统图像处理方法。2、基于深度神经网络，如U-Net，FCN分割网络的方法。传统方法易受图像采集质量，如光照，遮挡，噪声的影响而导致分割精度大大降低。而基于深度神经网络的分割方法虽然性能普遍高于传统方法，但同样的也极易受到图像光照，噪声的影响而导致分割精度的降低。一旦视盘视杯的分割结果出现错误，则CDR的准确率也无法保证，这将造成大量多筛，漏筛的现象出现。
发明内容
本发明的主要目的在于解决现有的对眼底图像进行图像分割的分割精度低，导致杯盘比准确率无法保证的技术问题。
本发明第一方面提供了一种基于图像分割模型的杯盘比确定方法，所述图像分割模型包括编码网络、解码网络和连接层，包括：获取眼底图像，并对所述眼底图像进行视盘区域检测，得到所述眼底图像的视盘区域；将所述视盘区域输入所述图像分割模型的编码网络中提取图像特征，得到第一特征图；将所述第一特征图输入所述解码网络中的位置校正网络，通过所述位置校正网络对所述第一特征图像进行空洞空间金字塔池化，得到位置校正后的第二特征图；通过所述解码网络中的分割网络对所述第一特征图进行卷积操作，得到代表视杯视盘分割图像的第三特征图；通过所述连接层，将所述第二特征图和所述第三特征图进行拼接，得到图像分割结果；提取所述图像分割结果中的视盘外轮廓和视杯外轮廓，并根据所述视盘外轮廓和所述视杯外轮廓，计算得到视杯直径和视盘直径；根据所述视杯直径和视盘直径计算所述眼底图像的杯盘比。
可选的，在本发明第一方面的第一种实现方式中，所述获取眼底图像，并对所述眼底图像进行视盘区域检测，得到所述眼底图像的视盘区域包括：获取眼底图像，将所述眼底图像输入预设的视盘区域检测模型中，得到区域第一坐标点和区域第二坐标点；根据所述区域第一坐标点和区域第二坐标点，生成矩形区域；根据所述矩形区域对所述眼底图像进行裁剪，得到所述眼底图像的视盘区域。
可选的，在本发明第一方面的第二种实现方式中，所述编码网络为mobilenetv2网络，所述mobilenetv2网络包含n层卷积层，所述n为不小于1的自然数；所述将所述视盘区域输入所述图像分割模型的编码网络中提取图像特征，得到第一特征图包括：将所述视盘区域进行缩放处理，得到预设尺寸的缩放图像；将所述缩放图像输入所述编码网络中的mobilenetv2网络中，通过mobilenetv2网络中的n层卷积层进行卷积处理，得到n个特征图；将mobilenetv2网络中最后一个卷积层输出的特征图作为第一特征图。
可选的，在本发明第一方面的第三种实现方式中，所述位置校正网络为aspp网络，所述将所述第一特征图输入所述解码网络中的位置校正网络，通过所述位置校正网络对所述第一特征图像进行空洞空间金字塔池化，得到位置校正后的第二特征图包括：将所述第一特征图输入所述解码网络中的位置校正网络，通过所述aspp算法对输入的第一特征图进行空洞空间金字塔池化，提取所述第一特征图不同尺度的特征图空间信息；对所述特征图空间信息进行全局平均池化转化，计算不同尺度的特征图空间信息的权重；根据所述权重，将所述不同尺度的特征图空间信息进行融合，得到第二特征图。
可选的，在本发明第一方面的第四种实现方式中，所述分割网络包括通道注意力子网络和位置注意力子网络；所述通过所述解码网络中的分割网络对所述第一特征图进行卷积操作，得到代表视杯视盘分割图像的第三特征图包括：将第一特征图送入位置注意力子网络中的卷积层，产生三个特征映射；将三个特征映射中的其中两个特征映射执行矩阵相乘，并使用softmax层计算矩阵相乘后的空间映射。将三个特征映射中的剩余特征映射和所述空间映射转置执行矩阵相乘，并将矩阵相乘结果与所述第一特征图执行逐项素相加，得到位置特征子图；将所述第一特征图和所述第一特征图的转置执行矩阵相乘并使用softmax层计算矩阵相乘后的通道映射；将所述通道映射与所述第一特征图执行矩阵相乘并矩阵相乘结果与所述第一特征图执行逐元素相加，得到通道特征子图；将所述位置特征子图和所述空间特征子图相加融合，得到第三特征图。
可选的，在本发明第一方面的第五种实现方式中，所述提取所述图像分割结果中的视盘外轮廓和视杯外轮廓，并根据所述视盘外轮廓和所述视杯外轮廓，计算得到视杯直径和视盘直径包括：采用OpenCV中的findcontours函数对所述图像分割结果进行轮廓识别，得到轮廓识别结果；根据预设的视盘外轮廓和视杯外轮廓的轮廓级别，从所述轮廓识别结果中筛选出视盘外轮廓和视杯外轮廓；根据旋转卡尺算法，分别提取所述视盘外轮廓和所述视杯外轮廓的最小外接矩形；分别将所述视盘外轮廓和所述视杯外轮廓的最小外接矩形在垂直方向的边长作为视盘直径和视杯直径。
可选的，在本发明第一方面的第六种实现方式中，所述图像分割模型通过以下步骤训练得到：获取样本图像和所述样本图像对应的图像标签，并根据所述样本和所述图像标签构建样本数据，其中，所述图像标签包括分割标签和位置引导标签；将所述样本数据输入预设的神经网络中，得到网络预测结果；对所述样本图像和所述网络预测结果分别进行投影，分别得到样本投影值和分割投影值；计算所述样本图像和所述网络预测结果之间的位置偏差值；分别根据所述分割标签和所述网络预测结果计算分割损失函数，根据所述位置引导标签和所述位置偏差值计算位置损失函数，根据所述样本投影值和所述分割投影值计算投影损失函数；根据所述分割损失函数、所述位置损失函数和所述投影损失函数，计算总损失函数；根据所述总损失函数，对所述预设的神经网络进行迭代训练，得到图像分割模型。
本发明第二方面提供了一种基于图像分割模型的杯盘比确定装置，所述图像分割模型包括编码网络、解码网络和连接层，其中，所述解码网络包括位置校正网络和分割网络；包括：获取模块，用于获取眼底图像，并对所述眼底图像进行视盘区域检测，得到所述眼底图像的视盘区域；特诊提取模块，用于将所述视盘区域输入所述图像分割模型的编码网络中提取图像特征，得到第一特征图；池化模块，用于将所述第一特征图输入所述解码网络中的位置校正网络，通过所述位置校正网络对所述第一特征图像进行空洞空间金字塔池化，得到位置校正后的第二特征图；卷积模块，用于通过所述解码网络中的分割网络对所述第一特征图进行卷积操作，得到代表视杯视盘分割图像的第三特征图；连接模块，用于通过所述连接层，将所述第二特征图和所述第三特征图进行拼接，得到图像分割结果；直径计算模块，用于提取所述图像分割结果中的视盘外轮廓和视杯外轮廓，并根据所述视盘外轮廓和所述视杯外轮廓，计算得到视杯直径和视盘直径；杯盘比计算模块，用于根据所述视杯直径和视盘直径计算所述眼底图像的杯盘比。
可选的，在本发明第二方面的第一种实现方式中，所述获取模块具体用于：获取眼底图像，将所述眼底图像输入预设的视盘区域检测模型中，得到区域第一坐标点和区域第二坐标点；根据所述区域第一坐标点和区域第二坐标点，生成矩形区域；根据所述矩形区域对所述眼底图像进行裁剪，得到所述眼底图像的视盘区域。
可选的，在本发明第二方面的第二种实现方式中，所述编码网络为mobilenetv2网络，所述mobilenetv2网络包含n层卷积层，所述n为不小于1的自然数；所述特征提取模块具体用于：将所述视盘区域进行缩放处理，得到预设尺寸的缩放图像；将所述缩放图像输入所述编码网络中的mobilenetv2网络中，通过mobilenetv2网络中的n层卷积层进行卷积处理，得到n个特征图；将mobilenetv2网络中最后一个卷积层输出的特征图作为第一特征图。
可选的，在本发明第二方面的第三种实现方式中，所述位置校正网络为aspp网络，所述池化模块具体用于：将所述第一特征图输入所述解码网络中的位置校正网络，通过所述aspp算法对输入的第一特征图进行空洞空间金字塔池化，提取所述第一特征图不同尺度的特征图空间信息；对所述特征图空间信息进行全局平均池化转化，计算不同尺度的特征图空间信息的权重；根据所述权重，将所述不同尺度的特征图空间信息进行融合，得到第二特征图。
可选的，在本发明第二方面的第四种实现方式中，所述分割网络包括通道注意力子网络和位置注意力子网络；所述卷积模块具体用于：将第一特征图送入位置注意力子网络中的卷积层，产生三个特征映射；将三个特征映射中的其中两个特征映射执行矩阵相乘，并使用softmax层计算矩阵相乘后的空间映射；将三个特征映射中的剩余特征映射和所述空间映射转置执行矩阵相乘，并将矩阵相乘结果与所述第一特征图执行逐项素相加，得到位置特征子图；将所述第一特征图和所述第一特征图的转置执行矩阵相乘并使用softmax层计算矩阵相乘后的通道映射；将所述通道映射与所述第一特征图执行矩阵相乘并矩阵相乘结果与所述第一特征图执行逐元素相加，得到通道特征子图；将所述位置特征子图和所述空间特征子图相加融合，得到第三特征图。
可选的，在本发明第二方面的第五种实现方式中，所述直径计算模块具体用于：采用OpenCV中的findcontours函数对所述图像分割结果进行轮廓识别，得到轮廓识别结果；根据预设的视盘外轮廓和视杯外轮廓的轮廓级别，从所述轮廓识别结果中筛选出视盘外轮廓和视杯外轮廓；根据旋转卡尺算法，分别提取所述视盘外轮廓和所述视杯外轮廓的最小外接矩形；分别将所述视盘外轮廓和所述视杯外轮廓的最小外接矩形在垂直方向的边长作为视盘直径和视杯直径。
可选的，在本发明第二方面的第六种实现方式中，所述基于图像分割模型的杯盘比确定装置还包括模型训练模块，所述模型训练模块具体用于：获取样本图像和所述样本图像对应的图像标签，并根据所述样本和所述图像标签构建样本数据，其中，所述图像标签包括分割标签和位置引导标签；将所述样本数据输入预设的神经网络中，得到网络预测结果；对所述样本图像和所述网络预测结果分别进行投影，分别得到样本投影值和分割投影值；计算所述样本图像和所述网络预测结果之间的位置偏差值；分别根据所述分割标签和所述网络预测结果计算分割损失函数，根据所述位置引导标签和所述位置偏差值计算位置损失函数，根据所述样本投影值和所述分割投影值计算投影损失函数；根据所述分割损失函数、所述位置损失函数和所述投影损失函数，计算总损失函数；根据所述总损失函数，对所述预设的神经网络进行迭代训练，得到图像分割模型。
本发明第三方面提供了一种基于图像分割模型的杯盘比确定设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于图像分割模型的杯盘比确定设备执行上述的基于图像分割模型的杯盘比确定方法的步骤。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的基于图像分割模型的杯盘比确定方法的步骤。
本发明的技术方案中，通过获取眼底图像，并对眼底图像进行视盘区域检测，得到眼底图像的视盘区域；将视盘区域输入图像分割模型的编码网络中提取图像特征，得到第一特征图；将第一特征图输入解码网络中的位置校正网络，通过位置校正网络对第一特征图像进行空洞空间金字塔池化，得到位置校正后的第二特征图；通过解码网络中的分割网络对第一特征图进行卷积操作，得到代表视杯视盘分割图像的第三特征图；通过连接层，将第二特征图和第三特征图进行拼接，得到图像分割结果；提取图像分割结果中的视盘外轮廓和视杯外轮廓，并根据视盘外轮廓和视杯外轮廓，计算得到视杯直径和视盘直径；根据视杯直径和视盘直径计算眼底图像的杯盘比。本方法提高分割得到的视杯视盘图像的准确度，减少疾病筛查过程中的多筛、漏筛情况。
附图说明
图1为本发明实施例中基于图像分割模型的杯盘比确定方法的第一个实施例示意图；
图2为本发明实施例中基于图像分割模型的杯盘比确定方法的第二个实施例示意图；
图3为本发明实施例中基于图像分割模型的杯盘比确定方法的第三个实施例示意图；
图4为本发明实施例中基于图像分割模型的杯盘比确定方法的第四个实施例示意图；
图5为本发明实施例中基于图像分割模型的杯盘比确定方法的第五个实施例示意图；
图6为本发明实施例中基于图像分割模型的杯盘比确定装置的一个实施例示意图；
图7为本发明实施例中基于图像分割模型的杯盘比确定装置的另一个实施例示意图；
图8为本发明实施例中基于图像分割模型的杯盘比确定设备的一个实施例示意图。
具体实施方式
本发明的技术方案中，通过获取眼底图像，并对眼底图像进行视盘区域检测，得到眼底图像的视盘区域；将视盘区域输入图像分割模型的编码网络中提取图像特征，得到第一特征图；将第一特征图输入解码网络中的位置校正网络，通过位置校正网络对第一特征图像进行空洞空间金字塔池化，得到位置校正后的第二特征图；通过解码网络中的分割网络对第一特征图进行卷积操作，得到代表视杯视盘分割图像的第三特征图；通过连接层，将第二特征图和第三特征图进行拼接，得到图像分割结果；提取图像分割结果中的视盘外轮廓和视杯外轮廓，并根据视盘外轮廓和视杯外轮廓，计算得到视杯直径和视盘直径；根据视杯直径和视盘直径计算眼底图像的杯盘比。本方法提高分割得到的视杯视盘图像的准确度，减少疾病筛查过程中的多筛、漏筛情况。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中基于图像分割模型的杯盘比确定方法的第一个实施例包括：
101、获取眼底图像，并对眼底图像进行视盘区域检测，得到眼底图像的视盘区域；
可以理解的是，本发明的执行主体可以为基于图像分割模型的杯盘比确定装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
需要强调的是，为保证数据的私密和安全性，上述数据库可以存储于一区块链的节点中。
在本实施例中，通过采集眼底图像的器械获取眼底图像，眼底就是眼球内后部的组织，即眼球的内膜——视网膜、视乳头、黄斑和视网膜中央动静脉，一般通过眼底摄像机进行拍摄得到眼底图像。
在本实施例中，对获取到的眼底图像进行视盘区域的检测，从而得到视盘区域。可以使用目标检测技术，MaskRCNN模型对眼底图像进行检测，得到视盘区域的左上角和右下角坐标，接下来根据矩形框坐标对眼底图像进行裁剪，得到视盘区域。
102、将视盘区域输入图像分割模型的编码网络中提取图像特征，得到第一特征图；
在本实施例中，图像分割模型通过以下步骤训练得到：获取样本图像和样本图像对应的图像标签，并根据样本和图像标签构建样本数据，其中，图像标签包括分割标签和位置引导标签；将样本数据输入预设的神经网络中，得到网络预测结果；对样本图像和网络预测结果分别进行投影，分别得到样本投影值和分割投影值；计算样本图像和网络预测结果之间的位置偏差值；分别根据分割标签和网络预测结果计算分割损失函数，根据位置引导标签和位置偏差值计算位置损失函数，根据样本投影值和分割投影值计算投影损失函数；根据分割损失函数、位置损失函数和投影损失函数，计算总损失函数；根据总损失函数，对预设的神经网络进行迭代训练，得到图像分割模型。
在本实施例中，计算出总损失函数后，判断总损失函数的数值是否小于预设的函数阈值，若是，则停止进行模型训练，得到图像分割模型，若否，则通过反向传播的方式更新神经网络的网络参数，并重新将样本图像输入神经网络中进行模型训练，直到总损失函数的数值小于预设的函数阈值。
在本实施例中，计算损失函数之前，我们需要先分别计算网络预测结果和标签的投影值，利用Radon transform方法对网络预测结果和标签分别沿水平方向进行正投影。将分割分支的网络预测结果为ypred，标签为ytrue，对网络预测结果做正投影的值记为ppred，标签做正投影的值记为ptrue，位置引导分支的网络预测结果为lpred，标签为ltrue。网络的损失函数由三部分构成，用于位置回归的损失函数Lloc，用于图像分割的交叉熵损失函数Lseg和用于回归投影的投影损失函数Lproj。最终的损失函数表达式如下：
L＝Lseg+Lproj+Lloc
其中
Lseg＝-[ytruelogypred+(1-ytrue)log(1-ypred)]
Lproj＝||ptrue-ppred||2
Lloc＝||ltrue-lpred||2
在本实施例中，图像分割模型包括编码网络、解码网络和连接层，其中，所述解码网络包括位置校正网络和分割网络，将视盘区域输入图像分割模型的编码网络中提取图像特征，例如，编码可以使用mobilenetv2网络对视盘区域进行特征提取，进而得到视盘区域对应的第一特征图像。
103、将第一特征图输入解码网络中的位置校正网络，通过位置校正网络对第一特征图像进行空洞空间金字塔池化，得到位置校正后的第二特征图；
在本实施例中，空洞空间卷积池化金字塔(atrous spatial pyramid pooling(ASPP))对所给定的输入以不同采样率的空洞卷积并行采样，相当于以多个比例捕捉图像的上下文，位置校正网络通过ASPP算法对第一特征图像进行空洞空间金字塔池化，输出不同接受域大小的空间特征图，不同接受域大小的空间特征图串联起来，输入到深度学习网络中进行时间特征提取，能过预测位置校正方向。
104、通过解码网络中的分割网络对第一特征图进行卷积操作，得到代表视杯视盘分割图像的第三特征图；
在本实施例中，分割网络分别使用了cam(通道注意力模块，Channel AttentionModule)和pam(位置注意力模块，Position Attention Module)，每个high level特征的通道图都可以看作是一个特定于类的响应，cam通过挖掘通道图之间的相互依赖关系，可以突出相互依赖的特征图，提高特定语义的特征表示，pam则旨在利用任意两点特征之间的关联，来相互增强各自特征的表达。
105、通过连接层，将第二特征图和第三特征图进行拼接，得到图像分割结果；
在本实施例中，经过两个模块得到的特征图经过concatenate操作得到最终预测结果，为了避免提取特征信息有限的不足，借鉴于DenseNet的思想，选择的是concat拼接策略而非add相加策略，即设输入第二特征图为d(x)，第三特征图是f(x)，concat拼接得到的是[d(x)||f(x)]。
106、提取图像分割结果中的视盘外轮廓和视杯外轮廓，并根据视盘外轮廓和视杯外轮廓，计算得到视杯直径和视盘直径；
在本实施例中，可以采用寻找最大外轮廓的方法，从视杯视盘的分割图像中分别提取出视杯外轮廓和视盘外轮廓，然后再利用旋转卡尺算法分别对视杯外轮廓和视盘外轮廓求得最小外接矩形，得到视杯的最小外接矩形和视盘的最小外接矩形。视杯的最小外接矩形的垂直方向上的边长即是视杯直径(VCD)，同样的，视盘的最小外接矩形的垂直方向上的边长即是视盘直径(VDD)。
107、根据视杯直径和视盘直径计算眼底图像的杯盘比。
在本实施例中，杯盘比(vertical cup to disc ratio，CDR)即视杯直径(vertical cup diameter，VCD)和视盘直径(vertical disc diameter，VDD)之比，通过前述得到的视杯直径(VCD)除以视盘直径(VDD)即可得到杯盘比(CDR)。
在本实施例中，通过获取眼底图像，并对眼底图像进行视盘区域检测，得到眼底图像的视盘区域；将视盘区域输入图像分割模型的编码网络中提取图像特征，得到第一特征图；将第一特征图输入解码网络中的位置校正网络，通过位置校正网络对第一特征图像进行空洞空间金字塔池化，得到位置校正后的第二特征图；通过解码网络中的分割网络对第一特征图进行卷积操作，得到代表视杯视盘分割图像的第三特征图；通过连接层，将第二特征图和第三特征图进行拼接，得到图像分割结果；提取图像分割结果中的视盘外轮廓和视杯外轮廓，并根据视盘外轮廓和视杯外轮廓，计算得到视杯直径和视盘直径；根据视杯直径和视盘直径计算眼底图像的杯盘比。本方法提高分割得到的视杯视盘图像的准确度，减少疾病筛查过程中的多筛、漏筛情况。
请参阅图2，本发明实施例中基于图像分割模型的杯盘比确定方法的第二个实施例包括：
201、获取眼底图像，将眼底图像输入预设的视盘区域检测模型中，得到区域第一坐标点和区域第二坐标点；
在本实施例中，可以使用目标检测技术，MaskRCNN模型对眼底图像进行检测，通过MaskRCNN模型检测出眼底图像中的区域第一坐标点和区域第二坐标点，区域第一坐标点和区域第二坐标点为视盘区域的对角线上的两点，可以分别是左上角和右下角的两点，或是右上角和左下角的两点。
202、根据区域第一坐标点和区域第二坐标点，生成矩形区域；
203、根据矩形区域对眼底图像进行裁剪，得到眼底图像的视盘区域；
在本实施例中，通过对角线上的两点，可以确定矩形区域，例如，区域第一坐标点的坐标为(a，b)，区域第二坐标点的坐标为(c，d)，则矩形区域的四点的坐标分别为(a，b)、(c，b)、(c，d)和(a，d)，将四点进行连接，即可得到矩形区域。
204、将视盘区域输入图像分割模型的编码网络中提取图像特征，得到第一特征图；
205、将第一特征图输入解码网络中的位置校正网络，通过位置校正网络对第一特征图像进行空洞空间金字塔池化，得到位置校正后的第二特征图；
206、通过解码网络中的分割网络对第一特征图进行卷积操作，得到代表视杯视盘分割图像的第三特征图；
207、通过连接层，将第二特征图和第三特征图进行拼接，得到图像分割结果；
208、提取图像分割结果中的视盘外轮廓和视杯外轮廓，并根据视盘外轮廓和视杯外轮廓，计算得到视杯直径和视盘直径；
209、根据视杯直径和视盘直径计算眼底图像的杯盘比。
本实施例在上一实施例的基础上，详细描述了获取眼底图像，并对眼底图像进行视盘区域检测，得到眼底图像的视盘区域的过程，通过获取眼底图像，将所述眼底图像输入预设的视盘区域检测模型中，得到区域第一坐标点和区域第二坐标点；根据所述区域第一坐标点和区域第二坐标点，生成矩形区域；根据所述矩形区域对所述眼底图像进行裁剪，得到所述眼底图像的视盘区域。本实施例中通过预设的视盘区域检测模型检测进行视盘区域的检测，能够提高分割得到的视杯视盘图像的准确度，减少疾病筛查过程中的多筛、漏筛情况。
请参阅图3，本发明实施例中基于图像分割模型的杯盘比确定方法的第三个实施例包括：
301、获取眼底图像，并对所述眼底图像进行视盘区域检测，得到所述眼底图像的视盘区域；
302、将所述视盘区域进行缩放处理，得到预设尺寸的缩放图像；
在本实施例中，在图像输入模型前需要对图像进行预处理，所述预处理包括伸缩处理，伸缩处理是为了将视盘区域的图像处理为特定的尺寸，例如可以是256*256，便于所述预设的神经网络对样本图像进行特征提取。
303、将所述缩放图像输入所述编码网络中的mobilenetv2网络中，通过mobilenetv2网络中的n层卷积层进行卷积处理，得到n个特征图；
304、将mobilenetv2网络中最后一个卷积层输出的特征图作为第一特征图；
305、将所述第一特征图输入所述解码网络中的位置校正网络，通过所述位置校正网络对所述第一特征图像进行空洞空间金字塔池化，得到位置校正后的第二特征图；
306、通过所述解码网络中的分割网络对所述第一特征图进行卷积操作，得到代表视杯视盘分割图像的第三特征图；
307、通过所述连接层，将所述第二特征图和所述第三特征图进行拼接，得到图像分割结果；
308、提取所述图像分割结果中的视盘外轮廓和视杯外轮廓，并根据所述视盘外轮廓和所述视杯外轮廓，计算得到视杯直径和视盘直径；
309、根据所述视杯直径和视盘直径计算所述眼底图像的杯盘比。
本实施例在前实施例的基础上，详细描述了将所述视盘区域输入所述图像分割模型的编码网络中提取图像特征，得到第一特征图的过程，通过将所述视盘区域进行缩放处理，得到预设尺寸的缩放图像；将所述缩放图像输入所述编码网络中的mobilenetv2网络中，通过mobilenetv2网络中的n层卷积层进行卷积处理，得到n个特征图；将mobilenetv2网络中最后一个卷积层输出的特征图作为第一特征图。本实施例中在将图像输入编码网络前，对图像进行预处理，便于所述预设的神经网络对样本图像进行特征提取。
请参阅图4，本发明实施例中基于图像分割模型的杯盘比确定方法的第四个实施例包括：
401、获取眼底图像，并对眼底图像进行视盘区域检测，得到眼底图像的视盘区域；
402、将视盘区域输入图像分割模型的编码网络中提取图像特征，得到第一特征图；
403、将第一特征图输入解码网络中的位置校正网络，通过aspp算法对输入的第一特征图进行空洞空间金字塔池化，提取第一特征图不同尺度的特征图空间信息；
404、对特征图空间信息进行全局平均池化转化，计算不同尺度的特征图空间信息的权重；
405、根据权重，将不同尺度的特征图空间信息进行融合，得到第二特征图；
在本实施例中，空洞空间卷积池化金字塔(atrous spatial pyramid pooling(ASPP))对所给定的输入以不同采样率的空洞卷积并行采样，相当于以多个比例捕捉图像的上下文，位置校正网络通过ASPP算法对第一特征图像进行空洞空间金字塔池化，输出不同接受域大小的空间特征图，不同接受域大小的空间特征图串联起来，输入到深度学习网络中进行时间特征提取，能过预测位置校正方向。
406、将第一特征图送入位置注意力子网络中的卷积层，产生三个特征映射；
407、将三个特征映射中的其中两个特征映射执行矩阵相乘，并使用softmax层计算矩阵相乘后的空间映射；
408、将三个特征映射中的剩余特征映射和空间映射转置执行矩阵相乘，并将矩阵相乘结果与第一特征图执行逐项素相加，得到位置特征子图；
首先将A送入到具有正则化和Relu层的卷积层，以此来产生两个特征映射B和C；将C转置和B执行矩阵相乘，使用softmax层计算空间attention的映射。
同时，将特征A送入到带有正则化和ReLU层的卷积来产生新的特征D，将D和S转置执行矩阵相乘；最后将得到的结果与A执行逐项素相加，得到最后的输出位置特征子图。
409、将第一特征图和第一特征图的转置执行矩阵相乘并使用softmax层计算矩阵相乘后的通道映射；
410、将通道映射与第一特征图执行矩阵相乘并矩阵相乘结果与第一特征图执行逐元素相加，得到通道特征子图；
从原始的特征图A直接计算通道映射X；具体来说，将A和A的转置执行矩阵相乘操作；最后应用softmax层得到通道attention映射X；
除此之外，X的转置和A执行矩阵相乘；将得到的结果重新调整大小与A执行逐元素相加得到通道特征子图。
411、将位置特征子图和空间特征子图相加融合，得到第三特征图；
412、通过连接层，将第二特征图和第三特征图进行拼接，得到图像分割结果；
413、提取图像分割结果中的视盘外轮廓和视杯外轮廓，并根据视盘外轮廓和视杯外轮廓，计算得到视杯直径和视盘直径；
414、若损失函数值大于或等于预设阈值，则回到将最优特征子集作为模型输入样本进行初始基于图像分割模型的杯盘比确定模型的模型训练的步骤，直至损失函数值小于预设阈值；
415、根据视杯直径和视盘直径计算眼底图像的杯盘比。
本实施例在前实施例的基础上，详细说明了将第一特征图输入解码网络中的位置校正网络，通过位置校正网络对第一特征图像进行空洞空间金字塔池化，得到位置校正后的第二特征图和通过解码网络中的分割网络对第一特征图进行卷积操作，得到代表视杯视盘分割图像的第三特征图的过程。通过在解码网络中加入基于aspp算法的位置矫正模块，对图像进行位置矫正，提高分割得到的视杯视盘图像的准确度，减少疾病筛查过程中的多筛、漏筛情况。
请参阅图5，本发明实施例中基于图像分割模型的杯盘比确定方法的第五个实施例包括：
501、获取眼底图像，并对眼底图像进行视盘区域检测，得到眼底图像的视盘区域；
502、将视盘区域输入图像分割模型的编码网络中提取图像特征，得到第一特征图；
503、将第一特征图输入解码网络中的位置校正网络，通过位置校正网络对第一特征图像进行空洞空间金字塔池化，得到位置校正后的第二特征图；
504、通过解码网络中的分割网络对第一特征图进行卷积操作，得到代表视杯视盘分割图像的第三特征图；
505、通过连接层，将第二特征图和第三特征图进行拼接，得到图像分割结果；
506、采用OpenCV中的findcontours函数对图像分割结果进行轮廓识别，得到轮廓识别结果；
507、根据预设的视盘外轮廓和视杯外轮廓的轮廓级别，从轮廓识别结果中筛选出视盘外轮廓和视杯外轮廓；
在本实施例中，应用OpenCV中的findcontours函数对图像分割结果进行轮廓识别将得到不同的轮廓图像，实现设置视盘外轮廓和视杯外轮廓的轮廓级别分别为最大的轮廓图像和第二大的轮廓图像，即可从轮廓识别结果中筛选出视盘外轮廓和视杯外轮廓。
508、根据旋转卡尺算法，分别提取视盘外轮廓和视杯外轮廓的最小外接矩形；
在本实施例中，旋转卡尺算法通过取轮廓上坐标上两极值点构成平行线，旋转两线，当线与多边形一条边重合时，计算构成矩形面积，继续旋转，直至旋转角度超过90度，取最小面积的矩形作为最小外接矩形。
509、分别将视盘外轮廓和视杯外轮廓的最小外接矩形在垂直方向的边长作为视盘直径和视杯直径。
本实施例在前实施例的基础上，详细提取图像分割结果中的视盘外轮廓和视杯外轮廓，并根据视盘外轮廓和视杯外轮廓，计算得到视杯直径和视盘直径的过程，通过采用OpenCV中的findcontours函数对图像分割结果进行轮廓识别，得到轮廓识别结果；根据预设的视盘外轮廓和视杯外轮廓的轮廓级别，从轮廓识别结果中筛选出视盘外轮廓和视杯外轮廓；根据旋转卡尺算法，分别提取视盘外轮廓和视杯外轮廓的最小外接矩形；分别将视盘外轮廓和视杯外轮廓的最小外接矩形在垂直方向的边长作为视盘直径和视杯直径。本方法通过OpenCV中的findcontours函数能够准确的进行轮廓识别，提高杯盘比的准确率，减少疾病筛查过程中的多筛、漏筛情况。
上面对本发明实施例中基于图像分割模型的杯盘比确定方法进行了描述，下面对本发明实施例中基于图像分割模型的杯盘比确定装置进行描述，请参阅图6，本发明实施例中基于图像分割模型的杯盘比确定装置一个实施例，其中所述图像分割模型包括编码网络、解码网络和连接层，所述解码网络包括位置校正网络和分割网络；基于图像分割模型的杯盘比确定装置一个实施例包括：
获取模块601，用于获取眼底图像，并对所述眼底图像进行视盘区域检测，得到所述眼底图像的视盘区域；
特诊提取模块602，用于将所述视盘区域输入所述图像分割模型的编码网络中提取图像特征，得到第一特征图；
池化模块603，用于将所述第一特征图输入所述解码网络中的位置校正网络，通过所述位置校正网络对所述第一特征图像进行空洞空间金字塔池化，得到位置校正后的第二特征图；
卷积模块604，用于通过所述解码网络中的分割网络对所述第一特征图进行卷积操作，得到代表视杯视盘分割图像的第三特征图；
连接模块605，用于通过所述连接层，将所述第二特征图和所述第三特征图进行拼接，得到图像分割结果；
直径计算模块606，用于提取所述图像分割结果中的视盘外轮廓和视杯外轮廓，并根据所述视盘外轮廓和所述视杯外轮廓，计算得到视杯直径和视盘直径；
杯盘比计算模块607，用于根据所述视杯直径和视盘直径计算所述眼底图像的杯盘比。
需要强调的是，为保证数据的私密和安全性，上述数据库可以存储于一区块链的节点中。
本发明实施例中，所述基于图像分割模型的杯盘比确定装置运行上述基于图像分割模型的杯盘比确定方法，所述基于图像分割模型的杯盘比确定装置通过获取眼底图像，并对眼底图像进行视盘区域检测，得到眼底图像的视盘区域；将视盘区域输入图像分割模型的编码网络中提取图像特征，得到第一特征图；将第一特征图输入解码网络中的位置校正网络，通过位置校正网络对第一特征图像进行空洞空间金字塔池化，得到位置校正后的第二特征图；通过解码网络中的分割网络对第一特征图进行卷积操作，得到代表视杯视盘分割图像的第三特征图；通过连接层，将第二特征图和第三特征图进行拼接，得到图像分割结果；提取图像分割结果中的视盘外轮廓和视杯外轮廓，并根据视盘外轮廓和视杯外轮廓，计算得到视杯直径和视盘直径；根据视杯直径和视盘直径计算眼底图像的杯盘比。本方法提高分割得到的视杯视盘图像的准确度，减少疾病筛查过程中的多筛、漏筛情况。
请参阅图7，本发明实施例中基于图像分割模型的杯盘比确定装置的第二个实施例，其中所述图像分割模型包括编码网络、解码网络和连接层，所述解码网络包括位置校正网络和分割网络；基于图像分割模型的杯盘比确定装置第二个实施例包括：
获取模块601，用于获取眼底图像，并对所述眼底图像进行视盘区域检测，得到所述眼底图像的视盘区域；
特诊提取模块602，用于将所述视盘区域输入所述图像分割模型的编码网络中提取图像特征，得到第一特征图；
池化模块603，用于将所述第一特征图输入所述解码网络中的位置校正网络，通过所述位置校正网络对所述第一特征图像进行空洞空间金字塔池化，得到位置校正后的第二特征图；
卷积模块604，用于通过所述解码网络中的分割网络对所述第一特征图进行卷积操作，得到代表视杯视盘分割图像的第三特征图；
连接模块605，用于通过所述连接层，将所述第二特征图和所述第三特征图进行拼接，得到图像分割结果；
直径计算模块606，用于提取所述图像分割结果中的视盘外轮廓和视杯外轮廓，并根据所述视盘外轮廓和所述视杯外轮廓，计算得到视杯直径和视盘直径；
杯盘比计算模块607，用于根据所述视杯直径和视盘直径计算所述眼底图像的杯盘比。
在本实施例中，所述获取模块601具体用于：获取眼底图像，将所述眼底图像输入预设的视盘区域检测模型中，得到区域第一坐标点和区域第二坐标点；根据所述区域第一坐标点和区域第二坐标点，生成矩形区域；根据所述矩形区域对所述眼底图像进行裁剪，得到所述眼底图像的视盘区域。
在本实施例中，所述编码网络为mobilenetv2网络，所述mobilenetv2网络包含n层卷积层，所述n为不小于1的自然数；所述特征提取模块602具体用于：将所述视盘区域进行缩放处理，得到预设尺寸的缩放图像；将所述缩放图像输入所述编码网络中的mobilenetv2网络中，通过mobilenetv2网络中的n层卷积层进行卷积处理，得到n个特征图；将mobilenetv2网络中最后一个卷积层输出的特征图作为第一特征图。
在本实施例中，所述位置校正网络为aspp网络，所述池化模块603具体用于：将所述第一特征图输入所述解码网络中的位置校正网络，通过所述aspp算法对输入的第一特征图进行空洞空间金字塔池化，提取所述第一特征图不同尺度的特征图空间信息；对所述特征图空间信息进行全局平均池化转化，计算不同尺度的特征图空间信息的权重；根据所述权重，将所述不同尺度的特征图空间信息进行融合，得到第二特征图。
在本实施例中，所述分割网络包括通道注意力子网络和位置注意力子网络；所述卷积模块604具体用于：将第一特征图送入位置注意力子网络中的卷积层，产生三个特征映射；将三个特征映射中的其中两个特征映射执行矩阵相乘，并使用softmax层计算矩阵相乘后的空间映射；将三个特征映射中的剩余特征映射和所述空间映射转置执行矩阵相乘，并将矩阵相乘结果与所述第一特征图执行逐项素相加，得到位置特征子图；将所述第一特征图和所述第一特征图的转置执行矩阵相乘并使用softmax层计算矩阵相乘后的通道映射；将所述通道映射与所述第一特征图执行矩阵相乘并矩阵相乘结果与所述第一特征图执行逐元素相加，得到通道特征子图；将所述位置特征子图和所述空间特征子图相加融合，得到第三特征图。
在本实施例中，所述直径计算模块606具体用于：采用OpenCV中的findcontours函数对所述图像分割结果进行轮廓识别，得到轮廓识别结果；根据预设的视盘外轮廓和视杯外轮廓的轮廓级别，从所述轮廓识别结果中筛选出视盘外轮廓和视杯外轮廓；根据旋转卡尺算法，分别提取所述视盘外轮廓和所述视杯外轮廓的最小外接矩形；分别将所述视盘外轮廓和所述视杯外轮廓的最小外接矩形在垂直方向的边长作为视盘直径和视杯直径。
在本实施例中，所述基于图像分割模型的杯盘比确定装置还包括模型训练模块608，所述模训练模块608具体用于：获取样本图像和所述样本图像对应的图像标签，并根据所述样本和所述图像标签构建样本数据，其中，所述图像标签包括分割标签和位置引导标签；将所述样本数据输入预设的神经网络中，得到网络预测结果；对所述样本图像和所述网络预测结果分别进行投影，分别得到样本投影值和分割投影值；计算所述样本图像和所述网络预测结果之间的位置偏差值；分别根据所述分割标签和所述网络预测结果计算分割损失函数，根据所述位置引导标签和所述位置偏差值计算位置损失函数，根据所述样本投影值和所述分割投影值计算投影损失函数；根据所述分割损失函数、所述位置损失函数和所述投影损失函数，计算总损失函数；根据所述总损失函数，对所述预设的神经网络进行迭代训练，得到图像分割模型。
本实施例在上一实施例的基础上，详细描述了各个模块的具体功能以及部分模块的单元构成，通过新增的模块，提高分割得到的视杯视盘图像的准确度，减少疾病筛查过程中的多筛、漏筛情况。
上面图6和图7从模块化功能实体的角度对本发明实施例中的中基于图像分割模型的杯盘比确定装置进行详细描述，下面从硬件处理的角度对本发明实施例中基于图像分割模型的杯盘比确定设备进行详细描述。
图8是本发明实施例提供的一种基于图像分割模型的杯盘比确定设备的结构示意图，该基于图像分割模型的杯盘比确定设备800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)810(例如，一个或一个以上处理器)和存储器820，一个或一个以上存储应用程序833或数据832的存储介质830(例如一个或一个以上海量存储设备)。其中，存储器820和存储介质830可以是短暂存储或持久存储。存储在存储介质830的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对基于图像分割模型的杯盘比确定设备800中的一系列指令操作。更进一步地，处理器810可以设置为与存储介质830通信，在基于图像分割模型的杯盘比确定设备800上执行存储介质830中的一系列指令操作，以实现上述基于图像分割模型的杯盘比确定方法的步骤。
基于图像分割模型的杯盘比确定设备800还可以包括一个或一个以上电源840，一个或一个以上有线或无线网络接口850，一个或一个以上输入输出接口860，和/或，一个或一个以上操作系统831，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图8示出的基于图像分割模型的杯盘比确定设备结构并不构成对本申请提供的基于图像分割模型的杯盘比确定设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述基于图像分割模型的杯盘比确定方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统或装置、单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于图像分割模型的杯盘比确定方法，其特征在于，所述图像分割模型包括编码网络、解码网络和连接层，其中，所述解码网络包括位置校正网络和分割网络；
所述基于图像分割模型的杯盘比确定方法包括：
获取眼底图像，并对所述眼底图像进行视盘区域检测，得到所述眼底图像的视盘区域；
将所述视盘区域输入所述图像分割模型的编码网络中提取图像特征，得到第一特征图；
将所述第一特征图输入所述解码网络中的位置校正网络，通过所述位置校正网络对所述第一特征图像进行空洞空间金字塔池化，得到位置校正后的第二特征图；所述位置校正网络输出不同接受域大小的空间特征图，不同接受域大小的空间特征图串联起来，输入到深度学习网络中进行时间特征提取；
通过所述解码网络中的位置注意力模块利用所述第一特征图中的各图像特征之间的关联对所述图像特征增强，通过所述解码网络中的通道注意力模块挖掘所述第一特征图的各图像特征之间的相互依赖关系，得到代表视杯视盘分割图像的第三特征图；
通过所述连接层，将所述第二特征图和所述第三特征图进行拼接，得到图像分割结果；
提取所述图像分割结果中的视盘外轮廓和视杯外轮廓，并根据所述视盘外轮廓和所述视杯外轮廓，计算得到视杯直径和视盘直径；
根据所述视杯直径和视盘直径计算所述眼底图像的杯盘比。
2.根据权利要求1所述的基于图像分割模型的杯盘比确定方法，其特征在于，所述获取眼底图像，并对所述眼底图像进行视盘区域检测，得到所述眼底图像的视盘区域包括：
获取眼底图像，将所述眼底图像输入预设的视盘区域检测模型中，得到区域第一坐标点和区域第二坐标点；
根据所述区域第一坐标点和区域第二坐标点，生成矩形区域；
根据所述矩形区域对所述眼底图像进行裁剪，得到所述眼底图像的视盘区域。
3.根据权利要求1所述基于图像分割模型的杯盘比确定方法，其特征在于，所述编码网络为mobilenetv2网络，所述mobilenetv2网络包含n层卷积层，所述n为不小于1的自然数；
所述将所述视盘区域输入所述图像分割模型的编码网络中提取图像特征，得到第一特征图包括：
将所述视盘区域进行缩放处理，得到预设尺寸的缩放图像；
将所述缩放图像输入所述编码网络中的mobilenetv2网络中，通过mobilenetv2网络中的n层卷积层进行卷积处理，得到n个特征图；
将mobilenetv2网络中最后一个卷积层输出的特征图作为第一特征图。
4.根据权利要求1所述的基于图像分割模型的杯盘比确定方法，其特征在于，所述位置校正网络为aspp网络，所述将所述第一特征图输入所述解码网络中的位置校正网络，通过所述位置校正网络对所述第一特征图像进行空洞空间金字塔池化，得到位置校正后的第二特征图包括：
将所述第一特征图输入所述解码网络中的位置校正网络，通过所述aspp网络对输入的第一特征图进行空洞空间金字塔池化，提取所述第一特征图不同尺度的特征图空间信息；
对所述特征图空间信息进行全局平均池化转化，计算不同尺度的特征图空间信息的权重；
根据所述权重，将所述不同尺度的特征图空间信息进行融合，得到第二特征图。
5.根据权利要求1所述的基于图像分割模型的杯盘比确定方法，其特征在于，所述分割网络包括通道注意力子网络和位置注意力子网络；
所述通过所述解码网络中的分割网络对所述第一特征图进行卷积操作，得到代表视杯视盘分割图像的第三特征图包括：
将第一特征图送入位置注意力子网络中的卷积层，产生三个特征映射；
将三个特征映射中的其中两个特征映射执行矩阵相乘，并使用softmax层计算矩阵相乘后的空间映射；
将三个特征映射中的剩余特征映射和所述空间映射转置执行矩阵相乘，并将矩阵相乘结果与所述第一特征图执行逐项素相加，得到位置特征子图；
将所述第一特征图和所述第一特征图的转置执行矩阵相乘并使用softmax层计算矩阵相乘后的通道映射；
将所述通道映射与所述第一特征图执行矩阵相乘并矩阵相乘结果与所述第一特征图执行逐元素相加，得到通道特征子图；
将所述位置特征子图和所述通道特征子图相加融合，得到第三特征图。
6.根据权利要求1-5中任一项所述的基于图像分割模型的杯盘比确定方法，其特征在于，所述提取所述图像分割结果中的视盘外轮廓和视杯外轮廓，并根据所述视盘外轮廓和所述视杯外轮廓，计算得到视杯直径和视盘直径包括：
采用OpenCV中的findcontours函数对所述图像分割结果进行轮廓识别，得到轮廓识别结果；
根据预设的视盘外轮廓和视杯外轮廓的轮廓级别，从所述轮廓识别结果中筛选出视盘外轮廓和视杯外轮廓；
根据旋转卡尺算法，分别提取所述视盘外轮廓和所述视杯外轮廓的最小外接矩形；
分别将所述视盘外轮廓和所述视杯外轮廓的最小外接矩形在垂直方向的边长作为视盘直径和视杯直径。
7.根据权利要求1-5中任一项所述的基于图像分割模型的杯盘比确定方法，其特征在于，所述图像分割模型通过以下步骤训练得到：
获取样本图像和所述样本图像对应的图像标签，并根据所述样本和所述图像标签构建样本数据，其中，所述图像标签包括分割标签和位置引导标签；
将所述样本数据输入预设的神经网络中，得到网络预测结果；
对所述样本图像和所述网络预测结果分别进行投影，分别得到样本投影值和分割投影值；
计算所述样本图像和所述网络预测结果之间的位置偏差值；
分别根据所述分割标签和所述网络预测结果计算分割损失函数，根据所述位置引导标签和所述位置偏差值计算位置损失函数，根据所述样本投影值和所述分割投影值计算投影损失函数；
根据所述分割损失函数、所述位置损失函数和所述投影损失函数，计算总损失函数；
根据所述总损失函数，对所述预设的神经网络进行迭代训练，得到图像分割模型。
8.一种基于图像分割模型的杯盘比确定装置，其特征在于，所述图像分割模型包括编码网络、解码网络和连接层，其中，所述解码网络包括位置校正网络和分割网络；
所述基于图像分割模型的杯盘比确定装置包括：
获取模块，用于获取眼底图像，并对所述眼底图像进行视盘区域检测，得到所述眼底图像的视盘区域；
特诊提取模块，用于将所述视盘区域输入所述图像分割模型的编码网络中提取图像特征，得到第一特征图；
池化模块，用于将所述第一特征图输入所述解码网络中的位置校正网络，通过所述位置校正网络对所述第一特征图像进行空洞空间金字塔池化，得到位置校正后的第二特征图；所述位置校正网络输出不同接受域大小的空间特征图，不同接受域大小的空间特征图串联起来，输入到深度学习网络中进行时间特征提取；
卷积模块，用于通过所述解码网络中的位置注意力模块利用所述第一特征图中的各图像特征之间的关联对所述图像特征增强，通过所述解码网络中的通道注意力模块挖掘所述第一特征图的各图像特征之间的相互依赖关系，得到代表视杯视盘分割图像的第三特征图；
连接模块，用于通过所述连接层，将所述第二特征图和所述第三特征图进行拼接，得到图像分割结果；
直径计算模块，用于提取所述图像分割结果中的视盘外轮廓和视杯外轮廓，并根据所述视盘外轮廓和所述视杯外轮廓，计算得到视杯直径和视盘直径；
杯盘比计算模块，用于根据所述视杯直径和视盘直径计算所述眼底图像的杯盘比。
9.一种基于图像分割模型的杯盘比确定设备，其特征在于，所述基于图像分割模型的杯盘比确定设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于图像分割模型的杯盘比确定设备执行如权利要求1-7中任一项所述的基于图像分割模型的杯盘比确定方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的基于图像分割模型的杯盘比确定方法的步骤。
CN202110978322.3A 2021-08-25 2021-08-25 杯盘比确定方法、装置、设备及存储介质 Active CN113658165B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110978322.3A CN113658165B (zh) 2021-08-25 2021-08-25 杯盘比确定方法、装置、设备及存储介质
PCT/CN2022/071693 WO2023024418A1 (zh) 2021-08-25 2022-01-13 杯盘比确定方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110978322.3A CN113658165B (zh) 2021-08-25 2021-08-25 杯盘比确定方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113658165A CN113658165A (zh) 2021-11-16
CN113658165B true CN113658165B (zh) 2023-06-20

Family

ID=78492779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110978322.3A Active CN113658165B (zh) 2021-08-25 2021-08-25 杯盘比确定方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN113658165B (zh)
WO (1) WO2023024418A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658165B (zh) * 2021-08-25 2023-06-20 平安科技（深圳）有限公司 杯盘比确定方法、装置、设备及存储介质
CN117011918B (zh) * 2023-08-08 2024-03-26 南京工程学院 基于线性注意力机制的人脸活体检测模型的构建方法
CN117764985B (zh) * 2024-02-01 2024-05-14 江西师范大学 眼底图像分割模型训练方法、设备和青光眼辅助诊断系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111353980A (zh) * 2020-02-27 2020-06-30 浙江大学 基于深度学习的眼底荧光造影图像渗漏点检测方法
CN112602114A (zh) * 2019-08-01 2021-04-02 京东方科技集团股份有限公司 图像处理方法及装置、神经网络及训练方法、存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210150281A1 (en) * 2019-11-14 2021-05-20 Nec Laboratories America, Inc. Domain adaptation for semantic segmentation via exploiting weak labels
CN111340819B (zh) * 2020-02-10 2023-09-12 腾讯科技（深圳）有限公司 图像分割方法、装置和存储介质
CN111862187B (zh) * 2020-09-21 2021-01-01 平安科技（深圳）有限公司 基于神经网络的杯盘比确定方法、装置、设备及存储介质
CN112132265B (zh) * 2020-09-22 2024-05-07 平安科技（深圳）有限公司 模型训练方法、杯盘比确定方法、装置、设备及存储介质
CN112884788B (zh) * 2021-03-08 2022-05-10 中南大学 基于丰富上下文网络的视杯视盘分割方法及成像方法
CN113658165B (zh) * 2021-08-25 2023-06-20 平安科技（深圳）有限公司 杯盘比确定方法、装置、设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112602114A (zh) * 2019-08-01 2021-04-02 京东方科技集团股份有限公司 图像处理方法及装置、神经网络及训练方法、存储介质
CN111353980A (zh) * 2020-02-27 2020-06-30 浙江大学 基于深度学习的眼底荧光造影图像渗漏点检测方法

Also Published As

Publication number Publication date
CN113658165A (zh) 2021-11-16
WO2023024418A1 (zh) 2023-03-02

Similar Documents

Publication Publication Date Title
CN113658165B (zh) 杯盘比确定方法、装置、设备及存储介质
CN110662484B (zh) 用于全身测量结果提取的系统和方法
TWI715117B (zh) 醫療影像處理方法及裝置、電子設備及儲存介質
Cheng et al. Discriminative vessel segmentation in retinal images by fusing context-aware hybrid features
CN111862044B (zh) 超声图像处理方法、装置、计算机设备和存储介质
WO2021082691A1 (zh) 眼部oct图像病灶区域的分割方法、装置及终端设备
WO2022088665A1 (zh) 病灶分割方法、装置及存储介质
US11967181B2 (en) Method and device for retinal image recognition, electronic equipment, and storage medium
CN111860169B (zh) 皮肤分析方法、装置、存储介质及电子设备
Fu et al. Optic disc segmentation by U-net and probability bubble in abnormal fundus images
CN112419295B (zh) 医学图像处理方法、装置、计算机设备和存储介质
Vij et al. A systematic review on diabetic retinopathy detection using deep learning techniques
WO2019127102A1 (zh) 信息处理方法、装置、云处理设备以及计算机程序产品
EP3953859A1 (en) Method and system for estimating eye-related geometric parameters of a user
CN109785399B (zh) 合成病变图像的生成方法、装置、设备及可读存储介质
WO2021190656A1 (zh) 眼底图像黄斑中心定位方法及装置、服务器、存储介质
Tavakoli et al. Unsupervised automated retinal vessel segmentation based on Radon line detector and morphological reconstruction
CN117218400A (zh) 一种图像识别模型训练方法、装置、电子设备及存储介质
CN117409002A (zh) 一种用于创伤的视觉识别检测系统及其检测方法
CN113379741B (zh) 基于血管特征的视网膜血管分割方法、设备和存储介质
AU2020219147A1 (en) Diagnostic imaging for diabetic retinopathy
CN112699950B (zh) 医学图像分类方法、图像分类网络处理方法、装置和设备
CN112541900A (zh) 基于卷积神经网络的检测方法、装置、计算机设备及存储介质
Lin et al. Res-UNet based optic disk segmentation in retinal image
Niemeijer et al. Automatic Detection of the Optic Disc, Fovea and Vacular Arch in Digital Color Photographs of the Retina.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant