CN116309241A - 干眼分析系统 - Google Patents

干眼分析系统 Download PDF

Info

Publication number
CN116309241A
CN116309241A CN202211088109.6A CN202211088109A CN116309241A CN 116309241 A CN116309241 A CN 116309241A CN 202211088109 A CN202211088109 A CN 202211088109A CN 116309241 A CN116309241 A CN 116309241A
Authority
CN
China
Prior art keywords
dry eye
information
data set
module
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211088109.6A
Other languages
English (en)
Inventor
王涵
邢鲁民
庄金隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Institute Of Advanced Technology Chinese Academy Of Sciences Co ltd
Original Assignee
Zhuhai Institute Of Advanced Technology Chinese Academy Of Sciences Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Institute Of Advanced Technology Chinese Academy Of Sciences Co ltd filed Critical Zhuhai Institute Of Advanced Technology Chinese Academy Of Sciences Co ltd
Priority to CN202211088109.6A priority Critical patent/CN116309241A/zh
Publication of CN116309241A publication Critical patent/CN116309241A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Signal Processing (AREA)
  • Ophthalmology & Optometry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种干眼分析系统，包括；数据集量化模块，用于获取医疗结构的干眼数据集，根据维度对所述干眼数据集执行量化处理，得到量化数据集；染色归一化模块，用于对所述量化数据集进行染色归一化处理，将所述量化数据集中的数字眼科图像切片特征进行染色，得到第一特征信息；眼科切片特征提取模块，用于对所述第一特征信息采用自监督学习进行特征提取，得到第二特征信息；预测模块，用于以所述第二特征信息作为输入，采用卷积神经网络及Transformer进行干眼分析，得到预测结果；融合模块，用于对所述预测结果进行多尺度特征筛选，得到干眼分析结果。本发明的技术方案提高了干眼早筛和预后分析效率。

Description

干眼分析系统
技术领域
本发明涉及计算机技术领域，尤其涉及一种干眼分析系统。
背景技术
干眼症的早筛及预后对于眼科医生制定综合性精准治疗方案具有重要的临床意义，对于保证人们正常生活、稳定社会经济与发展具有重要的社会价值和经济意义。随着人工智能技术的发展，智能化医学诊断和预后成为现实。由于医学数据的保密性和孤岛性，很难在保证数据质量、数据安全、数据有效性和数据资源合理利用的前提下建立医学细分领域数据集，从而导致人工智能医学诊断的鲁棒性等问题。联邦学习以其远程托管数据、分布式训练深度学习模型的特点，可以有效的克服以上痛点。
现有技术存在以下缺点：
对于干眼症的诊断标准化较低，中西医的诊断更是千差万别，除此以外，干眼真实世界数据集不多。
由于医学数据隐私性、保密性、伦理性、安全性、差异性、孤岛性等特点，很难在保证数据质量、数据安全、数据有效性和数据资源合理利用的前提下，建立医学细分领域数据集，从而导致人工智能医学诊断的鲁棒性等问题。
传统的染色归一化任务依赖眼科专家对染色模板进行挑选，且现有的生成对抗网络模型结构复杂，占用资源过大，无法适用于实际医疗环境。自动编码器的对此方面的解决有较好的优势，即其简洁性和有效性。
传统眼科切片的特征提取依赖域外预训练特征提取器，该方法难以针对复杂眼科切片的不同语义信息进行针对性特征提取，导致判别性信息的丢失。自监督学习可在非监督的情况下提取高质量特征表示。
传统的多实例学习方法忽略了不同切片之间的相关性以及眼科图片区域的空间结构信息，导致模型对于这部分先验信息的利用受限，严重影响了干眼早筛及预后预测的性能。
多尺度的眼科切片存储不同的感受野信息，传统的多尺度信息融合方法需要消耗大量的计算资源，且缺少对于关键图片区域的针对性学习有效的特征筛选机制可以对图片区域的重要特征进行定位。
在干眼早筛及预后预测领域的标注数据量十分有限，然而在实际医疗环境中对于无标注数据的获取相对容易。
发明内容
本发明实施例的主要目的在于提出一种干眼分析系统，降低了干眼早筛和预后的系统资源消耗，提高了干眼早筛和预后分析效率。
本发明的技术方案提供了一种干眼分析系统，其特征在于：
数据集量化模块，用于获取医疗结构的干眼数据集，根据维度对所述干眼数据集执行量化处理，得到量化数据集；
染色归一化模块，用于对所述量化数据集进行染色归一化处理，将所述量化数据集中的数字眼科图像切片特征进行染色，得到第一特征信息；
眼科切片特征提取模块，用于对所述第一特征信息采用自监督学习进行特征提取，得到第二特征信息；
预测模块，用于以所述第二特征信息作为输入，采用卷积神经网络及Transformer进行干眼分析，得到预测结果；
融合模块，用于对所述预测结果进行多尺度特征筛选，得到干眼分析结果。
根据所述的干眼分析系统，其中系统被配置为半监督学习框架，所述半监督学习框架包括高置信数据集、异构分类器与高信息量样本；
所述半监督学习框架用于使用标注数据集训练三个异构分类器，在所有的异构分类器收敛之后，将未标注数据集通过分类器并根据分类器产生的伪标签构建所述高置信度数据，所述伪标签用于表征其余分类器的分类结果，两个结果相同则视为所述高置信数据；
使用所述高信息量样本选择器通过衡量样本中的信息量，为所述高信息量样本分配相应的权重，在信息量衡量通过自信息进行计算的公式为：
Figure BDA0003835051810000021
其中P(ai)为事件ai发生的概率，而I(ai)则为样本的自信息，样本的加权方式为平均加权。
根据所述的干眼分析系统，其中还包括基于联邦学习的干眼症的去中心化深度学习架构：
中心化深度学习架构用于在模型与梯度交互时，采用同态加密和共享加密执行处理，包括：将图像振幅标准化，以模统一的成像设置，进而在参与方生成协调的特征空间，从而减轻局部更新漂移；基于协调特征，采用参与方权重扰动δk，引导每个局部模型达到平坦的最优，其中局部最优解的邻域具有单一的低损失，其中：
Figure BDA0003835051810000031
其中
Figure BDA0003835051810000032
Figure BDA0003835051810000033
幅度分量
Figure BDA0003835051810000034
相位分量/>
Figure BDA0003835051810000035
根据所述的干眼分析系统，其中数据集量化模块包括：
用于采集不同医疗机构的所述数字眼科图像，根据所述数字眼科图像数据维度及真实世界数据集类型进行量化，得到所述量化数据集，其中所述数字眼科图像数据维度及所述真实世界数据集类型包括中医诊断依据、西医诊断依据、人口学数据、电子病历数据、随访数据中的至少一种。
根据所述的干眼分析系统，其中染色归一化模块包括：
用于采用染色归一化网络将眼科图片染色为目标染色风格图像；
所述染色归一化网络包括编码器和解码器；
以T表示为目标域即待染色的眼科图片，S表示为源域即目标染色风格图像，通过所述染色归一化网络，在保留T的内容信息不变的同时，将T对齐到源域S的染色空间上，总损失L为：
L＝LS+LT
对于源域部分，fS和g分别为源域的编码器和解码器，通过编码器可提取到源域数据的浅特征表示fS(xS)，并经过解码器g(fS(xS))进行还原以计算MSE重构误差LC；
对于目标域部分，fT表示为目标域的编码器，目标域部分的解码器g与源域共享参数，使用结构相似性指数对MSE损失进行替换，得到目标域部分的重构误差，根据原始图片xT与生成图片g(fT(xT))之间的结构相似性，对浅特征表示通过对抗损失LD减小其差异性，以使目标域的浅特征可根据源域的风格进行生成，而对于目标域的生成样本，则通过SSIM损失对其结构信息进行保留；
其中，源域自动编码器的损失为
LS＝LC(g(fS(xS))，xS)-LD(fS(xS)，fT(xT)，
目标域自动编码器的损失为
LT＝LSSIM(g(fT(xT))，xT)-LD(fS(xS)，fT(xT))。
根据所述的干眼分析系统，其中眼科切片特征提取模块包括：
用自监督学习进行特征提取使用数据集本身的信息来构造伪标签，
Figure BDA0003835051810000041
以及，在分类分支部分，采用全连接网络的方式，将网络输出w的特征f(xn)进一步输出为每个类的概率gw(fθ(xn))，得到
Figure BDA0003835051810000042
根据所述的干眼分析系统，其中采用卷积神经网络及Transformer进行干眼分析，包括：
使用编码器对所述数字眼科图像切片进行编码；
采用基于Transformer的卷积神经网络基于对所述数字眼科图像切片进行编码的压缩表示进行分类，利用卷积神经网络获取位置编码信息，利用自注意力模块捕获数字眼科图像的空间结构信息，其计算公式为：
Q＝XiWQ K＝XiWK V＝XiWV
Figure BDA0003835051810000043
MSA(Q，K，V)＝Concat(head1，...，headn)WO
其中Xi表示第i个样本的信息，SA表示自注意层，Concat表示将不同的自注意力层信息进行融合，损失函数可定义为：
Figure BDA0003835051810000044
其中Y′i表示当前样本的预测标签，Yi表示样本的真实标签；
得到干眼早筛及预后预测模型，通过干眼早筛及预后预测模型。
根据所述的干眼分析系统，其中融合模块包括特征学习模块及注意力建议网络；
所述特征学习模块用于学习判别性特征，得到高倍率注意力区域和低倍率注意力区域；
所述注意力建议网络通过分析特征预测高倍率下感兴趣区域的坐标，进而高倍率下专注于分析感兴趣区域提供的细节信息；
所述融合模块通过注意力机制在低倍率下将无用的图片区域剔除，在高倍率下对感兴趣区域建模。
根据所述的干眼分析系统，其中注意力建议网络用于产生注意力投射区域；所述注意力建议网络以卷积特征Fconv为输入，预测一个正方形注意力投射区域的坐标，表示为
(tx，ty，tl)＝fAPN(Fconv；WAPN)
其中，(tx，ty)为预测得到注意力投射区域的中心点坐标，tl为该区域边长的一半，通过(tx，ty，tl)唯一确定区域位置，FAPN为APN所表达的映射，WAPN为该映射参数。
根据所述的干眼分析系统，其中系统还包括：
将所述注意力建议网络映射并构造为输出三维向量的全连接层，WAPN即为其权重；
得到位置预测结果后，将位置预测结果套叠在当前尺度的输入图像上，将注意力投射区域进行裁剪并放大；
其中裁剪通过原始图像与注意力掩膜之间的逐元素相乘得到，表示为
Xatt＝X⊙M(tx，ty，tl)。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明实施例的干眼分析系统示意图。
图2是本发明实施例的基于深度自动编码器的染色归一化网络。
图3是本发明实施例的基于自监督学习的眼科图片切片特征提取模型示意图。
图4是本发明实施例的基于Transformer的干眼早筛及预后预测模型示意图。
图5是本发明实施例的基于多尺度特征筛选的数字眼科图像信息融合示意图。
图6是本发明实施例的联邦学习探索构架示意图。
图7是本发明实施例的模型梯度交互及更新示意图。
图8是本发明实施例的半监督学习框架示意图。
图9是本发明实施例的总体干眼分析流程示意图。
图10是本发明实施例的基于联邦学习分布式深度学习的人工智能干眼检测示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特有的意义。因此，“模块”、“部件”或“单元”可以混合地使用。“第一”、“第二”等只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。在本后续的描述中，对方法步骤的连续标号是为了方便审查和理解，结合本发明的整体技术方案以及各个步骤之间的逻辑关系，调整步骤之间的实施顺序并不会影响本发明技术方案所达到的技术效果。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
参考图1，图1是本发明实施例的干眼分析系统示意图，其包括数据集量化模块100、染色归一化模块200、眼科切片特征提取模块300、预测模块400及融合模块500，具体地，该系统的模块包括：
数据集量化模块100，用于获取医疗结构的干眼数据集，根据维度对干眼数据集执行量化处理，得到量化数据集。
在一些实施例中，本发明量化数据维度及真实世界数据集范畴主要包括：
(a)中医分析依据主要包括：基于肺阴不足中医证候量表、阴虚湿热中医证候量表、脾肾阳虚中医证候量表、肝肾阴虚中医证候量表及中医眼科医生望闻问切得到的视觉功能、环境触发因素等其他指标(如医生询问病人在过去的一周内是否因视力或不适使以下活动受限：1.视力差；2.视力波动；3.阅读；4.夜间驾驶；5.操作电脑或银行提款；6.看电视等)，分析标准主要包括(中医眼科医生望闻问切的主观分析，如询问病人在过去一周内眼部是否有以下不适：1.对光敏感；2.砂砾感；眼痛；及干眼客观)。
(b)西医的分析标准及相关依据主要包括泪膜破裂时间、干涉测量和裂隙灯图像、体内共聚焦显微镜、睑板腺功能测量仪、泪液渗透压、蛋白质组学分析、光学相干断层成像和西医主观分析相关数据及分析结果参数。
(c)干眼早筛及预后其他数据主要包括人口学数据、电子病历数据、随访数据及其他数据。
通过该实施例，完成对中西医干眼症的真实世界综合性病症标记数据集构建及指标量化。
染色归一化模块200，用于对量化数据集进行染色归一化处理，将量化数据集中的数字眼科图像切片特征进行染色，得到第一特征信息。
在一些实施例中，参考图2，其示例了一种基于深度自动编码器的染色归一化网络示意图。
传统染色归一化方法往往需要眼科学家挑选染色模板，通过将该模板的染色风格作为基准，将其它眼科切片染色风格与模板染色风格进行对齐。但是通常情况下，染色模板的挑选并没有一个严格的标准，在这个过程中往往依赖临床眼科学专家的经验来选择合适的眼科切片作为染色模板，无疑是十分耗时耗力的。此外，由于传统深度染色归一化方法中，模型通常由多个图像生成器与判别器组成，这导致了传统深度染色归一化网络结构占用资源过大，计算效率低。针对该发明中提到的染色归一化中存在的问题，本发明使用深度学习自动编码器来提取眼科切片中特征信息，并将其映射到特定的染色空间中，不需要人工进行染色挑选模板，减少网络规模并显着提升计算效率。
自动编码器是一种无监督的神经网络模型，它可以学习到输入数据的隐含特征，同时用学习到的新特征重构出原始输入数据。模型由编码和解码两部分组成，编码器通过非线性函数将输入数据通过加权计算映射到隐藏层，解码器的主要存在意义是将隐藏层形成的编码特征映射到输出层来重构原输入，其输入层和输出层具有相同的规模，通过改变隐藏层神经元数量达到学习数据压缩表示的目的。
本发明的实施例使用基于自动编码器的网络架构提取数字眼科图像切片特征信息，并通过解码器部分将眼科图片信息映射到特定的染色风格空间中，以Meibomian图片为例，其网络结构图2所示。
本发明中，将T表示为目标域即待染色的眼科图片，将S表示为源域即目标染色风格图像，通过该染色归一化网络，在保留f的内容信息不变的同时，将T对齐到源域S的染色空间上。该网络由两个自动编码器组成，总损失如下：
L＝LS+LT
对于源域部分，fS和g分别为源域的编码器和解码器，通过编码器可提取到源域数据的浅特征表示fS(xS)，并经过解码器g(fS(xS))进行还原以计算MSE重构误差LC；而对于目标域部分，fT表示为目标域的编码器，该部分的解码器g与源域共享参数，对于该部分的重构误差，使用结构相似性指数(Structural similarity index，SSIM)对MSE损失进行替换，即仅考虑原始图片xT与生成图片g(fT(xT))之间的结构相似性。由于源域数据与目标域数据之间存在染色风格差异，对浅特征表示通过对抗损失LD减小其差异性，从而使得目标域的浅特征可根据源域的风格进行生成，而对于目标域的生成样本，则通过SSIM损失对其结构信息进行保留。
其中，源域自动编码器的损失如下：
LS＝LC(g(fS(xS))，xS)-LD(fS(xS)，fT(xT)
目标域自动编码器的损失如下：
LT＝LSSIM(g(fT(xT))，xT)-LD(fS(xS)，fT(xT))
眼科切片特征提取模块300，用于对第一特征信息采用自监督学习进行特征提取，得到第二特征信息。
在一些实施例中，参考如图3所示的基于自监督学习的眼科图片切片特征提取模型，本实施例的眼科切片特征提取模块通过基于自监督学习模型进行提取。
由于数字眼科图像的像素过高，导致在现有的计算条件下，无法直接将整张全尺寸数字眼科图像输入到现有的模型中进行训练，因此对于眼科图像的切片以及特征提取和压缩成为一个必要步骤。传统的眼科切片特征提取依赖于域外预训练的特征提取器对眼科切片直接进行特征提取，然而该方式仅能对一些共有的特征信息进行提取，忽略了不同眼科切片之间可能存在不同语义信息的问题，例如，一张恶性干眼眼科图像的切片中可能含有正常组织、良性干眼以及恶性干眼的眼科切片。在缺少像素级别标注信息的情况下，如何充分考虑眼科切片的不同语义信息，从而提取具有判别性的特征表示对于下游的分类任务具有重要意义。
自监督学习主要是利用辅助任务从大规模的无监督数据中挖掘自身的有监督信息，通过构造的监督信息对网络进行训练，从而可以学习到对下游任务有价值的表征。自监督学习方法可以看作是一种具有监督形式的非监督学习方法，这里的“监督”信息实际上是在非监督的情况下构建出的，而不是利用预设先验知识诱发的。与完全非监督的设置相比，自监督学习使用数据集本身的信息来构造伪标签。其关键核心问题在于如何从数据本身出发，设计有效的辅助任务。以Meibomian图片为例，其原理参考图3。
示例性地，在分类分支部分，采用全连接网络的方式，将网络输出w的特征f(xn)进一步输出为每个类的概率gw(fθ(xn))，因此，该优化问题变成了：
Figure BDA0003835051810000081
预测模块400，用于以第二特征信息作为输入，采用卷积神经网络及Transformer进行干眼分析，得到预测结果。
在一些实施例中，参考图4所示的基于Transformer的干眼早筛及预后预测模型示意图。
本实施例的基于Transformer的干眼早筛及预后预测方法，使得模型不仅可以自动获取相邻图块之间的联系，还能综合眼科图像的局部细节信息和全局结构信息，进而提高数字眼科图像分析模型的准确性。首先，将使用编码器对眼科切片进行编码，在抑制像素级噪声的同时保留高级信息，同时这种方式保留了眼科图像在空间中的结构信息。然后对眼科图像的压缩表示进行分类，考虑到Transformer中Self-Attention模块可以捕获长距离特征依赖关系。如图4所示的基于Transformer的网络结构，利用卷积神经网络获取位置编码信息，利用Self-Attention(自注意力)模块捕获数字眼科图像的空间结构信息，其计算公式可定义为：
Q＝XiWQ K＝XiWK V＝XiWV
Figure BDA0003835051810000091
MSA(Q，K，V)＝Concat(head1，...，headn)WO
其中Xi表示第i个样本的信息，SA表示Self-Attention层，Concat表示将不同的SA层信息进行融合。则损失函数可定义为：
Figure BDA0003835051810000092
其中Y′i表示当前样本的预测标签，Yi表示样本的真实标签。
数字眼科学图像包含丰富的表型信息，可用于监测导致疾病进展和患者生存结果的潜在机制。通过利用Transformer的优势，从多个角度对眼科图像的表征信息进行融合，从而构建一个准确度高，鲁棒性强的干眼早筛及预后预测模型。
融合模块500，用于对预测结果进行多尺度特征筛选，得到干眼分析结果。
在一些实施例中，参考图5所示的多尺度特征筛选的新颖的数字眼科图像信息融合示意图。如图5所示，模型通过学习在低倍率的数字眼科图像中识别出一些与分析相关的位置。所提出模型的核心组件是特征学习模块和注意力建议网络(Attention ProposalNetwork，APN)。特征学习模块在该模型中的主要作用是学习判别性特征，而APN通过分析特征预测高倍率下感兴趣区域的坐标，从而在高倍率下专注于分析感兴趣区域提供的细节信息。该模型通过注意力机制在低倍率下将无用的图片区域剔除，在高倍率下仅对少量的感兴趣区域建模，大大的节省了数字眼科图像分析过程中的计算资源。APN是用来产生注意力投射区域的核心结构，该模块以卷积特征(即每个尺度在输入全连接层之前的卷积特征)Fconv为输入，预测一个正方形注意力投射区域的坐标，表示为
(tx，ty，tl)＝fAPN(Fconv；WAPN)
上式中，(tx，ty)为预测得到注意力投射区域的中心点坐标，tl为该区域边长的一半(即正方形边长为2tl)，确定上述三个值即可以唯一确定区域位置。FAPN为APN所表达的映射，WAPN为该映射参数。上述APN映射被构造为一个输出三维向量的全连接层，WAPN即为其权重。得到位置预测结果后，需要将该位置套叠在当前尺度的输入图像上，将注意力投射区域裁剪出来然后再将其放大。实现裁剪的一般做法即通过原始图像与注意力掩膜之间的逐元素相乘来实现，表示为
Xatt＝X⊙M(tx，ty，tl)
在一些实施例中，参考图6和图7，其分别示例了基于本发明技术方案的联邦学习探索构架示意图和模型梯度交互及更新示意图。
本实施例严格遵循欧盟2018年5月25日发布的《通用数据保护条例》(GDPR)和我国国家互联网信息办公室于2019年5月28日发布的《数据安全管理办法》，构建多人群干眼症数据特征融合及基于联邦学习的干眼症的去中心化深度学习架构。
本发明数据来源于多个医疗单位，数据带有明显特征重叠少的特点；来源于两种诊疗手段，数据带有明显样本重叠少的特点。据此，在发明中提出一种基于联邦学习的干眼症的去中心化深度学习架构。
模型与梯度交互时，采用同态加密和共享加密技术。由于模型本身及模型的训练过程可能会泄露患者隐私信息，所以本发明采用SecureAggregation技术，保证交互过程中模型及梯度的安全性。
本发明将从两方面解决由联邦学习的各个参与方之间存在特征分布差异大、标签分布不均匀、同标签不同特征和同特征不同标签造成的Non-IID数据问题。首先，将图像振幅标准化，以模统一的成像设置，进而在参与方生成协调的特征空间，从而减轻局部更新漂移。其次，基于协调特征，本发明设计一个参与方权重扰动δk，引导每个局部模型达到平坦的最优，其中局部最优解的邻域具有单一的低损失。
Figure BDA0003835051810000101
幅度分量
Figure BDA0003835051810000102
相位分量/>
Figure BDA0003835051810000103
这样就能在不增加任何通信开销的情况下，通过聚合多个局部平坦最优解来帮助全局模型朝着收敛的最优解进行优化。
在一些实施例中，本发明的技术方案还采用了半监督学习框架，参考图8，包括：
由于对于医疗数据的标记耗时耗力，因此实际医疗环境中经常存在少量标注眼科图像和大量未标注的眼科图像共存的情况。由于标注眼科图像数量的不足严重限制了监督式眼科图像分类模型的性能。而半监督学习可在少量样本标注的引导下，充分利用大量无标注样本提高学习性能，避免了数据资源的浪费，同时解决了有标注样本较少时监督学习方法泛化能力不强和缺少样本标注引导时无监督学习方法不准确的问题。结合半监督学习优势，本发明创新性的将半监督学习运用在数字眼科图像分类领域，融合无标注数据信息，辅助分类器提升性能，增强分类器的泛化性。
本发明使用高置信数据集、异构分类器与高信息量样本选择构成半监督学习框架。
在本发明中，首先使用标注数据集训练三个异构分类器，在所有的异构分类器收敛之后，将未标注数据集通过分类器并根据分类器产生的伪标签构建高置信度数据。伪标签的产生则根据其余分类器的分类结果。若两个结果相同则视为高置信数据。由于不同眼科图像含有信息量不一致，为了使分类器更加关注于信息量高的样本，使用高信息量样本选择器通过衡量样本中的信息量，给予样本不同的权重。在信息量衡量通过自信息进行计算，其公式如下：
Figure BDA0003835051810000111
其中P(ai)为事件ai发生的概率，而I(ai)则为样本的自信息。而样本的加权方式则根据平均加权。
在一些实施例中，参考图9，其示例了干眼分析的总体流程示意图。
其包括：
(1)中西医干眼症的真实世界综合性病症标记数据集构建及指标量化。(2)基于联邦学习的干眼症的去中心化数据平台构建。(3)基于深度自动编码器的染色归一化。(4)基于自监督学习的特征提取。(5)基于CNN+Transformer深度学习模型的图片级干眼早筛与预后。(6)基于多尺度特征筛选的数字眼科图像信息融合。(7)基于半监督学习框架的干眼早筛和预后。
在一些实施例中，参考图10，其示例了基于联邦学习分布式深度学习的人工智能干眼检测，包括：
在干眼分析图片染色归一化之后，基于联邦学习，实现分布式的深度学习框架构建，不同深度学习模型对分散数据中心的数据进行独立的训练。将训练得到的特征值碎片进行函数融合及归一化，并使用激活函数及过滤器γ进行过滤得到有效归一化特征值。与干眼症其他有效结构化数据融合，最终输入到CNN+Transfer分类其中进行分析。
根据本发明的实施例，本发明的技术方案至少具备以下有益效果：
对于干眼症的分析标准化较低，中西医的分析更是千差万别，除此以外，干眼真实世界数据集不多。因此，如何基于中西医分析依据，对干眼症的真实世界综合性病症标记数据集构建及指标量化是本发明的主要关键问题之一。
近几年，对于医学细分领域数据库建立逐渐重视，然而由于医学数据隐私性、保密性、伦理性、安全性、差异性、孤岛性等特点，很难在保证数据质量、数据安全、数据有效性和数据资源合理利用的前提下，建立医学细分领域数据集，从而导致人工智能医学分析的鲁棒性等问题。联邦学习以其远程托管数据、分布式训练深度学习模型的特点，可以有效的克服以上痛点。因此，如何基于联邦学习，建立我国干眼数据库，是本发明要解决的主要关键问题之一。
传统的染色归一化任务依赖眼科专家对染色模板进行挑选，且现有的生成对抗网络模型结构复杂，占用资源过大，无法适用于实际医疗环境。自动编码器的对此方面的解决有较好的优势，即其简洁性和有效性。因此，如何针对“特征不变性”来有效定义自动编码器的重构误差，并且针对“染色一致性”对齐不同眼科图像之间的染色空间差异，从而快速、高效的生成染色归一化眼科图像是本发明，是本发明要解决的主要关键问题之一。
传统眼科切片的特征提取依赖域外预训练特征提取器，该方法难以针对复杂眼科切片的不同语义信息进行针对性特征提取，导致判别性信息的丢失。自监督学习可在非监督的情况下提取高质量特征表示。因此，如何利用自监督学习方法建立一种可自动划分语义信息的特征提取方式，从而获取具有判别性信息的眼科切片特征，是本发明要解决的主要关键问题之一。
传统的多实例学习方法忽略了不同切片之间的相关性以及眼科图片区域的空间结构信息，导致模型对于这部分先验信息的利用受限，严重影响了干眼早筛及预后预测的性能。CNN+Transformer可以利用自注意力机制捕获不同实例之间的关系。因此，如何利用Transformer模型在获取不同眼科切片之间的关联性同时引入眼科图片区域的空间信息，是本发明要解决的主要关键问题之一。
多尺度的眼科切片存储不同的感受野信息，传统的多尺度信息融合方法需要消耗大量的计算资源，且缺少对于关键图片区域的针对性学习有效的特征筛选机制可以对图片区域的重要特征进行定位。因此，如何建立一种多尺度特征筛选机制，让模型自适应地定位关键图片区域，并在有限计算资源的前提下，利用多尺度获取不同倍率下的关键细节信息，是本发明要解决的主要关键问题之一。
在干眼早筛及预后预测领域的标注数据量十分有限，然而在实际医疗环境中对于无标注数据的获取相对容易。半监督学习方法可在有限标注数据的引导下，充分利用大量无标注数据。因此，如何建立一个半监督学习框架，通过利用少量标注的数字眼科图像和大量无标注的数字眼科图像，共同提升模型对于干眼早筛及预后预测任务的性能，是本发明要解决的主要关键问题之一。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种干眼分析系统，其特征在于：
数据集量化模块，用于获取医疗结构的干眼数据集，根据维度对所述干眼数据集执行量化处理，得到量化数据集；
染色归一化模块，用于对所述量化数据集进行染色归一化处理，将所述量化数据集中的数字眼科图像切片特征进行染色，得到第一特征信息；
眼科切片特征提取模块，用于对所述第一特征信息采用自监督学习进行特征提取，得到第二特征信息；
预测模块，用于以所述第二特征信息作为输入，采用卷积神经网络及Transformer进行干眼分析，得到预测结果；
融合模块，用于对所述预测结果进行多尺度特征筛选，得到干眼分析结果。
2.根据权利要求1所述的干眼分析系统，其特征在于，包括半监督学习框架，所述半监督学习框架包括高置信数据集、异构分类器与高信息量样本；
所述半监督学习框架用于使用标注数据集训练三个异构分类器，在所有的异构分类器收敛之后，将未标注数据集通过分类器并根据分类器产生的伪标签构建所述高置信度数据，所述伪标签用于表征其余分类器的分类结果，两个结果相同则视为所述高置信数据；
使用所述高信息量样本选择器通过衡量样本中的信息量，为所述高信息量样本分配相应的权重，在信息量衡量通过自信息进行计算的公式为：
Figure FDA0003835051800000011
其中P(ai)为事件ai发生的概率，而I(ai)则为样本的自信息，样本的加权方式为平均加权。
3.根据权利要求1所述的干眼分析系统，其特征在于，还包括基于联邦学习的干眼症的去中心化深度学习架构：
中心化深度学习架构用于在模型与梯度交互时，采用同态加密和共享加密执行处理，包括：将图像振幅标准化，以模统一的成像设置，进而在参与方生成协调的特征空间，从而减轻局部更新漂移；基于协调特征，采用参与方权重扰动δk，引导每个局部模型达到平坦的最优，其中局部最优解的邻域具有单一的低损失，其中：
Figure FDA0003835051800000012
其中
Figure FDA0003835051800000021
Figure FDA0003835051800000022
幅度分量
Figure FDA0003835051800000023
相位分量/>
Figure FDA0003835051800000024
4.根据权利要求1所述的干眼分析系统，其特征在于，所述数据集量化模块包括：
用于采集不同医疗机构的所述数字眼科图像，根据所述数字眼科图像数据维度及真实世界数据集类型进行量化，得到所述量化数据集，其中所述数字眼科图像数据维度及所述真实世界数据集类型包括中医诊断依据、西医诊断依据、人口学数据、电子病历数据、随访数据中的至少一种。
5.根据权利要求1所述的干眼分析系统，其特征在于，所述染色归一化模块包括：
用于采用染色归一化网络将眼科图片染色为目标染色风格图像；
所述染色归一化网络包括编码器和解码器；
以T表示为目标域即待染色的眼科图片，S表示为源域即目标染色风格图像，通过所述染色归一化网络，在保留T的内容信息不变的同时，将T对齐到源域S的染色空间上，总损失L为：
L＝LS+LT
对于源域部分，fS和g分别为源域的编码器和解码器，通过编码器可提取到源域数据的浅特征表示fS(xS)，并经过解码器g(fS(xS))进行还原以计算MSE重构误差LC；
对于目标域部分，fT表示为目标域的编码器，目标域部分的解码器g与源域共享参数，使用结构相似性指数对MSE损失进行替换，得到目标域部分的重构误差，根据原始图片xT与生成图片g(fT(xT))之间的结构相似性，对浅特征表示通过对抗损失LD减小其差异性，以使目标域的浅特征可根据源域的风格进行生成，而对于目标域的生成样本，则通过SSIM损失对其结构信息进行保留；
其中，源域自动编码器的损失为
LS＝LC(g(fS(xS))，xS)-LD(fS(xS)，fT(xT)，
目标域自动编码器的损失为
LT＝LSSIM(g(fT(xT))，xT)-LD(fS(xS)，fT(xT))。
6.根据权利要求1所述的干眼分析系统，其特征在于，所述眼科切片特征提取模块包括：
用自监督学习进行特征提取使用数据集本身的信息来构造伪标签，
Figure FDA0003835051800000031
以及，在分类分支部分，采用全连接网络的方式，将网络输出w的特征f(xn)进一步输出为每个类的概率gw(fθ(xn))，得到
Figure FDA0003835051800000032
7.根据权利要求1所述的干眼分析系统，其特征在于，所述采用卷积神经网络及Transformer进行干眼分析，包括：
使用编码器对所述数字眼科图像切片进行编码；
采用基于Transformer的卷积神经网络基于对所述数字眼科图像切片进行编码的压缩表示进行分类，利用卷积神经网络获取位置编码信息，利用自注意力模块捕获数字眼科图像的空间结构信息，其计算公式为：
Q＝XiWQ K＝XiWK V＝XiWV
Figure FDA0003835051800000033
MSA(Q，K，V)＝Concat(head1，...，headn)WO
其中Xi表示第i个样本的信息，SA表示自注意层，Concat表示将不同的自注意力层信息进行融合，损失函数可定义为：
Yi′＝SoftMax(MLP(LN(mean(MSA(Q，K，V)))
Figure FDA0003835051800000034
其中Yi′表示当前样本的预测标签，Yi表示样本的真实标签；
得到干眼早筛及预后预测模型，通过干眼早筛及预后预测模型。
8.根据权利要求1所述的干眼分析系统，其特征在于，所述融合模块包括特征学习模块及注意力建议网络；
所述特征学习模块用于学习判别性特征，得到高倍率注意力区域和低倍率注意力区域；
所述注意力建议网络通过分析特征预测高倍率下感兴趣区域的坐标，进而高倍率下专注于分析感兴趣区域提供的细节信息；
所述融合模块通过注意力机制在低倍率下将无用的图片区域剔除，在高倍率下对感兴趣区域建模。
9.根据权利要求1所述的干眼分析系统，其特征在于，所述注意力建议网络用于产生注意力投射区域；所述注意力建议网络以卷积特征Fconv为输入，预测一个正方形注意力投射区域的坐标，表示为
(tx，ty，tl)＝fAPN(Fconv；WAPN)
其中，(tx，ty)为预测得到注意力投射区域的中心点坐标，tl为该区域边长的一半，通过(tx，ty，tl)唯一确定区域位置，FAPN为APN所表达的映射，WAPN为该映射参数。
10.根据权利要求9所述的干眼分析系统，其特征在于，所述系统还包括：
将所述注意力建议网络映射并构造为输出三维向量的全连接层，WAPN即为其权重；
得到位置预测结果后，将位置预测结果套叠在当前尺度的输入图像上，将注意力投射区域进行裁剪并放大；
其中裁剪通过原始图像与注意力掩膜之间的逐元素相乘得到，表示为
Xatt＝X⊙M(tx，ty，tl)。
CN202211088109.6A 2022-09-06 2022-09-06 干眼分析系统 Pending CN116309241A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211088109.6A CN116309241A (zh) 2022-09-06 2022-09-06 干眼分析系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211088109.6A CN116309241A (zh) 2022-09-06 2022-09-06 干眼分析系统

Publications (1)

Publication Number Publication Date
CN116309241A true CN116309241A (zh) 2023-06-23

Family

ID=86819055

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211088109.6A Pending CN116309241A (zh) 2022-09-06 2022-09-06 干眼分析系统

Country Status (1)

Country Link
CN (1) CN116309241A (zh)

Similar Documents

Publication Publication Date Title
Giovannucci et al. CaImAn an open source tool for scalable calcium imaging data analysis
CN112949786B (zh) 数据分类识别方法、装置、设备及可读存储介质
CN113724228B (zh) 舌色苔色识别方法、装置、计算机设备及存储介质
CN111597946B (zh) 图像生成器的处理方法、图像生成方法及装置
CN111369576A (zh) 图像分割模型的训练方法、图像分割方法、装置及设备
Luo et al. A deep convolutional neural network for diabetic retinopathy detection via mining local and long‐range dependence
CN109726644A (zh) 一种基于生成对抗网络的细胞核分割方法
Lu et al. PKRT-Net: prior knowledge-based relation transformer network for optic cup and disc segmentation
Guo et al. Study on the method of fundus image generation based on improved GAN
Li et al. CR-GAN: Automatic craniofacial reconstruction for personal identification
Gaber et al. Comprehensive assessment of facial paralysis based on facial animation units
Roy et al. Tips: Text-induced pose synthesis
CN118154865A (zh) 基于超声臂丛神经图像多尺度离散优化的多目标分割方法
CN114283406A (zh) 细胞图像识别方法、装置、设备、介质及计算机程序产品
Kakani et al. Segmentation-based ID preserving iris synthesis using generative adversarial networks
CN113705301A (zh) 图像处理方法及装置
Luo et al. Measurement Guidance in Diffusion Models: Insight from Medical Image Synthesis
CN116309241A (zh) 干眼分析系统
Manju et al. AEDAMIDL: An Enhanced and Discriminant Analysis of Medical Images using Deep Learning
Chen et al. Palpation localization of radial artery based on 3-dimensional convolutional neural networks
Bi et al. Structure Mapping Generative Adversarial Network for Multi-View Information Mapping Pattern Mining
Lin et al. Judgment model of cock reproductive performance based on vison transformer
CN117894057B (zh) 用于情感障碍辅助诊断的三维数字人脸处理方法与装置
Wen et al. DTUNet: dual branch transformer U-Net for hard exudate segmentation in retinal image
Wang Structure-Aware Representation Learning and Its Application to Medical Imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination