CN111860949A - 基于时序图像的预测方法及装置 - Google Patents

基于时序图像的预测方法及装置 Download PDF

Info

Publication number
CN111860949A
CN111860949A CN202010537674.0A CN202010537674A CN111860949A CN 111860949 A CN111860949 A CN 111860949A CN 202010537674 A CN202010537674 A CN 202010537674A CN 111860949 A CN111860949 A CN 111860949A
Authority
CN
China
Prior art keywords
fundus image
image
fundus
time
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010537674.0A
Other languages
English (en)
Other versions
CN111860949B (zh
Inventor
徐迈
李柳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen New Industries Material Of Ophthalmology Co ltd
Original Assignee
Shenzhen New Industries Material Of Ophthalmology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen New Industries Material Of Ophthalmology Co ltd filed Critical Shenzhen New Industries Material Of Ophthalmology Co ltd
Priority to CN202010537674.0A priority Critical patent/CN111860949B/zh
Publication of CN111860949A publication Critical patent/CN111860949A/zh
Application granted granted Critical
Publication of CN111860949B publication Critical patent/CN111860949B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Computing Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Development Economics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biophysics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明实施例涉及一种基于时序图像的预测方法及装置。其中，该方法包括：取眼底图像序列，其中，眼底图像序列包括按照时间排序的多张眼底图像；将眼底图像序列输入至预先训练完成的眼底图像预测模型中，以得出预测结果，其中，眼底图像预测模型用于基于眼底图像序列分别对应的图像特征以及时序特征确定预测结果，眼底图像预测模型是根据具备特征值的眼底图像序列的数据集训练得到的。本发明解决了由于相关技术中眼底图像预测网络准确率以及敏感性低，且眼底图像的时序间隔不同，而导致眼底图像结果预测不准确的技术问题。

Description

基于时序图像的预测方法及装置
技术领域
本发明涉及图像识别领域，具体涉及一种基于时序图像的预测 方法及装置。
背景技术
青光眼作为最主要的致盲性不可逆眼科疾病，其发病率在45岁 及以上人群中约为3.5％，预计到2020年全世界有八千万的人口患 有青光眼，而到2040年，由于人口老龄化，预计有一亿一千万人口 患有青光眼。疾病早期发现是医疗诊断中非常重要的一个环节。数 据显示，医院死亡人数中的11％是由于缺乏了及时的诊断与治疗。因 此，对于疾病的筛查与预防工作来说，基于时序信息的未来病情预 测算法显得更为重要。近年来有一些工作对疾病的预测进行了尝试， 但是主要面临了以下三个问题：特征难提取、样本比例不均衡和采 样间隔不固定的问题。
对于疾病预测任务来说，近年来也有许多基于电子病历 (Electronic healthrecords,EHR)信息的疾病预测工作。具体 来说，这些方法共性的采用了卷积神经网络(Convolutional neural network,CNN)用于从电子病历中提取有效信息，例如患者的个人信息和历史医疗记录。这种基于电子病历的医疗预测任务的好处在 于，电子病历中包含着有关患者的大量信息(各类检测结果)，然而 这种大数据量也为此类任务带来了弊端——收到了电子病历冗余 性、高维度及特征不统一等特征的限制，这就造成了它们很难在实际场景中应用，需要大量特定的数据处理及归一化方法。
此外，在自然世界中，患病眼底图像样本与健康眼底图像样本 的比例不平衡，举例来说，青光眼的在45岁以上人群中的发病率为 3.5％，这导致很难训练一个高准确率同时高敏感性的深度网络模型。 该问题现有的解决方法主要为以下三类：基于数据的增强方法，基 于分类器集成的方法和基于分类器门限调整的方法。但是，基于数 据增强的方法同时会带来过拟合问题；基于分类器集成的方法缺少 一种有效的投票机制，来对集成的过程中各个弱分类器的输出结果 进行有效的投票(对于各个弱分类器的结果进行加权及筛选)；基于 分类器门限调整的方法可能会使分类器过多的偏向少数样本所在的 类别，以降低特异性为代价来提高敏感性。
其三，对于患者眼底图像的时序样本的采集，很难去限定患者 的就医时间，患者机动性大，就医间隔可能在几个月到几年之间不 等，因此导致患者的眼底图像的采集的时序间隔不同。以往基于时 序数据进行疾病预测的工作大多用了长短时记忆(Long-shortTerm Memory,LSTM)网络的方法，把患者数据变采样间隔的问题所简化 了，这也就造成了由于医疗时序数据的采样不均匀性所带来的建模 问题。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种基于时序图像的预测方法及装置，以 至少解决由于相关技术中眼底图像预测过程中，特征难提取、样本 比例不均衡和采样间隔不固定，而导致眼底图像结果预测不准确的 技术问题。
根据本发明实施例的一个方面，提供了一种获取眼底图像序列， 其中，所述眼底图像序列包括按照时间排序的多张眼底图像；将所 述眼底图像序列输入至预先训练完成的眼底图像预测模型中，以得 出预测结果，其中，所述眼底图像预测模型用于基于所述眼底图像 序列分别对应的图像特征以及时序特征确定预测结果，所述眼底图 像预测模型是根据具备特征值的眼底图像序列的数据集训练得到 的。
进一步地，将所述眼底图像序列输入至预先训练完成的眼底图 像预测模型中，以得出预测结果包括：根据所述眼底图像的图像特 征得到所述眼底图像对应的空间特征；根据所述空间特征、两个相 邻时序的眼底图像的时间差值，得到所述眼底图像对应的时空特征； 对所述时空特征进行分类，以得到所述预测结果。
进一步地，根据所述眼底图像的图像特征得到所述眼底图像对 应的空间特征包括：根据所述眼底图像以及预设注意力图像，获取 所述眼底图像的注意力特征；根据所述眼底图像的感兴趣区域的极 坐标图像，获取所述眼底图像的极坐标特征；根据所述注意力特征 以及所述极坐标特征得到所述空间特征。
进一步地，根据所述眼底图像以及预设注意力图像获取所述眼 底图像的注意力特征包括：对所述眼底图像以及所述预设注意力图 像进行多尺度卷积，以得到注意力特征。
进一步地，根据所述眼底图像的感兴趣区域的极坐标图像获取 所述眼底图像的极坐标特征包括：对所述预设注意力图像进行二值 化，以得到二值化注意力图像；根据所述眼底图像以及所述二值化 注意力图像确定所述眼底图像的杯盘中心点；根据所述杯盘中心点 确定所述眼底图像的感兴趣区域的极坐标图像；对所述眼底图像的 感兴趣区域进行多尺度卷积，以得到所述极坐标特征。
进一步地，根据所述注意力特征以及所述极坐标特征得到所述 空间特征包括：合并所述注意力特征以及所述极坐标特征，得到高 维特征；对所述高维特征进行全局平均池化，以得到所述空间特征。
进一步地，根据所述空间特征、每两个相邻时序的眼底图像的 时间差值，得到所述眼底图像对应的时空特征包括：根据当前眼底 图像对应的空间特征、当前眼底图像与前一个相邻时序的眼底图像 的时间差值以及所述前一个相邻时序眼底图像对应的时空特征，确 定所述当前眼底图像的时空特征。
进一步地，对所述时空特征进行分类，以得到所述预测结果包 括：将所述时空特征输入值分类器，以得到所述预测结果，其中， 所述分类器包括双层全连接网络结构。
根据本发明实施例的另一方面，还提供了一种基于时序图像的 眼底图像预测装置，包括：获取单元，用于获取眼底图像序列，其 中，所述眼底图像序列包括按照时间排序的多张眼底图像；预测单 元，用于将所述眼底图像序列输入至预先训练完成的眼底图像预测 模型中，以得出预测结果，其中，所述眼底图像预测模型用于基于 所述眼底图像序列分别对应的图像特征以及时序特征确定预测结 果，所述眼底图像预测模型是根据具备特征值的眼底图像序列的数 据集训练得到的。
根据本发明实施例的另一方面，还提供了一种基于时序图像的 眼底图像预测模型，所述模型包括：图像处理单元、时间处理单元 以及分类单元，其中：所述图像处理单元，用于根据多个眼底图像 的图像特征得到所述眼底图像对应的空间特征，其中，所述多个眼底图像的时序不同；所述时间处理单元，用于根据所述空间特征、 两个相邻时序的眼底图像的时间差值，得到所述眼底图像对应的时 空特征；所述分类单元，用于对所述时空特征进行分类，以得到所 述预测结果。
根据本发明实施例的另一方面，还提供了一种存储介质，所述 存储介质包括存储的程序，其中，所述程序运行时执行如上所述的 基于时序图像的眼底图像预测方法。
根据本发明实施例的另一方面，还提供了一种电子装置，包括 存储器、处理器及存储在所述存储器上并可在所述处理器上运行的 计算机程序，所述处理器通过所述计算机程序执行如上所述的基于 时序图像的眼底图像预测方法。
在本发明实施例中，通过取眼底图像序列，其中，眼底图像序 列包括按照时间排序的多张眼底图像；将眼底图像序列输入至预先 训练完成的眼底图像预测模型中，以得出预测结果，其中，眼底图 像预测模型用于基于眼底图像序列分别对应的图像特征以及时序特 征确定预测结果，眼底图像预测模型是根据具备特征值的眼底图像 序列的数据集训练得到的。达到了对不同时序的眼底图像进行预测， 克服了眼底图像时序采样均匀的问题，进而解决了由于相关技术中 眼底图像预测过程中，特征难提取、样本比例不均衡和采样间隔不 固定，而导致眼底图像结果预测不准确的技术问题。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例 或现有技术描述中所需要使用的附图作简单地介绍，显而易见地， 下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技 术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附 图获得其他的附图。
图1是根据本发明实施例的一种可选的基于时序图像的眼底图 像预测方法的示意图；
图2是根据本发明实施例的一种可选的眼底图像预测模型的示 意图；
图3是根据本发明实施例的又一种可选的眼底图像预测模型的 示意图；
图4是根据本发明实施例的一种可选的输入图像的生成过程的 示意图；
图5是根据本发明实施例的一种可选的基于时序图像的眼底图 像预测装置的示意图；
图6是根据本发明实施例的一种可选的动态收敛训练策略的示 意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将 结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例， 而不是全部的实施例。基于本发明中的实施例，本领域普通技术人 员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属 于本发明保护的范围。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的 关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开 来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际 的关系或者顺序。
实施例1
根据本发明实施例，提供了一种基于时序图像的眼底图像预测 方法，如图1所示，该方法包括：
S102，获取眼底图像序列，其中，眼底图像序列包括按照时间 排序的多张眼底图像；
S104，将眼底图像序列输入至预先训练完成的眼底图像预测模 型中，以得出预测结果，其中，眼底图像预测模型用于基于眼底图 像序列分别对应的图像特征以及时序特征确定预测结果，眼底图像 预测模型是根据具备特征值的眼底图像序列的数据集训练得到的，
在具体的应用场景中，眼底图像序列中，多个眼底图像的相邻 眼底图像的时间间隔可以相同也可以不同。例如，眼底图像X1、X2、 X3、X4的时序分别是T1、T2、T3、T4，其中，T1与T2的差值为460天， T2与T3的差值为60天，T3与T4的差值为30天。在本实施例中，时 间单位“天”仅是一种示例，在此不做任何限定。
可选地，在本实施例中，将眼底图像序列输入至预先训练完成 的眼底图像预测模型中，以得出预测结果包括但不限于：根据眼底 图像的图像特征得到眼底图像对应的空间特征；根据空间特征、每 两个相邻时序的眼底图像的时间差值，得到眼底图像对应的时空特 征；对时空特征进行分类，以得到预测结果。
在具体的应用场景中，空间特征为根据多个眼底图像得到的图 像特征，而时空特征是根据眼底图像的空间特征以及眼底图像之间 的时间差值得到的，用于表征下一时刻的眼底图像的状态。通过对 多个眼底图像的图像特征以及时序特征进行处理得到时空特征，然 后通过分类器对时空特征进行分类，得到预测结果。
作为一种优选地实施方案，每个当前眼底图像的时空特征是根 据当前眼底图像的空间特征、前一时刻眼底图像的时空特征以及当 前眼底图像与前一时刻眼底图像的时间差值确定的。由此可以看出， 在实际的应用场景中，当前眼底图像的时空特征受到眼底图像序列 中当前眼底图像之前的各个眼底图像的时间差值、以及之前的各个 眼底图像的时空特征的影响。
优选地，在本实施例中，眼底图像模型是由包含多组眼底图像 的眼底图像序列组成的训练数据集训练得到的，用于预测时序不同 的眼底图像序列的模型，如图2所示，眼底图像预测模型包括：图 像处理单元20、时间处理单元22以及分类单元24，其中：图像处 理单元20，用于根据眼底图像序列中多个眼底图像的图像特征得到 眼底图像对应的空间特征，其中，多个眼底图像的时序不同；时间 处理单元22，用于根据空间特征、两个相邻时序的眼底图像的时间 差值，得到眼底图像对应的时空特征；分类单元24，用于对时空特 征进行分类，以得到预测结果。
在一些实施例中，眼底图像预测模型包括DeepGF网络，其中， 图像处理单元20包括AP-net网络，其中，AP-net包括注意力子网 络、极坐标子网络，其中，注意力自网络和极坐标子网络中都包含 有输入层、卷积层、最大池化层以及多尺度模块，然后AP-net对注 意力子网络以及极坐标子网络的输入进行特征合并以及全局平均池 化，最后将输出特征的通道降维为该多尺度模块的输出通道数。其 中，DeepGF网络结构及各层参数如表1所示。
表1 DeepGF网络结构及各层参数
Figure BDA0002537603280000081
在一些实施例中，时间处理单元22包括但不限于可变时间间隔 长短时记忆(Variable time interval long-short term memory, VTI-LSTM)网络，用于学习青光眼眼底图像在时序上的动态变化情 况。
可选地，在本实施例中，根据眼底图像的图像特征得到眼底图 像对应的空间特征包括但不限于：根据眼底图像以及预设注意力图 像获取眼底图像的注意力特征；根据眼底图像的感兴趣区域的极坐 标图像获取眼底图像的极坐标特征；根据注意力特征以及极坐标特 征得到空间特征。
进一步可选地，在本实施例中，根据眼底图像以及预设注意力 图像获取眼底图像的注意力特征包括但不限于：对眼底图像以及预 设注意力图像进行多尺度卷积，以得到注意力特征。
具体的，如表1所示，多尺度模块首先将输入特征并行的输入 到四个独立的卷积流中，分别包含了1层或2层的卷积层，用于提 取不同尺度的图像特征。其中后两个卷积层采用了[5x1]、[1x5]和 [7x1]、[1x7]的卷积核用于降低网络的参数。此后，将提取到的四通道图像特征沿着通道方向进行了特征的合并，最后通过一个[1x1] 的卷积核将输出特征的通道数降维为该多尺度模块的输出通道数。
需要说明的是，注意力子网络和极坐标子网络中都含有多尺度 模块，但是两个子网络中的多尺度模块相互独立。即注意力子网络 中通过四个多尺度模块的级联输出7x7x256的特征，而极坐标子网 络则通过四个不同的多尺度模块输出了7x7x64的特征，然后这两个 子网络的输出直接沿指定维度合并，变成7x7x320的特征。
在一个具体实施例中，眼底图像预测模型如图3所示，对多个 眼底图像进行预测包括以下步骤：
S1，获取输入的眼底图像序列，输入在t时刻的原始红绿蓝(RGB) 通道的彩色时序眼底图像
Figure BDA0002537603280000091
该图像在t时刻的二进制标签 为lt+1(∈{0,1})，它代表了下一个时刻t+1该患者的预测结果，即是否患 有青光眼，同时输入该眼底图像的拍摄年份yt。眼底图像按时序编 号为1,2,L,T，其中T眼底图像序列总长度，优选地，取值为T＝6。 在本实施例中，可以通过如下公式得到二进制标签：
Figure BDA0002537603280000101
其中，f(·)是要被学习的青光眼预测函数，即给定当前及历史时 刻的眼底图像输入，预测输出下一时刻t+1时患者的患病标签
Figure BDA0002537603280000102
S2，提取眼底图像中的空间特征。将步骤S1中的眼底图像输入 到注意力-极坐标卷积神经网络(Attention-polar net,AP-net) 中，输出各个时刻t上的空间特征
Figure BDA0002537603280000106
其中K为空间特征的维度， 由AP-net的网络结构决定。建议取值为K＝320。
具体的，注意力子网络的输入及输出。输入为两部分，其一为 上述步骤S1中所述的t时刻的原始红绿蓝(RGB)通道的彩色时序眼 底图像
Figure BDA0002537603280000107
其二为眼底图像所对应的预设注意力图像
Figure BDA0002537603280000108
该预设注意力图像是基于深度学习的注意力预测方法 得到的。需要说明的是，注意力子网络输出了第一部分的空间特征
Figure BDA0002537603280000109
为了去除眼底图像中的冗余性，本实施例中提出利用注意力机 制，将预设注意力图像
Figure BDA00025376032800001010
引入到了注意力子网络中。具体 来说，预设注意力图像At用于加权注意力子网络的输入It及第k层特 征图
Figure BDA0002537603280000103
上，如下式所示：
Figure BDA0002537603280000104
其中，R(·)代表了尺寸缩放的操作，目的使注意力图At的大小 与输入It和特征图
Figure BDA0002537603280000105
的尺寸匹配。符号“o”代表了哈德马乘积，及 矩阵元素的对应位置相乘。fk+1(·)代表了第k+1层上的卷积操作。
可选地，在本实施例中，根据眼底图像的感兴趣区域的极坐标 图像获取眼底图像的极坐标特征包括但不限于：对预设注意力图像 进行二值化，以得到二值化注意力图像；根据眼底图像以及二值化 注意力图像确定眼底图像的杯盘中心点；根据杯盘中心点确定眼底 图像的感兴趣区域的极坐标图像；对眼底图像的感兴趣区域进行多 尺度卷积，以得到极坐标特征。
在一些具体的实施例中，极坐标子网络的可以是如下所述的一 种深度卷积神经网络：
极坐标子网络的输入为步骤S1中所述的t时刻的原始红绿蓝 (RGB)通道的彩色时序眼底图像
Figure BDA0002537603280000117
感兴趣区域(Region of interest,ROI)的极坐标形式，即
Figure BDA0002537603280000118
输入图像的生 成过程如图4所示，a为预设注意力图像，b为原始眼底图像，c 为感兴趣区域，d为极坐标图像；
S21，计算二值化注意力图A′t，它的各个元素A′t(u,v)∈{0,1}，计 算式如下式所示：
A′t＝BW(At,η*)， (3)
其中，BW(·)为图像二值化操作，其门限η*的计算方法包括但不 限制于大津算法。
S22，检测杯盘中心点
Figure BDA0002537603280000111
如下式所示：
Figure BDA0002537603280000112
其中，U和V分别是二值化注意力图A′t的宽和高。
S23，计算直角坐标系下的ROI。在It(u,v)中，用以
Figure BDA0002537603280000113
为半径的矩形框进行剪裁得到
Figure BDA0002537603280000119
S24，极坐标映射。将
Figure BDA0002537603280000114
映射到
Figure BDA0002537603280000115
其中ρ和θ可由下式 计算得到：
Figure BDA0002537603280000116
极坐标子网络的网络结构，如表1所示，极坐标子网络输出了 第二部分的空间特征
Figure BDA0002537603280000121
可选地，在本实施例中，根据注意力特征以及极坐标特征得到 空间特征包括但不限于：合并注意力特征以及极坐标特征，得到高 维特征；对高维特征进行全局平均池化，以得到空间特征。
具体的，1)特征合并为：注意力子网络的输出
Figure BDA0002537603280000122
和极 坐标子网络的输出
Figure BDA0002537603280000123
在通道维度上进行合并，获得特征
Figure BDA0002537603280000126
2)特征降维为：通过全局平均池化将
Figure BDA0002537603280000127
降维 到一维向量
Figure BDA0002537603280000128
可选地，在本实施例中，根据空间特征、每两个相邻时序的眼 底图像的时间差值，得到眼底图像对应的时空特征包括但不限于： 根据当前眼底图像对应的空间特征、当前眼底图像与前一个相邻时 序的眼底图像的时间差值以及前一个相邻时序眼底图像对应的时空 特征，确定当前眼底图像的时空特征。
S3，提取时序眼底图像特征，提出一个VTI-LSTM的层数在此取 两层，但基于VTI-LSTM的时序信息提取方法不限制于本实施例所采 用的两层结构。该网络的输入为三部分，其一是步骤S2中获得的时 刻t上的空间特征
Figure BDA0002537603280000129
其二是两个相邻的眼底图像样本之间的采 样间隔Δyt＝yt-yt-1，其三前一时刻相邻眼底图像的时空特征。需要 说明的是，在本实施例中，当前眼底图像的时空特征包括之前所有 时刻的眼底图像的图像特征。至此，可以获得该疾病预测框架的时 空特征
Figure BDA0002537603280000125
(VTI-LSTM在时刻t上的输出)，其中参数K取值为 K＝320。
VTI-LSTM可以是如下所述的一种递归神经网络，每一个细胞单 元的输入为一维特征向量xt、前一时刻细胞单元的隐藏状态ht-1和该 时刻样本的采样间隔Δyt。值得注意的是，Δyt作为一个新的特征被编 码到VTI-LSTM中的遗忘门ft中。具体数学公式如下所示：
Figure BDA0002537603280000124
Figure RE-GDA0002672029720000124
Figure RE-GDA0002672029720000125
Figure BDA0002537603280000133
Figure BDA0002537603280000134
ht＝ototanh(ct)， (11)
其中σ(·)为Sigmoid函数，符号“o”为哈德马乘积。在每个时 间步长t时，VTI-LSTM的各个状态如下所示：输入状态xt、细胞状态 ct、隐藏状态
Figure BDA00025376032800001311
同时VTI-LSTM的输入门、遗忘门和输出门分 别为it、ft和
Figure BDA00025376032800001312
其中H是VTI-LSTM的特征尺寸，建议取值为 320。此外
Figure BDA0002537603280000135
和
Figure BDA0002537603280000136
为VTI-LSTM 中要被学习的参数。
式(6)中，Δyt＝yt-yt-1(∈N)是时间步长t-1和t之间的时间间隔，
Figure RE-GDA00026720297200001212
为t时刻下的可变时间间隔(Variable time interval, VTI)门，它进一步控制了当前时刻LSTM的遗忘速率。此外p和
Figure RE-GDA0002672029720000131
是VTI门对应的参数，也会在训练的过程中进行更新。与传统LSTM 不同的是，VTI-LSTM可以学习不同时间步长之间的可变时间间隔， 使网络具有处理变采样间隔时序数据的能力。
可选地，在本实施例中，对时空特征进行分类，以得到预测结 果包括但不限于：将时空特征输入值分类器，以得到预测结果，其 中，分类器包括双层全连接网络结构。
S4，特征的分类。将第二层VTI-LSTM在时刻t上的输出
Figure BDA0002537603280000138
经过分类器，输出最终预测结果
Figure BDA0002537603280000139
其中维度k与步骤S3中 的参数相同，建议取值为K＝320。该分类器包括但不限于双层全连 接网络、线性回归、逻辑回归、支持向量机、朴素贝叶斯等。
S4.1网络预测概率。第二层全连接在时刻t上的输出为zt，最 终的预测概率pt+1可以通过以下公式得到：
Figure BDA00025376032800001310
S4.2网络预测标签
Figure BDA0002537603280000141
可由以下公式计算得到：
Figure BDA0002537603280000142
其中，ξ是分类器门限，可以根据实际经验进行设定。
通过本实施例中，获取眼底图像序列，其中，眼底图像序列包 括按照时间排序的多张眼底图像；将眼底图像序列输入至预先训练 完成的眼底图像预测模型中，以得出预测结果，其中，所述眼底图 像预测模型用于基于眼底图像序列分别对应的图像特征以及时序特 征确定预测结果，眼底图像预测模型是根据具备特征值的眼底图像 序列的数据集训练得到的。达到了对不同时序的眼底图像进行预测， 克服了眼底图像时序采样均匀的问题，进而解决了由于相关技术中 眼底图像预测过程中，特征难提取、样本比例不均衡和采样间隔不 固定，而导致眼底图像结果预测不准确的技术问题。
需要说明的是，对于前述的各方法实施例，为了简单描述，故 将其都表述为一系列的动作组合，但是本领域技术人员应该知悉， 本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步 骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该 知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作 和模块并不一定是本发明所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了 解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方 式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施 方式。基于这样的理解，本发明的技术方案本质上或者说对现有技 术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件 产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干 指令用以使得一台终端设备(可以是手机，计算机，服务器，或者 网络设备等)执行本发明各个实施例所述的方法。
实施例2
根据本发明实施例，还提供了一种用于实施上述基于时序图像 的眼底图像预测方法的基于时序图像的眼底图像预测装置，如图5 所示，该装置包括：
1)获取单元50，用于获取眼底图像序列，其中，所述眼底图像 序列包括按照时间排序的多张眼底图像；
2)预测单元52，用于将所述眼底图像序列输入至预先训练完成 的眼底图像预测模型中，以得出预测结果，其中，所述眼底图像预 测模型用于基于所述眼底图像序列分别对应的图像特征以及时序特 征确定预测结果，所述眼底图像预测模型是根据具备特征值的眼底 图像序列的数据集训练得到的。
可选地，本实施例中的具体示例可以参考上述实施例1中所描 述的示例，本实施例在此不再赘述。
实施例3
根据本发明实施例，还提供了一种基于时序图像的眼底图像预 测模型，优选地，在本实施例中，眼底图像模型是由包含多组眼底 图像的眼底图像序列组成的训练数据集训练得到的，用于预测时序 不同的眼底图像序列的模型，如图2所示，眼底图像预测模型包括： 图像处理单元20、时间处理单元22以及分类单元24，其中：
1)图像处理单元20，用于根据眼底图像序列的图像特征得到所 述眼底图像对应的空间特征，其中，所述眼底图像序列包括按照时 间排序的多张眼底图像；
2)时间处理单元22，用于根据空间特征、两个相邻时序的眼底 图像的时间差值，得到眼底图像对应的时空特征；
3)分类单元24，用于对所述时空特征进行分类，以得到所述眼 底图像序列的预测结果。
在一些实施例中，眼底图像预测模型包括DeepGF网络，其中， 图像处理单元20包括AP-net网络，其中，AP-net包括注意力子网 络、极坐标子网络，其中，注意力自网络和极坐标子网络中都包含 有输入层、卷积层、最大池化层以及多尺度模块，然后AP-net对注 意力子网络以及极坐标子网络的输入进行特征合并以及全局平均池 化，最后将输出特征的通道降维为该多尺度模块的输出通道数。 DeepGF网络结构及各层参数如表1所示。
在一些实施例中，时间处理单元22包括但不限于可变时间间隔 长短时记忆(Variable time interval long-short term memory, VTI-LSTM)网络，用于学习青光眼眼底图像在时序上的动态变化情 况。
在一些实施例中，分类单元24包括但不限于双层全连接网络、 线性回归、逻辑回归、支持向量机、朴素贝叶斯等。
此外，基于时序图像的眼底图像预测模型的动态收敛训练策略 为:
定义联合训练AP-Net和VTI-LSTM的目标函数如下式所示：
Figure BDA0002537603280000161
其中T是眼底图像序列的最大训练步长，建取值为5，pt+1是网 络输出对下一个时刻t+1的预测概率。其中pt+1可由上述公式(12) 计算得到。
训练策略。为解决不同标签的样本数量不均衡的问题，本发明 提出一种动态收敛训练策略。该策略图6下所示：
基于图6中所示的训练策略得到的网络参数，执行以下步骤：
步骤2.1，计算训练集中损失函数Lossf的值。
步骤2.2，计算损失函数对网络中各个参数求导的梯度值
Figure BDA0002537603280000162
步骤2.3，更新网络参数ω。
Figure BDA0002537603280000163
步骤2.4，若Lossf小于门限thc，则训练结束(不执行步骤2.5 及2.6)；若不同类别数据之间的训练误差小于门限thg，则跳过步骤2.5后，执行步骤2.6；否则继续执行步骤2.5。
步骤2.5，以Lossf值对网络中的样本进行排序，每隔δ个训练 轮次后，从训练集
Figure BDA0002537603280000171
中移除Lossf值最低的βS个训练序列。
步骤2.6，重复执行步骤2.1。
可选地，本实施例中的具体示例可以参考上述实施例1中所描 述的示例，本实施例在此不再赘述。
实施例4
本发明的实施例还提供了一种存储介质，所述存储介质包括存 储的程序，其中，所述程序运行时执行如上所述的基于时序图像的 眼底图像预测方法。
可选地，在本实施例中，存储介质被设置为存储用于执行以下 步骤的程序代码：
S1，获取眼底图像序列，其中，所述眼底图像序列包括按照时 间排序的多张眼底图像；
S2，将所述眼底图像序列输入至预先训练完成的眼底图像预测 模型中，以得出预测结果，其中，所述眼底图像预测模型用于基于 所述眼底图像序列分别对应的图像特征以及时序特征确定预测结 果，所述眼底图像预测模型是根据具备特征值的眼底图像序列的数 据集训练得到的。
可选地，存储介质还被设置为存储用于执行上述实施例1中的 方法中所包括的步骤的程序代码，本实施例中对此不再赘述。
可选地，在本实施例中，上述存储介质可以包括但不限于：U 盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM， Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储 程序代码的介质。
可选地，本实施例中的具体示例可以参考上述实施例1和实施 例2中所描述的示例，本实施例在此不再赘述。
实施例5
本发明的实施例还提供了一种电子装置，包括存储器、处理器 及存储在所述存储器上并可在所述处理器上运行的计算机程序，所 述处理器通过所述计算机程序执行如上所述的基于时序图像的眼底 图像预测方法。
可选地，在本实施例中，存储器被设置为存储用于执行以下步 骤的程序代码：
S1，获取眼底图像序列，其中，所述眼底图像序列包括按照时 间排序的多张眼底图像；
S2，将所述眼底图像序列输入至预先训练完成的眼底图像预测 模型中，以得出预测结果，其中，所述眼底图像预测模型用于基于 所述眼底图像序列分别对应的图像特征以及时序特征确定预测结 果，所述眼底图像预测模型是根据具备特征值的眼底图像序列的数 据集训练得到的。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并 作为独立的产品销售或使用时，可以存储在上述计算机可读取的存 储介质中。基于这样的理解，本发明的技术方案本质上或者说对现 有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产 品的形式体现出来，该计算机软件产品存储在存储介质中，包括若 干指令用以使得一台或多台计算机设备(可为个人计算机、服务器 或者网络设备等)执行本发明各个实施例所述方法的全部或部分步 骤。
在本发明的上述实施例中，对各个实施例的描述都各有侧重， 某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户 端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅 是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实 际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一 点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是 通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或 其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分 开的，作为单元显示的部件可以是或者也可以不是物理单元，即可 以位于一个地方，或者也可以分布到多个网络单元上。可以根据实 际的需要选择其中的部分或者全部单元来实现本实施例方案的目 的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处 理单元中，也可以是各个单元单独物理存在，也可以两个或两个以 上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式 实现，也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术 领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以 做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (12)

1.一种基于时序图像的眼底图像预测方法，其特征在于，包括：
获取眼底图像序列，其中，所述眼底图像序列包括按照时间排序的多张眼底图像；
将所述眼底图像序列输入至预先训练完成的眼底图像预测模型中，以得出预测结果，其中，所述眼底图像预测模型用于基于所述眼底图像序列分别对应的图像特征以及时序特征确定预测结果，所述眼底图像预测模型是根据具备特征值的眼底图像序列的数据集训练得到的。
2.根据权利要求1所述的方法，其特征在于，将所述眼底图像序列输入至预先训练完成的眼底图像预测模型中，以得出预测结果包括：
根据所述眼底图像的图像特征得到所述眼底图像对应的空间特征；
根据所述空间特征、两个相邻时序的眼底图像的时间差值，得到所述眼底图像对应的时空特征；
对所述时空特征进行分类，以得到所述预测结果。
3.根据权利要求2所述的方法，其特征在于，根据所述眼底图像的图像特征得到所述眼底图像对应的空间特征包括：
根据所述眼底图像以及预设注意力图像，获取所述眼底图像的注意力特征；
根据所述眼底图像的感兴趣区域的极坐标图像，获取所述眼底图像的极坐标特征；
根据所述注意力特征以及所述极坐标特征得到所述空间特征。
4.根据权利要求3所述的方法，其特征在于，根据所述眼底图像以及预设注意力图像获取所述眼底图像的注意力特征包括：
对所述眼底图像以及所述预设注意力图像进行多尺度卷积，以得到注意力特征。
5.根据权利要求3所述的方法，其特征在于，根据所述眼底图像的感兴趣区域的极坐标图像获取所述眼底图像的极坐标特征包括：
对所述预设注意力图像进行二值化，以得到二值化注意力图像；
根据所述眼底图像以及所述二值化注意力图像确定所述眼底图像的杯盘中心点；
根据所述杯盘中心点确定所述眼底图像的感兴趣区域的极坐标图像；
对所述眼底图像的感兴趣区域进行多尺度卷积，以得到所述极坐标特征。
6.根据权利要求3所述的方法，其特征在于，根据所述注意力特征以及所述极坐标特征得到所述空间特征包括：
合并所述注意力特征以及所述极坐标特征，得到高维特征；
对所述高维特征进行全局平均池化，以得到所述空间特征。
7.根据权利要求2所述的方法，其特征在于，根据所述空间特征、每两个相邻时序的眼底图像的时间差值，得到所述眼底图像对应的时空特征包括：
根据当前眼底图像对应的空间特征、当前眼底图像与前一个相邻时序的眼底图像的时间差值以及所述前一个相邻时序眼底图像对应的时空特征，确定所述当前眼底图像的时空特征。
8.根据权利要求2所述的方法，其特征在于，对所述时空特征进行分类，以得到所述预测结果包括：
将所述时空特征输入值分类器，以得到所述预测结果，其中，所述分类器包括双层全连接网络结构。
9.一种基于时序图像的眼底图像预测装置，其特征在于，包括：
获取单元，用于获取眼底图像序列，其中，所述眼底图像序列包括按照时间排序的多张眼底图像；
预测单元，用于将所述眼底图像序列输入至预先训练完成的眼底图像预测模型中，以得出预测结果，其中，所述眼底图像预测模型用于基于所述眼底图像序列分别对应的图像特征以及时序特征确定预测结果，所述眼底图像预测模型是根据具备特征值的眼底图像序列的数据集训练得到的。
10.一种基于时序图像的眼底图像预测模型，其特征在于，所述模型包括：图像处理单元、时间处理单元以及分类单元，其中：
所述图像处理单元，用于根据眼底图像序列的图像特征得到所述眼底图像对应的空间特征，其中，所述眼底图像序列包括按照时间排序的多张眼底图像；
所述时间处理单元，用于根据所述空间特征、两个相邻时序的眼底图像的时间差值，得到所述眼底图像对应的时空特征；
所述分类单元，用于对所述时空特征进行分类，以得到所述眼底图像序列的预测结果。
11.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时执行所述权利要求1至8任一项中所述的基于时序图像的眼底图像预测方法。
12.一种电子装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器通过所述计算机程序执行所述权利要求1至8任一项中所述的基于时序图像的眼底图像预测方法。
CN202010537674.0A 2020-06-12 2020-06-12 基于时序图像的预测方法及装置 Active CN111860949B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010537674.0A CN111860949B (zh) 2020-06-12 2020-06-12 基于时序图像的预测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010537674.0A CN111860949B (zh) 2020-06-12 2020-06-12 基于时序图像的预测方法及装置

Publications (2)

Publication Number Publication Date
CN111860949A true CN111860949A (zh) 2020-10-30
CN111860949B CN111860949B (zh) 2022-06-03

Family

ID=72987813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010537674.0A Active CN111860949B (zh) 2020-06-12 2020-06-12 基于时序图像的预测方法及装置

Country Status (1)

Country Link
CN (1) CN111860949B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115051925A (zh) * 2021-06-18 2022-09-13 北京邮电大学 一种基于迁移学习的时空序列预测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10179583A (ja) * 1996-12-26 1998-07-07 Hitachi Medical Corp 超音波診断装置の走査変換における空間補間方法
JP2000322556A (ja) * 1999-05-11 2000-11-24 Nippon Telegr & Teleph Corp <Ntt> 時系列画像予測方法及び装置及び時系列画像予測プログラムを格納した記憶媒体
CN103996053A (zh) * 2014-06-05 2014-08-20 中交第一公路勘察设计研究院有限公司 基于机器视觉的车道偏离报警方法
CN110399929A (zh) * 2017-11-01 2019-11-01 腾讯科技（深圳）有限公司 眼底图像分类方法、装置以及计算机可读存储介质
CN110516571A (zh) * 2019-08-16 2019-11-29 东南大学 基于光流注意力神经网络的跨库微表情识别方法及装置
CN110648303A (zh) * 2018-06-08 2020-01-03 上海市第六人民医院 眼底图像分析方法、计算机设备和存储介质
CN110728312A (zh) * 2019-09-29 2020-01-24 浙江大学 一种基于区域自适应注意力网络的干眼症分级系统
CN111259982A (zh) * 2020-02-13 2020-06-09 苏州大学 一种基于注意力机制的早产儿视网膜图像分类方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10179583A (ja) * 1996-12-26 1998-07-07 Hitachi Medical Corp 超音波診断装置の走査変換における空間補間方法
JP2000322556A (ja) * 1999-05-11 2000-11-24 Nippon Telegr & Teleph Corp <Ntt> 時系列画像予測方法及び装置及び時系列画像予測プログラムを格納した記憶媒体
CN103996053A (zh) * 2014-06-05 2014-08-20 中交第一公路勘察设计研究院有限公司 基于机器视觉的车道偏离报警方法
CN110399929A (zh) * 2017-11-01 2019-11-01 腾讯科技（深圳）有限公司 眼底图像分类方法、装置以及计算机可读存储介质
CN110648303A (zh) * 2018-06-08 2020-01-03 上海市第六人民医院 眼底图像分析方法、计算机设备和存储介质
CN110516571A (zh) * 2019-08-16 2019-11-29 东南大学 基于光流注意力神经网络的跨库微表情识别方法及装置
CN110728312A (zh) * 2019-09-29 2020-01-24 浙江大学 一种基于区域自适应注意力网络的干眼症分级系统
CN111259982A (zh) * 2020-02-13 2020-06-09 苏州大学 一种基于注意力机制的早产儿视网膜图像分类方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115051925A (zh) * 2021-06-18 2022-09-13 北京邮电大学 一种基于迁移学习的时空序列预测方法
CN115051925B (zh) * 2021-06-18 2023-07-18 北京邮电大学 一种基于迁移学习的时空序列预测方法

Also Published As

Publication number Publication date
CN111860949B (zh) 2022-06-03

Similar Documents

Publication Publication Date Title
Venkatasubramanian et al. Prediction of Alzheimer’s Disease Using DHO‐Based Pretrained CNN Model
Bhat et al. Prevalence and early prediction of diabetes using machine learning in North Kashmir: a case study of district bandipora
CN109345538B (zh) 一种基于卷积神经网络的视网膜血管分割方法
de La Torre et al. Weighted kappa loss function for multi-class classification of ordinal data in deep learning
Ghosh et al. Automatic detection and classification of diabetic retinopathy stages using CNN
Tagaris et al. Assessment of parkinson’s disease based on deep neural networks
Sule A survey of deep learning for retinal blood vessel segmentation methods: taxonomy, trends, challenges and future directions
Klibisz et al. Fast, simple calcium imaging segmentation with fully convolutional networks
JP2022551683A (ja) 人工知能（ａｉ）モデルを使用した非侵襲的遺伝子検査を行う方法及びシステム
Pak et al. Comparative analysis of deep learning methods of detection of diabetic retinopathy
Pal et al. Deep learning techniques for prediction and diagnosis of diabetes mellitus
CN113011340B (zh) 一种基于视网膜图像的心血管手术指标风险分类方法及系统
Thangavel et al. EAD-DNN: Early Alzheimer's disease prediction using deep neural networks
CN117010971B (zh) 一种基于人像识别的智能健康险提供方法及系统
Pradhan et al. Optimizing CNN‐LSTM hybrid classifier using HCA for biomedical image classification
Mardiana et al. Herbal Leaves Classification Based on Leaf Image Using CNN Architecture Model VGG16
CN114431878A (zh) 一种基于多尺度注意力残差网络的脑电睡眠分期方法
CN111860949B (zh) 基于时序图像的预测方法及装置
Assmi et al. Alzheimer’s disease classification: a comprehensive study
Oulhadj et al. Diabetic retinopathy prediction based on vision transformer and modified capsule network
Heydarian et al. Exploring score-level and decision-level fusion of inertial and video data for intake gesture detection
Islam et al. Advanced Parkinson’s disease detection: A comprehensive artificial intelligence approach utilizing clinical assessment and neuroimaging samples
CN116821790A (zh) 一种基于自适应增强的集成学习策略的冻结步态预测方法
Castillo et al. RSNA bone-age detection using transfer learning and attention mapping
Cao et al. Alzheimer’s Disease Stage Detection Method Based on Convolutional Neural Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant