CN109829894B - 分割模型训练方法、oct图像分割方法、装置、设备及介质 - Google Patents

分割模型训练方法、oct图像分割方法、装置、设备及介质 Download PDF

Info

Publication number
CN109829894B
CN109829894B CN201910019566.1A CN201910019566A CN109829894B CN 109829894 B CN109829894 B CN 109829894B CN 201910019566 A CN201910019566 A CN 201910019566A CN 109829894 B CN109829894 B CN 109829894B
Authority
CN
China
Prior art keywords
image
segmentation
model
training
updated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910019566.1A
Other languages
English (en)
Other versions
CN109829894A (zh
Inventor
吕彬
郭晏
吕传峰
谢国彤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910019566.1A priority Critical patent/CN109829894B/zh
Publication of CN109829894A publication Critical patent/CN109829894A/zh
Priority to PCT/CN2019/117733 priority patent/WO2020143309A1/zh
Application granted granted Critical
Publication of CN109829894B publication Critical patent/CN109829894B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种分割模型训练方法、OCT图像分割方法、装置、设备及介质，所述方法包括：获取训练样本图像集，将原始OCT图像输入到预设的生成器模型中进行分割处理；通过预设的判别器模型将第一分割图像与金标准图像进行比对，根据比对结果计算生成器模型的损失函数，并更新生成器模型；将第一分割图像转换为第二分割图像，将第二分割图像与金标准图像输入至判别器模型中，根据二值交叉熵更新判别器模型；将更新后的生成器模型与更新后的判别器模型进行迭代训练，并将停止迭代训练后的更新后的生成器模型确定为图像病灶分割模型。上述分割模型训练方法通过对对抗训练的方式提升了分割模型的性能，并提高了分割模型的准确性。

Description

分割模型训练方法、OCT图像分割方法、装置、设备及介质
技术领域
本发明涉及图像检测领域，尤其涉及一种分割模型训练方法、OCT图像分割方法、装置、设备及介质。
背景技术
“OCT图像”是光学相干断层成像(Optical Coherence Tomography)的简写，主要利用弱相干光干涉仪的基本原理，检测生物组织不同深度层面对入射的弱相干光的反射以及散射信号，进而重建生物组织内部结构图像，是一种非接触式、非侵入式的生物组织断层成像。OCT成像设备应用于眼科，可以辅助医生观察眼睛后段正常组织结构(如黄斑、视盘或视网膜神经纤维层等)以及病理改变，为了给相关眼科疾病的诊断提供更加准确的影像依据，需要对OCT图像进行分割，从而为相关的医学过程提供技术辅助。
传统地，分割技术包括基于直方图的、基于边界分割的或者基于区域分割等技术，大多数以图像处理算法为基础。但由于OCT图像噪声较多、不同病灶大小不一和边界轮廓不规律等因素，采用传统的分割技术往往不能兼顾OCT图像中的病灶的完整性和精确性，即可能会缺失一些病灶细节或者包含多余的无用信息，导致分割效果不理想。
发明内容
本发明实施例提供一种分割模型训练方法、装置、计算机设备及存储介质，以解决分割模型分割性能较低的问题。
此外，本发明实施例提供一种OCT图像分割方法、装置、计算机设备及存储介质，以解决病灶分割精度较低的问题。
一种分割模型训练方法，包括：
获取训练样本图像集，所述训练样本图像集包括原始OCT图像和金标准图像；
将所述原始OCT图像输入到预设的生成器模型中进行分割处理，得到第一分割图像；
通过预设的判别器模型将所述第一分割图像与所述金标准图像进行比对，得到比对结果，根据所述比对结果计算所述生成器模型的损失函数，并根据所述损失函数更新所述生成器模型；
采用更新后的生成器模型将所述第一分割图像转换为第二分割图像，将所述第二分割图像与所述金标准图像输入至预设的判别器模型中，根据二值交叉熵更新所述预设的判别器模型，得到更新后的判别器模型；
将所述更新后的生成器模型与更新后的判别器模型进行迭代训练，直到所述更新后的判别器模型的损失函数收敛，则停止迭代训练，并将停止迭代训练后的所述更新后的生成器模型确定为图像病灶分割模型。
一种分割模型训练装置，包括：
样本图像集获取模块，用于获取训练样本图像集，所述训练样本图像集包括原始OCT图像和金标准图像；
分割图像获取模块，用于将所述原始OCT图像输入到预设的生成器模型中进行分割处理，得到第一分割图像；
生成器更新模块，用于通过预设的判别器模型将所述第一分割图像与所述金标准图像进行比对，得到比对结果，根据所述比对结果计算所述生成器模型的损失函数，并根据所述损失函数更新所述生成器模型；
判别器更新模块，用于采用更新后的生成器模型将所述第一分割图像转换为第二分割图像，将所述第二分割图像与所述金标准图像输入至预设的判别器模型中，根据二值交叉熵更新所述预设的判别器模型，得到更新后的判别器模型；
病灶分割模型训练模块，用于将所述更新后的生成器模型与更新后的判别器模型进行迭代训练，直到所述更新后的判别器模型的损失函数收敛，则停止迭代训练，并将停止迭代训练后的所述更新后的生成器模型确定为图像病灶分割模型。
一种OCT图像分割方法，包括：
获取待处理OCT图像；
将所述待处理OCT图像输入至图像病灶分割模型中进行分割，得到病灶图像，其中，所述图像病灶分割模型是采用分割模型训练方法进行训练得到的。
一种OCT图像分割装置，包括：
待处理图像获取模块，用于获取待处理OCT图像；
病灶图像获取模块，用于将所述待处理OCT图像输入至图像病灶分割模型中进行分割，得到病灶图像，其中，所述图像病灶分割模型是采用分割模型训练方法进行训练得到的。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述分割模型训练方法，或者，所述处理器执行所述计算机程序时实现上述OCT图像分割方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述分割模型训练方法，或者，所述处理器执行所述计算机程序时实现上述OCT图像分割方法。
上述分割模型训练方法、装置、计算机设备及存储介质中，首先，获取训练样本图像集，训练样本图像集包括原始OCT图像和金标准图像；然后，将原始OCT图像输入到预设的生成器模型中进行分割处理，得到第一分割图像，由于预设的生成器模型充分考虑了不同尺度图像对图像分割的影响，从而提升了卷积神经网络模型的性能，进而提高了对原始OCT图像分割的准确性；接着，通过预设的判别器模型将第一分割图像与金标准图像进行比对，得到比对结果，根据比对结果计算所述生成器模型的损失函数，并根据损失函数更新生成器模型；接下来，采用更新后的生成器模型将第一分割图像转换为第二分割图像，将第二分割图像与金标准图像输入至预设的判别器模型中，根据二值交叉熵更新预设的判别器模型，得到更新后的判别器模型；最后，将更新后的生成器模型与更新后的判别器模型进行迭代训练，直到更新后的判别器模型的损失函数收敛，则停止迭代训练，并将停止迭代训练后的更新后的生成器模型确定为图像病灶分割模型，提高了模型的分割的准确性，并且不需要额外的后处理步骤，实现了端到端的OCT图像病灶分割算法，进而提高了病灶分割模型的准确率。
上述OCT图像分割方法、装置、计算机设备及存储介质中，首先，获取待处理OCT图像；然后，将待处理OCT图像输入至图像病灶分割模型中进行分割，得到病灶图像，由于病灶图像分割模型训练方法具有较高的分割精度，从而使得图像病灶分割模型输出的病灶图像的准确性得以提高。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的分割模型训练方法或OCT图像分割方法的应用环境示意图；
图2是本发明实施例提供的分割模型训练方法一示例图；
图3是本发明实施例提供的分割模型训练方法的另一示例图；
图4是本发明实施例提供的分割模型训练装置的一原理框图；
图5是本发明实施例提供的分割模型训练装置的另一原理框图；
图6是本发明实施例提供的OCT图像分割方法的一示例图；
图7是本发明实施例提供的OCT图像分割方法的另一示例图；
图8是本发明实施例提供的OCT图像分割装置的一原理框图；
图9是本发明实施例提供的计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请提供的分割模型训练方法，可应用在如图1的应用环境中，其中，客户端通过网络与服务端进行通信，服务端接收客户端发送的训练样本图像集，然后将训练样本图像中的原始OCT图像输入到预设的生成器模型中进行转换处理，得到第一分割图像；通过预设的判别器模型将第一分割图像与金标准图像进行比对，得到比对结果，根据比对结果计算生成器模型的损失函数，并根据损失函数更新生成器模型；接着，采用更新后的生成器模型将第一分割图像转换为第二分割图像，将第二分割图像与金标准图像输入至预设的判别器模型中，根据二值交叉熵更新预设的判别器模型，得到更新后的判别器模型；最后，将更新后的生成器模型模型与更新后的判别器模型进行迭代训练，直到更新后的判别器模型的损失函数收敛，则停止迭代训练，并将停止迭代训练后的更新后的判别器模型确定为图像病灶分割模型。其中，客户端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，以该方法应用于图1中的服务端为例进行说明，包括如下步骤：
S10：获取训练样本图像集，训练样本图像集包括原始OCT图像和金标准图像。
其中，训练样本图像集是用于进行深度学习的样本图像组成的集合，包括原始OCT图像和金标准图像。原始OCT图像是指未经处理的OCT图像，该原始OCT图像可以通过OCT扫描仪进行扫描后获取。金标准图像是指预先分割好的病灶图像，例如：专家基于专业的医学知识从未经处理的OCT图像中勾勒出所需要分割的病灶位置，即金标准图像预先进行了病灶标注。金标准图像可以通过专家对未经处理的OCT图像中各个病灶位置进行标注后得到。可选地，通过在公开的眼底视网膜数据集(如DRIVE或者STARE)中选取预设数量的图像作为训练样本图像集。需要说明的是，金标准图像与原始OCT图像的尺寸一致，且病灶区域的像素为预先设定的像素值，非病灶区域的像素值为0，以便增强OCT图像的病灶区域与非病灶区域的区分性。
S20：将原始OCT图像输入到预设的生成器模型中进行分割处理，得到第一分割图像。
其中，生成器模型是用于对图像进行分割的模型，该模型可以是卷积神经网络模型，如U型卷积神经网络(U-Net)，具体地，该模型可以通过预先训练卷积神经网络得到。第一分割图像是指预设的生成器模型输出的结果图，即对输入到生成器模型的图像进行分割后得到的图像。该生成器模型包括下采样阶段和上采样阶段，其中下采样阶段由多个卷积层以及池化层组成，该下采样阶段用于对输入到生成器模型的图像进行特征提取，其中的上采样阶段由多个反卷积层组成，该上采样阶段用于逐步恢复图像细节，与此同时，在相同分辨率特征层之间添加跳连结构，从而实现对图像中目标物体的分割。
具体地，在生成器模型中输入原始OCT图像，通过采样形成不同尺度图像，并接入下采样阶段的相应尺度卷积层，生成器模型的输出端将不同尺度反卷积层的输出结果通过上采样后进行拼接，得到第一分割图像。可以理解地，由于预设的生成器模型充分考虑了不同尺度图像对图像分割的影响，从而提升了卷积神经网络模型的性能，进而提高了对原始OCT图像分割的准确性。
S30：通过预设的判别器模型将第一分割图像与金标准图像进行比对，得到比对结果，根据比对结果计算生成器模型的损失函数，并根据损失函数更新生成器模型。
其中，判别器模型是一种分类网络，用于判断生成器模型输出的图像与标注的金标准图像是否达到一致。该判别器模型包括卷积层、ReLU(RectifiedLinear Unit)激活层和批量归一化层(Batch Normalization)，在每一个卷积层中使用非线性激活函数对得到的输出进行分类，实现对图像的比对。比对结果用于反映第一分割图像与金标准图像接近程度。损失函数(loss function)是用来估量模型的预测值与真实值的不一致程度，是非负实值函数，损失函数的值越小，判别器模型的准确性越高。
具体地，将第一分割图像和金标准图像分别与原始OCT图像进行相乘，得到处理后的分割图像和处理后的金标准图像；然后用不同尺度的预设数量个神经网络模块对该处理后的分割图像和处理后的金标准图像进行特征表达，得到不同尺度特征图；由于判别器模型包括卷积层、ReLU激活层和批量归一化层等结构，且该判别器模型采用池化层，使得不同尺度特征图尺度从大变小；最后将不同尺度特征图通过拼接操作转变成全连接层，并连接到单一神经元作为最终的输出层，得到比对结果。可选地，比对结果在0-1之间取值，若取值结果为1，则确定生成器模型输出的第一分割图像和金标准图像完全一致，若比对结果为0，则确定第一分割图像和金标准图像完全不一致。优选地，在本发明实施例中，若比对结果大于0.5时，即判定第一分割图像和金标准图像一致；若比对结果小于或者等于0.5时，即判定第一分割图像和金标准图像不一致，此时需要进行损失函数更新，根据损失函数更新生成器模型。
需要说明的是，本步骤中的判别器模型在分类判别过程中，对不同尺度的卷积层进行了相加，由于充分考虑图像像素在长距离和短距离上的空间依赖关系，即大尺度图像表征短距离空间依赖关系，小尺度图像表征长距离空间依赖关系，从而提升判别器模型的性能。
S40：采用更新后的生成器模型将第一分割图像转换为第二分割图像，将第二分割图像与金标准图像输入至预设的判别器模型中，根据二值交叉熵更新预设的判别器模型，得到更新后的判别器模型。
其中，第二分割图像是指更新后的生成器模型输出的结果图，即对输入端输入的第一分割图像进行分割后得到的图像。二值交叉熵(Binary CrossEntropy)是一种用于衡量判别器模型的预测值与实际值差异性的方式。具体地，根据更新后的生成器模型生成第二结果图，将该第二分割图像与金标准图像输入至预设的判别器模型中，对第二分割图像与金标准图像进行判别，根据预设的判别器模型输出的二值交叉熵更新判别器模型，即预先定义该预设的判别器模型的损失函数，且该损失函数loss包括两部分，一部分是分割网络(更新后的生成器模型)的损失函数loss1，一部分是分类网络(预设的判别器模型)的损失函数loss2，两者加权求和，即loss＝λ1*loss1+λ2*loss2，其中，λ1和λ2分别为loss1和loss2的权重，loss为整个网络的损失函数，根据损失函数的二值交叉熵的计算结果更新预设的判别器模型，得到更新后的判别器模型。其中的二值交叉熵(Binary Cross Entropy)的计算公式如下式所示：
Figure BDA0001940302480000091
式中，
Figure BDA0001940302480000092
表示为第二分割图像病灶分割正确的概率，yj表示为预设第二分割图像病灶分割与金标准图像一致的概率，J(y)为二值交叉熵的表达式。
S50：将更新后的生成器模型与更新后的判别器模型进行迭代训练，直到更新后的判别器模型的损失函数收敛，则停止迭代训练，并将停止迭代训练后的更新后的生成器模型确定为图像病灶分割模型。
其中，迭代训练是深度学习中的一种模型训练方式，用于优化模型。本步骤中的迭代训练实现过程为：首先构建好生成器模型和判别器模型的目标损失函数，采用优化算法进行循环训练，如优化算法SGD(stochastic gradientdescent，随机梯度下降)；在每次循环训练过程中，顺次读入所有训练样本并计算判别器模型当前的损失函数，基于优化算法确定梯度下降方向，使得目标损失函数逐步降低并达到稳定状态，实现对所构建的网络模型中各参数的优化。
其中，损失函数收敛是指损失函数接近0，例如小于0.1等，也即判别器模型对于给定样本(正样本或者负样本)输出的数值接近0.5，则认为判别器无法分辨正负样本，也即判别器的输出收敛，即停止训练，将最后一次训练的模型参数作为生成器模型的参数，进而得到病灶分割模型。
具体地，通过输入原始OCT图像x至预设的生成器模型(G)中，该预设的生成器模型通过学习原始OCT图像x到金标准图像y之间的映射关系，即G：x->y，输出分割后的原始OCT图像，判别器模型(D)通过学习输入图像对{x,y}与{G(x,y)}之间的分布差异，从而对更新后的生成器模型进行更新，直到生成器模型的参数达到最优，也即更新后的判别器模型的损失函数收敛，进而将该更新后的生成器模型确定为图像病灶分割模型。可以理解地，该模型训练过程中，提高了模型的分割的准确性，并且不需要额外的后处理步骤，实现了端到端的OCT图像病灶分割算法，进而提高了病灶分割模型的准确率。
本实施例中，首先，获取训练样本图像集，训练样本图像集包括原始OCT图像和金标准图像；然后，将原始OCT图像输入到预设的生成器模型中进行分割处理，得到第一分割图像，由于预设的生成器模型充分考虑了不同尺度图像对图像分割的影响，从而提升了卷积神经网络模型的性能，进而提高了对原始OCT图像分割的准确性；接着，通过预设的判别器模型将第一分割图像与金标准图像进行比对，得到比对结果，根据比对结果计算所述生成器模型的损失函数，并根据损失函数更新生成器模型；接下来，采用更新后的生成器模型将第一分割图像转换为第二分割图像，将第二分割图像与金标准图像输入至预设的判别器模型中，根据二值交叉熵更新预设的判别器模型，得到更新后的判别器模型；最后，将更新后的生成器模型与更新后的判别器模型进行迭代训练，直到更新后的判别器模型的损失函数收敛，则停止迭代训练，并将停止迭代训练后的更新后的生成器模型确定为图像病灶分割模型，提高了模型的分割的准确性，并且不需要额外的后处理步骤，实现了端到端的OCT图像病灶分割算法，进而提高了病灶分割模型的准确率。
在一实施例中，如图3所示，步骤S20中，将原始OCT图像输入到预设的生成器模型中进行转换处理，得到第一分割图像，具体包括以下步骤：
S21：将原始OCT图像输入预设的生成器模型的下采样块集合中，得到原始OCT图像对应的特征图，其中，下采样块集合由N个下采样块依次连接组成，N为正整数。
其中，下采样块是预设的生成器模型中的第一卷积层，用于通过卷积分别提取原始OCT图像的基本特征(如边缘、纹理等)，由于下采样块集合是由N个下采样块依次连接得到的，因此，将提取的N个基本特征进行融合，得到原始OCT图像对应的特征图，N为正整数，并且N的大小可根据实际需要选取，如N＝5。
S22：将特征图输入到抽象排列块中，得到第一分割图像，其中，抽象排列块由M个排列组合单元依次连接组成，M为正整数。
其中，排列组合单元是指预设的生成器模型中的第二卷积层，抽象排列块由M个排列组合单元依次连接组成，用于通过卷积操作对特征图进行排列组合，以得到更抽象的且具有语义信息的特征，进而得到更为准确的第一分割图像。M为正整数，且M的大小可根据实际需要选取，如M＝4。同时，预设的生成器模型中的激活层能够增加卷积神经网络的非线性，有利于卷积神经网络收敛。激活层可选用整流线性单元、sigmoid函数等作为激活函数。优选地，激活层可选用整流线性单元作为激活函数来加快卷积神经网络的收敛速度。池化层用于缩小输入特征图的长和宽，减少了预设的生成器模型的连接参数和计算量，以符合位移不变性，获取更为全局性的信息；由于在池化层缩小后的图上用大小不变的滤波器，因此每个神经元的相对局部感受野会变大，使下一个卷积层的每个神经元能提取到更全局性的特征，从而使得到的第一分割图像更加准确，增强了分割的敏感性。
本实施例中，将原始OCT图像输入预设的生成器模型的下采样块集合中，得到原始OCT图像对应的特征图，将特征图输入到抽象排列块中，得到第一分割图像，使得到的第一分割图像更加准确，增强了图像分割的敏感性。
在一实施例中，步骤S50中，将更新后的生成器模型与更新后的判别器模型进行迭代训练，包括：
利用更新后的判别器模型对更新后的生成器模型进行反向调节。
其中，反向调节是一种对模型参数进行反向传播的训练方式。具体地，在确定更新后的判别器模型和更新后的生成器模型的网络结构之后，对网络进行训练。在数次训练迭代的历程中，更新后的生成器模型与更新后的判别器模型的权重和偏差都是通过反向传播训练的。更新后的判别器模型学习从训练样本中找出真正的病灶图像。与此同时，更新后的生成器模型反馈学习如何生成具有与金标准图像接近的图像，防止被更新后的判别器模型识别出来。最终得到最优的更新后的生成器模型与更新后的判别器模型，从而实现对OCT图像的的分割，以便后续提高模型对图像分割的准确率。
本实施例中，利用更新后的判别器模型对更新后的生成器模型进行反向调节，实现对OCT图像的的分割，以便后续提高模型对图像分割的准确率。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种分割模型训练装置，该分割模型训练装置与上述实施例中分割模型训练方法一一对应。如图4所示，该分割模型训练装置包括样本图像集获取模块10、分割图像获取模块20、生成器更新模块30、判别器更新模块40和病灶分割模型训练模块50。各功能模块详细说明如下：
样本图像集获取模块10，用于获取训练样本图像集，训练样本图像集包括原始OCT图像和金标准图像；
分割图像获取模块20，用于将原始OCT图像输入到预设的生成器模型中进行分割处理，得到第一分割图像；
生成器更新模块30，用于通过预设的判别器模型将第一分割图像与金标准图像进行比对，得到比对结果，根据比对结果计算生成器模型的损失函数，并根据损失函数更新生成器模型；
判别器更新模块40，用于采用更新后的生成器模型将第一分割图像转换为第二分割图像，将第二分割图像与金标准图像输入至预设的判别器模型中，根据二值交叉熵更新预设的判别器模型，得到更新后的判别器模型；
病灶分割模型训练模块50，用于将更新后的生成器模型与更新后的判别器模型进行迭代训练，直到更新后的判别器模型的损失函数收敛，则停止迭代训练，并将停止迭代训练后的更新后的生成器模型确定为图像病灶分割模型。
优选地，如图5所示，分割图像获取模块20包括特征图获取单元21和分割图像获取单元22。
特征图获取单元21，用于将原始OCT图像输入预设的生成器模型的下采样块集合中，得到原始OCT图像对应的特征图，其中，下采样块集合由N个下采样块依次连接组成，N为正整数；
分割图像获取单元22，用于将特征图输入到抽象排列块中，得到第一分割图像，其中，抽象排列块由M个排列组合单元依次连接组成，M为正整数。
优选地，病灶分割模型训练模块包括迭代训练单元，用于利用更新后的判别器模型对更新后的生成器模型进行反向调节。
在一实施例中，提供一OCT图像分割方法，该OCT图像分割方法也可以应用在如图1的应用环境中，其中，客户端通过网络与服务端进行通信。服务端接收客户端发送的待处理OCT图像，然后将待处理OCT图像输入至图像病灶分割模型中进行分割，得到病灶图像。其中，客户端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图6所示，以该方法应用于图1中的服务端为例进行说明，包括如下步骤：
S60：获取待处理OCT图像。
其中，待处理OCT图像是指需要进行病灶分割的OCT图像，待处理OCT图像可以是服务端从客户端的数据库中获取得到，也可以是通过客户端的系统数据库中直接获取得到，还可以是通过客户端的第三方图像采集工具，从系统数据接口获取待处理OCT图像。
S70：将待处理OCT图像输入至图像病灶分割模型中进行分割，得到病灶图像，其中，图像病灶分割模型是采用分割模型训练方法进行训练得到的。
具体地，将待处理OCT图像输入至图像病灶分割模型中，病灶分割模型的输出即为病灶图像。可以理解地，由于病灶图像分割模型训练方法具有较高的分割精度，从而使得图像病灶分割模型输出的病灶图像的准确性得以提高。
本实施例中，首先，获取待处理OCT图像；然后，将待处理OCT图像输入至图像病灶分割模型中进行分割，得到病灶图像，由于病灶图像分割模型训练方法具有较高的分割精度，从而使得图像病灶分割模型输出的病灶图像的准确性得以提高。
在一实施例中，如图7所示，在将待处理OCT图像输入至图像病灶分割模型中进行分割，得到病灶图像之后，OCT图像分割方法还包括：
S81：计算每一病灶图像的区域面积，得到病灶区域面积。
其中，病灶区域面积是指病灶图像中的病灶所在区域的面积。具体地，可以根据病灶的位置参数进行进行计算得到病灶区域面积。例如一病区域图像为圆形，半径为1.5mm，该病灶图像的病灶区域面积即为7.07mm2。
S82：对每一病灶区域面积采用加权求和计算，得到病灶面积。
其中，加权求和是指对每个参数赋予对应的权重，然后将参数与权重相乘后进行相加的计算方式。可以理解地，不同部位的病灶产生的影响不同，因此对每一病灶区域面积采用加权求和计算，得到病灶面积，使得病灶面积的计算更为准确，以便后续根据病灶面积对病情评估提供参考。
本实施例中，首先，计算每一病灶图像的区域面积，得到病灶区域面积；然后，对每一病灶区域面积采用加权求和计算，得到病灶面积，使得病灶面积的计算更为准确，以便后续根据病灶面积对病情评估提供参考。
在一实施例中，提供一种OCT图像分割装置，该OCT图像分割装置与上述实施例中OCT图像分割方法一一对应。如图8所示，该分割模型训练装置包括待处理图像获取模块60和病灶图像获取模块70。各功能模块详细说明如下：
待处理图像获取模块60，用于获取待处理OCT图像；
病灶图像获取模块70，用于将待处理OCT图像输入至图像病灶分割模型中进行分割，得到病灶图像，其中，图像病灶分割模型是采用分割模型训练方法进行训练得到的。
优选地，OCT图像分割装置还包括区域面积计算模块和病灶面积获取模块。
区域面积计算模块，用于计算每一病灶图像的区域面积，得到病灶区域面积；
病灶面积获取模块，用于对每一病灶区域面积采用加权求和计算，得到病灶面积。
关于OCT图像分割装置的具体限定可以参见上文中对于OCT图像分割方法的限定，在此不再赘述。上述OCT图像分割装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储OCT图像分割方法使用到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种分割模型训练方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中的分割模型训练方法，或者处理器执行计算机程序时实现上述实施例中的OCT图像分割方法。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中的分割模型训练方法，或者处理器执行所述计算机程序时实现上述实施例中的OCT图像分割方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种分割模型训练方法，其特征在于，所述分割模型训练方法包括：
获取训练样本图像集，所述训练样本图像集包括原始OCT图像和金标准图像；
将所述原始OCT图像输入到预设的生成器模型中进行分割处理，得到第一分割图像；
通过预设的判别器模型将所述第一分割图像与所述金标准图像进行比对，得到比对结果，根据所述比对结果计算所述生成器模型的损失函数，并根据所述损失函数更新所述生成器模型；
采用更新后的生成器模型将所述第一分割图像转换为第二分割图像，将所述第二分割图像与所述金标准图像输入至预设的判别器模型中，根据二值交叉熵更新所述预设的判别器模型，得到更新后的判别器模型；
将所述更新后的生成器模型与更新后的判别器模型进行迭代训练，直到所述更新后的判别器模型的损失函数收敛，则停止迭代训练，并将停止迭代训练后的所述更新后的生成器模型确定为图像病灶分割模型；
所述通过预设的判别器模型将所述第一分割图像与所述金标准图像进行比对，得到比对结果，包括：
将所述第一分割图像和所述金标准图像分别与原始OCT图像进行相乘，得到处理后的分割图像和处理后的金标准图像；
采用不同尺度的预设数量神经网络模块对所述处理后的分割图像和所述处理后的金标准图像进行特征表达，得到不同尺度特征图；
基于所述判别器模型的网络结构缩小所述不同尺度特征图的尺度，得到尺度缩小后的不同尺度特征图；
将所述尺度缩小后的不同尺度特征图通过拼接操作转变成全连接层，并连接到单一神经元作为最终的输出层，得到比对结果。
2.如权利要求1所述的分割模型训练方法，其特征在于，所述将所述原始OCT图像输入到预设的生成器模型中进行分割处理，得到第一分割图像，包括：
将所述原始OCT图像输入所述预设的生成器模型的下采样块集合中，得到所述原始OCT图像对应的特征图，其中，所述下采样块集合由N个下采样块依次连接组成，N为正整数；
将所述特征图输入到抽象排列块中，得到所述第一分割图像，其中，所述抽象排列块由M个排列组合单元依次连接组成，M为正整数。
3.如权利要求1所述的分割模型训练方法，其特征在于，所述将所述更新后的生成器模型与更新后的判别器模型进行迭代训练，包括：
利用所述更新后的判别器模型对所述更新后的生成器模型进行反向调节。
4.一种OCT图像分割方法，其特征在于，所述OCT图像分割方法，包括：
获取待处理OCT图像；
将所述待处理OCT图像输入至图像病灶分割模型中进行分割，得到病灶图像，其中，所述图像病灶分割模型是采用如权利要求1至3任一项所述的分割模型训练方法进行训练得到的。
5.如权利要求4所述的OCT图像分割方法，其特征在于，在所述将所述待处理OCT图像输入至图像病灶分割模型中进行分割，得到病灶图像之后，所述OCT图像分割方法还包括：
计算每一所述病灶图像的区域面积，得到病灶区域面积；
对每一所述病灶区域面积采用加权求和计算，得到病灶面积。
6.一种分割模型训练装置，其特征在于，所述分割模型训练装置包括：
样本图像集获取模块，用于获取训练样本图像集，所述训练样本图像集包括原始OCT图像和金标准图像；
分割图像获取模块，用于将所述原始OCT图像输入到预设的生成器模型中进行分割处理，得到第一分割图像；
生成器更新模块，用于通过预设的判别器模型将所述第一分割图像与所述金标准图像进行比对，得到比对结果，根据所述比对结果计算所述生成器模型的损失函数，并根据所述损失函数更新所述生成器模型；
判别器更新模块，用于采用更新后的生成器模型将所述第一分割图像转换为第二分割图像，将所述第二分割图像与所述金标准图像输入至预设的判别器模型中，根据二值交叉熵更新所述预设的判别器模型，得到更新后的判别器模型；
病灶分割模型训练模块，用于将所述更新后的生成器模型与更新后的判别器模型进行迭代训练，直到所述更新后的判别器模型的损失函数收敛，则停止迭代训练，并将停止迭代训练后的所述更新后的生成器模型确定为图像病灶分割模型；
所述通过预设的判别器模型将所述第一分割图像与所述金标准图像进行比对，得到比对结果，包括：
将所述第一分割图像和所述金标准图像分别与原始OCT图像进行相乘，得到处理后的分割图像和处理后的金标准图像；
采用不同尺度的预设数量神经网络模块对所述处理后的分割图像和所述处理后的金标准图像进行特征表达，得到不同尺度特征图；
基于所述判别器模型的网络结构缩小所述不同尺度特征图的尺度，得到尺度缩小后的不同尺度特征图；
将所述尺度缩小后的不同尺度特征图通过拼接操作转变成全连接层，并连接到单一神经元作为最终的输出层，得到比对结果。
7.如权利要求6所述的分割模型训练装置，其特征在于，所述分割图像获取模块，包括：
特征图获取单元，用于将所述原始OCT图像输入所述预设的生成器模型的下采样块集合中，得到所述原始OCT图像对应的特征图，其中，所述下采样块集合由N个下采样块依次连接组成，N为正整数；
分割图像获取单元，用于将所述特征图输入到抽象排列块中，得到所述第一分割图像，其中，所述抽象排列块由M个排列组合单元依次连接组成，M为正整数。
8.一种OCT图像分割装置，其特征在于，所述OCT图像分割装置包括：
待处理图像获取模块，用于获取待处理OCT图像；
病灶图像获取模块，用于将所述待处理OCT图像输入至图像病灶分割模型中进行分割，得到病灶图像，其中，所述图像病灶分割模型是采用如权利要求1至3任一项所述的分割模型训练方法进行训练得到的。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至3任一项所述分割模型训练方法，或者所述处理器执行所述计算机程序时实现如权利要求4至5任一项所述的OCT图像分割方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求4至5任一项所述的OCT图像分割方法。
CN201910019566.1A 2019-01-09 2019-01-09 分割模型训练方法、oct图像分割方法、装置、设备及介质 Active CN109829894B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910019566.1A CN109829894B (zh) 2019-01-09 2019-01-09 分割模型训练方法、oct图像分割方法、装置、设备及介质
PCT/CN2019/117733 WO2020143309A1 (zh) 2019-01-09 2019-11-13 分割模型训练方法、oct图像分割方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910019566.1A CN109829894B (zh) 2019-01-09 2019-01-09 分割模型训练方法、oct图像分割方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN109829894A CN109829894A (zh) 2019-05-31
CN109829894B true CN109829894B (zh) 2022-04-26

Family

ID=66860177

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910019566.1A Active CN109829894B (zh) 2019-01-09 2019-01-09 分割模型训练方法、oct图像分割方法、装置、设备及介质

Country Status (2)

Country Link
CN (1) CN109829894B (zh)
WO (1) WO2020143309A1 (zh)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829894B (zh) * 2019-01-09 2022-04-26 平安科技（深圳）有限公司 分割模型训练方法、oct图像分割方法、装置、设备及介质
CN110189341B (zh) * 2019-06-05 2021-08-10 北京青燕祥云科技有限公司 一种图像分割模型训练的方法、图像分割的方法及装置
CN110363782B (zh) * 2019-06-13 2023-06-16 平安科技（深圳）有限公司 一种基于边缘识别算法的区域识别方法、装置及电子设备
CN110414526B (zh) * 2019-07-31 2022-04-08 达闼科技（北京）有限公司 语义分割网络的训练方法、训练装置、服务器和存储介质
CN110428579B (zh) * 2019-08-08 2022-01-18 刘宝鑫 基于图像识别的室内监控系统、方法及装置
CN112418255A (zh) * 2019-08-21 2021-02-26 东北大学秦皇岛分校 基于一维卷积生成式对抗网络的无监督异常检测方案
CN110599492B (zh) * 2019-09-19 2024-02-06 腾讯科技（深圳）有限公司 图像分割模型的训练方法、装置、电子设备及存储介质
CN110889826B (zh) * 2019-10-30 2024-04-19 平安科技（深圳）有限公司 眼部oct图像病灶区域的分割方法、装置及终端设备
CN112836701A (zh) * 2019-11-25 2021-05-25 中国移动通信集团浙江有限公司 人脸识别方法、装置及计算设备
CN111080592B (zh) * 2019-12-06 2021-06-01 广州柏视医疗科技有限公司 一种基于深度学习的肋骨提取方法及装置
CN111340819B (zh) * 2020-02-10 2023-09-12 腾讯科技（深圳）有限公司 图像分割方法、装置和存储介质
CN111311565A (zh) * 2020-02-11 2020-06-19 平安科技（深圳）有限公司 基于眼部oct图像的视杯和视盘定位点检测方法及装置
CN111462263B (zh) * 2020-03-16 2023-08-11 云知声智能科技股份有限公司 一种图像生成方法及装置
CN112348774A (zh) * 2020-09-29 2021-02-09 深圳市罗湖区人民医院 一种适用于膀胱癌的ct影像分割方法、终端以及存储介质
CN112232360A (zh) * 2020-09-30 2021-01-15 上海眼控科技股份有限公司 图像检索模型优化方法、图像检索方法、装置及存储介质
CN112435212A (zh) * 2020-10-15 2021-03-02 杭州脉流科技有限公司 基于深度学习的脑部病灶区域体积得到方法、装置、计算机设备和存储介质
CN112348825A (zh) * 2020-10-16 2021-02-09 佛山科学技术学院 一种用于视网膜血流图像分割的DR-U-net网络方法及装置
CN112434631A (zh) * 2020-12-01 2021-03-02 天冕信息技术(深圳)有限公司 目标物识别方法、装置、电子设备及可读存储介质
CN112508097B (zh) * 2020-12-08 2024-01-19 深圳市优必选科技股份有限公司 图像转换模型训练方法、装置、终端设备及存储介质
CN112435256A (zh) * 2020-12-11 2021-03-02 北京大恒普信医疗技术有限公司 基于图像的cnv活动性病灶检测方法及装置、电子设备
CN112508974A (zh) * 2020-12-14 2021-03-16 北京达佳互联信息技术有限公司 图像分割模型的训练方法、装置、电子设备和存储介质
CN113140291B (zh) * 2020-12-17 2022-05-10 慧影医疗科技(北京)股份有限公司 图像分割方法、装置、模型训练方法及电子设备
CN112700408B (zh) * 2020-12-28 2023-09-08 中国银联股份有限公司 模型训练方法、图像质量评估方法及装置
CN112634257B (zh) * 2020-12-31 2023-10-27 常州奥创医疗科技有限公司 一种真菌荧光检测方法
CN112749746A (zh) * 2021-01-12 2021-05-04 云南电网有限责任公司电力科学研究院 一种缺陷样本迭代更新方法、系统及装置
CN113743410B (zh) * 2021-02-09 2024-04-09 京东科技控股股份有限公司 图像处理方法、装置和计算机可读存储介质
CN112884782B (zh) * 2021-03-02 2024-01-05 深圳市瑞图生物技术有限公司 生物对象分割方法、装置、计算机设备和存储介质
CN112990218A (zh) * 2021-03-25 2021-06-18 北京百度网讯科技有限公司 图像语义分割模型的优化方法、装置和电子设备
CN113269721B (zh) * 2021-04-21 2024-05-17 上海联影智能医疗科技有限公司 模型训练方法、装置、电子设备及存储介质
CN112884770B (zh) * 2021-04-28 2021-07-02 腾讯科技（深圳）有限公司 图像分割处理方法、装置及计算机设备
CN113326851B (zh) * 2021-05-21 2023-10-27 中国科学院深圳先进技术研究院 图像特征提取方法、装置、电子设备及存储介质
CN113344896B (zh) * 2021-06-24 2023-01-17 鹏城实验室 一种胸部ct图像病灶分割模型的训练方法及系统
CN113361535B (zh) * 2021-06-30 2023-08-01 北京百度网讯科技有限公司 图像分割模型训练、图像分割方法及相关装置
CN113421270B (zh) * 2021-07-05 2022-07-19 上海市精神卫生中心（上海市心理咨询培训中心） 基于单中心标定数据实现医学图像域自适应分割的方法、系统、装置、处理器及其存储介质
CN114240954B (zh) * 2021-12-16 2022-07-08 推想医疗科技股份有限公司 网络模型的训练方法及装置、图像分割方法及装置
CN114841878A (zh) * 2022-04-27 2022-08-02 广东博迈医疗科技股份有限公司 光学相干层析图像散斑去噪方法、装置及电子设备
CN114926471B (zh) * 2022-05-24 2023-03-28 北京医准智能科技有限公司 一种图像分割方法、装置、电子设备及存储介质
CN115481736B (zh) * 2022-11-10 2023-04-07 富联裕展科技(深圳)有限公司 焊渣图模型的训练方法、焊渣切割模型的生成方法、设备
CN116934747B (zh) * 2023-09-15 2023-11-28 江西师范大学 眼底图像分割模型训练方法、设备和青光眼辅助诊断系统
CN117274278B (zh) * 2023-09-28 2024-04-02 武汉大学人民医院（湖北省人民医院） 基于模拟感受野的视网膜图像病灶部位分割方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10515272B2 (en) * 2017-05-11 2019-12-24 Digitalglobe, Inc. Muddy water detection using normalized semantic layers
CN108537801A (zh) * 2018-03-29 2018-09-14 山东大学 基于生成对抗网络的视网膜血管瘤图像分割方法
CN108665463A (zh) * 2018-03-30 2018-10-16 哈尔滨理工大学 一种基于对抗式生成网络的宫颈细胞图像分割方法
CN108764342B (zh) * 2018-05-29 2021-05-14 广东技术师范学院 一种对于眼底图中视盘和视杯的语义分割方法
CN109166126B (zh) * 2018-08-13 2022-02-18 苏州比格威医疗科技有限公司 一种基于条件生成式对抗网络在icga图像上分割漆裂纹的方法
CN109829894B (zh) * 2019-01-09 2022-04-26 平安科技（深圳）有限公司 分割模型训练方法、oct图像分割方法、装置、设备及介质

Also Published As

Publication number Publication date
WO2020143309A1 (zh) 2020-07-16
CN109829894A (zh) 2019-05-31

Similar Documents

Publication Publication Date Title
CN109829894B (zh) 分割模型训练方法、oct图像分割方法、装置、设备及介质
CN111860670B (zh) 域自适应模型训练、图像检测方法、装置、设备及介质
CN110599451B (zh) 医学图像病灶检测定位方法、装置、设备及存储介质
US11417011B2 (en) 3D human body pose estimation using a model trained from unlabeled multi-view data
CA3146240A1 (en) Object detection and instance segmentation of 3d point clouds based on deep learning
CN111899252B (zh) 基于人工智能的病理图像处理方法和装置
US20230048405A1 (en) Neural network optimization method and apparatus
US20210312261A1 (en) Neural network search method and related apparatus
US20210209507A1 (en) Processing a model trained based on a loss function
CN111008643A (zh) 基于半监督学习的图片分类方法、装置和计算机设备
WO2021114623A1 (zh) 脊柱变形人群识别方法、装置、计算机设备及存储介质
CN115496975B (zh) 辅助加权数据融合方法、装置、设备及存储介质
US20230401838A1 (en) Image processing method and related apparatus
CN117058676B (zh) 一种基于眼底检查影像的血管分割方法、装置和系统
CN114091554A (zh) 一种训练集处理方法和装置
CN111666974A (zh) 图像匹配方法、装置、计算机设备及存储介质
CN114842270A (zh) 一种目标图像的分类方法、装置、电子设备及介质
EP3660748A1 (fr) Procédé d'analyse d'un jeu de paramètres d'un réseau de neurones en vue d'obtenir une amélioration technique, par exemple un gain en mémoire
Vizcaíno et al. Pixel-wise classification in hippocampus histological images
CN113269812B (zh) 图像预测模型的训练及应用方法、装置、设备、存储介质
CN111091504A (zh) 图像偏差场矫正方法、计算机设备和存储介质
US20240062331A1 (en) Deep learning robustness against display field of view variations
Kodumuru et al. Diabetic Retinopathy Screening Using CNN (ResNet 18)
WO2024108505A1 (zh) 一种基于残差胶囊网络对心肌纤维化进行分类的方法
WO2023226793A1 (zh) 二尖瓣开口间距检测方法、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant