CN117710969B - 一种基于深度神经网络的细胞核分割和分类方法 - Google Patents

一种基于深度神经网络的细胞核分割和分类方法 Download PDF

Info

Publication number
CN117710969B
CN117710969B CN202410160202.6A CN202410160202A CN117710969B CN 117710969 B CN117710969 B CN 117710969B CN 202410160202 A CN202410160202 A CN 202410160202A CN 117710969 B CN117710969 B CN 117710969B
Authority
CN
China
Prior art keywords
prediction
cell nucleus
representing
module
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410160202.6A
Other languages
English (en)
Other versions
CN117710969A (zh
Inventor
曹瑞芬
孟庆斌
魏丕静
谭大禹
郑春厚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN202410160202.6A priority Critical patent/CN117710969B/zh
Publication of CN117710969A publication Critical patent/CN117710969A/zh
Application granted granted Critical
Publication of CN117710969B publication Critical patent/CN117710969B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明提供了一种基于深度神经网络的细胞核分割和分类方法,包括:S1:对病理图像进行预处理,得到预处理后的病理图像;S2:构建细胞核分割和分类的深度学习网络,并进行模型训练,其中,网络中使用注意力增强的编码器和解码器模块,并且在解码器模块之后使用预测细化模块;S3:将需要分割的病理图像送入模型中进行预测;S4:将模型预测结果进一步处理得到最终的细胞核分类和分类结果。本发明通过在网络模型中使用注意力增强的编码器,可以使模型有效地关注细胞核的关键信息的特征,增强整体网络的特征表达能力,并且在解码器模块中加入了预测细化模块,将粗预测结果进一步细化,这种细化可以帮助模型对邻近的细胞核做出更精确的分割和分类。

Description

一种基于深度神经网络的细胞核分割和分类方法
技术领域
本发明涉及病理图像细胞核分割和分类技术领域,特别涉及一种基于深度神经网络的细胞核分割和分类方法。
背景技术
近年来,随着数字化病理技术的不断发展,可以辅助医生对病人进行精准诊断,从而使得病理医生工作变得更加高效。数字病理图像分析和诊断,常常需要将细胞核进行分割和分类,细胞核分割和分类任务是要将每一个细胞核的位置轮廓划分出来,并对分出的每一个细胞核实例进行类别预测,其中预测出的细胞核轮廓和类别信息对病理图像的分析和诊断十分重要。因此,设计一个高效、精确的自动化细胞核分割和分类方法对于病理图像分析来说具有重要意义。
在现有技术中,大部分的细胞核分割与分类的方法是基于传统图像处理算法和传统机器学习方法。然而,很多传统细胞核分割与分类的方法都比较依赖于特定任务的参数手动设置,所以这类方法不适合广泛应用。随着深度学习技术的发展,在医学图像分割领域出现了许多深度学习模型,深度学习模型可以自动学习到病理图像中复杂的特征信息。但是在病理图像细胞核分割和分类领域中,存在细胞核的聚集、重叠等一系列的挑战,这限制了目前的方法对病理图像细胞核的分割和分类的预测效果。
发明内容
为解决上述问题,本发明旨在提出一种基于深度神经网络的细胞核分割和分类方法,通过在网络模型中使用注意力增强的编码器,可以使模型有效地关注细胞核的关键信息的特征,增强整体网络的特征表达能力,并且在解码器模块中加入了预测细化模块,将粗预测结果进一步细化,这种细化可以帮助模型对邻近的细胞核做出更精确的分割和分类。
为达到上述目的,本发明的技术方案是这样实现的:
一种基于深度神经网络的细胞核分割和分类方法,包括以下步骤:
S1:对病理图像进行预处理,得到预处理后的病理图像;
S2:构建细胞核分割和分类的深度学习网络,并进行模型训练,其中,网络中使用注意力增强的编码器和解码器模块,并且在解码器模块之后使用预测细化模块;
S3:将需要分割的病理图像送入模型中进行预测;
S4:将模型预测结果进一步处理得到最终的细胞核分类和分类结果。
进一步的,在S1步骤中,所述预处理是指:将病理图像裁剪为256×256像素大小的图像,并且对于训练数据要进行翻转、平移、模糊一系列的数据增强的操作再送入模型训练,对于验证和测试图像不需要进行数据增强操作,对于数据集划分,训练集、验证集和测试集采用6:2:2的比例进行划分。
进一步的,在步骤S2中,所述深度学习网络包括至少一个注意力增强的编码器模块以及三个分割解码器模块;三个分割解码器模块分别进行细胞核像素预测、距离图预测和细胞核类别预测,均使用了Dense Unit模块,并且在每一个解码器模块的之后都使用了一个预测细化模块。
进一步的,所述编码器模块基于ResNet50进行改进,在每一个残差单元模块中加入了通道和空间注意力模块,其中表示sigmoid激活函数,/>表示多层感知机,/>和/>分别表示平均池化和最大池化,/>表示7×7的卷积层的卷积操作,X表示输入的特征,Y表示输出的特征,/>表示残差函数,/>代表对应元素相乘;
进一步的,所述预测细化模块的输入为,/>为预测细化模块的第一个子模块,/>表示预测细化模块的第二个子模块,/>表示3×3的卷积层的卷积操作,/>表示Batch Normalization批量归一化和Relu激活函数,/>表示经过了解码器的粗预测结果,/>表示预测细化模块输出的结果;
进一步的,所述距离图预测是指水平距离图和垂直距离图,分别标记出了细胞核像素点与细胞核质心的水平和垂直距离。
进一步的,在步骤S2中,训练阶段,使用了Adam优化器,batch size设置为4,总共训练50轮,初始学习率设置为1e-4,并在25轮之后变为1e-5,训练完成后得到训练好的细胞核分割和分类网络。
进一步的,在步骤S3中,将测试集中的图像送入步骤S2训练好的细胞核分割和分类网络中,模型输出的预测结果分别为细胞核像素预测,距离图预测和细胞核类别预测的结果。
进一步的,在步骤S4中,将细胞核像素预测以及距离图预测的结果进行标记并使用分水岭算法得到最终的细胞核分割结果,并结合细胞核类别预测的结果进一步结合得到最终的细胞核分割和分类的预测结果。
进一步的,在所述距离图预测中,使用sobel算子得到水平距离梯度图、垂直距离梯度图。
有益效果:本发明通过在网络模型中使用注意力增强的编码器,可以使模型有效地关注细胞核的关键信息的特征,增强整体网络的特征表达能力,并且在解码器模块中加入了预测细化模块,将粗预测结果进一步细化,这种细化可以帮助模型对邻近的细胞核做出更精确的分割和分类。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1为本发明实施例所述的基于深度神经网络的细胞核分割和分类方法的主体流程图;
图2为本发明实施例所述的基于深度神经网络的细胞核分割和分类方法的细胞核分割和分类的深度学习网络架构示意图;
图3为本发明实施例所述的基于深度神经网络的细胞核分割和分类方法的注意力增强的残差单元模块的架构示意图;
图4为本发明实施例所述的基于深度神经网络的细胞核分割和分类方法的解码器以及Dense Unit模块架构示意图;
图5为本发明实施例所述的基于深度神经网络的细胞核分割和分类方法的预测细化模块的架构示意图;
图6为本发明实施例所述的基于深度神经网络的细胞核分割和分类方法的细胞核像素预测、距离图预测以及细胞核类别预测的最终处理过程流程图。
具体实施方式
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
下面将参考附图并结合实施例来详细说明本发明。
实施例1
参见图1-6:一种基于深度神经网络的细胞核分割和分类方法,包括以下步骤:
S1:对病理图像进行预处理,得到预处理后的病理图像;
在S1步骤中,所述预处理是指:将病理图像裁剪为256×256像素大小的图像,并且对于训练数据要进行翻转、平移、模糊一系列的数据增强的操作再送入模型训练,对于验证和测试图像不需要进行数据增强操作,对于数据集划分,训练集、验证集和测试集采用6:2:2的比例进行划分;
S2:构建细胞核分割和分类的深度学习网络,并进行模型训练,其中,网络中使用注意力增强的编码器和解码器模块,并且在解码器模块之后使用预测细化模块;
在步骤S2中,所述深度学习网络包括至少一个注意力增强的编码器模块以及三个分割解码器模块;三个分割解码器模块分别进行细胞核像素预测、距离图预测和细胞核类别预测,均使用了Dense Unit模块,并且在每一个解码器模块的之后都使用了一个预测细化模块,其中,距离图预测是指水平距离图和垂直距离图,分别标记出了细胞核像素点与细胞核质心的水平和垂直距离;
所述编码器模块基于ResNet50进行改进,在每一个残差单元模块中加入了通道和空间注意力模块,其中表示sigmoid激活函数,/>表示多层感知机,/>和/>分别表示平均池化和最大池化,/>表示7×7的卷积层的卷积操作,X表示输入的特征,Y表示输出的特征,/>表示残差函数,/>代表对应元素相乘;
需要说明的是,我们在每一个残差单元后面加入了通道和空间注意力模块,通道注意力模块会更加关注对细胞核分割和分割任务更重要的特征信息,这可以强调对细胞核内部和轮廓结构的特征通道给予更大的权重,提高了整体模型对细胞核细节的感知能力;空间注意力模块可以让模型更关注病理图像中更重要的区域,如细胞核聚集区域;空间注意力模块使得模型可以关注到细胞核位置和轮廓信息,有效应对细胞核聚集和重叠等问题。
所述预测细化模块的输入为,/>为预测细化模块的第一个子模块,/>表示预测细化模块的第二个子模块,/>表示3×3的卷积层的卷积操作,/>表示BatchNormalization批量归一化和Relu激活函数,/>表示经过了解码器的粗预测结果,/>表示预测细化模块输出的结果;
本实施例的预测细化模块的目的是为了对预测结果在细节上进行调整,该模块可以提高模型对细胞核的结构和边界的感知能力,在粗预测结果的基础上得到细化预测,使得预测结果更加精确,可以有效应对细胞核分割任务中的聚集、重叠的细胞核难以分割和分类的问题。
在步骤S2中,训练阶段,使用了Adam优化器,batch size设置为4,总共训练50轮,初始学习率设置为1e-4,并在25轮之后变为1e-5,训练完成后得到训练好的细胞核分割和分类网络;
需要说明的是,本实施例的深度学习网络模型,使用了一个注意力增强的编码器模块,我们将ResNet50中的残差单元改进为了注意力残差单元,在每一个残差单元中加入了CBAM,如图3所示,通道和空间注意力模块让模型更关注细胞核相关的特征信息(细胞核轮廓和类别的特征信息),增强了模型的特征表达能力;
编码器模块使用了注意力增强的ResNet50,三个分割解码器模块使用了上采样层、卷积层和Dense Unit模块,并且在每一个解码器模块的之后都使用了一个预测细化模块,这可以进一步增强预测结果的准确性;
预测细化模块,主要是由BN-Relu层和3×3的卷积层组成,具体结构如图5所示;此模块使用了两次残差连接,第一次将2个BN-Relu层和3个3×3的卷积层组成的子模块的预测结果与粗预测结果相加得到初步的细化结果,第二次将初步得到的预测结果进一步输入到2个BN-Relu层和2个3×3的卷积层组成的子模块中,并将预测结果与粗预测的结果相加得到最终的细化预测结果;
三个解码器完成三个不同的预测任务,分别进行细胞核像素预测、距离图预测和细胞核类别预测,对于细胞核像素预测分支和细胞核类别预测分支,损失函数为交叉熵损失与Dice损失之和;对于距离图预测分支,损失函数为均方误差损失函数;
损失函数为:
其中,/>表示的是解码器预测的粗预测结果,/>,/>表示的是最终预测细化模块的细预测结果,权重/>这里设置为1。
表示细胞核像素预测分支的损失函数,/>表示交叉熵损失函数,/>表示Dice损失函数,/>和/>都设置为1。
表示的是距离图回归分支的损失函数,/>表示为均方误差损失函数,/>设置为2。
表示的是细胞核分类预测分支的损失函数,/>表示交叉熵损失函数,/>表示Dice损失函数,/>和/>都设置为1。
S3:将需要分割的病理图像送入模型中进行预测;
在步骤S3中,将测试集中的图像送入步骤S2训练好的细胞核分割和分类网络中,模型输出的预测结果分别为细胞核像素预测,距离图预测和细胞核类别预测的结果;
S4:将模型预测结果进一步处理得到最终的细胞核分类和分类结果,如图6所示:将细胞核像素预测以及距离图预测的结果进行标记并使用分水岭算法得到最终的细胞核分割结果,并结合细胞核类别预测的结果进一步结合得到最终的细胞核分割和分类的预测结果;其中,在所述距离图预测中,使用sobel算子得到水平距离梯度图、垂直距离梯度图。
综上所述,本实施例通过在网络模型中使用注意力增强的编码器,可以使模型有效地关注细胞核的关键信息的特征,增强整体网络的特征表达能力,并且在解码器模块中加入了预测细化模块,将粗预测结果进一步细化,这种细化可以帮助模型对邻近的细胞核做出更精确的分割和分类。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于深度神经网络的细胞核分割和分类方法,其特征在于,包括以下步骤:
S1:对病理图像进行预处理,得到预处理后的病理图像;
S2:构建细胞核分割和分类的深度学习网络,并进行模型训练,其中,网络中使用注意力增强的编码器和解码器模块,并且在解码器模块之后使用预测细化模块;
在步骤S2中,所述深度学习网络包括至少一个注意力增强的编码器模块以及三个分割解码器模块;三个分割解码器模块分别进行细胞核像素预测、距离图预测和细胞核类别预测,均使用了Dense Unit模块,并且在每一个解码器模块的之后都使用了一个预测细化模块;
所述编码器模块基于ResNet50进行改进,在每一个残差单元模块中加入了通道和空间注意力模块,其中表示sigmoid激活函数,/>表示多层感知机,/>和/>分别表示平均池化和最大池化,/>表示7×7的卷积层的卷积操作,X表示输入的特征,Y表示输出的特征,/>表示残差单元的输出,/>代表对应元素相乘;
所述预测细化模块的输入为,/>为预测细化模块的第一个子模块,/>表示预测细化模块的第二个子模块,/>表示3×3的卷积层的卷积操作,/>表示BatchNormalization批量归一化和Relu激活函数,/>表示经过了解码器的粗预测结果,/>表示预测细化模块输出的结果;
预测细化模块,由BN-Relu层和3×3的卷积层组成,使用了两次残差连接,第一次将2个BN-Relu层和3个3×3的卷积层组成的子模块的预测结果与粗预测结果相加得到初步的细化结果,第二次将初步得到的预测结果进一步输入到2个BN-Relu层和2个3×3的卷积层组成的子模块中,并将预测结果与粗预测的结果相加得到最终的细化预测结果;
三个解码器完成三个不同的预测任务,分别进行细胞核像素预测、距离图预测和细胞核类别预测,对于细胞核像素预测分支和细胞核类别预测分支,损失函数为交叉熵损失与Dice损失之和;对于距离图预测分支,损失函数为均方误差损失函数;
损失函数为:
其中, />表示的是解码器预测的粗预测结果,/>, />表示的是最终预测细化模块的细预测结果,权重/>这里设置为1;
表示细胞核像素预测分支的损失函数,/>表示交叉熵损失函数,/>表示Dice损失函数,/>和/>都设置为1;
表示的是距离图回归分支的损失函数,/>表示为均方误差损失函数,/>设置为2;
表示的是细胞核分类预测分支的损失函数,/>表示交叉熵损失函数,/>表示Dice损失函数,/>和/>都设置为1;
S3:将需要分割的病理图像送入模型中进行预测;
S4:将模型预测结果进一步处理得到最终的细胞核分类和分类结果。
2.根据权利要求1所述的基于深度神经网络的细胞核分割和分类方法,其特征在于,在S1步骤中,所述预处理是指:将病理图像裁剪为256×256像素大小的图像,并且对于训练数据要进行翻转、平移、模糊一系列的数据增强的操作再送入模型训练,对于验证和测试图像不需要进行数据增强操作,对于数据集划分,训练集、验证集和测试集采用6:2:2的比例进行划分。
3.根据权利要求1所述的基于深度神经网络的细胞核分割和分类方法,其特征在于,所述距离图预测是指水平距离图和垂直距离图,分别标记出了细胞核像素点与细胞核质心的水平和垂直距离。
4.根据权利要求1所述的基于深度神经网络的细胞核分割和分类方法,其特征在于,在步骤S2中,训练阶段,使用了Adam优化器,batch size设置为4,总共训练50轮,初始学习率设置为1e-4,并在25轮之后变为1e-5,训练完成后得到训练好的细胞核分割和分类网络。
5.根据权利要求4所述的基于深度神经网络的细胞核分割和分类方法,其特征在于,在步骤S3中,将测试集中的图像送入步骤S2训练好的细胞核分割和分类网络中,模型输出的预测结果分别为细胞核像素预测,距离图预测和细胞核类别预测的结果。
6.根据权利要求5所述的基于深度神经网络的细胞核分割和分类方法,其特征在于,在步骤S4中,将细胞核像素预测以及距离图预测的结果进行标记并使用分水岭算法得到最终的细胞核分割结果,并结合细胞核类别预测的结果进一步结合得到最终的细胞核分割和分类的预测结果。
7.根据权利要求6所述的基于深度神经网络的细胞核分割和分类方法,其特征在于,在所述距离图预测中,使用sobel算子得到水平距离梯度图、垂直距离梯度图。
CN202410160202.6A 2024-02-05 一种基于深度神经网络的细胞核分割和分类方法 Active CN117710969B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410160202.6A CN117710969B (zh) 2024-02-05 一种基于深度神经网络的细胞核分割和分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410160202.6A CN117710969B (zh) 2024-02-05 一种基于深度神经网络的细胞核分割和分类方法

Publications (2)

Publication Number Publication Date
CN117710969A CN117710969A (zh) 2024-03-15
CN117710969B true CN117710969B (zh) 2024-06-04

Family

ID=

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862127A (zh) * 2020-07-23 2020-10-30 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN112329760A (zh) * 2020-11-17 2021-02-05 内蒙古工业大学 基于空间变换网络端到端印刷体蒙古文识别翻译的方法
CN113409321A (zh) * 2021-06-09 2021-09-17 西安电子科技大学 一种基于像素分类和距离回归的细胞核图像分割方法
CN113516135A (zh) * 2021-06-23 2021-10-19 江苏师范大学 一种基于深度学习的遥感影像建筑物提取及轮廓优化方法
CN114627142A (zh) * 2022-02-28 2022-06-14 广东省人民医院 H&e染色组织病理图像细胞核分割与分类系统、方法、设备及介质
CN114742758A (zh) * 2022-03-09 2022-07-12 上海交通大学 一种全视野数字切片组织病理图片中的细胞核分类方法
CN115423802A (zh) * 2022-09-30 2022-12-02 浙江大学 基于深度学习的鳞状上皮肿瘤细胞图片自动分类分割方法
CN115457509A (zh) * 2022-09-19 2022-12-09 北京吉利学院 基于改进时空图卷积的交通标志图像分割算法
CN116342600A (zh) * 2023-05-29 2023-06-27 中日友好医院(中日友好临床医学研究所) 胸腺瘤组织病理学图像中细胞核的分割方法
CN116433704A (zh) * 2022-12-29 2023-07-14 鹏城实验室 一种基于中心点的细胞核分割方法及相关设备
CN116485649A (zh) * 2023-04-20 2023-07-25 河南大学 一种端到端的图像拼接定位方法和系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862127A (zh) * 2020-07-23 2020-10-30 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN112329760A (zh) * 2020-11-17 2021-02-05 内蒙古工业大学 基于空间变换网络端到端印刷体蒙古文识别翻译的方法
CN113409321A (zh) * 2021-06-09 2021-09-17 西安电子科技大学 一种基于像素分类和距离回归的细胞核图像分割方法
CN113516135A (zh) * 2021-06-23 2021-10-19 江苏师范大学 一种基于深度学习的遥感影像建筑物提取及轮廓优化方法
CN114627142A (zh) * 2022-02-28 2022-06-14 广东省人民医院 H&e染色组织病理图像细胞核分割与分类系统、方法、设备及介质
CN114742758A (zh) * 2022-03-09 2022-07-12 上海交通大学 一种全视野数字切片组织病理图片中的细胞核分类方法
CN115457509A (zh) * 2022-09-19 2022-12-09 北京吉利学院 基于改进时空图卷积的交通标志图像分割算法
CN115423802A (zh) * 2022-09-30 2022-12-02 浙江大学 基于深度学习的鳞状上皮肿瘤细胞图片自动分类分割方法
CN116433704A (zh) * 2022-12-29 2023-07-14 鹏城实验室 一种基于中心点的细胞核分割方法及相关设备
CN116485649A (zh) * 2023-04-20 2023-07-25 河南大学 一种端到端的图像拼接定位方法和系统
CN116342600A (zh) * 2023-05-29 2023-06-27 中日友好医院(中日友好临床医学研究所) 胸腺瘤组织病理学图像中细胞核的分割方法

Similar Documents

Publication Publication Date Title
CN110287849B (zh) 一种适用于树莓派的轻量化深度网络图像目标检测方法
CN110889852B (zh) 基于残差-注意力深度神经网络的肝脏分割方法
CN111242288B (zh) 一种用于病变图像分割的多尺度并行深度神经网络模型构建方法
CN111738363B (zh) 基于改进的3d cnn网络的阿尔茨海默病分类方法
CN111968138B (zh) 基于3d动态边缘不敏感性损失函数的医学图像分割方法
CN111583285A (zh) 一种基于边缘关注策略的肝脏影像语义分割方法
CN111768415A (zh) 一种无量化池化的图像实例分割方法
CN116309648A (zh) 一种基于多注意力融合的医学图像分割模型构建方法
CN110930378A (zh) 基于低数据需求的肺气肿影像处理方法及系统
CN116342516B (zh) 基于模型集成的儿童手骨x光图像骨龄评估方法及系统
WO2024021461A1 (zh) 缺陷检测方法及装置、设备、存储介质
Guan et al. NCDCN: multi-focus image fusion via nest connection and dilated convolution network
CN114972202A (zh) 一种基于轻量级的神经网络的Ki67病理细胞快速检测计数方法
CN117437423A (zh) 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置
CN111079807B (zh) 一种地物分类方法及装置
CN117710969B (zh) 一种基于深度神经网络的细胞核分割和分类方法
CN112733873A (zh) 一种基于深度学习的染色体核型图分类方法及装置
CN117036380A (zh) 一种基于级联Transformer的脑肿瘤分割方法
CN117274662A (zh) 一种改进ResNeXt神经网络的轻量级多模态医学图像分类方法
CN116993639A (zh) 基于结构重参数化的可见光与红外图像融合方法
CN116543414A (zh) 多模型融合的舌质颜色分类及舌质红度和紫度量化方法
CN117710969A (zh) 一种基于深度神经网络的细胞核分割和分类方法
CN115830592A (zh) 一种重叠宫颈细胞分割方法及系统
CN114627293A (zh) 基于多任务学习的人像抠图方法
CN111932557A (zh) 基于集成学习和概率图模型的图像语义分割方法及装置

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant