CN112132001B - 一种用于iPSC的自动追踪和质量控制方法及终端设备 - Google Patents
一种用于iPSC的自动追踪和质量控制方法及终端设备 Download PDFInfo
- Publication number
- CN112132001B CN112132001B CN202010987470.7A CN202010987470A CN112132001B CN 112132001 B CN112132001 B CN 112132001B CN 202010987470 A CN202010987470 A CN 202010987470A CN 112132001 B CN112132001 B CN 112132001B
- Authority
- CN
- China
- Prior art keywords
- ipsc
- image
- feature
- clone
- quality control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
Abstract
本发明公开了一种用于iPSC的自动追踪和质量控制方法及终端设备,所述方法包括步骤:对原始iPSC克隆显微图像进行数据增强处理,得到增强iPSC克隆显微图像;采用特征金字塔网络对所述增强iPSC克隆显微图像进行特征提取处理,得到图像特征信息;采用加权双向特征金字塔网络对所述图像特征信息进行特征融合处理,得到图像融合特征;通过检测头对所述图像融合特征进行卷积处理,输出所述iPSC克隆的质量控制结果和定位信息。本发明提供的方法能够保证在较高地分类准确性的情况下,实现对iPSC克隆的实时和可视化的追踪和质量监控,为iPSC的大规模生产提供重要的技术辅助。
Description
技术领域
本发明涉及干细胞培养技术领域,特别涉及一种用于iPSC的自动追踪和质量控制方法及终端设备。
背景技术
诱导性多能干细胞(iPSC)与胚胎干细胞(ESC)一样具有分化成为成体的所有器官和组织的能力,而且具有伦理道德争议小和可规避排异反应的优点,因此iPSC在再生医学及组织工程、药物开发、疾病模型构建等领域具有极大的应用潜力,一定程度上冲击了ESC在再生医学上的地位。然而,目前iPSC技术在投入实际的应用时候存在着技术挑战,其中之一就是重编程过程中的iPSC克隆的追踪和质量控制主要是手动完成,这限制了 iPSC的大规模培养。
因此,现有技术还有待于改进和发展。
发明内容
本发明要解决的技术问题在于,针对现有技术的不足,提供一种用于 iPSC的自动追踪和质量控制方法及终端设备,旨在解决现有iPSC克隆的追踪和质量控制主要通过手动完成,这限制了iPSC的大规模培养的问题。
为了解决上述技术问题,本发明所采用的技术方案如下:
一种用于iPSC的自动追踪和质量控制方法,其中,包括步骤:
对原始iPSC克隆显微图像进行数据增强处理,得到增强iPSC克隆显微图像;
采用特征金字塔网络对所述增强iPSC克隆显微图像进行特征提取处理,得到图像特征信息;
采用加权双向特征金字塔网络对所述图像特征信息进行特征融合处理,得到图像融合特征;
通过检测头对所述图像融合特征进行卷积处理,输出所述iPSC克隆的质量控制结果和定位信息。
所述用于iPSC的自动追踪和质量控制方法,其中,所述对原始iPSC 克隆显微图像进行数据增强处理的步骤中,所述数据增强处理包括:马赛克数据增强处理、随机仿射变换处理以及HSV颜色空间图像增强处理。
所述用于iPSC的自动追踪和质量控制方法,其中,对所述原始iPSC 克隆显微图像进行HSV颜色空间图像增强处理的步骤包括:
获取分辨率为2048×2048的原始iPSC克隆显微图像,并使用双线性插值的方法将所述原始iPSC克隆显微图像分辨率大小变换为640×640,然后将变换后的iPSC克隆显微图像从RGB颜色空间转化到HSV颜色空间;
在[0.5,1.5]范围内随机获取转化后的iPSC克隆显微图像的HSV变化尺度向量[h1,s1,y1];
用转化后的iPSC克隆显微图的HSV颜色空间各个值和对应的变化尺度向量元素相乘,把得到的HSV值大小限制在HSV的取值范围内;
用生成的HSV值替换所述原始iPSC克隆显微图像的HSV值,然后将得到增强后的iPSC克隆显微图像由HSV颜色空间转换回RGB颜色空间,得到了分辨率为640×640的增强iPSC克隆显微图像。
所述用于iPSC的自动追踪和质量控制方法,其中,所述采用特征金字塔网络对所述增强iPSC克隆显微图像进行特征提取处理,得到图像特征信息的步骤包括:
将所述增强iPSC克隆显微图像输入到特征提取网络ResNeSt中,参考特征金字塔网络提取了ResNeSt中的conv3,conv4,conv5中最后一个卷积块的特征激活层输出,分别记为(C3,C4,C5),其对应特征分辨率为80 ×80,40×40,20×20;
对ResNeSt网络中得到的特征C5进行卷积、批量正则化和池化操作后到C6,特征分辨率为10×10;
对C6进行2×2的最大池化得到C7,特征分辨率为5×5,即获得了五个尺度的图像特征信息,记为(C3,C4,C5,C6,C7)。
所述用于iPSC的自动追踪和质量控制方法,其中,所述采用加权双向特征金字塔网络对所述图像特征信息进行特征融合处理的步骤包括:
根据预先设定的联合缩放参数作为系数,对加权双向特征金字塔网络的串联个数进行设置;
将所述五个尺度的图像特征信息输入到所述加权双向特征金字塔网络中进行特征融合处理,得到不同层次的图像融合特征。
所述用于iPSC的自动追踪和质量控制方法,其中,所述预先设定的联合缩放参数取值范围为[0,1,2],则所述加权双向特征金字塔网络的串联个数取值范围为[1,2,3]。
所述用于iPSC的自动追踪和质量控制方法,其中,所述采用加权双向特征金字塔网络对所述图像特征信息进行特征融合处理之前,还包括步骤:
对所述五个尺度的图像特征信息进行降通道处理,使所述五个尺度的图像特征信息通道降到与按照预先设定的联合缩放参数同样的维度。
所述用于iPSC的自动追踪和质量控制方法,其中,所述通过检测头对所述图像融合特征进行卷积处理,输出所述iPSC克隆的质量控制结果和定位信息的步骤包括:
所述检测头包括分类头和回归头,所述分类头包括三个堆叠的基本模块,所述基本模块由深度可分离卷积层、批正则化层和激活层组成,所述回归头的基本模块与所述分类头的基本模块一致,其所述回归头中的最后一个深度可分离卷积层的输出通道数为每点的锚框数量和4的乘积;
通过所述分类头对所述图像融合特征进行卷积处理,输出所述iPSC克隆的质量控制结果;
所述回归头对所述图像融合特征进行卷积处理,输出所述iPSC克隆的定位信息。
一种计算机可读存储介质,其中,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现本发明所述用于iPSC的自动追踪和质量控制方法中的步骤。
一种终端设备,其中,包括:处理器、存储器及通信总线;所述存储器上存储有可被所述处理器执行的计算机可读程序;
所述通信总线实现处理器和存储器之间的连接通信;
所述处理器执行所述计算机可读程序时实现本发明所述用于iPSC的自动追踪和质量控制方法中的步骤。
有益效果:与现有技术相比,本发明提供的用于iPSC的自动追踪和质量控制方法能够保证在较高地分类准确性的情况下,实现对iPSC克隆的实时和可视化的追踪和质量监控,为iPSC的大规模生产提供重要的技术辅助。本发明提供的方法能够准确定位iPSC在显微图像中的位置,有效解决了 iPSC克隆质量控制的自动化问题,且避免了手工提取特征的这一繁琐的步骤。
附图说明
图1为本发明提供的一种用于iPSC的自动追踪和质量控制方法较佳实施例的流程图。
图2为使用Mosaic数据增强处理后得到的iPSC克隆显微图。
图3为iPSC-Det模型结构示意图。
图4为本发明提供的终端设备的结构原理图。
具体实施方式
本发明提供一种用于iPSC的自动追踪和质量控制方法及终端设备,为使本发明的目的、技术方案及效果更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语 (包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
下面结合附图,通过对实施例的描述,对发明内容作进一步说明。
尽管iPSC技术具有很大的潜力,但其大规模的实际应用仍然存在着需要克服的技术难题和生物医学挑战。其中一个主要困难就是iPSC克隆的质量评估工作,这是从事iPSC研究工作的人员的日常工作之一,该工作一般包含两个步骤:追踪:也就是在显微镜图像下定位iPSC克隆;质量控制:判断定位好的iPSC克隆的质量情况。
目前,在iPSC克隆的质量控制自动化方面已经涌现了一些基于机器学习和深度学习的分析方法。虽然这些方法在一定程度上实现了iPSC质量控制的自动化,但是还存在一些问题需要解决。比如机器学习的方法需要通过人工收集iPSC的多个生物学特征来提供给机器学习支持向量机(SVM) 分类器来对iPSC克隆进行自动化分类,并且该方法是无创性的,处理完的 iPSC克隆可以进行后续的培养研究。同年,Kazuaki Tokunaga团队发现细胞核结构特征能够为iPSC克隆的质量控制提供重要参考。2016年,Henry joki团队利用k-NN分类器来对iPSC显微图像进行了三分类(好、中等、差)的质量控制,最好的分类准确度为62.4%。2017年,Takashi Wakui团队利用细胞的核仁、细胞间距还有细胞核的状态三种生物学特征,结合机器学习SVM分类器对iPSC克隆进行三分类,获得了不错的分类结果。上述基于机器学习的iPSC克隆质量控制方法中输入分类器的特征都是需要进行大量的对比实验进行人工挑选,然后选择出对质量控制结果具有一定关系的特征输入机器学习分类器中进行分类。因此虽然解决了质量控制的自动化问题,但是增加了手工提取特征的这一繁琐的步骤,且无法定位干细胞在显微图像中的位置。在现有深度学习方面,2017年,MuthuSubash Kavitha 团队建立了基于向量的卷积神经网络(V-CNN)来对iPSC克隆进行健康和不健康两种状态的二分类,获得了90%左右的分类准确性。该方法的有一个较大的不足之处,实验处理后的iPSC克隆失去了活性,因此没法继续进行后续的培养及研究。2019年,Yuan-Hsiang Chang等人利用了基于长短期记忆模型(LSTM)的循环神经网络来进行iPSC克隆的明场显微图像三分类 (没目标区域,有分化细胞区域,有可能有和确定有重编程细胞的区域) 预测,获得的预测结果误差几乎低于10%。不过该研究和iPSC的质量控制有所不同,不能解决iPSC的质量控制问题。
为了解决上述问题,本发明实施方式提供了一种用于iPSC的自动追踪和质量控制方法,如图1所示,其包括步骤:
S10、对原始iPSC克隆显微图像进行数据增强处理,得到增强iPSC克隆显微图像;
S20、采用特征金字塔网络对所述增强iPSC克隆显微图像进行特征提取处理,得到图像特征信息;
S30、采用加权双向特征金字塔网络对所述图像特征信息进行特征融合处理,得到图像融合特征;
S40、通过检测头对所述图像融合特征进行卷积处理,输出所述iPSC 克隆的质量控制结果和定位信息。
本实施例提供的用于iPSC的自动追踪和质量控制方法能够保证在较高地分类准确性的情况下,实现对iPSC克隆的实时和可视化的追踪和质量监控,为iPSC的大规模生产提供重要的技术辅助。本实施例提供的方法能够准确定位iPSC在显微图像中的位置,有效解决了iPSC克隆质量控制的自动化问题,且避免了手工提取特征的这一繁琐的步骤。
在一些实施方式中,为了解决iPSC克隆显微图像的对比度和亮度不均衡和克隆的大小差异等问题,本实施例采用了多种数据预处理的方法对 iPSC克隆显微图像进行数据增强处理,所述数据增强处理包括:马赛克数据增强处理、随机仿射变换处理以及HSV颜色空间图像增强处理。
具体来讲,本实施例使用的iPSC克隆显微图像数据集源于项目合作小组深圳大学医学部医学中心科研组。所述iPSC克隆显微图像数据集包括 iPSC克隆的拍照,iPSC的培养工作和图像数据标记的工作等。在数据准备阶段,合作方首先利用成体细胞进行重编程使其形成iPSC,然后使用hPSC XF培养基和六孔板进行后续的传代培养。在iPSC的传代培养的过程中,采集了第8到18天的iPSC明场图像作为实验数据。在对 iPSC培养基进行拍照过程中,将显微镜放大倍率设置为4倍,并且使用了自动聚焦和自动扫描模式来对iPSC培养基进行扫描,前述图像数据。在数据标记阶段,本实施例使用LabelMe图像标记工作来对得到的iPSC克隆的明场图像进行标记,并对图像尺寸做了规范化处理,得到的图像分辨率为 2048×2048。最后对iPSC菌落质量分析和分类(好、中、差三类),最终我们选择了能够进行质量标记的第14到18天的图像数据进行标记,获得了1452张iPSC克隆显微图像作为后续算法实验的分析数据。
在一些实施方式中,所述Mosaic数据增强处理首先由ultralytics的 GlennJocher提出,主要是借鉴了MIT张宏毅和FAIR提出的Mixup数据增强的思想改进而成。假设(xi,yi)和(xj,yj)为训练数据的两个样本及对应标签信息,λ∈[0,1],则Mixup思路可以表示如下:
xi,xj为输入行向量
yi,yj为onehot标签编码
如图2所示,Mosaic是Mixup的增强版本,具体是操作是使用四张图片通过随机裁剪拼接成一张图作为训练数据。这样做的好处是丰富了图片的背景,并且四张图片拼接在一起变相地提高了batch_size,在进行batch normalization的时候也会计算四张图片,所以对本身batch_size不是很依赖,单块GPU就可以训练yolov4,即Mosiac在yolov4一系列实验中的表现出了不俗的目标检测效果,可以有效提升模型对小目标的检测能力。
所述随机仿射变换处理是一些基本的几何变化,包括旋转和尺度变换、平移、裁剪。
基于图像的所述HSV颜色空间图像增强处理主要是在HSV颜色空间一定范围内改变图像的HSV值,从而达到对图像进行增强的目的。
在一些具体的实施方式中,所述对所述原始iPSC克隆显微图像进行HSV 颜色空间图像增强处理的步骤包括:
获取分辨率为2048×2048的原始iPSC克隆显微图像,并使用双线性插值的方法将所述原始iPSC克隆显微图像分辨率大小变换为640×640,然后将变换后的iPSC克隆显微图像从RGB颜色空间转化到HSV颜色空间;
在[0.5,1.5]范围内随机获取转化后的iPSC克隆显微图像的HSV变化尺度向量[h1,s1,y1];
用转化后的iPSC克隆显微图的HSV颜色空间各个值和对应的变化尺度向量元素相乘,把得到的HSV值大小限制在HSV的取值范围内;
用生成的HSV值替换所述原始iPSC克隆显微图像的HSV值,然后将得到增强后的iPSC克隆显微图像由HSV颜色空间转换回RGB颜色空间,得到了分辨率为640×640的增强iPSC克隆显微图像。
在一些实施方式中,本实施例基于目前主流的深度学习方法设计了一种iPSC克隆的自动检测算法iPSC-Det,可以同时实现iPSC克隆的追踪和质量控制,并且能实时输出检测结果。所述深度学习检测模型iPSC-Det如图3所示,其是iPSC克隆质量评估的算法核心,主要负责将预处理后的iPSC 克隆进行深度学习计算,然后输出iPSC克隆的定位和质量监控信息。该模型主要由三部分组成,分别是特征提取网络、特征融合网络、检测头。其中检测头由分类头和回归头两部分组成,分别负责输出iPSC质量控制分类信息还有定位坐标。
具体来讲,本实施例采用ResNeSt网络进行特征提取,ResNeSt是 resnet网络的最新改进版,其结构遵循了resnet系列网络的设计原则。本实施例在数据增强处理阶段获得了分辨率为640×640的增强iPSC克隆显微图像,将所述增强iPSC克隆显微图像输入到特征提取网络ResNeSt中,参考特征金字塔网络提取了ResNeSt中的conv3,conv4,conv5中最后一个卷积块的特征激活层输出,分别记为(C3,C4,C5),其对应特征分辨率为 80×80,40×40,20×20;为了获得更丰富的语义信息,本实施例参考了 Efficientdet模型的设计思路,通过对ResNeSt网络中得到的特征C5进行卷积、批量正则化和池化操作后到C6,特征分辨率为10×10;然后对C6进行2×2的最大池化得到C7,特征分辨率为5×5,即获得了五个尺度的图像特征信息,记为(C3,C4,C5,C6,C7)和网络输入图像对应的分辨率变化步幅分别为(8,16,32,64,128)。
在一些实施方式中,通过特征融合网络对获取的五个尺度的图像特征信息进行特征融合处理,所述特征融合网络使用的是加权双向特征金字塔网络BiFPN,相较于传统的只有一条自顶向下的信息流的多尺度特征融合网络FPN,BiFPN参考路径汇集网络(PANet)的设计,较FPN增加了多一条的自底向上的特征融合通道,形成了双向信息流的多尺度特征融合网络。此外,相较于PANet,BiFPN还删除了那些只有一个输入的节点,有利于减少模型的参数。因此,参考Efficientdet中的BiFPN设计思路,本实施例使用了一个联合缩放的方法思路,根据预先设定的联合缩放参数作为系数,对加权双向特征金字塔网络的串联个数进行设置;将所述五个尺度的图像特征信息输入到所述加权双向特征金字塔网络中进行特征融合处理,得到不同层次的图像融合特征。
在一些具体的实施方式中,所述预先设定的联合缩放参数取值范围为 [0,1,2],则所述加权双向特征金字塔网络的串联个数取值范围为[1,2, 3]。
在一些具体的实施方式中,对于前面得到的五个尺度的特征信息,在输入BiFPN前,本实施例首先对其进行了降通道的处理,把全部尺度特征的通道根据前面提到的联合缩放系数降到同样的维度(取值范围为 [64,88,122]),而分辨率不变,得到多尺度输入记为(P3,P4,P5,P6,P7),然后再输入到BiFPN特征融合网络中,得到多尺度特征输出,其通道数及分辨率和输入一致,记为(P3_out,P4_out,P5_out,P6_out,P7_out)。
在一些实施方式中,所述通过检测头对所述图像融合特征进行卷积处理,输出所述iPSC克隆的质量控制结果和定位信息的步骤包括:所述检测头包括分类头和回归头,所述分类头包括三个堆叠的基本模块,所述基本模块由深度可分离卷积层、批正则化层和激活层组成,所述回归头的基本模块与所述分类头的基本模块一致,其所述回归头中的最后一个深度可分离卷积层的输出通道数为每点的锚框数量和4的乘积;通过所述分类头对所述图像融合特征进行卷积处理,输出所述iPSC克隆的质量控制结果;所述回归头对所述图像融合特征进行卷积处理,输出所述iPSC克隆的定位信息。
具体来讲,分类头将从前面的BiFPN得到的多尺度特征 (P3_out,P4_out,P5_out,P6_out,P7_out)进行处理,得到最后的分类信息。为了减少模型参数,本实施例使用了深度可分离卷积来进行卷积操作。分类头的基本模块由深度可分离卷积层、批正则化层和激活层组成,一共堆叠了三个这样的基本模块。在这些基本模块的操作中,特征的通道还有分辨率没有改变。经过三个堆叠的基本模块之后就是一个深度可分离卷积的卷积头,同样分辨率没有改变,只是通道变成了每个点的锚框数量和类别数的乘积,卷积头后使用的激活函数是swish激活函数。然后通过将特征矩阵维度进行转换便于分类,转换后矩阵第一个维度大小等于训练批大小 (batch_size),第二个维度大小为特征图的宽、高和每个点的锚框个数的乘积,第三个维度就是样本的类别数。然后本实施例再将5个尺度的变换后的矩阵以第一个维度为基准拼接起来得到了分类头的最终输出。
所述回归头的基本模块和前面提到的分类头的基本模块一致,只不过是回归头中的最后一个卷积层的输出通道数变为每点的锚框数量和4的乘积。同样采取了类似分类头中矩阵大小变换形式,不过第三维度大小变成4,代表的是坐标信息。
在一些具体的实施方式中,和通用的目标检测算法一致,为了在训练过程中对网络进行优化,本实施例的方法采用的损失函数由分类损失函数和回归损失函数两部分组成。具体的,本实施例采用了何凯明在2017年提出的Focal loss来计算网络的分类结果损失。在质量监控这一部分,本实施例对iPSC克隆的质量分三类处理,分别为好、中和差三类。不同质量的 iPSC克隆的数量存在差异,因此本实施例分类损失使用的是Focal loss。本实施例回归损失使用的是smooth L1损失函数,该损失函数收敛较快,而且对异常值鲁棒性好。
在一些具体的实施方式中,通过四个指标来评价iPSC克隆的检测结果,包括精确率(precision,Pre)、召回率(recall,Rec)、平均精度(average precision,AP)和检测速度。iSPC克隆的检测速度以帧每秒 (frame/second)来衡量。AP代表的是precision-recall曲线下面积,质量监控效果越好,AP值越高。评价检测结果指标定义Pre和Rec的定义如下:
其中TP(true positive)、TN(true negative)、FP(false positive) 和FN(falsenegative)分别为真阳性、真阴性、假阳性和假阴性的样本个数。
在一些实施方式中,还提供一种计算机可读存储介质,其中,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现本发明所述用于iPSC的自动追踪和质量控制方法中的步骤。
在一些实施方式中,还提供一种终端设备,如图4所示,其包括至少一个处理器(processor)20;显示屏21;以及存储器(memory)22,还可以包括通信接口(CommunicationsInterface)23和总线24。其中,处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令,以执行上述实施例中的方法。
此外,上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质,可设置为存储软件程序、计算机可执行程序,如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块,从而执行功能应用以及数据处理,即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端设备的使用所创建的数据等。此外,存储器22可以包括高速随机存取存储器,还可以包括非易失性存储器。例如,U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等多种可以存储程序代码的介质,也可以是暂态存储介质。
此外,上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明,在这里就不再一一陈述。
综上所述,本发明提供的用于iPSC的自动追踪和质量控制方法能够保证在较高地分类准确性的情况下,实现对iPSC克隆的实时和可视化的追踪和质量监控,为iPSC的大规模生产提供重要的技术辅助。本发明提供的方法能够准确定位iPSC在显微图像中的位置,有效解决了iPSC克隆质量控制的自动化问题,且避免了手工提取特征的这一繁琐的步骤。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (7)
1.一种用于iPSC的自动追踪和质量控制方法,其特征在于,包括步骤:
对原始iPSC克隆显微图像进行数据增强处理,得到增强iPSC克隆显微图像;
采用特征金字塔网络对所述增强iPSC克隆显微图像进行特征提取处理,得到图像特征信息;
采用加权双向特征金字塔网络对所述图像特征信息进行特征融合处理,得到图像融合特征;
通过检测头对所述图像融合特征进行卷积处理,输出所述iPSC克隆的质量控制结果和定位信息;
所述对原始iPSC克隆显微图像进行数据增强处理的步骤中,所述数据增强处理包括:马赛克数据增强处理、随机仿射变换处理以及HSV颜色空间图像增强处理;
对所述原始iPSC克隆显微图像进行HSV颜色空间图像增强处理的步骤包括:
获取分辨率为2048×2048的原始iPSC克隆显微图像,并使用双线性插值的方法将所述原始iPSC克隆显微图像分辨率大小变换为640×640,然后将变换后的iPSC克隆显微图像从RGB颜色空间转化到HSV颜色空间;
在[0.5,1.5]范围内随机获取转化后的iPSC克隆显微图像的HSV变化尺度向量[h1,s1,y1];
用转化后的iPSC克隆显微图的HSV颜色空间各个值和对应的变化尺度向量元素相乘,把得到的HSV值大小限制在HSV的取值范围内;
用生成的HSV值替换所述原始iPSC克隆显微图像的HSV值,然后将得到增强后的iPSC克隆显微图像由HSV颜色空间转换回RGB颜色空间,得到了分辨率为640×640的增强iPSC克隆显微图像;
所述采用特征金字塔网络对所述增强iPSC克隆显微图像进行特征提取处理,得到图像特征信息的步骤包括:
将所述增强iPSC克隆显微图像输入到特征提取网络ResNeSt中,参考特征金字塔网络提取了ResNeSt中的conv3,conv4,conv5中最后一个卷积块的特征激活层输出,分别记为C3,C4,C5,其对应特征分辨率为80×80,40×40,20×20;
对ResNeSt网络中得到的特征C5进行卷积、批量正则化和池化操作后到C6,特征分辨率为10×10;
对C6进行2×2的最大池化得到C7,特征分辨率为5×5,即获得了五个尺度的图像特征信息,记为C3,C4,C5,C6,C7。
2.根据权利要求1所述用于iPSC的自动追踪和质量控制方法,其特征在于,所述采用加权双向特征金字塔网络对所述图像特征信息进行特征融合处理的步骤包括:
根据预先设定的联合缩放参数作为系数,对加权双向特征金字塔网络的串联个数进行设置;
将所述五个尺度的图像特征信息输入到所述加权双向特征金字塔网络中进行特征融合处理,得到不同层次的图像融合特征。
3.根据权利要求2所述用于iPSC的自动追踪和质量控制方法,其特征在于,所述预先设定的联合缩放参数取值范围为[0,1,2],则所述加权双向特征金字塔网络的串联个数取值范围为[1,2,3]。
4.根据权利要求2所述用于iPSC的自动追踪和质量控制方法,其特征在于,所述采用加权双向特征金字塔网络对所述图像特征信息进行特征融合处理之前,还包括步骤:
对所述五个尺度的图像特征信息进行降通道处理,使所述五个尺度的图像特征信息通道降到与按照预先设定的联合缩放参数同样的维度。
5.根据权利要求2所述用于iPSC的自动追踪和质量控制方法,其特征在于,所述通过检测头对所述图像融合特征进行卷积处理,输出所述iPSC克隆的质量控制结果和定位信息的步骤包括:
所述检测头包括分类头和回归头,所述分类头包括三个堆叠的基本模块,所述基本模块由深度可分离卷积层、批正则化层和激活层组成,所述回归头的基本模块与所述分类头的基本模块一致,其所述回归头中的最后一个深度可分离卷积层的输出通道数为每点的锚框数量和4的乘积;
通过所述分类头对所述图像融合特征进行卷积处理,输出所述iPSC克隆的质量控制结果;
所述回归头对所述图像融合特征进行卷积处理,输出所述iPSC克隆的定位信息。
6.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如权利要求1-5任意一项所述用于iPSC的自动追踪和质量控制方法中的步骤。
7.一种终端设备,其特征在于,包括:处理器、存储器及通信总线;所述存储器上存储有可被所述处理器执行的计算机可读程序;
所述通信总线实现处理器和存储器之间的连接通信;
所述处理器执行所述计算机可读程序时实现如权利要求1-5任意一项所述用于iPSC的自动追踪和质量控制方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010987470.7A CN112132001B (zh) | 2020-09-18 | 2020-09-18 | 一种用于iPSC的自动追踪和质量控制方法及终端设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010987470.7A CN112132001B (zh) | 2020-09-18 | 2020-09-18 | 一种用于iPSC的自动追踪和质量控制方法及终端设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112132001A CN112132001A (zh) | 2020-12-25 |
CN112132001B true CN112132001B (zh) | 2023-09-08 |
Family
ID=73842973
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010987470.7A Active CN112132001B (zh) | 2020-09-18 | 2020-09-18 | 一种用于iPSC的自动追踪和质量控制方法及终端设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112132001B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112699900A (zh) * | 2021-01-05 | 2021-04-23 | 东北林业大学 | 一种改进YOLOv4的交通标志识别方法 |
CN113221761B (zh) * | 2021-05-17 | 2023-09-05 | 深圳大学 | 基于集成式Yolo网络的iPSCs群落检测方法、存储介质及装置 |
CN113421221A (zh) * | 2021-05-20 | 2021-09-21 | 深圳大学 | 一种检测早期iPSCs质量的方法、存储介质及装置 |
CN116400490B (zh) * | 2023-06-08 | 2023-08-25 | 杭州华得森生物技术有限公司 | 荧光显微成像系统及其方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110287849A (zh) * | 2019-06-20 | 2019-09-27 | 北京工业大学 | 一种适用于树莓派的轻量化深度网络图像目标检测方法 |
CN110705457A (zh) * | 2019-09-29 | 2020-01-17 | 核工业北京地质研究院 | 一种遥感影像建筑物变化检测方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7711174B2 (en) * | 2004-05-13 | 2010-05-04 | The Charles Stark Draper Laboratory, Inc. | Methods and systems for imaging cells |
US7907769B2 (en) * | 2004-05-13 | 2011-03-15 | The Charles Stark Draper Laboratory, Inc. | Image-based methods for measuring global nuclear patterns as epigenetic markers of cell differentiation |
-
2020
- 2020-09-18 CN CN202010987470.7A patent/CN112132001B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110287849A (zh) * | 2019-06-20 | 2019-09-27 | 北京工业大学 | 一种适用于树莓派的轻量化深度网络图像目标检测方法 |
CN110705457A (zh) * | 2019-09-29 | 2020-01-17 | 核工业北京地质研究院 | 一种遥感影像建筑物变化检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112132001A (zh) | 2020-12-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112132001B (zh) | 一种用于iPSC的自动追踪和质量控制方法及终端设备 | |
Yasrab et al. | RootNav 2.0: Deep learning for automatic navigation of complex plant root architectures | |
CN112288706B (zh) | 一种自动化的染色体核型分析以及异常检测方法 | |
CN110647875B (zh) | 一种血细胞分割、识别模型构造的方法及血细胞识别方法 | |
JP7026826B2 (ja) | 画像処理方法、電子機器および記憶媒体 | |
WO2020007363A1 (zh) | 识别目标数量的方法、装置及计算机可读存储介质 | |
WO2020029915A1 (zh) | 基于人工智能的中医舌像分割装置、方法及存储介质 | |
CN111476794B (zh) | 一种基于unet的宫颈病理组织分割方法 | |
CN116051560B (zh) | 基于胚胎多维度信息融合的胚胎动力学智能预测系统 | |
CN108664986A (zh) | 基于lp范数正则化的多任务学习图像分类方法及系统 | |
CN109903238A (zh) | 一种细粒度图片处理方法、装置和存储介质 | |
CN113838009A (zh) | 一种基于半监督机制的异常细胞检测假阳性抑制方法 | |
CN112819768A (zh) | 基于dcnn的癌症全视野数字病理切片生存分析方法 | |
CN113421221A (zh) | 一种检测早期iPSCs质量的方法、存储介质及装置 | |
Du et al. | Organoids revealed: morphological analysis of the profound next generation in-vitro model with artificial intelligence | |
CN106874712A (zh) | 一种基于池化时间序列特征表示的细胞分裂事件识别方法 | |
CN114627123B (zh) | 综合双流加权网络和空间注意力机制的白带细胞检测方法 | |
CN113221761B (zh) | 基于集成式Yolo网络的iPSCs群落检测方法、存储介质及装置 | |
Ke et al. | Multiple-datasets and multiple-label based color normalization in histopathology with cGAN | |
CN113222114B (zh) | 一种图像数据增广方法及装置 | |
JP2024513984A (ja) | 微細藻類培養物サンプルの顕微鏡画像の解析 | |
CN113889233A (zh) | 基于流形回归网络的细胞定位与计数方法及应用 | |
Hindarto | Comparative Analysis VGG16 Vs MobileNet Performance for Fish Identification | |
Pravalphruekul et al. | Detecting Philadelphia Chromosome on metaphase images using a convolutional neural network | |
Karunanidhi et al. | Plant disease detection and classification using deep learning CNN algorithms |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |