CN113221761A - 基于集成式Yolo网络的iPSCs群落检测方法、存储介质及装置 - Google Patents

基于集成式Yolo网络的iPSCs群落检测方法、存储介质及装置 Download PDF

Info

Publication number
CN113221761A
CN113221761A CN202110533348.7A CN202110533348A CN113221761A CN 113221761 A CN113221761 A CN 113221761A CN 202110533348 A CN202110533348 A CN 202110533348A CN 113221761 A CN113221761 A CN 113221761A
Authority
CN
China
Prior art keywords
ipscs
integrated
image
yolo
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110533348.7A
Other languages
English (en)
Other versions
CN113221761B (zh
Inventor
汪天富
王兴猎
雷柏英
岳广辉
周光前
廖进齐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202110533348.7A priority Critical patent/CN113221761B/zh
Publication of CN113221761A publication Critical patent/CN113221761A/zh
Application granted granted Critical
Publication of CN113221761B publication Critical patent/CN113221761B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于集成式Yolo网络的iPSCs群落检测方法、存储介质及装置，方法包括步骤：对获得的iPSCs明场显微图进行数据增强处理，得到增强图像；将所述增强图像分别输入三个不同网络层数的已训练Yolo网络中，得到三个预测结果；将所述三个预测结果解翻转和解压缩后进行串接处理，得到串接结果；采用极大值检测算法对所述串接结果进行检测，得到最终的iPSCs群落检测结果。本发明方法可在保存一定精度条件下，快速在显微镜明场图中定位出质量较好的iPSCs，从而减轻了研究人员在显微视野下人工搜索iPSCs群落和对其质量判定的工作量，进而为iPSCs的大规模培养和研究提供了关键的技术支持。

Description

基于集成式Yolo网络的iPSCs群落检测方法、存储介质及装置
技术领域
本发明涉及细胞培养检测领域，特别涉及基于集成式Yolo网络的iPSCs群落检测方法、存储介质及装置。
背景技术
2006年，日本山中伸弥团队利用慢性病毒载体将Oct4、Scx2、c-Myc、Klf4四种转录因子转入小鼠成体细胞中，将小鼠成体细胞成功转化为诱导性多能干细胞(iPSCs)。iPSCs具有类似于胚胎干细胞的再生能力，理论上具有分化为任何组织器官的能力和强大的复制增殖能力，而且由于iPSCs可以由体细胞转化而来，从而在来源方面也避免了社会伦理问题，因此iPSCs在医学上有极大地应用空间。而在iPSCs的培养过程中，其健康状况对于后续的实验和治疗有着重要的意义。
尽管iPSCs应用前景备受瞩目，但是依然存在着制备效率低和耗费人力物力巨大的特点，其大规模制备和研究仍需克服大量的技术难题。其中一个技术难题在iPSCs培养过程中在广阔的显微视野下找到iPSCs群落，并筛选出状态较好的iPSCs进行后续培养和研究。目前该任务主要依靠iPSCs研究人员手动完成，工作量巨大且易受相关人员主观意见的影响。此外，显微视野下的光照不均，iPSCs群落的堆叠状况也为研究人员寻找iPSCs群落和判断其状态带来了新的困难。
因此，现有技术还有待于改进和发展。
发明内容
本发明要解决的技术问题在于，针对现有技术的不足，提供基于集成式Yolo网络的iPSCs群落检测方法，旨在解决现有技术是通过人工在显微视野下搜索iPSCs群落和对其质量判定，其存在工作量大以及判断不精准的问题。
为了解决上述技术问题，本发明所采用的技术方案如下：
一种基于集成式Yolo网络的iPSCs群落检测方法，其中，包括步骤：
对获得的iPSCs明场显微图进行数据增强处理，得到增强图像；
将所述增强图像分别输入三个不同网络层数的已训练Yolo网络中，得到三个预测结果；
将所述三个预测结果解翻转和解压缩后进行串接处理，得到串接结果；
采用极大值检测算法对所述串接结果进行检测，得到最终的iPSCs群落检测结果。
所述基于集成式Yolo网络的iPSCs群落检测方法，其中，对获得的iPSCs明场显微图进行数据增强处理之前还包括：
采用二阶线性插值方法将分辨率为1024*1024的iPSCs明场显微图缩小到分辨率为640*640的iPSCs明场显微图。
所述基于集成式Yolo网络的iPSCs群落检测方法，其中，所述数据增强处理包括图像颜色增强处理和随机变换处理。
所述基于集成式Yolo网络的iPSCs群落检测方法，其中，对获得的iPSCs明场显微图进行图像颜色增强处理的步骤包括：
将iPSCs明场显微图从RGB空间转换到HSV空间并分离得到图像的色度、饱和度、明度三个分量；
在[-1,1]的均匀分布范围内随机选取三个值，将所述三个值分别与所述图像的色度、饱和度、明度三个分量进行相乘，然后将得到的色度结果除以180，饱和度和明度限制在[0,255]的颜色范围内，得到增强后的色度、饱和度和明度；
使用cv2.merge函数将所述增强后的色度，饱和度和明度混合，得到增强后HSV颜色空间图像，然后使用cv2.cvtColor函数将所述增强后HSV颜色空间图像转化回RGB颜色空间图像。
所述基于集成式Yolo网络的iPSCs群落检测方法，其中，所述随机变换处理为图像旋转、尺度变换、图像裁剪和图像平移中的一种或多种。
所述基于集成式Yolo网络的iPSCs群落检测方法，其中，将所述增强图像分别输入三个不同网络层数的已训练Yolo网络中，得到三个预测结果的步骤包括：
使用图像标记软件对获得的iPSCs明场显微图中的iPSCs进行标记，得到标记后iPSCs明场显微图；
基于所述标记后iPSCs明场显微图对Yolo网络进行训练，得到已训练Yolo网络，所述Yolo网络包括骨干网络CSPDarknet53、空间金字塔池化层SPP、自顶向下的特征融合模块FPN、自底向上的特征融合模块PAN以及三个尺度检测头HEAD。
所述基于集成式Yolo网络的iPSCs群落检测方法，其中，所述三个不同网络层数的已训练Yolo网络分别为283层的已训练Yolo网络、391层的已训练Yolo网络以及499层的已训练Yolo网络。
一种存储介质，其中，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现本发明所述基于集成式Yolo网络的iPSCs群落检测方法中的步骤。
一种基于集成式Yolo网络的iPSCs群落检测装置，其中，包括处理器，适于实现各指令；以及存储介质，适于存储多条指令，所述指令适于由处理器加载并执行本发明所述基于集成式Yolo网络的iPSCs群落检测方法中的步骤。
有益效果：本发明提出了一种基于集成式Yolo网络的iPSCs群落检测方法，对获得的iPSCs明场显微图进行数据增强处理，得到增强图像；将所述增强图像分别输入三个不同网络层数的已训练Yolo网络中，得到三个预测结果；将所述三个预测结果解翻转和解压缩后进行串接处理，得到串接结果；采用极大值检测算法对所述串接结果进行检测，得到最终的iPSCs群落检测结果。与现有人工检测技术相比，本发明方法可在保存一定精度条件下，快速在显微镜明场图中定位出质量较好的iPSCs，从而减轻了研究人员在显微视野下人工搜索iPSCs群落和对其质量判定的工作量，进而为iPSCs的大规模培养和研究提供了关键的技术支持。
附图说明
图1为本发明基于集成式Yolo网络的iPSCs群落检测方法较佳实施例的流程图。
图2为经过图像颜色增强处理和随机变换处理后的iPSCs明场显微图。
图3为Yolo网络的结构示意图。
图4为Yolo网络中各个模块的结构示意图。
图5为集成式Yolo网络检测流程图。
图6为本发明基于集成式Yolo网络的iPSCs群落检测装置的原理图。
具体实施方式
本发明提供一种基于集成式Yolo网络的iPSCs群落检测方法、存储介质及装置，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
下面结合附图，通过对实施例的描述，对发明内容作进一步说明。
诱导性多能干细胞(induced Pluripotent Stem Cells，iPSCs)是体细胞经过诱导因子转化而成的多能干细胞，iPSCs在基因表达、蛋白质转录和分化能力等方面都与胚胎干细胞相似，因此在开发药物或治疗疾病等方面有巨大的潜力。目前对未分化的iPSCs健康质量进行检测主要依靠iPSCs研究人员手动完成，其工作量巨大且易受相关人员主观意见的影响。此外，显微视野下的光照不均，iPSCs群落的堆叠状况也为研究人员寻找iPSCs群落和判断其状态带来了新的困难。
基于此，本发明提供了一种基于集成式Yolo网络的iPSCs群落检测方法，如图1所示，其包括步骤：
S10、对获得的iPSCs明场显微图进行数据增强处理，得到增强图像；
S20、将所述增强图像分别输入三个不同网络层数的已训练Yolo网络中，得到三个预测结果；
S30、将所述三个预测结果解翻转和解压缩后进行串接处理，得到串接结果；
S40、采用极大值检测算法对所述串接结果进行检测，得到最终的iPSCs群落检测结果。
本发明为了减轻iPSCs研究人员的负担，设计了一种基于集成式Yolo网络的iPSCs群落检测方法，该方法可在保存一定精度条件下，快速在显微镜明场图中定位出质量较好的iPSCs，从而减轻了研究人员在显微视野下人工搜索iPSCs群落和对其质量判定的工作量，进而为iPSCs的大规模培养和研究提供了关键的技术支持。
在一些实施方式中，在iPSCs群落的检测任务中，由于获得的iPSCs明场显微图存在光照明暗分布不均、数据量少的特点，为了解决这两个问题，本实施例通过对iPSCs明场显微图进行图像颜色增强处理和随机变换处理，得到增强图像。
在一些具体的实施方式中，对获得的iPSCs明场显微图进行图像颜色增强处理的步骤包括：分别使用python中cv2函数库的cv2.cvtColor函数和cv2.split函数将iPSCs明场显微图从RGB空间转换到HSV空间并分离得到图像的色度、饱和度、明度三个分量；使用numpy.random.uniform函数在[-1,1]的均匀分布范围内随机选取三个值，将所述三个值分别与所述图像的色度、饱和度、明度三个分量进行相乘，然后将得到的色度结果除以180，饱和度和明度限制在[0,255]的颜色范围内，得到增强后的色度、饱和度和明度；使用cv2.merge函数将所述增强后的色度，饱和度和明度混合，得到增强后HSV颜色空间图像，然后使用cv2.cvtColor函数将所述增强后HSV颜色空间图像转化回RGB颜色空间图像。
在一些具体的实施方式中，对获得的iPSCs明场显微图进行随机变化处理包括图像旋转、尺度变换、图像裁剪和图像平移中的一种或多种，目的是通过这些随机变换的方法让算法从多个角度学习数据特征，进而缓解图像样本量小的问题。作为举例，可采取的平移比例为0.1，缩放尺度为0.5，旋转角度为90°的倍数。如图2所示，图2为经过图像颜色增强处理和随机变换处理后的iPSCs明场显微图。
在一些实施方式中，为了减少代码运算量，在对获得的iPSCs明场显微图进行数据增强处理之前还包括：采用二阶线性插值方法将分辨率为1024*1024的iPSCs明场显微图缩小到分辨率为640*640的iPSCs明场显微图。
在一些实施方式中，为了能够快速准确地在显微镜明场图中定位出质量较好的iPSCs群落的位置，我们在主流的目标检测算法Yolo v5的基础上，结合了集成学习的方法，还有测试时数据增强的算法，设计了集成式Yolo目标检测算法来对iPSCs进行检测。集成式Yolo目标检测算法主要由两部分组成：基本的Yolo网络、集成学习模块。
具体来讲，基本的Yolo网络结构如图3所示，其主要包括骨干网络CSPDarknet53、空间金字塔池化层SPP、自顶向下的特征融合模块FPN、自底向上的特征融合模块PAN以及三个尺度检测头HEAD。
其中，CSPDarknet53骨干网络借鉴了resnet网络设计模式，由多个CSPDarkneck模块堆叠而成。CSPDarkneck具体是由跨阶段金字塔结构(CSP)和Darknet网络模块按照resnet中的bottleneck模块设计而成。如图4中(a)所示，CSPDarknet模块根据通道维度将输入特征图分成两个部分C(i,1)和C(i,2)，i＝{1,2,3}表示的是不同水平的特征。C(i,2)首先会经过一个Darknet网络模块，然后再输入由卷积层构成的转换模块T1中，得到输出后和C(i,1)沿通道维度串接，再经过转换模块T2得到最终的输出。CSPDarknet通过将输入特征分为两部分，可以截断梯度流。从而防止不同的层学习重复的梯度信息。输入分辨率为640×640大小的预处理图片后，CSPDarknet53网络处理得到分辨率大小为80×80、40×40、20×20的特征C1、C2、C3分别用来输入后续的特征处理模块中。
其中，空间金字塔池化模块SPP的结构如图4中(b)所示，其由输入卷积层，池化核大小分别为5×5、9×9、13×13的三个并列的最大值池化层M1、M2、M3，输出卷积层构成。由骨干网络得到的高层特征C3被输入空间金字塔模块中，得到感受野增强后的与输入尺寸相同的输出特征。
其中，特征融合模块FPN的结构如图4中(c)所示，自上而下的FPN模块输入为经过骨干网络和空间金字塔池化模块处理得到的多尺度特征。上层特征Pi+1以及经过横向连接卷积层处理后的特征Ci相加后经过3×3的卷积处理得到该FPN层的输出特征Pi。经过FPN模块后我们得到了与C1、C2、C3特征尺寸相同的三个细化后的特征P1、P2、P3。
其中，特征融合模块PAN的结构如图4中(d)所示，自下而上的PAN模块和FPN处理特征流的方向相反。PAN模块的输入为FPN模块中得到的细化特征P1、P2、P3。上层特征Ni和经过横向连接卷积层处理后的特征Pi相加后经过3×3的卷积处理得到该PAN层的输出特征Ni。PAN模块的最终输出N1、N2、N3的尺寸大小分别和其输入P1、P2、P3一致。这样，经过自下而上的PAN模块后，我们就得到了更加精细的融合了高层语义信息和底层空间信息的多尺度特征。
其中，目标检测头HEAD包含三个不同缩放尺度80×80、40×40、20×20的目标检测头，三个检测头均由简单的1×1卷积层、批正则化层、激活层构成，输出通道数调整为(n个类别数+1个概率数+4坐标数)×3个锚框。最终模型的输出即为三个检测头的输出的叠加。
在一些实施方式中，使用图像标记软件对获得的iPSCs明场显微图中的iPSCs进行标记，得到标记后iPSCs明场显微图；基于所述标记后iPSCs明场显微图对Yolo网络进行训练，得到已训练Yolo网络。
具体来讲，实验中本实施例使用的iPSCs明场显微图来源于合作单位深圳市抗衰老和再生医学重点实验室。我们和合作单位共同收集iPSCs培养过程中的明场显微图，合作单位负责对收集好后的iPSCs明场显微图进行标记。其中项目中使用的iPSCs细胞是合作单位使用病毒转染的形式将间充质干细胞进行重编程处理得到的，然后使用
Figure BDA0003068740710000061
hPSC XF培养基和六孔板进行后续的传代培养。我们和合作单位利用共聚焦显微镜记录了iPSCs重编程后培养过程中的第8到第18天的显微明场图。最后通过讨论分析，本实施例采用了第18天共525张分辨率为1024×1024明场显微图进行分析处理，然后使用专业图像标记软件Labelme进行图像对质量较好的iPSCs进行标记，得到了它们的位置坐标和类别信息；基于所述标记后iPSCs明场显微图对Yolo网络进行训练，得到已训练Yolo网络。
在一些实施方式中，请参阅图4，图4为集成式Yolo网络检测流程示意图。在训练好Yolo网络后，将所述增强图像分别输入三个不同网络层数的已训练Yolo网络中，得到三个预测结果，所述预测结果包括iPSCs群落的坐标信息和类别信息，这三个不同网络层数的已训练Yolo网络和上面描述的基本的Yolo网络结构一致，不过网络的层数分别为283、391、499；将所述三个预测结果解翻转和解压缩后进行串接处理，得到串接结果；最后利用目标检测网络中常用的极大值检测算法对所述串接结果进行检测，得到最终的iPSCs群落检测结果，通过集成学习方法处理后我们得到了置信度分数更高的边界框，同时也减少了iPSCs群落的误检和漏检的情况。
在一些实施方式中，为了对我们设计的集成式Yolo算法性能进行验证，我们采用了一张NVIDIA GeForce GTX 2060 Ti 24G进行实验。训练的周期数(epoch)全部设置为200，批大小(batch_size)全部设置为8，训练学习率全部设置为0.0001，模型优化器采用的是Adam优化器。实验过程中我们首先在训练阶段训练好不同深度的Yolo网络，然后在推理阶段利用模型集成方法集成训练好的不同深度的算法推理结果，结合测试时数据增强和非极大值抑制算法得到iPSCs显微明场图的最终检测结果。
通过四个指标来评价iPSC克隆的检测结果，包括精确率(precision，Pre)、召回率(recall，Rec)、F1分数、IOU阈值为0.5时的平均精度(average precision，AP50)。AP代表的是precision-recall曲线下面积，质量监控效果越好，AP值越高。
Figure BDA0003068740710000071
其中TP(true positive)、TN(true negative)、FP(falsepositive)和FN(false negative)分别为真阳性、真阴性、假阳性和假阴性的样本个数，真阳性是指原本是质量好的iPSCs克隆，检测结果也为质量好的iPSCs克隆；真阴性是指原本为质量不好的iPSCs克隆或者背景，检测结果也为质量不好的iPSCs克隆或背景；假阳性是指原本为质量不好的iPSCs克隆或背景，但是检测结果为质量好的iPSCs克隆；假阴性是指原本为质量为好的iPSCs克隆，但是检测结果为质量不好iPSCS克隆的或者是背景。
在一些实施方式中，由于在将所述增强图像分别输入三个不同网络层数的已训练Yolo网络之前，通常会对用到的图像翻转主要有翻转和压缩，因此，在还原原图像目标坐标时候，需要对目标检测网络的预测结果(x,y,w,h,conf_score,class_id)中的坐标信息进行解翻转，其中x和y为检测边界框的中心点左边，w和h为边界框的宽和高，conf_score则为边界框的置信度，class_id为预测边界框中目标的类别信息。如果是上下翻转的话，我们用图像的宽减去预测边界框中心点的横坐标x即可，如果是左右翻转则使用图像的高减去边界框中心点的纵坐标y即可。
解压缩则是还原检测结果(x,y,w,h,conf_score,class_id)在图像尺度缩放前的坐标，比如我们将2048x2048的图像压缩到1024x1024进行检测之后，需要将检测结果中的坐标信息(x,y,w,h)乘以2才能使预测结果的坐标信息和原图坐标信息对应。
进一步地，如前面两个步骤，得到的每个检测框为(x,y,w,h,conf_score,class_id)，然后利用torch.cat()函数将所有检测框结果以dimension＝0串接起来。
在一些具体的实施方式中，假设检测网络的输出为Nx6(N代表预测的boundingbox个数，6指的是(x,y,w,h,conf_score,class_id)的长度)。因为这些结果中存在着很多相互堆叠的目标边界框和置信度低的目标边界框，这些都是冗余的预测结果，因此非极大值抑制算法的目的就是剔除这些冗余的预测目标，算法流程图下：
根据置信度得分对边界框进行排序；
选择置信度最高的边界框添加到最终输出列表中，将其从边界框列表中删除；
计算所有边界框的面积；
计算置信度最高的边界框与其它候选框的IoU；
删除IoU大于阈值的边界框
重复上述过程，获得最后检测结果。
采用极大值抑制算法对串接结果进行检测可以删除冗余的检测结果，比如置信度较低的边界框以及重叠率大的边界框，这样得到的检测结果更加准确。
在一些实施方式中，还提供一种存储介质，其中，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现本发明所述基于集成式Yolo网络的iPSCs群落检测方法中的步骤。
在一些实施方式中，还提供一种基于集成式Yolo网络的iPSCs群落检测装置，如图5所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
综上所述，与现有人工检测技术相比，本发明方法可在保存一定精度条件下，快速在显微镜明场图中定位出质量较好的iPSCs，从而减轻了研究人员在显微视野下人工搜索iPSCs群落和对其质量判定的工作量，进而为iPSCs的大规模培养和研究提供了关键的技术支持。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种基于集成式Yolo网络的iPSCs群落检测方法，其特征在于，包括步骤：
对获得的iPSCs明场显微图进行数据增强处理，得到增强图像；
将所述增强图像分别输入三个不同网络层数的已训练Yolo网络中，得到三个预测结果；
将所述三个预测结果解翻转和解压缩后进行串接处理，得到串接结果；
采用极大值检测算法对所述串接结果进行检测，得到最终的iPSCs群落检测结果。
2.根据权利要求1所述基于集成式Yolo网络的iPSCs群落检测方法，其特征在于，对获得的iPSCs明场显微图进行数据增强处理之前还包括：
采用二阶线性插值方法将分辨率为1024*1024的iPSCs明场显微图缩小到分辨率为640*640的iPSCs明场显微图。
3.根据权利要求1所述基于集成式Yolo网络的iPSCs群落检测方法，其特征在于，所述数据增强处理包括图像颜色增强处理和随机变换处理。
4.根据权利要求3所述基于集成式Yolo网络的iPSCs群落检测方法，其特征在于，对获得的iPSCs明场显微图进行图像颜色增强处理的步骤包括：
将iPSCs明场显微图从RGB空间转换到HSV空间并分离得到图像的色度、饱和度、明度三个分量；
在[-1,1]的均匀分布范围内随机选取三个值，将所述三个值分别与所述图像的色度、饱和度、明度三个分量进行相乘，然后将得到的色度结果除以180，饱和度和明度限制在[0,255]的颜色范围内，得到增强后的色度、饱和度和明度；
使用cv2.merge函数将所述增强后的色度，饱和度和明度混合，得到增强后HSV颜色空间图像，然后使用cv2.cvtColor函数将所述增强后HSV颜色空间图像转化回RGB颜色空间图像。
5.根据权利要求3所述基于集成式Yolo网络的iPSCs群落检测方法，其特征在于，所述随机变换处理为图像旋转、尺度变换、图像裁剪和图像平移中的一种或多种。
6.根据权利要求1所述基于集成式Yolo网络的iPSCs群落检测方法，其特征在于，将所述增强图像分别输入三个不同网络层数的已训练Yolo网络中，得到三个预测结果的步骤包括：
使用图像标记软件对获得的iPSCs明场显微图中的iPSCs进行标记，得到标记后iPSCs明场显微图；
基于所述标记后iPSCs明场显微图对Yolo网络进行训练，得到已训练Yolo网络，所述Yolo网络包括骨干网络CSPDarknet53、空间金字塔池化层SPP、自顶向下的特征融合模块FPN、自底向上的特征融合模块PAN以及三个尺度检测头HEAD。
7.根据权利要求1所述基于集成式Yolo网络的iPSCs群落检测方法，其特征在于，所述三个不同网络层数的已训练Yolo网络分别为283层的已训练Yolo网络、391层的已训练Yolo网络以及499层的已训练Yolo网络。
8.一种存储介质，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-7任意一项所述基于集成式Yolo网络的iPSCs群落检测方法中的步骤。
9.一种基于集成式Yolo网络的iPSCs群落检测装置，其特征在于，包括处理器，适于实现各指令；以及存储介质，适于存储多条指令，所述指令适于由处理器加载并执行权利要求1-7任意一项所述基于集成式Yolo网络的iPSCs群落检测方法中的步骤。
CN202110533348.7A 2021-05-17 2021-05-17 基于集成式Yolo网络的iPSCs群落检测方法、存储介质及装置 Active CN113221761B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110533348.7A CN113221761B (zh) 2021-05-17 2021-05-17 基于集成式Yolo网络的iPSCs群落检测方法、存储介质及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110533348.7A CN113221761B (zh) 2021-05-17 2021-05-17 基于集成式Yolo网络的iPSCs群落检测方法、存储介质及装置

Publications (2)

Publication Number Publication Date
CN113221761A true CN113221761A (zh) 2021-08-06
CN113221761B CN113221761B (zh) 2023-09-05

Family

ID=77092289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110533348.7A Active CN113221761B (zh) 2021-05-17 2021-05-17 基于集成式Yolo网络的iPSCs群落检测方法、存储介质及装置

Country Status (1)

Country Link
CN (1) CN113221761B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114022705A (zh) * 2021-10-29 2022-02-08 电子科技大学 一种基于场景复杂度预分类的自适应目标检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583321A (zh) * 2018-11-09 2019-04-05 同济大学 一种基于深度学习的结构化道路中小物体的检测方法
CN109753903A (zh) * 2019-02-27 2019-05-14 北航（四川）西部国际创新港科技有限公司 一种基于深度学习的无人机检测方法
CN109917818A (zh) * 2019-01-31 2019-06-21 天津大学 基于地面机器人的协同搜索围堵方法
CN110321923A (zh) * 2019-05-10 2019-10-11 上海大学 不同尺度感受野特征层融合的目标检测方法、系统及介质
CN111476219A (zh) * 2020-06-02 2020-07-31 苏州科技大学 智能家居环境中图像目标检测方法
CN112132001A (zh) * 2020-09-18 2020-12-25 深圳大学 一种用于iPSC的自动追踪和质量控制方法及终端设备
CN112347977A (zh) * 2020-11-23 2021-02-09 深圳大学 一种诱导性多能干细胞的自动检测方法、存储介质及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583321A (zh) * 2018-11-09 2019-04-05 同济大学 一种基于深度学习的结构化道路中小物体的检测方法
CN109917818A (zh) * 2019-01-31 2019-06-21 天津大学 基于地面机器人的协同搜索围堵方法
CN109753903A (zh) * 2019-02-27 2019-05-14 北航（四川）西部国际创新港科技有限公司 一种基于深度学习的无人机检测方法
CN110321923A (zh) * 2019-05-10 2019-10-11 上海大学 不同尺度感受野特征层融合的目标检测方法、系统及介质
CN111476219A (zh) * 2020-06-02 2020-07-31 苏州科技大学 智能家居环境中图像目标检测方法
CN112132001A (zh) * 2020-09-18 2020-12-25 深圳大学 一种用于iPSC的自动追踪和质量控制方法及终端设备
CN112347977A (zh) * 2020-11-23 2021-02-09 深圳大学 一种诱导性多能干细胞的自动检测方法、存储介质及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114022705A (zh) * 2021-10-29 2022-02-08 电子科技大学 一种基于场景复杂度预分类的自适应目标检测方法
CN114022705B (zh) * 2021-10-29 2023-08-04 电子科技大学 一种基于场景复杂度预分类的自适应目标检测方法

Also Published As

Publication number Publication date
CN113221761B (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
CN107909101B (zh) 基于卷积神经网络的半监督迁移学习字符识别方法及系统
Versari et al. Long-term tracking of budding yeast cells in brightfield microscopy: CellStar and the Evaluation Platform
CN112132001B (zh) 一种用于iPSC的自动追踪和质量控制方法及终端设备
CN112347977B (zh) 一种诱导性多能干细胞的自动检测方法、存储介质及装置
Chang et al. Human induced pluripotent stem cell region recognition in microscopy images using convolutional neural networks
CN115661628A (zh) 一种基于改进YOLOv5S模型的鱼类检测方法
Momeni et al. Deep recurrent attention models for histopathological image analysis
CN110400362A (zh) 一种基于图像的abaqus二维裂纹建模方法、系统及计算机可读存储介质
Cuny et al. Cell region fingerprints enable highly precise single-cell tracking and lineage reconstruction
CN107886165A (zh) 一种基于计算机模式识别的并行卷积神经网络方法
CN116012721B (zh) 一种基于深度学习的水稻叶片病斑检测方法
CN113569737A (zh) 基于自主学习网络模型笔记本屏幕缺陷检测方法及介质
CN113221761A (zh) 基于集成式Yolo网络的iPSCs群落检测方法、存储介质及装置
CN116797832A (zh) 一种基于混合深度学习模型的大球盖菇分级检测方法
CN113421221A (zh) 一种检测早期iPSCs质量的方法、存储介质及装置
WO2022042509A1 (zh) 基于表达量预测模型的细胞筛选方法和装置
CN110163855A (zh) 一种基于多路深度卷积神经网络的彩色图像质量评价方法
CN115272342B (zh) 基于明场图像的细胞分化程度评估方法、存储介质及系统
CN116524495A (zh) 一种基于多维通道注意力机制的中药显微识别方法及系统
Sun et al. CIEGAN: a deep learning tool for cell image enhancement
Yue et al. Quality evaluation of induced pluripotent stem cell colonies by fusing multi-source features
Zhu et al. Real-time traffic sign detection based on YOLOv2
Jiang et al. A learning-guided hierarchical approach for biomedical image segmentation
Zeng et al. Two-stream multi-focus image fusion based on the latent decision map
Pan et al. Accurate detection and instance segmentation of unstained living adherent cells in differential interference contrast images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant