CN117690128B - 胚胎细胞多核目标检测系统、方法和计算机可读存储介质 - Google Patents
胚胎细胞多核目标检测系统、方法和计算机可读存储介质 Download PDFInfo
- Publication number
- CN117690128B CN117690128B CN202410159326.2A CN202410159326A CN117690128B CN 117690128 B CN117690128 B CN 117690128B CN 202410159326 A CN202410159326 A CN 202410159326A CN 117690128 B CN117690128 B CN 117690128B
- Authority
- CN
- China
- Prior art keywords
- target detection
- layer
- characteristic
- embryo
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 110
- 210000001161 mammalian embryo Anatomy 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000004927 fusion Effects 0.000 claims abstract description 29
- 238000000605 extraction Methods 0.000 claims abstract description 26
- 241000894006 Bacteria Species 0.000 claims abstract description 16
- 238000005516 engineering process Methods 0.000 claims abstract description 13
- 238000010586 diagram Methods 0.000 claims description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 17
- 230000002457 bidirectional effect Effects 0.000 claims description 13
- 230000007246 mechanism Effects 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 7
- 230000001629 suppression Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000006835 compression Effects 0.000 claims description 5
- 238000007906 compression Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims 2
- 210000004027 cell Anatomy 0.000 description 45
- 230000008569 process Effects 0.000 description 10
- 210000002308 embryonic cell Anatomy 0.000 description 9
- 239000012535 impurity Substances 0.000 description 5
- 230000032823 cell division Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 210000005088 multinucleated cell Anatomy 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 210000002472 endoplasmic reticulum Anatomy 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000003776 cleavage reaction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000004720 fertilization Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000007017 scission Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 210000003934 vacuole Anatomy 0.000 description 2
- 208000019888 Circadian rhythm sleep disease Diseases 0.000 description 1
- 208000001456 Jet Lag Syndrome Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000005054 agglomeration Methods 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000625 blastula Anatomy 0.000 description 1
- 230000022131 cell cycle Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002224 dissection Methods 0.000 description 1
- 210000002257 embryonic structure Anatomy 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 208000033915 jet lag type circadian rhythm sleep disease Diseases 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 210000000287 oocyte Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 230000001850 reproductive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 210000004340 zona pellucida Anatomy 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种胚胎细胞多核目标检测系统方法和计算机可读存储介质,所述系统包括特征提取模块和目标检测模块;特征提取模块:使用多尺度融合技术,提取检测图像中的原核特征信息;目标检测模块:根据所述特征提取模块提取的原核特征信息识别检测图像的原核。本发明能够解决胚胎细胞图像多核目标识别中拥挤目标检测、小目标检测和细粒度的问题。
Description
技术领域
本发明涉及人工智能技术领域,具体地指一种胚胎细胞多核目标检测系统、方法和计算机可读存储介质。
背景技术
在人类生命的早期发育过程中,胚胎细胞的多核检测技术起着至关重要的作用。这种技术是胚胎评估的重要部分,可以帮助胚胎学家评估胚胎的质量和发育潜力。根据D3胚胎评估系统,在胚胎形成后的D1-D3天,医生可以获得重要的胚胎形态学特征信息,如多核细胞、空泡和透明带异常等特征。其中,多核细胞是指一个细胞内有多个细胞核的情况,这种情况可能是由于细胞分裂过程中出现错误所导致的。
胚胎形态学评估是胚胎质量评价的主要方法。在受精之前的卵母细胞阶段、受精后的原核期阶段、胚胎分裂后的卵裂期阶段以及囊胚期阶段对胚胎的形态学特征进行观察,在这些形态学特征中,多核特征是医生对胚胎好坏评分的一个极其重要的因素。因此,利用计算机技术构建视觉模型以协助医生迅速且精确地检测多核特征,是一个具有深远影响的研究领域。然而,当前对胚胎多核特征的检测仍面临一些挑战:
(1)由于细胞内部物理空间较小,胚胎时差成像生成的二维图像出现核与核紧贴、重叠和粘连的现象,形成拥挤目标检测问题。
(2)在胚胎细胞图像的全貌中,细胞所占的像素不到一半。细胞内部的原核只占据了较小的物理空间,因此在二维图片中,它们所占的像素数量微乎其微,这构成了小目标检测的问题。
(3)在实际检测中,不仅有多核,还有单核,内质网,空泡和杂质等在光源下类似原核的存在影响检测准确度,这就是目标检测中的细粒度问题。
这些问题会影响模型对多核细胞的判断,进而影响对胚胎质量的评估。
发明内容
本发明针对现有技术的不足之处,提出一种胚胎细胞多核目标检测系统、方法和计算机可读存储介质,解决胚胎细胞图像多核目标识别中拥挤目标检测、小目标检测和细粒度的问题。
为实现上述目的,本发明设计的胚胎细胞多核目标检测系统,其特殊之处在于,所述系统包括特征提取模块和目标检测模块;
所述特征提取模块:使用多尺度融合技术,提取检测图像中的原核特征信息;
所述目标检测模块:根据所述特征提取模块提取的原核特征信息识别检测图像的原核。
优选地,所述特征提取模块通过多层卷积进行编码,引入批归一化层BN和RELU激活函数,进行归一化处理。
优选地,所述特征提取模块通过双向多尺度特征融合提取特征,融合过程为:
其中,是第k层的双向特征融合结果,/>是将第c层特征经过卷积层调整融合到第k层,C为通道数,/>、/>和/>是第k层在融合时的权重参数,且满足:
。
优选地,所述特征提取模块加入注意力机制FSE:首先输入的多核目标特征图P的空间信息进行压缩,在空间维度上实现全局平均池化,得到1×1×C的特征图,其中C为通道数,1×1是特征图平均池化后的高和宽;将特征图/>输入带有激活函数的全连接层进行学习,得到具有通道注意力压缩特征图;最后将学习到的通道注意力压缩特征图与输入特征图进行结合,最终得到具有通道注意力的特征图/>。
优选地,所述目标检测模块将待检测图像分成固定大小的网格,每个网格形成一个单元格,对于每个单元格预测多个边界框;选择置信度最高的边界框作为主要预测框;对每个单元格使用Sigmoid分类器预测预定义的原核目标类别。
优选地,所述目标检测模块选择置信度时运用非极大值抑制方法,引入IOU阈值,获得唯一准确的预测框,IOU阈值计算方法为:
其中Area of Overlap是预测检测框与真实标签的重叠面积,Area of Union预测检测框与真实标签全部面积。
优选地,所述特征提取模块和目标检测模块构成胚胎图像多核目标检测网络模型EM,网络模型经过带多核标签的胚胎细胞图像训练。
优选地,所述胚胎图像多核目标检测网络模型EM在训练阶段,联合使用几何变化类、Mixup算法和Mosaic算法进行数据增强。
本发明还提出一种胚胎细胞多核目标检测方法,将检测图像输入至上述胚胎细胞多核目标检测系统,获得识别出检测图像中各细胞核核的预测框图像。
本发明另外提出一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现上述的胚胎细胞多核目标检测系统。
本发明提出的胚胎细胞多核目标检测系统,其有益效果包括:
1、本发明采用双向特征融合技术,提高多核目标各个特征图的语义信息,让网络模型能够同时使用空间位置信息和目标的细节信息进行目标检测,解决了拥挤目标检测问题;
2、针对多核目标小,提取融合后的特征图的高相关特征信息占比少的问题,提出了注意力机制FSE,让网络模型能够通过自主学习去提高相关特征的权重,提升了模型对多核目标检测的准确率;
3、本发明使用多种图像增强技术,引入锚框的置信度和IOU参数,并使用非极大值抑制的筛选技术,提高检测算法的抗干扰能力,解决目标检测中的细粒度问题。
附图说明
图1为胚胎细胞中多核目标重叠粘连示意图;
图2为胚胎图像多核目标检测网络模型EM的结构示意图;
图3为图2中CBL模块的结构示意图;
图4为图2中yb(n)模块的结构示意图;
图5为图2中Res(m)模块的结构示意图;
图6为双向特征融合的原理示意图;
图7为注意力机制FSE的原理示意图;
图8为待检测图像;
图9为待检测胚胎细胞图像切分成20×20的网格图;
图10为检测算法在待检测胚胎细胞网格图上生成的多个检测锚框;
图11为胚胎细胞图像检测锚框经过置信度和非极大值抑制筛选后的测试结果示意图;
图12为胚胎细胞经过图像增强后的效果图;
图13为整个胚胎细胞多核目标检测算法的流程图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步的详细描述。
在胚胎细胞分裂的过程中,可能会出现多核的现象,这种现象的出现是评估胚胎细胞质量的一个重要标准。然而,多核细胞在物理空间中出现的时间只占据了胚胎细胞分裂周期的一小部分,这使得数据采集变得非常困难。此外,同一细胞中的不同核之间可能会产生重叠和粘连现象。由于原核目标本身就是小目标,再加上重叠现象,会导致核与核之间相互挤压,产生形变,使得原核边缘变得模糊不清,这进一步增加了相关工作人员对胚胎细胞多核现象评估的难度。值得注意的是,胚胎细胞多核目标的重叠与日常生活中看到的普通物体的重叠是不同的,它具有自身独特的特点。因此,在处理这种问题时需要采取特殊的方法和技术。
在D1-D3阶段,通过胚胎时差成像技术观察到,胚胎细胞在电子显微镜的照射下呈现出透明或半透明的特性。尽管多核目标较小且存在重叠和粘连,但大部分单个细胞的图像信息和特征仍然被保留。这使得本发明提出利用深度学习领域的目标检测算法,加入小目标检测模块,来检测多核目标。图1展示了一个多核目标粘连的胚胎细胞图像。从图中可以看出,尽管核与核之间存在粘连,但原核的图像信息和特征并未丢失过多。
图1描绘了胚胎细胞分裂过程中多核目标重叠的常见情况。在细胞内部原核的目标较小,所以核与核之间出现完全遮挡的现象概率很低。对于胚胎细胞,在电子显微镜的照射下,它们具有透明或半透明的光学特性,这使得被遮挡的核的大部分图像特征能够有效地保留下来,这为使用深度学习检测算法来检测多核目标提供了良好的基础。
基于图1,在不忽视背景的情况下,粘连的多核目标只占据整个二维图片很小的像素部分,这给予本发明检测效果极大的挑战。同时,在细胞的周围具有多个团装杂质,在细胞内部处理原核外还有单核、空泡等干扰因素影响检测的准确度。
针对上述实际问题,本发明在模型构建和检测算法部分提出具体解决方法,下面是各实施例的实施过程:
本发明收集了来自不同生殖中心在时差培养箱中拍摄包含有多核胚胎的十万张图像。考虑到时差培养箱中拍摄的图像在同一阶段具有相似的特征,因此本发明对整个数据集进行了随机抽样,得到了一个精简的标准数据集,去除了冗余的图像,以加快网络的训练速度。本发明数据集中的每张图像都经过多名胚胎专家的评定,投票后选择得票最多的评定结果作为该图像的标签以此提高标签的准确性和可靠性。
将带有标签的数据集按照8:1:1的比例划分为训练集、验证集和测试集,确保模型在训练过程中充分利用训练集中的数据进行学习,并在验证集和测试集上进行评估和验证,有效地评估模型的性能和泛化能力。
实施例一
考虑到胚胎检测领域的实际需求,为了保证检测的可实施性,本发明将胚胎图像多核目标检测网络模型设计为包含53个卷积层和23个残差块的特征提取模块和目标检测模块,其结构如图2所示。特征提取部分使用多尺度特征融合技术,相比于其他复杂的网络模型,该主干网络选择卷积层数适中,这有助于网络进行快速的特征提取,同时具有良好的特征提取能力。
但是由于胚胎细胞分裂这个领域的特殊性,原始网络模型并不能对某些特殊形态的多核目标做出有效的检测。在胚胎细胞内部,由于物理空间有限,多核目标常常会出现相互挤压、覆盖和重叠的情况。这就导致了不同的核之间具有很高的相似性,形成了所谓的“拥挤目标”。在这种情况下,模型往往难以准确地区分同一个类别的不同对象,从而降低了模型的分类准确率,甚至可能出现误检或漏检的情况。
特征提取模块不仅需要提取原核的纹理信息和位置信息还需要去除许多冗余信息和噪声信息。深度学习的编码过程就非常契合这种要求,通过多层卷积进行编码,获得不同大小的特征图,高层的特征图因分辨率的原因只保留了原核的纹理,大小等细节信息,底层特征图分辨率较高可以保留原核的位置信息,使用不同层的特征图可以获得对应的信息,达到目标检测定位的结果。
深度学习通过使用卷积层提取信息,本发明在卷积层之上,引入了批归一化层BN和RELU激活函数,形成CBL模块,如图3所示。图4为yb(n)模块的结构示意图,图5为Res(m)模块的结构示意图,yb(n)模块中n代表卷积层中卷积核的数量,Res(m)模块中的m代表Res模块重复的次数。这样,可以对卷积后生成的特征图进行标准化和非线性转换。在降低数值大小的同时,算法还能保留原始核的详细信息和位置信息。这种方法可以防止梯度消失或爆炸,减少过拟合,提高模型的稳定性,假设输入的特征图为,其中R为实数集,是批量大小,/>是通道数,/>和/>是高度和宽度,其归一化公式如下所示:
首先由公式(1)和公式(2)求出一个批次的均值和方差/>
(1)
(2)
其中,是一个批次中的第k个输入数据,N是批次的大小,使用公式(2)求得的均值和方差对该批次的训练数据做归一化,B是批归一化层的简写:
(3)
其中,是将/>标准化后的结果,/>是为了避免除数为0时所使用的微小正数,γ和β是可学习的尺度因子和平移因子最后如公式(4)进行尺度变换和偏移,获得批归一化后的数据/>:
(4)
由图6左侧所示,随着卷积层的增加,特征图会越来越小,这些卷积层输出的特征图分别对应的尺寸大小为{(H/8)×(W/8), (H/16)×(W/16), (H/32)×(W/32), (H/64)×(W/64), (H/128)×(W/128) }。这种处理可以称为自底向上的过程。其中高层的特征图带有原核丰富的纹理和大小等细节信息,使用该特征图可以很好的将原核分开识别,但是由于分辨率太小,无法保留空间位置信息。目标检测算法不仅需要细节信息还需要准确的空间位置信息,将两者结合才可以准确的定位多核目标,解决拥挤目标检测问题。
为了获取底层的空间位置信息,需要将顶层的细节信息和底层的空间位置信息进行融合,把更抽象、语义更强的高层特征图进行上采样,保留高层特征图细节信息的同时,使得此高层特征图上采样后的尺寸大小和其上一层的尺寸大小相同,通过1×1卷积层将两者相加,使得新产生的特征图P 3到P 7同时具有细节信息还需要准确的空间位置信息,其中具体来说,每一层特征图P k和P k+1之间的关系可以表示为公式(5):
(5)
其中P k是第k层特征图,P k+1是第k+1层特征图,C k是第k层原始特征,和分别表示3×3和1×1卷积,/>是按元素相加。
由于层数较低的特征图包含的信息过多,且未能有效去除冗余信息,导致融合后的多核目标检测结果容易受到背景的影响。因此,本发明从特征图的第三层开始进行特征融合,去除冗余信息,保留主要信息,提高模型在处理多核目标重叠、粘连时的鲁棒性和准确性,其结构如图6所示。
但是这种逐层的融合只是利用上一层的特征信息进行语义信息的丰富,仔细观察图1发现,检测的多核目标的大小与胚胎细胞图片的大小差距过大,多核目标的细节信息大多在顶层特征图,空间位置信息大多在底层特征图,针对这个图像特点,对多尺度融合进行改进,如图4所示形成双向特征融合技术,其原理如公式(6)所示,这里只展示第k层的融合公式:
(6)
其中,是第k层的双向特征融合结果,/>是第c层特征经过卷积层调整融合到第k层,C为通道数,/>、/>和/>是第k层在融合时的权重参数,需要满足公式(7):
(7)
其中,、/>和/>是通过1×1卷积得到的,然后通过分类函数确保它们的和为1,且每个参数都在[0,1]范围内。
最终生成名为的EM(Embryonic Cell Multi-Nucleus Target DetectionNetwork)网络模型,该网络包含53个卷积层,23个残差块,特征提取部分使用双向特征融合技术,让单个特征图双向融合多个尺度的特征信息,不仅进一步提高了特征图的语义信息,并且避免了逐层融合不能很好将多核目标的细节信息和空间位置信息特征融合的弊端,使得本发明建立的EM网络模型能够很好使用于图像大小和目标大小差距过大的情况,提高模型检测的准确率和泛化性。
实施例二
在本发明提出的另一个实施例中,对EM网络模型引入了注意力机制FSE。原核占据了胚胎细胞很小的空间,相对于整张图片,多核占据的像素就更加稀少,携带的信息有限,在深度学习模型中,小目标经过多次下采样后,其分辨率进一步降低,特征信息逐步减弱,这增加了检测的难度。相对于其他目标,原核特征的提取具有更大概率产生聚集现象。当原核聚集在一起出现时,聚集区域相邻的小目标通过多次降采样后,反应到深层特征图上将聚合成一个点,导致检测模型无法区分,衍生出小目标检测问题。
在使用双向特征融合技术之后,网络模型能够有效地将深层和浅层特征进行融合。这样,融合后的高层特征层和浅层特征层都将包含丰富的语义信息,将多次降采样形成的点还原成具有多核目标纹理、大小和空间位置的特征图。这些特征图可以用于目标检测。然而,多核小目标所包含的信息在这些丰富的语义信息特征层中所占的比例较小。因此,网络模型需要具备确定哪些特征信息与多核目标检测任务具有高度相关性的能力。
模型的预测就像是多项式一样,每个项相当于深度学习的特征,每个系数相当于特征前的权重,将与多核目标高相关性的特征前的权重提高,就能整体提高模型泛化性和鲁棒性。使用多尺度融合技术的主干网络已经能够很好的提取信息,要想让模型确认哪些特征的权重过高的同时不影响主干网络的特征提取能力,本发明在支干增加了能够自动学习和计算输入数据对输出数据的贡献大小的网络结果。
为了不影响网络模型的实时性,首先输入的多核目标特征图P的空间信息进行压缩,在空间维度上实现全局平均池化,得到1×1×C的特征图,其中C为通道数,1×1是特征图平均池化后的高和宽,留有多个通道就保留了多少特征信息,如多核目标的纹理、大小和空间位置等信息。将具有/>放入带有激活函数的全连接层进行学习,因为特征图的宽和高被压缩为1×1,模型的计算量大大减小,能够快速学习得到具有通道注意力压缩特征图。最后将学习到的通道注意力压缩特征图与输入特征图进行结合,最终得到具有通道注意力的特征图/>。
在实际使用中,全连接层会对图像的空间结构有一定的损坏,特别是对于小目标的多核细胞,这种注意力机制会使得网络模型关注到错误的特征信息上。针对这种情况,本发明将全连接层替换为1×1卷积层,首先它不会破坏图像的空间结构;并且全连接层对注意力机制的输入图像分辨率有限制,而1×1卷积层则没有这个限制;最后卷积网络只需要做一次前向运算就可以获得想要的权重信息,进一步节约了计算,形成了注意力机制FSE,其原理如图7所示。
主干网络加入注意力机制FSE后,网络模型通过设置不同特征的权重,可以更加关注关于多核目标信息量最大的通道特征,并且抑制中那些不重要的通道特征,如背景、图片中的杂质等干扰因素。对经过双向特征融合技术丰富的各个特征图带有大量的特征信息,这种注意力机制有助于模型关注与多核目标高度相关的特征信息,从而提高模型检测多核目标的性能,解决小目标检测问题,整个过程可以表示为公式(8):
(8)
其中 ,/>是卷积层的权重矩阵,X表示输入特征图,/>表示具有通道注意力的特征图,Pool(•)全局平均池化操作,ReLU(•)为ReLU激活函数,sigmoid(•)为sigmoid激活函数。
实施例三
本实施例应用于检测过程中,目标检测模块引入置信度和IOU阈值相关参数,把所有多核的置信度的平均值作为最后的置信度,判断框选的对象是否存在多核,排除单核,内质网,空泡和杂质等在光源下类似原核的存在的因素的影响,后使用IOU阈值判断定位的准确性,最后获得置信度高并且定位准的预测框。
输入图像被分成一个固定大小的网格。每个网格称为一个单元格。 在每个单元格中,预测多个边界框。每个边界框由5个属性表示:位置(x、y坐标)、宽度、高度和置信度。预测的边界框中,选择置信度最高的边界框作为主要预测框。置信度反映了算法对边界框中是否包含对象的置信程度。对每个单元格进行类别预测,使用sigmoid函数来预测多个预定义的目标类别。
具体步骤如下:
S1将图8所示的输入图像,处理为长宽都为500的3通道RGB彩色图片进行网格划分,划分为20×20个网格个数,如图9所示;
S2生成锚框,为了处理小目标,训练时使用了双向特征融合技术的检测,不同尺度生成的锚框不同,在最大的特征图上按照目标的位置生成更小的锚框,对多核目标进行更加准确的进行检测;
S3使用合适的置信度判断框选的对象是否为是否为多核,获得置信度高的锚框:
S4在目标检测任务中,通常会生成大量的候选边界框,如图10所示,其中很多框可能会重复地定位到同一个目标。在使用置信度筛选之后,运用非极大值抑制方法,引入IOU阈值,去除冗余的预测结果,获得唯一准确的预测框,IOU阈值计算公式(9)如下:
(9)
其中Area of Overlap是预测检测框与真实标签的重叠面积,Area of Union预测检测框与真实标签全部面积。
S5采取平均多核目标置信度的策略,运用非极大值抑制方法(NMS),剔除重叠的检测框,只保留最具置信度的边界框。根据置信度阈值,过滤掉置信度较低的边界框。最终输出为检测到的目标类别、位置,如图11所示。
实施例四
在本发明的另一个实施例中,通过数据增强的方法解决目标检测中的细粒度检测问题。在检测胚胎细胞时,胚胎时差成像的图像中由于光源核胚胎细胞位置的变化导致构建的数据集明亮不一,影响模型的泛化性。并且在实际检测中,不仅有多核,还有单核,内质网,空泡和杂质等在光源下类似原核的存在影响检测准确度,这就是目标检测中的细粒度问题。
为了解决这个问题,在训练阶段,联合使用几何变化类、Mixup算法和Mosaic算法进行数据增强,大量扩充实际训练的数据集,图像增强对于细粒度目标检测问题有以下好处:
a.图像增强可以改善图像的质量,使得目标的特征更加明显,从而提高模型的识别精度。
b.增强模型的泛化能力:通过对图像进行各种变换(如旋转、缩放、剪切、图像增强和加马赛克等),可以增加模型训练时的样本多样性,让模型更好的去处干扰影响从而提高模型的泛化能力。
c. 提高模型的鲁棒性:图像增强可以模拟各种实际情况(如光照变化、遮挡等),使模型在训练时能够考虑到这些因素,从而提高模型在实际应用中的鲁棒性。
图12为胚胎细胞经过图像增强后的效果图,在实际使用中图像增强是一种有效的手段,并且对小目标检测问题和拥挤目标检测问题均有利。
实施例五
本实施例提出了一种胚胎细胞多核目标检测方法,所述方法基于上述胚胎细胞多核目标检测系统实现。
在模型训练阶段,将设置好的训练集和验证集输入Darknet网络模型中训练,使用的硬件为Intel® Core™ i5-10400 CPU @ 2.90GHz,16G内存,NVIDIA GeForce GTX1070,设置训练轮数为1000次,一次训练所选取的样本数为32,类型识别为多核类,实际训练时间为4h,最终获得多核检测所需的配置文件。
在图像检测阶段,利用训练后的模型对测试集胚胎图像进行检测,并完成测试集预测和结果评估;将待识别的胚胎图像输入至胚胎图像多核目标检测网络模型,利用胚胎细胞多核目标检测算法得到检测。胚胎细胞多核目标检测算法的流程图如图13所示。
实施例六
本发明还提出一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现上述的胚胎细胞多核目标检测系统。
本说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。
最后需要说明的是,以上具体实施方式仅用以说明本发明技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (7)
1.一种胚胎细胞多核目标检测系统,其特征在于:所述系统包括特征提取模块和目标检测模块;
所述特征提取模块:使用多尺度融合技术,提取检测图像中的原核特征信息;所述特征提取模块通过多层卷积进行编码,引入批归一化层BN和RELU激活函数,形成CBL模块,进行归一化处理;
所述特征提取模块通过双向多尺度特征融合提取特征,融合过程为:
其中,是第k层的双向特征融合结果,/>是将第c层特征经过卷积层调整融合到第k层,R为实数集,N是批量大小,H和W是高度和宽度,C为通道数,/>、/>和/>是第k层在融合时的权重参数,且满足:
;
检测图像经过七层网络依次输出C1、C2、C3、C4、C5、C6、C7的特征图,从特征图的第三层开始进行特征融合,将特征图 C7 与C5融合形成对应C7位置的特征图,对齐进行三次下采样,分别生成对应C6、C5和C4位置的特征图,并将C6与第三次下采样产生的特征图融合形成对应C4位置的特征图再进行第四次下采样,将第四次下采样的特征与C3和C4融合形成对应C3位置的特征图;
将生成的对应C3位置的特征图复制为P3,将P3进行上采样与对应C5位置的特征图融合形成P4,将P4进行两次上采样生成P5和P6,将P6进行上采样生成的特征图与对应C7、C6、C4位置的特征图融合形成P7,完成双向特征融合;
所述特征提取模块加入注意力机制FSE:首先输入的多核目标特征图P的空间信息进行压缩,在空间维度上实现全局平均池化,得到1×1×C的特征图,其中C为通道数,1×1是特征图平均池化后的高和宽;将具有/>放入带有激活函数的全连接层进行学习,得到具有通道注意力压缩特征图;最后将学习到的通道注意力压缩特征图与输入特征图进行结合,得到具有通道注意力的特征图/>;将全连接层替换为1×1卷积层,最后卷积网络做一次前向运算以获得权重信息,形成注意力机制FSE;所述目标检测模块:根据所述特征提取模块提取的原核特征信息识别检测图像的原核。
2.根据权利要求1所述的胚胎细胞多核目标检测系统,其特征在于:所述目标检测模块将输入的检测图像分成固定大小的网格,每个网格形成一个单元格,对于每个单元格预测多个边界框;选择置信度最高的边界框作为主要预测框;对每个单元格使用Sigmoid分类器预测预定义的原核目标类别。
3.根据权利要求2所述的胚胎细胞多核目标检测系统,其特征在于:所述目标检测模块选择置信度时运用非极大值抑制方法,引入IOU阈值,获得唯一准确的预测框,IOU阈值计算方法为:
其中Area of Overlap是预测检测框与真实标签的重叠面积,Area of Union预测检测框与真实标签全部面积。
4.根据权利要求1所述的胚胎细胞多核目标检测系统,其特征在于:所述特征提取模块和目标检测模块构成胚胎图像多核目标检测网络模型EM,网络模型经过带原核标签的胚胎细胞图像训练。
5.根据权利要求4所述的胚胎细胞多核目标检测系统,其特征在于:所述胚胎图像多核目标检测网络模型EM在训练阶段,联合使用几何变化类、Mixup算法和Mosaic算法进行数据增强。
6.一种胚胎细胞多核目标检测方法,其特征在于:将检测图像输入至权利要求1~5中任一项所述的胚胎细胞多核目标检测系统,获得识别出检测图像中各原核的预测框图像。
7.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的胚胎细胞多核目标检测系统。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410159326.2A CN117690128B (zh) | 2024-02-04 | 2024-02-04 | 胚胎细胞多核目标检测系统、方法和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410159326.2A CN117690128B (zh) | 2024-02-04 | 2024-02-04 | 胚胎细胞多核目标检测系统、方法和计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117690128A CN117690128A (zh) | 2024-03-12 |
CN117690128B true CN117690128B (zh) | 2024-05-03 |
Family
ID=90126915
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410159326.2A Active CN117690128B (zh) | 2024-02-04 | 2024-02-04 | 胚胎细胞多核目标检测系统、方法和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117690128B (zh) |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111445418A (zh) * | 2020-03-31 | 2020-07-24 | 联想(北京)有限公司 | 图像去雾处理方法、装置及计算机设备 |
CN112329664A (zh) * | 2020-11-11 | 2021-02-05 | 赛芒(北京)信息技术有限公司 | 一种原核期胚胎原核数量的评估方法 |
CN112329800A (zh) * | 2020-12-03 | 2021-02-05 | 河南大学 | 一种基于全局信息引导残差注意力的显著性目标检测方法 |
CN114565761A (zh) * | 2022-02-25 | 2022-05-31 | 无锡市第二人民医院 | 一种基于深度学习的肾透明细胞癌病理图像肿瘤区域的分割方法 |
CN114897779A (zh) * | 2022-04-12 | 2022-08-12 | 华南理工大学 | 基于融合注意力的宫颈细胞学图像异常区域定位方法及装置 |
CN115331104A (zh) * | 2022-08-17 | 2022-11-11 | 中国农业大学 | 一种基于卷积神经网络的农作物种植信息提取方法 |
CN115861772A (zh) * | 2023-02-22 | 2023-03-28 | 杭州电子科技大学 | 基于RetinaNet的多尺度单阶段目标检测方法 |
WO2023077998A1 (zh) * | 2021-11-05 | 2023-05-11 | 通号通信信息集团有限公司 | 卷积神经网络中自适应特征融合方法及系统 |
CN116310785A (zh) * | 2022-12-23 | 2023-06-23 | 兰州交通大学 | 基于YOLO v4的无人机影像路面病害检测方法 |
CN116342867A (zh) * | 2023-03-20 | 2023-06-27 | 郑州轻工业大学 | 一种基于自适应递归金字塔的YOLOv4小目标检测方法 |
CN116630807A (zh) * | 2023-05-30 | 2023-08-22 | 中国人民解放军战略支援部队信息工程大学 | 基于yolox网络的遥感影像点状独立房检测方法及系统 |
CN117218379A (zh) * | 2023-08-15 | 2023-12-12 | 华南农业大学 | 一种猪只跟踪与检测健康状态的方法 |
CN117392375A (zh) * | 2023-10-20 | 2024-01-12 | 杭州电子科技大学 | 一种针对微小物体的目标检测算法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111241985B (zh) * | 2020-01-08 | 2022-09-09 | 腾讯科技(深圳)有限公司 | 一种视频内容识别方法、装置、存储介质、以及电子设备 |
-
2024
- 2024-02-04 CN CN202410159326.2A patent/CN117690128B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111445418A (zh) * | 2020-03-31 | 2020-07-24 | 联想(北京)有限公司 | 图像去雾处理方法、装置及计算机设备 |
CN112329664A (zh) * | 2020-11-11 | 2021-02-05 | 赛芒(北京)信息技术有限公司 | 一种原核期胚胎原核数量的评估方法 |
CN112329800A (zh) * | 2020-12-03 | 2021-02-05 | 河南大学 | 一种基于全局信息引导残差注意力的显著性目标检测方法 |
WO2023077998A1 (zh) * | 2021-11-05 | 2023-05-11 | 通号通信信息集团有限公司 | 卷积神经网络中自适应特征融合方法及系统 |
CN114565761A (zh) * | 2022-02-25 | 2022-05-31 | 无锡市第二人民医院 | 一种基于深度学习的肾透明细胞癌病理图像肿瘤区域的分割方法 |
CN114897779A (zh) * | 2022-04-12 | 2022-08-12 | 华南理工大学 | 基于融合注意力的宫颈细胞学图像异常区域定位方法及装置 |
CN115331104A (zh) * | 2022-08-17 | 2022-11-11 | 中国农业大学 | 一种基于卷积神经网络的农作物种植信息提取方法 |
CN116310785A (zh) * | 2022-12-23 | 2023-06-23 | 兰州交通大学 | 基于YOLO v4的无人机影像路面病害检测方法 |
CN115861772A (zh) * | 2023-02-22 | 2023-03-28 | 杭州电子科技大学 | 基于RetinaNet的多尺度单阶段目标检测方法 |
CN116342867A (zh) * | 2023-03-20 | 2023-06-27 | 郑州轻工业大学 | 一种基于自适应递归金字塔的YOLOv4小目标检测方法 |
CN116630807A (zh) * | 2023-05-30 | 2023-08-22 | 中国人民解放军战略支援部队信息工程大学 | 基于yolox网络的遥感影像点状独立房检测方法及系统 |
CN117218379A (zh) * | 2023-08-15 | 2023-12-12 | 华南农业大学 | 一种猪只跟踪与检测健康状态的方法 |
CN117392375A (zh) * | 2023-10-20 | 2024-01-12 | 杭州电子科技大学 | 一种针对微小物体的目标检测算法 |
Non-Patent Citations (3)
Title |
---|
双向特征融合的数据自适应SAR图像舰船目标检测模型;张筱晗;姚力波;吕亚飞;简涛;赵志伟;藏洁;;中国图象图形学报;20200916(第09期);全文 * |
基于通道注意力机制的视频人体行为识别;解怀奇;乐红兵;;电子技术与软件工程;20200215(第04期);全文 * |
张云峰主编.机器学习算法理论与应用.中国海洋大学出版社,2022,(第2022年6月第1版第1次印刷版),第25-27页. * |
Also Published As
Publication number | Publication date |
---|---|
CN117690128A (zh) | 2024-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110378381B (zh) | 物体检测方法、装置和计算机存储介质 | |
CN114897779B (zh) | 基于融合注意力的宫颈细胞学图像异常区域定位方法及装置 | |
US9330336B2 (en) | Systems, methods, and media for on-line boosting of a classifier | |
Sert et al. | Ensemble of convolutional neural networks for classification of breast microcalcification from mammograms | |
CN114998210B (zh) | 一种基于深度学习目标检测的早产儿视网膜病变检测系统 | |
CN112926652B (zh) | 一种基于深度学习的鱼类细粒度图像识别方法 | |
CN111680755B (zh) | 医学图像识别模型构建及医学图像识别方法、装置、介质及终端 | |
CN110807362A (zh) | 一种图像检测方法、装置和计算机可读存储介质 | |
CN113516116B (zh) | 一种适用于复杂自然场景的文本检测方法、系统和介质 | |
CN114821778A (zh) | 一种水下鱼体姿态动态识别方法及装置 | |
CN116452937A (zh) | 基于动态卷积与注意力机制的多模态特征目标检测方法 | |
CN117037004A (zh) | 基于多尺度特征融合和上下文增强的无人机影像检测方法 | |
CN116168240A (zh) | 基于注意力增强的任意方向密集舰船目标检测方法 | |
CN117037215A (zh) | 人体姿态估计模型训练方法、估计方法、装置及电子设备 | |
CN116342536A (zh) | 基于轻量化模型的铝带材表面缺陷检测方法、系统及设备 | |
CN111275126A (zh) | 样本数据集生成方法、装置、设备及存储介质 | |
CN114445356A (zh) | 基于多分辨率的全视野病理切片图像肿瘤快速定位方法 | |
CN112991281B (zh) | 视觉检测方法、系统、电子设备及介质 | |
CN113610178A (zh) | 一种基于视频监控图像的内河船舶目标检测方法和装置 | |
CN117690128B (zh) | 胚胎细胞多核目标检测系统、方法和计算机可读存储介质 | |
CN115861595B (zh) | 一种基于深度学习的多尺度域自适应异源图像匹配方法 | |
CN116434303A (zh) | 基于多尺度特征融合的人脸表情捕捉方法、装置及介质 | |
CN111582057A (zh) | 一种基于局部感受野的人脸验证方法 | |
CN116091784A (zh) | 一种目标跟踪方法、设备及存储介质 | |
CN113221731B (zh) | 一种多尺度遥感图像目标检测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |