CN116129123A - 基于不确定度校准和区域分解的端到端染色体分割方法 - Google Patents
基于不确定度校准和区域分解的端到端染色体分割方法 Download PDFInfo
- Publication number
- CN116129123A CN116129123A CN202310167625.6A CN202310167625A CN116129123A CN 116129123 A CN116129123 A CN 116129123A CN 202310167625 A CN202310167625 A CN 202310167625A CN 116129123 A CN116129123 A CN 116129123A
- Authority
- CN
- China
- Prior art keywords
- chromosome
- uncertainty
- segmentation
- roi
- decomposition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000000349 chromosome Anatomy 0.000 title claims abstract description 153
- 230000011218 segmentation Effects 0.000 title claims abstract description 50
- 238000000354 decomposition reaction Methods 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000001514 detection method Methods 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 15
- 238000013526 transfer learning Methods 0.000 claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 238000000605 extraction Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 230000009471 action Effects 0.000 claims description 2
- 238000013459 approach Methods 0.000 claims description 2
- 238000012937 correction Methods 0.000 claims description 2
- 238000012217 deletion Methods 0.000 claims description 2
- 230000037430 deletion Effects 0.000 claims description 2
- 230000005772 establishment of chromosome localization Effects 0.000 claims description 2
- 230000005764 inhibitory process Effects 0.000 claims description 2
- 238000002372 labelling Methods 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 230000004044 response Effects 0.000 claims description 2
- 238000002679 ablation Methods 0.000 description 2
- 210000004381 amniotic fluid Anatomy 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000003793 prenatal diagnosis Methods 0.000 description 2
- 206010010356 Congenital anomaly Diseases 0.000 description 1
- 208000026350 Inborn Genetic disease Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000032823 cell division Effects 0.000 description 1
- 210000003855 cell nucleus Anatomy 0.000 description 1
- 230000002759 chromosomal effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000013401 experimental design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000001605 fetal effect Effects 0.000 description 1
- 210000003754 fetus Anatomy 0.000 description 1
- 208000016361 genetic disease Diseases 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000036244 malformation Effects 0.000 description 1
- 210000004940 nucleus Anatomy 0.000 description 1
- 230000035935 pregnancy Effects 0.000 description 1
- 238000009609 prenatal screening Methods 0.000 description 1
- 208000020016 psychiatric disease Diseases 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于不确定度校准和区域分解的端到端染色体分割方法,属于视频识别技术领域。首先对需要进行端到端染色体分割的染色体图片进行预处理:通过迁移学习方法在染色体分类数据集上预训练骨干网络ResNet101提取染色体基本特征;引入不确定度分支输出不确定度学习检测框的可靠性,利用不确定度修正染色体检测框的位置来实现对染色体更加精确的定位,最后利用分解因子将区域生成网络RPN产生的所有建议框RoI分解、自适应融合,减轻重叠染色体分割时产生的语义歧义,最终得到分割更完整的染色体。实现了在数据量较少的情况下有效提取染色体特征;够更好的应对交叉、重叠染色体的漏检和定位不准的问题。
Description
技术领域
本发明涉及一种基于不确定度校准和区域分解的端到端染色体分割方法,属于图像识别技术领域。
背景技术
由于染色体的数目异常或结构畸变均可能引发如智力障碍、先天性畸形等遗传类疾病,因此目前需要通过对染色体进行观测,从而对胎儿健康进行预测,目前主要通过孕期产前筛查和产前诊断等加以预防。羊水穿刺染色体核型分析作为目前产前诊断的金标准,是将样本羊水细胞分裂中期的染色体显带成像后进一步分割、排序以识别异常。然而,细胞中染色体游离柔性,多重叠交叉且形态多变,导致目前核型分析仍主要依赖专业人士,代价高昂,效率低下且极度依赖经验,亟需高效精确的智能辅助手段。
现有技术中存在的问题:染色体分割作为核型分析的首要任务,是后续分类和识别的基础,重点需要解决重叠交叉染色体的分割。和自然图像分割不同,染色体图像的分割存在如下几大大挑战:1)染色体非刚性。染色体是一种非刚性的物质,其多以弯曲状态游离存在于人体细胞核中,造成染色体的多姿态复杂性,给染色体分割任务带来困难。2)多簇性。由于染色体是以游离的状态分布于细胞核中,这就导致染色体容易出现两条或者多条的簇集,造成染色体接触、重叠。3)标记数不足。染色体图像由于其私密性,缺少标注的数据集。
现有技术中,申请号:202210548618.6公开一种重叠染色体分割方法,对重叠染色体图像进行边缘提取,并获得所有重叠染色体的边缘轮廓,将所述的边缘轮廓点全部加入到待选切割点集合;对重叠染色体图像提取其骨架、骨架端点和骨架交叉点;根据获取的重叠染色体边缘轮廓和染色体骨架及骨架端点、交叉点确定重叠染色体的切割点;根据所述切割点对所述重叠染色体进行自动分割。其利用重叠染色体的重叠特征通过结合染色体的轮廓和骨架的关系,将所有轮廓点看作切割点并作为候选集合,通过欧氏距离结合染色体骨架精准定位最佳切割点。但是其算力需求大,而且对图像的精细程度要求高,并不能满足快速高校的分割需求。
发明内容
针对上述存在的技术不足,提供一种解决重叠交叉染色体的分割,能够更好的应对交叉、重叠染色体的漏检和定位不准的问题,能够更好地重叠交叉染色体引起的语义歧义问题的基于不确定度校准和区域分解的端到端染色体分割方法。
为实现上述技术目的,本发明提供一种基于不确定度校准和区域分解的端到端染色体分割方法,其步骤如下:
步骤1、首先对需要进行端到端染色体分割的染色体图片进行预处理:
步骤2、通过迁移学习方法在染色体分类数据集上预训练骨干网络ResNet101提取染色体基本特征;
步骤3、引入不确定度分支输出不确定度学习检测框的可靠性,利用不确定度修正染色体检测框的位置来实现对染色体更加精确的定位,
步骤4、最后利用分解因子将区域生成网络RPN产生的所有建议框RoI分解、自适应融合,减轻重叠染色体分割时产生的语义歧义,最终得到分割更完整的染色体。
进一步,步骤1中预处理的具体步骤为:
1a、将染色体图像放缩到800×1088×3像素;
1b、利用labelme软件根据G带染色体数据集对染色体图像中的染色体G带信息进行标注,包括染色体的定位、类别、分割标签向量信息。
进一步,步骤2具体步骤如下:
2a、将原始染色体图片作为输入送入主干特征提取网络ResNet101,特征提取后利用长宽压缩了两次、三次、四次、五次的特征图C2,C3,C4,C5进行后续特征金字塔的构造,其中ResNet101网络为通过迁移学习在公共染色体分类公共数据集上预训练微调过的骨干网络,通过迁移学习得到的骨干网络相比在ImageNet自然图像上训练骨干网络可以提取染色体的基本特征,有利于后续针对染色体设计的分割网络;
2b将四张特征图C2,C3,C4,C5送入特征金字塔FPN以多尺度提取特征,得到不同尺度的四张特征图P2,P3,P4,P5;计算labelme软件标注了染色体G带信息中所有单条染色体的面积得出染色体为小目标的结论,仅需要特征金字塔FPN的多尺度作用在小尺度上,因此只选择P2,P3层作为特征层输出即可;
2c将特征金字塔FPN的输出的特征图P2,P3,P4,P5送入区域生成网络RPN进行第一阶段的回归和分类任务,得到的染色体定位框RoI,由于染色体是小目标,只需要输出特征图P2,P3,利用染色体定位RoI到特征图P2,P3上进行RoIAlign截取出每个RoI对应的特征图。
进一步,其特征在于步骤3具体步骤如下:
3a截取出每个RoI对应的特征图分别接回归分支和分类分支,其中在回归分支设置两个卷积层Conv,在分类分支设置两个全连接层FC;
3b在回归分支额外设计不确定度分支,利用不确定度分支输出的不确定度建立高斯分布模型,染色体目标对应所有候选框的回归参数平均值作为高斯分布的均值,同时将对应候选框不确定度分支的预测值经过softmax操作后得到的处于[0,1]之间的值作为高斯分布的标准差,建立每一条染色体对应的所有候选框的高斯分布;在训练过程中,使经过回归后被认定可以覆盖染色体的候选框的分布接近真实框的分布计算损失函数。
进一步,步骤4具体步骤如下:
4a将RoI区域多次分割以避免由两条及两条以上染色体重叠引起的语义歧义,具体做法为:在RoIAlign之前将RoI根据人工预设的分解因子s分解为上下左右四个区域,分解因子s定义为分解区域长/宽与原图长/宽的比值;
一种基于不确定度校准和区域分解的端到端染色体分割方法使用的UCRD-Net网络,UCRD-Net包括染色体特征提取模块FE、不确定度的染色体检测框校准模块UC和基于区域分解的染色体分割模块RD;其中ResNet101和FPN均属于染色体特征提取模块FE;
染色体特征提取模块FE,利用公共G带染色体分类数据集完成ResNet101骨干网络预训练以提取基本特征,再结合端到端检测时单条染色体的小目标特点,选择底层特征图及相应大小的锚框增强特征;
不确定度的染色体检测框校准模块UC,根据分类回归在特征学习中关注特征不同的特点设计双分支头分别用于分类回归任务,再增加不确定度分支输出不确定度以修正定位误差较大的检测框,减少由于检测框的不精确而导致的分割掩码缺失;
基于区域分解的染色体分割模块RD,将RoI分解为四个方向的位置区域而后经过RoI Align提取四个位置方向的特征,再将四个方向特征和整个RoI的特征自适应融合,通过多方向的推理以强化RoI内待分割染色体的语义响应,避免RoI内其他染色体造成的语义歧义。
进一步,对UCRDNet网络训练,设定初始学习率le-5,网络优化采用随机梯度下降SGD法。
一种使用UCRD-Net网络的染色体分割预测方法,其步骤如下:
4a首先输入染色体图片经过UCRD-Net的主干网络ResNet101和特征金字塔FPN得到特征图后经过区域生成网络得到RoI;
4b通过RoIAlign操作后首先进入回归分支和分类分支进行定位和分类;
此时,经过不确定度分支预测出不确定度,在非极大值抑制阶段修正候选框的排序分数,原始排序分数为分类置信度,通过下式进行修正排序分数:
score=λ×(cls_score)+(1-λ)×(1-η)(2)
式中,λ为权重参数,本文通过网格搜索设置λ=0.3,score为校准后的分数,CLS-score表示不正确的置信度/分类置信度;η为候选框的输出不确定度。
4c从4b中得到的经非极大值抑制并修正后的候选框送入分割头进行分割,此时会对该候选框进行相应的分解和自适应融合以输出最后的分割结果。
有益效果:
1.本发明通过利用公共G带染色体数据集进行迁移学习,预训练调整后的resnet101网络,实现了在数据量较少的情况下有效提取染色体特征;
2.本发明定位校准策略能够更好的应对交叉、重叠染色体的漏检和定位不准的问题;
3.本发明提出的区域分解模块能够更好地重叠交叉染色体引起的语义歧义问题。
附图说明
图1为本发明基于不确定度校准和区域分解的端到端染色体分割方法获取的染色体图像;图中:(a)为染色体图像原图;(b)为框选后的染色体图像;
图2为发明基于不确定度校准和区域分解的端到端染色体分割方法的流程示意图;
图3为染色体面积统计直方图;
图4为染色体原图及不同分解因子下的分解效果示意图,图中(a)为染色体原图分解示意图,(b)为分解因子s=0.5的示意图,(c)为分解因子s=0.6的示意图,(d)为分解因子s=0.9的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
步骤1,对染色体图像进行预处理,图1中的(a)为原图:
(1a)将染色体图像放缩到800×1088×3;
(1b)生成对应的定位、类别、分割标签向量。
步骤2,染色体特征提取(FE模块):
(2a)加载在ImageNet上的预训练过的ResNet101以提取图像的低级结构特征;
(2b)利用公共的G带染色体分类数据集微调预训练过的ResNet101骨干网络,提取染色体基本特征,如图2(a)所示。
(2c)计算数据集中染色体面积,染色体面积统计直方图如图3所示。
(2d)选择P2和P3层作为特征金字塔层的输出,送入区域生成网络,如图2(a)所示。
步骤3,不确定度预测(UC模块):
(3a)将RoIAlign后的特征送入2层卷积,在经过展平和两个全连接层分支得到回归参数和不确定度;
(3b)对于每个真实框对应的所有候选框,将其回归分支输出的参数的平均值作为高斯分布的均值,同时将其不确定度分支的预测值经过softmax操作后得到的处于[0,1]之间的值作为高斯分布的标准差,如图1中的(b)所示;
(3c)将最终得到的不确定度预测结果与分类分支输出结果加权得到非极大值抑制阶段的排序分数;
(3d)按排序分数从高到低遍历,去除与当前检测框的IoU得分大于阈值的其他预测框。
步骤4,区域分解模块设计(RD模块):
(4a)将RoI根据裁剪因子分解为上下左右四个区域,其裁剪方法如图4(a)-(d)所示;
(4b)利用RoIAlign提取原始区域和裁剪后区域的特征得到5张14×14×256的特征图;
(4b)5张特征图经过卷积层和softmax映射后得到相应的权值,利用权值对各个区域和完整区域进行加权融合计算,得到最终的特征图,如图2(c)所示;
步骤5,对UCRDNet网络进行训练:
(5a)将985张图像按照6:2:2随机分为训练集(591)、验证集(197)和测试集(197),按照长宽比{1:5,1:4,1:3,1:2,1:1,2:1,3:1,4:1,5:1}分别设置面积分别为{322,642,962,1282}的锚框。设置批量大小为1(即一个GPU处理一张图像),最大训练轮次为40,每次迭代的训练图像数为1,学习率按照系数0.0001固定步长衰减,初始学习率le-5,网络优化采用随机梯度下降(SGD)法。
(5b)消融实验对比表,如表2所示;
(5c):对比不同裁剪因子裁剪下的实例分割效果,获得的AP相关指标得分如表3所示。
本发明实验环境配置如下:计算机处理器为Intel(R)Xeon(R)W-2175CPU@2.50GHz,64GB运行内存,NVIDIAGeForceRTX2080TiGPU,PyTorch框架。
表1不同网络模型性能对比
表2消融实验设计
表3不同置信度权重性能对比
Claims (8)
1.一种基于不确定度校准和区域分解的端到端染色体分割方法,其特征在于步骤如下:
步骤1、首先对需要进行端到端染色体分割的染色体图片进行预处理:
步骤2、通过迁移学习方法在染色体分类数据集上预训练骨干网络ResNet101提取染色体基本特征;
步骤3、引入不确定度分支输出不确定度学习检测框的可靠性,利用不确定度修正染色体检测框的位置来实现对染色体更加精确的定位;
步骤4、最后利用分解因子将区域生成网络RPN产生的所有建议框RoI分解、自适应融合,减轻重叠染色体分割时产生的语义歧义,最终得到分割更完整的染色体。
2.根据权利要求1所述一种基于不确定度校准和区域分解的端到端染色体分割方法,其特征在于,步骤1中预处理的具体步骤为:
1a、将染色体图像放缩到800×1088×3像素;
1b、利用labelme软件根据G带染色体数据集对染色体图像中的染色体G带信息进行标注,包括染色体的定位、类别、分割标签向量信息。
3.根据权利要求1所述一种基于不确定度校准和区域分解的端到端染色体分割方法,其特征在于,步骤2具体步骤如下:
2a、将原始染色体图片作为输入送入主干特征提取网络ResNet101,特征提取后利用长宽压缩了两次、三次、四次、五次的特征图C2,C3,C4,C5进行后续特征金字塔的构造,其中ResNet101网络为通过迁移学习在公共染色体分类公共数据集上预训练微调过的骨干网络,通过迁移学习得到的骨干网络相比在ImageNet自然图像上训练骨干网络可以提取染色体的基本特征,有利于后续针对染色体设计的分割网络;
2b将四张特征图C2,C3,C4,C5送入特征金字塔FPN以多尺度提取特征,得到不同尺度的四张特征图P2,P3,P4,P5;计算labelme软件标注了染色体G带信息中所有单条染色体的面积得出染色体为小目标的结论,仅需要特征金字塔FPN的多尺度作用在小尺度上,因此只选择P2,P3层作为特征层输出即可;
2c将特征金字塔FPN的输出的特征图P2,P3,P4,P5送入区域生成网络RPN进行第一阶段的回归和分类任务,得到的染色体定位框RoI,由于染色体是小目标,只需要输出特征图P2,P3,利用染色体定位RoI到特征图P2,P3上进行RoIAlign截取出每个RoI对应的特征图。
4.根据权利要求1所述一种基于不确定度校准和区域分解的端到端染色体分割方法,其特征在于,其特征在于步骤3具体步骤如下:
3a截取出每个RoI对应的特征图分别接回归分支和分类分支,其中在回归分支设置两个卷积层Conv,在分类分支设置两个全连接层FC;
3b在回归分支额外设计不确定度分支,利用不确定度分支输出的不确定度建立高斯分布模型,染色体目标对应所有候选框的回归参数平均值作为高斯分布的均值,同时将对应候选框不确定度分支的预测值经过softmax操作后得到的处于[0,1]之间的值作为高斯分布的标准差,建立每一条染色体对应的所有候选框的高斯分布;在训练过程中,使经过回归后被认定可以覆盖染色体的候选框的分布接近真实框的分布计算损失函数。
5.根据权利要求4所述一种基于不确定度校准和区域分解的端到端染色体分割方法,其特征在于,步骤4具体步骤如下:
4a将RoI区域多次分割以避免由两条及两条以上染色体重叠引起的语义歧义,具体做法为:在RoIAlign之前将RoI根据人工预设的分解因子s分解为上下左右四个区域,分解因子s定义为分解区域长/宽与原图长/宽的比值;
6.一种基于不确定度校准和区域分解的端到端染色体分割方法使用的UCRD-Net网络,其特征在于:UCRD-Net包括染色体特征提取模块FE、不确定度的染色体检测框校准模块UC和基于区域分解的染色体分割模块RD;其中ResNet101和FPN均属于染色体特征提取模块FE;
染色体特征提取模块FE,利用公共G带染色体分类数据集完成ResNet101骨干网络预训练以提取基本特征,再结合端到端检测时单条染色体的小目标特点,选择底层特征图及相应大小的锚框增强特征;
不确定度的染色体检测框校准模块UC,根据分类回归在特征学习中关注特征不同的特点设计双分支头分别用于分类回归任务,再增加不确定度分支输出不确定度以修正定位误差较大的检测框,减少由于检测框的不精确而导致的分割掩码缺失;
基于区域分解的染色体分割模块RD,将RoI分解为四个方向的位置区域而后经过RoIAlign提取四个位置方向的特征,再将四个方向特征和整个RoI的特征自适应融合,通过多方向的推理以强化RoI内待分割染色体的语义响应,避免RoI内其他染色体造成的语义歧义。
7.根据权利要求6所述UCRD-Net网络,其特征在于:对UCRD Net网络训练,设定初始学习率le-5,网络优化采用随机梯度下降SGD法。
8.一种使用权利要求6所述UCRD-Net网络的染色体分割预测方法,其特征在于步骤如下:
4a首先输入染色体图片经过UCRD-Net的主干网络ResNet101和特征金字塔FPN得到特征图后经过区域生成网络得到RoI;
4b通过RoIAlign操作后首先进入回归分支和分类分支进行定位和分类;
此时,经过不确定度分支预测出不确定度,在非极大值抑制阶段修正候选框的排序分数,原始排序分数为分类置信度,通过下式进行修正排序分数:
score=λ×(cls_score)+(1-λ)×(1-η) (2)
式中,λ为权重参数,本文通过网格搜索设置λ=0.3,score为校准后的分数,CLS-score表示不正确的置信度/分类置信度;η为候选框的输出不确定度。
4c从4b中得到的经非极大值抑制并修正后的候选框送入分割头进行分割,此时会对该候选框进行相应的分解和自适应融合以输出最后的分割结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310167625.6A CN116129123B (zh) | 2023-02-27 | 2023-02-27 | 基于不确定度校准和区域分解的端到端染色体分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310167625.6A CN116129123B (zh) | 2023-02-27 | 2023-02-27 | 基于不确定度校准和区域分解的端到端染色体分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116129123A true CN116129123A (zh) | 2023-05-16 |
CN116129123B CN116129123B (zh) | 2024-01-05 |
Family
ID=86311706
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310167625.6A Active CN116129123B (zh) | 2023-02-27 | 2023-02-27 | 基于不确定度校准和区域分解的端到端染色体分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116129123B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160333416A1 (en) * | 2014-04-21 | 2016-11-17 | Natera, Inc. | Detecting cancer mutations and aneuploidy in chromosomal segments |
CN110533684A (zh) * | 2019-08-22 | 2019-12-03 | 杭州德适生物科技有限公司 | 一种染色体核型图像切割方法 |
CN110533672A (zh) * | 2019-08-22 | 2019-12-03 | 杭州德适生物科技有限公司 | 一种基于条带识别的染色体排序方法 |
CA3028669A1 (en) * | 2018-07-06 | 2020-01-06 | Tata Consultancy Services Limited | Method and system for automatic chromosome classification |
CN111612750A (zh) * | 2020-05-13 | 2020-09-01 | 中国矿业大学 | 基于多尺度特征提取的重叠染色体分割网络 |
AU2020103901A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field |
CN113658199A (zh) * | 2021-09-02 | 2021-11-16 | 中国矿业大学 | 基于回归修正的染色体实例分割网络 |
US20220028481A1 (en) * | 2020-07-27 | 2022-01-27 | Sophia Genetics S.A. | Methods for identifying chromosomal spatial instability such as homologous repair deficiency in low coverage next-generation sequencing data |
CN114529523A (zh) * | 2022-02-16 | 2022-05-24 | 上海交通大学 | 基于不确定度的工业缺陷程度推断方法及系统 |
CN115330603A (zh) * | 2022-10-17 | 2022-11-11 | 湖南自兴智慧医疗科技有限公司 | 基于深度学习卷积神经网络的人类染色体图像摆正方法 |
-
2023
- 2023-02-27 CN CN202310167625.6A patent/CN116129123B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160333416A1 (en) * | 2014-04-21 | 2016-11-17 | Natera, Inc. | Detecting cancer mutations and aneuploidy in chromosomal segments |
CA3028669A1 (en) * | 2018-07-06 | 2020-01-06 | Tata Consultancy Services Limited | Method and system for automatic chromosome classification |
CN110533684A (zh) * | 2019-08-22 | 2019-12-03 | 杭州德适生物科技有限公司 | 一种染色体核型图像切割方法 |
CN110533672A (zh) * | 2019-08-22 | 2019-12-03 | 杭州德适生物科技有限公司 | 一种基于条带识别的染色体排序方法 |
CN115601374A (zh) * | 2019-08-22 | 2023-01-13 | 杭州德适生物科技有限公司(Cn) | 一种染色体图像分割方法 |
CN111612750A (zh) * | 2020-05-13 | 2020-09-01 | 中国矿业大学 | 基于多尺度特征提取的重叠染色体分割网络 |
US20220028481A1 (en) * | 2020-07-27 | 2022-01-27 | Sophia Genetics S.A. | Methods for identifying chromosomal spatial instability such as homologous repair deficiency in low coverage next-generation sequencing data |
AU2020103901A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field |
CN113658199A (zh) * | 2021-09-02 | 2021-11-16 | 中国矿业大学 | 基于回归修正的染色体实例分割网络 |
CN114529523A (zh) * | 2022-02-16 | 2022-05-24 | 上海交通大学 | 基于不确定度的工业缺陷程度推断方法及系统 |
CN115330603A (zh) * | 2022-10-17 | 2022-11-11 | 湖南自兴智慧医疗科技有限公司 | 基于深度学习卷积神经网络的人类染色体图像摆正方法 |
Non-Patent Citations (4)
Title |
---|
NING XIE等: "Statistical Karyotype Analysis Using CNN and Geometric Optimization", IEEE ACCESS, pages 1 - 9 * |
张林等: "基于网格重构学习的染色体分类模型", 自动化学报, pages 1001 - 1009 * |
林成创;赵淦森;尹爱华;丁笔超;郭莉;陈汉彪;: "AS-PANet:改进路径增强网络的重叠染色体实例分割", 中国图象图形学报, no. 10 * |
游齐靖: "机器学习在染色体和眼底图像分析中的应用", 中国优秀硕士学位论文全文数据库医药卫生科技辑, pages 073 - 12 * |
Also Published As
Publication number | Publication date |
---|---|
CN116129123B (zh) | 2024-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10282589B2 (en) | Method and system for detection and classification of cells using convolutional neural networks | |
CN110120040B (zh) | 切片图像处理方法、装置、计算机设备和存储介质 | |
CN108830326B (zh) | 一种mri图像的自动分割方法及装置 | |
CN111898432B (zh) | 一种基于改进YOLOv3算法的行人检测系统及方法 | |
CN109345527B (zh) | 一种基于MaskRcnn的膀胱肿瘤检测方法 | |
CN111507335A (zh) | 自动标注利用于深度学习网络的训练图像的方法和装置 | |
WO2023045231A1 (zh) | 一种解耦分治的面神经分割方法和装置 | |
CN112036231B (zh) | 一种基于车载视频的车道线和路面指示标志检测与识别方法 | |
CN110647802A (zh) | 基于深度学习的遥感影像舰船目标检测方法 | |
CN113269257A (zh) | 一种图像分类方法、装置、终端设备及存储介质 | |
CN112819821A (zh) | 一种细胞核图像检测方法 | |
CN113487610B (zh) | 疱疹图像识别方法、装置、计算机设备和存储介质 | |
CN110852327A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN116721414A (zh) | 一种医学图像细胞分割与跟踪方法 | |
CN115775226B (zh) | 基于Transformer的医学图像分类方法 | |
CN113850136A (zh) | 基于yolov5与BCNN的车辆朝向识别方法及系统 | |
CN115546187A (zh) | 基于YOLO v5的农业病虫害检测方法及装置 | |
CN113658199B (zh) | 基于回归修正的染色体实例分割网络 | |
CN114463732A (zh) | 一种基于知识蒸馏的场景文本检测方法及装置 | |
CN112419335B (zh) | 一种细胞核分割网络的形状损失计算方法 | |
CN112465821A (zh) | 一种基于边界关键点感知的多尺度害虫图像检测方法 | |
CN110287970B (zh) | 一种基于cam与掩盖的弱监督物体定位方法 | |
CN110348311B (zh) | 一种基于深度学习的道路交叉口识别系统及方法 | |
CN116129123B (zh) | 基于不确定度校准和区域分解的端到端染色体分割方法 | |
CN107368847A (zh) | 一种作物叶部病害识别方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |