CN114820596B - 基于联合模型的弯曲染色体图像拉直方法 - Google Patents
基于联合模型的弯曲染色体图像拉直方法 Download PDFInfo
- Publication number
- CN114820596B CN114820596B CN202210717245.0A CN202210717245A CN114820596B CN 114820596 B CN114820596 B CN 114820596B CN 202210717245 A CN202210717245 A CN 202210717245A CN 114820596 B CN114820596 B CN 114820596B
- Authority
- CN
- China
- Prior art keywords
- chromosome
- morphological
- straightening
- curved
- deformation field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000000349 chromosome Anatomy 0.000 title claims abstract description 318
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000000877 morphologic effect Effects 0.000 claims abstract description 94
- 238000005452 bending Methods 0.000 claims abstract description 32
- 238000012937 correction Methods 0.000 claims abstract description 18
- 238000004088 simulation Methods 0.000 claims abstract description 6
- 238000005457 optimization Methods 0.000 claims abstract description 5
- 239000013598 vector Substances 0.000 claims description 11
- 230000009471 action Effects 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 abstract description 13
- 230000009467 reduction Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 201000010374 Down Syndrome Diseases 0.000 description 1
- 208000026350 Inborn Genetic disease Diseases 0.000 description 1
- 206010044688 Trisomy 21 Diseases 0.000 description 1
- 208000026928 Turner syndrome Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 208000016361 genetic disease Diseases 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 210000003917 human chromosome Anatomy 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
Abstract
本发明公开了一种基于联合模型的弯曲染色体图像拉直方法，其包括：作用形变场到现实笔直染色体来实现弯曲染色体的模拟；通过第一UNet编码器的卷积操作和Transformer层的自注意力引导来提取现实笔直染色体和模拟弯曲染色体各自的局部和全局形态学特征，使用解码回归建立两种染色体的形态学特征映射关系，即为形态学拉直形变场；计算长度和弯曲程度，从结构上进一步修正形态学拉直形变场，得到初次修正的形态学拉直形变场；接着通过第二UNet对初次修正的形态学拉直形变场再次进行形态学和结构的二次细节修正优化；最后将待预测的现实弯曲染色体依次输入到初次修正和二次修正的形态学拉直形变场，即可得到最终的拉直染色体。本发明方法通用性强、准确性高。
Description
技术领域
本发明涉及医学图像处理领域，尤其涉及基于联合模型的弯曲染色体图像拉直方法。
背景技术
染色体核型分析是研究特纳综合征、唐氏综合征和克里杜聊天综合症等遗传疾病的基本步骤，因为染色体的非刚性的特点，它们在染色的显微图像中往往会随机弯曲。这种弯曲变形会增加条带特征的分析的难度，阻碍染色体类型的分类及异常的识别。染色体矫正可以让细胞遗传学家更清楚地观察分析染色体，从而提高染色体核型分析的效率。在弯曲染色体矫正中，形态学特征（条带信息）和结构特征可以用于染色体类型的分类及异常的识别。因此在矫正过程中，保留二者的特征是十分重要的。
之前针对染色体拉直任务的工作主要与几何方法相关，可以大致分为两个方向：提取中轴线作为拉直染色体信息还原的参考和利用弯曲点对染色体进行分段。对于前者，大多数染色体拉直方法一般使用形态学进行区域的腐蚀操作，先获取粗略的中心线结果，然后通过连通域的计算来删除连通域较多的点，从而对提取的粗略中心线进行优化，得到精细的中心线。此中心线将作为参考用于染色体的拉直，而染色体的细节部分将沿着该中心线进行迭代插值和还原。然而由于这类方法不容易准确提取中心线，染色体往往不能按照正确的参考中心线进行特征还原，拉直染色体的条带信息容易丢失。
另一类方法利用弯曲点来拉直染色体。对于该类方法，一般需要人为标记或通过分析水平和垂直方向的投影向量来获取弯曲点作为染色体分段的关键点。在用弯曲点对染色体进行分段之后，该类方法将会对这些染色体段进行旋转和插值缝合以重建得到拉直的染色体。尽管这类几何方法可以拉直染色体，但部分染色体的插值缝合可能包含不连续的条带特征且部分结构可能发生改变。
深度学习技术在染色体类型分类方面取得了巨大成就，但很少有研究将深度学习应用于染色体的拉直任务上。也有研发人员开发了首个基于深度学习的变换模型来矫正染色体中的形态。该方法应用条件生成对抗网络来创建弯曲染色体和骨架图之间的映射。虽然校正后的染色体有效地保留条带特征，但染色体长度未能保持一致。此外，对于每条特定的染色体都需要开发一个特殊的模型用于染色体的拉直校正。因此此方法在临床实践中应用的可行性需要进一步考量。
发明内容
本发明的目的在于针对目前染色体拉直后染色体形态学和结构特征保留较差，拉直算法通用性不强的问题，提供一种适用于不同曲率不同类型的弯曲染色体拉直方法。
本发明的目的是通过以下技术方案来实现的：
一种基于联合模型的弯曲染色体图像拉直方法，所述联合模型包括由在第一UNet网络的编码器和解码器之间嵌入Transformer网络中的Transformer层所形成的融合网络TransUNet，以及第二UNet网络；
所述TransUNet用于构建融合染色体形态学和结构的特征关系；所述第二UNet网络用于对TransUNet构建的特征关系进行优化；
该方法包括如下步骤：
步骤一：选取现实中染色体图像数据，计算每个染色体的弯曲程度，选取弯曲程度小于设定阈值的染色体，作为现实笔直染色体，在其上作用不同力度的形变场来生成对应的模拟弯曲染色体；
步骤二：通过第一UNet编码器的卷积操作分别提取步骤一中的现实笔直染色体和模拟弯曲染色体的局部的形态学特征，再通过Transformer层的自注意力引导分别提取步骤一中的现实笔直染色体和模拟弯曲染色体的全局形态学特征；基于全局和局部形态学特征，使用解码回归的方式建立现实笔直染色体和模拟弯曲染色体的形态学特征关系，根据形态学特征关系计算形态学拉直形变场，然后将形态学拉直形变场作用在模拟弯曲染色体上，得到初步预测的拉直染色体；
步骤三：计算现实笔直染色体和初步预测的拉直染色体的长度和曲率，以笔直染色体为目标，初次修正形态学拉直形变场，并将初次修正后的形态学拉直形变场作用在初步预测的拉直染色体上，得到结构校正的拉直染色体；
步骤四：利用第二UNet编码器的卷积操作提取并融合模拟弯曲染色体和结构校正的拉直染色体的特征信息，参照步骤二和步骤三，从形态学和结构方面对形态学拉直形变场再进行细节上的优化，得到二次修正的形态学拉直形变场；
步骤五：将待预测的现实弯曲染色体图像数据输入初次修正后的形态学拉直形变场，再将得到的结果输入二次修正的形态学拉直形变场，即可得到与现实弯曲染色体对应的拉直染色体。
进一步地，所述步骤一包括如下子步骤：
（1.1）根据中心线算法提取现实中染色体图像数据的中心线集Lc，在中心线上等间距选取五个点，并计算染色体的弯曲程度Sd，选取Sd小于设定阈值的染色体构建现实笔直染色体集Cs，
其中，x,y为中心线上等间距选取的五个点的坐标；
（1.2）利用步骤（1.1）中得到的一条现实笔直染色体cs，cs属于Cs中的一条染色体，构建一个与染色体图像大小相同的形变场M，在形变场上随机选取该染色体中心线lc上的点i，作用在点i上的力为pi，生成一个表示力作用的变形方向的随机向量v和表示力作用强度的权重w，得到形变作用力pi+wv；
（1.3）利用步骤（1.2）中得到的形变作用力pi+wv，对染色体cs进行弯曲，得到模拟弯曲染色体xb。
进一步地，所述步骤二包括如下子步骤：
（2.1）将步骤（1.1）得到的现实笔直染色体cs和（1.3）得到的对应的模拟弯曲染色体xb输入至第一UNet的卷积层，通过卷积层的卷积操作解码分别获得两者对应的局部特征flcs和flxb；
（2.2）将步骤（2.1）得到的局部特征flcs和flxb分别分成相同大小的特征块flcsi和flxbi，并分别按顺序将特征块flcsi和flxbi排序，分别转化成一维序列scs和sxb；将scs和sxb均映射到拉登空间生成嵌入块向量zcs和zxb；然后通过Transformer层，利用自注意力引导分别获得与嵌入块向量对应的全局特征向量fgcs和fgxb；
（2.3）将局部特征flcs和全局特征fgcs进行融合上采样得到fcs，将局部特征flxb和全局特征fgxb进行融合上采样得到fxb，建立现实笔直染色体cs和模拟弯曲染色体xb间的形态学特征关系，并解码回归重建出形态学拉直形变场M1，然后将拉直形变场作用到步骤（1.3）得到的模拟弯曲染色体xb上，得到初步预测的拉直染色体ys1。
进一步地，所述步骤三包括如下子步骤：
（3.1）分别提取现实笔直染色体cs和初步预测的拉直染色体ys1的中心线lc和ly，使用欧氏距离用中心线上的点分别计算两条染色体的长度ls1和ls2，并分别等间距选取中心线上的五个点，计算各染色体的弯曲程度sc与sy；根据两条染色体的长度误差和弯曲程度的误差，将ls1和sc作为目标，修正形态学拉直形变场M1得到初次修正后的形态学拉直形变场M2，以保持拉直染色体长度和弯曲程度的一致；
（3.2）将M2作用在初步预测的拉直染色体ys1上，得到结构校正的拉直染色体ys2。
进一步地，所述步骤四包括如下子步骤：
（4.1）利用第二UNet编码器的卷积操作提取模拟弯曲染色体xb和结构校正的拉直染色体ys2的局部特征，并融合得到fu；
（4.2）以fcs为目标，通过fu修正形态学拉直形变场M2，得到形态学拉直形变场M3，并将M3作用到ys2，得到形态学特征细化的ys3；
（4.3）对ys3重复步骤（3.1）到步骤（3.2）的操作从而再次进行结构特征的细化，得到二次修正的形态学拉直形变场M4。
进一步地，所述步骤五包括如下子步骤：
（5.1）将待预测的现实弯曲染色体图像数据cb输入初次修正后的形态学拉直形变场，再将得到的结果输入二次修正的形态学拉直形变场，即可得到与现实弯曲染色体对应的拉直染色体ys4。
本发明的有益效果如下：
（1）本发明构建了模拟弯曲染色体和现实笔直染色体形态学特征的映射关系，使得弯曲染色体在拉直之后可以较好得保留形态学特征，解决了现有方法还原后条带信息丢失的问题；保留长度和笔直结构的特征，解决了现有方法还原后结构不一致的问题。
（2）本发明在构建模拟弯曲染色体和现实笔直染色体形态学特征的映射关系后，又对其进行细节上的优化，使得弯曲染色体在拉直之后可以获得更好的形态特征和结构细节，进一步优化了染色体拉直还原的结果。
（3）本发明首次利用现实笔直染色体模拟了不同曲率不同类型的弯曲染色体数据，提出了基于联合模型的弯曲染色体到笔直染色体图像拉直方法，可对不同曲率不同类型的染色体进行形态校正，校正结果和真实结果接近，优于现有方法，具有通用性强、准确性高等优点。
附图说明
图1 是基于联合模型的弯曲染色体图像拉直方法的网络架构图。
图2 是根据现实7号、10号和12号笔直染色体分别模拟与其对应的弯曲染色体。其中（a）为7号、10号和12号现实笔直染色体，（b）为模拟的与（a）中每种染色体类型对应的弯曲染色体。
图3 是拉直7号、10号和12号模拟弯曲染色体的结果图；其中（a）为7号、10号和12号模拟弯曲染色体，（b）为与（a）中每种染色体类型对应的TransUNet拉直的染色体初步结果图，（c）为与（a）中每种染色体类型对应的第二UNet拉直的染色体二次结果图，即为本发明方法对模拟弯曲染色体拉直的最终结果。
图4 是本发明方法拉直4号、6号和7号现实弯曲染色体的结果图。其中（a）为4号、6号和7号现实弯曲染色体，（b）为与（a）中每种染色体类型对应的经过TransUNet拉直的染色体初步结果图，（c）为与（a）中每种染色体类型对应的经过第二UNet拉直的染色体二次结果图，即为本方法对现实弯曲染色体拉直的最终结果。
图5 是某个开源方法分别对于4号、6号和7号现实弯曲染色体的拉直结果图。其中（a）为4号、6号和7号现实弯曲染色体，（b）为与（a）中每种染色体类型对应的基于弯曲点的染色体拉直方法的结果图，（c）为与（a）中每种染色体类型对应的使用本方法拉直的结果图。
具体实施方式
下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
构建弯曲染色体图像到笔直染色体图像的映射模型时需要输入同一条染色体的弯曲图像和笔直图像。然而，在现实中，人们很难通过显微镜采集到这样的弯曲和笔直染色体数据对。另外由于染色体非刚性的特性，它在现实中可以任意弯曲。因此在现实中也很难收集到同一染色体不同弯曲度下的图像。所以本发明想通过现实笔直染色体的弯曲模拟，来构造同一染色体的弯曲和笔直数据对用于构建映射模型。而构建的模型学习到了模拟弯曲染色体图像到现实笔直染色体图像在形态学和结构上的映射关系，此关系与现实弯曲染色体图像到现实笔直染色体图像上的映射关系相似。因此当输入一张现实弯曲染色体图像到映射模型后，模型就可以输出对应的拉直染色体。
本发明提出了一种基于联合模型的弯曲染色体图像拉直方法，其核心是基于TransUNet和UNet的联合模型来构建弯曲染色体和笔直染色体映射关系，在关系构建中最大化保留弯曲染色体的条带特征和结构信息，以实现高质量的弯曲染色体拉直。联合模型包括由在第一UNet网络的编码器和解码器之间嵌入Transformer网络中的Transformer层所形成的融合网络TransUNet，以及第二UNet网络。该实施例中，Transformer层有12层。如图1所示，输入弯曲染色体图像首先通过第一UNet编码器和Transformer层分别提取局部和全局特征，并计算结构信息，解码回归重建得到初次修正后的形态学拉直形变场，然后通过第二Unet网络编码优化局部细节特征，解码回归重建得到二修正后的形态学拉直形变场，最后将修正完的形态学拉直形变场作用在输入图像上，得到拉直染色体图像。
该方法包括以下步骤：
步骤一：弯曲染色体的模拟：选取现实中染色体图像数据，计算每个染色体的弯曲程度，选取弯曲程度小于设定阈值的染色体，作为现实笔直染色体，在其上作用不同力度的形变场来生成对应的模拟弯曲染色体；具体包括以下子步骤：
（1.1）染色体中心线的提取：为了选取现实中笔直的染色体，先使用骨架算法（Saeed K, Tabędzki M, Rybnik M, Adamski M. K3M: A universal algorithm forimage skeletonization and a review of thinning techniques.）提取了数据库中所有染色体的中心线Lc，然后在中心线上等距离取五个点，通过各连续两点之间的角度来计算染色体的弯曲程度Sd：
并使用分数阈值150筛选得到现实中笔直染色体集Cs，其中，x,y为中心线上等间距选取的五个点的坐标。
（1.2）形变场的构建：选取染色体Cs集中任意一条笔直染色体cs，然后在与染色体图像大小相同的形变场M上随机选取该染色体中心线lc上的点i为力的作用点pi，生成一个随机向量v来表示力作用的变形方向和权重w来表示强度，得到形变作用力pi+wv。作用力表示中权重w控制着染色体的平滑弯曲形变场，它由1-da求得，而距离d代表着由pi和v生成线与控制点的距离。其中a是一个常数，用于控制形变的传播。
（1.3）弯曲染色体的生成：基于形变场M使用映射函数（Kaehler A, Bradski G.Learning OpenCV 3: computer vision in C++ with the OpenCV library. " O'ReillyMedia, Inc."; 2016 Dec 14.）对现实笔直染色体cs进行几何弯曲，弯曲后的染色体图像为xb=bent(cs,M)。
此时得到了模拟的弯曲染色体和现实中笔直的染色体数据。
步骤二：现实笔直染色体和模拟弯曲染色体形态学特征关系的构建：通过第一UNet编码器的卷积操作分别提取步骤一中的现实笔直染色体和模拟弯曲染色体的局部的形态学特征，再通过Transformer层的自注意力引导分别提取步骤一中的现实笔直染色体和模拟弯曲染色体的全局形态学特征；基于全局和局部形态学特征，使用解码回归的方式建立现实笔直染色体和模拟弯曲染色体的形态学特征关系，根据形态学特征关系计算形态学拉直形变场，然后将形态学拉直形变场作用在模拟弯曲染色体上，得到初步预测的拉直染色体；
具体包括以下子步骤：
（2.1）局部形态学特征的提取：将现实笔直染色体cs和模拟弯曲染色体xb输入至TransUNet模型，通过第一UNet编码器的卷积操作来分别提取二者的局部特征flcs和flxb。
（2.2）全局形态学特征的提取：将得到的局部特征flcs和flxb分成相同大小的特征块flcsi和flxbi，并分别按顺序将特征块flcsi和flxbi排序，分别转化为一维序列scs和sxb，将其分别通过线性投影映射到拉登空间以用于生成嵌入块向量z：
z=[f0;f1;f2;f3;···;fs]
然后通过12个Transformer层以获得全局特征fgcs和fgxb。其中一个Transformer层包括一个多头投影层和一个多层感知机。
（2.3）形态学特征关系的建立：将低维局部特征flcs和flxb和全局特征fgcs和fgxb进行融合，通过上采样操作分别得到特征fcs和fxb，得到现实笔直染色体cs和模拟弯曲染色体xb间的形态学特征关系，解码回归重建出初步的形态学拉直形变场图M1，最后作用形变场到模拟弯曲染色体xb上，得到初步的预测拉直染色体ys1，并使用均方误差来优化基于联合模型，其中，均方误差的计算公式如下：
其中n为像素点个数，该损失函数的目标是尽量使初步预测的拉直染色体ys1和现实笔直染色体cs的形态学特征一致。
步骤三：染色体结构信息的保留：计算现实笔直染色体和初步预测的拉直染色体的长度和曲率，以笔直染色体为目标，初次修正形态学拉直形变场，并将初次修正后的形态学拉直形变场作用在初步预测的拉直染色体上，得到结构校正的拉直染色体；具体包括以下子步骤：
（3.1）通过骨架算法计算现实中笔直的染色体cs和预测拉直染色体ys的中心线lc和ly，使用欧氏距离：
用中心线上的点分别计算两条染色体的长度ls1和ls2，并分别等间距选取中心线上的五个点，计算各染色体的弯曲程度sc与sy；根据两条染色体的长度误差和弯曲程度的误差，将ls1和sc作为目标，修正形态学拉直形变场M1得到初次修正后的形态学拉直形变场M2，以保持拉直染色体长度和弯曲程度的一致；
（3.2）将M2作用在初步预测的拉直染色体ys1上，得到结构校正的拉直染色体ys2；
这样对结构校正的拉直染色体保留了模拟弯曲染色体的结构信息。
步骤四：映射关系的细节优化：利用第二UNet编码器的卷积操作提取并融合模拟弯曲染色体和结构校正的拉直染色体的特征信息，参照步骤二和步骤三，从形态学和结构方面对形态学拉直形变场再进行细节上的优化，得到二次修正的形态学拉直形变场。该步骤细化了拉直染色体的结构信息以及形态学特征的细粒度；具体包括以下子步骤：
（4.1）此步骤的UNet由卷积层构成，其卷积层的卷积操作提取了（1.3）得到的模拟弯曲染色体xb和步骤（3.3）得到的结构校正的拉直染色体ys2的特征，并融合后通过下采样得到特征fu。其中用于下采样的编码器由8层3x3卷积层和4层池化层构成，RELU为激活函数。
（4.2）以步骤（2.3）中的fcs为目标，通过fu修正形态学拉直形变场M2，得到形态学拉直形变场M3，并将M3作用到ys2，得到形态学特征细化的ys3；
（9）（4.3）对ys3重复步骤（3.1）到步骤（3.2）的操作从而再次进行结构特征的细化，得到二次修正的形态学拉直形变场M4。
步骤五：将待预测的现实弯曲染色体图像数据cb输入初次修正后的形态学拉直形变场，再将得到的结果输入二次修正的形态学拉直形变场，即可得到与现实弯曲染色体对应的拉直染色体ys4。
本实施例是在一台配备Intel Gold 6248R中央处理器，NVIDIA A100图形处理器及64GB内存的机器上实现的。图1 是基于联合模型的弯曲染色体图像拉直方法的网络架构图；采用所有在实施例中列出的参数值，得到了附图2-5中所示的实验结果。
图2 是本发明方法根据现实7号、10号和12号笔直染色体分别模拟与其对应的弯曲染色体。其中（a）为7号、10号和12号现实笔直染色体，（b）为模拟的与（a）中每种染色体类型对应的不同弯曲程度的弯曲染色体，模拟染色体的弯曲部分形态特征平滑。
图3 是本发明方法拉直7号、10号和12号模拟弯曲染色体的结果图。其中（a）为7号、10号和12号模拟弯曲染色体，（b）为与（a）中每种染色体类型对应的TransUNet拉直的染色体初步结果图，可以发现，拉直之后的染色体形态学和结构特征被较好的保留，但是拉直后染色体的长度比弯曲染色体稍短，因为在头尾处于同一位置的拉直染色体和弯曲染色体中，弯曲染色体的实际长度更长，（c）为与（a）中每种染色体类型对应的第二UNet拉直的染色体二次结果图，即为本发明方法对模拟弯曲染色体拉直的最终结果，可以发现此时拉直染色体可以在较好地保留形态学和笔直结构的同时，保持拉直前后染色体长度的一致。
图4 是本发明方法拉直4号、6号和7号现实弯曲染色体的结果图。其中（a）为4号、6号和7号现实弯曲染色体，（b）为与（a）中每种染色体类型对应的经过TransUNet拉直的染色体初步结果图，可以发现拉之后的染色体形态学特征被较好的保留，结构特征（长度和笔直程度）一定程度被有效还原，但仍与期望效果存在一定距离，（c）为与（a）中每种染色体类型对应的经过第二UNet拉直的染色体二次结果图，即为本发明方法对现实弯曲染色体拉直的最终结果，可以发现此时，拉之后的染色体的形态学特征和结构特征都被较好的保留，拉直效果整体较好。
同时还采用目前开源的方法Roshtkhari, Mehrsan Javan, and SeyedKamaledin Setarehdan. "A novel algorithm for straightening highly curvedimages of human chromosome." Pattern recognition letters 29.9 (2008): 1208-1217，对4号、6号和7号现实弯曲染色体进行拉直，并对本发明的方法得到的染色体拉直结果和该开源方法得到的结果进行比较。其比较结果如图5所示。可以发现该开源方法在4号、6号和7号现实弯曲染色体的拉直结果上（b）均表现出中间条带信息缺失的情况，而且其结果与其对应（a）中的拉直前染色体的长度不一致。而本发明方法在4号、6号和7号现实弯曲染色体的拉直结果（c）上表现出连续的条带特征，并与其对应（a）中的拉直前染色体的长度基本一致，拉直前后不仅较好得保留了条带信息，同时也较好得保证了染色体的长度统一和结构笔直。
综上所述，本方法较好得保留染色体形态学特征并能保证结构信息一致的同时拉直染色体，解决现有方法通用性差、特征还原准确率低的问题。
本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。
Claims (3)
1.一种基于联合模型的弯曲染色体图像拉直方法，其特征在于，所述联合模型包括由在第一UNet网络的编码器和解码器之间嵌入Transformer网络中的Transformer层所形成的融合网络TransUNet，以及第二UNet网络；
所述TransUNet用于构建融合染色体形态学和结构的特征关系；所述第二UNet网络用于对TransUNet构建的特征关系进行优化；
该方法包括如下步骤：
步骤一：选取现实中染色体图像数据，计算每个染色体的弯曲程度，选取弯曲程度小于设定阈值的染色体，作为现实笔直染色体，在其上作用不同力度的形变场来生成对应的模拟弯曲染色体；
步骤二：通过第一UNet编码器的卷积操作分别提取步骤一中的现实笔直染色体和模拟弯曲染色体的局部的形态学特征，再通过Transformer层的自注意力引导分别提取步骤一中的现实笔直染色体和模拟弯曲染色体的全局形态学特征；基于全局和局部形态学特征，使用解码回归的方式建立现实笔直染色体和模拟弯曲染色体的形态学特征关系，根据形态学特征关系计算形态学拉直形变场，然后将形态学拉直形变场作用在模拟弯曲染色体上，得到初步预测的拉直染色体；
步骤三：计算现实笔直染色体和初步预测的拉直染色体的长度和曲率，以笔直染色体为目标，初次修正形态学拉直形变场，并将初次修正后的形态学拉直形变场作用在初步预测的拉直染色体上，得到结构校正的拉直染色体；
步骤四：利用第二UNet编码器的卷积操作提取并融合模拟弯曲染色体和结构校正的拉直染色体的特征信息，执行步骤二和步骤三相同的操作，从形态学和结构方面对形态学拉直形变场再进行细节上的优化，得到二次修正的形态学拉直形变场；
步骤五：将待预测的现实弯曲染色体图像数据输入初次修正后的形态学拉直形变场，再将得到的结果输入二次修正的形态学拉直形变场，即可得到与现实弯曲染色体对应的拉直染色体；
所述步骤一包括如下子步骤：
（1.1）根据中心线算法提取现实中染色体图像数据的中心线集Lc，在中心线上等间距选取五个点，并计算染色体的弯曲程度Sd，选取Sd小于设定阈值的染色体构建现实笔直染色体集Cs，
其中，x,y为中心线上等间距选取的五个点的坐标；
（1.2）利用步骤（1.1）中得到的一条现实笔直染色体cs，cs属于Cs中的一条染色体，构建一个与染色体图像大小相同的形变场M，在形变场上随机选取该染色体中心线lc上的点i，作用在点i上的力为pi，生成一个表示力作用的变形方向的随机向量v和表示力作用强度的权重w，得到形变作用力pi+wv；
（1.3）利用步骤（1.2）中得到的形变作用力pi+wv，对染色体cs进行弯曲，得到模拟弯曲染色体xb；
所述步骤二包括如下子步骤：
（2.1）将步骤（1.1）得到的现实笔直染色体cs和（1.3）得到的对应的模拟弯曲染色体xb输入至第一UNet的卷积层，通过卷积层的卷积操作解码分别获得两者对应的局部特征flcs和flxb；
（2.2）将步骤（2.1）得到的局部特征flcs和flxb分别分成相同大小的特征块flcsi和flxbi，并分别按顺序将特征块flcsi和flxbi排序，分别转化成一维序列scs和sxb；将scs和sxb均映射到拉登空间生成嵌入块向量zcs和zxb；然后通过Transformer层，利用自注意力引导分别获得与嵌入块向量对应的全局特征向量fgcs和fgxb；
（2.3）将局部特征flcs和全局特征fgcs进行融合上采样得到fcs，将局部特征flxb和全局特征fgxb进行融合上采样得到fxb，建立现实笔直染色体cs和模拟弯曲染色体xb间的形态学特征关系，并解码回归重建出形态学拉直形变场M1，然后将拉直形变场作用到步骤（1.3）得到的模拟弯曲染色体xb上，得到初步预测的拉直染色体ys1；
所述步骤三包括如下子步骤：
（3.1）分别提取现实笔直染色体cs和初步预测的拉直染色体ys1的中心线lc和ly，使用欧氏距离用中心线上的点分别计算两条染色体的长度ls1和ls2，并分别等间距选取中心线上的五个点，计算各染色体的弯曲程度sc与sy；根据两条染色体的长度误差和弯曲程度的误差，将ls1和sc作为目标，修正形态学拉直形变场M1得到初次修正后的形态学拉直形变场M2，以保持拉直染色体长度和弯曲程度的一致；
（3.2）将M2作用在初步预测的拉直染色体ys1上，得到结构校正的拉直染色体ys2。
2.根据权利要求1所述的基于联合模型的弯曲染色体图像拉直方法，其特征在于，所述步骤四包括如下子步骤：
（4.1）利用第二UNet编码器的卷积操作提取模拟弯曲染色体xb和结构校正的拉直染色体ys2的局部特征，并融合得到fu；
（4.2）以fcs为目标，通过fu修正形态学拉直形变场M2，得到形态学拉直形变场M3，并将M3作用到ys2，得到形态学特征细化的ys3；
（4.3）对ys3重复步骤（3.1）到步骤（3.2）的操作从而再次进行结构特征的细化，得到二次修正的形态学拉直形变场M4。
3.根据权利要求2所述的基于联合模型的弯曲染色体图像拉直方法，其特征在于，所述步骤五包括如下子步骤：
（5.1）将待预测的现实弯曲染色体图像数据cb输入初次修正后的形态学拉直形变场，再将得到的结果输入二次修正的形态学拉直形变场，即可得到与现实弯曲染色体对应的拉直染色体ys4。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210717245.0A CN114820596B (zh) | 2022-06-23 | 2022-06-23 | 基于联合模型的弯曲染色体图像拉直方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210717245.0A CN114820596B (zh) | 2022-06-23 | 2022-06-23 | 基于联合模型的弯曲染色体图像拉直方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114820596A CN114820596A (zh) | 2022-07-29 |
| CN114820596B true CN114820596B (zh) | 2022-10-11 |
Family
ID=82521156
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210717245.0A Active CN114820596B (zh) | 2022-06-23 | 2022-06-23 | 基于联合模型的弯曲染色体图像拉直方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114820596B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111612745A (zh) * | 2020-04-30 | 2020-09-01 | 西交利物浦大学 | 基于BagPix2Pix自学习模型的弯曲染色体图像拉直方法、系统、存储介质及装置 |
| CN111612744A (zh) * | 2020-04-30 | 2020-09-01 | 西交利物浦大学 | 弯曲染色体图像拉直模型生成方法、模型的应用、系统、可读存储介质及计算机设备 |
| CN114581310A (zh) * | 2020-11-30 | 2022-06-03 | 深圳市瑞图生物技术有限公司 | 染色体矫直方法、装置、计算机设备和存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9336430B2 (en) * | 2012-06-19 | 2016-05-10 | Health Discovery Corporation | Computer-assisted karyotyping |
| EP3591572B1 (en) * | 2018-07-06 | 2021-09-01 | Tata Consultancy Services Limited | Method and system for automatic chromosome classification |
| CN113724793B (zh) * | 2021-11-01 | 2022-01-28 | 湖南自兴智慧医疗科技有限公司 | 基于卷积神经网络的染色体重要条带特征可视化方法及装置 |
-
2022
- 2022-06-23 CN CN202210717245.0A patent/CN114820596B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111612745A (zh) * | 2020-04-30 | 2020-09-01 | 西交利物浦大学 | 基于BagPix2Pix自学习模型的弯曲染色体图像拉直方法、系统、存储介质及装置 |
| CN111612744A (zh) * | 2020-04-30 | 2020-09-01 | 西交利物浦大学 | 弯曲染色体图像拉直模型生成方法、模型的应用、系统、可读存储介质及计算机设备 |
| CN114581310A (zh) * | 2020-11-30 | 2022-06-03 | 深圳市瑞图生物技术有限公司 | 染色体矫直方法、装置、计算机设备和存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| A novel algorithm for straightening highly curved images of human chromosome;Mehrsan Javan Roshtkhari et al;《Pattern Recognition Letters》;20080701;第29卷(第9期);1208-1217 * |
| A Novel Application of Image-to-Image Translation: Chromosome Straightening Framework by Learning from a Single Image;Sifan Song et al;《2021 14th International Congress on Image and Signal Processing, BioMedical Engineering and Informatics (CISP-BMEI)》;20211231;1-9 * |
| 机器学习在染色体和眼底图像分析中的应用;游齐靖;《中国优秀硕士学位论文全文数据库（电子期刊）》;20210715;第2021年卷(第07期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114820596A (zh) | 2022-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Stackgan++: Realistic image synthesis with stacked generative adversarial networks | |
| CN111161364B (zh) | 一种针对单视角深度图的实时形状补全和姿态估计方法 | |
| CN111368662A (zh) | 一种人脸图像属性编辑方法、装置、存储介质及设备 | |
| CN112215050A (zh) | 非线性3dmm人脸重建和姿态归一化方法、装置、介质及设备 | |
| CN116385667B (zh) | 三维模型的重建方法、纹理重构模型的训练方法以及装置 | |
| Song et al. | Unsupervised 3d pose transfer with cross consistency and dual reconstruction | |
| Liu et al. | Learning implicit glyph shape representation | |
| Cheng et al. | Parallel vertex diffusion for unified visual grounding | |
| Yang et al. | Multiscale mesh deformation component analysis with attention-based autoencoders | |
| Wei et al. | GeoDualCNN: Geometry-supporting dual convolutional neural network for noisy point clouds | |
| Li et al. | Multi-attribute regression network for face reconstruction | |
| Jung et al. | Learning free-form deformation for 3D face reconstruction from in-the-wild images | |
| Lombardi et al. | Latenthuman: Shape-and-pose disentangled latent representation for human bodies | |
| CN109886091B (zh) | 基于带权重局部旋度模式的三维人脸表情识别方法 | |
| Yuan et al. | Interactive nerf geometry editing with shape priors | |
| CN111091560A (zh) | 鼻咽癌原发肿瘤图像识别方法及系统 | |
| Feng et al. | Fdgaussian: Fast gaussian splatting from single image via geometric-aware diffusion model | |
| Zhang et al. | DIMNet: Dense implicit function network for 3D human body reconstruction | |
| CN114820596B (zh) | 基于联合模型的弯曲染色体图像拉直方法 | |
| CN108876711B (zh) | 一种基于图像特征点的草图生成方法、服务器及系统 | |
| CN112837420B (zh) | 基于多尺度和折叠结构的兵马俑点云的形状补全方法及系统 | |
| Jiang et al. | Tcgan: Semantic-aware and structure-preserved gans with individual vision transformer for fast arbitrary one-shot image generation | |
| CN111460993B (zh) | 基于与或图aog的人类图像生成方法 | |
| Aonty et al. | Multi-Person Pose Estimation Using Group-Based Convolutional Neural Network Model | |
| Wang et al. | A novel multi-scale architecture driven by decoupled semantic attention transfer for person image generation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |