CN112037180B - 染色体分割方法及装置 - Google Patents

染色体分割方法及装置 Download PDF

Info

Publication number
CN112037180B
CN112037180B CN202010808610.XA CN202010808610A CN112037180B CN 112037180 B CN112037180 B CN 112037180B CN 202010808610 A CN202010808610 A CN 202010808610A CN 112037180 B CN112037180 B CN 112037180B
Authority
CN
China
Prior art keywords
initial
overlapping region
overlapping
chromosome
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010808610.XA
Other languages
English (en)
Other versions
CN112037180A (zh
Inventor
韦广立
丰生日
刘丽珏
李仪
穆阳
蔡昱峰
刘香永
彭伟雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Zixing Wisdom Medical Technology Co ltd
Original Assignee
Hunan Zixing Wisdom Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Zixing Wisdom Medical Technology Co ltd filed Critical Hunan Zixing Wisdom Medical Technology Co ltd
Priority to CN202010808610.XA priority Critical patent/CN112037180B/zh
Publication of CN112037180A publication Critical patent/CN112037180A/zh
Application granted granted Critical
Publication of CN112037180B publication Critical patent/CN112037180B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明实施例提供了一种染色体分割方法及装置，其中，上述染色体分割方法包括：将目标染色体图像输入到预先训练得到的语义分割模型中，获得重叠区域集与非重叠区域集，非重叠区域集包括至少一个初始非重叠区域；在重叠区域集包括至少一个初始重叠区域的情况下，分别确定与每一初始重叠区域邻接的全部初始非重叠区域，以及邻接的全部初始非重叠区域的第一区域数量；根据第一区域数量确定区域拼接规则，并根据区域拼接规则对每一初始重叠区域与邻接的全部初始非重叠区域进行拼接，得到染色体分割图像。本发明实施例可提升染色体的分割准确度与分割效率。

Description

染色体分割方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种染色体分割方法及装置。
背景技术
众所周知，在染色体检测领域中，通常具有对染色体中期图进行处理的需求；例如，染色体中期图中经常存在重叠的染色体，需要对这些重叠的染色体进行分割等处理，以便后续对染色体的数量或核型进行准确检测。
现有技术中，通常基于图像形态学处理的方式对重叠的染色体进行分割，然而由于染色体重叠情况比较复杂，基于图像形态学处理的方式的分割准确度较低。
发明内容
本发明实施例提供一种染色体分割方法及装置，以解决现有技术采用基于图像形态学处理的方式对重叠的染色体进行分割，导致分割准确度较低的问题。
为了解决上述技术问题，本发明是这样实现的：
第一方面，本发明实施例提供了一种染色体分割方法，包括：
将目标染色体图像输入到预先训练得到的语义分割模型中，获得重叠区域集与非重叠区域集，所述非重叠区域集包括至少一个初始非重叠区域；
在所述重叠区域集包括至少一个初始重叠区域的情况下，分别确定与每一所述初始重叠区域邻接的全部所述初始非重叠区域，以及所述邻接的全部所述初始非重叠区域的第一区域数量；
根据所述第一区域数量确定区域拼接规则，并根据所述区域拼接规则对每一所述初始重叠区域与所述邻接的全部所述初始非重叠区域进行拼接，得到染色体分割图像。
第二方面，本发明实施例还提供了一种染色体分割装置，包括：
第一获取模块，用于将目标染色体图像输入到预先训练得到的语义分割模型中，获得重叠区域集与非重叠区域集，所述非重叠区域集包括至少一个初始非重叠区域；
第一确定模块，用于在所述重叠区域集包括至少一个初始重叠区域的情况下，分别确定与每一所述初始重叠区域邻接的全部所述初始非重叠区域，以及所述邻接的全部所述初始非重叠区域的第一区域数量；
确定拼接模块，用于根据所述第一区域数量确定区域拼接规则，并根据所述区域拼接规则对每一所述初始重叠区域与所述邻接的全部所述初始非重叠区域进行拼接，得到染色体分割图像。
第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。
本发明实施例中，将目标染色体图像输入到预先训练得到的语义分割模型中，获得重叠区域集与非重叠区域集，在重叠区域集中包括至少一个初始重叠区域的情况下，分别确定与每一所述初始重叠区域邻接的全部所述初始非重叠区域，以及所述邻接的全部所述初始非重叠区域的第一区域数量，根据第一区域数量确定相应的区域拼接规则，并根据区域拼接规则对每一初始重叠区域与所述邻接的全部初始非重叠区域进行拼接，得到染色体分割图像。本发明实施例充分考虑了深度学习模型进行分割的能力，利用语义分割模型对目标染色体图像进行处理即可方便准确获得初始重叠区域与非重叠区域，同时，在区域拼接过程中，依据第一区域数量确定区域拼接规则，并基于区域拼接规则进行初始重叠区域与非重叠区域的拼接，有助于基于区域拼接规则对应的经验数据实现区域之间的快速准确拼接，提升染色体的分割准确度与分割效率。
附图说明
图1为本发明实施例提供的染色体分割方法的流程图；
图2为本发明实施例中原始染色体样本图像的一个例图；
图3a为本发明实施例中第一标签图的例图；
图3b为本发明实施例中第二标签图的例图；
图3c为本发明实施例中第三标签图的例图；
图4为本发明实施例提供的染色体分割方法的一个应用例的流程图；
图5a为本发明实施例中原始染色体样本图像的另一个例图；
图5b为图5a输入到语义分割模型后的输出图；
图6a为本实施例中第一种叠加染色体的例图；
图6b为图6a输入到语义分割模型后的输出图；
图6c为针对图6a进行分割得到的一个染色体分割图；
图6d为针对图6a进行分割得到的另一个染色体分割图；
图7a为本实施例中第二种叠加染色体的例图；
图7b为图7a输入到语义分割模型后的输出图；
图7c为针对图7a进行分割得到的一个染色体分割图；
图7d为针对图7a进行分割得到的另一个染色体分割图；
图8a为本实施例中第三种叠加染色体的例图；
图8b为图8a输入到语义分割模型后的输出图；
图8c为针对图8a进行分割得到的一个染色体分割图；
图8d为针对图8a进行分割得到的另一个染色体分割图；
图9为本发明实施例提供的染色体分割装置的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。在下面的描述中，提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本发明的实施例。因此，本领域技术人员应该清楚，可以对这里描述的实施例进行各种改变和修改而不脱离本发明的范围和精神。另外，为了清楚和简洁，省略了对已知功能和构造的描述。
除非另作定义，本发明中使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”或者“一”等类似词语也不表示数量限制，而是表示存在至少一个。
如图1所示，本发明实施例提供的染色体分割方法，包括：
步骤101，将目标染色体图像输入到预先训练得到的语义分割模型中，获得重叠区域集与非重叠区域集，所述非重叠区域集包括至少一个初始非重叠区域；
步骤102，在所述重叠区域集包括至少一个初始重叠区域的情况下，分别确定与每一所述初始重叠区域邻接的全部所述初始非重叠区域，以及所述邻接的全部所述初始非重叠区域的第一区域数量；
步骤103，根据所述第一区域数量确定区域拼接规则，并根据所述区域拼接规则对每一所述初始重叠区域与所述邻接的全部所述初始非重叠区域进行拼接，得到染色体分割图像。
对于目标染色体图像，可以是例如染色体中期图等拍摄的具有染色体的图像。语义分割通常指基于深度学习自动从图像中分割出对象区域，并识别对象区域的类别。容易理解的是，本实施中的语义分割模型可以是基于样本非重叠区域与样本重叠区域，对搭建的原始语义分割网络进行预先训练得到的；如此，将目标染色体图像输入到该语义分割模型中，可以自动地识别出初始非重叠区域和初始重叠区域。
对于目标染色体图像，其中可以具有多个染色单体，通常一条染色单体可能对应单独的区域，但是在一些情况下，也可能存在两条或更多条染色单体相交，从而使得多条染色单体对应一个区域。对于多条染色单体之间发生重叠的区域，即对应了上述的初始重叠区域；而对应单独的区域的染色单体，或者对应用多条染色单体的区域中，除了初始重叠区域之外的部分，构成了上述的初始非重叠区域。
当然，在目标染色体图像的质量足够好的情况下，可能不存在初始重叠区域，因此，本实施例中，通过语义分割模型输出得到的重叠区域集，可以是空集。而在重叠区域集为非空集，即其中包括至少一个初始重叠区域时，可以针对每一初始重叠区域获取与之邻接的初始非重叠区域。由于染色单体相交的方式不同，例如可以是端点相交、T型相交或者十字型相交等；或者由于语义分割模型本身的识别精度的影响，与一个初始重叠区域邻接的全部初始非重叠区域的数量也能存在不同；本实施例中，会根据上述邻接的全部初始非重叠区域的第一区域数量，确定相应的区域拼接规则，并依据确定的区域拼接规则，来对初始重叠区域与邻接的全部初始非重叠区域进行拼接，得到染色体分割图像。
本发明实施例中，将目标染色体图像输入到预先训练得到的语义分割模型中，获得重叠区域集与非重叠区域集，在重叠区域集中包括至少一个初始重叠区域的情况下，分别确定与每一所述初始重叠区域邻接的全部所述初始非重叠区域，以及所述邻接的全部所述初始非重叠区域的第一区域数量，根据第一区域数量确定相应的区域拼接规则，并根据区域拼接规则对每一初始重叠区域与所述邻接的全部初始非重叠区域进行拼接，得到染色体分割图像。本发明实施例充分考虑了深度学习模型进行分割的能力，利用语义分割模型对目标染色体图像进行处理即可方便准确获得初始重叠区域与非重叠区域，同时，在区域拼接过程中，依据第一区域数量确定区域拼接规则，并基于区域拼接规则进行初始重叠区域与非重叠区域的拼接，有助于基于区域拼接规则对应的经验数据实现区域之间的快速准确拼接，提升染色体的分割准确度与分割效率。
可选地，所述步骤101，将目标染色体图像输入到预先训练得到的语义分割模型中，获得重叠区域集与非重叠区域集之前，所述方法还包括：
获取N个原始染色体样本图像，以及每一所述原始染色体样本图像对应的第一标签图、第二标签图以及第三标签图，其中，所述第一标签图用于标记所述原始染色体样本图像的背景区域，所述第二标签图用于标记所述原始染色体样本图像的的染色体非重叠区域，所述第三标签图用于标记所述原始染色体样本图像的的染色体重叠区域，N为大于1的整数；
确定与所述N个原始染色体样本图像一一对应的N个染色体训练图像，其中，所述染色体训练图为携带有对应的所述第一标签图、所述第二标签图以及所述第三标签图的所述原始染色体样本图像；
依据所述N个染色体训练图像对构建的原始语义分割网络进行训练，得到所述语义分割模型。
本实施例中，如图2所示，原始染色体样本图像也可以是染色体中期图，对于任一原始染色体样本图像，可以对应构造一张三通道标签图，上述的第一标签图、第二标签图以及第三标签图分别对应三通道标签图中的三个通道。
参见图3a、3b、3c，三个通道分别对应了非染色体的背景区域、染色体非重叠区域以及染色体重叠区域。
结合一实际应用场景，针对一张染色体中期图，可以构造一张具有相同尺寸的三通道标签图，预先将各通道对应的标签图所以像素位置竖直设为0(对应黑色)，使得染色体中期图中的每一个像素的位置与各个通道对应的标签图的像素位置一一对应；然后，根据染色体中期图中每一像素点具体对应的类别，即具体对应上述的非染色体的背景区域、染色体非重叠区域或者染色体重叠区域三种类别中的哪一类别，使用标签工具将该类别对应标签图的相应像素点位置的数值标记为1(对应白色)，如此即可获得每一染色体中期图对应的第一标签图、第二标签图以及第三标签图。
将携带有对应的第一标签图、第二标签图以及第三标签图的原始染色体样本图像作为染色体训练图像，以对原始语义分割网络进行训练，可以得到上述的语义分割模型。
在一些可行的实施方式中，上述原始染色体样本图像对应的第一标签图、第二标签图以及第三标签图，可以是人工预先进行区域边界划分得到，也可以是通过例如图像形态学处理等方式得到，此处不做具体限定。
本实施例针对原始染色体样本图像构造三通道标签图，以进一步形成染色体训练图像；有助于使得训练得到的语义分割模型能够有效将染色体从背景区域中提取出来，并有效对染色体非重叠区域与染色体重叠区域进行分类与识别。
结合图4，在一个示例中，将目标染色体图像输入到预先训练得到的语义分割模型中，获得重叠区域集与非重叠区域集的过程包括：
步骤401，建立染色体中期图语义分割训练样本；
针对原始染色体样本图像，例如样本染色体中期图建立语义分割训练样本，即上述的染色体训练图像；
例如，采集1000张染色体中期图，根据染色体分割结果，按照上一实施例中的方式建立染色体中期图语义分割训练样本。
步骤402，构造染色体中期图语义分割网络；
步骤403，训练神经网络参数；
利用染色体训练图像对原始语义分割网络进行训练，调整原始语义分割网络的神经网络参数，得到语义分割模型；
例如，将上述1000张染色体中期图语义分割训练样本按4：1分割成训练集和验证集，对构造的原始语义分割网络进行训练直至交叉熵损失在验证集上收敛，得到语义分割模型。
步骤404，分割染色体实例；
将例如图5a所示的染色体中期图，输入到训练好的语义分割模型中进行预测，得到如图5b所示的染色体非重叠区域与染色体重叠区域的图像；
根据如图5b的图像可以确定区域拼接规则，并基于区域拼接规则进行区域拼接，进而完成染色体图像的分割，得到最终染色体分割结果。
在一个示例中，上述原始语义分割网络为U-Net深度神经网络，具体可包括10个特征提取块、4个池化单元、4个上采样单元、4个堆叠单元和1个输出单元。
每个特征提取块均包括第一卷积子单元、第二个卷积子单元、归一化单元和线性整流(Rectified Linear Unit,ReLU)子单元，其中第一卷积子单元的输入端接收外部数据，第一卷积子单元的两个输出端分别与第二卷积子单元、归一化单元的输入连接，归一化单元的输出与Relu子单元的输入连接，Relu子单元输出处理过的数据；4个池化单元和4个上采样单元的步长均为2；其中，4个堆叠单元均包括输入一和输入二共两个输入，一个输出；其中，输出块包括一个卷积单元和一个逐像素softmax分类单元；
第一特征提取块中两个卷积单元的卷积核个数均为32，以归一化的染色体中期灰度图为输入，其输出分别连接至第一池化单元和第一堆叠单元的第一输入；第二特征提取块中两个卷积单元的卷积核个数均为64，以第一池化单元的输出为输入，其输出分别连接至第二池化单元和第二堆叠单元输入一；第三特征提取块中两个卷积单元的卷积核个数均为128，以第二池化单元输出为输入，其输出分别连接至第三池化单元和第三堆叠单元输入一；第四特征提取块中两个卷积单元的卷积核个数均为256，以第三池化单元输出为输入，其输出分别连接至第四池化单元和第四堆叠单元输入一；第五特征提取块中两个卷积单元的卷积核个数均为512，其输入连接至第四池化单元的输出，其输出连接至第六特征提取块；第六特征提取块中两个卷积单元的卷积核个数均为512，以第五特征提取块的输出为输入，其输出连接至第一上采样单元，第一上采样单元的输出连接至第四堆叠单元的输入二；第七特征提取块中两个卷积单元的卷积核个数均为256，以第四堆叠单元的输出为输入，其输出连接至第二上采样单元，第二上采样单元输出连接至第三堆叠单元的输入二；第八特征提取块中两个卷积单元的卷积核个数均为128，以第三堆叠单元的输出为输入，其输出连接至第三上采样单元，第三上采样单元的输出连接至第二堆叠单元的输入二；第九特征提取块中两个卷积单元的卷积核个数均为64，以第二堆叠单元的输出为输入，其输出连接至第四上采样单元，第四上采样单元的输出连接至第一堆叠单元的输入二；第十特征提取块中两个卷积单元的卷积核个数据均为32，以第一堆叠单元的输出为输入，其输出连接至输出单元，输出单元中卷积核数量为3，输出单元的输出经逐像素的各通道转换为“独热”模式(即针对每个像素，仅将其归入到一个区域类别中)后，即为原始语义分割网络的输出。
将输出单元的真实输出与期望输出的softmax交叉熵损失最小化为收敛目标，对原始语义分割网络进行训练，获得语义分割模型。
可选地，所述根据所述第一区域数量确定区域拼接规则，包括以下至少一项：
在所述第一区域数量小于2或大于4的情况下，确定第一区域拼接规则；
在所述第一区域数量等于2的情况下，确定第二区域拼接规则；
在所述第一区域数量等于3的情况下，确定第三区域拼接规则；
在所述第一区域数量等于4的情况下，确定第四区域拼接规则。
本实施例中，考虑到不同的第一区域数量，可能存在不同的染色体叠加方式，进而确定不同的区域拼接规则；有助于后续区域拼接中融入人工经验，设计不同拼接规则对初始重叠区域与初始非重叠区域进行处理，并兼顾了容错，有助于比较稳定和优良的染色体分割效果。
可选地，在所述第一区域数量小于2或大于4的情况下，所述根据所述区域拼接规则对每一所述初始重叠区域与所述邻接的全部所述初始非重叠区域进行拼接，得到染色体分割图像，包括：
将所述初始重叠区域与所述邻接的全部所述初始非重叠区域进行合并，得到所述染色体分割图像。
容易理解的是，当初始重叠区域与1个、0个或者5个及以上的初始非重叠区域邻接时，可能是语义分割模型预测出现错误，可以将初始重叠区域与邻接的全部初始非重叠区域进行合并。
可选地，在所述第一区域数量等于2的情况下，所述根据所述区域拼接规则对每一所述初始重叠区域与所述邻接的全部所述初始非重叠区域进行拼接，得到染色体分割图像，包括：
将所述初始重叠区域与所述邻接的全部所述初始非重叠区域中的第一初始非重叠区域合并，得到一个染色体分割图像；将所述初始重叠区域与所述邻接的全部所述初始非重叠区域中的第二初始非重叠区域合并，得到另一个染色体分割图像。
可选地，在所述第一区域数量等于3的情况下，所述根据所述区域拼接规则对每一所述初始重叠区域与所述邻接的全部所述初始非重叠区域进行拼接，得到染色体分割图像，包括：
获取所述初始重叠区域的第一重心OA，以及所述邻接的全部所述初始非重叠区域中的第一初始非重叠区域与所述所述初始重叠区域的邻接边界的第二重心OB、第二初始非重叠区域与所述所述初始重叠区域的邻接边界的第三重心OC以及第三初始非重叠区域与所述所述初始重叠区域的邻接边界的第四重心OD；
分别获取以夹角∠OBOAOC、∠OBOAOD以及∠OCOAOD这三个夹角的大小；
在所述∠OBOAOC的角度为所述三个夹角中的角度最大值时，将所述初始重叠区域、所述第一初始非重叠区域以及所述第二初始非重叠区域合并，得到一个染色体分割图像，将所述初始重叠区域与所述第三初始非重叠区域合并，得到另一个染色体分割图像。
本实施例可以针对T型染色体重叠情况有效进行染色体分割，对各个重心的获取，可以基于初始重叠区域或各个邻接边界对应的像素区域进行获取；相对来说，初始重叠区域与邻接边界的对应的像素区域较小，重心的获取难度较低，可以较为快速地提取到基于各个重心组成的三个夹角的大小，进而提高染色体分割效率。
可选地，在所述第一区域数量等于4的情况下，所述根据所述区域拼接规则对每一所述初始重叠区域与所述邻接的全部所述初始非重叠区域进行拼接，得到染色体分割图像，包括：
以所述初始重叠区域为中心，沿预设方向依次确定所述邻接的全部所述初始非重叠区域中的第一初始非重叠区域、第二初始非重叠区域、第三初始非重叠区域以及第四初始非重叠区域；
将所述初始重叠区域、所述第一初始非重叠区域以及所述第三初始非重叠区域合并，得到一个染色体分割图像，将所述初始重叠区域、所述第二初始非重叠区域以及所述第四初始非重叠区域合并，得到另一个染色体分割图像。
上述预设方向可以是顺时针方向或者逆时针方向；本实施例可以针对十字型染色体重叠情况有效进行染色体分割，采用基于初始非重叠区域在初始重叠区域周向方向上的位置关系，来进行区域的合并，具有较高的分割效率。
以下结合一应用例对染色体分割图像的获取过程进行介绍，该应用例中包括如下处理步骤：
(1)如果重叠区域集为空，则跳转至步骤(8)，否则顺序执行步骤(2)。
(2)如果初始重叠区域(记为“A”)与1个(记为“B”)或0个初始非重叠区域邻接，则认为是初始重叠区域预测发生错误，直接将A和B取并集后，加入非重叠区域集，跳转至步骤(7)；否则顺序执行步骤(3)。
(3)如图6a、6b所示，如果初始重叠区域(记为“A”)与2个初始非重叠区域(分别记为“B”、“C”)邻接，则认为是B、C发生粘连，则分别将A与B取并集以及将A与C取并集，得到如图6c、6d所述的染色体分割图像，并将染色体分割图像加入非重叠区域集，跳转至步骤(7)；否则顺序执行步骤(4)。
(4)如图7a、7b所示，如果初始重叠区域(记为“A”)与3个初始非重叠区域(分别记为“B”、“C”、“D”)邻接，则认为是发生“T”型粘连，分别计算A、A与B、A与C、A与D的邻接边界的重心位置并标记为OA、OB、OC、OD，以OA为中心，进一步计算得到OBOA、OCOA、ODOA三条线段的三个夹角，分别记为∠BAC、∠BAD、∠DAC，设∠BAC为其中最大的角(其他情形可同理类比)，则分别将A、B、C取并集以及将A、D取并集，得到如图7c、7d所述的染色体分割图像，并将染色体分割图像加入非重叠区域集，跳转至步骤(7)；否则顺序执行步骤(5)。
(5)如图8a、8b所示，如果初始重叠区域(记为“A”)与4个初始非重叠区域(以A为中心，逆时针顺序记为“B”、“C”、“D”、“E”)相邻接，则认为是发生“十”型连接，分别将B、A以及D取并集以及将C、A以及E取并集，得到如图8c、8d所述的染色体分割图像，并将染色体分割图像加入非重叠区域集，跳转至步骤(8)；否则顺序执行步骤(6)。
(6)如果初始重叠区域(记为“A”)与5个及以上数量的初始非重叠区域相邻接，则认为是重度交叉粘连区域或者预测准确率有问题，不做分割，将A及相邻的全部初始非重叠区域取并集后加入非重叠区域集，转至步骤(7)。
(7)把上述过程中已处理的初始重叠区域和初始非重叠区域从相应集合中删除，跳转至步骤(1)。
(8)输出非重叠区域集，即为期望的分割的全部独立的染色体区域。
本发明实施例充分考虑了深度神经网络进行分割的能力，仅利用深度神经网络做简单的染色体、非重叠区域以及重叠区域的语义分割，后续区域拼接则融入人工经验，设计算法逻辑进行处理，并兼顾了容错，从而各取所长，达到了比较稳定和优良的效果。本发明实施例通过自动化的染色体分割，大大减轻了做核型分析的用户在染色体图像处理方面的任务量，使其可以把更多的精力投入到专业的疾病诊断中，提升用户工作效率的同时也提升了工作的质量。
如图9所示，本发明实施例还提供了一种染色体分割装置，包括：
第一获取模块901，用于将目标染色体图像输入到预先训练得到的语义分割模型中，获得重叠区域集与非重叠区域集，所述非重叠区域集包括至少一个初始非重叠区域；
第一确定模块902，用于在所述重叠区域集包括至少一个初始重叠区域的情况下，分别确定与每一所述初始重叠区域邻接的全部所述初始非重叠区域，以及所述邻接的全部所述初始非重叠区域的第一区域数量；
确定拼接模块903，用于根据所述第一区域数量确定区域拼接规则，并根据所述区域拼接规则对每一所述初始重叠区域与所述邻接的全部所述初始非重叠区域进行拼接，得到染色体分割图像。
可选地，所述装置还包括：
第二获取模块，用于获取N个原始染色体样本图像，以及每一所述原始染色体样本图像对应的第一标签图、第二标签图以及第三标签图，其中，所述第一标签图用于标记所述原始染色体样本图像的背景区域，所述第二标签图用于标记所述原始染色体样本图像的的染色体非重叠区域，所述第三标签图用于标记所述原始染色体样本图像的的染色体重叠区域，N为大于1的整数；
第二确定模块，用于确定与所述N个原始染色体样本图像一一对应的N个染色体训练图像，其中，所述染色体训练图为携带有对应的所述第一标签图、所述第二标签图以及所述第三标签图的所述原始染色体样本图像；
训练模块，用于依据所述N个染色体训练图像对构建的原始语义分割网络进行训练，得到所述语义分割模型。
可选地，所述确定拼接模块903，包括以下至少一项：
第一确定单元，用于在所述第一区域数量小于2或大于4的情况下，确定第一区域拼接规则；
第二确定单元，用于在所述第一区域数量等于2的情况下，确定第二区域拼接规则；
第三确定单元，用于在所述第一区域数量等于3的情况下，确定第三区域拼接规则；
第四确定单元，用于在所述第一区域数量等于4的情况下，确定第四区域拼接规则。
可选地，所述确定拼接模块903，包括：
第一合并单元，用于将所述初始重叠区域与所述邻接的全部所述初始非重叠区域进行合并，得到所述染色体分割图像。
可选地，所述确定拼接模块903，包括：
第二合并单元，将所述初始重叠区域与所述邻接的全部所述初始非重叠区域中的第一初始非重叠区域合并，得到一个染色体分割图像；将所述初始重叠区域与所述邻接的全部所述初始非重叠区域中的第二初始非重叠区域合并，得到另一个染色体分割图像。
可选地，所述确定拼接模块903，包括：
第一获取单元，用于获取所述初始重叠区域的第一重心OA，以及所述邻接的全部所述初始非重叠区域中的第一初始非重叠区域与所述所述初始重叠区域的邻接边界的第二重心OB、第二初始非重叠区域与所述所述初始重叠区域的邻接边界的第三重心OC以及第三初始非重叠区域与所述所述初始重叠区域的邻接边界的第四重心OD；
第二获取单元，用于分别获取以夹角∠OBOAOC、∠OBOAOD以及∠OCOAOD这三个夹角的大小；
第三合并单元，用于在所述∠OBOAOC的角度为所述三个夹角中的角度最大值时，将所述初始重叠区域、所述第一初始非重叠区域以及所述第二初始非重叠区域合并，得到一个染色体分割图像，将所述初始重叠区域与所述第三初始非重叠区域合并，得到另一个染色体分割图像。
可选地，所述确定拼接模块903，包括：
第五确定单元，用于以所述初始重叠区域为中心，沿预设方向依次确定所述邻接的全部所述初始非重叠区域中的第一初始非重叠区域、第二初始非重叠区域、第三初始非重叠区域以及第四初始非重叠区域；
第四合并单元，用于将所述初始重叠区域、所述第一初始非重叠区域以及所述第三初始非重叠区域合并，得到一个染色体分割图像，将所述初始重叠区域、所述第二初始非重叠区域以及所述第四初始非重叠区域合并，得到另一个染色体分割图像。
需要说明的是，该染色体分割装置是与上述染色体分割方法对应的电子设备，上述方法实施例中所有实现方式均适用于该装置的实施例中，也能达到相同的技术效果。
可选地，本发明实施例还提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的染色体分割方法。
可选地，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的染色体分割方法。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (5)

1.一种染色体分割方法，其特征在于，包括：
将目标染色体图像输入到预先训练得到的语义分割模型中，获得重叠区域集与非重叠区域集，所述非重叠区域集包括至少一个初始非重叠区域；
在所述重叠区域集包括至少一个初始重叠区域的情况下，分别确定与每一所述初始重叠区域邻接的全部所述初始非重叠区域，以及所述邻接的全部所述初始非重叠区域的第一区域数量；
根据所述第一区域数量确定区域拼接规则，并根据所述区域拼接规则对每一所述初始重叠区域与所述邻接的全部所述初始非重叠区域进行拼接，得到染色体分割图像；
其中，所述区域拼接规则包括：
在所述第一区域数量小于2或大于4的情况下，将所述初始重叠区域与所述邻接的全部所述初始非重叠区域进行合并，得到所述染色体分割图像；
在所述第一区域数量等于2的情况下，将所述初始重叠区域与所述邻接的全部所述初始非重叠区域中的第一初始非重叠区域合并，得到一个染色体分割图像；将所述初始重叠区域与所述邻接的全部所述初始非重叠区域中的第二初始非重叠区域合并，得到另一个染色体分割图像；
在所述第一区域数量等于3的情况下，获取所述初始重叠区域的第一重心OA，以及所述邻接的全部所述初始非重叠区域中的第一初始非重叠区域与所述所述初始重叠区域的邻接边界的第二重心OB、第二初始非重叠区域与所述所述初始重叠区域的邻接边界的第三重心OC以及第三初始非重叠区域与所述所述初始重叠区域的邻接边界的第四重心OD；
分别获取以夹角∠OBOAOC、∠OBOAOD以及∠OCOAOD这三个夹角的大小；
在所述∠OBOAOC的角度为所述三个夹角中的角度最大值时，将所述初始重叠区域、所述第一初始非重叠区域以及所述第二初始非重叠区域合并，得到一个染色体分割图像，将所述初始重叠区域与所述第三初始非重叠区域合并，得到另一个染色体分割图像；
在所述第一区域数量等于4的情况下，以所述初始重叠区域为中心，沿预设方向依次确定所述邻接的全部所述初始非重叠区域中的第一初始非重叠区域、第二初始非重叠区域、第三初始非重叠区域以及第四初始非重叠区域；
将所述初始重叠区域、所述第一初始非重叠区域以及所述第三初始非重叠区域合并，得到一个染色体分割图像，将所述初始重叠区域、所述第二初始非重叠区域以及所述第四初始非重叠区域合并，得到另一个染色体分割图像。
2.根据权利要求1所述的方法，其特征在于，所述将目标染色体图像输入到预先训练得到的语义分割模型中，获得重叠区域集与非重叠区域集之前，所述方法还包括：
获取N个原始染色体样本图像，以及每一所述原始染色体样本图像对应的第一标签图、第二标签图以及第三标签图，其中，所述第一标签图用于标记所述原始染色体样本图像的背景区域，所述第二标签图用于标记所述原始染色体样本图像的的染色体非重叠区域，所述第三标签图用于标记所述原始染色体样本图像的的染色体重叠区域，N为大于1的整数；
确定与所述N个原始染色体样本图像一一对应的N个染色体训练图像，其中，所述染色体训练图为携带有对应的所述第一标签图、所述第二标签图以及所述第三标签图的所述原始染色体样本图像；
依据所述N个染色体训练图像对构建的原始语义分割网络进行训练，得到所述语义分割模型。
3.一种染色体分割装置，其特征在于，包括：
第一获取模块，用于将目标染色体图像输入到预先训练得到的语义分割模型中，获得重叠区域集与非重叠区域集，所述非重叠区域集包括至少一个初始非重叠区域；
第一确定模块，用于在所述重叠区域集包括至少一个初始重叠区域的情况下，分别确定与每一所述初始重叠区域邻接的全部所述初始非重叠区域，以及所述邻接的全部所述初始非重叠区域的第一区域数量；
确定拼接模块，用于根据所述第一区域数量确定区域拼接规则，并根据所述区域拼接规则对每一所述初始重叠区域与所述邻接的全部所述初始非重叠区域进行拼接，得到染色体分割图像；
其中，所述区域拼接规则包括：
在所述第一区域数量小于2或大于4的情况下，将所述初始重叠区域与所述邻接的全部所述初始非重叠区域进行合并，得到所述染色体分割图像；
在所述第一区域数量等于2的情况下，将所述初始重叠区域与所述邻接的全部所述初始非重叠区域中的第一初始非重叠区域合并，得到一个染色体分割图像；将所述初始重叠区域与所述邻接的全部所述初始非重叠区域中的第二初始非重叠区域合并，得到另一个染色体分割图像；
在所述第一区域数量等于3的情况下，获取所述初始重叠区域的第一重心OA，以及所述邻接的全部所述初始非重叠区域中的第一初始非重叠区域与所述所述初始重叠区域的邻接边界的第二重心OB、第二初始非重叠区域与所述所述初始重叠区域的邻接边界的第三重心OC以及第三初始非重叠区域与所述所述初始重叠区域的邻接边界的第四重心OD；
分别获取以夹角∠OBOAOC、∠OBOAOD以及∠OCOAOD这三个夹角的大小；
在所述∠OBOAOC的角度为所述三个夹角中的角度最大值时，将所述初始重叠区域、所述第一初始非重叠区域以及所述第二初始非重叠区域合并，得到一个染色体分割图像，将所述初始重叠区域与所述第三初始非重叠区域合并，得到另一个染色体分割图像；
在所述第一区域数量等于4的情况下，以所述初始重叠区域为中心，沿预设方向依次确定所述邻接的全部所述初始非重叠区域中的第一初始非重叠区域、第二初始非重叠区域、第三初始非重叠区域以及第四初始非重叠区域；
将所述初始重叠区域、所述第一初始非重叠区域以及所述第三初始非重叠区域合并，得到一个染色体分割图像，将所述初始重叠区域、所述第二初始非重叠区域以及所述第四初始非重叠区域合并，得到另一个染色体分割图像。
4.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至2任一项所述的方法。
5.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至2任一项所述的方法。
CN202010808610.XA 2020-08-12 2020-08-12 染色体分割方法及装置 Active CN112037180B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010808610.XA CN112037180B (zh) 2020-08-12 2020-08-12 染色体分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010808610.XA CN112037180B (zh) 2020-08-12 2020-08-12 染色体分割方法及装置

Publications (2)

Publication Number Publication Date
CN112037180A CN112037180A (zh) 2020-12-04
CN112037180B true CN112037180B (zh) 2023-08-08

Family

ID=73578657

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010808610.XA Active CN112037180B (zh) 2020-08-12 2020-08-12 染色体分割方法及装置

Country Status (1)

Country Link
CN (1) CN112037180B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113096143B (zh) * 2021-04-30 2022-03-15 天津深析智能科技发展有限公司 一种染色体核型分析中染色体分割方法
CN115049679A (zh) * 2022-05-05 2022-09-13 上海科莫生医疗科技有限公司 一种基于人工智能的染色体图像分割方法
CN115018831A (zh) * 2022-08-04 2022-09-06 湖南自兴智慧医疗科技有限公司 重叠染色体分离方法、系统、电子终端及可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109285174A (zh) * 2017-07-19 2019-01-29 塔塔咨询服务公司 基于众包和深度学习的染色体分割和核型分析
WO2019020556A1 (en) * 2017-07-24 2019-01-31 Ventana Medical Systems, Inc. METHODS AND SYSTEMS FOR ASSESSING INFILTRAT OF IMMUNE CELLS IN TUMOR SAMPLES
CN109300084A (zh) * 2017-07-25 2019-02-01 杭州海康汽车技术有限公司 一种图像拼接方法、装置、电子设备及存储介质
CN109492706A (zh) * 2018-11-27 2019-03-19 微医云(杭州)控股有限公司 一种基于循环神经网络的染色体分类预测装置
CN110415250A (zh) * 2019-06-20 2019-11-05 浙江大学 一种基于深度学习的重叠染色体分割方法及装置
CN110533684A (zh) * 2019-08-22 2019-12-03 杭州德适生物科技有限公司 一种染色体核型图像切割方法
CN111461068A (zh) * 2020-04-27 2020-07-28 湖南自兴智慧医疗科技有限公司 一种染色体中期图识别和分割方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109285174A (zh) * 2017-07-19 2019-01-29 塔塔咨询服务公司 基于众包和深度学习的染色体分割和核型分析
WO2019020556A1 (en) * 2017-07-24 2019-01-31 Ventana Medical Systems, Inc. METHODS AND SYSTEMS FOR ASSESSING INFILTRAT OF IMMUNE CELLS IN TUMOR SAMPLES
CN109300084A (zh) * 2017-07-25 2019-02-01 杭州海康汽车技术有限公司 一种图像拼接方法、装置、电子设备及存储介质
CN109492706A (zh) * 2018-11-27 2019-03-19 微医云(杭州)控股有限公司 一种基于循环神经网络的染色体分类预测装置
CN110415250A (zh) * 2019-06-20 2019-11-05 浙江大学 一种基于深度学习的重叠染色体分割方法及装置
CN110533684A (zh) * 2019-08-22 2019-12-03 杭州德适生物科技有限公司 一种染色体核型图像切割方法
CN111461068A (zh) * 2020-04-27 2020-07-28 湖南自兴智慧医疗科技有限公司 一种染色体中期图识别和分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A review of metaphase chromosome image selection techniques for automatic karyotype generation;Tanvi Arora 等;《Medical & Biological Engineering & Computing》;第54卷;全文 *

Also Published As

Publication number Publication date
CN112037180A (zh) 2020-12-04

Similar Documents

Publication Publication Date Title
CN112037180B (zh) 染色体分割方法及装置
Sharma et al. Crowdsourcing for chromosome segmentation and deep classification
Xie et al. Beyond classification: structured regression for robust cell detection using convolutional neural network
CN108921166A (zh) 基于深度神经网络的医疗票据类文本检测识别方法及系统
CN109378052B (zh) 图像标注的预处理方法及系统
CN111145209B (zh) 一种医学图像分割方法、装置、设备及存储介质
CN110853022B (zh) 病理切片图像的处理方法、装置、系统及存储介质
CN109285139A (zh) 一种基于深度学习的x射线成像焊缝检测方法
CN108629286B (zh) 一种基于主观感知显著模型的遥感机场目标检测方法
CN110992384B (zh) 半自动化图像数据标注方法、电子装置及存储介质
CN110807775A (zh) 基于人工智能的中医舌像分割装置、方法及存储介质
CN111310746A (zh) 文本行检测方法、模型训练方法、装置、服务器及介质
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN113158895A (zh) 票据识别方法、装置、电子设备及存储介质
CN113420619A (zh) 一种遥感影像建筑物提取方法
CN116740758A (zh) 一种防止误判的鸟类图像识别方法及系统
CN115082922A (zh) 基于深度学习的水表数字图片处理方法及系统
CN113505261B (zh) 数据标注方法、装置以及数据标注模型训练方法、装置
CN113223011B (zh) 基于引导网络和全连接条件随机场的小样本图像分割方法
CN112784494B (zh) 假阳性识别模型的训练方法、目标识别方法及装置
CN111815609B (zh) 基于情境感知及多模型融合的病理图像分类方法及系统
Lee et al. Enhancement for automatic extraction of RoIs for bone age assessment based on deep neural networks
KR102416714B1 (ko) 3차원 이미지 및 딥러닝을 활용한 도시 규모 나무 지도 작성 시스템 및 방법
CN116912872A (zh) 图纸识别方法、装置、设备及可读存储介质
CN111815607B (zh) 一种面向造血系统的骨髓细胞数据集构建方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant