CN112330652A - 基于深度学习的染色体识别方法、装置和计算机设备 - Google Patents

基于深度学习的染色体识别方法、装置和计算机设备 Download PDF

Info

Publication number
CN112330652A
CN112330652A CN202011267718.9A CN202011267718A CN112330652A CN 112330652 A CN112330652 A CN 112330652A CN 202011267718 A CN202011267718 A CN 202011267718A CN 112330652 A CN112330652 A CN 112330652A
Authority
CN
China
Prior art keywords
chromosome
image
neural network
network model
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011267718.9A
Other languages
English (en)
Inventor
管惠敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202011267718.9A priority Critical patent/CN112330652A/zh
Publication of CN112330652A publication Critical patent/CN112330652A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Abstract

本申请涉及一种基于深度学习的染色体识别方法、装置、计算机设备和存储介质。所述方法包括：获取待识别染色体图像；将待识别染色体图像输入至训练好的神经网络模型中，提取待识别染色体图像中的染色体形态学图像特征，得到特征图；对特征图进行多尺度卷积处理，得到不同尺度的特征图；对不同尺度的特征图进行分类处理，得到待识别染色体图像中染色体的偏移量；对偏移量进行回归处理，得到染色体的位置。采用本方法能够提高染色体识别的准确性。

Description

基于深度学习的染色体识别方法、装置和计算机设备
技术领域
本申请涉及染色体识别技术领域，特别是涉及一种基于深度学习的染色体识别方法、装置和计算机设备。
背景技术
随着计算机技术的发展，人工智能和深度学习已成为各行各业亟待学习和结合的技术，染色体识别为人类健康和疾病的诊断提供了价值重大的信息，根据染色体识别结果，可以诊断出染色体疾病。
然而，现有的染色体识别一般采用人工镜检识别染色体，图像处理技术，即阈值分割和边缘提取来对染色体进行识别，只会保留部分染色体信息，并且对染色体图像中存在其他与真实染色体形状近似的杂质无法进行准确的识别，导致染色体识别的准确性不高。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高染色体识别准确性的基于深度学习的染色体识别方法、装置、计算机设备和存储介质。
一种基于深度学习的染色体识别方法，所述方法包括：
获取待识别染色体图像；
将所述待识别染色体图像输入至训练好的神经网络模型中，提取所述待识别染色体图像中的染色体形态学图像特征，得到特征图；
对所述特征图进行多尺度卷积处理，得到不同尺度的特征图；
对所述不同尺度的特征图进行分类处理，得到所述待识别染色体图像中染色体的偏移量；
对所述偏移量进行回归处理，得到所述染色体的位置。
在其中一个实施例中，所述将所述待识别染色体图像输入至训练好的神经网络模型中，提取所述待识别染色体图像中的染色体形态学图像特征，得到特征图，包括：
读取所述待识别染色体图像的三通道数据；
对所述三通道数据进行归一化处理，得到归一化处理图像；
将所述归一化处理图像输入至训练好的神经网络模型中，提取所述待识别染色体图像中的染色体形态学图像特征，得到特征图。
在其中一个实施例中，所述神经网络模型的训练，包括：
获取的样本染色体图像；
对所述样本染色体图像进行标注，将携带染色体标注和杂质标注的样本染色体图像作为染色体数据集；
根据所述染色体数据集对预先设置的神经网络模型进行训练，确定所述预先设置的神经网络模型的最优参数，得到训练好的神经网络模型；所述神经网络模型中包括用于区分染色体和杂质的分类子网络，以及用于定位染色体位置的回归子网络。
在其中一个实施例中，所述获取的样本染色体图像，包括：
获取用于训练的原始染色体图像；
对所述原始染色体图像进行旋转、平移、模糊操作、光照调整、增加噪声增强操作，得到样本染色体图像。
在其中一个实施例中，所述根据所述染色体数据集对预先设置的神经网络模型进行训练，确定所述预先设置的神经网络模型的最优参数，包括：
对所述染色体数据集进行染色体形态学图像特征，得到特征图；
对所述特征图进行多尺度卷积处理，得到不同尺度的特征图；
将所述不同尺度的特征图输入至所述分类子网络和所述回归子网络进行训练，确定所述预先设置的神经网络模型的最优参数，得到训练好的神经网络模型。
在其中一个实施例中，所述对所述特征图进行多尺度卷积处理，得到不同尺度的特征图，包括：
将所述特征图输入至特征金字塔网络中，对所述特征图进行上采样，得到采样结果集；
通过每层卷积层中的卷积核对对应的采集结果进行卷积处理，得到对应卷积结果；
对各所述采样结果、所述卷积结果和所述特征图进行融合，通过第二卷积核对各融合结果进行卷积处理，得到不同尺度的特征图。
一种基于深度学习的染色体识别装置，所述装置包括：
获取模块，用于获取待识别染色体图像；
提取模块，用于将所述待识别染色体图像输入至训练好的神经网络模型中，提取所述待识别染色体图像中的染色体形态学图像特征，得到特征图；
处理模块，用于对所述特征图进行多尺度卷积处理，得到不同尺度的特征图；
分类处理模块，用于对所述不同尺度的特征图进行分类处理，得到所述待识别染色体图像中染色体的偏移量；
回归处理模块，用于对所述偏移量进行回归处理，得到所述染色体的位置。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待识别染色体图像；
将所述待识别染色体图像输入至训练好的神经网络模型中，提取所述待识别染色体图像中的染色体形态学图像特征，得到特征图；
对所述特征图进行多尺度卷积处理，得到不同尺度的特征图；
对所述不同尺度的特征图进行分类处理，得到所述待识别染色体图像中染色体的偏移量；
对所述偏移量进行回归处理，得到所述染色体的位置。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待识别染色体图像；
将所述待识别染色体图像输入至训练好的神经网络模型中，提取所述待识别染色体图像中的染色体形态学图像特征，得到特征图；
对所述特征图进行多尺度卷积处理，得到不同尺度的特征图；
对所述不同尺度的特征图进行分类处理，得到所述待识别染色体图像中染色体的偏移量；
对所述偏移量进行回归处理，得到所述染色体的位置。
上述基于深度学习的染色体识别方法、装置、计算机设备和存储介质，通过训练好的神经网络模型对待识别染色体图像进行识别，通过提取待识别染色体图像中的染色体形态学图像特征，对得到的特征图进行多尺度卷积处理，得到不同尺度的特征图；对不同尺度的特征图进行分类处理，将与染色体相似的杂质进行区分；通过对偏移量进行回归处理，得到染色体的位置，准确识别出染色体位置，通过训练好的神经网络模型对待识别染色体图像进行识别减少了人工参与，提高了染色体识别的准确性。
附图说明
图1为一个实施例中基于深度学习的染色体识别方法的应用环境图；
图2为一个实施例中基于深度学习的染色体识别方法的流程示意图；
图3为一个实施例中神经网络模型训练方法的流程示意图；
图4为一个实施例中神经网络模型的结构示意图；
图5为一个实施例中生成不同尺度的特征图的示意图；
图6为一个实施例中神经网络模型中分类子网络和回归子网络的结构示意图；
图7为另一个实施例中基于深度学习的染色体识别方法的流程示意图；
图8为一个实施例中基于深度学习的染色体识别装置的结构框图；
图9为另一个实施例中基于深度学习的染色体识别装置的结构框图；
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的基于深度学习的染色体识别方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。终端102从服务器104中获取待识别染色体图像，将待识别染色体图像输入至训练好的神经网络模型中，提取待识别染色体图像中的染色体形态学图像特征，得到特征图；对特征图进行多尺度卷积处理，得到不同尺度的特征图；对不同尺度的特征图进行分类处理，得到待识别染色体图像中染色体的偏移量；对偏移量进行回归处理，得到染色体的位置。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种基于深度学习的染色体识别方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：
步骤202，获取待识别染色体图像。
其中，待识别染色体图像是通过视觉传感器(例如，CCD图像采集器)从染色体切片上采集得到，染色体切片是通过对人体外周血推片进行染色得到的。
具体地，通过视觉传感器将采集的图像上传至服务器中，终端从服务器中获取待识别染色体图像，获取的待识别染色体图像中存在染色体和染色体相似的杂质。
步骤204，将待识别染色体图像输入至训练好的神经网络模型中，提取待识别染色体图像中的染色体形态学图像特征，得到特征图。
其中，训练好的神经网络模型中包括用于提取和学习特征的卷积神经网络、用于采样和多尺度强化特征的特征金字塔网络(Feature Pyramid Network，FPN)、用于区分染色体和杂质的分类子网络以及用于定位染色体位置的回归子网络。
具体地，将待识别染色体图像输入至训练好的神经网络模型，通过卷积神经网络提取待识别染色体图像的染色体形态学图像特征，即读取所述待识别染色体图像的三通道数据(每个像素点的RGB值)，对待识别染色体图像每个像素点的RGB值进行归一化处理，得到待识别染色体图像的纹理形状大小颜色特征以及高维空间向量特征，对提取得到的染色体形态学图像特征进行卷积处理，得到特征图feature map。
步骤206，对特征图进行多尺度卷积处理，得到不同尺度的特征图。
具体地，将卷积神经网络提取的特征图feature map输入至输入特征金字塔网络中进行多尺度卷积处理，得到不同尺度信息下的特征图；不同尺度的特征图中包括染色体特征图和杂质特征图。
步骤208，对不同尺度的特征图进行分类处理，得到待识别染色体图像中染色体的偏移量。
具体地，通过训练好的分类子网络对得到的不同尺度信息下的特征图进行分类，通过分类子网络对待识别染色体图像中的染色体和杂质进行分类，得到待识别染色体图像中染色体的偏移量。
步骤210，对偏移量进行回归处理，得到染色体的位置。
具体地，通过训练好的回归子网络对染色体偏移量进行回归处理，根据输出的边界框位置确定染色体的位置。
上述基于深度学习的染色体识别方法中，通过训练好的神经网络模型对待识别染色体图像进行识别，通过提取待识别染色体图像中的染色体形态学图像特征，对得到的特征图进行多尺度卷积处理，得到不同尺度的特征图；对不同尺度的特征图进行分类处理，将与染色体相似的杂质进行区分；通过对偏移量进行回归处理，得到染色体的位置，准确识别出染色体位置，通过训练好的神经网络模型对待识别染色体图像进行识别减少了人工参与，提高了染色体识别的准确性。
在一个实施例中，如图3所示，提供了一种训练神经网络模型的方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：
步骤302，获取的样本染色体图像。
具体地，获取用于训练的原始染色体图像；对原始染色体图像进行旋转、平移、模糊操作、光照调整、增加噪声增强操作，得到样本染色体图像。其中，模糊操作是指对原始染色体图像进行平滑处理，减少图像中的噪点；光照调整是指对原始染色体图像进行校正，避免图像中低频信息的丢失，校正方法可以但不仅限于是伽马(Gamma)校正；增加噪声可以但不仅限于是高斯噪声、椒盐噪声，对图像增加噪声增强模型的训练效果以及提高模型的泛化能力。
步骤304，对样本染色体图像进行标注，将携带染色体标注和杂质标注的样本染色体图像作为染色体数据集。
具体地，通过深度学习标注工具LabelImg对样本染色体图像的染色体和杂质进行标注，得到样本染色体图像上染色体标注和杂质标注，将标注后携带色体标注和杂质标注的样本染色体图像作为染色体数据集，并按照预测比例(例如8:2)对染色体数据集划分为染色体训练数据集和染色体测试数据集。
步骤306，根据染色体数据集对预先设置的神经网络模型进行训练，确定预先设置的神经网络模型的最优参数，得到训练好的神经网络模型。
其中，预先设置的神经网格模型中包括用于提取和学习特征的卷积神经网络、用于采样和多尺度强化特征的特征金字塔网络(Feature Pyramid Network，FPN)、用于区分染色体和杂质的分类子网络以及用于定位染色体位置的回归子网络。预先设置的神经网络结构如图4所示，包括卷积神经网络、特征金字塔网络、分类子网络class subnets和回归子网络box subnets；不同尺度的特征存在对应的对染色体形态学图像进行染色体与杂质的分类的class subnets，和对染色体定位的box subnets。
具体地，对染色体数据集进行染色体形态学图像特征，得到特征图；即对染色体数据集中的训练染色体数据集和测试染色体数据集分别进行染色体形态学图像特征，得到染色体训练数据集和染色体测试数据集各自对应的特征图；对特征图进行多尺度卷积处理，得到不同尺度的特征图；即将训练染色体数据集的特征图输入至特征金字塔网络中，对特征图进行上采样，得到采样结果集；通过每层卷积层中的卷积核对对应的采集结果进行卷积处理，得到对应卷积结果；对各采样结果、卷积结果和特征图进行融合，通过第二卷积核对各融合结果进行卷积处理，得到不同尺度的特征图，如图5所示，对输入的染色体训练数据集进行上采样，得到采样图，分别以卷积步长Stride为2、4、6、8、16和32进行卷积得到的采样结果C5，C4，C3，C2分别进行卷积，用第一卷积核1x1对C5进行卷积，得到256维的M5；第一卷积核1x1对C4卷积得到256维的M4，第一卷积核1x1对C3卷积得到256维的M3，第一卷积核1x1对C2卷积得到256维的M2；通过第二卷积核3x3对各融合结果进行卷积处理，得到不同尺度的特征图P5，P4，P3，P2。
将不同尺度的特征图输入至分类子网络和回归子网络进行训练，确定预先设置的神经网络模型的最优参数，得到训练好的神经网络模型；即特征金字塔网络(FPN)中生成的不同尺度feature map输入分类子网络和回归子网络，通过分类子网络进行染色体与杂质分类，回归子网络进行染色体定位。如图6所示，分类子网络和回归子网络的结构示意图，分类子网络和回归子网络共享结构，两者参数互相独立；将不同尺度的特征图作为输入训练分类子网络和回归子网络，采用4个3x 3转换层，每个转换层具有256个滤波器，每层通过激活函数(ReLU函数)进行激活，直到分类子网络和回归子网络的损失函数收敛，确定神经网络模型的最优参数，得到训练好的神经网络模型。
上述神经网络模型训练方法中，通过获取用于训练的原始染色体图像；对所述原始染色体图像进行增强操作得到样本染色体图像，通过对样本染色体图像进行标注，将携带染色体标注和杂质标注的样本染色体图像作为染色体数据集，根据染色体数据集对预先设置的神经网络模型进行训练，确定预先设置的神经网络模型的最优参数，得到训练好的神经网络模型，即通过对训练数据增强处理，减小训练难度以及提高了训练的效率和神经网络模型的泛化能力，基于深度神经网络训练染色体图像，得到可识别染色体的神经网络模型，利用训练好的神经网络模型可以准确完整识别出染色体，提高染色体识别的效率。
在另一个实施例中，如图7所示，提供了一种基于深度学习的染色体识别方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：
步骤702，获取待识别染色体图像。
步骤704，读取待识别染色体图像的三通道数据。
步骤706，对三通道数据进行归一化处理，得到归一化处理图像。
步骤708，将归一化处理图像输入至训练好的神经网络模型中，提取待识别染色体图像中的染色体形态学图像特征，得到特征图。
步骤710，对特征图进行多尺度卷积处理，得到不同尺度的特征图。
步骤712，对不同尺度的特征图进行分类处理，得到待识别染色体图像中染色体的偏移量。
步骤714，对偏移量进行回归处理，得到染色体的位置。
上述基于深度学习的染色体识别方法中，通过将待识别染色体图像输入至训练好的神经网络模型中，对提取的染色体形态学图像特征得到的特征图进行多尺度卷积处理，得到不同尺度的特征图，利用分类子网络对染色体图像进行分类，区分染色体与杂质；通过回归子网络进行染色体定位确定待识别图像中染色体的位置，减少人工操作，提高了染体识别的准确性以及识别效率。
应该理解的是，虽然图2、3、7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、3、7中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图8所示，提供了一种基于深度学习的染色体识别装置，包括：获取模块802、提取模块804、处理模块806、分类处理模块808和回归处理模块810，其中：
获取模块802，用于获取待识别染色体图像。
提取模块804，用于将待识别染色体图像输入至训练好的神经网络模型中，提取待识别染色体图像中的染色体形态学图像特征，得到特征图。
处理模块806，用于对特征图进行多尺度卷积处理，得到不同尺度的特征图。
分类处理模块808，用于对不同尺度的特征图进行分类处理，得到待识别染色体图像中染色体的偏移量。
回归处理模块810，用于对偏移量进行回归处理，得到染色体的位置。
上述基于深度学习的染色体识别装置，通过训练好的神经网络模型对待识别染色体图像进行识别，通过提取待识别染色体图像中的染色体形态学图像特征，对得到的特征图进行多尺度卷积处理，得到不同尺度的特征图；对不同尺度的特征图进行分类处理，将与染色体相似的杂质进行区分；通过对偏移量进行回归处理，得到染色体的位置，准确识别出染色体位置，通过训练好的神经网络模型对待识别染色体图像进行识别减少了人工参与，提高了染色体识别的准确性。
在另一个实施例中，如图9所示，提供了一种基于深度学习的染色体识别装置，除包括获取模块802、提取模块804、处理模块806、分类处理模块808和回归处理模块810之外，还包括：读取模块812、归一化处理模块814、图像处理模块816、标注模块818、训练模块820和采样模块822，其中：
读取模块812，用于读取待识别染色体图像的三通道数据。
归一化处理模块814，用于对三通道数据进行归一化处理，得到归一化处理图像。
提取模块804还用于将归一化处理图像输入至训练好的神经网络模型中，提取待识别染色体图像中的染色体形态学图像特征，得到特征图。
获取模块802还用于获取的样本染色体图像。
获取模块802还用于获取用于训练的原始染色体图像。
图像处理模块816，用于对原始染色体图像进行旋转、平移、模糊操作、光照调整、增加噪声增强操作，得到样本染色体图像。
提取模块804还用于对染色体数据集进行染色体形态学图像特征，得到特征图。
标注模块818，用于对样本染色体图像进行标注，将携带染色体标注和杂质标注的样本染色体图像作为染色体数据集；
训练模块820，用于根据染色体数据集对预先设置的神经网络模型进行训练，确定预先设置的神经网络模型的最优参数，得到训练好的神经网络模型；神经网络模型中包括用于区分染色体和杂质的分类子网络，以及用于定位染色体位置的回归子网络。
训练模块820还用于对特征图进行多尺度卷积处理，得到不同尺度的特征图；将不同尺度的特征图输入至分类子网络和回归子网络进行训练，确定预先设置的神经网络模型的最优参数，得到训练好的神经网络模型。
采样模块822，用于将特征图输入至特征金字塔网络中，对特征图进行上采样，得到采样结果集；
处理模块806还用于通过每层卷积层中的卷积核对对应的采集结果进行卷积处理，得到对应卷积结果；对各采样结果、卷积结果和特征图进行融合，通过第二卷积核对各融合结果进行卷积处理，得到不同尺度的特征图。
在一个实施例中，通过获取用于训练的原始染色体图像；对所述原始染色体图像进行增强操作得到样本染色体图像，通过对样本染色体图像进行标注，将携带染色体标注和杂质标注的样本染色体图像作为染色体数据集，根据染色体数据集对预先设置的神经网络模型进行训练，确定预先设置的神经网络模型的最优参数，得到训练好的神经网络模型，即通过对训练数据增强处理，减小训练难度以及提高了训练的效率和神经网络模型的泛化能力。
通过训练好的神经网络模型对待识别染色体图像进行识别，通过提取待识别染色体图像中的染色体形态学图像特征，对得到的特征图进行多尺度卷积处理，得到不同尺度的特征图；对不同尺度的特征图进行分类处理，将与染色体相似的杂质进行区分；通过对偏移量进行回归处理，得到染色体的位置，准确完整地识别出染色体位置，提高了染色体识别的准确性以及识别效率。
关于基于深度学习的染色体识别装置的具体限定可以参见上文中对于基于深度学习的染色体识别方法的限定，在此不再赘述。上述基于深度学习的染色体识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种基于深度学习的染色体识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取待识别染色体图像；
将待识别染色体图像输入至训练好的神经网络模型中，提取待识别染色体图像中的染色体形态学图像特征，得到特征图；
对特征图进行多尺度卷积处理，得到不同尺度的特征图；
对不同尺度的特征图进行分类处理，得到待识别染色体图像中染色体的偏移量；
对偏移量进行回归处理，得到染色体的位置。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
读取待识别染色体图像的三通道数据；
对三通道数据进行归一化处理，得到归一化处理图像；
将归一化处理图像输入至训练好的神经网络模型中，提取待识别染色体图像中的染色体形态学图像特征，得到特征图。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取的样本染色体图像；
对样本染色体图像进行标注，将携带染色体标注和杂质标注的样本染色体图像作为染色体数据集；
根据染色体数据集对预先设置的神经网络模型进行训练，确定预先设置的神经网络模型的最优参数，得到训练好的神经网络模型；神经网络模型中包括用于区分染色体和杂质的分类子网络，以及用于定位染色体位置的回归子网络。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取用于训练的原始染色体图像；
对原始染色体图像进行旋转、平移、模糊操作、光照调整、增加噪声增强操作，得到样本染色体图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对染色体数据集进行染色体形态学图像特征，得到特征图；
对特征图进行多尺度卷积处理，得到不同尺度的特征图；
将不同尺度的特征图输入至分类子网络和回归子网络进行训练，确定预先设置的神经网络模型的最优参数，得到训练好的神经网络模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将特征图输入至特征金字塔网络中，对特征图进行上采样，得到采样结果集；
通过每层卷积层中的卷积核对对应的采集结果进行卷积处理，得到对应卷积结果；
对各采样结果、卷积结果和特征图进行融合，通过第二卷积核对各融合结果进行卷积处理，得到不同尺度的特征图。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取待识别染色体图像；
将待识别染色体图像输入至训练好的神经网络模型中，提取待识别染色体图像中的染色体形态学图像特征，得到特征图；
对特征图进行多尺度卷积处理，得到不同尺度的特征图；
对不同尺度的特征图进行分类处理，得到待识别染色体图像中染色体的偏移量；
对偏移量进行回归处理，得到染色体的位置。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
读取待识别染色体图像的三通道数据；
对三通道数据进行归一化处理，得到归一化处理图像；
将归一化处理图像输入至训练好的神经网络模型中，提取待识别染色体图像中的染色体形态学图像特征，得到特征图。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取的样本染色体图像；
对样本染色体图像进行标注，将携带染色体标注和杂质标注的样本染色体图像作为染色体数据集；
根据染色体数据集对预先设置的神经网络模型进行训练，确定预先设置的神经网络模型的最优参数，得到训练好的神经网络模型；神经网络模型中包括用于区分染色体和杂质的分类子网络，以及用于定位染色体位置的回归子网络。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取用于训练的原始染色体图像；
对原始染色体图像进行旋转、平移、模糊操作、光照调整、增加噪声增强操作，得到样本染色体图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对染色体数据集进行染色体形态学图像特征，得到特征图；
对特征图进行多尺度卷积处理，得到不同尺度的特征图；
将不同尺度的特征图输入至分类子网络和回归子网络进行训练，确定预先设置的神经网络模型的最优参数，得到训练好的神经网络模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将特征图输入至特征金字塔网络中，对特征图进行上采样，得到采样结果集；
通过每层卷积层中的卷积核对对应的采集结果进行卷积处理，得到对应卷积结果；
对各采样结果、卷积结果和特征图进行融合，通过第二卷积核对各融合结果进行卷积处理，得到不同尺度的特征图。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于深度学习的染色体识别方法，其特征在于，所述方法包括：
获取待识别染色体图像；
将所述待识别染色体图像输入至训练好的神经网络模型中，提取所述待识别染色体图像中的染色体形态学图像特征，得到特征图；
对所述特征图进行多尺度卷积处理，得到不同尺度的特征图；
对所述不同尺度的特征图进行分类处理，得到所述待识别染色体图像中染色体的偏移量；
对所述偏移量进行回归处理，得到所述染色体的位置。
2.根据权利要求1所述的方法，其特征在于，所述将所述待识别染色体图像输入至训练好的神经网络模型中，提取所述待识别染色体图像中的染色体形态学图像特征，得到特征图，包括：
读取所述待识别染色体图像的三通道数据；
对所述三通道数据进行归一化处理，得到归一化处理图像；
将所述归一化处理图像输入至训练好的神经网络模型中，提取所述待识别染色体图像中的染色体形态学图像特征，得到特征图。
3.根据权利要求1所述的方法，其特征在于，所述神经网络模型的训练，包括：
获取的样本染色体图像；
对所述样本染色体图像进行标注，将携带染色体标注和杂质标注的样本染色体图像作为染色体数据集；
根据所述染色体数据集对预先设置的神经网络模型进行训练，确定所述预先设置的神经网络模型的最优参数，得到训练好的神经网络模型；所述神经网络模型中包括用于区分染色体和杂质的分类子网络，以及用于定位染色体位置的回归子网络。
4.根据权利要求3所述的方法，其特征在于，所述获取的样本染色体图像，包括：
获取用于训练的原始染色体图像；
对所述原始染色体图像进行旋转、平移、模糊操作、光照调整、增加噪声增强操作，得到样本染色体图像。
5.根据权利要求3所述的方法，其特征在于，所述根据所述染色体数据集对预先设置的神经网络模型进行训练，确定所述预先设置的神经网络模型的最优参数，得到训练好的神经网络模型，包括：
对所述染色体数据集进行染色体形态学图像特征，得到特征图；
对所述特征图进行多尺度卷积处理，得到不同尺度的特征图；
将所述不同尺度的特征图输入至所述分类子网络和所述回归子网络进行训练，确定所述预先设置的神经网络模型的最优参数，得到训练好的神经网络模型。
6.根据权利要求5所述的方法，其特征在于，所述对所述特征图进行多尺度卷积处理，得到不同尺度的特征图，包括：
将所述特征图输入至特征金字塔网络中，对所述特征图进行上采样，得到采样结果集；
通过每层卷积层中的卷积核对对应的采集结果进行卷积处理，得到对应卷积结果；
对各所述采样结果、所述卷积结果和所述特征图进行融合，通过第二卷积核对各融合结果进行卷积处理，得到不同尺度的特征图。
7.一种基于深度学习的染色体识别装置，其特征在于，所述装置包括：
获取模块，用于获取待识别染色体图像；
提取模块，用于将所述待识别染色体图像输入至训练好的神经网络模型中，提取所述待识别染色体图像中的染色体形态学图像特征，得到特征图；
处理模块，用于对所述特征图进行多尺度卷积处理，得到不同尺度的特征图；
分类处理模块，用于对所述不同尺度的特征图进行分类处理，得到所述待识别染色体图像中染色体的偏移量；
回归处理模块，用于对所述偏移量进行回归处理，得到所述染色体的位置。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
读取模块，用于读取所述待识别染色体图像的三通道数据；
归一化处理模块，用于对所述三通道数据进行归一化处理，得到归一化处理图像；
提取模块还用于将所述归一化处理图像输入至训练好的神经网络模型中，提取所述待识别染色体图像中的染色体形态学图像特征，得到特征图。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202011267718.9A 2020-11-13 2020-11-13 基于深度学习的染色体识别方法、装置和计算机设备 Pending CN112330652A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011267718.9A CN112330652A (zh) 2020-11-13 2020-11-13 基于深度学习的染色体识别方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011267718.9A CN112330652A (zh) 2020-11-13 2020-11-13 基于深度学习的染色体识别方法、装置和计算机设备

Publications (1)

Publication Number Publication Date
CN112330652A true CN112330652A (zh) 2021-02-05

Family

ID=74318732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011267718.9A Pending CN112330652A (zh) 2020-11-13 2020-11-13 基于深度学习的染色体识别方法、装置和计算机设备

Country Status (1)

Country Link
CN (1) CN112330652A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807259A (zh) * 2021-09-18 2021-12-17 上海北昂医药科技股份有限公司 一种基于多尺度特征融合的染色体分裂相定位与排序的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109300111A (zh) * 2018-08-27 2019-02-01 杭州德适生物科技有限公司 一种基于深度学习的染色体识别方法
CN110533672A (zh) * 2019-08-22 2019-12-03 杭州德适生物科技有限公司 一种基于条带识别的染色体排序方法
CN111291716A (zh) * 2020-02-28 2020-06-16 深圳大学 精子细胞识别方法、装置、计算机设备和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109300111A (zh) * 2018-08-27 2019-02-01 杭州德适生物科技有限公司 一种基于深度学习的染色体识别方法
CN110533672A (zh) * 2019-08-22 2019-12-03 杭州德适生物科技有限公司 一种基于条带识别的染色体排序方法
CN111291716A (zh) * 2020-02-28 2020-06-16 深圳大学 精子细胞识别方法、装置、计算机设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807259A (zh) * 2021-09-18 2021-12-17 上海北昂医药科技股份有限公司 一种基于多尺度特征融合的染色体分裂相定位与排序的方法

Similar Documents

Publication Publication Date Title
JP6843086B2 (ja) 画像処理システム、画像においてマルチラベル意味エッジ検出を行う方法、および、非一時的コンピューター可読記憶媒体
CN109154978B (zh) 用于检测植物疾病的系统和方法
CN107784282B (zh) 对象属性的识别方法、装置及系统
CN110490850B (zh) 一种肿块区域检测方法、装置和医学图像处理设备
US9349076B1 (en) Template-based target object detection in an image
CN110674804A (zh) 文本图像的检测方法、装置、计算机设备和存储介质
CN109325468B (zh) 一种图像处理方法、装置、计算机设备和存储介质
CN112633297B (zh) 目标对象的识别方法、装置、存储介质以及电子装置
WO2019033570A1 (zh) 嘴唇动作分析方法、装置及存储介质
CN113269257A (zh) 一种图像分类方法、装置、终端设备及存储介质
WO2019033568A1 (zh) 嘴唇动作捕捉方法、装置及存储介质
CN110827236A (zh) 基于神经网络的脑组织分层方法、装置、计算机设备
Rashmi et al. A comparative evaluation of texture features for semantic segmentation of breast histopathological images
CN111209873A (zh) 一种基于深度学习的高精度人脸关键点定位方法及系统
CN114549462A (zh) 基于视角解耦Transformer模型的病灶检测方法、装置、设备及介质
Jia et al. Saliency detection via a unified generative and discriminative model
CN112668462A (zh) 车损检测模型训练、车损检测方法、装置、设备及介质
CN114549603B (zh) 细胞病理图像的标注坐标转换方法、系统、设备及介质
CN111507288A (zh) 图像检测方法、装置、计算机设备和存储介质
Zhang et al. Dermoscopic image retrieval based on rotation-invariance deep hashing
CN113792623B (zh) 安检ct目标物识别方法和装置
CN114742750A (zh) 异常细胞检测方法、装置、终端设备及可读存储介质
CN107590806B (zh) 一种基于大脑医学成像的检测方法和系统
CN112330652A (zh) 基于深度学习的染色体识别方法、装置和计算机设备
Alias et al. Improvement method for cervical cancer detection: A comparative analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination