CN109523520A - 一种基于深度学习的染色体自动计数方法 - Google Patents

一种基于深度学习的染色体自动计数方法 Download PDF

Info

Publication number
CN109523520A
CN109523520A CN201811250267.0A CN201811250267A CN109523520A CN 109523520 A CN109523520 A CN 109523520A CN 201811250267 A CN201811250267 A CN 201811250267A CN 109523520 A CN109523520 A CN 109523520A
Authority
CN
China
Prior art keywords
loss function
chromosome
cnn
rectangle frame
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811250267.0A
Other languages
English (en)
Other versions
CN109523520B (zh
Inventor
乔杰
赵屹
田婵
肖立
于天琦
罗纯龙
于富海
罗宇凡
王曼卿
赵相然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Yihe Intelligent Medical Technology (Foshan) Co.,Ltd.
Original Assignee
Institute of Computing Technology of CAS
Peking University Third Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Computing Technology of CAS, Peking University Third Hospital filed Critical Institute of Computing Technology of CAS
Priority to CN201811250267.0A priority Critical patent/CN109523520B/zh
Publication of CN109523520A publication Critical patent/CN109523520A/zh
Application granted granted Critical
Publication of CN109523520B publication Critical patent/CN109523520B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的染色体自动计数方法，包括以下步骤：(1)图像收集和预处理步骤；(2)图像分类和回归步骤；(3)模型训练步骤；(4)测试计数步骤，其中，在步骤(2)中采用新的抽样策略，并对Faster R‑CNN模型损失函数进行了改进。本发明所需的数据来源于真实显微镜视野下的G显带染色体，所述方法无需复杂实验过程，成本低廉，耗时更短，能够自动准确完成目标染色体计数。本发明使用1000例标注的染色体图训练模型，随后用175例标注的染色体图做测试，统计显示175例共包含8023条染色体，测试的准确率为98.95％，召回率为98.67％。测试结果显示用机器计数后人工校正的方法完成一份报告的染色体计数所需时间短于目前的1/3。

Description

一种基于深度学习的染色体自动计数方法
技术领域
本发明涉及计算机视觉图像处理，染色体计数等技术领域，具体涉及一种染色体自动计数方法。
背景技术
目前核型分析主要分为四个步骤，即染色体计数、染色体分割、染色体配对、排序校正和出具分析报告，目前市面上广泛应用的核型自动分析系统(如徕卡CytoVision系统)以上四个步骤主要依赖人工操作。目前训练有素的医生完成一例报告需要约30-50分钟，一天只能完成十例左右，效率低下，且计数步骤需要鼠标点击每条染色体，容易造成鼠标手。
染色体计数就是统计视野可见的范围内染色体的个数，是核型分析中必不可少的环节，通常正常核型需要计数20-30个图像，在有嵌合体时，需要统计多套(50-100套)完整染色体的数目以确保结论的准确客观。在计数过程中，医生需要找出所有的染色体，再统计数目。目前普通医生计数一套核型平均时间约为20-30秒，甚至更长，全部计数完成时间在15分钟左右。进行核型分析时，经常会出现染色体重叠，需要分割每条染色体，通常完成一例需要一分钟以上，这也是继续提高效率的关键步骤。
现有技术基本基于人工识别方法，是目前精度最高、采用最多的方式。由于染色体制片过程受环境影响较大，导致染色体长度不同，条带分辨率及形态不同，加上重叠染色体会遮盖原染色体部分条带，因此正确地识别染色体需要经过培训的专业医师来完成，耗费大量人力，且效率低下。
发明人在进行染色体分析研究时，发现人工分析计数，分割等过程很慢，效率低下。发明人经过研究发现，可以通过深度学习目标检测方法自动计数染色体，提高分析效率。染色体自动识别计数不同于传统的应用目标检测模型解决自然目标检测以及解决医学中细胞检测计数。由于染色体呈狭长条状，但因其非刚性属性，容易出现弯折等复杂形态；其次因实验因素的影响，多条染色体间容易出现粘连、交叉、重叠等影响识别的复杂状态；由于染色体制片过程受环境影响较大，导致分辨率不同，即同样的染色体可能出现不同的条带谱，给传统目标检测模型的识别带来困难。所以传统的Faster R-CNN模型的抽样方法导致部分染色体和整条染色体难以区分，影响计数结果，而且此类状况经常出现，对模型影响很大。因此，基于传统的Faster R-CNN模型还难以完成对染色体的自动识别和计数工作。
基于现有技术存在的问题，本发明的目的就是提供一种能够克服现有技术缺陷，识别性能得到优化的基于深度学习的染色体自动计数的方法和系统。
发明内容
基于上述发明目的，发明人以目标检测领域常用的Faster R-CNN算法为算法框架，根据染色体目标性质和染色体成像特点对其进行了改进，提供了一种基于深度学习的染色体自动计数方法，所述方法包括以下步骤：
(1)图像收集和预处理步骤：收集并标注显微镜下分裂中期细胞真实影像图，标记出染色体的矩形框，并随机划分训练集和测试集，对训练集数据进行预处理和数据扩增；
(2)图像分类和回归步骤：以步骤(1)预处理和扩增后数据为基础构建Faster R-CNN模型进行图像分类和回归，所述模型包括对数据进行分类和回归的候选区域提取网络、以及对候选区域提取网络处理细分类和精确回归预测的Fast R-CNN网络，其中，候选区域提取网络的抽样范围包括困难负例，FastR-CNN网络的多任务损失函数为原始Fast R-CNN的多任务损失函数与截断的归一化排斥损失函数之和；
(3)模型训练步骤：使用步骤(2)建立的模型针对训练集数据进行模型训练；
(4)测试计数步骤：将测试集数据经过与步骤(1)相同的数据预处理，输入到经过步骤(3)训练后的模型中，获得预测的目标类别和目标计数信息，并以可视化方式输出计数结果。
在步骤(1)中，所述标注语言优选为XML(可扩展语言)，以矩形框标记图片中所有染色体，生成矩形框左上角顶点和右下角顶点在像素坐标系下的坐标。
在步骤(1)中，所述预处理优选将图片的RGB三个通道中所有像素值大于等于200的赋值为255，随后通过图像水平翻转和竖直翻转对样本进行扩增，从而将训练数据集扩充四倍。
在步骤(2)中，所述候选区域提取网络包括特征提取功能、分类任务和回归任务；本发明对该网络有针对性的修改了抽样策略，扩展了候选区域提取网络的能力，使得网络能同时关注染色体图像中容易给结果造成干扰的困难候选区域的分类，并提供给Fast R-CNN网络更有针对性提取困难候选区域的先验知识；特征提取工作优选采用分类网络结构VGG16网络提取图像中的特征，所述VGG16总计17层，其中卷积层13层，池化层4层。
在一个优选的实施方案中，所述步骤(2)的困难负例在抽样样本总数中占比0.375，其候选矩形框与真实目标矩形框的IoU介于0.3-0.7之间。
步骤(2)中，所述Fast R-CNN网络分为RoI Pooling层和5层全连接层，通过计算每个候选矩形框与真实目标矩形框之间的IoU度量，据筛选阈值将候选矩形框细分类为大于阈值以上的“chromosome”和小于阈值以下的“__background__”，
在一个优选的实施方案中，步骤(2)所述的截断的归一化排斥损失函数为式(I)所示：
其中，
其中，P+是所有由候选区域提取网络产生且与某个ground-truth的IOU大于0.5的候选矩形框，P是属于P+的一个候选矩形框，BP是由Faster R-CNN对P进行回归之后的预测框，GP是与P的IOU最大的ground-truth，RP是与P的IOU第二大的ground-truth，当预测候选框偏移真实目标时，根据偏移量的大小，损失函数会在0到1之间连续变化；所述的FastR-CNN网络的多任务损失函数为(III)所示：
Ltotal＝Lreg+Lcls+αgLTNRepulsion (III)
其中，Lreg为原始Fast R-CNN的回归损失函数，Lcls为原始Fast R-CNN的分类损失函数，α是衡量排斥损失重要性的权重系数。
更为优选地，所述步骤(2)所述候选区域提取网络的多任务损失函数为分类损失函数和回归损失函数的加权求和，其中，分类损失函数为式(IV)：
其中，N代表计入损失的样本数；pi代表样本预测为前景染色体的概率；
回归损失函数采用smoothL1损失函数，其函数形式为式(V):
其中，
其中，x,y,w,h分别代表矩形框中心坐标以及矩形框长度和高度，x,xa,x*分别代表预测的矩形框、模板框和真实的矩形框的中心坐标，y,w,h与以上相同；
多任务损失函数为式(VII)所示：
其中回归损失仅计算真实标注为“1”的模板框，即pi *＝1的模板框才纳入回归损失的计算范围。
步骤(3)中，超参数调整优化为：将RPN网络模板框大小(anchor scales)分四级，分别为32，64，96，128；高宽比(aspect ratio)分9级，分别为1/5，1/4，1/3，1/2，1，2，3，4，5；
所述模型训练为：选择Momentum算法作为梯度下降方法，momentum＝0.9，学习率初始化为0.001；每轮迭代Batch size＝1；学习率衰减采用指数式衰减，每40000轮学习率衰减为原来的0.1倍；模型迭代训练100000轮。
其次，本发明还提供了一种基于深度学习的染色体自动计数系统，所述系统包括以下模块：
(1)图像收集和预处理模块：收集并标注显微镜下分裂中期细胞真实影像图，标记出染色体的矩形框，并随机划分训练集和测试集，对训练集数据进行预处理和数据扩增；
(2)图像分类和回归模块：以模块(1)预处理和扩增后数据为基础构建Faster R-CNN模型进行图像分类和回归，所述模型包括对数据进行分类和回归的候选区域提取网络、以及对候选区域提取网络处理细分类和精确回归预测的Fast R-CNN网络，其中，候选区域提取网络的抽样范围包括困难负例，FastR-CNN网络的多任务损失函数为原始Fast R-CNN的多任务损失函数与截断的归一化排斥损失函数之和；
(3)模型训练模块：使用模块(2)建立的模型针对训练集数据进行模型训练；
(4)测试计数模块：将测试集数据经过与模块(1)相同的数据预处理，输入到经过模块(3)训练后的模型中，获得预测的目标类别和目标计数信息，并以可视化方式输出计数结果。
在模块(1)中，所述标注语言优选为XML(可扩展语言)，为以矩形框标记图片中所有染色体，生成矩形框左上角顶点和右下角顶点在像素坐标系下的坐标。
在模块(1)中，所述预处理优选将图片的RGB三个通道中所有像素值大于等于200的赋值为255，随后通过图像水平翻转和竖直翻转对样本进行扩增，从而将训练数据集扩充四倍。
在模块(2)中，所述候选区域提取网络包括特征提取功能、分类任务和回归任务；本发明对该网络有针对性的修改了抽样策略，扩展了候选区域提取网络的能力，使得网络能同时关注染色体图像中容易给结果造成干扰的困难候选区域的分类，并提供给Fast R-CNN网络更有针对性提取困难候选区域先验知识；特征提取工作优选采用分类网络结构VGG16网络提取图像中的特征，所述VGG16总计17层，其中卷积层13层，池化层4层。
在一个优选的实施方案中，所述模块(2)的困难负例在抽样样本总数中占比0.375，其候选矩形框与真实目标矩形框的IoU介于0.3-0.7之间。
模块(2)中，所述Fast R-CNN网络分为RoI Pooling层和5层全连接层，通过计算每个候选矩形框与真实目标矩形框之间的IoU度量，据筛选阈值将候选矩形框细分类为大于阈值以上的“chromosome”和小于阈值以下的“__background__”，
在一个优选的实施方案中，模块(2)所述的截断的归一化排斥损失函数为式(I)所示：
其中，
其中，P+是由候选区域提取网络产生且与某个ground-truth的IOU大于0.5的候选矩形框的集合，P是属于P+的一个候选矩形框，BP是由Faster R-CNN对P进行回归之后的预测框，GP是与P的IOU最大的ground-truth，RP是与P的IOU第二大的ground-truth，当预测候选框偏移真实目标时，根据偏移量的大小，损失函数会在0到1之间连续变化；所述的FastR-CNN网络的多任务损失函数为(III)所示：
Ltotal＝Lreg+Lcls+αgLTNRepulsion (III)
其中，Lreg为原始Fast R-CNN的回归损失函数，Lcls为原始Fast R-CNN的分类损失函数，α是衡量排斥损失重要性的权重系数。
更为优选地，所述步骤(2)所述候选区域提取网络的多任务损失函数为分类损失函数和回归损失函数的加权求和，其中，分类损失函数为式(IV)：
其中，N代表计入损失的样本数；pi代表样本预测为前景染色体的概率；
回归损失函数采用损失函数，其函数形式为式(V):
其中，
其中，x,y,w,h分别代表矩形框中心坐标以及矩形框长度和高度，另外，x,xa,x*分别代表预测的矩形框、模板框和真实的矩形框的中心坐标，y,w,h与以上相同；
多任务损失函数为式(VII)所示：
其中，回归损失仅计算真实标注为“1”的模板框，即pi *＝1的模板框才纳入回归损失的计算范围。
模块(3)中，超参数调整优化为：将RPN网络模板框大小(anchor scales)分四级，分别为32，64，96，128；高宽比(aspect ratio)分9级，分别为1/5，1/4，1/3，1/2，1，2，3，4，5；所述模型训练为：选择Momentum算法作为梯度下降方法，momentum＝0.9，学习率初始化为0.001；每轮迭代Batch size＝1；学习率衰减采用指数式衰减，每40000轮学习率衰减为原来的0.1倍；模型迭代训练100000轮。
本发明提供的基于深度学习的染色体自动计数方法和系统在染色体自动标识的检测中通过独特的技术方案解决了现有技术识别困难、效率低下、错误率高的技术问题，其技术方案主要的创造性体现于：
1.分裂中期细胞影像图的染色体标注
本发明需要拍摄并收集在高分辨率显微镜视野下的，处于有丝分裂中期的细胞在经过G显带染色后的染色体簇图像作为样本。对收集的图像使用矩形框准确标注每条染色体的精确位置，并在XML(可扩展标记语言)格式的标注文件中，以像素空间作为参考坐标系(即图片左上角第一个像素点坐标为(0,0)，存储每条染色体的矩形框的左上角顶点坐标和右下角顶点坐标，并统一标记每条染色体的类别为“chromosome”。
2.应用深度学习目标检测模型识别计数染色体
利用经过标注的数据训练优化的Faster-RCNN模型，模型自动识别染色体并用矩形框定位。针对染色体识别问题特点，设计Faster R-CNN模版框的尺寸和比例，使其更加接近染色体实际的尺寸比例分布，提高目标染色体计数的效率。
3.针对染色体目标特点改进目标检测模型
染色体自动识别计数不同于传统的应用目标检测模型解决自然目标检测以及解决医学中细胞检测计数。由于染色体呈狭长条状，因其非刚性属性，容易出现弯折等复杂形态；其次因实验因素的影响，多条染色体间容易出现粘连、交叉、重叠等影响识别的复杂状态；最后图像中的染色体长度不同，且会呈现明暗相间的条纹，但部分染色体和整体染色体条纹分布相似，所以给传统目标检测模型的识别带来困难。因此，本发明设计了一种全新的损失函数，该损失函数在原有的Faster R-CNN损失函数的基础上，增加了排斥损失函数并优化该函数使其更加突出预测框相较于真实目标的偏移程度，使其对染色体交叠情况下因为位移引起的分类错误更加敏感。本发明还修改了候选区域提取网络的抽样方法，从而扩大该网络分类范围，使其具有困难样本分类的功能，最后提供给原Fast R-CNN模型针对困难样本的更强的先验知识，提高了模型整体性能。
本发明提供的技术方案在自动标识染色体的检测中显示了优异的技术效果，主要体现于：
1.数据来源简单，本发明所需的数据来源于真实显微镜视野下的G显带染色体，无需复杂实验过程，成本低廉，耗时更短。
2.模型设计基于深度学习目标检测算法，能够自动准确计数目标染色体。发明人用1000例标注的染色体图训练模型，随后用175例标注的染色体图做测试。统计显示175例共包含8023条染色体，测试结果如下TP(Ture Positive)＝7916，FP(False Positive)＝84，TN(True Negative)＝0，FN(False Negative)＝107。预测的平均准确率为97.62％。
附图说明
图1.本发明基于深度学习的染色体计数方法流程示意图；
图2.显微镜视野下分裂中期细胞真实影像；
图3.中期分裂细胞染色体自动计数结果；
图4.染色体目标矩形框的高度宽度分布。
具体实施方式
下面结合具体实施例来进一步描述本发明，本发明的优点和特点将会随着描述而更为清楚。但这些实施例仅是范例性的，并不对本发明的保护范围构成任何限制。
本发明是一种基于深度学习的染色体自动计数方法，主要目的是为了提高显微镜视野下分裂中期细胞G显带染色体分析效率。本发明基于深度学习Faster R-CNN模型，发明人对收集的分裂中期细胞染色体簇影像进行标注后，构建训练集和测试集。模型训练完成后可以直接预测给出染色体矩形框信息。
构建实施例
本发明步骤流程如图1所示，主要包含以下四个步骤：
1.图像收集和预处理步骤：
(1)收集并标注显微镜下分裂中期细胞真实影像图，以统一格式存储数据和标注信息，并随机划分训练集和测试集。
本步骤采集徕卡CytoVision自动细胞遗传学平台(Leica Biosystems公司)记录的分裂中期细胞真实图像共计1175张，分辨率为1600×1200，图像如图2所示。利用标注工具LabelImg(https://github.com/tzutalin/labelImg)标记出图片中所有染色体的矩形框，生成矩形框左上角顶点和右下角顶点在像素坐标系下的坐标，并标注类别为“chromosome”，生成的标注文件如下所示，
其中每个<object></object>代表一个目标即染色体，<name></name>代表目标的类别，在本例中仅包含一类即“chromosome”，<bndbox></bndbox>及其中<xmin></xmin>、<ymin></ymin>、<xmax></xmax>和<ymax></ymax>分别代表该目标矩形框左上角顶点X轴坐标和Y轴坐标，以及右下角顶点X轴坐标和Y轴坐标。随机选择1000张图像作为训练集，余下175张图像作为测试集。
(2)对训练数据进行预处理和数据扩增
对训练集的1000个样本首先进行预处理，将图片的RGB三个通道中所有像素值大于等于200的赋值为255，即I[R≥200or G≥200or B≥200]＝255。随后通过图像水平翻转和竖直翻转对样本进行扩增，从而将训练数据集扩充四倍。
2.图像分类和回归步骤
构建优化的Faster R-CNN模型，设计多任务损失函数，并根据分裂中期细胞染色体图像特点对网络结构超参数调整优化，建立训练模型。
基于Faster R-CNN的模型由三部分组成：
3.1特征提取网络
特征提取网络可以采用经典分类网络结构如VGG16、ResNet网络等提取图像中的特征，该步骤以VGG16网络作为特征提取网络。特征提取网络VGG16总计17层，其中卷积层13层，池化层4层，各层超参数设置如表1所示。
表1特征提取网络结构参数
3.2候选区域提取网络
候选区域提取网络(Region Proposal Network)，简称RPN网络。候选区域就是预先找出图中目标可能出现的位置，通过利用图像中的纹理、边缘、颜色等信息，保证在选取较少窗口(几千个甚至及几百个)的情况下保持较高的IoU(Intersection-over-Union，下文详细阐述)。
在特征提取网络的最后一层“conv5_2”层输出的特征图上，以3×3大小的滑动窗口提取512维特征。
具体表现为Kernel Size(卷积核大小)＝3×3×512，Stride(步幅)＝1×1，Padding(填充层)＝No的卷积层。
每个滑动窗口对应着原图中K(此例中K＝9，在步骤4中详细解释)个不同大小和纵横比的模板框(anchor)，之后每个滑动窗口输出的512维向量分别连接分类分支和回归分支，其中分类分支输出维度为2K的向量，回归分支输出维度为4K的向量，其中“2”代表RPN网络需要对模板框进行“前景-背景”二分类，“4”代表每个模板框需要回归输出矩形框的左上角顶点和右下角顶点总计4个坐标值。
分类分支的具体表现为Kernel Size＝1×1×2K，Stride＝1×1，Padding＝No的卷积层。
回归分支的具体表现为Kernel Size＝1×1×4K，Stride＝1×1，Padding＝No的卷积层。
为了安排每个模板框的类别标签，在此引入Intersection of Union(简称IoU)定义，IoU相当于两个区域(A和B)重叠的部分除以两个区域的集合部分得出的结果。
每个模板框需要与每个目标矩形框计算IoU值，本发明事先设定一个大于等于0小于等于1的数值作为阈值，通过比较模板框的IoU值与该阈值之间的相对大小，按照事先定义的规则安排模板框“1/0/-1”三个标签，其中“1”代表正例，即IoU度量大于等于阈值的模板框，此时模板框包含目标的绝大部分；“0”代表负例，即IoU度量小于阈值的模板框，此时模板框仅包含目标的部分区域，因此不被认为检测到目标；“-1”代表不计入损失的部分。
由于染色体面积占图像总面积比例较小，按照上述划分方法存在大量负例和少量正例，为了避免模板框类别不平衡导致的模型偏好性，需要对负例进行欠采样，剩余负例和部分由于样本容量限制而被忽略的正例均划入不计入损失的部分，即安排类别标签为“-1”。
考虑到染色体呈狭长条状，长度各异，并有黑白相间的条带分布，但整条染色体和部分染色体的条带分布相似，且不能以长度作为区分标准，所以传统的Faster R-CNN模型的抽样方法导致部分染色体和整条染色体难以区分，影响计数效果。此类状况出现情况相对较低，但是对模型影响较大，因此称之为困难负例。与此同时图像背景均为空白，包含染色体的模板框与仅包含背景之间的模板框差异较大，出现频率高，称之为简单负例。负例的抽样方法基于分层抽样思想，即分别从简单负例和困难负例中随机抽取一定数量的样本，混合作为最后的负例。
困难负例与正例之间的分类是本方法解决的难点和重点。经典FastR-CNN网络由感兴趣区域池化层和全连接层组成，感兴趣区域池化层将从特征提取网络的输出中截取相应区域的特征，并进一步抽象突出目标区域，但同时会丢失目标的周围环境信息；全连接层会破坏图像信息的空间分布关系，导致经典Faster R-CNN模型不能很好的分类困难负例与正例。所以本方法首次提出使用RPN网络分类困难负例与正例，RPN网络基于卷积层，可以有效缓解信息过度抽象和信息空间关系的破坏，从而保证更准确的分类困难负例和正例，并将该先验知识传递给Fast R-CNN网络，辅助Fast R-CNN网络分类。
此例中，抽样后的样本总数为512个，其中正例128个，占比0.25，多于128对正例进行随机抽样，少于128个则用负例填充。困难负例192个，简单负例192个，负例总计384个，占比0.75。剩余正例和负例均安排为“-1”。其中正例的矩形框与真实目标矩形框IoU大于等于0.7；困难负例的矩形框与真实目标矩形框的IoU大于等于0.3，小于0.7；简单负例的矩形框与真实目标的矩形框的IoU小于等于0.3。
RPN网络需要完成分类任务和回归任务，因此需要设计相应的损失函数，并进行加权求和最终得到多任务损失函数。
分类损失采用交叉熵损失函数，其中N代表计入损失的样本数，本例中为512，其函数形式如下：
其中，N代表计入损失的样本数；pi代表样本预测为前景(染色体)的概率；
计算回归损失前，为了保证坐标平移不变性和宽度高度的一致性，需要对坐标进行参数化处理，具体处理方式如下所示：
其中，x，y，w，h分别代表矩形框中心坐标以及矩形框长度和高度。另外，x,xa,x*分别代表预测的矩形框、模板框和真实的矩形框的中心点的横坐标，y,w,h也同样如此。
回归损失采用Smooth L1损失函数，其函数形式如下：
多任务损失函数即为两个损失函数的加权求和，可以得到最终的多任务损失函数如下所示：
其中，回归损失仅计算真实标注为”1“的模板框，即pi *＝1的模板框才纳入回归计算范围。
3.3Fast R-CNN网络
模型第三阶段利用RPN网络预测得到的候选矩形框，截取相应大小的“conv5_2”层输出特征图区域，经过筛选后构成mini batch。通过RoI Pooling(感兴趣区域池化)进行下采样得到相同大小特征，并经过一系列全连接层处理得到目标的最终细分类预测和候选矩形框的精确回归预测，称之为FastR-CNN。与RPN网络类似，本步骤需要对候选矩形框安排类别标签，在模型第三阶段需要对候选矩形框进行细分类，本步骤中需要将候选矩形框分为两类，即“chromosome”和“__background__”。
Fast R-CNN与RPN相同，首先需要计算每个候选矩形框与真实目标矩形框之间的IoU度量，其次根据筛选阈值，小于阈值以下的为“__background__”，大于阈值以上的根据最近的真实目标矩形框的类别安排类别标签，在本步骤中全部为“chromosome”。
Fast R-CNN还需要对候选矩形框进行抽样，保留总计256个样本，其中非“__background__”候选目标占比0.5，预计128个，不足部分由“__background__”候选矩形框补足。“__background__”候选目标占比50％，约为128个。筛选方法均为随机抽样，其余候选目标矩形框标签设置为“-1”,即不参与最终的损失计算，对模型训练没有影响。
Fast R-CNN网络除RoI Pooling层外还有5层全连接层，共同完成对候选矩形框的分类和回归，网络各层超参数如表2所示。
表2Fast R-CNN网络超参数一览表
其中“pool_5”是RoI Pooling层，该方法需要事先确定下采样输出的大小，然后将输入特征图按照尺度进行均匀划分，即在此例中需要将输入的特征图划分为7×7的网格，从每个形成的小网格中选择最大的元素作为该网格的最终输出。
“fc6”、“fc7”，“fc8”为全连接层，借此将特征进一步组合和抽象。
“cls_score”是Fast R-CNN的分类分支，完成对每个候选目标矩形框的多分类任务，此例仅包含两类，即“chromosome”与“__background__”。
“bbox_pred”是Fast R-CNN的回归分支，对每个候选目标矩形框的每一类都预测相应的坐标和长宽等信息，所以输出维度为类别数目的4倍。
该网络的多任务损失函数为候选区域提取网络与新提出的截断的归一化排斥损失函数。
其中，P+是所有由候选区域提取网络产生且与某个ground-truth的IOU大于0.5的候选矩形框，P是属于P+的一个候选矩形框，BP是由Faster R-CNN对P进行回归之后的预测框，GP是与P的IOU最大的ground-truth，RP是与P的IOU第二大的ground-truth，当预测候选框偏移真实目标时，根据偏移量的大小，损失函数会在0到1之间连续变化。总的损失函数为：
Ltotal＝Lreg+Lcls+αgLTNRepulsion
3.模型训练步骤：根据分裂中期细胞染色体图像特点对网络结构超参数调整优化，建立训练模型。
本步骤在模型训练时，根据分裂中期细胞染色体图像特点对模型超参数，参数初始化方法以及模型训练策略做出以下调整。
RPN网络需要人工设置模板框的大小和纵横比，统计本步骤训练集分裂中期细胞染色体图像中目标矩形框的高宽分布，结果如图4所示，大多数染色体的高度和宽度小于150p(pixel)，大于25p，高度与宽度的比例介于1:5至5:1之间。所以本步骤中RPN网络模板框大小(anchor scales)分四级，分别为32，64，96，128；高宽比(aspect ratio)分9级，分别为1/5，1/4，1/3，1/2，1，2，3，4，5。
本步骤中选择Momentum算法作为梯度下降方法，momentum＝0.9，学习率初始化为0.001；每轮迭代Batch size＝1；学习率衰减采用指数式衰减，每40000轮学习率衰减为原来的0.1倍；模型迭代训练100000轮。
4测试计数步骤：模型训练完毕后，将测试集数据经过与步骤(1)相同的数据预处理，输入到步骤(3)获得的模型中，获得预测的目标类别和目标计数信息：目标的矩形框左上角及右下角坐标，，获得计数结果，并以可视化方式输出，显示在图像样本中，如图3所示。
应用实施例
本发明的模型设计基于深度学习目标检测算法，能够自动准确计数目标染色体。发明人用1000例标注的染色体图训练模型，随后用175例标注的染色体图做测试。统计显示175例共包含8023条染色体，测试结果如下TP(TurePositive)＝7916，FP(False Positive)＝84，TN(True Negative)＝0，FN(FalseNegative)＝107，测试的准确率为98.95％，召回率为98.67％。
表3显示了机器自动计数系统，及纯人工计数和机器计数人工校正的时间对比，其中机器计数人工校正是指由系统自动标定出染色体并给出计数值，再由人工找出机器识别有偏差的染色体并修正计数结果。从中可以证明本发明提供的染色体自动技术方法及系统所显示出的优异技术效果。
表3自动计数系统，及纯人工计数和机器计数人工校正的时间对比

Claims (10)

1.一种基于深度学习的染色体自动计数方法，所述方法包括以下步骤：
(1)图像收集和预处理步骤：收集并标注显微镜下分裂中期细胞真实影像图，标记出染色体的矩形框，并随机划分训练集和测试集，对训练集数据进行预处理和数据扩增；
(2)图像分类和回归步骤：以步骤(1)预处理和扩增后数据为基础构建Faster R-CNN模型进行图像分类和回归，所述模型包括对数据进行粗分类和回归的候选区域提取网络、以及对候选区域提取网络生成的候选框进行细分类和精确回归预测的Fast R-CNN网络，其中，候选区域提取网络的抽样范围包括困难负例，Fast R-CNN网络的多任务损失函数为原始Fast R-CNN的多任务损失函数与截断的归一化排斥损失函数之和；
(3)模型训练步骤：使用步骤(2)建立的模型针对训练集数据进行模型训练；
(4)测试计数步骤：将测试集数据经过与步骤(1)相同的数据预处理，输入到经过步骤(3)训练后的模型中，获得预测的目标类别和目标计数信息，并以可视化方式输出计数结果。
2.根据权利要求1所述的方法，其特征在于，所述步骤(2)的困难负例在抽样样本总数中占比0.375，其候选矩形框与真实目标矩形框的IoU介于0.3-0.7之间。
3.根据权利要求1所述的方法，其特征在于，步骤(2)所述的截断的归一化排斥损失函数为式(I)所示：
其中，
其中，P+是由候选区域提取网络产生且与某个ground-truth的IOU大于0.5的候选矩形框的集合，P是属于P+的一个候选矩形框，BP是由Faster R-CNN对P进行回归之后的预测框，GP是与P的IOU最大的ground-truth，RP是与P的IOU第二大的ground-truth，当预测候选框偏移真实目标时，根据偏移量的大小，损失函数会在0到1之间连续变化；所述的Fast R-CNN网络的多任务损失函数为(III)所示：
Ltotal＝Lreg+Lcls+αgLTNRepulsion (III)
其中，Lreg为原始Fast R-CNN的回归损失函数，Lcls为原始Fast R-CNN的分类损失函数，α是衡量排斥损失重要程度的权重系数。
4.根据权利要求3所述的方法，其特征在于，步骤(2)所述原始Fast R-CNN的多任务损失函数为分类损失函数和回归损失函数的和，其中，分类损失函数为式(IV)：
其中，N代表计入损失的样本数；pi代表样本预测为前景染色体的概率；回归损失函数采用损失函数，其函数形式为式(V):
其中，
其中，x,y,w,h分别代表矩形框中心点的横纵坐标以及矩形框长度和高度；x,xa,x*分别代表预测的矩形框、模板框和真实的矩形框的中心点的横坐标，y,w,h与以上相同；
多任务损失函数为式(VII)所示：
其中，回归损失仅计算真实标注为“1”的模板框，即pi *＝1的模板框才纳入回归损失的计算范围。
5.根据权利要求1所述的方法，其特征在于，所述步骤(3)中的模型训练选择Momentum算法作为梯度下降方法，momentum＝0.9，学习率初始化为0.001；每轮迭代Batch size＝1；学习率衰减采用指数式衰减，每40000轮学习率衰减为原来的0.1倍；模型迭代训练100000轮。
6.一种基于深度学习的染色体自动计数系统，所述系统包括以下模块：
(1)图像收集和预处理模块：收集并标注显微镜下分裂中期细胞真实影像图，标记出染色体的矩形框，并随机划分训练集和测试集，对训练集数据进行预处理和数据扩增；
(2)图像分类和回归模块：以模块(1)预处理和扩增后数据为基础构建Faster R-CNN模型进行图像分类和回归，所述模型包括对数据进行粗分类和回归的候选区域提取网络、以及对候选区域提取网络处理细分类和精确回归预测的Fast R-CNN网络，其中，候选区域提取网络的抽样范围包括困难负例，Fast R-CNN网络的多任务损失函数为原始Fast R-CNN多任务损失函数与截断的归一化排斥损失函数之和；
(3)模型训练模块：使用模块(2)建立的模型针对训练集数据进行模型训练；
(4)测试计数模块：将测试集数据经过与模块(1)相同的数据预处理，输入到经过模块(3)训练后的模型中，获得预测的目标类别和目标计数信息，并以可视化方式输出计数结果。
7.根据权利要求6所述的系统，其特征在于，所述模块(2)的困难负例在抽样样本总数中占比0.375，其候选矩形框介于0.3-0.7之间。
8.根据权利要求6所述的系统，其特征在于，模块(2)所述的截断的归一化排斥损失函数为式(I)所示：
其中，
其中，P+是所有由候选区域提取网络产生且与某个ground-truth的IOU大于0.5的候选矩形框的集合，P是属于P+的一个候选矩形框，BP是由Faster R-CNN对P进行回归之后的预测框，GP是与P的IOU最大的ground-truth，RP是与P的IOU第二大的ground-truth，当预测候选框偏移真实目标时，根据偏移量的大小，损失函数会在0到1之间连续变化；所述的Fast R-CNN网络的多任务损失函数为(III)所示：
Ltotal＝Lreg+Lcls+αgLTNRepulsion (III)
其中，Lreg为原始Fast R-CNN的回归损失函数，Lcls为原始Fast R-CNN的分类损失函数，α是衡量排斥损失重要性的权重系数。
9.根据权利要求8所述的系统，其特征在于，模块(2)所述候选区域提取网络的多任务损失函数为分类损失函数和回归损失函数的加权求和，其中，分类损失函数为式(IV)：
其中，N代表计入损失的样本数；pi代表样本预测为前景染色体的概率；
回归损失函数采用损失函数，其函数形式为式(V):
其中，
其中，x,y,w,h分别代表矩形框中心坐标以及矩形框长度和高度；x,xa,x*分别代表预测的矩形框、模板框和真实的矩形框的中心坐标，y,w,h与以上相同；
多任务损失函数为式(VII)所示：
其中，回归损失仅计算真实标注为“1”的模板框，即pi *＝1的模板框才纳入回归损失的计算范围。
10.根据权利要求1所述的系统，其特征在于，所述步骤(3)中的模型训练选择Momentum算法作为梯度下降方法，momentum＝0.9，学习率初始化为0.001；每轮迭代Batch size＝1；学习率衰减采用指数式衰减，每40000轮学习率衰减为原来的0.1倍；模型迭代训练100000轮。
CN201811250267.0A 2018-10-25 2018-10-25 一种基于深度学习的染色体自动计数方法 Active CN109523520B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811250267.0A CN109523520B (zh) 2018-10-25 2018-10-25 一种基于深度学习的染色体自动计数方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811250267.0A CN109523520B (zh) 2018-10-25 2018-10-25 一种基于深度学习的染色体自动计数方法

Publications (2)

Publication Number Publication Date
CN109523520A true CN109523520A (zh) 2019-03-26
CN109523520B CN109523520B (zh) 2020-12-18

Family

ID=65774090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811250267.0A Active CN109523520B (zh) 2018-10-25 2018-10-25 一种基于深度学习的染色体自动计数方法

Country Status (1)

Country Link
CN (1) CN109523520B (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097091A (zh) * 2019-04-10 2019-08-06 东南大学 训练与推理数据分布不一致条件下的图像细粒度识别方法
CN110195094A (zh) * 2019-05-30 2019-09-03 湖南自兴智慧医疗科技有限公司 一种远程染色体核型检测方法和系统
CN110533684A (zh) * 2019-08-22 2019-12-03 杭州德适生物科技有限公司 一种染色体核型图像切割方法
CN110533672A (zh) * 2019-08-22 2019-12-03 杭州德适生物科技有限公司 一种基于条带识别的染色体排序方法
CN110660101A (zh) * 2019-08-19 2020-01-07 浙江理工大学 基于rgb图像和坐标系变换的物体6d姿势预测方法
CN110879996A (zh) * 2019-12-03 2020-03-13 上海北昂医药科技股份有限公司 一种染色体分裂相定位排序方法
CN110909780A (zh) * 2019-11-14 2020-03-24 腾讯科技（深圳）有限公司 一种图像识别模型训练和图像识别方法、装置及系统
CN111062413A (zh) * 2019-11-08 2020-04-24 深兰科技（上海）有限公司 一种道路目标检测方法、装置、电子设备及存储介质
CN111414788A (zh) * 2019-09-23 2020-07-14 中国矿业大学 基于可变形u型网络的重叠染色体分割方法
JP2021005374A (ja) * 2019-06-26 2021-01-14 長佳智能股▲ぶん▼有限公司 重なり合った染色体をシミュレーションに基づき分離するための認識モデルを訓練する方法、認識モデルを用いて重なり合った染色体の分離を実施するための方法及びシステム
CN112308028A (zh) * 2020-11-25 2021-02-02 四川省农业科学院蚕业研究所 一种家蚕幼虫智能计数方法及其应用
CN112733622A (zh) * 2020-12-25 2021-04-30 广西慧云信息技术有限公司 一种禾本科植物分蘖数量计数方法
CN113269725A (zh) * 2021-04-28 2021-08-17 安徽理工大学 一种基于成像技术和深度学习的煤矸石快速检测方法
WO2021258651A1 (zh) * 2020-06-23 2021-12-30 珠海圣美生物诊断技术有限公司 一种检测循环异常细胞的方法及装置
CN113920069A (zh) * 2021-09-26 2022-01-11 广州达安临床检验中心有限公司 染色体核型分析模拟数据集的构建方法、构建装置、设备及存储介质
CN114187480A (zh) * 2022-01-05 2022-03-15 北京瀚远医药科技有限公司 一种基于深度学习的骨髓象细胞影像图检测分类方法及其系统
CN114782759A (zh) * 2022-06-22 2022-07-22 鲁东大学 一种基于YOLOv5网络对密集遮挡鱼类的检测方法
CN118115996A (zh) * 2024-04-30 2024-05-31 四川大学华西第二医院 基于人工智能算法辅助的分布式染色体核型数据标注方法
CN118115996B (zh) * 2024-04-30 2024-07-12 四川大学华西第二医院 基于人工智能算法辅助的分布式染色体核型数据标注方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105631464A (zh) * 2015-12-18 2016-06-01 深圳先进技术研究院 对染色体序列和质粒序列进行分类的方法及装置
CN108376400A (zh) * 2018-02-12 2018-08-07 华南理工大学 一种骨髓细胞自动分类方法
US10041127B2 (en) * 2012-09-04 2018-08-07 Guardant Health, Inc. Systems and methods to detect rare mutations and copy number variation
CN108491766A (zh) * 2018-03-05 2018-09-04 中山大学 一种端到端的基于深度决策森林的人群计数方法
CN108596046A (zh) * 2018-04-02 2018-09-28 上海交通大学 一种基于深度学习的细胞检测计数方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10041127B2 (en) * 2012-09-04 2018-08-07 Guardant Health, Inc. Systems and methods to detect rare mutations and copy number variation
CN105631464A (zh) * 2015-12-18 2016-06-01 深圳先进技术研究院 对染色体序列和质粒序列进行分类的方法及装置
CN108376400A (zh) * 2018-02-12 2018-08-07 华南理工大学 一种骨髓细胞自动分类方法
CN108491766A (zh) * 2018-03-05 2018-09-04 中山大学 一种端到端的基于深度决策森林的人群计数方法
CN108596046A (zh) * 2018-04-02 2018-09-28 上海交通大学 一种基于深度学习的细胞检测计数方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郭宏宇 等: "基于模糊人工神经网络的染色体识别", 《中国生物医学工程学报》 *

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097091A (zh) * 2019-04-10 2019-08-06 东南大学 训练与推理数据分布不一致条件下的图像细粒度识别方法
CN110195094A (zh) * 2019-05-30 2019-09-03 湖南自兴智慧医疗科技有限公司 一种远程染色体核型检测方法和系统
JP7064668B2 (ja) 2019-06-26 2022-05-11 長佳智能股▲分▼有限公司 重なり合った染色体をシミュレーションに基づき分離するための認識モデルを訓練する方法、認識モデルを用いて重なり合った染色体の分離を実施するための方法及びシステム
JP2021005374A (ja) * 2019-06-26 2021-01-14 長佳智能股▲ぶん▼有限公司 重なり合った染色体をシミュレーションに基づき分離するための認識モデルを訓練する方法、認識モデルを用いて重なり合った染色体の分離を実施するための方法及びシステム
US11348238B2 (en) 2019-06-26 2022-05-31 Ever Fortune.Ai Co., Ltd. Method and system for training a separation of overlapping chromosome recognition model based on simulation
TWI765262B (zh) * 2019-06-26 2022-05-21 長佳智能股份有限公司 根據仿真分離重疊染色體之分離模型的訓練方法及利用該分離模型分離重疊染色體的方法及系統
CN110660101A (zh) * 2019-08-19 2020-01-07 浙江理工大学 基于rgb图像和坐标系变换的物体6d姿势预测方法
CN110660101B (zh) * 2019-08-19 2022-06-07 浙江理工大学 基于rgb图像和坐标系变换的物体6d姿势预测方法
CN110533684A (zh) * 2019-08-22 2019-12-03 杭州德适生物科技有限公司 一种染色体核型图像切割方法
CN110533672A (zh) * 2019-08-22 2019-12-03 杭州德适生物科技有限公司 一种基于条带识别的染色体排序方法
CN115601374B (zh) * 2019-08-22 2023-12-08 杭州德适生物科技有限公司 一种染色体图像分割方法
CN115601374A (zh) * 2019-08-22 2023-01-13 杭州德适生物科技有限公司（Cn） 一种染色体图像分割方法
CN111414788A (zh) * 2019-09-23 2020-07-14 中国矿业大学 基于可变形u型网络的重叠染色体分割方法
CN111414788B (zh) * 2019-09-23 2023-08-11 中国矿业大学 基于可变形u型网络的重叠染色体图像分割方法
CN111062413B (zh) * 2019-11-08 2024-05-07 熊猫汽车(上海)有限公司 一种道路目标检测方法、装置、电子设备及存储介质
CN111062413A (zh) * 2019-11-08 2020-04-24 深兰科技（上海）有限公司 一种道路目标检测方法、装置、电子设备及存储介质
CN110909780A (zh) * 2019-11-14 2020-03-24 腾讯科技（深圳）有限公司 一种图像识别模型训练和图像识别方法、装置及系统
CN110879996A (zh) * 2019-12-03 2020-03-13 上海北昂医药科技股份有限公司 一种染色体分裂相定位排序方法
US11880974B2 (en) 2020-06-23 2024-01-23 Zhuhai Sanmed Biotech Ltd. Method and device for detecting circulating abnormal cells
WO2021258651A1 (zh) * 2020-06-23 2021-12-30 珠海圣美生物诊断技术有限公司 一种检测循环异常细胞的方法及装置
CN112308028A (zh) * 2020-11-25 2021-02-02 四川省农业科学院蚕业研究所 一种家蚕幼虫智能计数方法及其应用
CN112308028B (zh) * 2020-11-25 2023-07-14 四川省农业科学院蚕业研究所 一种家蚕幼虫智能计数方法
CN112733622A (zh) * 2020-12-25 2021-04-30 广西慧云信息技术有限公司 一种禾本科植物分蘖数量计数方法
CN112733622B (zh) * 2020-12-25 2023-07-04 广西慧云信息技术有限公司 一种禾本科植物分蘖数量计数方法
CN113269725A (zh) * 2021-04-28 2021-08-17 安徽理工大学 一种基于成像技术和深度学习的煤矸石快速检测方法
CN113920069B (zh) * 2021-09-26 2022-07-08 广州达安临床检验中心有限公司 染色体核型分析模拟数据集的构建方法、构建装置、设备及存储介质
CN113920069A (zh) * 2021-09-26 2022-01-11 广州达安临床检验中心有限公司 染色体核型分析模拟数据集的构建方法、构建装置、设备及存储介质
CN114187480A (zh) * 2022-01-05 2022-03-15 北京瀚远医药科技有限公司 一种基于深度学习的骨髓象细胞影像图检测分类方法及其系统
CN114782759A (zh) * 2022-06-22 2022-07-22 鲁东大学 一种基于YOLOv5网络对密集遮挡鱼类的检测方法
US11790640B1 (en) 2022-06-22 2023-10-17 Ludong University Method for detecting densely occluded fish based on YOLOv5 network
CN118115996A (zh) * 2024-04-30 2024-05-31 四川大学华西第二医院 基于人工智能算法辅助的分布式染色体核型数据标注方法
CN118115996B (zh) * 2024-04-30 2024-07-12 四川大学华西第二医院 基于人工智能算法辅助的分布式染色体核型数据标注方法

Also Published As

Publication number Publication date
CN109523520B (zh) 2020-12-18

Similar Documents

Publication Publication Date Title
CN109523520A (zh) 一种基于深度学习的染色体自动计数方法
CN105260738B (zh) 基于主动学习的高分辨率遥感影像变化检测方法及系统
CN111695482A (zh) 一种管道缺陷识别方法
CN108009509A (zh) 车辆目标检测方法
CN109829893A (zh) 一种基于注意力机制的缺陷目标检测方法
CN109614985A (zh) 一种基于密集连接特征金字塔网络的目标检测方法
CN109359684A (zh) 基于弱监督定位和子类别相似性度量的细粒度车型识别方法
CN110533684A (zh) 一种染色体核型图像切割方法
CN103577475B (zh) 一种图片自动化分类方法、图片处理方法及其装置
CN110060237A (zh) 一种故障检测方法、装置、设备及系统
CN108875600A (zh) 一种基于yolo的车辆信息检测和跟踪方法、装置及计算机存储介质
CN110276386A (zh) 一种基于机器视觉的苹果分级方法及系统
CN109840521A (zh) 一种基于深度学习的一体化车牌识别方法
CN105893925A (zh) 基于肤色的人手检测方法及装置
CN110633708A (zh) 一种基于全局模型和局部优化的深度网络显著性检测方法
CN109858414A (zh) 一种发票分块检测方法
CN107358182A (zh) 行人检测方法及终端设备
CN111444939A (zh) 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法
CN112163496B (zh) 一种基于语义分割的嵌入式终端水库水位预警方法
CN110135430A (zh) 一种基于深度神经网络的铝材模具id自动识别系统
CN110021028A (zh) 一种基于服装款式图的自动制衣方法
CN108197636A (zh) 一种基于深度多视点特征的稻谷检测和分类方法
CN106250909A (zh) 一种基于改进视觉词袋模型的图像分类方法
CN115272652A (zh) 基于多元回归和自适应焦点损失的密集物体图像检测方法
CN108805061A (zh) 基于局部自适应判别分析的高光谱图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220524

Address after: Room 606, unit 3, floor 6, building 4, yard 42, Qibei Road, Changping District, Beijing 102208

Patentee after: Zhongke Yihe intelligent medical technology (Beijing) Co.,Ltd.

Address before: 100191 No. 49 Garden North Road, Beijing, Haidian District

Patentee before: PEKING UNIVERSITY THIRD Hospital

Patentee before: Institute of computing technology, Chinese Academy of Sciences

TR01 Transfer of patent right
CP03 Change of name, title or address

Address after: 528251, 12th and 13th floors, Building 2, Zone 1, International Innovation Park, No. 6 Ganggang Road, Guicheng Street, Nanhai District, Foshan City, Guangdong Province (Residence application)

Patentee after: Zhongke Yihe Intelligent Medical Technology (Foshan) Co.,Ltd.

Address before: Room 606, unit 3, floor 6, building 4, yard 42, Qibei Road, Changping District, Beijing 102208

Patentee before: Zhongke Yihe intelligent medical technology (Beijing) Co.,Ltd.

CP03 Change of name, title or address