CN108537775A - 一种基于深度学习检测的癌细胞跟踪方法 - Google Patents
一种基于深度学习检测的癌细胞跟踪方法 Download PDFInfo
- Publication number
- CN108537775A CN108537775A CN201810174327.9A CN201810174327A CN108537775A CN 108537775 A CN108537775 A CN 108537775A CN 201810174327 A CN201810174327 A CN 201810174327A CN 108537775 A CN108537775 A CN 108537775A
- Authority
- CN
- China
- Prior art keywords
- target
- frame
- cancer cell
- detection
- cell
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
一种基于深度学习检测的癌细胞跟踪方法,包括以下步骤:步骤1,进行数据集的预处理,采用pascal_voc数据集,对图片进行标定,得到带有目标类别和目标位置的图片标签;步骤2,采用Faster R‑CNN网络,在数据预处理之后得到图片的标签,这里将这些标签和数据集作为Faster R‑CNN网络的输入,进行网络训练之后得到最终的检测模型;步骤3,最后对目标进行跟踪,得到的最终癌细胞检测模型已经完成对癌细胞的检测,可以精确地定位每个目标的位置,正确的判断目标的个数,再利用跟踪算法实现癌细胞的匹配关联实现目标的跟踪。本发明准确性较高、癌细胞多目标的跟踪效率较高。
Description
技术领域
本发明属于多目标跟踪领域,设计了一种基于深度学习检测的癌细胞跟踪方法。
背景技术
在生物和医学领域,观查细胞形态,观测细胞在药物环境下的反应,对研究细胞的行为属性来完成医学药物试验具有非常重要的作用,也是图像处理与模式识别领域的前沿研究方向。传统细胞的研究主要是在显微镜下对细胞进行染色,再人工完成细胞分类、计数和跟踪等工作,这些工作都太过繁杂,耗费大量人力财力却不能得到可靠的结果。为了降低工作人员的负担,同时提高研究效率,研究人员提出将计算机图像处理技术应用到目标跟踪领域,用计算机来实现细胞的跟踪。
目标跟踪领域被应用到细胞跟踪中的传统方法有:卡尔曼滤波,粒子滤波等预测算法、camshift等优化搜索方向类算法,这些算法使用追踪器利用上一帧的位置来预测其在下一帧的位置,虽然能对单目标进行快速的跟踪,但在跟踪过程中不仅会产生累计误差,同时当目标在跟踪过程中出现较大程度形变或遮挡问题时,这些算法的适应性较差,甚至当目标跟踪丢失时,追踪器就会永久失效,导致跟踪被限定在较为简单的背景之下。为了解决这些问题,研究人员提出集成检测、学习、跟踪算法为一体的跟踪算法:TLD算法。TLD算法中跟踪器根据前一帧目标的位置估计其在当前帧的位置,产生目标的运动轨迹,从这条运动轨迹可以为学习模块提供正样本;检测器对每一帧图像都做全面的扫描,找到与目标特征相似的所有位置,从检测结果中选择交给学习模块的正、负样本,算法从正样本中选取置信度最高的样本作为TLD在当前帧的输出结果,然后使用这个结果重新初始化跟踪器的起始位置;学习模块根据检测器和追踪器产生的正负样本训练分类器,以此来改善检测器精度。TLD算法虽然可以有效的解决细胞目标失跟问题,但在目标的检测与跟踪中依然使用传统特征来描述。同时传统跟踪方法大多应用于单目标跟踪,在多目标跟踪任务中,往往随着目标数量的增多,搜索时间效率呈指数级增长,并且不能有效的解决多目标跟踪场景中新目标的出现和旧目标的消失以及由于目标的分裂或合并造成的目标数目变化等问题。
发明内容
为了克服已有癌细胞检测方式的准确性较低、癌细胞多目标的跟踪效率较低的不足,本发明提供一种准确性较高、癌细胞多目标的跟踪效率较高的基于深度学习检测的癌细胞跟踪方法。
本发明解决其技术问题所采用的技术方案是:
一种基于深度学习检测的癌细胞跟踪方法,所述方法包括以下步骤:
步骤1,进行数据集的预处理,采用pascal_voc数据集,所以数据的预处理需要将自己的数据集做成pascal_voc数据集格式,数据的预处理是对图片进行标定,得到带有目标类别和目标位置的图片标签;
步骤2,对数据集进行训练,实现目标的检测,采用Faster R-CNN网络,在数据预处理之后得到图片的标签,这里将这些标签和数据集作为Faster R-CNN网络的输入,进行网络训练之后得到最终的检测模型;
步骤3,最后对目标进行跟踪,得到的最终癌细胞检测模型已经完成对癌细胞的检测,可以精确地定位每个目标的位置,正确的判断目标的个数,再利用跟踪算法实现癌细胞的匹配关联实现目标的跟踪。
进一步,所述步骤2中,Faster R-CNN网络通过RPN网络确定目标的位置,FasterR-CNN网络确定目标类别并对目标位置进行精修,Faster R-CNN网络结构如下:
(1)ConvNet:ConvNet是一种CNN网络目标检测方法,抽取输入图片的特征图,前五层使用的是ZF model,先进行一系列的卷积池化操作,将最后的conv5输出作为图片的特征图;
(2)RPN:RPN网络用于生成region proposals,RPN网络输入为ConvNet的特征图,RPN先对conv5后的特征图进行3*3卷积操作,得到256维的输出,即每个像素点融合周边3*3的空间信息;接着用9个anchor对每个像素点进行映射,每个像素点映射回原图,映射的感受野中心点相同但比例大小不同,之后会采用IoU指标对候选框进行筛选;同时,左支路将这些anchors输入到网络中的softmax来判断anchors属于前景还是背景,右支路输入到bounding box regression进行anchors修正,获取准确的proposals;在这里采用了IoU和回归操作来提高候选区域的准确性,进行这一系列操作,RPN网络就相当于实现了目标定位;
IoU是定义同一候选区域的两个候选框重叠率的大小值,实现在选取最少候选框的情况下保证有较高的召回率。
A和B代表统一候选框的两个不同bounding box,这时的重叠率IoU计算方法:
IoU=(A∩B)/(A∪B)
数学表达式为两个框的公共面积与两个框所占总面积的比值;
在进行anchor的前景和背景判定时就是采用IoU指标,当anchor与任意GroundTruth包围框的IoU值大于设定阈值时判定该anchor为fg anchor;当anchor与任意GroundTruth包围框的IoU值小于设定阈值则判定该anchor为bg anchor;得到fg anchors后,有部分前景框和标签GT框相差太多,定位不准,就需要对前景框进行回归微调,使前景框和GT框更加接近;回归微调操作为:先对前景框进行平移,再进行框的缩放,目标是寻找一种关系使得输入的原始窗口P(Proposal)经过映射达到一个跟真实标定窗口G更接近的回归预测窗口
(3)RoI Pooling:RoI池化输入为ConvNet输出的feature map和RPN网络得到的proposals,这里是综合提取proposal feature maps并进行尺寸的固定作用,方便送入后续全连接层判断目标类别;
(4)Classification:利用RoI池化得到固定大小的proposal feature maps,通过全连接层与softmax计算每个proposal属于每个类别的概率值,同时再次利用boundingbox regression回归操作获得每个proposal的位置偏移量,最终得到检测框的精确位置,通过本结构后完全实现目标的分类和定位。
再进一步,所述步骤3中,利用跟踪算法对癌细胞的多目标跟踪,包括以下步骤:
3.1)找出数据集中目标:基于深度学习检测,数据集中的目标位置都得到很好的确定;
3.2)将不同帧的目标进行匹配关联:每一帧图片的目标位置确定之后,利用多特征融合的匹配方法完成每一帧每个目标的匹配,多特征融合函数为:
Cost=para1*Conv+para2*Position+para3*Size
Conv=||FC·fced||
Size=(W-w0)·(H-h0)
FC代表当前检测帧中所有检测到细胞的卷积特征,fced表示匹配细胞的卷积特征,这里计算了两者卷积特征的欧氏距离来代表检测帧和匹配帧之间的目标差异程度;X、Y代表当前检测帧中的细胞横纵向坐标x0、y0代表匹配细胞的横纵坐标,并且直接使用了空间距离来评价距离代价;W、H分别代表当前检测帧中细胞的长宽尺寸,w0、h0表示匹配细胞的长宽尺寸,这里使用两者差值的乘积来表示细胞之间尺寸的差异的代价,para1、para2和para3分别代表卷积特征、距离特征和尺寸大小特征的权重值;
3.3)将匹配好的目标进行序列号的对应:为了使每一帧中目标更容易对应并区分,对每一帧中每个目标进行标号,通过序号来实现目标的对应。
本发明的技术构思为:随着深度学习在计算机视觉领域的发展,深度学习的应用范围已经不局限在目标识别与检测领域,由于深度神经网络强大的特征描述能力以及鲁棒性,研究者也尝试将深度学习应用到目标跟踪领域,不断提出通过深度学习算法改进传统跟踪模型。本发明使用基于检测的方法对癌细胞进行多目标跟踪,并针对癌细胞的特点,本发明设计了包括卷积特征在内的综合特征描述子。其优势在于不仅利用神经网络实现癌细胞检测的高准确性,还利用神经网络的卷积特征,完成跟踪过程中特征的选取,提高了癌细胞多目标的跟踪效率。
具体通过深度学习Faster R-CNN网络实现癌细胞的检测,精确地定位每个目标的位置,正确的判断目标的个数,再利用基于检测的多目标跟踪算法保持癌细胞的连续跟踪。
本发明的有益效果主要表现在:基于检测的多目标跟踪,利用了Faster R-CNN深度检测器全连接层的特征,利用该特征包含了目标的轮廓和颜色信息,并且对目标的微小形变更加鲁棒的特点,设计了融合卷积特征、距离特征和尺寸大小特征的多特征匹配函数,最终达到优于传统跟踪方法的多目标跟踪效果;提高癌细胞跟踪系统结果的准确性、可靠性及快速性。
附图说明
图1为本发明所述基于检测的癌细胞跟踪系统的流程图;
图2为本发明所述Faster R-CNN基本结构图;
图3为跟踪序列中随机连续四帧的跟踪示意图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1~图3,一种基于深度学习检测的癌细胞跟踪方法,所述方法包括以下步骤:
步骤1,进行数据集的预处理,采用pascal_voc数据集,所以数据的预处理需要将自己的数据集做成pascal_voc数据集格式,数据的预处理是对图片进行标定,得到带有目标类别和目标位置的图片标签;
步骤2,对数据集进行训练,实现目标的检测,采用Faster R-CNN网络,在数据预处理之后得到图片的标签,这里将这些标签和数据集作为Faster R-CNN网络的输入,进行网络训练之后得到最终的检测模型;
步骤3,最后对目标进行跟踪,得到的最终癌细胞检测模型已经完成对癌细胞的检测,可以精确地定位每个目标的位置,正确的判断目标的个数,再利用跟踪算法实现癌细胞的匹配关联实现目标的跟踪。
进一步,所述步骤2中,癌细胞的检测:采用Faster R-CNN算法,主要实现RPN(Region Proposal Network)卷积神经网络和Fast R-CNN卷积神经网络的联合训练。通过RPN和Fast R-CNN两网络共享ZF网络输出的特征图,大大降低训练时间,提高训练速度。其中RPN网络利用特征图得到图片中的候选区域,实现目标的定位;Fast R-CNN网络结合特征图和RPN网络得到的候选区域,通过softmax和回归操作,实现目标的分类和位置的精修,实现癌细胞的准确检测。
所述步骤3中,癌细胞的跟踪包括以下步骤:
3.1)找出数据集中目标:本发明是基于深度学习检测,通过Faster R-CNN网络检测,数据集中的目标类别及目标位置都得到很好的确定;
3.2)将不同帧的目标进行匹配关联:每一帧图片的目标类别及目标位置确定之后,本发明利用多特征融合的匹配方法完成每一帧每个目标的匹配。多特征融合函数为:
Cost=para1*Conv+para2*Position+para3*Size
Conv=||FC·fced||
Size=(W-w0)·(H-h0)
FC代表当前检测帧中所有检测到细胞的卷积特征,fced表示匹配细胞的卷积特征,这里计算了两者卷积特征的欧氏距离来代表检测帧和匹配帧之间的目标差异程度;X、Y代表当前检测帧中的细胞横纵向坐标x0、y0代表匹配细胞的横纵坐标,并且直接使用了空间距离来评价距离代价;W、H分别代表当前检测帧中细胞的长宽尺寸,w0、h0表示匹配细胞的长宽尺寸,这里使用两者差值的乘积来表示细胞之间尺寸的差异的代价,para1、para2和para3分别代表卷积特征、距离特征和尺寸大小特征的权重值,本发明使用的权重值分别为[0.3 0.30.4];
3.3)将匹配好的目标进行序列号的对应:为了使每一帧中目标更容易对应并区分,本发明对每一帧中每个目标进行标号,可以通过序号来实现目标的对应。
本发明以剑桥大学肿瘤研究所提供的一组膀胱癌T24相称显微细胞图片序列为研究对象,完成了基于癌细胞的检测癌细胞的多目标跟踪,为进一步自动分析癌细胞的生命形态做好了准备。
本发明癌细胞的检测使用的是Faster R-CNN网络,该网络由一个RPN卷积神经网络和一个Fast R-CNN卷积神经网络组成,其中RPN卷积神经网络处理的是回归问题,在本发明中主要负责获得图片中目标的候选区域;Fast R-
CNN卷积神经网络处理的是分类问题,在发明中负责对RPN获取的候选区域进行进一步的筛选,再判别候选区域是否属于癌细胞。本发明癌细胞的跟踪使用的是基于检测的多目标跟踪方法,该方法首先利用Faster R-CNN深度检测器的检测结果得到癌细胞的位置信息,再利用Faster R-CNN网络第一层全连接层的卷积特征作为匹配函数的一个约束条件,同时还融入距离特征和尺寸大小特征到匹配函数中,实现多条件约束,最终得到细胞的匹配与关联。
以下将参照附图,对本发明进行详细的描述。
如图1所示,本发明采用的是Faster R-CNN算法,将事先人工做好标注和带有标签的任意大小图片作为网络的输入训练集,再训练RPN卷积神经网络来获取处理的训练集图片中目标的候选区域,然后将候选区域送入训练好的Fast R-CNN卷积神经网络中做分类工作,根据Fast R-CNN卷积神经网络的输出向量判别癌细胞的候选区域是否属于最佳癌细胞区域,若为最佳候选区域,则得到癌细胞检测的结果。得到检测结果之后,取出Faster R-CNN网络第一层全连接层的特征,与细胞间的距离特征和尺寸大小特征按一定的权重值组合成匹配函数,实现匹配函数的最小化即实现目标跟踪的匹配。
如图2所示,该Faster R-CNN网络基本结构图中主要包括ConvNet、RPN、RoIpooling和Classification四部分,下面将对每一部分做详细说明:
(1)ConvNet:ConvNet是一种CNN网络目标检测方法,主要抽取输入图片的特征图。本发明前五层使用的是ZF model,先进行一系列的卷积池化操作,将最后的conv5输出作为图片的特征图。
(2)RPN:RPN网络用于生成region proposals,由图中可看出RPN网络输入为ConvNet的特征图。RPN先对conv5后的特征图进行3*3卷积操作,得到256维的输出,即每个像素点融合周边3*3的空间信息,提高特征的鲁棒性;接着用9个anchor对每个像素点进行映射,每个像素点映射回原图,映射的感受野中心点相同但比例大小不同,之后会采用IoU指标对候选框进行筛选;同时,左支路将这些anchors输入到网络中的softmax来判断anchors属于前景还是背景,右支路输入到bounding box regression进行anchors修正,获取准确的proposals。在这里采用了IoU和回归操作来提高候选区域的准确性,进行这一系列操作,RPN网络就相当于实现了目标定位。
IoU(Intersection over Union),是定义同一候选区域的两个候选框重叠率的大小值,实现在选取最少候选框的情况下保证有较高的召回率。
A和B代表统一候选框的两个不同bounding box,这时的重叠率IoU计算方法:
IoU=(A∩B)/(A∪B)
数学表达式为两个框的公共面积与两个框所占总面积的比值。
本发明在进行anchor的前景和背景判定时就是采用IoU指标,当anchor与任意Ground Truth包围框的IoU值大于设定阈值(如0.7)时判定该anchor为fg anchor;当anchor与任意Ground Truth包围框的IoU值小于设定阈值(如0.3)则判定该anchor为bganchor。得到fg anchors后,有部分前景框和标签GT框相差太多,定位不准,就需要对前景框进行回归微调,使前景框和GT框更加接近。回归微调操作为:先对前景框进行平移,再进行框的缩放,目标是寻找一种关系使得输入的原始窗口P(Proposal)经过映射达到一个跟真实标定窗口G(Ground Truth)更接近的回归预测窗口
(3)RoI Pooling:RoI池化输入为ConvNet输出的feature map和RPN网络得到的proposals,这里是综合提取proposal feature maps并进行尺寸的固定作用,方便送入后续全连接层判断目标类别。
(4)Classification:本结构利用RoI池化得到固定大小的proposal featuremaps,通过全连接层与softmax计算每个proposal属于每个类别的概率值,同时再次利用bounding box regression回归操作获得每个proposal的位置偏移量,最终得到检测框的精确位置,通过本结构后完全实现目标的分类和定位。
如图2所示,Faster R-CNN深度检测器对癌细胞已经实现较好的检测结果,得到每一帧数据集目标的位置信息,接下来就是利用检测结果,实现每一帧数据之间目标的匹配与关联。
本发明使用的是基于检测的多特征融合跟踪算法,解释算法中的参数:
trajectory为细胞的轨迹;
dist_mat为待匹配细胞与检测细胞的距离;
min_distN为与待匹配细胞最近的N个检测细胞索引;
fc_ed为待匹配帧的细胞卷积特征;
boxes为检测出细胞的边界框;
fc为检测帧的卷积特征;
cost_size_mat表示待匹配目标与观测值的尺度代价匹配矩阵;
cost_dist_mat表示待匹配目标与观测值之间的位置差异匹配矩阵;
cost_fc_mat表示待匹配目标与观测值之间的卷积特征的欧氏距离矩阵。
因为细胞为非刚体,外观没有固定的轮廓,同时本发明使用的是药物溶液中培养的癌细胞,药物对癌细胞正常生长形态造成的影响,相邻两帧同一个癌细胞的形态变化可能非常大,所以只将观测帧的细胞与前一帧的卷积特征进行对比,然而由于短时间内在细胞未出现分裂的情况下,细胞内部的物质综合发生较大改变的可能性较小,因此相邻帧中同一个细胞的尺寸相对比较稳定,因此为了降低对某一个细胞进行检测时的检测框受到随机性的影响,尺寸检测失误从而造成误匹配,也为了增加使用细胞尺寸特征的鲁棒性,使用匹配帧中的前3帧尺寸特征与观测帧计算匹配代价,最后整体的匹配代价函数中的距离特征、卷积特征与尺寸特征的参数分别设置为[0.3 0.3 0.4]。
图3为所有的跟踪序列中随机选取的连续四帧整体跟踪效果图,可知本发明的跟踪算法对大部分细胞都实现了准确的跟踪,并且大部分由跟踪目标框生成的目标中心点与细胞手工标注的中心点相差距离都比较小,说明本发明的跟踪算法跟踪效果良好。
表1中数据为本发明的跟踪指标结果,
表1
本发明采用的跟踪指标有MOTP(multiple object tracking precision)、MOTA(multiple object tracking accuracy)、AUC和缺失率、误判率,下面介绍跟踪指标的含义:
假设当前帧是第t帧,跟踪器输出假设位置{h1…hm},当前的跟踪目标有{O0…On}。假设根据欧氏距离来判断假设与目标之间是否匹配,并且以T为阈值,则匹配判断如下公式所示:
匹配完成之后,统计所有累计匹配误差,包括:
(1)丢失目标的个数(缺失数),即当前帧中没有上一帧目标的假设位置;
(2)假设位置未匹配个数(误判数),即:给出的假设位置没有跟踪目标与对应;
(3)失配误差数(误配数),比如由目标位置过近导致的跟踪轨迹交叉错误。
在整个跟踪过程中,连续统计每一帧中的缺失数(用mt表示)、误判数(用fpt表示)和误配数(用mmet表示),并用gt表示第t帧跟踪目标的个数,则MOTA(多目标跟踪准确率)指标计算过程如下:
MOTP(多目标跟踪准确率)是位置误差评价指标,假设在每一帧中假设位置与目标位置中心的距离为并用ct表示第t帧的匹配个数,则MOTP指标计算过程如下:
Claims (3)
1.一种基于深度学习检测的癌细胞跟踪方法,其特征在于,所述方法包括以下步骤:
步骤1,进行数据集的预处理,采用pascal_voc数据集,所以数据的预处理需要将自己的数据集做成pascal_voc数据集格式,数据的预处理是对图片进行标定,得到带有目标类别和目标位置的图片标签;
步骤2,对数据集进行训练,实现目标的检测,采用Faster R-CNN网络,在数据预处理之后得到图片的标签,这里将这些标签和数据集作为Faster R-CNN网络的输入,进行网络训练之后得到最终的检测模型;
步骤3,最后对目标进行跟踪,得到的最终癌细胞检测模型已经完成对癌细胞的检测,可以精确地定位每个目标的位置,正确的判断目标的个数,再利用跟踪算法实现癌细胞的匹配关联实现目标的跟踪。
2.如权利要求1所述的一种基于深度学习检测的癌细胞跟踪方法,其特征在于:所述步骤2中,Faster R-CNN网络通过RPN网络确定目标的位置,Faster R-CNN网络确定目标类别并对目标位置进行精修,Faster R-CNN网络结构如下:
(1)ConvNet:ConvNet是一种CNN网络目标检测方法,抽取输入图片的特征图,前五层使用的是ZF model,先进行一系列的卷积池化操作,将最后的conv5输出作为图片的特征图;
(2)RPN:RPN网络用于生成region proposals,RPN网络输入为ConvNet的特征图,RPN先对conv5后的特征图进行3*3卷积操作,得到256维的输出,即每个像素点融合周边3*3的空间信息;接着用9个anchor对每个像素点进行映射,每个像素点映射回原图,映射的感受野中心点相同但比例大小不同,之后会采用IoU指标对候选框进行筛选;同时,左支路将这些anchors输入到网络中的softmax来判断anchors属于前景还是背景,右支路输入到bounding box regression进行anchors修正,获取准确的proposals;在这里采用了IoU和回归操作来提高候选区域的准确性,进行这一系列操作,RPN网络就相当于实现了目标定位;
IoU是定义同一候选区域的两个候选框重叠率的大小值,实现在选取最少候选框的情况下保证有较高的召回率。
A和B代表统一候选框的两个不同bounding box,这时的重叠率IoU计算方法:
IoU=(A∩B)/(A∪B)
数学表达式为两个框的公共面积与两个框所占总面积的比值;
在进行anchor的前景和背景判定时就是采用IoU指标,当anchor与任意Ground Truth包围框的IoU值大于设定阈值时判定该anchor为fg anchor;当anchor与任意Ground Truth包围框的IoU值小于设定阈值则判定该anchor为bg anchor;得到fg anchors后,有部分前景框和标签GT框相差太多,定位不准,就需要对前景框进行回归微调,使前景框和GT框更加接近;回归微调操作为:先对前景框进行平移,再进行框的缩放,目标是寻找一种关系使得输入的原始窗口P(Proposal)经过映射达到一个跟真实标定窗口G更接近的回归预测窗口
(3)RoI Pooling:RoI池化输入为ConvNet输出的feature map和RPN网络得到的proposals,这里是综合提取proposal feature maps并进行尺寸的固定作用,方便送入后续全连接层判断目标类别;
(4)Classification:利用RoI池化得到固定大小的proposal feature maps,通过全连接层与softmax计算每个proposal属于每个类别的概率值,同时再次利用bounding boxregression回归操作获得每个proposal的位置偏移量,最终得到检测框的精确位置,通过本结构后完全实现目标的分类和定位。
3.如权利要求1或2所述的一种基于深度学习检测的癌细胞跟踪方法,其特征在于:所述步骤3中,利用跟踪算法对癌细胞的多目标跟踪,包括以下步骤:
3.1)找出数据集中目标:基于深度学习检测,数据集中的目标位置都得到很好的确定;
3.2)将不同帧的目标进行匹配关联:每一帧图片的目标位置确定之后,利用多特征融合的匹配方法完成每一帧每个目标的匹配,多特征融合函数为:
Cost=para1*Conv+para2*Position+para3*Size
Conv=||FC·fced||
Size=(W-w0)·(H-h0)
FC代表当前检测帧中所有检测到细胞的卷积特征,fced表示匹配细胞的卷积特征,这里计算了两者卷积特征的欧氏距离来代表检测帧和匹配帧之间的目标差异程度;X、Y代表当前检测帧中的细胞横纵向坐标x0、y0代表匹配细胞的横纵坐标,并且直接使用了空间距离来评价距离代价;W、H分别代表当前检测帧中细胞的长宽尺寸,w0、h0表示匹配细胞的长宽尺寸,这里使用两者差值的乘积来表示细胞之间尺寸的差异的代价,para1、para2和para3分别代表卷积特征、距离特征和尺寸大小特征的权重值;
3.3)将匹配好的目标进行序列号的对应:为了使每一帧中目标更容易对应并区分,对每一帧中每个目标进行标号,通过序号来实现目标的对应。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810174327.9A CN108537775A (zh) | 2018-03-02 | 2018-03-02 | 一种基于深度学习检测的癌细胞跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810174327.9A CN108537775A (zh) | 2018-03-02 | 2018-03-02 | 一种基于深度学习检测的癌细胞跟踪方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108537775A true CN108537775A (zh) | 2018-09-14 |
Family
ID=63486405
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810174327.9A Pending CN108537775A (zh) | 2018-03-02 | 2018-03-02 | 一种基于深度学习检测的癌细胞跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108537775A (zh) |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109492636A (zh) * | 2018-09-30 | 2019-03-19 | 浙江工业大学 | 基于自适应感受野深度学习的目标检测方法 |
CN109598224A (zh) * | 2018-11-27 | 2019-04-09 | 微医云(杭州)控股有限公司 | 基于区域推荐卷积神经网络的骨髓切片中白细胞检测方法 |
CN109840483A (zh) * | 2019-01-11 | 2019-06-04 | 深圳大学 | 一种滑坡裂缝检测与识别的方法及装置 |
CN109886307A (zh) * | 2019-01-24 | 2019-06-14 | 西安交通大学 | 一种基于卷积神经网络的图像检测方法及系统 |
CN110020664A (zh) * | 2019-01-31 | 2019-07-16 | 浙江工业大学 | 一种深度学习目标检测的正负样本平衡方法 |
CN110263656A (zh) * | 2019-05-24 | 2019-09-20 | 南方科技大学 | 一种癌细胞识别方法、装置和系统 |
CN110516535A (zh) * | 2019-07-12 | 2019-11-29 | 杭州电子科技大学 | 一种基于深度学习的老鼠活跃度检测方法和系统、及卫生评估方法 |
CN110516559A (zh) * | 2019-08-02 | 2019-11-29 | 西安天和防务技术股份有限公司 | 适用于精准监控的目标跟踪方法及装置、计算机设备 |
CN110705632A (zh) * | 2019-09-27 | 2020-01-17 | 北京工业大学 | 一种抗核抗体荧光核型自动标注方法 |
CN110910427A (zh) * | 2019-12-04 | 2020-03-24 | 数据堂(北京)智能科技有限公司 | 一种交互式视频数据标注方法及装置 |
CN110930360A (zh) * | 2019-10-21 | 2020-03-27 | 北京海益同展信息科技有限公司 | 禽蛋检测、图像处理方法、装置、电子设备及存储介质 |
CN111145215A (zh) * | 2019-12-25 | 2020-05-12 | 北京迈格威科技有限公司 | 一种目标跟踪方法及装置 |
CN111276181A (zh) * | 2020-01-20 | 2020-06-12 | 中国科学院自动化研究所 | 基于卷积神经网络的无创在体干细胞示踪方法及系统 |
CN111292432A (zh) * | 2020-01-14 | 2020-06-16 | 北京巨视科技有限公司 | 基于车型识别和轮轴检测的车辆收费类型判别方法与装置 |
CN111598849A (zh) * | 2020-04-29 | 2020-08-28 | 北京小白世纪网络科技有限公司 | 一种基于目标检测的病理图像细胞计数方法、设备及介质 |
CN111652927A (zh) * | 2020-05-11 | 2020-09-11 | 广东亿云付科技有限公司 | 一种基于cnn的癌细胞多尺度缩放定位检测方法 |
CN112069874A (zh) * | 2020-07-17 | 2020-12-11 | 中山大学 | 胚胎光镜图像中细胞的识别方法及系统、设备及存储介质 |
CN112819510A (zh) * | 2021-01-21 | 2021-05-18 | 江阴逐日信息科技有限公司 | 基于服饰多属性识别的时尚趋势预测方法、系统以及设备 |
CN113111879A (zh) * | 2021-04-30 | 2021-07-13 | 上海睿钰生物科技有限公司 | 一种细胞检测的方法和系统 |
CN113194820A (zh) * | 2019-03-04 | 2021-07-30 | 艾索波特株式会社 | 借助外泌体的基于人工智能的利用液体活检的癌诊断信息提供方法及系统 |
CN113469302A (zh) * | 2021-09-06 | 2021-10-01 | 南昌工学院 | 一种视频图像的多圆形目标识别方法和系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107451602A (zh) * | 2017-07-06 | 2017-12-08 | 浙江工业大学 | 一种基于深度学习的果蔬检测方法 |
-
2018
- 2018-03-02 CN CN201810174327.9A patent/CN108537775A/zh active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107451602A (zh) * | 2017-07-06 | 2017-12-08 | 浙江工业大学 | 一种基于深度学习的果蔬检测方法 |
Non-Patent Citations (1)
Title |
---|
张俊康: "基于相衬显微序列图像的癌细胞检测与多目标跟踪", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109492636A (zh) * | 2018-09-30 | 2019-03-19 | 浙江工业大学 | 基于自适应感受野深度学习的目标检测方法 |
CN109492636B (zh) * | 2018-09-30 | 2021-08-03 | 浙江工业大学 | 基于自适应感受野深度学习的目标检测方法 |
CN109598224A (zh) * | 2018-11-27 | 2019-04-09 | 微医云(杭州)控股有限公司 | 基于区域推荐卷积神经网络的骨髓切片中白细胞检测方法 |
CN109840483B (zh) * | 2019-01-11 | 2020-09-11 | 深圳大学 | 一种滑坡裂缝检测与识别的方法及装置 |
CN109840483A (zh) * | 2019-01-11 | 2019-06-04 | 深圳大学 | 一种滑坡裂缝检测与识别的方法及装置 |
CN109886307A (zh) * | 2019-01-24 | 2019-06-14 | 西安交通大学 | 一种基于卷积神经网络的图像检测方法及系统 |
CN110020664A (zh) * | 2019-01-31 | 2019-07-16 | 浙江工业大学 | 一种深度学习目标检测的正负样本平衡方法 |
CN113194820A (zh) * | 2019-03-04 | 2021-07-30 | 艾索波特株式会社 | 借助外泌体的基于人工智能的利用液体活检的癌诊断信息提供方法及系统 |
CN110263656A (zh) * | 2019-05-24 | 2019-09-20 | 南方科技大学 | 一种癌细胞识别方法、装置和系统 |
CN110516535A (zh) * | 2019-07-12 | 2019-11-29 | 杭州电子科技大学 | 一种基于深度学习的老鼠活跃度检测方法和系统、及卫生评估方法 |
CN110516559A (zh) * | 2019-08-02 | 2019-11-29 | 西安天和防务技术股份有限公司 | 适用于精准监控的目标跟踪方法及装置、计算机设备 |
CN110516559B (zh) * | 2019-08-02 | 2022-02-22 | 西安天和防务技术股份有限公司 | 适用于精准监控的目标跟踪方法及装置、计算机设备 |
CN110705632A (zh) * | 2019-09-27 | 2020-01-17 | 北京工业大学 | 一种抗核抗体荧光核型自动标注方法 |
CN110705632B (zh) * | 2019-09-27 | 2022-03-22 | 北京工业大学 | 一种抗核抗体荧光核型自动标注方法 |
CN110930360A (zh) * | 2019-10-21 | 2020-03-27 | 北京海益同展信息科技有限公司 | 禽蛋检测、图像处理方法、装置、电子设备及存储介质 |
CN110910427B (zh) * | 2019-12-04 | 2022-08-12 | 数据堂(北京)智能科技有限公司 | 一种交互式视频数据标注方法及装置 |
CN110910427A (zh) * | 2019-12-04 | 2020-03-24 | 数据堂(北京)智能科技有限公司 | 一种交互式视频数据标注方法及装置 |
CN111145215B (zh) * | 2019-12-25 | 2023-09-05 | 北京迈格威科技有限公司 | 一种目标跟踪方法及装置 |
CN111145215A (zh) * | 2019-12-25 | 2020-05-12 | 北京迈格威科技有限公司 | 一种目标跟踪方法及装置 |
CN111292432A (zh) * | 2020-01-14 | 2020-06-16 | 北京巨视科技有限公司 | 基于车型识别和轮轴检测的车辆收费类型判别方法与装置 |
CN111276181B (zh) * | 2020-01-20 | 2023-06-06 | 中国科学院自动化研究所 | 基于卷积神经网络的无创在体干细胞示踪方法及系统 |
CN111276181A (zh) * | 2020-01-20 | 2020-06-12 | 中国科学院自动化研究所 | 基于卷积神经网络的无创在体干细胞示踪方法及系统 |
CN111598849A (zh) * | 2020-04-29 | 2020-08-28 | 北京小白世纪网络科技有限公司 | 一种基于目标检测的病理图像细胞计数方法、设备及介质 |
CN111598849B (zh) * | 2020-04-29 | 2023-11-28 | 北京小白世纪网络科技有限公司 | 一种基于目标检测的病理图像细胞计数方法、设备及介质 |
CN111652927A (zh) * | 2020-05-11 | 2020-09-11 | 广东亿云付科技有限公司 | 一种基于cnn的癌细胞多尺度缩放定位检测方法 |
CN111652927B (zh) * | 2020-05-11 | 2023-12-19 | 广东亿云付科技有限公司 | 一种基于cnn的癌细胞多尺度缩放定位检测方法 |
CN112069874A (zh) * | 2020-07-17 | 2020-12-11 | 中山大学 | 胚胎光镜图像中细胞的识别方法及系统、设备及存储介质 |
CN112819510A (zh) * | 2021-01-21 | 2021-05-18 | 江阴逐日信息科技有限公司 | 基于服饰多属性识别的时尚趋势预测方法、系统以及设备 |
CN113111879A (zh) * | 2021-04-30 | 2021-07-13 | 上海睿钰生物科技有限公司 | 一种细胞检测的方法和系统 |
CN113469302A (zh) * | 2021-09-06 | 2021-10-01 | 南昌工学院 | 一种视频图像的多圆形目标识别方法和系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108537775A (zh) | 一种基于深度学习检测的癌细胞跟踪方法 | |
CN106683091B (zh) | 一种基于深度卷积神经网络的目标分类及姿态检测方法 | |
Wang et al. | Road network extraction: A neural-dynamic framework based on deep learning and a finite state machine | |
CN112101150B (zh) | 一种基于朝向约束的多特征融合行人重识别方法 | |
Lei et al. | Region-enhanced convolutional neural network for object detection in remote sensing images | |
Li et al. | Cross-layer attention network for small object detection in remote sensing imagery | |
Yang et al. | Multi-object tracking with discriminant correlation filter based deep learning tracker | |
US20240153272A1 (en) | Method for detecting urine formed elements based on deep learning and context relation | |
Li et al. | A method of cross-layer fusion multi-object detection and recognition based on improved faster R-CNN model in complex traffic environment | |
CN111275688A (zh) | 基于注意力机制的上下文特征融合筛选的小目标检测方法 | |
CN110738673A (zh) | 基于实例分割的视觉slam方法 | |
CN109766868B (zh) | 一种基于身体关键点检测的真实场景遮挡行人检测网络及其检测方法 | |
CN107633226B (zh) | 一种人体动作跟踪特征处理方法 | |
Tao et al. | Scene context-driven vehicle detection in high-resolution aerial images | |
CN110263712A (zh) | 一种基于区域候选的粗精行人检测方法 | |
Zhao et al. | Accurate pedestrian detection by human pose regression | |
Li et al. | Hierarchical semantic parsing for object pose estimation in densely cluttered scenes | |
Chen et al. | 2D and 3D object detection algorithms from images: A Survey | |
CN114529581A (zh) | 基于深度学习及多任务联合训练的多目标跟踪方法 | |
Li et al. | Staged detection–identification framework for cell nuclei in histopathology images | |
CN110909656B (zh) | 一种雷达与摄像机融合的行人检测方法和系统 | |
Gao et al. | Road extraction using a dual attention dilated-linknet based on satellite images and floating vehicle trajectory data | |
Zhang et al. | PSNet: Perspective-sensitive convolutional network for object detection | |
Wang | Multi-sensor fusion module for perceptual target recognition for intelligent machine learning visual feature extraction | |
Zheng et al. | Scale robust deep oriented-text detection network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180914 |