CN107705323A - 一种基于卷积神经网络的水平集目标追踪方法 - Google Patents

一种基于卷积神经网络的水平集目标追踪方法 Download PDF

Info

Publication number
CN107705323A
CN107705323A CN201710951863.0A CN201710951863A CN107705323A CN 107705323 A CN107705323 A CN 107705323A CN 201710951863 A CN201710951863 A CN 201710951863A CN 107705323 A CN107705323 A CN 107705323A
Authority
CN
China
Prior art keywords
mrow
msub
mfrac
level set
mtd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710951863.0A
Other languages
English (en)
Inventor
刘利雄
宁小东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201710951863.0A priority Critical patent/CN107705323A/zh
Publication of CN107705323A publication Critical patent/CN107705323A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于卷积神经网络的水平集目标追踪方法，属于目标追踪和视频处理技术领域。本该方法包括以下步骤：一、利用视频输入的第一帧和第一帧标准目标轮廓初始化Adaboost检测模块；二、调用检测模块获取物体在后续视频帧中的初步位置和形状；三、在上一步基础上运行水平集法追踪模块，精确分割物体轮廓；四、使用步骤三的结果区分前景/背景，更新检测模块的弱分类器。本发明所提出的卷积神经网络特征利用方式，能够对前景/背景做出更好的区分，从而提高检测准确性，提高了整体的目标追踪效果；能够平衡性能和效率，在相同的运行速度下取得较优的追踪结果。

Description

一种基于卷积神经网络的水平集目标追踪方法
技术领域
本发明涉及一种基于卷积神经网络的水平集目标追踪方法，属于目标追踪和视频处理技术领域。
背景技术
目标追踪是一项应用广泛的技术。在计算机视频处理领域中，目标追踪问题一般是指，给定视频序列中第一帧的物体位置或轮廓信息，计算后续每一帧中，该物体的位置或轮廓。由于视频序列中的物体存在形变、遮挡和尺度变换等问题，目标追踪仍然是一个具有挑战性的问题。为了解决这一问题，TLD(Tracking-learning-detection)算法将追踪和检测(Detection)相结合，奠定了利用检测进行追踪(Tracking by Detection)算法的基础。目前较为高效的算法普遍在这一框架下展开，它们主要由检测和追踪两个模块构成：检测模块负责在不同光照、背景等条件下判定物体是否出现；追踪模块负责在物体出现的范围内，确定物体的具体位置、大小或者轮廓。
特征(Features)是检测准确性的关键。已有的追踪算法大部分只利用了视频帧的一般特征(Hand-crafted Features)，而不利用深度学习特征(Deep Features)，导致检测准确性不足。针对这一问题，应使用卷积神经网络(CNN，Convolutional Neural Network)提取视频帧的深度特征，利用其中包含的语义信息(Semantical Information)，以便弥补一般特征的缺陷。
追踪模块的算法则决定了目标追踪的效率和质量。较高效的轮廓追踪算法有：GrabCut，水平集法(Level Set Method)等。相较于其他算法，水平集法具有快速、鲁棒的特点，能够实时地完成目标追踪的任务，有效提高整个目标追踪方法的运行速度。
与本发明相关的文章和专利有以下4篇，下文将分别对其进行分析：
文章(1)：2011年IEEE International Conference on Computer Vision(ICCV)，题目为：“Hough-based tracking of non-rigid objects”，通过霍夫森林获取物体中心和其支持点(Support)，以此为基础初始化GrabCut算法提取追踪目标的轮廓。该算法能够追踪每一帧的目标轮廓，然而运行速度较低，检测模块所利用的特征皆为较低层次的一般特征，检测能力较低；
文章(2)：《IEEE Transactions on Image Processing》2015年24卷11期，题目为：“Non-rigid object contour tracking via a novel supervised level set model”，利用了水平集法作为追踪模块，能够高效提取视频帧中的目标轮廓。但是该算法在检测模块利用了单一的一般特征及Adaboost分类算法，准确性不足，而且水平集能量函数(EnergyFunction)缺乏对视频帧信息和检测模块输出信息的平衡，容易造成能量函数迭代错误，目标丢失；
文章(3)：2015年IEEE International Conference on Computer Vision(ICCV)，题目为：“Visual tracking with fully convolutional networks”，通过一种名为“VGGnet”的卷积神经网络的conv4-3和conv5-3层提取特征，构造全局和局部神经网络进行目标追踪。该方法利用了conv4和conv5层次的两个卷积层(Convolutional Layers)提取特征，尽管在追踪上取得了一定效果，但是仅两个卷积层提供的信息有所不足；
专利(1)：申请号201710053918.6，标题为“一种基于深度学习的多目标追踪系统及实现方法”，通过目标检测获得第一帧目标位置，将多个待追踪目标加入队列，并在下一帧中遍历该队列，获取所有目标的位置。该系统能够获取追踪目标的追踪框，但是仅仅得到了目标的位置和大小，不能获取目标的具体轮廓。
上述已有的追踪算法一定程度上完成了目标追踪的任务，然而，它们在目标检测、轮廓提取的效率和准确性上都具有不足。本发明旨在解决现有目标追踪算法对于视频帧深度学习特征不敏感、追踪模块算法效率低的问题，提出了一种可用于长期追踪的、较高效的基于卷积神经网络和水平集模型的目标追踪方法。
发明内容
本发明的目的是为了解决现有追踪方法对于目标轮廓追踪的不足，提出了一种基于卷积神经网络的水平集目标追踪方法。
本发明的核心技术思想是利用视频帧的一般特征以及深度学习特征,在Adaboost算法框架下进行学习和预测，获得物体定位的置信度图(检测模块)，并通过嵌入了置信度图的水平集模型(Level Set Model)追踪目标轮廓(追踪模块)，最后更新检测模块；
一种基于卷积神经网络的水平集目标追踪方法，具体包括以下步骤：
首先，运行检测模块，具体为：
步骤1，对于每个待追踪的视频序列{I1,...,In}，先进行唯一一次的初始化操作。该初始化操作仅在追踪开始前执行一遍，对于追踪过程中的每一帧无需再次执行；
其中，记初始化操作输入的视频帧为I1，输入的手工标注的初始化轮廓(即手工标注出的待追踪目标轮廓)为C1，利用I1和C1进行以下操作：
步骤1.1，提取I1的特征图集F和确定训练的标准结果(Label)y，即：
提取I1色彩空间特征，记为特征图
提取I1的梯度方向直方图(Histogram of Gradient，HOG)特征，记为特征图
将I1输入“VGGnet”卷积神经网络，获取卷积神经网络的不同卷积层特征，记为特征图
则
将C1的轮廓内部像素值记为1，外部记为-1，则训练的标准结果(与特征图大小一致的二维矩阵)
为
步骤1.2，初始化学习系数矩阵(与特征图大小相同的二维矩阵)的所有元素为1/N，其中N为I1的长乘以宽(即图像大小)，t为接下来循环学习的次数标号；
步骤1.3，对于特征图集F中的每个特征(共循环nVGG次，即t＝1...nVGG，循环次数与总特征数相同)，循环以下步骤：
步骤1.3.1，将学习系数归一化，即执行赋值使得学习系数矩阵Wt的所有元素之和为1；
步骤1.3.2，训练Adaboost弱分类器。本方法的弱分类器即矩阵
其中ft是第t个特征，HObj和HBg分别为前景(即物体)和背景的灰度分布直方图，HObj(ft)即特征图ft的像素点的值，对应的直方图HObj区间的取值概率，HBg(ft)同理；δ为一个很小的值，防止分母为零或真数为零(本方法取δ＝0.001)；sign(·)为符号函数，自变量为正数或零时取值为1，反之则取值为-1。经过此步骤训练的弱分类器能根据前景/背景直方图将特征图转化为一个二值图像此二值图像可以表达该特征所区分出的前景(的像素点值为1)或背景(的像素点值为-1)，并且，随着直方图的更新，该弱分类器能够实时地反映出某个特征的区分结果；
步骤1.3.3，计算上一步得到的弱分类器的误差Error：
其中1≤i≤N同步骤1.2所述，为学习系数矩阵Wt、弱分类器二值图像或标准结果y的像素序号。为步骤1.2中的学习系数。意为逻辑运算，即当两者不等时取1，反之为0；
步骤1.3.4，计算弱分类器权重αt：
步骤1.3.5，迭代更新学习系数矩阵Wt，使其中的元素更新为：
至此，循环结束。在完成t＝1...nVGG次循环后，筛选出前T个具有最小Error值的弱分类器(T远小于nVGG)，则Adaboost强分类器为：
那么，在经历步骤1.1至1.3后，步骤1的初始化操作结束。通过初始化，可获得一个强分类器S，构成它的一组弱分类器(共T个)，以及的本质——特征图的前景/背景分布直方图HObj和HBg；
步骤2，通过步骤1所得的强分类器，在后续帧{I2,...,In}上运行检测模块，具体为：
步骤2.1，提取Ik(2≤k≤n)的特征图集F′。此特征图集维度比步骤1.3中的F小，仅有T维，需要根据步骤1.3中的弱分类器排序结果，取得Error值前T小的特征，加入F′；
步骤2.2，使用Adaboost强分类器对F′进行分类。将F′的特征图代入式(1)获得二值图像再代入式(5)获得强分类器结果S。S即为检测模块的最终输出。它也是一个二值图像，代表了检测模块对物体位置的初步判断。像素值为1的点即为前景点，反之为背景。而检测结果具有不稳定性，需要追踪模块的具体处理，才能够得到准确的轮廓；
然后，运行追踪模块，具体为：
步骤3，在检测模块输出S的基础上运行水平集法，对当前帧进行分割。需要经过以下具体步骤：
步骤3.1，定义水平集φk(为了便于表述，φk在以下步骤简称为φ；水平集本质上为一个与待处理图像大小相同的矩阵)：
对于当前帧Ik(2≤k≤n)，它的水平集将根据Ik-1帧的水平集结果进行初始化。若当前帧为I1，则根据输出的轮廓C1进行初始化。那么，当前帧的水平集φk初始化为：
即为上一帧追踪模块水平集经过膨胀(Dilation)操作的结果。当上一帧的水平集结果为负时，当前帧的对应位置也应该初始化为负。在水平集中，-1代表前景而1代表背景；
步骤3.2，计算原图像的边缘指代矩阵：
其中，|▽Gσ*I|2表示对原始图像进行高斯核为σ的高斯滤波，再取梯度模长的平方；
步骤3.3，构造包含检测模块输出S的长度、面积能量项：
其中，Ω为整个图像域，A(φ)为面积能量项，L(φ)为长度能量项，gA和gL分别为基于S和g的不同的改进边缘指代函数，Hε和δε分别为Heaviside函数和Dirac函数：
ε为阈值参数，可以对Heaviside函数或Dirac函数的形状产生影响，进一步可以控制水平集迭代的效果；
步骤3.4，添加惩罚项构造以下能量函数：
E(φ)＝αA(φ)+νL(φ)+μP(φ) (12)
α,ν,μ是三种能量项的平衡参数；
那么，经过步骤3.2至3.4，得到了能量函数。水平集法即以某个初始化的水平集为基础，以最小化能量函数为目标迭代计算新的水平集，以使得水平集迭代至最终的分割结果。我们使用梯度下降流法求解能量函数，根据式(12)，梯度下降流为：
以Δt为步长，迭代计算则最终获得水平集结果φ。那么，追踪模块的输出为-sign(φ)。此输出即为目标追踪的输出，即待追踪物体前景/背景的二值图像，其边缘处即为物体轮廓；
最后，为了实时适应视频中物体的变化，需要更新检测模块：
步骤4，更新Adaboost弱分类器LIft的前景/背景直方图HObj和HBg：
Pk(c|HObj)＝(1-γObj)Pk-1(c|HObj)+γObjPk(c|HObj) (14)
Pk(c|HBg)＝(1-γBg)Pk-1(c|HBg)+γObjPk(c|HBg) (15)
其中Pk即为根据当前帧物体轮廓所构造的直方图区间概率，Pk为前一帧的直方图，γObj和γBg为权重系数。通过此步骤，追踪方法能够自适应地跟踪不断变化的物体，完成长时间追踪。
至此，从步骤1到步骤4，完成了一种基于卷积神经网络的水平集目标追踪方法。
有益效果
一种基于卷积神经网络的水平集目标追踪方法，对比现有技术，具有如下
有益效果：
1.本发明所提出的卷积神经网络特征利用方式，能够对前景/背景做出更好的区分，从而提高检测准确性，提高了整体的目标追踪效果；
传统的基于Tracking by Detection的追踪方法通常使用非学习的一般特征(Hand-craftedFeatures)，如：梯度方向直方图、SIFT特征、色彩特征等进行检测。相较于神经网络下的深度特征，它具有不稳定性，更易受到视频帧的模糊、运动、色彩变化的影响；而本方法所使用的深度特征，由于神经网络的特性，它能够携带更多语义信息，不易受到视频帧变化的影响，长时间跟踪的性能优于传统方法；
2.本发明所使用的水平集追踪法，能够平衡性能和效率，在相同的运行速度下取得较优的追踪结果；
相比于其他的追踪模块实现方式，水平集作为一种追踪方法，能够有效地捕捉相邻帧的物体轮廓变化。它可以通过迭代的方式，完成从前一帧到后一帧的过渡，并且本方法利用了高效的检测模块进一步支持其迭代，使之结果更加准确。水平集法比GrabCut等运行速度更快，同时也比相关性滤波(Correlation Filtering)等粗略的追踪方式，能够取得更精确的轮廓和追踪结果。
附图说明
图1为本发明“一种基于卷积神经网络的水平集目标追踪方法”及实施例1中的流程示意图；
图2为本发明“一种基于卷积神经网络的水平集目标追踪方法”实施例2中，对不同视频的不同帧的追踪结果。
具体实施方式
为使发明目的、技术方案及优点更加清楚明白，下面将结合附图对本发明的实施例进行详细描述。以下实施例以本发明的技术方案为前提进行实施，给出详细实施方式和具体操作过程，但本发明的保护范围不限于以下实施例。
实施例1
本实施例阐述了将本发明“一种基于卷积神经网络的水平集目标追踪方法”应用于视频“cheetah”(可以从数据库：http://cpl.cc.gatech.edu/projects/SegTrack/中下载)中某一帧的流程：
图1为本方法及本实施例的算法流程，从图1可以看出，本方法包括以下步骤：
步骤A：初始化追踪程序；
具体到本实施例中，输入的视频帧I1为“cheetah”的第一帧，输入的轮廓C1为数据库提供的第一帧标准分割结果，提取特征并获取Adaboost强分类器。其中特征分三部分：
RGB(Red,Green,Blue)和HSV(Hue,Saturation,Value)色彩空间的6个不同的通道特征f1-f6，共计6维(ncolor＝6)；
8个方向上5×5窗口的HOG特征f7-f14，共计8维(nHOG＝14)；
VGGnet中的conv1-2，conv2-2，conv3-3，conv4-3以及conv5-3层所有特征f15-f1486，共计1472维(nVGG＝1486)；
那么提取的特征集为F＝{f1,...,f1486}；
式(1)的参数取δ＝0.001，式(5)中选取的特征个数为T＝6；
步骤B：运行检测模块；
具体过程可参考步骤2，通过VGGnet提取深度特征，再提取一般特征。在合并后的特征图集中，按照初始化的前T＝6个区分性最好的弱分类器筛选特征图，最后获得检测结果；
步骤C：运行追踪模块；
具体到实施例中与步骤3相同。其中，式(7)的高斯核σ＝1.5，水平集步长Δt＝1.0，能量项平衡参数α＝1.0,ν＝6.0,μ＝0.2，Heaviside和Dirac函数的阈值参数ε＝1.5，梯度下降流迭代次数为20；
步骤D：更新检测模块的弱分类器；
本实施例取γObj＝0.08,γBg＝0.1；
至此，从步骤A到D，完成了本实施例一种基于卷积神经网络的水平集目标追踪方法。
实施例2
本实施例具体阐述了在两个视频帧“cheetah”和“monkeydog”上执行本发明步骤1到步骤4所得的追踪结果(追踪轮廓用白色线条表示)。
图2分为2行3列，每行为一个视频的不同帧，3列代表视频中间三帧的追踪结果；
从图2中能够看出，本方法能够在一系列图像上精确捕捉物体的轮廓，保持较高质量的追踪。说明了本方法追踪的有效性。
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡是在本发明的精神和原则内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于卷积神经网络的水平集目标追踪方法，其特征在于：包括以下步骤：
步骤1，利用视频输入的第一帧和第一帧标准目标轮廓初始化Adaboost检测模块；
步骤2，调用步骤1所得检测模块，获取物体在后续视频帧中的初步位置和形状；
步骤3，在步骤2基础上运行水平集法追踪模块，精确分割物体轮廓；
步骤4，使用步骤3的结果区分前景/背景，更新检测模块的弱分类器；
至此，从步骤1到步骤4，完成了一种基于卷积神经网络的水平集目标追踪方法。
2.如权利要求1所述的一种基于卷积神经网络的水平集目标追踪方法，其特征还在于：
步骤1，对于每个待追踪的视频序列{I1,...,In}，先进行唯一一次的初始化操作；
其中，记初始化操作输入的视频帧为I1，输入的手工标注的初始化轮廓(即手工标注出的待追踪目标轮廓)为C1，利用I1和C1进行以下操作：
步骤1.1，提取I1的特征图集F和确定训练的标准结果(Label)y，即：
提取I1色彩空间特征，记为特征图
提取I1的梯度方向直方图(Histogram ofGradient，HOG)特征，记为特征图
将I1输入“VGGnet”卷积神经网络，获取卷积神经网络的不同卷积层特征，记为特征图
则
将C1的轮廓内部像素值记为1，外部记为-1，则训练的标准结果(与特征图大小一致的二维矩阵)为
步骤1.2，初始化学习系数矩阵(与特征图大小相同的二维矩阵)为1/N，其中N为I1的长乘以宽(即图像大小)，t为接下来循环学习的次数标号；
步骤1.3，对于特征图集F中的每个特征(共循环nVGG次，即t＝1...nVGG，循环次数与总特征数相同)，循环以下步骤：
步骤1.3.1，将学习系数归一化，即执行赋值使得学习系数矩阵Wt的所有元素之和为1；
步骤1.3.2，训练Adaboost弱分类器；本方法的弱分类器即矩阵
其中ft是第t个特征，HObj和HBg分别为前景(即物体)和背景的灰度分布直方图，HObj(ft)即特征图ft的像素点的值，对应的直方图HObj区间的取值概率，HBg(ft)同理；δ为一个很小的值，防止分母为零或真数为零(本方法取δ＝0.001)；sign(·)为符号函数，自变量为正数或零时取值为1，反之则取值为-1；
步骤1.3.3，计算上一步得到的弱分类器的误差Error：
<mrow> <mi>E</mi> <mi>r</mi> <mi>r</mi> <mi>o</mi> <mi>r</mi> <mrow> <mo>(</mo> <msup> <mi>W</mi> <mi>t</mi> </msup> <mo>;</mo> <msub> <mi>f</mi> <mi>t</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </msubsup> <msubsup> <mi>w</mi> <mi>i</mi> <mi>t</mi> </msubsup> <mrow> <mo>(</mo> <msub> <mi>LI</mi> <msub> <mi>f</mi> <mi>t</mi> </msub> </msub> <mo>(</mo> <mi>i</mi> <mo>)</mo> <mo>&amp;NotEqual;</mo> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>
其中1≤i≤N同步骤1.2所述，为学习系数矩阵Wt、弱分类器二值图像或标准结果y的像素序号；为步骤1.2中的学习系数；意为逻辑运算，即当两者不等时取1，反之为0；
步骤1.3.4，计算弱分类器权重αt：
<mrow> <msub> <mi>&amp;alpha;</mi> <mi>t</mi> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <mi>l</mi> <mi>n</mi> <mrow> <mo>(</mo> <mfrac> <mrow> <mn>1</mn> <mo>-</mo> <mi>E</mi> <mi>r</mi> <mi>r</mi> <mi>o</mi> <mi>r</mi> <mrow> <mo>(</mo> <msup> <mi>W</mi> <mi>t</mi> </msup> <mo>;</mo> <msub> <mi>f</mi> <mi>t</mi> </msub> <mo>)</mo> </mrow> </mrow> <mrow> <mi>E</mi> <mi>r</mi> <mi>r</mi> <mi>o</mi> <mi>r</mi> <mrow> <mo>(</mo> <msup> <mi>W</mi> <mi>t</mi> </msup> <mo>;</mo> <msub> <mi>f</mi> <mi>t</mi> </msub> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>
步骤1.3.5，迭代更新学习系数矩阵Wt，使其中的元素更新为：
<mrow> <msubsup> <mi>w</mi> <mi>i</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>=</mo> <msubsup> <mi>w</mi> <mi>i</mi> <mi>t</mi> </msubsup> <mi>exp</mi> <mrow> <mo>(</mo> <mo>-</mo> <msub> <mi>&amp;alpha;</mi> <mi>t</mi> </msub> <mo>(</mo> <mrow> <msub> <mi>LI</mi> <msub> <mi>f</mi> <mi>t</mi> </msub> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>&amp;NotEqual;</mo> <msub> <mi>y</mi> <mi>i</mi> </msub> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>
至此，循环结束；在完成t＝1...nVGG次循环后，筛选出前T个具有最小Error值的弱分类器(T远小于nVGG)，则Adaboost强分类器为：
<mrow> <mi>S</mi> <mo>=</mo> <mi>s</mi> <mi>i</mi> <mi>g</mi> <mi>n</mi> <mrow> <mo>(</mo> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>t</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>T</mi> </munderover> <msub> <mi>&amp;alpha;</mi> <mi>t</mi> </msub> <msub> <mi>LI</mi> <msub> <mi>f</mi> <mi>t</mi> </msub> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>
那么，在经历步骤1.1至1.3后，步骤1的初始化操作结束；通过初始化，可获得一个强分类器S，构成它的一组弱分类器(共T个)，以及的本质——特征图的前景/背景分布直方图HObj和HBg。
3.如权利要求1所述的一种结合信息熵的水平集图像分割方法，其特征还在于：
步骤2，通过步骤1所得的强分类器，在后续帧{I2,...,In}上运行检测模块，具体为：
步骤2.1，提取Ik(2≤k≤n)的特征图集F′；此特征图集维度比步骤1.3中的F小，仅有T维，需要根据步骤1.3中的弱分类器排序结果，取得Error值前T小的特征，加入F′；
步骤2.2，使用Adaboost强分类器对F′进行分类；将F′的特征图代入式(1)获得二值图像再代入式(5)获得强分类器结果S；S即为检测模块的最终输出。
4.如权利要求1所述的一种结合信息熵的水平集图像分割方法，其特征还在于：
步骤3，在检测模块输出S的基础上运行水平集法，对当前帧进行分割；需要经过以下具体步骤：
步骤3.1，定义水平集φk(为了便于表述，φk在以下步骤简称为φ；水平集本质上为一个与待处理图像大小相同的矩阵)：
对于当前帧Ik(2≤k≤n)，它的水平集将根据Ik-1帧的水平集结果进行初始化；若当前帧为I1，则根据输出的轮廓C1进行初始化；那么，当前帧的水平集φk初始化为：
即为上一帧追踪模块水平集经过膨胀(Dilation)操作的结果；
步骤3.2，计算原图像的边缘指代矩阵：
<mrow> <mi>g</mi> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mn>1</mn> <mo>+</mo> <mo>|</mo> <mo>&amp;dtri;</mo> <msub> <mi>G</mi> <mi>&amp;sigma;</mi> </msub> <mo>*</mo> <mi>I</mi> <msup> <mo>|</mo> <mn>2</mn> </msup> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>7</mn> <mo>)</mo> </mrow> </mrow>
其中，表示对原始图像进行高斯核为σ的高斯滤波，再取梯度模长的平方；
步骤3.3，构造包含检测模块输出S的长度、面积能量项：
<mrow> <mi>A</mi> <mrow> <mo>(</mo> <mi>&amp;phi;</mi> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mo>&amp;Integral;</mo> <mi>&amp;Omega;</mi> </munder> <msub> <mi>g</mi> <mi>A</mi> </msub> <msub> <mi>H</mi> <mi>&amp;epsiv;</mi> </msub> <mrow> <mo>(</mo> <mo>-</mo> <mi>&amp;phi;</mi> <mo>)</mo> </mrow> <mi>d</mi> <mi>x</mi> <mo>,</mo> <msub> <mi>g</mi> <mi>A</mi> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <mrow> <mo>(</mo> <mfrac> <mrow> <mn>1</mn> <mo>-</mo> <mi>S</mi> </mrow> <mn>2</mn> </mfrac> <mo>+</mo> <mi>g</mi> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>8</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <mi>L</mi> <mrow> <mo>(</mo> <mi>&amp;phi;</mi> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mo>&amp;Integral;</mo> <mi>&amp;Omega;</mi> </munder> <msub> <mi>g</mi> <mi>L</mi> </msub> <msub> <mi>&amp;delta;</mi> <mi>&amp;epsiv;</mi> </msub> <mrow> <mo>(</mo> <mi>&amp;phi;</mi> <mo>)</mo> </mrow> <mo>|</mo> <mo>&amp;dtri;</mo> <mi>&amp;phi;</mi> <mo>|</mo> <mi>d</mi> <mi>x</mi> <mo>,</mo> <msub> <mi>g</mi> <mi>L</mi> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <mrow> <mo>(</mo> <mfrac> <mn>1</mn> <mrow> <mn>1</mn> <mo>+</mo> <mo>|</mo> <mo>&amp;dtri;</mo> <mi>S</mi> <msup> <mo>|</mo> <mn>2</mn> </msup> </mrow> </mfrac> <mo>+</mo> <mi>g</mi> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>9</mn> <mo>)</mo> </mrow> </mrow>
其中，Ω为整个图像域，A(φ)为面积能量项，L(φ)为长度能量项，gA和gL分别为基于S和g的不同的改进边缘指代函数，Hε和δε分别为Heaviside函数和Dirac函数：
<mrow> <msub> <mi>H</mi> <mi>&amp;epsiv;</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <mrow> <mo>(</mo> <mn>1</mn> <mo>+</mo> <mfrac> <mi>x</mi> <mi>&amp;epsiv;</mi> </mfrac> <mo>+</mo> <mfrac> <mn>1</mn> <mi>&amp;pi;</mi> </mfrac> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mo>(</mo> <mfrac> <mrow> <mi>&amp;pi;</mi> <mi>x</mi> </mrow> <mi>&amp;epsiv;</mi> </mfrac> <mo>)</mo> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <mrow> <mo>|</mo> <mi>x</mi> <mo>|</mo> <mo>&amp;le;</mo> <mi>&amp;epsiv;</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> <mtd> <mrow> <mi>x</mi> <mo>&gt;</mo> <mi>&amp;epsiv;</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mi>x</mi> <mo>&lt;</mo> <mo>-</mo> <mi>&amp;epsiv;</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>10</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>&amp;delta;</mi> <mi>&amp;epsiv;</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mfrac> <mn>1</mn> <mrow> <mn>2</mn> <mi>&amp;epsiv;</mi> </mrow> </mfrac> <mrow> <mo>(</mo> <mn>1</mn> <mo>+</mo> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mo>(</mo> <mfrac> <mrow> <mi>&amp;pi;</mi> <mi>x</mi> </mrow> <mi>&amp;epsiv;</mi> </mfrac> <mo>)</mo> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <mrow> <mo>|</mo> <mi>x</mi> <mo>|</mo> <mo>&amp;le;</mo> <mi>&amp;epsiv;</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mo>|</mo> <mi>x</mi> <mo>|</mo> <mo>&gt;</mo> <mi>&amp;epsiv;</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>11</mn> <mo>)</mo> </mrow> </mrow>
ε为阈值参数，可以对Heaviside函数或Dirac函数的形状产生影响，进一步可以控制水平集迭代的效果；
步骤3.4，添加惩罚项构造以下能量函数：
E(φ)＝αA(φ)+νL(φ)+μP(φ) (12)
α,ν,μ是三种能量项的平衡参数；
那么，经过步骤3.2至3.4，得到了能量函数；根据式(12)，梯度下降流为：
<mrow> <mfrac> <mrow> <mo>&amp;part;</mo> <mi>&amp;phi;</mi> </mrow> <mrow> <mo>&amp;part;</mo> <mi>t</mi> </mrow> </mfrac> <mo>=</mo> <mi>&amp;mu;</mi> <mrow> <mo>(</mo> <mi>&amp;Delta;</mi> <mi>&amp;phi;</mi> <mo>-</mo> <mi>d</mi> <mi>i</mi> <mi>v</mi> <mo>(</mo> <mfrac> <mrow> <mo>&amp;dtri;</mo> <mi>&amp;phi;</mi> </mrow> <mrow> <mo>|</mo> <mo>&amp;dtri;</mo> <mi>&amp;phi;</mi> <mo>|</mo> </mrow> </mfrac> <mo>)</mo> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>v&amp;delta;</mi> <mi>&amp;epsiv;</mi> </msub> <mrow> <mo>(</mo> <mi>&amp;phi;</mi> <mo>)</mo> </mrow> <mi>d</mi> <mi>i</mi> <mi>v</mi> <mrow> <mo>(</mo> <msub> <mi>g</mi> <mi>L</mi> </msub> <mfrac> <mrow> <mo>&amp;dtri;</mo> <mi>&amp;phi;</mi> </mrow> <mrow> <mo>|</mo> <mo>&amp;dtri;</mo> <mi>&amp;phi;</mi> <mo>|</mo> </mrow> </mfrac> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>&amp;alpha;g</mi> <mi>A</mi> </msub> <msub> <mi>&amp;delta;</mi> <mi>&amp;epsiv;</mi> </msub> <mrow> <mo>(</mo> <mi>&amp;phi;</mi> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>13</mn> <mo>)</mo> </mrow> </mrow>
以Δt为步长，迭代计算则最终获得水平集结果φ；那么，追踪模块的输出为-sign(φ)；此输出即为目标追踪的输出，即待追踪物体前景/背景的二值图像，其边缘处即为物体轮廓。
5.如权利要求1所述的一种结合信息熵的水平集图像分割方法，其特征还在于：
步骤4中，更新Adaboost弱分类器的前景/背景直方图HObj和HBg：
Pk(c|HObj)＝(1-γObj)Pk-1(c|HObj)+γObjPk(c|HObj) (14)
Pk(c|HBg)＝(1-γBg)Pk-1(c|HBg)+γObjPk(c|HBg) (15)
其中Pk即为根据当前帧物体轮廓所构造的直方图区间概率，Pk为前一帧的直方图，γObj和γBg为权重系数。
CN201710951863.0A 2017-10-13 2017-10-13 一种基于卷积神经网络的水平集目标追踪方法 Pending CN107705323A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710951863.0A CN107705323A (zh) 2017-10-13 2017-10-13 一种基于卷积神经网络的水平集目标追踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710951863.0A CN107705323A (zh) 2017-10-13 2017-10-13 一种基于卷积神经网络的水平集目标追踪方法

Publications (1)

Publication Number Publication Date
CN107705323A true CN107705323A (zh) 2018-02-16

Family

ID=61183763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710951863.0A Pending CN107705323A (zh) 2017-10-13 2017-10-13 一种基于卷积神经网络的水平集目标追踪方法

Country Status (1)

Country Link
CN (1) CN107705323A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108548539A (zh) * 2018-06-28 2018-09-18 Oppo广东移动通信有限公司 基于图像识别的导航方法和装置、终端、可读存储介质
CN109035300A (zh) * 2018-07-05 2018-12-18 桂林电子科技大学 一种基于深度特征与平均峰值相关能量的目标跟踪方法
CN109190635A (zh) * 2018-07-25 2019-01-11 北京飞搜科技有限公司 基于分类cnn的目标追踪方法、装置及电子设备
CN110443829A (zh) * 2019-08-05 2019-11-12 北京深醒科技有限公司 一种基于运动特征和相似度特征的抗遮挡跟踪算法
CN112396635A (zh) * 2020-11-30 2021-02-23 深圳职业技术学院 一种基于多设备的复杂环境下多目标检测方法
CN113538517A (zh) * 2019-06-25 2021-10-22 北京市商汤科技开发有限公司 目标追踪方法及装置、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7239719B2 (en) * 2003-08-22 2007-07-03 Bbn Technologies Corp. Automatic target detection and motion analysis from image data
CN102831608A (zh) * 2012-08-06 2012-12-19 哈尔滨工业大学 基于非稳态测量算法的改进规则距离水平集的图像分割方法
CN104298976A (zh) * 2014-10-16 2015-01-21 电子科技大学 基于卷积神经网络的车牌检测方法
CN106340022A (zh) * 2015-07-08 2017-01-18 中国科学院沈阳自动化研究所 一种基于区域相关性的图像分割方法
CN106991686A (zh) * 2017-03-13 2017-07-28 电子科技大学 一种基于超像素光流场的水平集轮廓跟踪方法
US9760445B1 (en) * 2014-06-05 2017-09-12 EMC IP Holding Company LLC Data protection using change-based measurements in block-based backup

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7239719B2 (en) * 2003-08-22 2007-07-03 Bbn Technologies Corp. Automatic target detection and motion analysis from image data
CN102831608A (zh) * 2012-08-06 2012-12-19 哈尔滨工业大学 基于非稳态测量算法的改进规则距离水平集的图像分割方法
US9760445B1 (en) * 2014-06-05 2017-09-12 EMC IP Holding Company LLC Data protection using change-based measurements in block-based backup
CN104298976A (zh) * 2014-10-16 2015-01-21 电子科技大学 基于卷积神经网络的车牌检测方法
CN106340022A (zh) * 2015-07-08 2017-01-18 中国科学院沈阳自动化研究所 一种基于区域相关性的图像分割方法
CN106991686A (zh) * 2017-03-13 2017-07-28 电子科技大学 一种基于超像素光流场的水平集轮廓跟踪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHAO MA ET AL.: "Hierarchical convolutional features for visual tracking", 《IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
XIN SUN ET AL.: "Non-Rigid Object Contour Tracking via a Novel Supervised Level Set Model", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
王君伟 刘利雄: "基于水平集的局部自适应图像分割", 《中国科技论文》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108548539A (zh) * 2018-06-28 2018-09-18 Oppo广东移动通信有限公司 基于图像识别的导航方法和装置、终端、可读存储介质
CN109035300A (zh) * 2018-07-05 2018-12-18 桂林电子科技大学 一种基于深度特征与平均峰值相关能量的目标跟踪方法
CN109035300B (zh) * 2018-07-05 2021-03-26 桂林电子科技大学 一种基于深度特征与平均峰值相关能量的目标跟踪方法
CN109190635A (zh) * 2018-07-25 2019-01-11 北京飞搜科技有限公司 基于分类cnn的目标追踪方法、装置及电子设备
CN113538517A (zh) * 2019-06-25 2021-10-22 北京市商汤科技开发有限公司 目标追踪方法及装置、电子设备和存储介质
CN113538517B (zh) * 2019-06-25 2024-04-12 北京市商汤科技开发有限公司 目标追踪方法及装置、电子设备和存储介质
CN110443829A (zh) * 2019-08-05 2019-11-12 北京深醒科技有限公司 一种基于运动特征和相似度特征的抗遮挡跟踪算法
CN112396635A (zh) * 2020-11-30 2021-02-23 深圳职业技术学院 一种基于多设备的复杂环境下多目标检测方法

Similar Documents

Publication Publication Date Title
Zhao et al. Cloud shape classification system based on multi-channel cnn and improved fdm
CN110378288B (zh) 一种基于深度学习的多级时空运动目标检测方法
CN107705323A (zh) 一种基于卷积神经网络的水平集目标追踪方法
CN109410168B (zh) 用于确定图像中的子图块类别的卷积神经网络的建模方法
CN107516316B (zh) 一种在fcn中引入聚焦机制对静态人体图像进行分割的方法
CN109829449B (zh) 一种基于超像素时空上下文的rgb-d室内场景标注方法
CN107273905B (zh) 一种结合运动信息的目标主动轮廓跟踪方法
CN103048329B (zh) 一种基于主动轮廓模型的路面裂缝检测方法
CN108038435B (zh) 一种基于卷积神经网络的特征提取与目标跟踪方法
CN109978848B (zh) 基于多光源颜色恒常模型检测眼底图像中硬性渗出的方法
CN107103317A (zh) 基于图像融合和盲反卷积的模糊车牌图像识别算法
CN111507334B (zh) 一种基于关键点的实例分割方法
CN108563975B (zh) 一种基于深度学习的高密度人群人数估计方法
CN105787481B (zh) 一种基于目标性潜在区域分析的目标检测方法及其应用
CN108734200B (zh) 基于bing特征的人体目标视觉检测方法和装置
CN112926652B (zh) 一种基于深度学习的鱼类细粒度图像识别方法
CN111680705B (zh) 适于目标检测的mb-ssd方法和mb-ssd特征提取网络
CN113486894B (zh) 一种卫星图像特征部件语义分割方法
CN110827304A (zh) 一种基于深度卷积网络与水平集方法的中医舌像定位方法和系统
CN107862680B (zh) 一种基于相关滤波器的目标跟踪优化方法
CN103093470A (zh) 一种具有尺度无关特性的快速多模态图像协同分割方法
CN114863198B (zh) 一种基于神经网络的小龙虾质量分级方法
CN110599463A (zh) 一种基于轻量级联神经网络的舌像检测及定位算法
CN116721121A (zh) 一种植物表型彩色图像特征提取方法
Jia et al. Nonlocal regularized CNN for image segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180216

WD01 Invention patent application deemed withdrawn after publication