CN103473789B - 一种融合多线索的人体视频分割方法 - Google Patents

Abstract

本发明公开了一种融合多线索的人体视频分割方法，其通过简单的交互获取初始帧的前景和背景像素点，并构建前景模型和背景模型，再通过前景、背景模型对初始帧内的像素点进行标记，最终通过图割方法获得初始帧的分割结果，在后续帧的处理中，基于后续帧的前一帧的分割结果获得后续帧的前景、背景模型及其初始标记，然后通过融合后续帧的运动信息及由此获得的后续帧的形状先验信息，采用二值图割方法获得后续帧的分割结果；特点在于将融合了的颜色信息、运动信息和形状先验信息在后续帧之间进行传递，减弱了时域上位于待处理帧之前的帧对待处理帧的影响，有效地避免后续帧在分割时出现扩大后续帧的前一帧分割错误影响的情况，且不再需要用户的交互。

Description

一种融合多线索的人体视频分割方法

技术领域

本发明涉及一种视频分割方法，尤其是涉及一种融合多线索的人体视频分割方法。

背景技术

视频分割是指在视频中将前景对象与背景环境区别并分割出来，它是很多视频应用的前提与基础，如视频抠图与粘贴、视频压缩、人机交互以及视频理解等应用。在视频分割中，人体视频分割具有特别重要的意义，人体视频不仅在众多非刚体对象中具有代表性，而且是众多视频应用的核心，如智能视频监控中的对象跟踪、姿态估计、人体识别以及行为分析等都依赖人体视频分割方法。然而，现有的视频分割方法还存在许多问题，除了具有与现有的图像分割技术共同的困难外(包括复杂的颜色、纹理分布以及模糊的边缘等)，还具有特有的一些技术障碍，如帧间光线的变化、摄像机与对象的运动以及由此产生的遮挡与重现、3D空间的运动与2D对象投影边界的巨大差异以及每帧的交互问题等，因此，视频分割方法仍是目前的研究热点。

现有的视频分割方法对初始帧的分割多数都建立在基于条件随机场的图割框架中，首先基于初始交互信息建立全局或局部的前景模型和背景模型，进而计算随机场中似然项与对比项的能量，最终通过图割等方法获取全局或局部的最优解来完成对当前帧的分割，而后续帧的分割则通过采用将前一帧的分割模型向后传播的方式，迭代地应用上述方法完成分割。这种视频分割方法对帧处理的过程中，若当前帧的分割过程出现分割错误的像素时，在后续帧的分割中就会放大错误的像素的影响，这样将严重影响后续帧的分割效果。Fan等人(Fanetal.Tranductivesegmentationoflivevideowithnon-stationarybackground.InIEEEConferenceonComputerVisionandPatternRecognition,2010.动态背景的实时分割，电气电子工程师学会，计算机视觉与模式识别国际会议)提出了一种全局动态颜色模型和快速局部核密度估计模型相结合的方法，其将局部颜色与全局颜色进行融合，该方法在处理背景比较复杂的帧时，容易导致分割结果错误。Bai等人(Baietal.DynamicColorFlow:AMotion-AdaptiveColorModelforObjectSegmentationinVideo.In:11thEuropeanConferenceonComputerVision.动态颜色光流：一个运动自适应的颜色视频分割模型，第11届计算机视觉欧洲会议)提出了一种融合颜色信息、运动信息和形状信息的视频分割方法，其将运动估计加入颜色模型中，并根据运动的局部特征自适应地调节局部颜色的采样窗口大小，并且加入形状信息；Price等人(LIVEcut:Learning-basedinteractivevideosegmentationbyevaluationofmultiplepropagatedcues.InIEEE.InIEEEInternationalConferenceonComputerVision,2009.电气电子工程师学会，计算机视觉国际会议)提出了LIVEcut方法，其将颜色、梯度、形状、时空、运动等信息，自适应的方式融合到图割的能量项中，虽然，Bai等人和Price等人各自提出的方法在处理背景比较复杂的帧时能取得较好的分割结果，但是在后续帧的分割中，需要用户的交互。

发明内容

本发明所要解决的技术问题是提供一种融合多线索的人体视频分割方法，其融合了颜色信息、运动信息和形状先验信息，减弱了时域上位于待处理帧之前的帧对待处理帧的影响，有效地避免后续帧在分割时出现扩大后续帧的前一帧分割错误影响的情况，且在后续帧的处理中，不再需要用户交互。

本发明解决上述技术问题所采用的技术方案为：一种融合多线索的人体视频分割方法，其特征在于：包括以下步骤：

①从一段含有人体的视频序列中取出其初始帧，采用HOG人体检测方法对初始帧进行人体检测，获得一个矩形的人体检测框，将初始帧内处于人体检测框外的所有像素点标记为背景像素点，然后标记出初始帧内处于人体检测框内的部分前景像素点和部分背景像素点，将标记出的所有前景像素点构成初始帧的前景区域，将标记出的所有背景像素点构成初始帧的背景区域，将初始帧内未标记的像素点确认为未知点；

②利用局部竞争的一类支持向量机分类模型，根据初始帧的前景区域在初始帧内的每个像素点的邻域窗口内构建一个前景模型，并根据初始帧的背景区域在初始帧内的每个像素点的邻域窗口内构建一个背景模型，然后通过获取初始帧内的每个未知点对应的前景模型和背景模型的得分，得到初始帧内的每个未知点对前景区域和背景区域的损失值，再根据初始帧内的每个未知点对前景区域和背景区域的损失值，对初始帧内的每个未知点进行重新标记，进一步将初始帧内的部分未知点标记为前景像素点或背景像素点，将标记为前景像素点的未知点加入到初始帧的前景区域中以更新初始帧的前景区域，将标记为背景像素点的未知点加入到初始帧的背景区域中以更新初始帧的背景区域，然后提取出重新标记后初始帧内仍未标记的像素点对更新前的初始帧的前景区域及更新前的初始帧的背景区域的损失值；

③在更新完初始帧的前景区域和初始帧的背景区域后，将初始帧内仍未标记的像素点作为初始帧的未知点，然后返回步骤②继续执行，直到完成N次迭代，得到N次迭代更新后获得的初始帧的前景区域和初始帧的背景区域、N次迭代更新后的初始帧内的未知点以及N次迭代更新后的初始帧内的每个未知点对N-1次迭代更新后获得的初始帧的前景区域和背景区域的损失值，其中，20≤N≤30；

④根据N次迭代更新后获得的初始帧的前景区域和初始帧的背景区域、N次迭代更新后的初始帧内的未知点、N-1次迭代更新后的初始帧的前景区域和背景区域，采用图割方法对N次迭代更新后的初始帧内的每个像素点进行处理，得到初始帧的分割结果，即得到初始帧的人体对象，然后将初始帧的下一帧作为当前帧，再执行步骤⑤；

⑤基于当前帧的上一帧的分割结果对当前帧进行分割处理，具体过程如下：

⑤-1、根据当前帧的上一帧的分割结果，预测得到当前帧的整体前景模型和整体背景模型；

⑤-2、利用当前帧的整体前景模型和整体背景模型对当前帧内的每个像素点进行标记，获得当前帧内的部分前景像素点和部分背景像素点，将获得的当前帧的所有前景像素点构成当前帧的前景区域，将获得的当前帧的所有背景像素点构成当前帧的背景区域，并将当前帧内未标记的像素点确定为未知点；

⑤-3、利用局部竞争的一类支持向量机分类模型，根据当前帧的前景区域在当前帧内的每个像素点的邻域窗口内构建一个前景模型，并根据当前帧的背景区域在当前帧内的每个像素点的邻域窗口内构建一个背景模型，然后通过获取当前帧内的每个未知点对应的前景模型和背景模型的得分，得到当前帧内的每个未知点对前景区域和背景区域的损失值，再根据当前帧内的每个未知点对前景区域和背景区域的损失值，对当前帧内的每个未知点进行重新标记，进一步将当前帧内的部分未知点标记为前景像素点或背景像素点，将标记为前景像素点的未知点加入到当前帧的前景区域中以更新当前帧的前景区域，将标记为背景像素点的未知点加入到当前帧的背景区域中以更新当前帧的背景区域，并得到M次重新标记后更新得到的当前帧的前景区域、背景区域、未知点以及M次重新标记后当前帧内的每个未知点对M-1次重新标记后的当前帧的前景区域及背景区域的损失值，其中，2≤M≤3；

⑤-4、通过光流法得到当前帧的预测分割结果，并通过光流法估计当前帧的上一帧中的人体对象在当前帧的前景边界，然后根据当前帧的预测分割结果以及当前帧的上一帧中的人体对象在当前帧的前景边界，获取当前帧内的每个像素点的形状先验信息；

⑤-5、根据当前帧内的每个像素点的形状先验信息以及M次迭代更新后的当前帧的前景区域和当前帧的背景区域，M次迭代更新后的当前帧的未知点，M-1次迭代更新后的当前帧的前景区域和当前帧的背景区域，采用二值图割方法对M次迭代更新后的当前帧内的每个像素点进行处理，得到当前帧的分割结果，即得到当前帧的人体对象；

⑥将当前帧的下一帧作为当前帧，然后返回步骤⑤继续执行，直到完成视频序列中所有帧的分割，得到分割后的视频序列。

所述的步骤②的具体过程为：

②-1、构建初始帧内的每个像素点对应的前景模型和背景模型：以初始帧内的每个像素点为中心，分别建立初始帧内的每个像素点的邻域窗口，在初始帧内的每个像素点的邻域窗口内，根据初始帧的前景区域，采用局部竞争的一类支持向量机分类模型构建初始帧内的每个像素点对应的前景模型，再根据初始帧的背景区域，采用局部竞争的一类支持向量机分类模型构建初始帧内的每个像素点对应的背景模型；

②-2、利用初始帧内的每个未知点对应的前景模型和背景模型，对初始帧内的每个未知点进行重新标记，并更新初始帧的前景区域和背景区域，具体过程为：

②-2a、将初始帧内当前待处理的未知点定义为当前未知点；

②-2b、获取当前未知点对应的前景模型和背景模型的得分，具体过程如下：如果当前未知点的邻域窗口内不存在前景像素点，则确定当前未知点对应的前景模型的得分为0；如果当前未知点的邻域窗口内不存在背景像素点，则确定当前未知点对应的背景模型的得分为0；如果当前未知点的邻域窗口内存在前景像素点，则根据当前未知点的邻域窗口内已标记的前景像素点，利用计算得到当前未知点对应的前景模型的得分；如果当前未知点的邻域窗口内存在背景像素点，则根据当前未知点的邻域窗口内已标记的背景像素点，利用计算当前未知点对应的背景模型的得分，其中，t表示局部竞争的一类支持向量机分类模型内的支持向量的数量，1≤i≤t-1，x′_i表示局部竞争的一类支持向量机分类模型内的第i个支持向量，α_i表示x′_i的权值，x_t为一个向量，x_t内的值分别为当前未知点的R颜色通道值、G颜色通道值和B颜色通道值，X()是一个指示函数，x′_i≠x_t表示x′_i与x_t不相同，当x′_i≠x_t成立时，X(x′_i≠x_t)的值为1，当x′_i≠x_t不成立时，X(x′_i≠x_t)的值为0，k()表示高斯核函数；

②-2c、根据当前未知点的前景模型和背景模型的得分以及最大池子组原理，得到当前未知点分别对前景区域和背景区域的损失值，然后将当前未知点对前景区域和背景区域的损失值作为重新标记当前未知点的依据，具体标记过程为：如果当前未知点对前景区域的损失值小于T_F ^low，且对背景区域的损失值大于T_B ^high，则将当前未知点重新标记为前景像素点；如果当前未知点对前景区域的损失值大于T_F ^high，且对背景区域的损失值小于T_B ^low时，则将该未知点重新标记为背景像素点，其中，T_F ^low表示用于判断未知点对前景区域的损失值的最小值，T_F ^high表示用于判断未知点对前景区域的损失值的最大值，T_B ^low表示用于判断未知点对背景区域的损失值的最小值，T_B ^high表示用于判断未知点对背景区域的损失值的最大值；

②-2d、将初始帧内下一个待处理的未知点作为当前未知点，然后返回步骤②-2b继续执行，直至初始帧内的每个未知点处理完毕；

②-2e、将标记为前景像素点的所有未知点加入到初始帧的前景区域中以更新初始帧的前景区域，将标记为背景像素点的所有未知点加入到初始帧的背景区域中以更新初始帧的背景区域，然后提取出初始帧内的仍未标记的像素点对更新前的前景区域及更新前的背景区域的损失值。

所述的步骤④中获取初始帧的分割结果的具体过程为：

④-1、假定N次迭代更新后的初始帧的前景区域中的每个前景像素点对N-1次迭代更新后的初始帧的前景区域的损失值为0，假定N次迭代更新后的初始帧的前景区域中的每个前景像素点对N-1次迭代更新后的初始帧的背景区域的损失值为1，假定N次迭代更新后的初始帧的背景区域中的每个背景像素点对N-1次迭代更新完成的初始帧的前景区域的损失值为1，假定N次迭代更新后的初始帧的背景区域中的每个背景像素点对N-1次迭代更新完成的初始帧的背景区域的损失值为0；

④-2、根据N次迭代更新后的初始帧内的每个像素点对N-1次迭代更新后获得的初始帧的前景区域和初始帧的背景区域的损失值，对图割方法的能量函数的一元项U(x_m)进行计算，其中，x_m表示N次迭代更新后的初始帧内的第m个像素点，M′表示视频序列中的每帧内包含的像素点的总个数，1≤m≤M′；

④-3、根据N次迭代更新后的初始帧内相邻两个像素点，对图割方法的能量函数的二元项V(x_m,x_j)进行计算，其中，m≠j，x_j表示N次迭代更新后的初始帧内的第j个像素点，1≤j≤M′，γ是常数，“||”是绝对值符号，e表示自然基数，β＝(2<d_mj>)^-1，<d_mj>表示d_mj的期望，d_mj＝||I_m-I_j||²，“||||”表示二范式符号，I_m内的值分别为x_m的R颜色通道值、G颜色通道值和B颜色通道值，I_j内的值分别为x_j的R颜色通道值、G颜色通道值和B颜色通道值；

④-4、根据图割方法的能量函数的一元项U(x_m)和二元项V(x_m,x_j)，获得图割方法的能量函数，记为E，然后利用最大流最小割算法最小化E，得到初始帧的分割结果，其中，D表示由N次迭代更新后的初始帧内的所有像素点构成的集合，N″表示由N次迭代更新后的初始帧内的所有的相邻两个像素点构成的集合。

所述的步骤⑤-3的具体过程为：

⑤-3-1、构建当前帧内的每个像素点对应的前景模型和背景模型：以当前帧内的每个像素点为中心，分别建立当前帧内的每个像素点的邻域窗口，在当前帧内的每个像素点的邻域窗口内，根据当前帧的前景区域，采用局部竞争的一类支持向量机分类模型构建当前帧内的每个像素点对应的前景模型，再根据当前帧的背景区域，采用局部竞争的一类支持向量机分类模型构建当前帧内的每个像素点对应的背景模型；

⑤-3-2、利用当前帧内的每个未知点对应的前景模型和背景模型，对当前帧内的每个未知点进行重新标记，并更新当前帧的前景区域和背景区域，具体过程为：

⑤-3-2a、将当前帧内当前待处理的未知点定义为当前处理未知点；

⑤-3-2b、获取当前处理未知点对应的前景模型和背景模型的得分，具体过程如下：如果当前处理未知点的邻域窗口内不存在前景像素点，则确定当前处理未知点对应的前景模型的得分为0；如果当前处理未知点的邻域窗口内不存在背景像素点，则确定当前处理未知点对应的背景模型的得分为0；如果当前处理未知点的邻域窗口内存在前景像素点，则根据当前处理未知点的邻域窗口内已标记的前景像素点，利用计算得到当前处理未知点对应的前景模型的得分；如果当前处理未知点的邻域窗口内存在背景像素点，则根据当前处理未知点的邻域窗口内已标记的背景像素点，利用计算当前处理未知点对应的背景模型的得分，其中，t表示局部竞争的一类支持向量机分类模型内的支持向量的数量，1≤i≤t-1，x′_i表示局部竞争的一类支持向量机分类模型内的第i个支持向量，α_i表示x′_i的权值，x_t′为一个向量，x_t′内的值分别为当前处理未知点的R颜色通道值、G颜色通道值和B颜色通道值，X()是一个指示函数，x′_i≠x_t′表示x′_i与x_t′不相同，当x′_i≠x_t′成立时，X(x′_i≠x_t′)的值为1，当x′_i≠x_t′不成立时，X(x′_i≠x_t′)的值为0，k()表示高斯核函数；

⑤-3-2c、根据当前处理未知点的前景模型和背景模型的得分以及最大池子组原理，得到当前处理未知点分别对前景区域和背景区域的损失值，然后将当前处理未知点对前景区域和背景区域的损失值作为重新标记当前处理未知点的依据，具体标记过程为：如果当前处理未知点对前景区域的损失值小于T_F ^low，且对背景区域的损失值大于T_B ^high，则将当前处理未知点重新标记为前景像素点；如果当前处理未知点对前景区域的损失值大于T_F ^high，且对背景区域的损失值小于T_B ^low时，则将该未知点重新标记为背景像素点，其中，T_F ^low表示用于判断未知点对前景区域的损失值的最小值，T_F ^high表示用于判断未知点对前景区域的损失值的最大值，T_B ^low表示用于判断未知点对背景区域的损失值的最小值，T_B ^high表示用于判断未知点对背景区域的损失值的最大值；

⑤-3-2d、将当前帧内下一个待处理的未知点作为当前处理未知点，然后返回步骤⑤-3-2b继续执行，直至当前帧内的每个未知点处理完毕；

⑤-3-2e、将标记为前景像素点的所有未知点加入到当前帧的前景区域中以更新当前帧的前景区域，将标记为背景像素点的所有未知点加入到当前帧的背景区域中以更新当前帧的背景区域，然后提取出当前帧内的仍未标记的像素点对更新前的前景区域及更新前的背景区域的损失值；

⑤-3-3、在更新完当前帧的前景区域和当前帧的背景区域后，将当前帧内仍为未标记的像素点作为当前帧的未知点，返回步骤⑤-3-1继续执行，直到完成M次迭代，得到M次迭代更新后获得的当前帧的前景区域和当前帧的背景区域、M次迭代更新后的当前帧内的未知点以及M次迭代更新后的当前帧内的每个未知点对M-1次迭代更新后获得的当前帧的前景区域和背景区域的损失值。

所述的步骤②和所述的步骤⑤-3中的邻域窗口的大小为33×33。

所述的步骤②-2c和所述的步骤⑤-3-2c中的T_F ^low取0.2，T_F ^high取0.4，T_B ^low取0.3，T_B ^high取0.4。

所述的步骤⑤-4中通过光流法估计得到当前帧的上一帧中的人体对象在当前帧的前景边界后，对该前景边界进行形态学的操作，获得封闭的前景边界，再根据当前帧的预测分割结果以及该封闭的前景边界，获取当前帧内的每个像素点的形状先验信息。

所述的步骤⑤-4中获取当前帧的上一帧中的人体对象在当前帧的前景边界以及当前帧内的每个像素点的形状先验信息的具体过程为：

⑤-4a、采用光流法对当前帧的上一帧的前景区域进行光流计算，得到一个当前帧的上一帧中的人体对象在当前帧的前景边界，具体过程为：1)将当前帧的上一帧的前景区域内当前待处理的像素点记为2)将在当前帧的上一帧中的坐标位置记为p₂，然后通过光流法计算得到在当前帧中的坐标位置，记为p₂′其中，表示在区域内的局部平均光流向量，表示以为中心的邻域窗口，符号“∩”为交集运算符号，Ω_F为当前帧的上一帧的前景区域；3)将当前帧的上一帧的前景区域内下一个待处理的像素点记为然后返回步骤2)继续执行，直到当前帧的上一帧的前景区域内的所有像素点处理完毕，得到当前帧的上一帧的前景区域内的每个像素点在当前帧中的坐标位置，进而得到当前帧的上一帧中的人体对象在当前帧的前景边界；

⑤-4b、计算当前帧内的每个像素点到当前帧的上一帧中的人体对象在当前帧的前景边界的距离，将当前帧内的第k′个像素点x_k′到当前帧的上一帧中的人体对象在当前帧的前景边界的距离记为 其中，1≤k′≤M′，M′表示视频序列中的每帧内包含的像素点的总个数，d(x_k′)表示x_k′到当前帧的上一帧中的人体对象在当前帧的前景边界的欧式距离，δ_s是一个用于调节形状先验信息对二值图割方法的一元项的影响的大小的参数；

⑤-4c、根据当前帧内的每个像素点到当前帧的上一帧中的人体对象在当前帧的前景边界的距离，及当前帧的预测分割结果，得到当前帧内的每个像素点的形状先验信息，将当前帧内的第k′个像素点的形状先验信息记为f_s(x_k′),A(x_k′)＝min{0-L′_u+1(x_k′),1-L′_u+1(x_k′)}，其中，L′_u+1(x_k′)表示x_k′在当前帧的预测分割结果中的标记，如果x_m′在当前帧的预测分割结果中为前景像素点，则L′_u+1(x_k′)＝1，如果x_k′在当前帧的预测分割结果中为背景像素点，则L′_u+1(x_k′)＝0，“min{}”为取最小值函数，“min{0-L′_u+1(x_k′),1-L′_u+1(x_k′)}”表示取出0-L′_u+1(x_k′)和1-L′_u+1(x_k′)中的最小值，符号“||”为取绝对值符号。

所述的步骤⑤-4a中的邻域窗口的大小为5×5。

所述的步骤⑤-5中利用二值图割方法对当前帧进行分割的具体过程为：

⑤-5-1、假定M次迭代更新后的当前帧的前景区域中的每个前景像素点对M-1次迭代更新后的当前帧的前景区域的损失值为0，假定M次迭代更新后的当前帧的前景区域中的每个前景像素点对M-1次迭代更新后的当前帧的背景区域的损失值为1，假定M次迭代更新后的当前帧的背景区域中的每个背景像素点对M-1次迭代更新后的当前帧的前景区域的损失值为1，假定M次迭代更新后的当前帧的背景区域中的每个背景像素点对M-1次迭代更新后的当前帧的背景区域的损失值0；

⑤-5-2、根据当前帧内的每个像素点的形状先验信息以及M次迭代更新后的当前帧内的每个像素点对M-1次迭代更新后的当前帧的前景区域和背景区域的损失值，得到二值图割方法的一元项，记为U(x_m′,L_m′)，U(x_m′,L_m′)＝αf_c(x_m′)+(1-α)f_s(x_k′)，其中，k′＝m′，x_m′为M次迭代更新后的当前帧内的第m′个像素点，1≤m′≤M′，L_m′表示x_m′的标记，当x_m′为背景像素点时，L_m′的值为0，当x_m′为前景像素点时，L_m′的值为1，当x_m′为未知点时，L_m′的值为2， $\mathrm{\&alpha;}=\left\{\begin{array}{cc}1.0& \left|l_F\left(x_{m^{\&prime;}}\right)-l_B\left(x_{m^{\&prime;}}\right)\right|>f_{cutoff}\\ \frac{\left|l_F\left(x_{m^{\&prime;}}\right)-l_B\left(x_{m^{\&prime;}}\right)\right|}{{f_{cutoff}}^2}& \left|l_F\left(x_{m^{\&prime;}}\right)-l_B\left(x_{m^{\&prime;}}\right)\right|\&le;f_{cutoff}\end{array}\right.,$ f_cutoff是一个阈值，l_F(x_m′)表示x_m′对M-1次迭代更新后的当前帧的前景区域的损失值，l_B(x_m′)表示x_m′对M-1次迭代更新后的当前帧的背景区域的损失值，f_c(x_m′)的值根据x_m′对M-1次迭代更新后的当前帧的前景区域的损失值和x_m′对M-1次迭代更新后的当前帧的背景区域的损失值计算得到，f_s(x_k′)表示形状先验信息；

⑤-5-3、根据M次迭代更新后的当前帧中的相邻两个像素点，对二值图割方法的二元项V(x_m′,x_j′)进行计算：其中，m′≠j′，x_j′表示M次迭代更新后的当前帧的第j个像素点，γ是常数，“||”是绝对值符号，e表示自然基数，β′＝(2<d_m′j′>)^-1，<d_m′j′>表示d_m′j′的期望，d_m′j′＝||I_m′-I_j′||²，“||||”表示二范式符号，I_m′内的值分别为x_m′的R颜色通道值、G颜色通道值和B颜色通道值，I_j′内的值分别为x_j′的R颜色通道值、G颜色通道值和B颜色通道值；

⑤-5-4、根据二值图割方法的一元项U(x_m′,L_m′)和二元项V(x_m′,x_j′)，计算二值图割方法中的能量函数，记为E′，通过最大流最小割算法最小化E′，得到当前帧的分割结果，其中，D′表示M次迭代更新后的当前帧内的所有像素点的集合，N′表示M次迭代更新后的当前帧内的所有的相邻两个像素点的集合。

与现有技术相比，本发明的优点在于：在初始帧的人体对象分割过程中，首先在基于简单交互的基础上标记初始帧的前景像素点和背景像素点，然后根据初始帧的标记的前景像素点和背景像素点建立前景模型和背景模型，并通过前景模型和背景模型完成初始帧的所有像素点的初步标记，最终通过图割方法获得初始帧的分割结果，得到初始帧的人体对象；在后续帧的人体对象分割过程中，首先基于后续帧的前一帧的前景模型和背景模型获得后续帧的前景模型和背景模型并获得后续帧的初始标记，然后通过融合后续帧的运动信息以及由此获得的后续帧的形状先验信息，再采用二值图割方法获得后续帧的人体对象分割结果；这种融合多线索的人体视频分割方法能使前景和背景颜色信息、运动信息和形状信息在后续帧之间进行传递并能更新后续帧的前景模型和背景模型，减弱了时域上位于待处理帧之前的帧对待处理帧的影响，有效地避免后续帧在分割时出现扩大后续帧的前一帧分割错误影响的情况，获得准确的人体分割结果，且不再需要用户的交互。

附图说明

图1为本发明方法的基本流程框图；

图2为以像素点p为中心的邻域窗口Ω_p的示意图；

图3a为初始帧通过HOG方法获得的检测框以及当前帧的初始标记示意图；

图3b为初始帧一次迭代后的结果，其中黑色表示背景，白色表示前景，灰色表示未标记；

图3c为初始帧两次迭代后的结果；

图3d为初始帧二十次迭代后的结果；

图3e为初始帧的分割结果；

图3f为当前帧的图像；

图3g为当前帧的初步标记；

图3h为当前帧的形状先验信息；

图3i为当前帧的前景像素点的分布图；

图3j为颜色信息与形状先验相融合后的当前帧的前景像素点的分布图；

图3k为当前帧的分割结果；

图4为在区域内的平均光流向量的示意图；

图5为局部平均的帧差e(x_k′)所在的邻域的示意图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本实施例提出了一种融合多线索的人体视频分割方法，其基本流程框图如图1所示，包括以下步骤：

①如图3a所示，从一段含有人体的视频序列中取出其初始帧，采用HOG人体检测方法对初始帧进行人体检测，获得一个矩形的人体检测框，将初始帧内处于人体检测框外的所有像素点标记为背景像素点，然后实验人员根据自身的判断，在人体检测框内标记出能明显判断为前景和背景的像素点，得到初始帧内处于人体检测框内的部分前景像素点和部分背景像素点，将所有前景像素点(仅存在在人体检测框内)构成初始帧的前景区域，将所有背景像素点(包括人体检测框外的和人体检测框内的)构成初始帧的背景区域，将初始帧内未标记的像素点确认为未知点。

②利用局部竞争的一类支持向量机分类模型，根据初始帧的前景区域在初始帧的每个像素点的邻域窗口内构建一个前景模型(F_p模型)，并根据初始帧的背景区域在初始帧内的每个像素点的邻域窗口内构建一个背景模型(B_p模型)，然后通过获取初始帧内的每个未知点对应的前景模型和背景模型的得分，得到初始帧内的每个未知点对前景区域和背景区域的损失值，再根据初始帧内的每个未知点对前景区域和背景区域的损失值，对初始帧内的每个未知点进行重新标记，进一步将初始帧内的部分未知点标记为前景像素点或背景像素点，将标记为前景像素点的未知点加入到初始帧的前景区域中以更新初始帧的前景区域，将标记为背景像素点的未知点加入到初始帧的背景区域中以更新初始帧的背景区域，并得到重新标记后初始帧内的未知点对更新前的初始帧的前景区域及更新前的初始帧的背景区域的损失值，具体过程为：

②-1、利用两个局部C-1SVM(竞争的一类支持向量机)分类模型，构建初始帧内的每个像素点对应的前景模型和背景模型，具体过程为：以初始帧内的每个像素点为中心，分别建立初始帧的每个像素点的邻域窗口，在初始帧的每个像素点的邻域窗口内，根据初始帧的前景区域，采用局部竞争的一类支持向量机分类模型构建初始帧的F_p模型，再根据初始帧的背景区域，采用局部竞争的一类支持向量机分类模型构建初始帧的B_p模型。构建得到的F_p模型和B_p模型是局部的颜色模型，具有比较强的判别能力，能处理动态的背景场景，且这两个模型所采用的算法是并行算法结构，这就使得这两个模型能通过图形处理器(GPU)进行算法的加速，计算比较快。

如图2，在具体实施过程中，使用的邻域窗口Ω_p大小为33×33。为了减少计算量，根据最大池子组原理，用最大的子窗口的得分表示作为整个窗口的得分。将窗口Ω_p分成25个5×5的子窗口子窗口之间相隔2个像素，符号和表示像素点p的邻域窗口Ω_p的子窗口的前景和背景模型。

②-2、利用初始帧内的每个像素点对应的F_p模型和B_p模型，对初始帧内的每个未知点进行重新标记，并更新初始帧的前景区域和背景区域，具体过程为：

②-2a、将初始帧内当前待处理的未知点定义为当前未知点。

②-2b、获取当前未知点对应的前景模型和背景模型的得分，具体过程如下：如果当前未知点的邻域窗口内不存在前景像素点，则确定当前未知点对应的前景模型的得分为0；如果当前未知点的邻域窗口内不存在背景像素点，则确定当前未知点对应的背景模型的得分为0；如果当前未知点的邻域窗口内存在前景像素点，则根据当前未知点的邻域窗口内已标记的前景像素点，利用计算得到当前未知点对应的前景模型的得分；如果当前未知点的邻域窗口内存在背景像素点，则根据当前未知点的邻域窗口内已标记的背景像素点，利用计算当前未知点对应的背景模型的得分，其中，t表示局部竞争的一类支持向量机分类模型内的支持向量的数量，1≤i≤t-1，x′_i表示局部竞争的一类支持向量机分类模型内的第i个支持向量，α_i表示x′_i的权值，x_t为一个向量，x_t内的值分别为当前未知点的R颜色通道值、G颜色通道值和B颜色通道值，X()是一个指示函数，x′_i≠x_t表示x′_i与x_t不相同，当x′_i≠x_t成立时，X(x′_i≠x_t)的值为1，当x′_i≠x_t不成立时，X(x′_i≠x_t)的值为0，k()表示高斯核函数。

②-2c、根据当前未知点的前景模型和背景模型的得分以及最大池子组原理，得到当前未知点分别对前景区域和背景区域的损失值。在这个过程中，同时引入一个空间衰减参数τ_spatial，在具体实施过程中取τ_spatial＝0.4。然后将当前未知点对前景区域和背景区域的损失值作为重新标记当前未知点的依据，具体标记过程为：如果当前未知点对前景区域的损失值小于T_F ^low，且对背景区域的损失值大于T_B ^high，则将当前未知点重新标记为前景像素点；如果当前未知点对前景区域的损失值大于T_F ^high，且对背景区域的损失值小于T_B ^low时，则将该未知点重新标记为背景像素点，其中，T_F ^low表示用于判断未知点对前景区域的损失值的最小值，T_F ^high表示用于判断未知点对前景区域的损失值的最大值，T_B ^low表示用于判断未知点对背景区域的损失值的最小值，T_B ^high表示用于判断未知点对背景区域的损失值的最大值，在实际操作过程中，T_F ^low取0.2，T_F ^high取0.4，T_B ^low取0.3，T_B ^high取0.4。

②-2d、将初始帧内下一个待处理的未知点作为当前未知点，然后返回步骤②-2b继续执行，直至初始帧内的每个未知点处理完毕。

②-2e、将标记为前景像素点的所有未知点加入到初始帧的前景区域中以更新初始帧的前景区域，将标记为背景像素点的所有未知点加入到初始帧的背景区域中以更新初始帧的背景区域，然后提取出初始帧内的仍未标记的像素点，即重新标记后初始帧内仍为未知点的像素点对更新前的前景区域及更新前的背景区域的损失值。

本实施例中，利用两个局部C-1SVM(竞争的一类支持向量机)分类模型，构建初始帧内的每个像素点对应的前景模型和背景模型的具体算法如下：a-1)将初始帧记为I^t，并输入一个像素点的三分图标记L^t，将初始帧中当前待处理的像素点记为p；a-2)当p为背景像素点时，L^t＝0，当p为前景像素点时，L^t＝1，当p为未知点时，L^t＝2；a-3)对于以p为中心的邻域窗口的每个子窗口中的每个像素点q，如果L^t＝1，根据f_t(x_t)和α_t训练每个子窗口的模型；如果L^t＝0，根据f_t(x_t)和α_t训练每个子窗口的模型，其中， $f_t\left(x_t\right)=\underset{i=1}{\overset{t-1}{\&Sigma;}}{\mathrm{\&alpha;}}_{i}X(x_i\&NotEqual;x_t)k(x_i,x_t),{\mathrm{\&alpha;}}_t=clamp(\frac{\mathrm{\&gamma;}-f_t\left(x_t\right)}{k(x_t,x_t)},0,(1-\mathrm{\&tau;})C),$ 中，表示函数clamp的最小数值，0表示函数clamp的最大数值，(1-τ)C表示函数clamp的参数，当(1-τ)C处于与0之间时，clamp返回(1-τ)C，当(1-τ)C大于0，clamp返回0，当(1-τ)C小于clamp返回γ为一个常数，一般取1；a-4)将初始帧内下一个待处理的像素点记为p，然后返回步骤a-2)继续执行，直到处理完初始帧内的每一个像素点。

在本实施例中，标记初始帧内的每个未知点的具体算法如下：b-1)将初始帧记为I^t，由实验人员设定用于判断F_p得分的T_F ^low和T_F ^high以及用于判断B_p得分的T_B ^low和T_B ^high；2)将在p的邻域窗口的每个子窗口内的当前待处理的未知点记为p₁，令f_F(p)＝0，f_B(p)＝0；3)计算p₁对初始帧的前景区域和初始帧的背景区域的损失值，分别记为l_F(p₁)、l_B(p₁)，l_F(p₁)＝γ-f_F(p₁)，l_B(p₁)＝γ-f_B(p₁)，其中，I^t(p₁)表示像素点p₁的R颜色通道值、G颜色通道值和B颜色通道值，max()表示取参数中的最大值，f_F(p₁)表示像素点p₁的所在的邻域窗口内的F_p得分，f_B(p₁)表示像素点p₁所在的邻域窗口内的B_p得分，表示子窗口内的F_p得分，表示子窗口内的B_p得分，4)当l_F(p₁)<T_F ^low且l_B(p₁)>T_B ^high时，将p₁标记为前景像素点，当l_B(p₁)<T_B ^low且l_F(p₁)>T_F ^high时，将p₁标记为背景像素点；5)将当前下一个待处理的未知点记为p₁，返回步骤3)继续执行，直到完成初始帧的所有未知点的处理。由于这种利用双阈值进行未知点标记的方法的判断条件比较严，因此得到的标记结果比较准确。

③在更新完初始帧的前景区域和初始帧的背景区域后，将初始帧内仍未标记的像素点作为初始帧的未知点，然后返回步骤②继续执行，直到完成N次迭代，得到N次迭代更新后获得的初始帧的前景区域和初始帧的背景区域、N次迭代更新后的初始帧内的未知点以及N次迭代更新后的初始帧内的每个未知点对N-1次迭代更新后获得的初始帧的前景区域和背景区域的损失值。其中考虑到迭代后得到的初始帧的标记结果以及整体过程的复杂度，N的范围为20≤N≤30。如图3b，是初始帧完成1次迭代后的标记结果，如图3c，是初始帧完成2次迭代后的标记结果，如图3d，是初始帧完成20次迭代后的标记结果，由这三幅可见，迭代次数越多，得到的标记结果越准确。

④根据N次迭代更新后获得的初始帧的前景区域和初始帧的背景区域、N次迭代更新后的初始帧内的未知点、N-1次迭代更新后的初始帧的前景区域和背景区域，采用图割方法对N次迭代更新后的初始帧内的每个像素点进行处理，得到初始帧的分割结果(如图3e)，即得到初始帧的人体对象，然后将初始帧的下一帧作为当前帧，再执行步骤⑤。其中，得到初始帧的分割结果的具体过程为：

④-1、假定N次迭代更新后的初始帧的前景区域中的每个前景像素点对N-1次迭代更新后的初始帧的前景区域的损失值为0，假定N次迭代更新后的初始帧的前景区域中的每个前景像素点对N-1次迭代更新后的初始帧的背景区域的损失值为1，假定N次迭代更新后的初始帧的背景区域中的每个背景像素点对N-1次迭代更新完成的初始帧的前景区域的损失值为1，假定N次迭代更新后的初始帧的背景区域中的每个背景像素点对N-1次迭代更新完成的初始帧的背景区域的损失值为0。

④-2、根据N次迭代更新后的初始帧内的每个像素点(包括所有的前景像素点、背景像素点和未知点)对N-1次迭代更新后获得的初始帧的前景区域和初始帧的背景区域的损失值，对图割方法的能量函数的一元项U(x_m)进行计算，其中，x_m表示N次迭代更新后的初始帧内的第m个像素点，1≤m≤M′，M′表示视频序列中的每帧内包含的像素点的总个数。

④-3、根据N次迭代更新后的初始帧内相邻两个像素点，对图割方法的能量函数的二元项V(x_m,x_j)进行计算，其中，m≠j，x_j表示N次迭代更新后的初始帧内的第j个像素点，1≤j≤M′，γ是常数，在具体实施过程中一般取1，“||”是绝对值符号，e表示自然基数，β＝(2<d_mj>)^-1，<d_mj>表示d_mj的期望，d_mj＝||I_m-I_j||²，“||||”表示二范式符号，I_m内的值分别为x_m的R颜色通道值、G颜色通道值和B颜色通道值，I_j内的值分别为x_j的R颜色通道值、G颜色通道值和B颜色通道值。

④-4、根据图割方法的能量函数的一元项U(x_m)和二元项V(x_m,x_j)，获得图割方法的能量函数，记为E，然后利用最大流最小割算法最小化E，得到初始帧的分割结果，其中，D表示由N次迭代更新后的初始帧内的所有像素点构成的集合，N″表示由N次迭代更新后的初始帧内的所有的相邻两个像素点构成的集合。

⑤基于当前帧的上一帧的分割结果对当前帧(如图3f)进行处理，具体过程如下：

⑤-1、根据当前帧的上一帧的分割结果，得到当前帧的整体前景模型和整体背景模型，由于当前帧的上一帧的分割结果已确定，每个像素点的颜色信息是已知的，所以只要根据当前帧的上一帧的分割结果就能预测得到的当前帧的整体前景模型和整体背景模型，这种预测方式助于减少后续帧的不确定点的数量，提高后续帧的分割精度。

⑤-2、利用当前帧的整体前景模型和整体背景模型对当前帧内的每个像素点进行标记，从而获得当前帧内的部分前景像素点和部分背景像素点(如图3g)，将获得的当前帧的所有前景像素点构成当前帧的前景区域，将获得的当前帧的所有背景像素点构成当前帧的背景区域，并将未标记的当前帧的像素点确定为未知点。

在具体实施过程中，当前帧的上一帧分割后的前景边界和背景边界可能出现错分的情况，用这些错分的像素点对当前帧内的像素点进行F_p模型和B_p模型的训练，会导致错误的标记的传播，所以对分割好的当前帧的上一帧的前景边界和背景边界先进行2个像素的腐蚀操作，去除错分像素点的影响，然后再根据当前帧的上一帧的分割结果获得当前帧的整体前景模型和整体背景模型，再用当前帧的整体前景模型和整体背景模型对当前帧进行M次迭代，并对当前帧的前一帧的F_p模型和B_p模型中的支持向量的权值进行衰减，其衰减因子为1-τ_spatial，设置该衰减因子后，就使得越靠近当前待处理帧的帧对当前待处理的帧的影响越大。

⑤-3、利用局部竞争的一类支持向量机分类模型，根据当前帧的前景区域在当前帧内的每个像素点的邻域窗口内构建一个前景模型，并根据当前帧的背景区域在当前帧内的每个像素点的邻域窗口内构建一个背景模型，然后通过获取当前帧内的每个未知点对应的前景模型和背景模型的得分，得到当前帧内的每个未知点对前景区域和背景区域的损失值，再根据当前帧内的每个未知点对前景区域和背景区域的损失值，对当前帧内的每个未知点进行重新标记，进一步将当前帧内的部分未知点标记为前景像素点或背景像素点，将标记为前景像素点的未知点加入到当前帧的前景区域中以更新当前帧的前景区域，将标记为背景像素点的未知点加入到当前帧的背景区域中以更新当前帧的背景区域，并得到M次重新标记后更新得到的当前帧的前景区域、背景区域、未知点以及M次重新标记后当前帧内的未知点对M-1次重新标记后的当前帧的前景区域及背景区域的损失值，其中M的取值范围为2≤M≤3。当前帧的前景像素点的分布图如图3i所示。

本实施例中，步骤⑤-3的具体过程为：

⑤-3-1、构建当前帧内的每个像素点对应的前景模型和背景模型：以当前帧内的每个像素点为中心，分别建立当前帧内的每个像素点的邻域窗口，在当前帧内的每个像素点的邻域窗口内，根据当前帧的前景区域，采用局部竞争的一类支持向量机分类模型构建当前帧内的每个像素点对应的前景模型，再根据当前帧的背景区域，采用局部竞争的一类支持向量机分类模型构建当前帧内的每个像素点对应的背景模型。

⑤-3-2、利用当前帧内的每个未知点对应的前景模型和背景模型，对当前帧内的每个未知点进行重新标记，并更新当前帧的前景区域和背景区域，具体过程为：

⑤-3-2a、将当前帧内当前待处理的未知点定义为当前处理未知点。

⑤-3-2b、获取当前处理未知点对应的前景模型和背景模型的得分，具体过程如下：如果当前处理未知点的邻域窗口内不存在前景像素点，则确定当前处理未知点对应的前景模型的得分为0；如果当前处理未知点的邻域窗口内不存在背景像素点，则确定当前处理未知点对应的背景模型的得分为0；如果当前处理未知点的邻域窗口内存在前景像素点，则根据当前处理未知点的邻域窗口内已标记的前景像素点，利用计算得到当前处理未知点对应的前景模型的得分；如果当前处理未知点的邻域窗口内存在背景像素点，则根据当前处理未知点的邻域窗口内已标记的背景像素点，利用计算当前处理未知点对应的背景模型的得分，其中，t表示局部竞争的一类支持向量机分类模型内的支持向量的数量，1≤i≤t-1，x′_i表示局部竞争的一类支持向量机分类模型内的第i个支持向量，α_i表示x′_i的权值，x_t′为一个向量，x_t′内的值分别为当前处理未知点的R颜色通道值、G颜色通道值和B颜色通道值，X()是一个指示函数，x′_i≠x_t′表示x′_i与x_t′不相同，当x′_i≠x_t′成立时，X(x′_i≠x_t′)的值为1，当x′_i≠x_t′不成立时，X(x′_i≠x_t′)的值为0，k()表示高斯核函数。

⑤-3-2c、根据当前处理未知点的前景模型和背景模型的得分以及最大池子组原理，得到当前处理未知点分别对前景区域和背景区域的损失值，然后将当前处理未知点对前景区域和背景区域的损失值作为重新标记当前处理未知点的依据，具体标记过程为：如果当前处理未知点对前景区域的损失值小于T_F ^low，且对背景区域的损失值大于T_B ^high，则将当前处理未知点重新标记为前景像素点；如果当前处理未知点对前景区域的损失值大于T_F ^high，且对背景区域的损失值小于T_B ^low时，则将该未知点重新标记为背景像素点，其中，T_F ^low表示用于判断未知点对前景区域的损失值的最小值，T_F ^high表示用于判断未知点对前景区域的损失值的最大值，T_B ^low表示用于判断未知点对背景区域的损失值的最小值，T_B ^high分别表示用于判断未知点对背景区域的损失值的最大值，在实际操作过程中，T_F ^low取0.2，T_F ^high取0.4，T_B ^low取0.3，T_B ^high取0.4。

⑤-3-3、在更新完当前帧的前景区域和当前帧的背景区域后，将当前帧内仍为未标记的像素点作为当前帧的未知点，返回步骤⑤-3-1继续执行，直到完成M次迭代，得到M次迭代更新后获得的当前帧的前景区域和当前帧的背景区域、M次迭代更新后的当前帧内的未知点以及M次迭代更新后的当前帧内的未知点对M-1次迭代更新后获得的当前帧的前景区域和背景区域的损失值。

⑤-4、通过光流法得到当前帧的预测分割结果，并通过光流法估计当前帧的上一帧中的人体对象在当前帧的前景边界，然后根据当前帧的预测分割结果以及当前帧的上一帧中的人体对象在当前帧的前景边界，获取当前帧内的每个像素点的形状先验信息。获取到的当前帧的形状先验信息如图3h所示。由于通过光流法估计得到的当前帧的上一帧的的人体对象在当前帧的轮廓时，会存在异常点，因此在具体过程中对光流法估计得到的当前帧的前景边界进行形态学的操作，获得封闭的当前帧的前景边界，再利用当前帧的预测分割结果以及该封闭的当前帧的前景边界，获取当前帧内的每个像素点的形状先验信息。

本实施例中，形状先验信息用基于封闭轮廓计算得到的形状概率表示，获取当前帧的上一帧的人体对象在当前帧的前景边界以及当前帧内的每个像素点的形状先验信息的具体过程为：

⑤‐4a、采用光流法对当前帧的上一帧的前景区域进行光流计算，得到一个当前帧的上一帧中的人体对象在当前帧的前景边界，具体过程为：1)将当前帧的上一帧的前景区域内当前待处理的像素点记为2)将的位置记为p₂，通过光流法计算得到在当前帧的位置，记为p₂′，其中，如图4所示，表示在区域内的局部平均光流向量，表示以当前帧的上一帧的像素点为中心的邻域窗口，符号“∩”表示交集运算符，Ω_F为当前帧的上一帧的前景区域；3)将当前帧的上一帧的前景区域内当前待处理的像素点的下一个像素点记为返回步骤2)继续执行，直到完成当前帧的上一帧的前景区域内的所有像素点的处理，得到一个当前帧的上一帧的人体对象在当前帧的前景边界。由于光流法不能准确地估计非刚性的人体运动，因此单独应用光流法获得的分割边界不是很准确，故在本实施例中采取平均光流向量。

⑤-4b、计算当前帧内的每个像素点到当前帧的上一帧中的人体对象在当前帧的前景边界的距离，将当前帧内的第k′个像素点x_k′到当前帧的上一帧中的人体对象在当前帧的前景边界的距离记为 其中，1≤k′≤M′，M′表示视频序列中的每帧内包含的像素点的总个数，d(x_k′)表示x_k′到当前帧的上一帧中的人体对象在当前帧的前景边界的欧式距离，δ_s是一个参数，通过调节δ_s能够控制f_s(x_k′)对二值图割方法的一元项的影响。δ_s是通过计算局部平均的帧差e(x_k′)来进行调节控制的，局部平均的帧差的计算公式为：其中，符号“∈”是属于符号，符号“∩”是交集符号，符号“||||”是二范式符号，如图5所示，N_k′是以当前帧的像素点x_k′为中心的邻域，I′_t表示当前帧的上一帧通过光流法预测得到的图像，Ω′_F表示根据当前帧的上一帧分割后的前景区域，通过光流法预测得到的当前帧的下一帧的分割结果以二进制值0和1显示，n是在邻域内为前景像素点的个数，由于e(x_k′)与δ_s为线性关系，所以只要通过调节e(x_k′)就能完成对的δ_s的自动调节。

⑤-4c、根据当前帧内的每个像素点到当前帧的上一帧中的人体对象在当前帧的前景边界的距离，及当前帧的预测分割结果，得到当前帧内的每个像素点的形状先验信息，将当前帧内的第k′个像素点的形状先验信息记为f_s(x_k′)，A(x_k′)＝min{0-L′_u+1(x_k′),1-L′_u+1(x_k′)}，其中，L′_u+1(x_k′)表示x_k′在当前帧的预测分割结果中的标记，如果x_m′在当前帧的预测分割结果中为前景像素点，则L′_u+1(x_k′)＝1，如果x_k′在当前帧的预测分割结果中为背景像素点，则L′_u+1(x_k′)＝0，“min”为取最小值函数，“min{0-L′_u+1(x_k′),1-L′_u+1(x_k′)}”表示取出0-L′_u+1(x_k′)和1-L′_u+1(x_k′)中的最小值，符号“||”为取绝对值符号。当前景像素点和背景像素点的颜色比较接近时，或前景区域和背景区域内出现具有新的颜色的像素点时，邻域窗口内的前景模型和背景模型可能无法判断这些像素点的标记，从而导致像素点的错误分割，而形状先验信息的融合，可以有效地降低前一帧错误分割的像素点对后续帧分割时的不利影响。

⑤-5、根据当前帧内的每个像素点的形状先验信息以及M次迭代更新后的当前帧的前景区域和当前帧的背景区域，M迭代更新后的当前帧的未知点，M-1次迭代更新后的当前帧的前景区域和当前帧的背景区域，采用二值图割方法对M次迭代更新后的当前帧内的每个像素点进行处理，得到当前帧的分割结果，即得到当前帧的人体对象(如图3k所示)，颜色与形状先验信息相融合的当前帧的前景像素点的分布示意图如图3j所示，利用二值图割方法对当前帧进行分割的具体过程为：

⑤-5-1、假定M次迭代更新后的当前帧的前景区域中的每个前景像素点对M-1次迭代更新后的当前帧的前景区域的损失值为0，假定M次迭代更新后的当前帧的前景区域中的每个前景像素点对M-1次迭代更新后的当前帧的背景区域的损失值为1，假定M次迭代更新后的当前帧的背景区域中的每个背景像素点对M-1次迭代更新后的当前帧的前景区域的损失值为1，假定M次迭代更新后的当前帧的背景区域中的每个背景像素点对M-1次迭代更新后的当前帧的背景区域的损失值0。

⑤-5-2、根据M次迭代更新后的当前帧内的每个像素点(前景像素点、背景像素点和未知点)对M-1次迭代更新后的当前帧的前景区域和背景区域的损失值以及当前帧的上一帧的人体对象在当前帧的形状先验信息，得到二值图割方法的一元项，记为U(x_m′,L_m′)，U(x_m′,L_m′)＝αf_c(x_m′)+(1-α)f_s(x_k′)，其中，k′＝m′，x_m′为M次迭代更新后的的当前帧内的第m′个像素点，1≤m′≤M′，L_m′表示x_m′的标记，当x_m′为背景像素点时，L_m′的值为0，当x_m′为前景像素点时，L_m′的值为1，当x_m′为未知点时，L_m′的值为2， $\mathrm{\&alpha;}=\left\{\begin{array}{cc}1.0& \left|l_F\left(x_{m^{\&prime;}}\right)-l_B\left(x_{m^{\&prime;}}\right)\right|>f_{cutoff}\\ \frac{\left|l_F\left(x_{m^{\&prime;}}\right)-l_B\left(x_{m^{\&prime;}}\right)\right|}{{f_{cutoff}}^2}& \left|l_F\left(x_{m^{\&prime;}}\right)-l_B\left(x_{m^{\&prime;}}\right)\right|\&le;f_{cutoff}\end{array}\right.,$ f_cutoff是一个阈值，在具体实施过程中一般取0.6，l_F(x_m′)表示x_m′对M-1次迭代更新后的当前帧的前景区域的损失值，l_B(x_m′)表示x_m′对M-1次迭代更新后的当前帧的背景区域的损失值，f_c(x_m′)的值根据x_m′对M-1次迭代更新后的当前帧的前景区域和x_m′对M-1次迭代更新后的当前帧的背景区域的损失值计算得到，一般来说，f_c(x_m′)的值是x_m′对M-1次迭代更新后的当前帧的前景区域的损失值与x_m′对M-1次迭代更新后的当前帧的背景区域的损失值的简单相加或相减。f_s(x_k′)表示形状先验信息。|l_F(x_m′)-l_B(x_m′)|大于f_cutoff时，完全由颜色信息起作用，小于或等于f_cutoff时，颜色信息和形状先验信息共同起作用。

⑤-5-3、根据M次迭代更新后的当前帧中的相邻两个像素点，对二值图割方法的二元项V(x_m′,x_j′)进行计算：其中，m′≠j′，x_j′表示M次迭代后的当前帧的第j个像素点，γ是常数，“||”是绝对值符号，e表示自然基数，β′＝(2<d_m′j′>)^-1，<d_m′j′>表示d_m′j′的期望，d_m′j′＝||I_m′-I_j′||²，“||||”表示二范式符号，I_m′内的值分别为x_m′的R颜色通道值、G颜色通道值和B颜色通道值，I_j′内的值分别为x_j′的R颜色通道值、G颜色通道值和B颜色通道值。

⑤-5-4、根据二值图割方法的一元项U(x_m′,L_m′)和二元项V(x_m′,x_j′)，计算二值图割方法中的能量函数，记为E′，通过最大流最小割算法最小化E′，得到当前帧的分割结果，其中，D′表示M次迭代更新后的当前帧内的所有像素点的集合，N′表示M次迭代更新后的当前帧内的所有的相邻两个像素点的集合，初始帧的下一帧在加入运动信息和形状信息后的最终分割结果如图3k所示。

⑥将当前帧的下一帧作为当前帧，然后返回步骤⑤继续执行，直到完成视频序列中所有帧的分割，得到分割后的视频序列。

Claims (10)

1.一种融合多线索的人体视频分割方法，其特征在于：包括以下步骤：

①从一段含有人体的视频序列中取出其初始帧，采用HOG人体检测方法对初始帧进行人体检测，获得一个矩形的人体检测框，将初始帧内处于人体检测框外的所有像素点标记为背景像素点，然后标记出初始帧内处于人体检测框内的部分前景像素点和部分背景像素点，将标记出的所有前景像素点构成初始帧的前景区域，将标记出的所有背景像素点构成初始帧的背景区域，将初始帧内未标记的像素点确认为未知点；

②利用局部竞争的一类支持向量机分类模型，根据初始帧的前景区域在初始帧内的每个像素点的邻域窗口内构建一个前景模型，并根据初始帧的背景区域在初始帧内的每个像素点的邻域窗口内构建一个背景模型，然后通过获取初始帧内的每个未知点对应的前景模型和背景模型的得分，得到初始帧内的每个未知点对前景区域和背景区域的损失值，再根据初始帧内的每个未知点对前景区域和背景区域的损失值，对初始帧内的每个未知点进行重新标记，进一步将初始帧内的部分未知点标记为前景像素点或背景像素点，将标记为前景像素点的未知点加入到初始帧的前景区域中以更新初始帧的前景区域，将标记为背景像素点的未知点加入到初始帧的背景区域中以更新初始帧的背景区域，然后提取出重新标记后初始帧内仍未标记的像素点对更新前的初始帧的前景区域及更新前的初始帧的背景区域的损失值；

③在更新完初始帧的前景区域和初始帧的背景区域后，将初始帧内仍未标记的像素点作为初始帧的未知点，然后返回步骤②继续执行，直到完成N次迭代，得到N次迭代更新后获得的初始帧的前景区域和初始帧的背景区域、N次迭代更新后的初始帧内的未知点以及N次迭代更新后的初始帧内的每个未知点对N-1次迭代更新后获得的初始帧的前景区域和背景区域的损失值，其中，20≤N≤30；

④根据N次迭代更新后获得的初始帧的前景区域和初始帧的背景区域、N次迭代更新后的初始帧内的未知点、N-1次迭代更新后的初始帧的前景区域和背景区域，采用图割方法对N次迭代更新后的初始帧内的每个像素点进行处理，得到初始帧的分割结果，即得到初始帧的人体对象，然后将初始帧的下一帧作为当前帧，再执行步骤⑤；

⑤基于当前帧的上一帧的分割结果对当前帧进行分割处理，具体过程如下：

⑤-1、根据当前帧的上一帧的分割结果，预测得到当前帧的整体前景模型和整体背景模型；

⑤-2、利用当前帧的整体前景模型和整体背景模型对当前帧内的每个像素点进行标记，获得当前帧内的部分前景像素点和部分背景像素点，将获得的当前帧的所有前景像素点构成当前帧的前景区域，将获得的当前帧的所有背景像素点构成当前帧的背景区域，并将当前帧内未标记的像素点确定为未知点；

⑤-3、利用局部竞争的一类支持向量机分类模型，根据当前帧的前景区域在当前帧内的每个像素点的邻域窗口内构建一个前景模型，并根据当前帧的背景区域在当前帧内的每个像素点的邻域窗口内构建一个背景模型，然后通过获取当前帧内的每个未知点对应的前景模型和背景模型的得分，得到当前帧内的每个未知点对前景区域和背景区域的损失值，再根据当前帧内的每个未知点对前景区域和背景区域的损失值，对当前帧内的每个未知点进行重新标记，进一步将当前帧内的部分未知点标记为前景像素点或背景像素点，将标记为前景像素点的未知点加入到当前帧的前景区域中以更新当前帧的前景区域，将标记为背景像素点的未知点加入到当前帧的背景区域中以更新当前帧的背景区域，并得到M次重新标记后更新得到的当前帧的前景区域、背景区域、未知点以及M次重新标记后当前帧内的每个未知点对M-1次重新标记后的当前帧的前景区域及背景区域的损失值，其中，2≤M≤3；

⑤-4、通过光流法得到当前帧的预测分割结果，并通过光流法估计当前帧的上一帧中的人体对象在当前帧的前景边界，然后根据当前帧的预测分割结果以及当前帧的上一帧中的人体对象在当前帧的前景边界，获取当前帧内的每个像素点的形状先验信息；

⑤-5、根据当前帧内的每个像素点的形状先验信息以及M次迭代更新后的当前帧的前景区域和当前帧的背景区域，M次迭代更新后的当前帧的未知点，M-1次迭代更新后的当前帧的前景区域和当前帧的背景区域，采用二值图割方法对M次迭代更新后的当前帧内的每个像素点进行处理，得到当前帧的分割结果，即得到当前帧的人体对象；

⑥将当前帧的下一帧作为当前帧，然后返回步骤⑤继续执行，直到完成视频序列中所有帧的分割，得到分割后的视频序列。

2.根据权利要求1所述的一种融合多线索的人体视频分割方法，其特征在于：所述的步骤②的具体过程为：

②-1、构建初始帧内的每个像素点对应的前景模型和背景模型：以初始帧内的每个像素点为中心，分别建立初始帧内的每个像素点的邻域窗口，在初始帧内的每个像素点的邻域窗口内，根据初始帧的前景区域，采用局部竞争的一类支持向量机分类模型构建初始帧内的每个像素点对应的前景模型，再根据初始帧的背景区域，采用局部竞争的一类支持向量机分类模型构建初始帧内的每个像素点对应的背景模型；

②-2、利用初始帧内的每个未知点对应的前景模型和背景模型，对初始帧内的每个未知点进行重新标记，并更新初始帧的前景区域和背景区域，具体过程为：

②-2a、将初始帧内当前待处理的未知点定义为当前未知点；

②-2b、获取当前未知点对应的前景模型和背景模型的得分，具体过程如下：如果当前未知点的邻域窗口内不存在前景像素点，则确定当前未知点对应的前景模型的得分为0；如果当前未知点的邻域窗口内不存在背景像素点，则确定当前未知点对应的背景模型的得分为0；如果当前未知点的邻域窗口内存在前景像素点，则根据当前未知点的邻域窗口内已标记的前景像素点，利用计算得到当前未知点对应的前景模型的得分；如果当前未知点的邻域窗口内存在背景像素点，则根据当前未知点的邻域窗口内已标记的背景像素点，利用计算当前未知点对应的背景模型的得分，其中，t表示局部竞争的一类支持向量机分类模型内的支持向量的数量，1≤i≤t-1，x'_i表示局部竞争的一类支持向量机分类模型内的第i个支持向量，α_i表示x'_i的权值，x_t为一个向量，x_t内的值分别为当前未知点的R颜色通道值、G颜色通道值和B颜色通道值，X()是一个指示函数，x'_i≠x_t表示x'_i与x_t不相同，当x'_i≠x_t成立时，X(x'_i≠x_t)的值为1，当x'_i≠x_t不成立时，X(x'_i≠x_t)的值为0，k()表示高斯核函数；

②-2c、根据当前未知点的前景模型和背景模型的得分以及最大池子组原理，得到当前未知点分别对前景区域和背景区域的损失值，然后将当前未知点对前景区域和背景区域的损失值作为重新标记当前未知点的依据，具体标记过程为：如果当前未知点对前景区域的损失值小于T_F ^low，且对背景区域的损失值大于T_B ^high，则将当前未知点重新标记为前景像素点；如果当前未知点对前景区域的损失值大于T_F ^high，且对背景区域的损失值小于T_B ^low时，则将该未知点重新标记为背景像素点，其中，T_F ^low表示用于判断未知点对前景区域的损失值的最小值，T_F ^high表示用于判断未知点对前景区域的损失值的最大值，T_B ^low表示用于判断未知点对背景区域的损失值的最小值，T_B ^high表示用于判断未知点对背景区域的损失值的最大值；

②-2d、将初始帧内下一个待处理的未知点作为当前未知点，然后返回步骤②-2b继续执行，直至初始帧内的每个未知点处理完毕；

②-2e、将标记为前景像素点的所有未知点加入到初始帧的前景区域中以更新初始帧的前景区域，将标记为背景像素点的所有未知点加入到初始帧的背景区域中以更新初始帧的背景区域，然后提取出初始帧内的仍未标记的像素点对更新前的前景区域及更新前的背景区域的损失值。

3.根据权利要求2所述的一种融合多线索的人体视频分割方法，其特征在于：所述的步骤④中获取初始帧的分割结果的具体过程为：

④-1、假定N次迭代更新后的初始帧的前景区域中的每个前景像素点对N-1次迭代更新后的初始帧的前景区域的损失值为0，假定N次迭代更新后的初始帧的前景区域中的每个前景像素点对N-1次迭代更新后的初始帧的背景区域的损失值为1，假定N次迭代更新后的初始帧的背景区域中的每个背景像素点对N-1次迭代更新完成的初始帧的前景区域的损失值为1，假定N次迭代更新后的初始帧的背景区域中的每个背景像素点对N-1次迭代更新完成的初始帧的背景区域的损失值为0；

④-2、根据N次迭代更新后的初始帧内的每个像素点对N-1次迭代更新后获得的初始帧的前景区域和初始帧的背景区域的损失值，对图割方法的能量函数的一元项U(x_m)进行计算，其中，x_m表示N次迭代更新后的初始帧内的第m个像素点，M'表示视频序列中的每帧内包含的像素点的总个数，1≤m≤M'；

④-3、根据N次迭代更新后的初始帧内相邻两个像素点，对图割方法的能量函数的二元项V(x_m,x_j)进行计算，其中，m≠j，x_j表示N次迭代更新后的初始帧内的第j个像素点，1≤j≤M'，γ是常数，“||”是绝对值符号，e表示自然基数，β＝(2<d_mj>)^-1，<d_mj>表示d_mj的期望，d_mj＝||I_m-I_j||²，“||||”表示二范式符号，I_m内的值分别为x_m的R颜色通道值、G颜色通道值和B颜色通道值，I_j内的值分别为x_j的R颜色通道值、G颜色通道值和B颜色通道值；

④-4、根据图割方法的能量函数的一元项U(x_m)和二元项V(x_m,x_j)，获得图割方法的能量函数，记为E，然后利用最大流最小割算法最小化E，得到初始帧的分割结果，其中，D表示由N次迭代更新后的初始帧内的所有像素点构成的集合，N”表示由N次迭代更新后的初始帧内的所有的相邻两个像素点构成的集合。

4.根据权利要求3所述的一种融合多线索的人体视频分割方法，其特征在于：所述的步骤⑤-3的具体过程为：

⑤-3-1、构建当前帧内的每个像素点对应的前景模型和背景模型：以当前帧内的每个像素点为中心，分别建立当前帧内的每个像素点的邻域窗口，在当前帧内的每个像素点的邻域窗口内，根据当前帧的前景区域，采用局部竞争的一类支持向量机分类模型构建当前帧内的每个像素点对应的前景模型，再根据当前帧的背景区域，采用局部竞争的一类支持向量机分类模型构建当前帧内的每个像素点对应的背景模型；

⑤-3-2、利用当前帧内的每个未知点对应的前景模型和背景模型，对当前帧内的每个未知点进行重新标记，并更新当前帧的前景区域和背景区域，具体过程为：

⑤-3-2a、将当前帧内当前待处理的未知点定义为当前处理未知点；

⑤-3-2b、获取当前处理未知点对应的前景模型和背景模型的得分，具体过程如下：如果当前处理未知点的邻域窗口内不存在前景像素点，则确定当前处理未知点对应的前景模型的得分为0；如果当前处理未知点的邻域窗口内不存在背景像素点，则确定当前处理未知点对应的背景模型的得分为0；如果当前处理未知点的邻域窗口内存在前景像素点，则根据当前处理未知点的邻域窗口内已标记的前景像素点，利用计算得到当前处理未知点对应的前景模型的得分；如果当前处理未知点的邻域窗口内存在背景像素点，则根据当前处理未知点的邻域窗口内已标记的背景像素点，利用计算当前处理未知点对应的背景模型的得分，其中，t表示局部竞争的一类支持向量机分类模型内的支持向量的数量，1≤i≤t-1，x'_i表示局部竞争的一类支持向量机分类模型内的第i个支持向量，α_i表示x'_i的权值，x_t'为一个向量，x_t'内的值分别为当前处理未知点的R颜色通道值、G颜色通道值和B颜色通道值，X()是一个指示函数，x'_i≠x_t'表示x'_i与x_t'不相同，当x'_i≠x_t'成立时，X(x'_i≠x_t')的值为1，当x'_i≠x_t'不成立时，X(x'_i≠x_t')的值为0，k()表示高斯核函数；

⑤-3-2c、根据当前处理未知点的前景模型和背景模型的得分以及最大池子组原理，得到当前处理未知点分别对前景区域和背景区域的损失值，然后将当前处理未知点对前景区域和背景区域的损失值作为重新标记当前处理未知点的依据，具体标记过程为：如果当前处理未知点对前景区域的损失值小于T_F ^low，且对背景区域的损失值大于T_B ^high，则将当前处理未知点重新标记为前景像素点；如果当前处理未知点对前景区域的损失值大于T_F ^high，且对背景区域的损失值小于T_B ^low时，则将该未知点重新标记为背景像素点，其中，T_F ^low表示用于判断未知点对前景区域的损失值的最小值，T_F ^high表示用于判断未知点对前景区域的损失值的最大值，T_B ^low表示用于判断未知点对背景区域的损失值的最小值，T_B ^high表示用于判断未知点对背景区域的损失值的最大值；

⑤-3-2d、将当前帧内下一个待处理的未知点作为当前处理未知点，然后返回步骤⑤-3-2b继续执行，直至当前帧内的每个未知点处理完毕；

⑤-3-2e、将标记为前景像素点的所有未知点加入到当前帧的前景区域中以更新当前帧的前景区域，将标记为背景像素点的所有未知点加入到当前帧的背景区域中以更新当前帧的背景区域，然后提取出当前帧内的仍未标记的像素点对更新前的前景区域及更新前的背景区域的损失值；

⑤-3-3、在更新完当前帧的前景区域和当前帧的背景区域后，将当前帧内仍为未标记的像素点作为当前帧的未知点，返回步骤⑤-3-1继续执行，直到完成M次迭代，得到M次迭代更新后获得的当前帧的前景区域和当前帧的背景区域、M次迭代更新后的当前帧内的未知点以及M次迭代更新后的当前帧内的每个未知点对M-1次迭代更新后获得的当前帧的前景区域和背景区域的损失值。

5.根据权利要求4所述的一种融合多线索的人体视频分割方法，其特征在于：所述的步骤②和所述的步骤⑤-3中的邻域窗口的大小为33×33。

6.根据权利要求5所述的一种融合多线索的人体视频分割方法，其特征在于：所述的步骤②-2c和所述的步骤⑤-3-2c中的T_F ^low取0.2，T_F ^high取0.4，T_B ^low取0.3，T_B ^high取0.4。

7.根据权利要求6所述的一种融合多线索的人体视频分割方法，其特征在于：所述的步骤⑤-4中通过光流法估计得到当前帧的上一帧中的人体对象在当前帧的前景边界后，对该前景边界进行形态学的操作，获得封闭的前景边界，再根据当前帧的预测分割结果以及该封闭的前景边界，获取当前帧内的每个像素点的形状先验信息。

8.根据权利要求6所述的一种融合多线索的人体视频分割方法，其特征在于：所述的步骤⑤-4中获取当前帧的上一帧中的人体对象在当前帧的前景边界以及当前帧内的每个像素点的形状先验信息的具体过程为：

⑤-4a、采用光流法对当前帧的上一帧的前景区域进行光流计算，得到一个当前帧的上一帧中的人体对象在当前帧的前景边界，具体过程为：1)将当前帧的上一帧的前景区域内当前待处理的像素点记为2)将在当前帧的上一帧中的坐标位置记为p₂，然后通过光流法计算得到在当前帧中的坐标位置，记为p₂'，其中，表示在区域内的局部平均光流向量，表示以为中心的邻域窗口，符号“∩”为交集运算符号，Ω_F为当前帧的上一帧的前景区域；3)将当前帧的上一帧的前景区域内下一个待处理的像素点记为然后返回步骤2)继续执行，直到当前帧的上一帧的前景区域内的所有像素点处理完毕，得到当前帧的上一帧的前景区域内的每个像素点在当前帧中的坐标位置，进而得到当前帧的上一帧中的人体对象在当前帧的前景边界；

⑤-4b、计算当前帧内的每个像素点到当前帧的上一帧中的人体对象在当前帧的前景边界的距离，将当前帧内的第k'个像素点x_k'到当前帧的上一帧中的人体对象在当前帧的前景边界的距离记为 其中，1≤k'≤M'，M'表示视频序列中的每帧内包含的像素点的总个数，d(x_k')表示x_k'到当前帧的上一帧中的人体对象在当前帧的前景边界的欧式距离，δ_s是一个用于调节形状先验信息对二值图割方法的一元项的影响的大小的参数；

⑤-4c、根据当前帧内的每个像素点到当前帧的上一帧中的人体对象在当前帧的前景边界的距离，及当前帧的预测分割结果，得到当前帧内的每个像素点的形状先验信息，将当前帧内的第k'个像素点的形状先验信息记为f_s(x_k'),A(x_k')＝min{0-L′_u+1(x_k'),1-L′_u+1(x_k')}，其中，L′_u+1(x_k')表示x_k'在当前帧的预测分割结果中的标记，如果x_m'在当前帧的预测分割结果中为前景像素点，则L′_u+1(x_k')＝1，如果x_k'在当前帧的预测分割结果中为背景像素点，则L′_u+1(x_k')＝0，“min{}”为取最小值函数，“min{0-L′_u+1(x_k'),1-L′_u+1(x_k')}”表示取出0-L′_u+1(x_k')和1-L′_u+1(x_k')中的最小值，符号“||”为取绝对值符号。

9.根据权利要求8所述的一种融合多线索的人体视频分割方法，其特征在于：所述的步骤⑤-4a中的邻域窗口的大小为5×5。

10.根据权利要求9所述的一种融合多线索的人体视频分割方法，其特征在于：所述的步骤⑤-5中利用二值图割方法对当前帧进行分割的具体过程为：

⑤-5-1、假定M次迭代更新后的当前帧的前景区域中的每个前景像素点对M-1次迭代更新后的当前帧的前景区域的损失值为0，假定M次迭代更新后的当前帧的前景区域中的每个前景像素点对M-1次迭代更新后的当前帧的背景区域的损失值为1，假定M次迭代更新后的当前帧的背景区域中的每个背景像素点对M-1次迭代更新后的当前帧的前景区域的损失值为1，假定M次迭代更新后的当前帧的背景区域中的每个背景像素点对M-1次迭代更新后的当前帧的背景区域的损失值0；

⑤-5-2、根据当前帧内的每个像素点的形状先验信息以及M次迭代更新后的当前帧内的每个像素点对M-1次迭代更新后的当前帧的前景区域和背景区域的损失值，得到二值图割方法的一元项，记为U(x_m',L_m')，U(x_m',L_m')＝αf_c(x_m')+(1-α)f_s(x_k')，其中，k'＝m'，x_m'为M次迭代更新后的当前帧内的第m'个像素点，1≤m'≤M'，L_m'表示x_m'的标记，当x_m'为背景像素点时，L_m'的值为0，当x_m'为前景像素点时，L_m'的值为1，当x_m'为未知点时，L_m'的值为2， $\mathrm{\&alpha;}=\left\{\begin{array}{cc}1.0& |l_F\left(x_{m^{\&prime;}}\right)-l_B\left(x_{m^{\&prime;}}\right)|>f_{cutoff}\\ \frac{|l_F\left(x_{m^{\&prime;}}\right)-l_B\left(x_{m^{\&prime;}}\right)|}{{f_{cutoff}}^2}& |l_F\left(x_{m^{\&prime;}}\right)-l_B\left(x_{m^{\&prime;}}\right)|\&le;f_{cutoff}\end{array}\right.,$ f_cutoff是一个阈值，l_F(x_m')表示x_m'对M-1次迭代更新后的当前帧的前景区域的损失值，l_B(x_m')表示x_m'对M-1次迭代更新后的当前帧的背景区域的损失值，f_c(x_m')的值根据x_m'对M-1次迭代更新后的当前帧的前景区域的损失值和x_m'对M-1次迭代更新后的当前帧的背景区域的损失值计算得到，f_s(x_k')表示形状先验信息；

⑤-5-3、根据M次迭代更新后的当前帧中的相邻两个像素点，对二值图割方法的二元项V(x_m',x_j')进行计算：其中，m'≠j'，x_j'表示M次迭代更新后的当前帧的第j个像素点，γ是常数，“||”是绝对值符号，e表示自然基数，β'＝(2<d_m'j'>)^-1，<d_m'j'>表示d_m'j'的期望，d_m'j'＝||I_m'-I_j'||²，“||||”表示二范式符号，I_m'内的值分别为x_m'的R颜色通道值、G颜色通道值和B颜色通道值，I_j'内的值分别为x_j'的R颜色通道值、G颜色通道值和B颜色通道值；

⑤-5-4、根据二值图割方法的一元项U(x_m',L_m')和二元项V(x_m',x_j')，计算二值图割方法中的能量函数，记为E'，通过最大流最小割算法最小化E'，得到当前帧的分割结果，其中，D'表示M次迭代更新后的当前帧内的所有像素点的集合，N'表示M次迭代更新后的当前帧内的所有的相邻两个像素点的集合。