CN109614933B - 一种基于确定性拟合的运动分割方法 - Google Patents

一种基于确定性拟合的运动分割方法 Download PDF

Info

Publication number
CN109614933B
CN109614933B CN201811514802.9A CN201811514802A CN109614933B CN 109614933 B CN109614933 B CN 109614933B CN 201811514802 A CN201811514802 A CN 201811514802A CN 109614933 B CN109614933 B CN 109614933B
Authority
CN
China
Prior art keywords
segmentation
motion
similarity
matrix
fitting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811514802.9A
Other languages
English (en)
Other versions
CN109614933A (zh
Inventor
肖国宝
李佐勇
徐戈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Jiuzhou Longteng Scientific And Technological Achievement Transformation Co ltd
Original Assignee
Minjiang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Minjiang University filed Critical Minjiang University
Priority to CN201811514802.9A priority Critical patent/CN109614933B/zh
Publication of CN109614933A publication Critical patent/CN109614933A/zh
Application granted granted Critical
Publication of CN109614933B publication Critical patent/CN109614933B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Abstract

本发明涉及一种基于确定性拟合的运动分割方法，该方法通过引入确定性模型拟合方法来获得稳定可靠的运动分割结果。运动分割方法主要包括步骤：S1:准备数据集;S2:对输入视频的每一帧进行超像素分割;S3：对视频中的每两个连续帧进行模型拟合；S4：根据获得的残差信息计算特征点匹配对之间的相似性；S5：累积相似性矩阵生成仿射矩阵；S6：根据仿射矩阵进行稀疏聚类，来获取分割结果，完成运动分割。本发明有效地降低了整体的分割错误率；本发明还可以得到可靠和稳定的分割结果，促进了科学的发展和进步。

Description

一种基于确定性拟合的运动分割方法
技术领域
本发明涉及计算机视觉技术领域，特别是一种基于确定性拟合的运动分割方法。
背景技术
计算机视觉是计算机重要的组成部分,而运动分割是计算机视觉中一项重要的应用领域。运动分割是指在一段视频中根据不同的运动模型参数来识别和分割不同的运动模型。在当前数据规模不断增大的趋势，有效地分析视频序列中的运动模型显然具有非常重要的意义。
当前，运动分割方法被应用于很多方面的领域中，比如，视频监控，目标跟踪，行为识别，等等。近几年，专家和学者们提出了很多运动分割方法。这些分割方法可以分为：基于两帧和多帧的分割方法。其中，基于两帧的分割方法主要是基于对极几何的限制，而基于多帧的分割方法主要是基于特征运动轨迹。基于两帧的分割方法虽然能够快速地获取分割结果，但其只选取两个图像，会造成信息缺失，从而运行分割的准确性。而基于多帧的运动分割方法选取了整个视频的图像，从而需要更多的计算时间。基于多帧的运动分割方法又可以分为：基于子空间(subspace-based)和仿射(affinity-based)的运动分割方法。基于子空间的方法先用视频中的所有特征运动轨迹构建一个数据矩阵，然后在这个数据矩阵上进行运动分割。而基于仿射的方法用成对特征运动轨迹的仿射信息来构建一个仿射矩阵，然后利用仿射矩阵分割出不同的运动物体。
基于子空间的运动分割方法，能够在常见数据集中取得较准确的分割结果。但是，当视频中有目标被临时遮挡时，基于子空间的方法通常表现性能不佳。基于仿射的运动分割方法，具有较好的鲁棒性和准确性。然而，这些分割方法往往还存在一些问题，比如MC和TPV计算时间复杂度较大，MSMC的计算精度不高。
发明内容
有鉴于此，本发明的目的是提出一种基于确定性拟合的运动分割方法，能够有效地降低了整体的分割错误率；还可以得到可靠和稳定的分割结果。
本发明采用以下方案实现：一种基于确定性拟合的运动分割方法，包括以下步骤：
步骤S1：获取一组视频作为输入视频，并获取所述输入视频的特征点运动轨迹；
步骤S2：对所述输入视频的每一帧均进行超像素分割，得到每个连续帧中特征点匹配对的分组信息；
步骤S3：对所述输入视频中的每两个连续帧进行模型拟合，得到采样子集和模型假设；
步骤S4：根据获得的模型假设计算与特征点匹配对之间的残差，所述残差用于计算特征点匹配对之间的相似性，得到相似矩阵；
步骤S5：累积相似性矩阵生成仿射矩阵；
步骤S6：根据仿射矩阵进行稀疏聚类；所述进行稀疏聚类采用的是k-means聚类算法，获取分割结果，完成运动分割。
进一步地，所述步骤S1具体为：利用SIFT特征提取算法和匹配算法获取所述输入视频的特征点运动轨迹
Figure BDA0001901449940000031
即
Figure BDA0001901449940000032
N为数据总数，N为自然数。
进一步地，所述步骤S3具体为：将处于同一个超像素的每个匹配对分在同一采样子集中，对所有子集进行两两合并，对每个合并后的采样子集预设一个模型假设的参数。
进一步地，所述步骤S4包括以下步骤：
步骤S41:根据以下公式，计算特征点匹配对之间的相似性：
Figure BDA0001901449940000033
式中，bi表示根据残差排序获得的序列号，
Figure BDA0001901449940000034
表示两个集合
Figure BDA0001901449940000035
和
Figure BDA0001901449940000036
相同元素的个数；
Figure BDA0001901449940000037
表示选取的模型假设的数量，其中，M为所有生成的模型假设的总数，即合并的采样子集的个数；
步骤S42:基于步骤S41中特征点匹配对之间的相似性，构造相似性矩阵，即
Figure BDA0001901449940000038
其中X为两帧中的所有特征匹配对。
进一步地，所述步骤S5具体为：根据以下公式累积相似性矩阵生成仿射矩阵：
Figure BDA0001901449940000039
式中，t为视频序列中帧的数量。
与现有技术相比，本发明有以下有益效果：
本发明有效地降低了整体的分割错误率；本发明还可以得到可靠和稳定的分割结果，促进了科学的发展和进步。
附图说明
图1为本发明实施例的流程图。
图2为本发明实施例的在Hopkins155数据集进行运动轨迹分割的效果图；其中图2(a)为行人运动轨迹分割的效果图；图2(b)为某设备运动轨迹分割的效果图；图2(c)为公共汽车运动轨迹分割的效果图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
如图1所示，本实施例提供了一种基于确定性拟合的运动分割方法，包括以下步骤：
步骤S1：获取一组视频作为输入视频，并获取所述输入视频的特征点运动轨迹；
步骤S2：对所述输入视频的每一帧均进行超像素分割，得到每个连续帧中特征点匹配对的分组信息；
步骤S3：对所述输入视频中的每两个连续帧进行模型拟合，得到采样子集和模型假设；
步骤S4：根据获得的模型假设计算与特征点匹配对之间的残差，所述残差用于计算特征点匹配对之间的相似性，得到相似矩阵；
步骤S5：累积相似性矩阵生成仿射矩阵；
步骤S6：根据仿射矩阵进行稀疏聚类；所述进行稀疏聚类采用的是k-means聚类算法，获取分割结果，完成运动分割。
在本实施例中，所述步骤S1具体为：利用SIFT特征提取算法和匹配算法获取所述输入视频的特征点运动轨迹
Figure BDA0001901449940000051
即
Figure BDA0001901449940000052
N为数据总数，N为自然数。
在本实施例中，所述步骤S3具体为：将处于同一个超像素的每个匹配对分在同一采样子集中，认为他们比较大的概率来自同一个模型实例；对所有子集进行两两合并，以缓解超像素分割造成的过拟合现象；对每个合并后的采样子集进行拟合模型假设。
在本实施例中，所述步骤S4包括以下步骤：
步骤S41:根据以下公式，计算特征点匹配对之间的相似性：
Figure BDA0001901449940000053
式中，bi表示根据残差排序获得的序列号，
Figure BDA0001901449940000054
表示两个集合
Figure BDA0001901449940000055
和
Figure BDA0001901449940000056
相同元素的个数；
Figure BDA0001901449940000057
表示选取的模型假设的数量，其中，M为所有生成的模型假设的总数，即合并的采样子集的个数；
步骤S42:基于步骤S41中特征点匹配对之间的相似性，构造相似性矩阵，即
Figure BDA0001901449940000058
其中X为两帧中的所有特征匹配对。
在本实施例中，所述步骤S5具体为：根据以下公式累积相似性矩阵生成仿射矩阵：
Figure BDA0001901449940000059
式中，t为视频序列中帧的数量。
较佳的，本实施例基于仿射的运动分割方法，提出一种基于确定性拟合的运动分割方法。首先采用超像素分割进行确定性拟合模型，然后根据这些模型判断特征运动轨迹之间的相似性。本实施例通过累积相似性生成仿射矩阵。整体上，能够有效地处理运动分割问题，相比当前的运动分割方法，本实施例有效地降低了整体的分割错误率。而且，本实施例提出的是一种确定性分割方法，即对于相同的输入条件，将获得相同的结果。相比当前大部分分割方法不稳定的问题，本实施例可以得到可靠和稳定的分割结果，促进了科学的发展和进步。
较佳的，本实施例首先用超像素分割图片，然后利用超像素的分组信息提出一种确定性模型假设生成方法，接着提出一种新型的模型选择框架，最后通过选择的模型实例分割图像，完成模型拟合。如图2所示，是本实施例的在Hopkins155数据集进行运动轨迹分割的效果图，其中图2(a)为行人运动轨迹分割的效果图；图2(b)为某设备运动轨迹分割的效果图；图2(c)为公共汽车运动轨迹分割的效果图。表1为本实施例与其他几种运动分割方法错误率量化对比。对比方法有S.Rao等提出的方法ALC、E.Elhamifar等提出的方法SSC、G.Liu等提出的方法LRR、Z.Li等提出的方法TPV、H.Jung等提出的方法RV和T.Lai等提出的方法MSSC。从表中，我们可以看到本发明显著降低了该数据集的分割错误率，在七种方法中取得最好的效果。
表1
Figure BDA0001901449940000061
Figure BDA0001901449940000071
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (3)

1.一种基于确定性拟合的运动分割方法，其特征在于：包括以下步骤：
步骤S1：获取一组视频作为输入视频，并获取所述输入视频的特征点运动轨迹；
步骤S2：对所述输入视频的每一帧均进行超像素分割，得到每个连续帧中特征点匹配对的分组信息；
步骤S3：对所述输入视频中的每两个连续帧进行模型拟合，得到采样子集和模型假设；
步骤S4：根据获得的模型假设计算与特征点匹配对之间的残差，所述残差用于计算特征点匹配对之间的相似性，得到相似矩阵；
步骤S5：累积相似性矩阵生成仿射矩阵；
步骤S6：根据仿射矩阵进行稀疏聚类；所述进行稀疏聚类采用的是k-means聚类算法，获取分割结果，完成运动分割；
其中，所述步骤S3具体为：将处于同一个超像素的每个匹配对分在同一采样子集中，对所有子集进行两两合并，对每个合并后的采样子集预设一个模型假设的参数；
其中，所述步骤S4包括以下步骤：
步骤S41:根据以下公式，计算特征点匹配对之间的相似性：
Figure FDA0002405872360000011
式中，bi表示根据残差排序获得的序列号，
Figure FDA0002405872360000012
表示两个集合
Figure FDA0002405872360000013
和
Figure FDA0002405872360000014
相同元素的个数；
Figure FDA0002405872360000015
表示选取的模型假设的数量，其中，M为所有生成的模型假设的总数，即合并的采样子集的个数；
步骤S42:基于步骤S41中特征点匹配对之间的相似性，构造相似性矩阵，即
Figure FDA0002405872360000021
其中X为两帧中的所有特征匹配对。
2.根据权利要求1所述的一种基于确定性拟合的运动分割方法，其特征在于：所述步骤S1具体为：利用SIFT特征提取算法和匹配算法获取所述输入视频的特征点运动轨迹
Figure FDA0002405872360000022
即
Figure FDA0002405872360000023
N为数据总数，N为自然数。
3.根据权利要求1所述的一种基于确定性拟合的运动分割方法，其特征在于：所述步骤S5具体为：根据以下公式累积相似性矩阵生成仿射矩阵：
Figure FDA0002405872360000024
式中，t为视频序列中帧的数量。
CN201811514802.9A 2018-12-11 2018-12-11 一种基于确定性拟合的运动分割方法 Active CN109614933B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811514802.9A CN109614933B (zh) 2018-12-11 2018-12-11 一种基于确定性拟合的运动分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811514802.9A CN109614933B (zh) 2018-12-11 2018-12-11 一种基于确定性拟合的运动分割方法

Publications (2)

Publication Number Publication Date
CN109614933A CN109614933A (zh) 2019-04-12
CN109614933B true CN109614933B (zh) 2020-05-05

Family

ID=66008376

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811514802.9A Active CN109614933B (zh) 2018-12-11 2018-12-11 一种基于确定性拟合的运动分割方法

Country Status (1)

Country Link
CN (1) CN109614933B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163865B (zh) * 2019-05-28 2021-06-01 闽江学院 一种针对模型拟合中不平衡数据的采样方法
CN110163888B (zh) * 2019-05-30 2021-03-02 闽江学院 一种新型的运动分割模型数量检测方法
CN110706269B (zh) * 2019-08-30 2021-03-19 武汉斌果科技有限公司 一种基于双目视觉slam的动态场景密集建模方法
CN112308877B (zh) * 2020-10-27 2022-05-17 厦门大学 基于异质模型拟合的运动分割方法
CN113034537B (zh) * 2021-02-26 2023-03-07 中国科学院计算技术研究所 基于多几何模型融合的结构一致性运动分割方法和系统
CN112927263B (zh) * 2021-04-25 2022-08-02 南京邮电大学 一种基于互补几何模型与相似度矩阵的运动分割方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105913423A (zh) * 2016-04-08 2016-08-31 厦门大学 一种基于超像素的确定性模型拟合方法
CN108537241A (zh) * 2017-03-02 2018-09-14 镇江雅迅软件有限责任公司 一种楼宇运动物体轨迹相似性度量方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8526674B2 (en) * 2011-01-31 2013-09-03 Hewlett-Packard Development Company, L.P. Motion-based, multi-stage video segmentation with motion boundary refinement
US9311716B2 (en) * 2014-05-14 2016-04-12 International Business Machines Corporation Static image segmentation
CN104537686B (zh) * 2014-12-12 2017-10-03 中国科学院自动化研究所 基于目标时空一致性和局部稀疏表示的跟踪方法及装置
CN106952268B (zh) * 2017-02-23 2019-09-03 浙江工业大学 一种基于关联矩阵自学习及显式秩约束的医学图像分割方法
CN107274480B (zh) * 2017-06-06 2021-07-20 山东大学深圳研究院 基于随机抽样一致性的对象运动特性重建方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105913423A (zh) * 2016-04-08 2016-08-31 厦门大学 一种基于超像素的确定性模型拟合方法
CN108537241A (zh) * 2017-03-02 2018-09-14 镇江雅迅软件有限责任公司 一种楼宇运动物体轨迹相似性度量方法

Also Published As

Publication number Publication date
CN109614933A (zh) 2019-04-12

Similar Documents

Publication Publication Date Title
CN109614933B (zh) 一种基于确定性拟合的运动分割方法
Jiang et al. Crowd counting and density estimation by trellis encoder-decoder networks
Chen et al. Learning spatial attention for face super-resolution
Shen et al. Human-aware motion deblurring
Miao et al. Shallow feature based dense attention network for crowd counting
Chen et al. Robust video content alignment and compensation for rain removal in a cnn framework
Chandran et al. Attention-driven cropping for very high resolution facial landmark detection
Sankaranarayanan et al. Learning from synthetic data: Addressing domain shift for semantic segmentation
Sankaranarayanan et al. Unsupervised domain adaptation for semantic segmentation with gans
CN107679462B (zh) 一种基于小波的深度多特征融合分类方法
Hsu et al. Adaptive fusion of multi-scale YOLO for pedestrian detection
CN109685045B (zh) 一种运动目标视频跟踪方法及系统
CN112967341B (zh) 基于实景图像的室内视觉定位方法、系统、设备及存储介质
CN111639564B (zh) 一种基于多注意力异构网络的视频行人重识别方法
Sindagi et al. Inverse attention guided deep crowd counting network
US9247139B2 (en) Method for video background subtraction using factorized matrix completion
CN112308128B (zh) 一种基于注意力机制神经网络的图像匹配方法
CN114723760B (zh) 人像分割模型的训练方法、装置及人像分割方法、装置
Liu et al. A high-efficiency framework for constructing large-scale face parsing benchmark
Wang et al. Mpanet: Multi-patch attention for infrared small target object detection
Sibechi et al. Exploiting temporality for semi-supervised video segmentation
CN110580462B (zh) 一种基于非局部网络的自然场景文本检测方法和系统
CN112016434A (zh) 一种基于注意力机制3d残差网络的镜头运动识别方法
Wang et al. An attention self-supervised contrastive learning based three-stage model for hand shape feature representation in cued speech
CN112308877B (zh) 基于异质模型拟合的运动分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240117

Address after: 230000 Room 203, building 2, phase I, e-commerce Park, Jinggang Road, Shushan Economic Development Zone, Hefei City, Anhui Province

Patentee after: Hefei Jiuzhou Longteng scientific and technological achievement transformation Co.,Ltd.

Address before: 200 xiyuangong Road, Shangjie Town, Minhou County, Fuzhou City, Fujian Province

Patentee before: MINJIANG University

TR01 Transfer of patent right