CN110503061B - 一种融合多特征的多因素视频遮挡区域检测方法及系统 - Google Patents

一种融合多特征的多因素视频遮挡区域检测方法及系统 Download PDF

Info

Publication number
CN110503061B
CN110503061B CN201910800416.4A CN201910800416A CN110503061B CN 110503061 B CN110503061 B CN 110503061B CN 201910800416 A CN201910800416 A CN 201910800416A CN 110503061 B CN110503061 B CN 110503061B
Authority
CN
China
Prior art keywords
training sample
pixel point
characteristic
feature
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910800416.4A
Other languages
English (en)
Other versions
CN110503061A (zh
Inventor
张世辉
何欢
桑榆
牛小芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanshan University
Original Assignee
Yanshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanshan University filed Critical Yanshan University
Priority to CN201910800416.4A priority Critical patent/CN110503061B/zh
Publication of CN110503061A publication Critical patent/CN110503061A/zh
Application granted granted Critical
Publication of CN110503061B publication Critical patent/CN110503061B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种融合多特征的多因素视频遮挡区域检测方法及系统。所述方法通过构建多因素视频遮挡区域检测训练样本，以像素点为单位提取多因素视频遮挡区域检测相关特征；对所提取的多因素视频遮挡区域检测相关特征进行特征归一化处理，并通过Kmeans聚类获取训练样本像素点中的聚类质心，并计算各质心与类内所有训练样本像素点间的距离；基于特征加权思想，计算类内所有训练样本像素点与该类质心各特征间的距离，并根据各特征的距离与总距离的比值来计算特征权重；基于特征权重，设计改进的距离计算公式，进行加权Kmeans聚类，从而达到对多因素存在场景下视频遮挡区域进行有效检测的目的，提高了遮挡区域检测的实时性和准确性。

Description

一种融合多特征的多因素视频遮挡区域检测方法及系统
技术领域
本发明涉及计算机视觉技术领域，特别是涉及一种融合多特征的多因素视频遮挡区域检测方法及系统。
背景技术
遮挡既是一种几何现象又是一种光学现象。视频序列中，由于物体之间的相对运动，使得前一帧中的部分区域在后一帧中变为不可见，遮挡区域即为前后两帧由可见变为不可见的那部分区域。遮挡区域的存在会对目标识别、场景理解、自动驾驶、智能监控等视觉任务产生较大影响，尤其当视频场景中同时存在阴影、噪声等多种因素时，如何有效地对遮挡区域进行检测更成为了一个十分具有挑战性的问题，故视频遮挡区域检测问题的研究对大部分视觉技术的发展具有重要的基础作用，受到了学者们的广泛关注。
现有的视频遮挡区域检测方法主要分为两类：基于模型的方法和基于学习的方法。在基于模型的方法中，C.Strecha和R.Fransens在文章“Aprobabilistic approach tolarge displacement optical flow and occlusion detection.Proceedings of theECCV on workshop Statistical Methods in Video Processing,Springer,2004:71-82.”中利用噪声模型和遮挡像素点的亮度直方图信息，提出基于贝叶斯模型的方法来检测遮挡区域，是视频遮挡区域检测十分经典的方法，但该方法是通过最小化一个非凸函数来求解问题的，无法保证所求的解为全局最优，进而使得该方法在准确性上受到影响。C.X.Zhang和Z.Chen在文章“Robust Non-nocal TV-L1 optical flow estimation withocclusion detection.IEEE Transactions on Image Processing,2017,26(8):4055-4067.”中利用一种鲁棒的非局部TV-L1方法并结合三角剖分来实现视频遮挡区域检测。J.Hur和S.Roth在文章“Mirrorflow:exploiting symmetries in joint optical flowand occlusion estimation.IEEE International Conference on Computer Vision,Venice,Italy,2017:312-321.”中提出对称光流方法对光流与遮挡区域进行联合建模，并使用块坐标下降法进行求解，从而检测视频中的遮挡区域。上述基于模型的方法中，主要都是通过建立一个由数据项和正则项组成的能量函数并进行求解来实现视频遮挡区域检测的，而平衡这两项的正则化系数的大小需要人为确定，且没有任何一组系数能保证对所有视频场景的检测结果都是理想的，使得该类方法在通用性上受到了限制，进而影响了方法的准确性。除了基于模型的方法外，学者们对基于学习的视频遮挡区域检测方法也进行了研究。A.Humayun和O.M.Aodha在文章“Learning to find occlusion regions.IEEEComputer Society Conference on Computer Vision and Pattern Recognition,Colorado Springs,CO,USA,2011:2161-2168.”中通过设计大量遮挡相关特征实现遮挡区域检测，是基于机器学习视频遮挡区域检测方法的经典之作，但该方法由于所提特征过多导致方法的实时性较低。张世辉和何欢在文章“融合多特征基于图割实现视频遮挡区域检测.光学学报,2015,35(4):244-253.”中提出将机器学习方法与图割思想相结合来实现视频遮挡区域检测，但该方法属于有监督学习的方法，对训练样本的标签有一定的依赖性。Y.Wang和Y.Yang在文章“cclusion Aware Unsupervised Learning ofOptical Flow.IEEEConference on ComputerVision and Pattern Recognition,Salt Lake,UT,USA,2018:4884-4893.”中构建了一个端对端的网络框架来学习光流并对视频遮挡区域进行检测，但由于是深度学习的方法，所以需要大量的数据样本进行训练。上述视频遮挡区域检测方法，无论是基于模型的方法还是基于学习的方法，都用到了视频场景中亮度与运动信息，但很少有方法考虑到阴影、噪声等因素，这使得已有的视频遮挡区域检测方法不适合处理含有较多阴影、噪声等因素存在的视频场景。
发明内容
本发明的目的是提供一种融合多特征的多因素视频遮挡区域检测方法及系统，以解决已有的视频遮挡区域检测方法在处理含有较多阴影、噪声等因素存在的视频场景时准确性及实时性低的问题。
为实现上述目的，本发明提供了如下方案：
一种融合多特征的多因素视频遮挡区域检测方法，所述方法包括：
获取多因素视频遮挡区域检测训练样本；所述多因素包括可见区域、阴影、噪声；所述训练样本由视频序列中的前、后两帧图像组成；
提取所述训练样本中像素点的多因素视频遮挡区域检测相关特征；所述多因素视频遮挡区域检测相关特征包括亮度块变化比特征和三色衰减比特征；
对所述多因素视频遮挡区域检测相关特征进行归一化处理，生成所述多因素视频遮挡区域检测相关特征对应的归一化特征值；
根据所述归一化特征值进行Kmeans聚类，生成所述训练样本中像素点的聚类质心；
根据所述聚类质心和所述归一化特征值确定特征权重系数；
根据所述特征权重系数生成改进的距离计算公式；
根据所述改进的距离计算公式进行加权Kmeans聚类，生成加权Kmeans聚类模型；
获取待测视频序列的待测归一化特征值；
将所述待测视频序列的待测归一化特征值输入所述加权Kmeans聚类模型中，输出遮挡区域检测结果。
可选的，所述提取所述训练样本中像素点的多因素视频遮挡区域检测相关特征，具体包括：
采用公式
Figure BDA0002182151930000031
确定所述训练样本中的第m帧图像中像素点x的像素块亮度均值Patchm(x)；其中像素点x的坐标为(i,j)；Im(x,y)为所述训练样本中的第m帧图像中坐标为(x,y)的像素点的亮度，m＝1、2；
根据所述像素点x的像素块亮度均值Patchm(x)，采用公式
Figure BDA0002182151930000032
确定所述像素点x的亮度块变化比特征fBPCR(x)；其中uα(x)为像素点x对应的光流值；Patch1(x)为所述训练样本中的第一帧图像中像素点x的像素块亮度均值；Patch2[x+uα(x)]为所述训练样本中的第二帧图像中与所述像素点x对应的像素点的像素块亮度均值。
可选的，所述提取所述训练样本中像素点的多因素视频遮挡区域检测相关特征，还包括：
获取所述训练样本中的第一帧图像中像素点x的R、G、B三通道颜色值R1(x)、G1(x)、B1(x)，以及第二帧图像中与所述像素点x对应的像素点的R、G、B三通道颜色值R2[x+uα(x)]、G2[x+uα(x)]、B2[x+uα(x)]；
根据所述三通道颜色值，采用公式
Figure BDA0002182151930000041
确定所述像素点x的三色衰减比特征；其中fTAM-M(x)为所述像素点x的第一三色衰减比特征；fTAM-N(x)为所述像素点x的第二三色衰减比特征；ΔR(x)＝|R1(x)-R2[x+uα(x)]|，ΔG(x)＝|G1(x)-G2[x+uα(x)]|，ΔB(x)＝|B1(x)-B2[x+uα(x)]|。
可选的，所述对所述多因素视频遮挡区域检测相关特征进行归一化处理，生成所述多因素视频遮挡区域检测相关特征对应的归一化特征值，具体包括：
采用公式
Figure BDA0002182151930000042
对所述多因素视频遮挡区域检测相关特征进行归一化处理，生成所述多因素视频遮挡区域检测相关特征对应的归一化特征值；其中xj为所述训练样本中像素点x对应的第j个多因素视频遮挡区域检测相关特征对应的归一化特征值，xj'为所述训练样本中像素点x对应的第j个多因素视频遮挡区域检测相关特征的特征值，j为各多因素视频遮挡区域检测相关特征所对应序号，j＝1，2，3；其中x′1＝fBPCR(x)，x'2＝fTAM-M(x)，x'3＝fTAM-N(x)；min(x'j)为各特征值xj'中的最小值，max(x'j)为各特征值xj'中的最大值。
可选的，所述根据所述归一化特征值进行Kmeans聚类，生成所述训练样本中像素点的聚类质心，具体包括：
根据所述归一化特征值生成所述训练样本中像素点x与聚类质心特征间的欧式距离计算公式
Figure BDA0002182151930000043
其中，ci为第i类的质心，n＝3，cij为质心ci的第j个多因素视频遮挡区域检测相关特征对应的归一化特征值；
根据所述欧式距离计算公式对所述训练样本的所有像素点进行Kmeans聚类，生成所述训练样本中像素点聚类后的聚类质心ci。
可选的，所述根据所述聚类质心和所述归一化特征值确定特征权重系数，具体包括：
根据所述聚类质心ci和所述归一化特征值xj，采用公式
Figure BDA0002182151930000051
计算特征偏差εj；其中K为聚类的类别；x∈ci表示属于第i类的训练样本像素点；
根据所述特征偏差εj，采用公式
Figure BDA0002182151930000052
确定特征权重系数λj。
可选的，所述根据所述特征权重系数生成改进的距离计算公式，具体包括：
根据所述特征权重系数λj生成改进的距离计算公式
Figure BDA0002182151930000053
一种融合多特征的多因素视频遮挡区域检测系统，所述系统包括：
训练样本获取模块，用于获取多因素视频遮挡区域检测训练样本；所述多因素包括可见区域、阴影、噪声；所述训练样本由视频序列中的前、后两帧图像组成；
特征提取模块，用于提取所述训练样本中像素点的多因素视频遮挡区域检测相关特征；所述多因素视频遮挡区域检测相关特征包括亮度块变化比特征和三色衰减比特征；
归一化处理模块，用于对所述多因素视频遮挡区域检测相关特征进行归一化处理，生成所述多因素视频遮挡区域检测相关特征对应的归一化特征值；
Kmeans聚类模块，用于根据所述归一化特征值进行Kmeans聚类，生成所述训练样本中像素点的聚类质心；
特征权重系数计算模块，用于根据所述聚类质心和所述归一化特征值确定特征权重系数；
距离计算公式改进模块，用于根据所述特征权重系数生成改进的距离计算公式；
加权Kmeans聚类模块，用于根据所述改进的距离计算公式进行加权Kmeans聚类，生成加权Kmeans聚类模型；
待测样本获取模块，用于获取待测视频序列的待测归一化特征值；
遮挡区域检测模块，用于将所述待测视频序列的待测归一化特征值输入所述加权Kmeans聚类模型中，输出遮挡区域检测结果。
可选的，所述特征提取模块具体包括：
像素块亮度均值计算单元，用于采用公式
Figure BDA0002182151930000061
确定所述训练样本中的第m帧图像中像素点x的像素块亮度均值Patchm(x)；其中像素点x的坐标为(i,j)；Im(x,y)为所述训练样本中的第m帧图像中坐标为(x,y)的像素点的亮度，m＝1、2；
亮度块变化比特征计算单元，用于根据所述像素点x的像素块亮度均值Patchm(x)，采用公式
Figure BDA0002182151930000062
确定所述像素点x的亮度块变化比特征fBPCR(x)；其中uα(x)为像素点x对应的光流值；Patch1(x)为所述训练样本中的第一帧图像中像素点x的像素块亮度均值；Patch2[x+uα(x)]为所述训练样本中的第二帧图像中与所述像素点x对应的像素点的像素块亮度均值。
可选的，所述特征提取模块还包括：
三通道颜色值获取单元，用于获取所述训练样本中的第一帧图像中像素点x的R、G、B三通道颜色值R1(x)、G1(x)、B1(x)，以及第二帧图像中与所述像素点x对应的像素点的R、G、B三通道颜色值R2[x+uα(x)]、G2[x+uα(x)]、B2[x+uα(x)]；
三色衰减比特征计算单元，用于根据所述三通道颜色值，采用公式
Figure BDA0002182151930000063
确定所述像素点x的三色衰减比特征；其中fTAM-M(x)为所述像素点x的第一三色衰减比特征；fTAM-N(x)为所述像素点x的第二三色衰减比特征；ΔR(x)＝|R1(x)-R2[x+uα(x)]|，ΔG(x)＝|G1(x)-G2[x+uα(x)]|，ΔB(x)＝|B1(x)-B2[x+uα(x)]|。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供一种融合多特征的多因素视频遮挡区域检测方法及系统，所述方法通过构建多因素视频遮挡区域检测训练样本，以像素点为单位提取多因素视频遮挡区域检测相关特征；对所提取的多因素视频遮挡区域检测相关特征进行特征归一化处理，并通过Kmeans聚类获取训练样本像素点中的聚类质心，并计算各质心与类内所有训练样本像素点间的距离；基于特征加权思想，计算类内所有训练样本像素点与该类质心各特征间的距离，并根据各特征的距离与总距离的比值来计算特征权重；基于特征权重，设计改进的距离计算公式，进行加权Kmeans聚类，从而达到对多因素存在场景下视频遮挡区域进行有效检测的目的，提高了遮挡区域检测的实时性和准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的融合多特征的多因素视频遮挡区域检测方法的流程图；
图2为本发明提供的融合多特征的多因素视频遮挡区域检测方法的原理图；
图3为本发明提供的多因素视频遮挡区域检测训练样本的示意图；
图4为本发明提供的区域、阴影、噪声等多种因素同时存在情况下视频遮挡区域检测过程示意图；
图5为本发明提供的融合多特征的多因素视频遮挡区域检测系统的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种融合多特征的多因素视频遮挡区域检测方法及系统，以解决已有的视频遮挡区域检测方法在处理含有较多阴影、噪声等因素存在的视频场景时准确性及实时性低的问题。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明提供的融合多特征的多因素视频遮挡区域检测方法的流程图。图2为本发明提供的融合多特征的多因素视频遮挡区域检测方法的原理图。参见图1和图2，本发明提供的融合多特征的多因素视频遮挡区域检测方法具体包括：
步骤101：获取多因素视频遮挡区域检测训练样本。
本发明首先构建可见区域、阴影、噪声等多种因素同时存在的视频遮挡区域检测训练样本，并选取不同的光流算法，构建候选光流算法集，并基于亮度与光流信息，提取多因素视频遮挡区域检测相关特征。
从现有的Middlebury数据集以及针对遮挡情况较为全面的AlgoSuit数据集中选取可见区域、阴影、噪声等多种因素同时存在的视频序列，从而组成多因素视频遮挡区域检测训练样本。由于视频遮挡区域是通过视频序列中的前、后两帧检测出来的，所以每个多因素视频遮挡区域检测训练样本是由视频序列中的前、后两帧图像组成，部分多因素视频遮挡区域检测训练样本如图3所示。其中，第一行为多因素视频遮挡区域检测训练样本的第一帧图像，第二列为多因素视频遮挡区域检测训练样本的第二帧图像。所述多因素包括可见区域、阴影、噪声等多种因素。
步骤102：提取所述训练样本中像素点的多因素视频遮挡区域检测相关特征。
多因素视频遮挡区域检测实际上是对视频序列中各像素点遮挡类别的判定，本质上是以训练样本中的像素点为单位进行研究的，所以也是以像素点(即训练样本像素点)为单位对多因素视频遮挡区域检测相关特征进行提取并进行后续的遮挡判定。
可见区域、阴影、噪声等多种因素同时存在情况下视频遮挡区域检测过程如图4所示，如图4所示，传统的基于单因素视频遮挡区域检测相关特征的遮挡检测方法由于未充分考虑到复杂视频场景中普遍存在的阴影因素，所以很多时候会将图4中由于阴影区域移动所产生的伪遮挡区域误检为遮挡区域，导致存在遮挡区域检测准确度低的问题。因此进行基于可见区域、阴影、噪声等多因素共同指导的多因素视频遮挡区域检测相关特征提取是十分必要的。本发明所述多因素视频遮挡区域检测相关特征包括亮度块变化比特征和三色衰减比特征，特征提取过程包括：
2.1)提取亮度块变化比特征。
首先分别对训练样本中的两帧图像以每个像素点为中心构造3×3的像素块，对每一个像素块，计算亮度的均值作为该像素点的像素块亮度均值；然后利用光流找到两帧图像间的对应坐标，两坐标对应的像素块亮度均值之比的绝对值即为第一帧图像中该像素点的亮度块变化比特征fBPCR(x)。
第一帧图像中像素点x的像素块亮度均值Patchm(x)定义为
Figure BDA0002182151930000091
其中，Im(x,y)为训练样本中第m帧图像中坐标为(x,y)的像素点的亮度，由于训练样本中包括前、后两帧图像，因此本发明中m取1或2。
本发明所述亮度块变化比特征的计算方法如下：
Figure BDA0002182151930000092
其中，uα(x)是基于候选光流算法集α中的光流算法计算的光流值，而所述候选光流算法集α是由处理大位移、边界不平滑等问题的已有光流算法组成，像素点x的坐标为(i,j)，第一帧图像中该像素点x在第二帧图像中对应坐标为x+uα(x)。fBPCR(x)为所述像素点x的亮度块变化比特征；Patch1(x)为所述训练样本中的第一帧图像中像素点x的像素块亮度均值；Patch2[x+uα(x)]为所述训练样本中的第二帧图像中与所述像素点x对应的像素点x+uα(x)的像素块亮度均值。
2.2)提取三色衰减比特征。
首先分别计算两帧图像中每个像素点对应的R、G、B三通道的值；然后计算两帧图像对应像素点R、G、B三通道的差值；之后根据三色衰减比特征提取公式来实现对三色衰减比特征fTAM-M(x)与fTAM-N(x)的提取。
本发明所述三色衰减比特征的计算方法如下：
Figure BDA0002182151930000101
其中，R、G、B三通道的差值分别为ΔR(x)＝|R1(x)-R2[x+uα(x)]|，ΔG(x)＝|G1(x)-G2[x+uα(x)]|，ΔB(x)＝|B1(x)-B2[x+uα(x)]|。R1(x)，G1(x)和B1(x)分别为第一帧图像中像素点x的三通道颜色值，R2[x+uα(x)]，G2[x+uα(x)]和B2[x+uα(x)]分别为第二帧图像中对应像素点的三通道颜色值。fTAM-M(x)为所述像素点x的第一三色衰减比特征；fTAM-N(x)为所述像素点x的第二三色衰减比特征。
步骤103：对所述多因素视频遮挡区域检测相关特征进行归一化处理，生成所述多因素视频遮挡区域检测相关特征对应的归一化特征值。
以像素点为单位提取各训练样本像素点的多因素视频遮挡区域检测相关特征后，由于各特征的计算方法不同，从而导致所提取的各多因素视频遮挡区域检测相关特征的取值范围可能不同，变化程度也可能不同，而特征归一化处理会规避这种情况，使各特征都统一到一个大致相同的区间内，所以本发明将所提取的多因素视频遮挡区域检测相关特征进行归一化处理，使得归一化后的特征值结构映射到[0,1]之间，归一化处理方法如下：
Figure BDA0002182151930000102
其中xj为所述训练样本中像素点x对应的第j个多因素视频遮挡区域检测相关特征对应的归一化特征值，xj'为所述训练样本中像素点x对应的第j个多因素视频遮挡区域检测相关特征的特征值，j为各多因素视频遮挡区域检测相关特征所对应序号，j＝1，2，3分别对应特征fBPCR(x)、fTAM-M(x)与fTAM-N(x)，即x′1＝fBPCR(x)，x'2＝fTAM-M(x)，x'3＝fTAM-N(x)。
所有训练样本像素点的特征值xj'组成对应多因素视频遮挡区域检测相关特征的待归一化特征向量，min(x'j)、max(x'j)分别为各特征向量xj'中的最小值与最大值。特征归一化计算完成后，将各多因素视频遮挡区域检测相关特征所对应的归一化特征向量xj组成训练样本矩阵，从而训练后续的加权Kmeans聚类模型，其中训练样本矩阵中行代表训练样本像素点，列代表各多因素视频遮挡区域检测相关特征的归一化特征值。
步骤104：根据所述归一化特征值进行Kmeans聚类，生成所述训练样本中像素点的聚类质心。
得到训练样本矩阵后，通过Kmeans聚类算法，获取训练样本像素点中的聚类质心，并计算各质心与类内所有训练样本像素点间的距离。其中，在Kmeans聚类算法中聚类类别数K的选取设定为3。
采用Kmeans聚类算法获取训练样本像素点中的聚类质心并计算各质心与类内所有训练样本像素点间的距离方法如下：
4.1)随机选取K＝3个聚类中心点，即初始聚类质心；
4.2)遍历所有训练样本像素点，通过计算各训练样本像素点与聚类质心特征间的欧式距离，将每个训练样本像素点划分到最近的聚类质心中，具体的训练样本像素点与聚类质心特征间的欧式距离计算公式如下：
Figure BDA0002182151930000111
公式(5)中，n为特征的数量，j为特征编号，j＝1…n，本发明中n＝3。x为训练样本像素点，ci为第i类的质心，cij、xj分别为质心ci和训练样本像素点x在第j个特征的归一化特征值；dist(ci,x)为ci与x之间的欧氏距离；
4.3)计算每个聚类的平均值，并作为新的聚类质心；
4.4)重复步骤4.2)和4.3)，直到这3个聚类质心不再改变(收敛了)或达到迭代次数，将此时得到的聚类质心作为所述训练样本中像素点的聚类质心；
4.5)计算类内所有训练样本像素点与该类质心的欧式距离。
步骤105：根据所述聚类质心和所述归一化特征值确定特征权重系数。
得到训练样本像素点中的聚类质心ci以及类内所有训练样本像素点与该质心间的距离之和后，为了衡量每个特征对多因素视频遮挡区域检测的影响，从而改进Kmeans聚类算法，本发明根据各特征与类内质心的距离与总距离的相似度来衡量各特征的重要性。首先基于特征加权思想，计算类内所有训练样本像素点与该类质心各特征间的距离，并根据各特征的距离与总距离的比值来计算特征偏差，本发明特征偏差计算方法如下：
Figure BDA0002182151930000121
其中，j为特征编号，j＝1…n，n为特征的数量，本发明中n＝3。K为聚类的类别，x为训练样本像素点，ci为第i类的质心，x∈ci表示属于第i类的训练样本像素点，cij、xj分别为质心ci与训练样本像素点x在第j个特征的特征值。
根据计算得到的特征偏差，计算特征权重系数，从而表示各多因素视频遮挡区域检测相关特征的特征权重。特征权重系数计算方法如下：
Figure BDA0002182151930000122
其中，εj为特征偏差，λj为特征权重系数。
步骤106：根据所述特征权重系数生成改进的距离计算公式。
基于计算得到的特征权重λj，定义改进的距离计算公式如下：
Figure BDA0002182151930000123
公式(8)中，n为特征的数量，j为特征编号，x为训练样本像素点，ci为第i类的质心，dist_new(ci,x)为ci与x之间的改进欧氏距离，λj为特征权重系数。
步骤107：根据所述改进的距离计算公式进行加权Kmeans聚类，生成加权Kmeans聚类模型。
根据改进的距离计算公式，进行加权Kmeans聚类，从而基于无监督学习思想实现多因素视频遮挡区域检测。具体实现过程如下：
7.1)随机选取3个聚类中心点作为初始聚类质心；
7.2)遍历所有训练样本像素点，基于改进的距离公式，计算各训练样本像素点与聚类质心间的距离dist_new(ci,x)，将每个训练样本像素点划分到最近的聚类质心中；
7.3)计算每个聚类的平均值，并作为新的聚类质心；
7.4)重复步骤7.2)和7.3)，直到这3个聚类质心不再改变(收敛了)，或达到迭代次数，得到最终的聚类质心，这3个最终的聚类质心构成最终的加权Kmeans聚类模型。
步骤108：获取待测视频序列的待测归一化特征值。
获取待测视频序列，采用前述方法对所述待测视频序列进行多因素视频遮挡区域相关特征提取并归一化，生成待测视频序列的待测归一化特征值。
步骤109：将所述待测视频序列的待测归一化特征值输入所述加权Kmeans聚类模型中，输出遮挡区域检测结果。
将所述待测视频序列的待测归一化特征值输入到最终得到的加权Kmeans聚类模型中，根据所述待测归一化特征值与所述最终的聚类质心之间的改进欧氏距离确定待测视频序列各像素点的遮挡类型，进而得到相应的视频遮挡区域，实现多因素的视频遮挡区域检测。本发明多因素视频遮挡区域检测输出的最终结果是以像素为单位所组成的遮挡区域，如图4中的“遮挡区域”所示。
本发明首先构建多因素视频遮挡区域检测数据训练样本以及候选光流算法集，并基于亮度和光流信息，提取多因素视频遮挡区域检测相关特征；以像素点为单位将所提取的特征组成特征向量进行特征归一化，并通过Kmeans聚类获取训练样本像素点中的聚类质心，并计算各质心与类内所有训练样本像素点间的距离；基于特征加权思想，计算类内所有训练样本像素点与该类质心各特征间的距离，并根据各特征的距离与总距离的比值来计算特征权重；基于特征权重，设计改进的距离计算公式，进行加权Kmeans聚类，从而达到对多因素存在场景下视频遮挡区域检测的目的。本发明无需获取视频图像中的先验知识，可有效地解决可见区域、阴影、噪声等多种因素同时存在时视频场景中的遮挡区域检测问题，提高了遮挡区域检测的实时性和准确性。
基于本发明提供的多因素视频遮挡区域检测方法，本发明还提供一种融合多特征的多因素视频遮挡区域检测系统，参见图5，所述系统包括：
训练样本获取模块501，用于获取多因素视频遮挡区域检测训练样本；所述多因素包括可见区域、阴影、噪声；所述训练样本由视频序列中的前、后两帧图像组成；
特征提取模块502，用于提取所述训练样本中像素点的多因素视频遮挡区域检测相关特征；所述多因素视频遮挡区域检测相关特征包括亮度块变化比特征和三色衰减比特征；
归一化处理模块503，用于对所述多因素视频遮挡区域检测相关特征进行归一化处理，生成所述多因素视频遮挡区域检测相关特征对应的归一化特征值；
Kmeans聚类模块504，用于根据所述归一化特征值进行Kmeans聚类，生成所述训练样本中像素点的聚类质心；
特征权重系数计算模块505，用于根据所述聚类质心和所述归一化特征值确定特征权重系数；
距离计算公式改进模块506，用于根据所述特征权重系数生成改进的距离计算公式；
加权Kmeans聚类模块507，用于根据所述改进的距离计算公式进行加权Kmeans聚类，生成加权Kmeans聚类模型；
待测样本获取模块508，用于获取待测视频序列的待测归一化特征值；
遮挡区域检测模块509，用于将所述待测视频序列的待测归一化特征值输入所述加权Kmeans聚类模型中，输出遮挡区域检测结果。
其中，所述特征提取模块502具体包括：
像素块亮度均值计算单元，用于采用公式
Figure BDA0002182151930000141
确定所述训练样本中的第m帧图像中像素点x的像素块亮度均值Patchm(x)；其中像素点x的坐标为(i,j)；Im(x,y)为所述训练样本中的第m帧图像中坐标为(x,y)的像素点的亮度，m＝1、2；
亮度块变化比特征计算单元，用于根据所述像素点x的像素块亮度均值Patchm(x)，采用公式
Figure BDA0002182151930000142
确定所述像素点x的亮度块变化比特征fBPCR(x)；其中uα(x)为像素点x对应的光流值；Patch1(x)为所述训练样本中的第一帧图像中像素点x的像素块亮度均值；Patch2[x+uα(x)]为所述训练样本中的第二帧图像中与所述像素点x对应的像素点的像素块亮度均值；
三通道颜色值获取单元，用于获取所述训练样本中的第一帧图像中像素点x的R、G、B三通道颜色值R1(x)、G1(x)、B1(x)，以及第二帧图像中与所述像素点x对应的像素点的R、G、B三通道颜色值R2[x+uα(x)]、G2[x+uα(x)]、B2[x+uα(x)]；
三色衰减比特征计算单元，用于根据所述三通道颜色值，采用公式
Figure BDA0002182151930000151
确定所述像素点x的三色衰减比特征；其中fTAM-M(x)为所述像素点x的第一三色衰减比特征；fTAM-N(x)为所述像素点x的第二三色衰减比特征；ΔR(x)＝|R1(x)-R2[x+uα(x)]|，ΔG(x)＝|G1(x)-G2[x+uα(x)]|，ΔB(x)＝|B1(x)-B2[x+uα(x)]|。
所述归一化处理模块503具体包括：
归一化处理单元，用于采用公式
Figure BDA0002182151930000152
对所述多因素视频遮挡区域检测相关特征进行归一化处理，生成所述多因素视频遮挡区域检测相关特征对应的归一化特征值；其中xj为所述训练样本中像素点x对应的第j个多因素视频遮挡区域检测相关特征对应的归一化特征值，xj'为所述训练样本中像素点x对应的第j个多因素视频遮挡区域检测相关特征的特征值，j为各多因素视频遮挡区域检测相关特征所对应序号，j＝1，2，3；其中x′1＝fBPCR(x)，x'2＝fTAM-M(x)，x'3＝fTAM-N(x)；min(x'j)为各特征值xj'中的最小值，max(x'j)为各特征值xj'中的最大值。
所述Kmeans聚类模块504具体包括：
欧式距离计算公式生成单元，用于根据所述归一化特征值生成所述训练样本中像素点x与聚类质心特征间的欧式距离计算公式
Figure BDA0002182151930000161
其中，ci为第i类的质心，n＝3，cij为质心ci的第j个多因素视频遮挡区域检测相关特征对应的归一化特征值；
Kmeans聚类单元，用于根据所述欧式距离计算公式对所述训练样本的所有像素点进行Kmeans聚类，生成所述训练样本中像素点聚类后的聚类质心ci。
所述特征权重系数计算模块505具体包括：
特征偏差计算单元，用于根据所述聚类质心ci和所述归一化特征值xj，采用公式
Figure BDA0002182151930000162
计算特征偏差εj；其中K为聚类的类别；x∈ci表示属于第i类的训练样本像素点；
特征权重系数计算单元，用于根据所述特征偏差εj，采用公式
Figure BDA0002182151930000163
确定特征权重系数λj。
所述距离计算公式改进模块506具体包括：
距离计算公式改进单元，用于根据所述特征权重系数λj生成改进的距离计算公式
Figure BDA0002182151930000164
与现有的视频遮挡区域检测方法相比，本发明的优势在于：
(1)本发明方法通过提取多因素视频遮挡区域检测相关特征，可以有效地解决可见区域、阴影、噪声等多种因素同时存在时视频场景中的遮挡区域检测问题。
(2)本发明提出了一种新的基于特征权重的改进距离计算公式，在原有的Kmeans聚类基础上进行了改进，将特征重要性的思想融入到Kmeans聚类算法中，从而实现对视频遮挡区域更有效的检测，提高了检测准确性。
(3)本发明将Kmeans聚类思想应用于遮挡区域检测中，可以有效地解决已有视频遮挡区域检测方法对标签的依赖，且无需大量数据样本训练，提高了视频遮挡区域检测的实时性和检测效率，是无监督Kmeans聚类思想在视频遮挡区域检测上的一次有效尝试。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种融合多特征的多因素视频遮挡区域检测方法，其特征在于，所述方法包括：
获取多因素视频遮挡区域检测训练样本；所述多因素包括可见区域、阴影、噪声；所述训练样本由视频序列中的前、后两帧图像组成；
提取所述训练样本中像素点的多因素视频遮挡区域检测相关特征；所述多因素视频遮挡区域检测相关特征包括亮度块变化比特征和三色衰减比特征；
对所述多因素视频遮挡区域检测相关特征进行归一化处理，生成所述多因素视频遮挡区域检测相关特征对应的归一化特征值；
根据所述归一化特征值进行Kmeans聚类，生成所述训练样本中像素点的聚类质心；
根据所述聚类质心和所述归一化特征值确定特征权重系数；
根据所述特征权重系数生成改进的距离计算公式；
根据所述改进的距离计算公式进行加权Kmeans聚类，生成加权Kmeans聚类模型；
获取待测视频序列的待测归一化特征值；
将所述待测视频序列的待测归一化特征值输入所述加权Kmeans聚类模型中，输出遮挡区域检测结果；
所述提取所述训练样本中像素点的多因素视频遮挡区域检测相关特征，具体包括：
采用公式
Figure FDA0003335420250000011
确定所述训练样本中的第m帧图像中像素点x的像素块亮度均值Patchm(x)；其中像素点x的坐标为(i,j)；Im(x,y)为所述训练样本中的第m帧图像中坐标为(x,y)的像素点的亮度，m＝1、2；
根据所述像素点x的像素块亮度均值Patchm(x)，采用公式
Figure FDA0003335420250000012
确定所述像素点x的亮度块变化比特征fBPCR(x)；其中uα(x)为像素点x对应的光流值；Patch1(x)为所述训练样本中的第一帧图像中像素点x的像素块亮度均值；Patch2[x+uα(x)]为所述训练样本中的第二帧图像中与所述像素点x对应的像素点的像素块亮度均值；
所述根据所述聚类质心和所述归一化特征值确定特征权重系数，具体包括：
根据所述聚类质心ci和所述归一化特征值xj，采用公式
Figure FDA0003335420250000021
计算特征偏差εj；其中K为聚类的类别；x∈ci表示属于第i类的训练样本像素点；
根据所述特征偏差εj，采用公式
Figure FDA0003335420250000022
确定特征权重系数λj；
所述根据所述特征权重系数生成改进的距离计算公式，具体包括：
根据所述特征权重系数λj生成改进的距离计算公式
Figure FDA0003335420250000023
2.根据权利要求1所述的多因素视频遮挡区域检测方法，其特征在于，所述提取所述训练样本中像素点的多因素视频遮挡区域检测相关特征，还包括：
获取所述训练样本中的第一帧图像中像素点x的R、G、B三通道颜色值R1(x)、G1(x)、B1(x)，以及第二帧图像中与所述像素点x对应的像素点的R、G、B三通道颜色值R2[x+uα(x)]、G2[x+uα(x)]、B2[x+uα(x)]；
根据所述三通道颜色值，采用公式
Figure FDA0003335420250000024
确定所述像素点x的三色衰减比特征；其中fTAM-M(x)为所述像素点x的第一三色衰减比特征；fTAM-N(x)为所述像素点x的第二三色衰减比特征；ΔR(x)＝βR1(x)-R2[x+uα(x)]|，ΔG(x)＝|G1(x)-G2[x+uα(x)]|，ΔB(x)＝|B1(x)-B2[x+uα(x)]|。
3.根据权利要求2所述的多因素视频遮挡区域检测方法，其特征在于，所述对所述多因素视频遮挡区域检测相关特征进行归一化处理，生成所述多因素视频遮挡区域检测相关特征对应的归一化特征值，具体包括：
采用公式
Figure FDA0003335420250000031
对所述多因素视频遮挡区域检测相关特征进行归一化处理，生成所述多因素视频遮挡区域检测相关特征对应的归一化特征值；其中xj为所述训练样本中像素点x对应的第j个多因素视频遮挡区域检测相关特征对应的归一化特征值，xj'为所述训练样本中像素点x对应的第j个多因素视频遮挡区域检测相关特征的特征值，j为各多因素视频遮挡区域检测相关特征所对应序号，j＝1，2，3；其中x1'＝fBPCR(x)，x'2＝fTAM-M(x)，x'3＝fTAM-N(x)；min(x'j)为各特征值xj'中的最小值，max(x'j)为各特征值xj'中的最大值。
4.根据权利要求3所述的多因素视频遮挡区域检测方法，其特征在于，所述根据所述归一化特征值进行Kmeans聚类，生成所述训练样本中像素点的聚类质心，具体包括：
根据所述归一化特征值生成所述训练样本中像素点x与聚类质心特征间的欧式距离计算公式
Figure FDA0003335420250000032
其中，ci为第i类的质心，n＝3，cij为质心ci的第j个多因素视频遮挡区域检测相关特征对应的归一化特征值；
根据所述欧式距离计算公式对所述训练样本的所有像素点进行Kmeans聚类，生成所述训练样本中像素点聚类后的聚类质心ci。
5.一种融合多特征的多因素视频遮挡区域检测系统，其特征在于，所述系统包括：
训练样本获取模块，用于获取多因素视频遮挡区域检测训练样本；所述多因素包括可见区域、阴影、噪声；所述训练样本由视频序列中的前、后两帧图像组成；
特征提取模块，用于提取所述训练样本中像素点的多因素视频遮挡区域检测相关特征；所述多因素视频遮挡区域检测相关特征包括亮度块变化比特征和三色衰减比特征；
归一化处理模块，用于对所述多因素视频遮挡区域检测相关特征进行归一化处理，生成所述多因素视频遮挡区域检测相关特征对应的归一化特征值；
Kmeans聚类模块，用于根据所述归一化特征值进行Kmeans聚类，生成所述训练样本中像素点的聚类质心；
特征权重系数计算模块，用于根据所述聚类质心和所述归一化特征值确定特征权重系数；
距离计算公式改进模块，用于根据所述特征权重系数生成改进的距离计算公式；
加权Kmeans聚类模块，用于根据所述改进的距离计算公式进行加权Kmeans聚类，生成加权Kmeans聚类模型；
待测样本获取模块，用于获取待测视频序列的待测归一化特征值；
遮挡区域检测模块，用于将所述待测视频序列的待测归一化特征值输入所述加权Kmeans聚类模型中，输出遮挡区域检测结果；
所述特征提取模块具体包括：
像素块亮度均值计算单元，用于采用公式
Figure FDA0003335420250000041
确定所述训练样本中的第m帧图像中像素点x的像素块亮度均值Patchm(x)；其中像素点x的坐标为(i,j)；Im(x,y)为所述训练样本中的第m帧图像中坐标为(x,y)的像素点的亮度，m＝1、2；
亮度块变化比特征计算单元，用于根据所述像素点x的像素块亮度均值Patchm(x)，采用公式
Figure FDA0003335420250000042
确定所述像素点x的亮度块变化比特征fBPCR(x)；其中uα(x)为像素点x对应的光流值；Patch1(x)为所述训练样本中的第一帧图像中像素点x的像素块亮度均值；Patch2[x+uα(x)]为所述训练样本中的第二帧图像中与所述像素点x对应的像素点的像素块亮度均值；
所述特征权重系数计算模块具体包括：
特征偏差计算单元，用于根据所述聚类质心ci和所述归一化特征值xj，采用公式
Figure FDA0003335420250000051
计算特征偏差εj；其中K为聚类的类别；x∈ci表示属于第i类的训练样本像素点；
特征权重系数计算单元，用于根据所述特征偏差εj，采用公式
Figure FDA0003335420250000052
确定特征权重系数λj；
所述距离计算公式改进模块具体包括：
距离计算公式改进单元，用于根据所述特征权重系数λj生成改进的距离计算公式
Figure FDA0003335420250000053
6.根据权利要求5所述的多因素视频遮挡区域检测系统，其特征在于，所述特征提取模块还包括：
三通道颜色值获取单元，用于获取所述训练样本中的第一帧图像中像素点x的R、G、B三通道颜色值R1(x)、G1(x)、B1(x)，以及第二帧图像中与所述像素点x对应的像素点的R、G、B三通道颜色值R2[x+uα(x)]、G2[x+uα(x)]、B2[x+uα(x)]；
三色衰减比特征计算单元，用于根据所述三通道颜色值，采用公式
Figure FDA0003335420250000054
确定所述像素点x的三色衰减比特征；其中fTAM-M(x)为所述像素点x的第一三色衰减比特征；fTAM-N(x)为所述像素点x的第二三色衰减比特征；ΔR(x)＝|R1(x)-R2[x+uα(x)]|，ΔG(x)＝|G1(x)-G2[x+uα(x)]|，ΔB(x)＝|B1(x)-B2[x+uα(x)]|。
CN201910800416.4A 2019-08-28 2019-08-28 一种融合多特征的多因素视频遮挡区域检测方法及系统 Active CN110503061B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910800416.4A CN110503061B (zh) 2019-08-28 2019-08-28 一种融合多特征的多因素视频遮挡区域检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910800416.4A CN110503061B (zh) 2019-08-28 2019-08-28 一种融合多特征的多因素视频遮挡区域检测方法及系统

Publications (2)

Publication Number Publication Date
CN110503061A CN110503061A (zh) 2019-11-26
CN110503061B true CN110503061B (zh) 2022-02-11

Family

ID=68590067

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910800416.4A Active CN110503061B (zh) 2019-08-28 2019-08-28 一种融合多特征的多因素视频遮挡区域检测方法及系统

Country Status (1)

Country Link
CN (1) CN110503061B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117011288B (zh) * 2023-09-27 2024-02-20 勤源(江苏)科技有限公司 视频质量诊断方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7142600B1 (en) * 2003-01-11 2006-11-28 Neomagic Corp. Occlusion/disocclusion detection using K-means clustering near object boundary with comparison of average motion of clusters to object and background motions

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2395102B1 (es) * 2010-10-01 2013-10-18 Telefónica, S.A. Metodo y sistema para segmentacion de primer plano de imagenes en tiempo real

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7142600B1 (en) * 2003-01-11 2006-11-28 Neomagic Corp. Occlusion/disocclusion detection using K-means clustering near object boundary with comparison of average motion of clusters to object and background motions

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
利用无监督聚类实现深度图像的遮挡边界检测;张世辉，等;《小型微型计算机系统》;20171130;第38卷(第11期);全文 *
室外光源光谱辐照度与 K-means 结合的单幅图像阴影检测;徐晓燕，等;《科学技术与工程》;20180228;第18卷(第4期);全文 *
融合多特征基于图割实现视频遮挡区域检测;张世辉，等.;《光学学报》;20150430;第35卷(第4期);全文 *
融合时空多特征表示的无监督视频分割算法;李雪君等;《计算机应用》;20171110(第11期);全文 *

Also Published As

Publication number Publication date
CN110503061A (zh) 2019-11-26

Similar Documents

Publication Publication Date Title
CN108537743B (zh) 一种基于生成对抗网络的面部图像增强方法
CN107832672B (zh) 一种利用姿态信息设计多损失函数的行人重识别方法
CN109670528B (zh) 面向行人重识别任务的基于成对样本随机遮挡策略的数据扩充方法
CN107633226B (zh) 一种人体动作跟踪特征处理方法
CN110580472B (zh) 一种基于全卷积网络和条件对抗网络的视频前景检测方法
CN111639564B (zh) 一种基于多注意力异构网络的视频行人重识别方法
CN109544592B (zh) 针对相机移动的运动目标检测算法
CN111625667A (zh) 一种基于复杂背景图像的三维模型跨域检索方法及系统
CN113011329A (zh) 一种基于多尺度特征金字塔网络及密集人群计数方法
CN107833239B (zh) 一种基于加权模型约束的寻优匹配目标跟踪方法
CN113963032A (zh) 一种融合目标重识别的孪生网络结构目标跟踪方法
CN112802054B (zh) 一种融合图像分割的混合高斯模型前景检测方法
Xu et al. Hierarchical activity discovery within spatio-temporal context for video anomaly detection
CN106650617A (zh) 一种基于概率潜在语义分析的行人异常识别方法
CN107609571B (zh) 一种基于lark特征的自适应目标跟踪方法
CN112329784A (zh) 一种基于时空感知及多峰响应的相关滤波跟踪方法
CN113361542A (zh) 一种基于深度学习的局部特征提取方法
CN112084952B (zh) 一种基于自监督训练的视频点位跟踪方法
CN111009005A (zh) 几何信息与光度信息相结合的场景分类点云粗配准方法
WO2013075295A1 (zh) 低分辨率视频的服装识别方法及系统
Ouyang et al. Video anomaly detection by estimating likelihood of representations
Wang et al. Video background/foreground separation model based on non-convex rank approximation RPCA and superpixel motion detection
CN111274964A (zh) 一种基于无人机视觉显著性分析水面污染物的检测方法
Uddin et al. Fusion in dissimilarity space for RGB-D person re-identification
CN113011359B (zh) 一种基于图像的同时检测平面结构和生成平面描述的方法及应用

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant