CN106780519A - 基于快速张量鲁棒模型的视频前景提取方法 - Google Patents

基于快速张量鲁棒模型的视频前景提取方法 Download PDF

Info

Publication number
CN106780519A
CN106780519A CN201710076992.XA CN201710076992A CN106780519A CN 106780519 A CN106780519 A CN 106780519A CN 201710076992 A CN201710076992 A CN 201710076992A CN 106780519 A CN106780519 A CN 106780519A
Authority
CN
China
Prior art keywords
tensor
video
frame
dictionary
sparse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710076992.XA
Other languages
English (en)
Other versions
CN106780519B (zh
Inventor
李平
王然
徐向华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Jibei Electric Power Co Ltd
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201710076992.XA priority Critical patent/CN106780519B/zh
Publication of CN106780519A publication Critical patent/CN106780519A/zh
Application granted granted Critical
Publication of CN106780519B publication Critical patent/CN106780519B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于快速张量鲁棒模型的视频前景提取方法。本发明对给定的视频进行如下操作：1）将视频看做三维张量，视频张量分解为低秩张量和稀疏张量，低秩张量由字典张量和系数张量重构，从而建立张量鲁棒模型。2）通过傅里叶变换‑随机优化迭代‑傅里叶逆变换步骤，快速求解张量鲁棒模型，获得视频帧对应的字典张量、系数张量、稀疏张量。3）依据上述步骤对视频帧逐个处理，视频帧背景由字典张量和系数张量的乘积表示，视频帧前景由稀疏张量表示，直至视频结束。本发明从张量分解、鲁棒性、实时性多角度对视频进行处理，能够逐帧快速提取视频前景，同时重构视频背景，提高了视频内容分析的可靠度和速度。

Description

基于快速张量鲁棒模型的视频前景提取方法
技术领域
本发明属于视频分析技术领域，特别涉及基于快速张量鲁棒模型的视频前景提取方法，适用于智能监控视频处理。
背景技术
随着智慧城市的建设需求日益增长，智能监控视频的处理显得尤为重要，视频前景提取作为监控视频内容分析的关键技术引起了学术界和工业界的重点关注。由于监控场景的背景光线强度在不同时间段变化、前景运动对象受到外界干扰、视频内容冗长等因素，使得监控视频具有数据规模大且各类噪声干扰多等特点，给视频前景的提取工作带来很大挑战。
视频的前景提取一般指从视频背景中对前景如运动目标进行捕捉和分离，涉及计算机视觉领域的目标跟踪和图像分割，同时涉及机器学习和模式识别领域。常见的方法有帧间差分法、背景去除法、期望最大化法、显著性检测、超像素法、光流法和基于统计模型的方法，其中帧间差分法直接根据相邻视频帧在背景变化和前景较为复杂时的适应性较差；而背景去除法是较为广泛应用的技术，即通过背景建模。这些方法大多存在一些缺点，如对于冗长监控视频处理的速度无法满足实时性要求、存储视频的内存需求越来越大、抗噪声干扰能力不佳、视频帧的空间结构信息未充分利用等。因此，迫切需要设计一种快速的鲁棒模型，使其能够实时提取视频的前景，还能节省计算开销。
发明内容
为了快速提取给定视频的前景，从张量分解、鲁棒性、实时性多个角度对视频帧进行有效处理，本发明提出了基于快速张量鲁棒模型的视频前景提取方法，该方法包括以下步骤：
1、获取给定的一段视频后，进行如下操作：
1)将视频看做三维张量，视频张量分解为低秩张量和稀疏张量，低秩张量由字典张量和系数张量重构，从而建立张量鲁棒模型。
2)通过傅里叶变换-随机优化迭代-傅里叶逆变换步骤，快速求解张量鲁棒模型，获得视频帧对应的字典张量、系数张量、稀疏张量。
3)依据上述步骤对视频帧逐个处理，视频帧背景由字典张量和系数张量的乘积表示，视频帧前景由稀疏张量表示，直至视频结束。
进一步，所述的步骤1)中的将视频看做三维张量，视频张量分解为低秩张量和稀疏张量，低秩张量由字典张量和系数张量重构，从而建立张量鲁棒模型，具体是：
1.1)将视频看做三维张量(Tensor)第一维n1和第三维n3分别表示视频帧的行数和列数，第二维n2表示视频帧的数目，视频帧为张量的侧向切片(LateralSlice)，张量的数值为各像素对应的灰度值。
1.2)视频张量分解为低秩张量和稀疏张量即低秩张量由字典张量和系数张量重构，即其中符号“*”为张量乘积，维度r远小于n1和n3的最小值。
1.3)依据上述定义，建立如下视频张量鲁棒模型：
其中符号‖·‖*表示核范数，‖·‖1表示L1范数，λ1＞0为常数。
进一步，所述的步骤2)中的通过傅里叶变换-随机优化迭代-傅里叶逆变换步骤，快速求解张量鲁棒模型，获得视频帧对应的字典张量、系数张量、稀疏张量，具体是：
2.1)视频的第i帧为其对应的低秩张量为稀疏张量为字典张量由所有视频帧共享，系数张量为则傅里叶变换-随机优化迭代-傅里叶逆变换的详细步骤如下：
2.1.1)对视频帧沿第三维进行傅里叶变换得到并将其表示为对角块矩阵其对角元素上标对应视频帧的第1列、第2列，直到第n3列，即第k个块为
2.1.2)依照步骤2.1.1)类似地对视频帧的低秩张量、稀疏张量、字典张量、系数张量进行傅里叶变换和对角化diag(·)处理，得到
2.1.3)建立步骤1.3)中张量鲁棒模型的等价快速模型，即
其中，‖·‖F表示Frobenius范数，‖·‖2表示L2范数，λ2＞0为常数。
2.2)对视频帧对应的字典张量随机初始化为0到1之间的实数，对低秩张量、稀疏张量和系数张量均初始化为全0变量，然后运用随机优化准则和迭代算法，求解2.1.3)中的快速张量鲁棒模型，分别得到对应傅里叶空间的字典张量系数张量稀疏张量低秩张量
2.3)对上述求解得到的变量进行傅里叶逆变换，得到视频帧在实数域空间的字典张量系数张量稀疏张量εi、低秩张量
所述的步骤3)中的对视频帧逐个处理，视频帧背景由字典张量和系数张量的乘积表示，视频帧前景由稀疏张量表示，具体是：
3.1)依照步骤1)和步骤2)对视频帧逐个处理，视频帧背景由字典张量和系数张量的乘积表示，即低秩张量视频帧前景由稀疏张量εi表示。
3.2)对视频中的所有帧依次重复步骤3.1),即可提取整个视频的前景。
本发明的有益效果：本发明能够对相对固定背景的视频从张量分解、鲁棒性和实时性等多个角度对视频帧的背景和前景进行分离，可以逐帧实时地提取视频前景，提高了监控视频智能分析的可靠性和速度，为建设智慧城市的安防监控智能系统提供技术支持。
附图说明
图1是本发明的方法流程图。
具体实施方式
以下结合附图对本发明作进一步说明。
本发明提出基于快速张量鲁棒模型的视频前景提取方法，重点利用视频的在不同维度的空间关联信息，同时考虑视频处理的鲁棒性和实时性。主要思想是将视频看做三维张量，建立快速张量鲁棒模型，利用傅里叶变换-随机迭代优化-傅里叶逆变换步骤逐帧处理，得到用于视频背景建模的低秩张量，以及提取视频前景的稀疏张量。通过这种方式，可以实时地提取视频前景，参照附图1，进一步说明：
1、获取给定的一段视频后，进行以下操作：
1)将视频看做三维张量，视频张量分解为低秩张量和稀疏张量，低秩张量由字典张量和系数张量重构，从而建立张量鲁棒模型。
2)通过傅里叶变换-随机优化迭代-傅里叶逆变换步骤，快速求解张量鲁棒模型，获得视频帧对应的字典张量、系数张量、稀疏张量。
3)依据上述步骤对视频帧逐个处理，视频帧背景由字典张量和系数张量的乘积表示，视频帧前景由稀疏张量表示，直至视频结束。
步骤1)中的将视频看做三维张量，视频张量分解为低秩张量和稀疏张量，低秩张量由字典张量和系数张量重构，从而建立张量鲁棒模型，具体是：
1.1)将视频看做三维张量(Tensor)第一维n1和第三维n3分别表示视频帧的行数和列数，第二维n2表示视频帧的数目，视频帧为张量的侧向切片(LateralSlice)，张量的数值为各像素对应的灰度值。
1.2)视频张量分解为低秩张量和稀疏张量即低秩张量由字典张量和系数张量重构，即其中符号“*”为张量乘积，维度r远小于n1和n3的最小值。
1.3)依据上述定义，建立如下视频张量鲁棒模型：
其中符号‖·‖*表示核范数，‖·‖1表示L1范数，λ1＞0为常数。
步骤2)中的通过傅里叶变换-随机优化迭代-傅里叶逆变换步骤，快速求解张量鲁棒模型，获得视频帧对应的字典张量、系数张量、稀疏张量，具体是：
2.1)视频的第i帧为其对应的低秩张量为稀疏张量为字典张量由所有视频帧共享，系数张量为则傅里叶变换-随机优化迭代-傅里叶逆变换的详细步骤描述如下：
2.1.1)对视频帧沿第三维进行傅里叶变换得到并将其表示为对角块矩阵其对角元素上标对应视频帧的第1列、第2列，直到第n3列，即第k个块为
2.1.2)依照步骤2.1.1)类似地对视频帧的低秩张量、稀疏张量、字典张量、系数张量进行傅里叶变换和对角化diag(·)处理，得到
2.1.3)建立步骤1.3)中张量鲁棒模型的等价快速模型，即
其中，‖·‖F表示Frobenius范数，‖·‖2表示L2范数，λ2＞0为常数。
2.2)对视频帧对应的字典张量随机初始化为0到1之间的实数，对低秩张量、稀疏张量和系数张量均初始化为全0变量，然后运用随机优化准则和迭代算法，求解2.1.3)中的快速张量鲁棒模型，分别得到对应傅里叶空间的字典张量系数张量稀疏张量低秩张量
2.3)对上述求解得到的变量进行傅里叶逆变换，得到视频帧在实数域空间的字典张量系数张量稀疏张量εi、低秩张量
步骤3)中的对视频帧逐个处理，视频帧背景由字典张量和系数张量的乘积表示，视频帧前景由稀疏张量表示，具体是：
3.1)依照步骤1)和步骤2)对视频帧逐个处理，视频帧背景由字典张量和系数张量的乘积表示，即低秩张量视频帧前景由稀疏张量εi表示。
3.2)对视频中的所有帧依次重复步骤3.1),即可提取整个视频的前景。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (4)

1.基于快速张量鲁棒模型的视频前景提取方法，其特征在于对给定的一段视频，进行如下操作：
1)将视频看做三维张量，视频张量分解为低秩张量和稀疏张量，低秩张量由字典张量和系数张量重构，从而建立张量鲁棒模型；
2)通过傅里叶变换-随机优化迭代-傅里叶逆变换步骤，快速求解张量鲁棒模型，获得视频帧对应的字典张量、系数张量、稀疏张量；
3)依据上述步骤对视频帧逐个处理，视频帧背景由字典张量和系数张量的乘积表示，视频帧前景由稀疏张量表示，直至视频结束。
2.如权利要求1所述的基于快速张量鲁棒模型的视频前景提取方法，其特征在于：所述的步骤1)中的将视频看做三维张量，视频张量分解为低秩张量和稀疏张量，低秩张量由字典张量和系数张量重构，从而建立张量鲁棒模型，具体是：
1.1)将视频看做三维张量第一维n1和第三维n3分别表示视频帧的行数和列数，第二维n2表示视频帧的数目，视频帧为张量的侧向切片，张量的数值为各像素对应的灰度值；
1.2)视频张量分解为低秩张量和稀疏张量即低秩张量由字典张量和系数张量重构，即其中符号“*”为张量乘积，维度r远小于n1和n3的最小值；
1.3)依据上述定义，建立如下视频张量鲁棒模型：
其中符号‖·‖*表示核范数，‖·‖1表示L1范数，λ1＞0为常数。
3.如权利要求2所述的基于快速张量鲁棒模型的视频前景提取方法，其特征在于：所述的步骤2)中的通过傅里叶变换-随机优化迭代-傅里叶逆变换步骤，快速求解张量鲁棒模型，获得视频帧对应的字典张量、系数张量、稀疏张量，具体是：
2.1)视频的第i帧为i＝1,2,...,n2，其对应的低秩张量为稀疏张量为字典张量由所有视频帧共享，系数张量为则傅里叶变换-随机优化迭代-傅里叶逆变换的详细步骤如下：
2.1.1)对视频帧沿第三维进行傅里叶变换得到并将其表示为对角块矩阵其对角元素上标对应视频帧的第1列、第2列，直到第n3列，即第k个块为k＝1,2,...,n3；
2.1.2)依照步骤2.1.1)类似地对视频帧的低秩张量、稀疏张量、字典张量、系数张量进行傅里叶变换和对角化diag(·)处理，得到
2.1.3)建立步骤1.3)中张量鲁棒模型的等价快速模型，即
其中，‖·‖F表示Frobenius范数，‖·‖2表示L2范数，λ2＞0为常数；
2.2)对视频帧对应的字典张量随机初始化为0到1之间的实数，对低秩张量、稀疏张量和系数张量均初始化为全0变量，然后运用随机优化准则和迭代算法，求解2.1.3)中的快速张量鲁棒模型，分别得到对应傅里叶空间的字典张量系数张量稀疏张量低秩张量
2.3)对上述求解得到的变量进行傅里叶逆变换，得到视频帧在实数域空间的字典张量系数张量稀疏张量εi、低秩张量
4.如权利要求3所述的基于快速张量鲁棒模型的视频前景提取方法，其特征在于：所述的步骤3)中的对视频帧逐个处理，视频帧背景由字典张量和系数张量的乘积表示，视频帧前景由稀疏张量表示，具体是：
3.1)依照步骤1)和步骤2)对视频帧逐个处理，视频帧背景由字典张量和系数张量的乘积表示，即低秩张量视频帧前景由稀疏张量εi表示；
3.2)对视频中的所有帧依次重复步骤3.1),即可提取整个视频的前景。
CN201710076992.XA 2017-02-13 2017-02-13 基于快速张量鲁棒模型的视频前景提取方法 Active CN106780519B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710076992.XA CN106780519B (zh) 2017-02-13 2017-02-13 基于快速张量鲁棒模型的视频前景提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710076992.XA CN106780519B (zh) 2017-02-13 2017-02-13 基于快速张量鲁棒模型的视频前景提取方法

Publications (2)

Publication Number Publication Date
CN106780519A true CN106780519A (zh) 2017-05-31
CN106780519B CN106780519B (zh) 2019-05-17

Family

ID=58956004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710076992.XA Active CN106780519B (zh) 2017-02-13 2017-02-13 基于快速张量鲁棒模型的视频前景提取方法

Country Status (1)

Country Link
CN (1) CN106780519B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046670A (zh) * 2015-08-28 2015-11-11 中国科学院深圳先进技术研究院 一种图像去雨方法及系统
CN106250873A (zh) * 2016-08-16 2016-12-21 四川大学 运动目标提取方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046670A (zh) * 2015-08-28 2015-11-11 中国科学院深圳先进技术研究院 一种图像去雨方法及系统
CN106250873A (zh) * 2016-08-16 2016-12-21 四川大学 运动目标提取方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SAJID JAVED，ET AL.: "Stochastic decomposition into low rank and sparse tensor for robust background subtraction", 《6TH INTERNATIONAL CONFERENCE ON IMAGING FOR CRIME PREVENTION AND DETECTION (ICDP-15)》 *
谷延锋，等.: "高分辨率航空遥感高光谱图像稀疏张量目标检测", 《测绘通报》 *

Also Published As

Publication number Publication date
CN106780519B (zh) 2019-05-17

Similar Documents

Publication Publication Date Title
Wang et al. A new Gabor based approach for wood recognition
CN104537381A (zh) 一种基于模糊不变特征的模糊图像识别方法
CN113822825B (zh) 基于3d-r2n2的光学建筑目标三维重建方法
Zhang et al. Research on surface defect detection of rare-earth magnetic materials based on improved SSD
Jia Fabric defect detection based on open source computer vision library OpenCV
Tian et al. Semantic segmentation of remote sensing image based on GAN and FCN network model
Shire et al. A review paper on: agricultural plant leaf disease detection using image processing
Zhang et al. Wood board image processing based on dual-tree complex wavelet feature selection and compressed sensing
Qian et al. An image classification algorithm based on SVM
Wan et al. Remote sensing image segmentation using mean shift method
Zhang et al. A generative adversarial network with dual discriminators for infrared and visible image fusion based on saliency detection
CN111985487A (zh) 一种遥感影像目标提取方法、电子设备及存储介质
CN106780519B (zh) 基于快速张量鲁棒模型的视频前景提取方法
CN111127407A (zh) 一种基于傅里叶变换的风格迁移伪造图像检测装置及方法
CN114882231A (zh) 一种基于多角度先验分析的红外小目标检测方法
Sun et al. Research on the multi-scale low rank method and its optimal parameters selection strategy for infrared small target detection
CN108376390B (zh) 一种动态感知平滑滤波算法
Guan et al. Extracting Wetland Type Information with a Deep Convolutional Neural Network
Yu et al. Intelligent Identification of Coal Crack in CT Images Based on Deep Learning
Zhang et al. Vegetation Coverage Monitoring Model Design Based on Deep Learning
Han et al. An attention-oriented u-net model and global feature for medical image segmentation
Liu et al. License plate recognition based on neural network algorithm to improve research
Wang et al. Saliency detection by multilevel deep pyramid model
Xi et al. EMA‐GAN: A Generative Adversarial Network for Infrared and Visible Image Fusion with Multiscale Attention Network and Expectation Maximization Algorithm
CN113496159B (zh) 一种多尺度卷积与动态权重代价函数的烟尘目标分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230824

Address after: No. 508-2A, Baoli Tianji North Block, Qiandenghu, Guicheng Street, Nanhai District, Foshan City, Guangdong Province, 528200

Patentee after: Foshan Haixie Technology Co.,Ltd.

Address before: 310018 No. 2 street, Xiasha Higher Education Zone, Hangzhou, Zhejiang

Patentee before: HANGZHOU DIANZI University

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231121

Address after: 100045 Beijing city Xicheng District Fuxingmenwai No. 1 Nan Xiang Di Zang an

Patentee after: STATE GRID JIBEI ELECTRIC POWER Co.,Ltd.

Address before: No. 508-2A, Baoli Tianji North Block, Qiandenghu, Guicheng Street, Nanhai District, Foshan City, Guangdong Province, 528200

Patentee before: Foshan Haixie Technology Co.,Ltd.

TR01 Transfer of patent right