CN105825526B - 基于视频数据3d自相关性的视频多尺度几何分析方法 - Google Patents
基于视频数据3d自相关性的视频多尺度几何分析方法 Download PDFInfo
- Publication number
- CN105825526B CN105825526B CN201610164733.8A CN201610164733A CN105825526B CN 105825526 B CN105825526 B CN 105825526B CN 201610164733 A CN201610164733 A CN 201610164733A CN 105825526 B CN105825526 B CN 105825526B
- Authority
- CN
- China
- Prior art keywords
- video
- sub
- pixel
- plane
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 22
- 230000009466 transformation Effects 0.000 claims description 17
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 abstract description 10
- 230000003044 adaptive effect Effects 0.000 abstract description 4
- 238000004364 calculation method Methods 0.000 abstract description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开一种基于视频数据3D自相关性的视频多尺度几何分析方法，根据视频数据的自相关性特点，采用维度冗余变换的方法将视频体映射到一个较其本身维度更高的空间，从而将那些沿着复杂方向分布的曲线奇异组织成较为规则的、简单的、近似于直线的奇异，再利用非自适应的基函数降低视频流形潜在的冗余，能够取得与自适应基函数相近的对于线、面奇异的稀疏表示性能；由于无需进行运动估计、自适应基函数选取等操作，本发明的计算量低于典型的基于3D基函数的视频多尺度几何分析方法和基于时空非局部性的视频多尺度几何分析方法。
Description
技术领域
本发明涉及视频处理领域，尤其是一种计算复杂度低、无冗余的基于视频数据3Ｄ自相关性的视频多尺度几何分析方法。
背景技术
视频数据的紧致表示(Compact representation)是视频去噪、分割、特征提取、融合、压缩、复原和超分辨率等诸多处理的基础，是指用较少的数学描述来捕获视频中的重要信息，基于调和分析的稀疏表示是图像和视频紧致表示的方法之一。典型地，小波变换在表示1D信号的点奇异性方面具有最优的逼近性能，成为近十年来自然信号处理和分析的强有力工具。然而，对于2D图像或者更高维的数据，小波变换的稀疏表示能力则比较有限。2D可分离小波基函数的支撑区间为一个正方形，且各向同性，只能表示2D或高维信号在竖直、水平和对角线方向的直线奇异性。自然界中多数物体所具有的平滑边缘使得自然图像的奇异点往往不是独立分布的，而是聚集成具有某些几何特征的奇异曲线。在这种情况下，小波的各向同性的基函数不能有效地利用数据本身特有的几何特征来捕获沿着边缘方向的曲线奇异，无法为视频及高维数据提供最优的或者最稀疏的表示。这样，处于数学分析、计算机视觉、模式识别、统计分析等多个领域的很多专家在小波变换的理论基础之上分别独立地发展着一种彼此极其相似的理论，称之为“多尺度几何分析(Multiscale GeometricalAnalysis， MGA)”，用以检测、表示、处理某些高维数据，并为这些数据提供多尺度的、多方向的表示。现有的多尺度几何分析工具主要包括：脊波(Ridgelet)变换、曲波Curvelet变换、条带波(Bandelets)变换、小线(Beamlets)变换、Directionlets变换、轮廓波(Contourlet)变换、剪切波(Shearlet)变换、Surfacelets变换等。这些多尺度变换具有很好的各向异性特征，成为处理2D图像数据的更优算法，很好地解决了小波变换不能有效表示边缘、轮廓等线奇异的问题。
上述的多尺度几何分析工具皆只适用于2D静态图像。若将其应用在视频数据的处理中，则需对这些变换向3D方向进行扩展，比较典型的方法包括：由2D变换通过张量积扩展的视频多尺度几何分析、基于3D基函数的视频多尺度几何分析和基于时空非局部性的视频多尺度几何分析等。但是，这三类方法中，有的方法只能捕获少数特定情况下的线、面奇异，有的方法需要很高的计算量，有的方法则在严格意义上尚不能构成视频数据的正交表示甚至完备表示。目前，尚不存在一种计算量适中、能有效捕获任意线、面奇异的视频多尺度几何分析方法。
发明内容
本发明是为了解决现有技术所存在的上述技术问题，提供一种计算复杂度低、无冗余的基于视频数据3D自相关性的视频多尺度几何分析方法。
本发明的技术解决方案是：一种基于视频数据3D自相关性的视频多尺度几何分析方法，其特征在于按照如下步骤进行：
步骤 1. 输入帧待处理的视频数据和分解级数，设视频的空间分辨率为像素；
步骤2. 将视频分成组，每组包含帧，最后一组可不满帧，约定将其称为子视频体；令，，，，；
步骤3. 对于子视频体，根据公式沿着空间水平方向计算像素间的自相关系数：
其中，表示该组视频的平均像素值，表示第帧、第行、第列的像素值，表示第帧、第行、第列的像素值；
步骤4. 对于子视频体，根据公式沿着空间竖直方向计算像素间的自相关系数：
其中，表示第帧、第行、第列的像素值；
步骤5. 对于子视频体，根据公式沿着时间方向计算像素间的自相关系数：
其中，表示第帧、第行、第列的像素值；
步骤6. 对和从大到小排序，并将其下标X、Y、Z按排序顺序存储起来作为边信息；令数据自相关性最强的方向为，其次为，相关性最弱的方向为；
步骤7. 将沿着方向划分为一系列像素平面，并对每个像素平面进行1级传统2-D小波变换，从而得到一系列包含LL、LH、HL和HH等4种子带的像素平面，然后将每个像素平面中的LL子带组成LL-子视频体，将每个像素平面中的LH子带组成LH-子视频体，将每个像素平面中的HL子带组成HL-子视频体，将每个像素平面中的HH子带组成HH-子视频体；
步骤8. 沿着方向将步骤7得到的LH-子视频体、HL-子视频体和HH-子视频体分别划分为一系列系数平面，并对每个系数平面进行1级2-D非冗余的尺度和方向变换(Nonredundant Scale and Orientational Transform, NSOT)；
步骤9. 令，，，，，若，则转入步骤3；否则，沿着方向将子视频体划分为一系列系数平面，并对每个系数平面进行1级2-D小波变换，转入步骤10；
步骤10. 令，若，则，，转入步骤3；否则，输出所有变换系数和边信息，算法结束。
与现有技术相比，本发明的技术特点在于：第一，采用维度冗余变换的方法将视频体映射到一个较其本身维度更高的空间，从而易于将那些沿着复杂方向分布的曲线奇异组织成较为规则的、简单的、近似于直线的奇异，再利用非自适应的基函数降低视频流形潜在的冗余，能够取得与自适应基函数相近的对于线、面奇异的稀疏表示性能；第二，由于无需进行运动估计、自适应基函数选取等操作，本发明的计算量低于典型的基于3D基函数的视频多尺度几何分析方法和基于时空非局部性的视频多尺度几何分析方法。
具体实施方式
本发明的一种基于视频数据3D自相关性的视频多尺度几何分析方法，其特征在于按照如下步骤进行；
步骤 1. 输入帧待处理的视频数据和分解级数，设视频的空间分辨率为像素；
步骤2. 将视频分成组，每组包含帧（最后一组可不满帧），约定将其称为子视频体；令，，，，；
步骤3. 对于子视频体，根据公式沿着空间水平方向计算像素间的自相关系数：
其中，表示该组视频的平均像素值，表示第帧、第行、第列的像素值，表示第帧、第行、第列的像素值；
步骤4. 对于子视频体，根据公式沿着空间竖直方向计算像素间的自相关系数：
其中，表示第帧、第行、第列的像素值；
步骤5. 对于子视频体，根据公式沿着时间方向计算像素间的自相关系数：
其中，表示第帧、第行、第列的像素值；
步骤6. 对和从大到小排序，并将其下标X、Y、Z按排序顺序存储起来作为边信息；令数据自相关性最强的方向为，其次为，相关性最弱的方向为；
步骤7. 将沿着方向划分为一系列像素平面，并对每个像素平面进行1级传统2-D小波变换，从而得到一系列包含LL、LH、HL和HH等4种子带的像素平面，然后将每个像素平面中的LL子带组成LL-子视频体，将每个像素平面中的LH子带组成LH-子视频体，将每个像素平面中的HL子带组成HL-子视频体，将每个像素平面中的HH子带组成HH-子视频体；
步骤8. 沿着方向将第7步得到的LH-子视频体、HL-子视频体和HH-子视频体分别划分为一系列系数平面，并对每个系数平面进行1级2-D非冗余的尺度和方向变换(Nonredundant Scale and Orientational Transform, NSOT)；
步骤9. 令，，，，，若，则转入步骤3；否则，沿着方向将子视频体划分为一系列系数平面，并对每个系数平面进行1级2-D小波变换，转入步骤10；
步骤10. 令，若，则，，转入步骤3；否则，输出所有变换系数和边信息，算法结束。
Claims (1)
1.一种基于视频数据3D自相关性的视频多尺度几何分析方法，其特征在于按照如下步骤进行：
步骤 1. 输入帧待处理的视频数据和分解级数，设视频的空间分辨率为像素；
步骤2. 将视频数据分成组，每组包含帧，最后一组可不满帧，约定将其称为子视频体；令，，，，；
步骤3. 对于子视频体，根据公式沿着空间水平方向计算像素间的自相关系数：
其中，表示该组视频的平均像素值，表示第帧、第行、第列的像素值，表示第帧、第行、第列的像素值；
步骤4. 对于子视频体，根据公式沿着空间竖直方向计算像素间的自相关系数：
其中，表示第帧、第行、第列的像素值；
步骤5. 对于子视频体，根据公式沿着时间方向计算像素间的自相关系数：
其中，表示第帧、第行、第列的像素值；
步骤6. 对、和从大到小排序，并将其下标X、Y、T按排序顺序存储起来作为边信息；令数据自相关性最强的方向为，其次为，相关性最弱的方向为；
步骤7. 将沿着方向划分为一系列像素平面，并对每个像素平面进行1级传统2-D小波变换，从而得到一系列包含LL、LH、HL和HH4种子带的像素平面，然后将每个像素平面中的LL子带组成LL-子视频体，将每个像素平面中的LH子带组成LH-子视频体，将每个像素平面中的HL子带组成HL-子视频体，将每个像素平面中的HH子带组成HH-子视频体；
步骤8. 沿着方向将步骤7得到的LH-子视频体、HL-子视频体和HH-子视频体分别划分为一系列系数平面，并对每个系数平面进行1级2-D非冗余的尺度和方向变换；
步骤9. 令，，，，，若，则转入步骤3；否则，沿着方向将LL-子视频体划分为一系列系数平面，并对每个系数平面进行1级2-D小波变换，转入步骤10；
步骤10. 令，若，则，，，，转入步骤3；否则，输出所有变换系数和边信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610164733.8A CN105825526B (zh) | 2016-03-22 | 2016-03-22 | 基于视频数据3d自相关性的视频多尺度几何分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610164733.8A CN105825526B (zh) | 2016-03-22 | 2016-03-22 | 基于视频数据3d自相关性的视频多尺度几何分析方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105825526A CN105825526A (zh) | 2016-08-03 |
| CN105825526B true CN105825526B (zh) | 2018-09-07 |
Family
ID=56524243
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610164733.8A Expired - Fee Related CN105825526B (zh) | 2016-03-22 | 2016-03-22 | 基于视频数据3d自相关性的视频多尺度几何分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105825526B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110740331B (zh) * | 2019-08-05 | 2023-01-31 | 辽宁师范大学 | 基于自适应步长和Levenberg-Marquardt优化的视频弹性运动估计方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103700107A (zh) * | 2013-12-26 | 2014-04-02 | 上海交通大学 | 一种基于图像尖锐度分布的特征点匹配方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010141608A1 (en) * | 2009-06-02 | 2010-12-09 | Imflux Llc | Superresolution optical fluctuation imaging (sofi) |
-
2016
- 2016-03-22 CN CN201610164733.8A patent/CN105825526B/zh not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103700107A (zh) * | 2013-12-26 | 2014-04-02 | 上海交通大学 | 一种基于图像尖锐度分布的特征点匹配方法 |
Non-Patent Citations (2)
| Title |
|---|
| A-基于3D混合树和视觉特性的视频可分级编码算法;付明哲 等;《通信学报》;20121130;第33卷(第11期);第100-107页 * |
| Optimal 3-D coefficient tree structure for 3-D wavelet video coding;Chao He 等;《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》;20031031;第13卷(第10期);第961-972页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105825526A (zh) | 2016-08-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Shi et al. | Translation invariant directional framelet transform combined with Gabor filters for image denoising | |
| CN107657217A (zh) | 基于运动目标检测的红外与可见光视频的融合方法 | |
| CN105335972B (zh) | 基于小波轮廓波变换与视觉显著性的经编织物疵点检测方法 | |
| Chen et al. | Fractional-order total variation combined with sparsifying transforms for compressive sensing sparse image reconstruction | |
| Chui et al. | Image denoising method with adaptive Bayes threshold in nonsubsampled contourlet domain | |
| CN105825526B (zh) | 基于视频数据3d自相关性的视频多尺度几何分析方法 | |
| CN111724428A (zh) | 基于图上信号模型的深度图采样与重构方法 | |
| CN112927169B (zh) | 一种基于小波变换和改进的加权核范数最小化的遥感影像去噪方法 | |
| CN105069764A (zh) | 一种基于边缘跟踪的图像去噪方法及系统 | |
| Chitaliya et al. | An efficient method for face feature extraction and recognition based on contourlet transforms and principal component analysis | |
| Sethunadh et al. | Spatially adaptive image denoising using undecimated directionlet transform | |
| CN102833537A (zh) | 基于Contourlet变换的压缩感知图像稀疏方法 | |
| Wang et al. | The contourlet transfrom and svm classification for face recognition | |
| Jyothi | A robust and efficient pre processing techniques for stereo images | |
| Guo et al. | Image interpolation based on nonlocal self-similarity | |
| Binh et al. | Increasing the quality of medical images based on the combination of filters in ridgelet domain | |
| CN111242967B (zh) | 基于对偶树-复四元数小波的图像边缘提取方法 | |
| CN104463793A (zh) | 一种基于稀疏表达与极坐标下的向量连分式插值的视频超分辨率重建方法及其系统 | |
| CN103747268A (zh) | 一种分层自适应阈值视频去噪方法 | |
| Geng et al. | A Video Denoising Method with 3D Surfacelet Transform Based on Block matching and Grouping. | |
| George et al. | Survey on various image denoising techniques | |
| Wang et al. | Image zoom method based on bandelet transform modified bilinear interpolation | |
| Kong et al. | Thin cloud removing approach of color remote sensing image based on support vector machine | |
| Bouchemha et al. | Synthetic aperture radar image compression based on multi-scale geometric transforms | |
| Khalid et al. | Video denoising using surfacelet transform |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180907 Termination date: 20210322 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |