CN110728690B - 一种利用小波变换对图像进行边缘平滑处理的抠图方法 - Google Patents

一种利用小波变换对图像进行边缘平滑处理的抠图方法 Download PDF

Info

Publication number
CN110728690B
CN110728690B CN201910911972.9A CN201910911972A CN110728690B CN 110728690 B CN110728690 B CN 110728690B CN 201910911972 A CN201910911972 A CN 201910911972A CN 110728690 B CN110728690 B CN 110728690B
Authority
CN
China
Prior art keywords
image
matrix
wavelet
edge
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910911972.9A
Other languages
English (en)
Other versions
CN110728690A (zh
Inventor
李晋江
张婉婉
范辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Technology and Business University
Original Assignee
Shandong Technology and Business University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Technology and Business University filed Critical Shandong Technology and Business University
Priority to CN201910911972.9A priority Critical patent/CN110728690B/zh
Publication of CN110728690A publication Critical patent/CN110728690A/zh
Application granted granted Critical
Publication of CN110728690B publication Critical patent/CN110728690B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种利用小波变换对图像进行边缘处理的抠图方法，该方法包括以下步骤：将原始图像划分为前景、背景以及未知区域；根据所得到的三分图收集像素点i的所有非局部临近像素点j；根据收集到的像素点，在K近邻matting算法中计算关系矩阵；构建特征向量这一步用到小波变换，利用边缘避免小波对图像进行分解，再通过YUV空间的各个分量以及图像在水平和垂直方向经EAW变换后的纹理信息来构建特征向量；利用上一步得出的特征向量构造拉普拉斯矩阵；最后利用拉普拉斯矩阵和用户输入的trimap，可以得到闭合形式解。本发明的方法可以利用小波变换的优点，在保持图像轮廓信息的前提下，改变小波变换域中的某些参数的大小，对边缘的处理更加精细，准确保留微小的背景信息，达到图像增强的目的。

Description

一种利用小波变换对图像进行边缘平滑处理的抠图方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种利用小波变换对图像进行边缘处理的抠图方法。
背景技术
matting是图像处理领域的热门问题，在图像和视频处理方面发挥着巨大的作用，图像matting的主要是为了实现将选取的目标图像与虚拟场景相结合，将前景对象从目标图像中完整地提取出来。图像中每一点的颜色都可以建模为前景颜色和背景颜色的线性组合：
（1）
可以得到更一般的形式：
（2）
其中α为透明度遮罩。此方程奠定了数字图像matting技术的数学基础。对于大部分图像来说，大部分像素点都是确定的前景或背景像素点。但想要将前景物体从背景中准确的提取出来，怎样准确的估计出每个像素的alpha值是matting问题的关键所在。而matting需要用三个已知量求解七个未知量，是一个约束不足问题。
小波是分析和处理非平稳信号的一个有力的工具，以局部化函数所形成的小波基作为基底展开，在时频表示和多尺度分析方面更为合理。可以将图像分层次按小波基展开，并且可以根据图像的性质及事先给定的图像处理要求确定需要展开到哪一级，有效地控制计算量，满足实时处理的需要。
小波变换具有较好的多分辨率特性，它可以将图像以不同的尺度分解，利用小波变换将图像变换至频域，不仅可以将图像分解成低频、水平方向高频、垂直方向高频和对角方向高频信息，而且可以将图像进行不同尺度不同分辨率的分解，得到不同尺度的小波分解系数。现在利用小波对图像处理的主流方法是将小波分解后得到的不同尺度的小波系数分别进行处理，由于各层次尺度不同，要将处理后的每层小波系数进行逐级重构恢复图像，而每一级的重构都会包含上一层的低频和高频信息。
利用边缘避免小波，在不同尺度上编码图像的边缘结构，对图像的细节进行多尺度的增强，并将边缘平滑处理。根据数据相关思想设计的小波，避免边缘两侧像素的干扰，对于细节的增强效果更为显著。实验证明，经过小波处理后，可以得到更为鲁棒的结果。
发明内容
本发明的内容就是为了解决问题，提供一种利用小波变换对图像进行边缘处理的抠图方法，在保持轮廓信息的前提下，对图像边缘的处理更加精细，准确地保留了图像微小的背景信息。
为了实现上述目的，本发明采用如下技术方案：
一种利用小波变换对图像进行边缘处理的抠图方法，基于图像的边缘信息构建小波，将目标边缘两侧的像素平滑处理，具有更好的数据相关性。在计算特征向量时，转换到YUV色彩空间计算，然后由归一化的特征向量给出内核函数，最后构造拉普拉斯矩阵，并使用闭合形式解方法进行优化。
本发明的具体步骤为：
1) 将原始图像划分为前景、背景以及未知区域；
2）收集像素点i的所有非局部临近像素点j；
3）根据收集到的像素点，计算关系矩阵；
4）提取特征向量；
5）构造拉普拉斯矩阵；
6）闭合形式解的快速实现。
所述步骤1）中，将原始图像划分为前景、背景以及未知区域三部分；
所述步骤2）中，对三分图进行收集像素点i的所有非局部临近像素点j；
所述步骤3）利用所收集到的非局部临近像素点，在K近邻matting算法中求解关系矩阵；
所述步骤4）提取特征向量，包含以下几个步骤：
4-1）利用边缘避免小波分解，将最粗糙级别利用边缘避免小波(EAW)分解，将最粗 糙级别平坦化近似系数，并且逐渐减小细节系数，实现对图像细节的增强。在YUV 色彩空间运行亮度通道的对数Y(x.y)。考虑到它的EAW分解，并通过下 式在重构之前缩放不同分量计算细节增强的亮度分量Y’(x.y)
（3）
其中，β=1。且由三次多项式p(j)确定。这个多项式设置了们想要的最佳尺 度p(1)，中尺度p(j/2)和最粗尺度p(j)所需要的增量。平滑是通过设置一个较小的p(1)实 现的，而用较大的p(1)实现对细节精度的提高并用较大的p(j/2)来获得中等尺度的增强。 在边缘避免小波对图像分解过程中，预测和更新都仅限于域内的变量，在计算过程中保持 一定程度的标准化。
4-2）为输入图像在YUV空间构建特征向量：
（4）
式中，y,u,v表示YUV空间的各个分量，x，y表示图像在水平和垂直方向经EAW变换后的纹理信息。
所述步骤5）构造拉普拉斯矩阵：
将内核函数表示成1-x的形式：
（5）
式中，X(·)为特征向量，C为权值系数，使得0≤k(i,j)≤1。内核函数的取值在0和1之间，符合未知区域的取值范围。可以将未知区域之间的混合像素如实的提取出来，对于边界的处理可以更加清晰。在K近邻matting中无需设置参数并且允许返回最小的X(i)-X(j)的值。
所述步骤6）闭合形式解的快速实现：
利用拉普拉斯矩阵和用户输入的trimap，可以得到一个图层的闭式解：
（6）
式中，表示第i个图层的不透明度，m是一个二进制向量，它的所有标记的像素 值为1，λ是一个约束项系数。
K近邻算法最优化的闭式解通过式(6)可以得到：
（7）
式中，v是一个二值向量，表示用户的标记区域。 可进一步写为：
（8）
对g(x)求导可以得到最优解：
（9）
本发明的优点：
本文提出一种利用小波变换对图像进行边缘处理的抠图方法，利用小波对图像细节增强以及弱边缘强化的优点，利用边缘避免小波，在YUV色彩空间计算特征向量。与传统的方法相比较，本文法方法在细节处理上更占优势。在一定程度上改善了KNN算法在处理前背景复杂交错时matting质量下降的问题，同时对弱边缘失真问题也有一定程度的改善。本文在保持轮廓信息的前提下，对边缘毛发的处理更加精细，准确的保留了图像微小的背景信息。
附图说明
图1是本发明的流程示意图；
图2是本发明在细节方面的处理；
图3是本发明对自然图像的处理。
具体实施方式
下面结合附图与实施例对本发明进一步说明。
如图1所示，包括以下步骤：
1）将原始图像划分为前景、背景以及未知区域三部分；
2）对三分图进行收集像素点i的所有非局部临近像素点j；
3）利用所收集到的非局部临近像素点，在K近邻matting算法中求解关系矩阵；
4）提取特征向量：
4-1）利用边缘避免小波分解，将最粗糙级别利用边缘避免小波(EAW)分解，将最粗 糙级别平坦化近似系数，并且逐渐减小细节系数，实现对图像细节的增强。在YUV 色彩空间运行亮度通道的对数Y(x.y)。考虑到它的EAW分解，并通过下 式在重构之前缩放不同分量计算细节增强的亮度分量Y’(x.y)
（3）
其中，β=1。且由三次多项式p(j)确定。这个多项式设置了们想要的最佳尺 度p(1)，中尺度p(j/2)和最粗尺度p(j)所需要的增量。平滑是通过设置一个较小的p(1)实 现的，而用较大的p(1)实现对细节精度的提高并用较大的p(j/2)来获得中等尺度的增强。 在边缘避免小波对图像分解过程中，预测和更新都仅限于域内的变量，在计算过程中保持 一定程度的标准化；
4-2）为输入图像在YUV空间构建特征向量：
（4）
式中，y,u,v表示YUV空间的各个分量，x，y表示图像在水平和垂直方向经EAW变换后的纹理信息；
5）构造拉普拉斯矩阵：
将内核函数表示成1-x的形式：
（5）
式中，X(·)为特征向量，C为权值系数，使得0≤k(i,j)≤1。内核函数的取值在0和1之间，符合未知区域的取值范围。可以将未知区域之间的混合像素如实的提取出来，对于边界的处理可以更加清晰。在K近邻matting中无需设置参数并且允许返回最小的X(i)-X(j)的值；
6）闭合形式解的快速实现：
利用拉普拉斯矩阵和用户输入的trimap，可以得到一个图层的闭式解：
（6）
式中，表示第i个图层的不透明度，m是一个二进制向量，它的所有标记的像素 值为1，λ是一个约束项系数；
K近邻算法最优化的闭式解通过式(6)可以得到：
（7）
式中，v是一个二值向量，表示用户的标记区域。 可进一步写为：
（8）
对g(x)求导可以得到最优解：
（9）
图2中，选择两个小人间的狭长区域放大。经过本文的方法对图像细节增强后，可以取得高质量的结果。图中表示对边缘毛发的处理。在前景背景交错的情况下，前景颜色和背景颜色比较接近，KNN算法会将部分背景处理为前景，使结果失真，而使用本文的方法得到的结果可以将细节尽可能地保存下来。
图3中，我们选择了几组自然图像，经过本文的方法对图像进行处理，可以得到图中的效果。我们发现，在图像结构简单、背景不复杂的条件下，可以取得和其他方法相近的结果。但在背景结构复杂、边缘存在细小毛发的图像中，本文的方法可以取得更好的结果。
根据对实验结果的评价，不论是在总绝对差异值评价还是均方差评价中，本文的方法都占优势。
综上，本发明利用小波变换对图像细节增强以及弱边缘强化的优点，在细节上更占优势。在一定程度上改善了KNN算法在处理前背景复杂交错时matting质量下降的问题，同时对弱边缘失真问题也有一定程度的改善。

Claims (2)

1.一种利用小波变换对图像进行边缘处理的抠图方法，其特征是，基于图像的边缘信息构建小波，将目标边缘两侧的像素平滑处理，具有更好的数据相关性，在计算特征向量时，转换到YUV色彩空间计算，然后由归一化的特征向量给出内核函数，最后构造拉普拉斯矩阵，并使用闭合形式解方法进行优化，最后实现对图像细节的改善；
所述利用小波变换对图像进行边缘处理的抠图方法，包括以下几个步骤：
1）将原始图像划分为前景、背景以及未知区域；
2）收集像素点i的所有非局部临近像素点j；
3）根据收集到的像素点，计算关系矩阵；
4）提取特征向量；
5）构造拉普拉斯矩阵；
6）闭合形式解的快速实现；
所述步骤4）提取特征向量，包括：
4-1）利用边缘避免小波分解，将最粗糙级别利用边缘避免小波EAW分解，实现对图像细节的增强；
在YUV色彩空间运行亮度通道的对数，并在重构之前计算细节增强的亮度分量，在边缘避免小波对图像分解过程中，预测和更新都仅限于域内的变量，在计算过程中保持标准化；
4-2）为输入图像在YUV空间构建特征向量，通过YUV空间的各个分量以及图像在水平和垂直方向经EAW变换后的纹理信息来构建特征向量；
所述步骤5）构造拉普拉斯矩阵，包括：将内核函数表示成特定形式，内核函数的取值在0和1之间，符合未知区域的取值范围，将未知区域之间的混合像素如实的提取出来；
所述步骤6）闭合形式解的快速实现：利用拉普拉斯矩阵和用户输入的trimap，得到一个图层的闭式解，通过优化和进一步的推算得到最优解。
2.如权利要求1所述的一种利用小波变换对图像进行边缘处理的抠图方法，其特征是，所述步骤3）根据收集到的像素点，计算关系矩阵：在K近邻matting算法中求解关系矩阵，需要在特征向量匹配之前收集像素点i的所有非局部近邻的像素点j，与非局部matting需要用一个大内核函数对图像进行操作相比较，K近邻matting只需要计算K个近邻实现非局部的准则。
CN201910911972.9A 2019-09-25 2019-09-25 一种利用小波变换对图像进行边缘平滑处理的抠图方法 Active CN110728690B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910911972.9A CN110728690B (zh) 2019-09-25 2019-09-25 一种利用小波变换对图像进行边缘平滑处理的抠图方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910911972.9A CN110728690B (zh) 2019-09-25 2019-09-25 一种利用小波变换对图像进行边缘平滑处理的抠图方法

Publications (2)

Publication Number Publication Date
CN110728690A CN110728690A (zh) 2020-01-24
CN110728690B true CN110728690B (zh) 2023-09-08

Family

ID=69219410

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910911972.9A Active CN110728690B (zh) 2019-09-25 2019-09-25 一种利用小波变换对图像进行边缘平滑处理的抠图方法

Country Status (1)

Country Link
CN (1) CN110728690B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113450262A (zh) * 2020-03-25 2021-09-28 武汉金山办公软件有限公司 一种实现图像处理的方法、装置、计算机存储介质及终端
CN112436975B (zh) * 2020-10-09 2022-09-13 北京邮电大学 一种天地一体化信息网络流量预测方法及装置
CN112801896B (zh) * 2021-01-19 2024-02-09 西安理工大学 基于前景提取的逆光图像增强方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102779351A (zh) * 2012-06-08 2012-11-14 温州大学 基于局部线性模型优化的交互式灰度图像彩色化方法
CN107092890A (zh) * 2017-04-24 2017-08-25 山东工商学院 基于红外视频的舰船检测及跟踪方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8295632B2 (en) * 2009-01-21 2012-10-23 Yissum Research Development Company of Jerusalem Ltd. System and method for edge-enhancement of digital images using wavelets

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102779351A (zh) * 2012-06-08 2012-11-14 温州大学 基于局部线性模型优化的交互式灰度图像彩色化方法
CN107092890A (zh) * 2017-04-24 2017-08-25 山东工商学院 基于红外视频的舰船检测及跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
阳伟等.基于纹理聚类的抠图算法.《计算机应用》.2013,第33卷(第11期),摘要，第0-4节. *

Also Published As

Publication number Publication date
CN110728690A (zh) 2020-01-24

Similar Documents

Publication Publication Date Title
CN110728690B (zh) 一种利用小波变换对图像进行边缘平滑处理的抠图方法
Xu et al. Image inpainting by patch propagation using patch sparsity
Zhao et al. Detail-preserving image denoising via adaptive clustering and progressive PCA thresholding
Shahamat et al. Face recognition under large illumination variations using homomorphic filtering in spatial domain
CN109525847B (zh) 一种恰可察觉失真模型阈值计算方法
CN112801896B (zh) 基于前景提取的逆光图像增强方法
CN103295010A (zh) 一种处理人脸图像的光照归一化方法
CN109712095B (zh) 一种快速边缘保留的人脸美化方法
Xu et al. FPGA-based low-visibility enhancement accelerator for video sequence by adaptive histogram equalization with dynamic clip-threshold
Lepcha et al. A deep journey into image enhancement: A survey of current and emerging trends
CN105184742B (zh) 一种基于拉普拉斯图特征向量的稀疏编码的图像去噪方法
Zhang et al. Infrared image enhancement algorithm using local entropy mapping histogram adaptive segmentation
Larsen et al. Texture enhanced appearance models
Jeon et al. Low-light image enhancement using inverted image normalized by atmospheric light
Zou et al. A nonlocal low-rank regularization method for fractal image coding
Feng et al. Low-light color image enhancement based on Retinex
CN104616259A (zh) 一种噪声强度自适应的非局部均值图像去噪方法
Han et al. Low contrast image enhancement using convolutional neural network with simple reflection model
CN117611701A (zh) 基于潜扩散模型的阿尔茨海默病3d mri加速采样生成方法
Hong et al. Image interpolation using interpolative classified vector quantization
Singh et al. Multiscale reflection component based weakly illuminated nighttime image enhancement
CN111105430A (zh) 基于Landmark单纯形约束的变分水平集图像分割方法
CN115082296B (zh) 一种基于小波域图像生成框架的图像生成方法
Park et al. Enhancing underwater color images via optical imaging model and non-local means denoising
CN110796609B (zh) 基于尺度感知和细节增强模型的低光图像增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant