CN108038835B - 显著性驱动的图像重要区域马赛克自动生成方法 - Google Patents

显著性驱动的图像重要区域马赛克自动生成方法 Download PDF

Info

Publication number
CN108038835B
CN108038835B CN201711204537.XA CN201711204537A CN108038835B CN 108038835 B CN108038835 B CN 108038835B CN 201711204537 A CN201711204537 A CN 201711204537A CN 108038835 B CN108038835 B CN 108038835B
Authority
CN
China
Prior art keywords
image
mosaic
saliency
map
gray value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711204537.XA
Other languages
English (en)
Other versions
CN108038835A (zh
Inventor
徐岗
崔玲玲
许金兰
吴卿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201711204537.XA priority Critical patent/CN108038835B/zh
Publication of CN108038835A publication Critical patent/CN108038835A/zh
Application granted granted Critical
Publication of CN108038835B publication Critical patent/CN108038835B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种显著性驱动的图像重要区域马赛克自动生成方法。通常的马赛克生成方法是关于整个输入图像的马赛克图，但很多情况只需保护图像的显著性区域。本发明首先将待处理的输入图像分割成超像素图；接着，计算输入图像的显著图；然后将显著图转变为二值图，并进行膨胀处理；最后对显著性区域赋予超像素图的值，并对非显著性区域赋予输入图像的值，即可得到显著性区域的马赛克图像。本发明能够有效并自动地对图像中的显著性区域进行马赛克，马赛克结果很好覆盖了图像的重要区域，也达到了保护作用和艺术效果。

Description

显著性驱动的图像重要区域马赛克自动生成方法
技术领域
本发明属于计算机图像处理技术领域，涉及对图像的显著性区域生成马赛克的方法，具体涉及显著性驱动的图像重要区域马赛克自动生成方法。
背景技术
马赛克是一种镶嵌艺术，通过组合不同大小、形状、颜色的嵌片来达到一种独特又具有创意的艺术效果。借助计算机实现马赛克效果的方法有很多，这些方法的输入通常是一张源图像，输出是一张经算法处理过的马赛克图像，算法还保证了输入和输出图像在视觉效果上的相似性。根据马赛克所用嵌片类型的不同，马赛克生成方法大致分为三类：第一类是使用大小和颜色相同的正方形嵌片的传统方法，该方法允许嵌片旋转，但嵌片之间不能重叠。在保证马赛克图像与源图像视觉上相似的前提下，该方法的目标是在源图像中摆放尽量多的嵌片，使得马赛克图像中空置的空间最小；第二类是使用较多的矩形小图填充到源图像的马赛克生成方法，该方法不允许小图的大小、形状、角度的任何改变，由此得到的马赛克图远远看上去与源图像很相像，近距离却是一个个不同的小图组合而成；第三类马赛克生成方法使用不规则的多边形作为嵌片。每个嵌片的颜色取为该嵌片在原图中对应区域内各像素点颜色的平均值，是一种基于Voronoi图结构(见Okabe A，Boots B，SugiharaK发表的期刊论文Concepts and Applications of Voronoi diagrams，CollegeMathematics Journal，2000)的马赛克生成方法，这种方法是获得理想结果的经典方法。根据图像马赛克生成方法的不同，产生的视觉效果也有所不同，同时也可以应用到各种领域，如计算机图形和现代艺术领域、计算机模拟、图像传输处理等，应用得当的话可以发挥出很大的应用价值。
上述所介绍的方法通常得到的是整个输入图像的马赛克结果。但是，在很多场景下我们只需要保护特殊的重要区域，如：一张图像中的人脸、车辆上的车牌号码、银行卡上的账号信息。因此，对图像的特征区域进行马赛克处理有着重要应用。
发明内容
本发明的目的是针对现有的对重要区域马赛克的需求，提出一种显著性驱动的图像重要区域马赛克自动生成方法。该方法能够在显著性区域上自动生成马赛克，同时其他区域保持原图不变，如此达到了输入图像中重要区域被保护的目的。另外，采用VCells超像素分割算法(见Wang J，Wang X发表的期刊论文VCells:Simple and EfficientSuperpixels Using Edge-Weighted Centroidal Voronoi Tessellations，IEEEComputer Society，2012)生成特征保持的超像素，使得马赛克结果与输入图像更相似。在此之前并没有这个研究的相关工作，本发明提出一个新的通用的框架以实现输入图像中显着性区域自动生成马赛克效果。
本发明的具体步骤如下：
步骤1、利用VCells超像素分割算法将待处理的输入图像分割成VCells超像素图。
步骤2、采用显著性检测算法计算输入图像的显著图。
步骤3、按照公式(1)计算显著图的阈值t，根据阈值给各像素点的灰度值重新赋值，将显著图转变为二值图。像素点的灰度值赋值方法如下：灰度值小于阈值的像素点灰度值重新赋值为0，大于或等于阈值的像素点灰度值重新赋值为1。阈值t计算公式如下：
Figure GDA0001545818510000021
其中，W是输入图像的宽度，H是输入图像的高度，S(i,j)表示显著图中第i列、第j行对应像素点的显著值。
若二值图中出现孔洞，则对二值图修补孔洞得到修补二值图。
步骤4、使用膨胀技术对修补二值图进行膨胀处理得到膨胀二值图。
步骤5、给膨胀二值图中灰度值为1的像素点重新赋值为超像素图中对应位置像素点的颜色值。
步骤6、给膨胀二值图中灰度值为0的像素点重新赋值为输入图像中对应位置像素点的颜色值，得到显著性驱动的马赛克图。
所述的膨胀处理采用MATLAB中的膨胀函数，膨胀函数中的参数strel选为3*3的square元素结构。
本发明的有益效果：
本发明实现了对图像的显著性区域自动生成马赛克，而不是传统的对整个图像进行马赛克。本发明得到的区域马赛克图，超像素排列整齐并且很好保持了输入图像的边缘特征。即达到了保护隐私信息的目的，并且伴有艺术效果。
附图说明
图1为本发明的算法流程图；
图2(a)、2(b)、2(c)分别为输入图像、初始化超像素图和VCells超像素图；
图3(a)、3(b)、3(c)分别为颜色对比图、颜色空间分布图和显著图；
图4(a)、4(b)、4(c)分别为二值图、修补二值图和膨胀二值图；
图5为本发明得到的显著性驱动的马赛克图。
具体实施方式
下面结合实施例对本发明作进一步描述。
如图1所示，显著性驱动的图像重要区域马赛克自动生成方法，具体步骤如下：
步骤1、利用VCells超像素分割算法将待处理的输入图像U分割成VCells超像素图，待处理的输入图像U见图2(a)。VCells超像素分割算法基于边界加权的重心Voronoi图(EWCVT)结构，从而得到需要的边界特征保持的超像素，最后的VCells超像素图Sp见图2(c)。VCells超像素分割算法的中间过程图有初始化超像素图见图2(b)所示。
步骤2、采用显著性检测算法计算输入图像U的显著图，为了达到好的效果，显著图要求准确、完整，背景区域要求低显著值，本发明的显著性检测算法采用申请号为2017105794557、专利名称为“融合颜色对比图和颜色空间分布图的图像显著性检测方法”中的算法，具体为将VCells超像素图Sp作为专利中步骤3的超像素图，然后执行步骤3至步骤8。其中，显著性检测算法的中间过程有求取输入图像的颜色对比图见图3(a)、颜色空间分布图见图3(b)；显著图S是融合颜色对比图和颜色空间分布图得到的，见图3(c)。
步骤3、按照公式(1)计算显著图S的阈值t，根据阈值给各像素点的灰度值重新赋值，将显著图转变为二值图Sb见图4(a)。像素点的灰度值赋值方法如下：灰度值小于阈值的像素点灰度值重新赋值为0(表示非显著性区域)，大于或等于阈值的像素点灰度值重新赋值为1(表示显著性区域)。阈值t为显著图总灰度值的均值的2倍，计算公式如下：
Figure GDA0001545818510000041
其中，W是输入图像的宽度，H是输入图像的高度，S(i,j)表示显著图中第i列、第j行对应像素点的显著值。
若二值图Sb中出现孔洞，则对二值图Sb修补孔洞得到修补二值图见图4(b)。
步骤4、为了增加显著性区域边界的覆盖面积，使用膨胀技术(见Gonzalez，R.C.，R.E.Woods，and S.L.Eddins编写的书籍Digital Image Processing Using MATLAB，Gatesmark Publishing，2009)对修补二值图进行膨胀处理得到膨胀二值图见图4(c)。膨胀处理采用MATLAB中的膨胀函数，膨胀函数中的参数strel选为3*3的square元素结构。
步骤5、给膨胀二值图中灰度值为1的像素点重新赋值为超像素图Sp中对应位置像素点的颜色值。
步骤6、给膨胀二值图中灰度值为0的像素点重新赋值为输入图像U中对应位置像素点的颜色值，得到显著性驱动的马赛克图，见图5。

Claims (2)

1.显著性驱动的图像重要区域马赛克自动生成方法，其特征在于：该方法的具体步骤如下：
步骤1、利用VCells超像素分割算法将待处理的输入图像分割成VCells超像素图；
步骤2、采用显著性检测算法计算输入图像的显著图；
步骤3、按照公式(1)计算显著图的阈值t，根据阈值给各像素点的灰度值重新赋值，将显著图转变为二值图；像素点的灰度值赋值方法如下：灰度值小于阈值的像素点灰度值重新赋值为0，大于或等于阈值的像素点灰度值重新赋值为1；阈值t计算公式如下：
Figure FDA0001483397160000011
其中，W是输入图像的宽度，H是输入图像的高度，S(i,j)表示显著图中第i列、第j行对应像素点的显著值；
若二值图中出现孔洞，则对二值图修补孔洞得到修补二值图；
步骤4、使用膨胀技术对修补二值图进行膨胀处理得到膨胀二值图；
步骤5、给膨胀二值图中灰度值为1的像素点重新赋值为超像素图中对应位置像素点的颜色值；
步骤6、给膨胀二值图中灰度值为0的像素点重新赋值为输入图像中对应位置像素点的颜色值，得到显著性驱动的马赛克图。
2.根据权利要求1所述的显著性驱动的图像重要区域马赛克自动生成方法，其特征在于：所述的膨胀处理采用MATLAB中的膨胀函数，膨胀函数中的参数strel选为3*3的square元素结构。
CN201711204537.XA 2017-11-27 2017-11-27 显著性驱动的图像重要区域马赛克自动生成方法 Active CN108038835B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711204537.XA CN108038835B (zh) 2017-11-27 2017-11-27 显著性驱动的图像重要区域马赛克自动生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711204537.XA CN108038835B (zh) 2017-11-27 2017-11-27 显著性驱动的图像重要区域马赛克自动生成方法

Publications (2)

Publication Number Publication Date
CN108038835A CN108038835A (zh) 2018-05-15
CN108038835B true CN108038835B (zh) 2021-07-13

Family

ID=62092957

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711204537.XA Active CN108038835B (zh) 2017-11-27 2017-11-27 显著性驱动的图像重要区域马赛克自动生成方法

Country Status (1)

Country Link
CN (1) CN108038835B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110047040B (zh) * 2019-04-03 2023-03-28 浙江工业大学 一种基于图像的数字竹编画自动生成方法
CN110390637B (zh) * 2019-07-18 2022-12-13 天津塔米智能科技有限公司 一种马赛克图像生成方法、装置、设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102028482B (zh) * 2009-09-30 2012-11-14 同方威视技术股份有限公司 人体检查图像处理方法和人体检查设备
CN106507021A (zh) * 2015-09-07 2017-03-15 腾讯科技（深圳）有限公司 视频处理方法及终端设备
US10257393B2 (en) * 2016-02-12 2019-04-09 Contrast, Inc. Devices and methods for high dynamic range video
CN105931180B (zh) * 2016-04-12 2019-02-22 西安电子科技大学 利用显著信息引导的图像不规则马赛克拼接方法
CN105957001A (zh) * 2016-04-18 2016-09-21 深圳感官密码科技有限公司 一种隐私保护方法及装置

Also Published As

Publication number Publication date
CN108038835A (zh) 2018-05-15

Similar Documents

Publication Publication Date Title
CN102903110B (zh) 对具有深度图像信息的图像的分割方法
Huang et al. An efficient visibility enhancement algorithm for road scenes captured by intelligent transportation systems
Fu et al. A fusion-based enhancing approach for single sandstorm image
CN105513105B (zh) 基于显著图的图像背景虚化方法
CN109146001B (zh) 多视角isar图像融合方法
CN104809709A (zh) 基于域变换与带权四叉树分解的单幅图像自适应去雾方法
CN105931180B (zh) 利用显著信息引导的图像不规则马赛克拼接方法
CN102768760A (zh) 一种基于图像纹理的图像快速去雾方法
CN104299263A (zh) 一种基于单幅图像建模云场景的方法
CN104134198A (zh) 一种对图像进行局部处理的方法
CN108038835B (zh) 显著性驱动的图像重要区域马赛克自动生成方法
Fang et al. Single image dehazing and denoising with variational method
US20130121565A1 (en) Method and Apparatus for Local Region Selection
CN112184585A (zh) 一种基于语义边缘融合的图像补全方法及系统
CN102609950A (zh) 一种二维视频深度图的生成方法
Alenezi Image Dehazing Based on Pixel Guided CNN with PAM via Graph Cut.
CN104966274A (zh) 一种采用图像检测与区域提取的局部模糊复原方法
CN106780393B (zh) 基于图像集的图像去噪方法
CN105023246A (zh) 一种基于对比度和结构相似度的图像增强方法
CN110827209A (zh) 一种联合颜色与深度信息的自适应深度图像修复方法
CN107492082A (zh) 一种利用边缘统计特征的mrf样本块图像修复方法
CN110675345A (zh) 一种遥感图像待修复区域的模糊补全处理方法及装置
CN104599253A (zh) 一种自然图像阴影消除方法
CN104268845A (zh) 极值温差短波红外图像的自适应双局部增强方法
Alex et al. Underwater image enhancement using CLAHE in a reconfigurable platform

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant