CN105321177B - 一种基于图像重要度的层次图集自动拼贴方法 - Google Patents

一种基于图像重要度的层次图集自动拼贴方法 Download PDF

Info

Publication number
CN105321177B
CN105321177B CN201510648032.7A CN201510648032A CN105321177B CN 105321177 B CN105321177 B CN 105321177B CN 201510648032 A CN201510648032 A CN 201510648032A CN 105321177 B CN105321177 B CN 105321177B
Authority
CN
China
Prior art keywords
image
area
importance
atlas
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510648032.7A
Other languages
English (en)
Other versions
CN105321177A (zh
Inventor
沈瑛
廖刘承
陈望远
董天阳
范菁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201510648032.7A priority Critical patent/CN105321177B/zh
Publication of CN105321177A publication Critical patent/CN105321177A/zh
Application granted granted Critical
Publication of CN105321177B publication Critical patent/CN105321177B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

基于图像重要度的层次图集自动拼贴方法,由四步骤组成。步骤一:使用Meanshift算法对图像进行图像分割,以矩形的方式提取出图像中的显著区域,若有多个显著区域则合并为一个;步骤二:经由图像前后景的颜色复杂度与像素梯度复杂度,计算得到图像前后景的差异度,接着计算图像与图集中其它图像的差异度的均值从而得到该图像的代表度,最终平均前后景差异度与图像间差异度得到每幅图像各自的重要度;步骤三:以XML文件保存图集的层次关系,并将上述得到的图像重要度作为节点的权重并保存显著区域的外接矩形轮廓;步骤四:采用Voronoi树图可视化图集层次,画布区域表示图集子集或图像的重要度权重,根据节点显著区域的矩形轮廓和图像缩放技术自动拼贴各图像的显著区域。

Description

一种基于图像重要度的层次图集自动拼贴方法
技术领域
本发明为图集处理技术,特别是涉及一种自动、可视效果优良的图像拼贴方法。
背景技术
随着智能手机性能的提高与摄像头像素的升级,人们越来越习惯通过随手拍照来记录生活的点滴。如何对越来越多的照片进行浏览和管理成为了人们关注的问题。虽然各种图片、照片分享软件和网站层出不穷,使人们可以与他人分享照片。然而,大量的图像使浏览和检索变得困难,并且人们常用的分类保存方式也使得在查看某类图片时只能看到文件夹名称,而无法获取具体的图像信息。而图像拼贴技术旨在将多张图像拼贴在一张画布中,让用户在有限的画布中得到更多的图像信息,有效地解决了在管理和浏览大量图像时带来的部分问题。已经有人提出了一些自动图像拼贴技术解决方案,但都存在一定的不足之处,比如支持的图像数较少,一般为20到40张,图像数过多则会导致可视效果很差,并且无法支撑层次图集数据。
例如,微软提供了一个图像拼贴软件AutoCollage,它能提取图像中的ROI区域,但耗时较大,并且对画布的形状划分比较单一。Yu Zongqiao在文献中提出采用圆布局的方式来进行图像拼贴,它分别计算图像的重要度,然后通过外切圆的方式分割画布,缺点是图像重要度计算方式效果不好,画布利用率低。Liu Tie等人在文献中提出了一种区分图像不同重要区域,然后通过相互遮挡非重要区域的拼贴方式,该方法能让画布主要呈现图像中的ROI区域,缺点是视图较混乱,并且下层图片被遮挡的概率大。Brian等人提出了一种叫做BRIC(blocked recursive image composition)的布局方案,该方法耗时少但拼贴效果单一。
上述提到的图像拼贴方案,在拼贴效果和效率上并没有取得一个比较好的平衡,且仅考虑同一层的少量图像拼贴,并不支持规模较大的多层次多主题图集的拼贴可视化方案。
发明内容
本发明要克服现有技术的上述缺点,提出一种基于图像重要度的图集自动拼贴方法,能够对层次存放的图像图集数据实现快速且美观自动拼贴可视化效果。
本发明所述的基于图像重要度的自动图像拼贴方法,由四步骤组成:
步骤一:使用Meanshift算法对图像进行图像分割,以矩形的方式提取出图像中的显著区域,若有多个显著区域则合并为一个;
步骤二:经由图像前后景的颜色复杂度与像素梯度复杂度,计算得到图像前后景的差异度,接着计算图像与图集中其它图像的差异度的均值从而得到该图像的代表度,最终结合图像内前后景差异度与图像间差异度得到每幅图像各自的重要度;
步骤三:以XML文件保存图集的层次关系,并将上述得到的图像重要度作为节点的权重并保存显著区域的外接矩形轮廓;
步骤四:采用Voronoi树图可视化图集层次,画布区域表示图集子集或图像的重要度权重,根据节点显著区域的矩形轮廓和图像缩放技术自动拼贴各图像的显著区域。
所述步骤一的具体步骤如下:
1.1基于Meanshift的图像分割
MeanShift算法被称为均值漂移算法,是一种基于核密度梯度估计的无参快速统计迭代算法,其形式简单,在实际应用中表现出较好的稳定性、抗噪性和较高的效率 所以本方法综合考虑效果和效率,选择Meanshift算法来做图像分割处理,得到图像中一个或多个显著区域的外接矩形顶点坐标,如第i个ROI外接矩形的左上角顶点坐标Li(x,y)和右下角顶点Ri(x,y);
1.2获取图像前后景区域
经图像分割后的显著区域都应为人们视觉所关注的重要前景区域;因而合并图像分割后的多个ROI区域,得到该图像的ROI前景区域的外接矩形左上角和右下角坐标,作为后续计算图像重要度与拼贴计算的基础区域;
假设图像的坐标原点位于左下角,当图像分割结果为1个显著区域时,该图像的前景区域即为该显著区域,记作I(L,R),其中I表示前景区域,L和R表示区域的左上角和右下角顶点坐标;当图像分割结果为多个显著区域时,则前景区域I(L,R)通过计算包含所有ROI矩形区域的外边界得到,后景区域即为全图像不包含前景区域的部分,记作B;
所述步骤二的具体步骤如下:
2.1前后景颜色复杂差异度计算
将单张图像的前后景颜色复杂差异度记为Sc,计算方式如下:
211.将前景区域I和后景区域B中的每个像素点由RGB色彩模式转化成HSV,即色调H,饱和度S,亮度V颜色模型;并将H、S、V分量按其取值范围平均分为m、n、o个区间,然后分别计算区域内各区间的像素点占总数的百分比,分别记为hiI、sjI、vkI和hiB、sjB、vkB
212.分别对I和B按下述公式计算得到颜色复杂度ScI和ScB;以ScI计算为例,需要先分别计算在前景区域I的HSV各分量的复杂度再合成得到ScI
其中
其中
其中
从而得到前景区域I的颜色复杂度为同理可得后景区域B的颜色复杂度SB
213.最后得到图像的前后景颜色复杂差异度Sc=|ScI-ScB|;
2.2前后景像素梯度复杂差异度计算
将单张图像的前后景像素梯度复杂差异度记为Se,计算方式如下:
221.分别将前景区域I和后景区域B的像素点矩阵转化成梯度矩阵,先计算图像x方向梯度和y方向梯度,将斜率y/x转换成0到180度的角度表示的梯度矩阵,将梯度矩阵均分为p个区间,分别统计区域内各区间的像素点个数占总数的百分比,记为oiI和oiB
222.通过下列式子计算得到前景的梯度复杂度SeI
其中
同理可得后景B的梯度复杂度SeB
223.最后得到前后景梯度复杂差异度Se=|SeI-SeB|;
2.3图像间差异度计算
图像间差异度定义为单张图像在对应图集中的代表度,记作Sr,具体计算方式如下:
231.设图集共有N张以HSV表示的图像,将单张图像H、S、V分量按其取值范围平均分为m、n、o个区间,分别计算区域内各区间的像素点占总数的百分比,从而得到一个表示该图像的m+n+o维特征向量,如第i个图像的特征向量表示为Vi。
232.使用EMD算法,计算某个图像到图集中其它图像的特征向量间的所有距离之和的平均值即为其该图像的图像间差异度;
即:其中,EMD(Vi,Va)表示使用EMD算法计算第i张图像的特征向量Vi与第a张图像的特征向量Va的距离,i不能等于a;
2.4图像重要度计算
由上述图像内前后景差异度与图像间差异度得到图像重要度S,其中
所述步骤三生成XML文件的具体步骤如下:
将图集原始层次信息与计算得到的图像重要度建立对应关系,生成图集节点的XML文件,其中主要包含图集根目录路径、子文件夹与图像叶子节点名称、图像重要度以及图像对应的前景区域坐标;
所述步骤四的具体步骤如下:
4.1节点画布区域计算
把Voronoi树图节点区域面积与节点重要度对应起来,需先赋值各节点重要度权重,然后Voronoi树图迭代计算得到相应面积的凸多边形;计算步骤如下:
411可根据XML文件,从叶子节点重要度开始逐层向上计算得到所有子节点重要度之和,并设置父节点重要度权重为其占同层节点权重之和的百分比;
412从根节点开始逐层向下,以各节点权重为区域面积目标值,做Voronoi树图PW迭代计算,得到当前节点的每一个子节点对应凸多边形区域的顶点序列;直到所有分支节点计算完毕;
4.2拼贴计算
每个分支节点区域对应图集子集在可视化中可呈现的画布区域;对于一定规模的图集,要用有限的画布区域呈现子图集内容,需要用到拼贴技术,尽可能裁剪选择有代表性的图像显著区域缩放匹配画布;具体步骤如下:
421由步骤4.1可获取本级节点的画布区域对应的顶点序列,进而得到外接矩形P(L,R),其中第一分量表示矩形的左上角顶点,第二分量为矩形的右下角顶点;根据XML文件选取本子集中重要度最高的图像,由步骤一提取其前景区域I(L,R);为避免拼贴时图像被拉伸而失真,先匹配前景区域I(L,R)与画布外接矩形P(L,R),并按画布区域裁剪得到最终拼贴图像区域E(L,R)。具体是根据画布外接矩形的长宽比来修改图像的前景区域范围,达到尽可能的保留图像前景区域视觉信息的目的;
422.对E(L,R)区域再做缩放处理,与画布大小一致,然后拼贴呈现在相应节点区域中。
综上四个步骤,即可实现本发明的层次图集图像拼贴效果。
本发明描述了一种基于图像重要度的层次图集自动拼贴方法,兼顾了可视化效果和计算效率。主要特色是基于图像自身的前后景复杂度和图像在子集中的代表性定义了各图像的重要度,提供了合理可靠的图集代表选取策略,并结合Voronoi树图可视化技术,充分利用有限的画布空间,完成自动拼接。
本发明的优点如下:
(1)适应性较广。本发明方法扩展了单层少量图像常用的自动拼贴方法,对数量更大的层次图集也能完成自动拼贴可视化效果。
(2)思路新颖。通过定义重要度制定了有效的代表图选取策略。结合图像自身前后景复杂度和图像在图集中的代表杜来定义各图像的重要度,为代表图选取提供了可靠合理的定量计算。
(3)充分利用画布空间。通过Voronoi树图可视化技术,建立了重要度权重与节点区域面积的对应关系,不仅充分利用画布空间,也符合可视化规律。
(4)实现简单且运行效率高。本方法综合考虑了用户的可视化效果需求,在满足用户一定可视需求的前提下,方案实现简单且运行效率较高。
附图说明
图1为本发明的图集拼贴的流程图。
图2为本发明单幅图像的前后景提取具体流程。
图3a、图3b为单、多显著区域的前后景区域分割结果
图4为本发明图像重要度计算流程。
图5为本发明层次图集文件与XML格式的对应关系。
图6为本发明基于Voronoi树图的层次图集拼贴主要流程。
图7a、图7b是本发明图集拼贴效果图
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
如图1所示,本发明所述的基于图像重要度的自动图像拼贴方法,由四步骤组成:
步骤一:使用Meanshift算法对图像进行图像分割,以矩形的方式提取出图像中的显著区域,若有多个显著区域则合并为一个;
步骤二:经由图像前后景的颜色复杂度与像素梯度复杂度,计算得到图像前后景的差异度,接着计算图像与图集中其它图像的差异度的均值从而得到该图像的代表度,最终结合图像内前后景差异度与图像间差异度得到每幅图像各自的重要度;
步骤三:以XML文件保存图集的层次关系,并将上述得到的图像重要度作为节点的权重并保存显著区域的外接矩形轮廓;
步骤四:采用Voronoi树图可视化图集层次,画布区域表示图集子集或图像的重要度权重,根据节点显著区域的矩形轮廓和图像缩放技术自动拼贴各图像的显著区域。
如图2所示,所述步骤一的具体步骤和参数选择如下:
1.1基于Meanshift的图像分割
本方法选择Meanshift算法来做图像分割处理,其中图像将表示为一个五维向量包括三维HSV颜色模型向量和二维像素点空间位置向量,通过Meanshift算法对图像做平滑处理,再根据平滑结果分割图像,便可得到图像中一个或多个显著区域ROI的外接矩形顶点坐标,如第i个ROI外接矩形的左上角顶点坐标Li(x,y)和右下角顶点Ri(x,y)。
1.2获取图像前后景区域
本发明认为经图像分割后的显著区域都应为人们视觉所关注的重要前景区域。因而合并图像分割后的多个ROI区域,得到该图像的ROI前景区域的外接矩形左上角和右下角坐标,作为后续计算图像重要度与拼贴计算的基础区域。
本发明假设图像的坐标原点位于左下角,当图像分割结果为1个显著区域时,该图像的前景区域即为该显著区域,记作I(L,R),其中I表示前景区域,L和R表示区域的左上角和右下角顶点坐标。当图像分割结果为多个显著区域时,则前景区域I(L,R)通过计算包含所有ROI矩形区域的外边界得到,后景区域即为全图像不包含前景区域的部分,记作B。单显著区域和多显著区域图像的前后景分割结果分别如图3a和图3b所示。
如图4所示,所述步骤二的具体步骤和参数选择如下:
2.1前后景颜色复杂差异度计算
将单张图像的前后景颜色复杂差异度记为Sc,计算方式如下:
a.将前景区域I和后景区域B中的每个像素点由RGB色彩模式转化成HSV,即色调H,饱和度S,亮度V颜色模型。并将H、S、V分量按其取值范围平均按经验值分为16、4、4个区间,分别计算区域内各区间的像素点占总数的百分比,分别记为hiI、sjI、vkI和hiB、sjB、vkB
b.分别对I和B按下述公式计算得到HSV三分量的复杂度ScI和ScB。以ScI计算为例,需要先分别计算在前景区域I的HSV各分量的复杂度再合成得到ScI
其中
其中
其中
从而得到前景区域I的颜色复杂度为
同理可得后景区域B的颜色复杂度SB
c.最后得到图像的前后景颜色复杂差异度Sc=|ScI-ScB|。
2.2前后景像素梯度复杂差异度计算
将单张图像的前后景像素梯度复杂差异度记为Se,计算方式如下:
a.分别将前景区域I和后景区域B的像素点矩阵转化成梯度矩阵,先计算图像x方向梯度和y方向梯度,将斜率y/x转换成0到180度的角度表示的梯度矩阵,将梯度矩阵均分为9个区间,分别统计区域内各区间的像素点个数占总数的百分比,记为oiI和oiB
b.通过下列式子计算得到前景的梯度复杂度SeI
其中
同理可得后景B的梯度复杂度SeB
c.最后得到前后景梯度复杂差异度Se=|SeI-SeB|。
2.3图像间差异度计算
图像间差异度定义为单张图像在对应图集中的代表度,记作Sr,具体计算方式如下:
a.设图集共有n张以HSV表示的图像,将单张图像H、S、V分量按其取值范围平均分为16、4、4个区间,分别计算区域内各区间的像素点占总数的百分比,从而得到一个表示该图像的24维特征向量,如第i个图像的特征向量表示为Vi。
b.使用EMD算法,计算某个图像到图集中其它图像的特征向量间的所有距离之和的平均值即为其该图像的图像间差异度。
即:其中,EMD(Vi,Va)表示使用EMD算法计算第i张图像的特征向量Vi与第a张图像的特征向量Va的距离,i不能等于a。
2.4图像重要度计算
由上述图像内前后景差异度与图像间差异度得到图像重要度S,其中
如图5所示,所述步骤三生成XML文件的具体步骤如下:
将图集原始层次信息与计算得到的图像重要度建立对应关系,生成图集节点的XML文件,其中主要包含图集根目录路径、子文件夹与图像叶子节点名称、图像重要度以及图像对应的前景区域坐标。图5中层次图集文件夹中可包含子文件夹和图像文件,子文件夹可包含子文件夹和图像文件。
比如一个存放在D盘date文件夹下的层次图集数据文件夹tree,包含一个子文件夹green和一张名为tree1的图像(重要度为1,前景区域坐标为(20,40)(40,20)),且子文件夹green中包含1张名为tree2的图像(重要度为2,前景区域坐标为(10,30)(30,10)),则其生成的XML文件内容为:
如图6所示,所述步骤四的具体步骤如下:
4.1节点画布区域计算
把Voronoi树图节点区域面积与节点重要度对应起来,需先赋值各节点重要度权重,然后Voronoi树图迭代计算得到相应面积的凸多边形。计算步骤如下:
a.可根据XML文件,从叶子节点重要度开始逐层向上计算得到所有子节点重要度之和,并设置父节点重要度权重为其占同层节点权重之和的百分比。
b.从根节点开始逐层向下,以各节点权重为区域面积目标值,做Voronoi树图PW迭代计算,得到当前节点的每一个子节点对应凸多边形区域的顶点序列。直到所有分支节点计算完毕。
4.2拼贴计算
每个分支节点区域对应图集子集在可视化中可呈现的画布区域。对于一定规模的图集,要用有限的画布区域呈现子图集内容,需要用到拼贴技术,尽可能裁剪选择有代表性的图像显著区域缩放匹配画布。具体步骤如下:
a.由步骤4.1可获取本级节点的画布区域对应的顶点序列,进而得到外接矩形P(L,R),其中第一分量表示矩形的左上角顶点,第二分量为矩形的右下角顶点。父节点没有对应的图像文件则根据XML文件选取本子集中重要度最高的图像作为代表图,由步骤一提取其前景区域I(L,R)。
外接矩形P(L,R)可由一下步骤计算得到:
(1)遍历画布区域所有的顶点序列中的x与y坐标;
(2)记录x轴最大值,记作maxX;
(3)记录x轴最小值,记作minX;
(4)记录y轴最大值,记作maxY;
(5)记录y轴最小值,记作minY;
(6)则外接矩形左上角顶点坐标为(minX,maxY),右下角顶点坐标为(maxX,minY)。
b.匹配前景区域I(L,R)与画布外接矩形P(L,R),并按画布区域裁剪得到最终拼贴图像区域E(L,R)。具体计算公式如下:
即前景区域长宽比大于画布外接区域长宽比时,则可通过下式得到新的前景区域坐标,其中x、y表示横纵坐标,下标L、R代表左上角坐标和右下角坐标,下标I、P代表图像的前景区域和画布外接矩形区域。变量yRI表示前景区域的右下角纵坐标值,其它类似。
否则
对E(L,R)区域再做缩放处理,与画布大小一致,然后拼贴呈现在相应节点区域中。
综上四个步骤,即可实现本发明的层次图集图像拼贴效果。
实例一:
层次图集数据组成为包含41张图像的单层图集数据,其基于图像重要度的层次图集自动拼贴效果如图7a所示。
实例二:
层次图集数据组成为包含47张汽车图像,最深层次为3层的多层图集数据,其中,图集文件夹名为本田,内有皇冠、凯美瑞、雷克萨斯和锐志3个子文件夹,其中皇冠、凯美瑞和锐志下层皆为图像,不包含子文件夹,而雷克萨斯内含有ES、GS和LS三个子文件夹,这三个子文件夹中只包含图像文件。其基于图像重要度的层次图集自动拼贴效果如图7b所示。该拼贴效果显示了两层内容,左上角3个较大的区域对应为ES、GS和LS三个分类,其余为皇冠。凯美瑞和锐志下的图像文件。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举,本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式,本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.一种基于图像重要度的层次图集自动拼贴方法,包括如下步骤:
步骤1:使用Meanshift算法对图像进行图像分割,以矩形的方式提取出图像中的显著区域,若有多个显著区域则合并为一个;具体如下:
1.1基于Meanshift的图像分割
MeanShift算法被称为均值漂移算法,是一种基于核密度梯度估计的无参快速统计迭代算法,其形式简单,在实际应用中表现出较好的稳定性、抗噪性和较高的效率;所以本方法综合考虑效果和效率,选择Meanshift算法来做图像分割处理,得到图像中一个或多个显著区域ROI的外接矩形顶点坐标,如第i个ROI外接矩形的左上角顶点坐标Li(x,y)和右下角顶点Ri(x,y);
1.2获取图像前后景区域
经图像分割后的显著区域都应为人们视觉所关注的重要前景区域;因而合并图像分割后的多个ROI区域,得到该图像的ROI前景区域的外接矩形左上角和右下角坐标,作为后续计算图像重要度与拼贴计算的基础区域;
假设图像的坐标原点位于左下角,当图像分割结果为1个显著区域时,该图像的前景区域即为该显著区域,记作I(L,R),其中I表示前景区域,L和R表示区域的左上角和右下角顶点坐标;当图像分割结果为多个显著区域时,则前景区域I(L,R)通过计算包含所有ROI矩形区域的外边界得到,后景区域即为全图像不包含前景区域的部分,记作B;
步骤2:经由图像前后景的颜色复杂度与像素梯度复杂度,计算得到图像前后景的差异度,接着计算图像与图集中其它图像的差异度的均值从而得到该图像的代表度,最终结合图像内前后景差异度与图像间差异度得到每幅图像各自的重要度;
2.1前后景颜色复杂差异度计算
将单张图像的前后景颜色复杂差异度记为Sc,计算方式如下:
211.将前景区域I和后景区域B中的每个像素点由RGB色彩模式转化成HSV,即色调H,饱和度S,亮度V颜色模型;并将H、S、V分量按其取值范围平均分为m、n、o个区间,其中m、n、o为正整数,然后分别计算区域内各区间的像素点占总数的百分比,分别记为hiI、sjI、vkI和hiB、sjB、vkB
212.分别对I和B按下述公式计算得到颜色复杂度ScI和ScB;以ScI计算为例,需要先分别计算在前景区域I的HSV各分量的复杂度再合成得到ScI
其中
其中
其中
从而得到前景区域I的颜色复杂度为同理可得后景区域B的颜色复杂度SB
213.最后得到图像的前后景颜色复杂差异度Sc=|ScI-ScB|;
2.2前后景像素梯度复杂差异度计算
将单张图像的前后景像素梯度复杂差异度记为Se,计算方式如下:
221.分别将前景区域I和后景区域B的像素点矩阵转化成梯度矩阵,先计算图像x方向梯度和y方向梯度,将斜率y/x转换成0到180度的角度表示的梯度矩阵,将梯度矩阵均分为p个区间,分别统计区域内各区间的像素点个数占总数的百分比,记为oiI和oiB
222.通过下列式子计算得到前景的梯度复杂度SeI
其中
同理可得后景B的梯度复杂度SeB
223.最后得到前后景梯度复杂差异度Se=|SeI-SeB|;
2.3图像间差异度计算
图像间差异度定义为单张图像在对应图集中的代表度,记作Sr,具体计算方式如下:
231.设图集共有N张以HSV表示的图像,将单张图像H、S、V分量按其取值范围平均分为m、n、o个区间,分别计算区域内各区间的像素点占总数的百分比,从而得到一个表示该图像的m+n+o维特征向量,如第i个图像的特征向量表示为Vi;
232.使用EMD算法,计算某个图像到图集中其它图像的特征向量间的所有距离之和的平均值即为其该图像的图像间差异度;
即:其中,EMD(Vi,Va)表示使用EMD算法计算第i张图像的特征向量Vi与第a张图像的特征向量Va的距离,i不能等于a;
2.4图像重要度计算
由上述图像内前后景差异度与图像间差异度得到图像重要度S,其中
步骤3:以XML文件保存图集的层次关系,并将上述得到的图像重要度作为节点的权重并保存显著区域的外接矩形轮廓;
生成XML文件的具体步骤如下:将图集原始层次信息与计算得到的图像重要度建立对应关系,生成图集节点的XML文件,其中主要包含图集根目录路径、子文件夹与图像叶子节点名称、图像重要度以及图像对应的前景区域坐标;
步骤4:采用Voronoi树图可视化图集层次,画布区域表示图集子集或图像的重要度权重,根据节点显著区域的矩形轮廓和图像缩放技术自动拼贴各图像的显著区域;具体步骤如下:
4.1节点画布区域计算
把Voronoi树图节点区域面积与节点重要度对应起来,需先赋值各节点重要度权重,然后Voronoi树图迭代计算得到相应面积的凸多边形;计算步骤如下:
411可根据XML文件,从叶子节点重要度开始逐层向上计算得到所有子节点重要度之和,并设置父节点重要度权重为其占同层节点权重之和的百分比;
412从根节点开始逐层向下,以各节点权重为区域面积目标值,做Voronoi树图PW迭代计算,得到当前节点的每一个子节点对应凸多边形区域的顶点序列;直到所有分支节点计算完毕;
4.2拼贴计算
每个分支节点区域对应图集子集在可视化中可呈现的画布区域;对于一定规模的图集,要用有限的画布区域呈现子图集内容,需要用到拼贴技术,尽可能裁剪选择有代表性的图像显著区域缩放匹配画布;具体步骤如下:
421由步骤4.1可获取本级节点的画布区域对应的顶点序列,进而得到外接矩形P(L,R),其中第一分量表示矩形的左上角顶点,第二分量为矩形的右下角顶点;根据XML文件选取本子集中重要度最高的图像,由步骤1提取其前景区域I(L,R);为避免拼贴时图像被拉伸而失真,先匹配前景区域I(L,R)与画布外接矩形P(L,R),并按画布区域裁剪得到最终拼贴图像区域E(L,R);具体是根据画布外接矩形的长宽比来修改图像的前景区域范围,达到尽可能的保留图像前景区域视觉信息的目的;
422.对E(L,R)区域再做缩放处理,与画布大小一致,然后拼贴呈现在相应节点区域中。
CN201510648032.7A 2015-10-09 2015-10-09 一种基于图像重要度的层次图集自动拼贴方法 Active CN105321177B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510648032.7A CN105321177B (zh) 2015-10-09 2015-10-09 一种基于图像重要度的层次图集自动拼贴方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510648032.7A CN105321177B (zh) 2015-10-09 2015-10-09 一种基于图像重要度的层次图集自动拼贴方法

Publications (2)

Publication Number Publication Date
CN105321177A CN105321177A (zh) 2016-02-10
CN105321177B true CN105321177B (zh) 2018-02-02

Family

ID=55248492

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510648032.7A Active CN105321177B (zh) 2015-10-09 2015-10-09 一种基于图像重要度的层次图集自动拼贴方法

Country Status (1)

Country Link
CN (1) CN105321177B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107833227B (zh) * 2017-10-31 2021-11-26 苏州乐米信息科技股份有限公司 一种圆形裁剪区域的绘制方法及其系统
CN107767391A (zh) * 2017-11-02 2018-03-06 北京奇虎科技有限公司 风景图像处理方法、装置、计算设备及计算机存储介质
CN108122268B (zh) * 2017-12-19 2021-07-23 网易(杭州)网络有限公司 贴图处理方法和装置
CN108154515A (zh) * 2017-12-27 2018-06-12 三星电子(中国)研发中心 图片展现方法和装置
CN108782797B (zh) * 2018-06-15 2021-08-27 广东工业大学 臂式炒茶机翻炒茶叶的控制方法和臂式炒茶机
CN109117051B (zh) * 2018-09-05 2021-05-11 广州视源电子科技股份有限公司 思维导图的展示方法、装置、设备及存储介质
CN110458163B (zh) * 2019-08-06 2022-04-22 南京地平线机器人技术有限公司 处理图像的多个感兴趣区域数据的装置和方法
CN111651562B (zh) * 2020-06-05 2023-03-21 东北电力大学 一种基于内容地图的科技文献内容深度揭示方法
CN113408657B (zh) * 2021-07-14 2024-01-30 福建天晴在线互动科技有限公司 一种游戏图集动态规划合并的方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101513034A (zh) * 2006-09-11 2009-08-19 皇家飞利浦电子股份有限公司 用于产生图像拼贴画的方法和电子装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7620267B2 (en) * 2006-04-28 2009-11-17 Hewlett-Packard Development Company, L.P. Collage generation with occlusion costing

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101513034A (zh) * 2006-09-11 2009-08-19 皇家飞利浦电子股份有限公司 用于产生图像拼贴画的方法和电子装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AutoCollage;Carsten Rother et al;《ACM Transactions on Graphics (TOG) - Proceedings of ACM SIGGRAPH 2006》;20060731;第25卷(第3期);847-852 *
Picture Collage;Tie Liu et al;《IEEE Transactions on Multimedia》;20091130;第11卷(第7期);1225-1239 *

Also Published As

Publication number Publication date
CN105321177A (zh) 2016-02-10

Similar Documents

Publication Publication Date Title
CN105321177B (zh) 一种基于图像重要度的层次图集自动拼贴方法
Cho et al. The patch transform and its applications to image editing
US8594428B2 (en) Interactive segmentation of images with single scribbles
Huang et al. Arcimboldo-like collage using internet images
Pritch et al. Shift-map image editing
Wang et al. Video tooning
US6987520B2 (en) Image region filling by exemplar-based inpainting
US11270476B2 (en) Method and system for providing photorealistic changes for digital image
Shen et al. Depth-aware image seam carving
US8498481B2 (en) Image segmentation using star-convexity constraints
CN106713923A (zh) 三维建模对象的压缩
CN106157341A (zh) 生成合成图片的方法及装置
Zhang et al. Personal photograph enhancement using internet photo collections
CN109118588B (zh) 一种基于块分解的彩色lod模型自动生成方法
CN108829711A (zh) 一种基于多特征融合的图像检索方法
CN104392433A (zh) 基于图像的数字油画画布的自动生成方法
Liu et al. Generating classic mosaics with graph cuts
Sormann et al. Graph cut based multiple view segmentation for 3d reconstruction
CN111652022B (zh) 图像数据的显示、直播方法、装置、电子设备和存储介质
CN102013107B (zh) 一种基于非线性滤波的选择性图像风格化方法
Ye et al. Hybrid scheme of image’s regional colorization using mask r-cnn and Poisson editing
KR100602739B1 (ko) 재귀적 제어선 정합을 이용한 반자동 필드 기반 영상 변형방법
Bonneel et al. Proxy-guided texture synthesis for rendering natural scenes
CN113298871B (zh) 地图生成方法、定位方法及其系统、计算机可读存储介质
Chen et al. Time-of-Day Neural Style Transfer for Architectural Photographs

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant