CN101577010A - 基于图像库的图像合成质量自动评测方法 - Google Patents
基于图像库的图像合成质量自动评测方法 Download PDFInfo
- Publication number
- CN101577010A CN101577010A CNA2009100869374A CN200910086937A CN101577010A CN 101577010 A CN101577010 A CN 101577010A CN A2009100869374 A CNA2009100869374 A CN A2009100869374A CN 200910086937 A CN200910086937 A CN 200910086937A CN 101577010 A CN101577010 A CN 101577010A
- Authority
- CN
- China
- Prior art keywords
- synthetic
- image
- quality
- images
- energy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000010354 integration Effects 0.000 claims abstract description 11
- 230000015572 biosynthetic process Effects 0.000 claims description 19
- 238000003786 synthesis reaction Methods 0.000 claims description 19
- 230000011218 segmentation Effects 0.000 claims description 11
- 238000007789 sealing Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 abstract description 6
- 238000004364 calculation method Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 4
- 230000003993 interaction Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 3
- 241001494479 Pecora Species 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000005303 weighing Methods 0.000 description 2
- 230000007123 defense Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于图像库的图像合成质量自动评测方法，该方法让用户从一个已分类且已对图像中的对象进行标注的图像库中指定含合成对象的图像类别及合成位置；对标注区域进行处理得到合成对象的融合区域；对融合区域进行超像素分割，计算每个分割区域的局部自定义合成能量，得到一个封闭的能量最小路径，即最优合成路径；计算每一组待合成图像的总合成能量，对待合成图像的合成质量进行评估。该方法基于图像库，保证在选取的图像范围内使图像的合成效果最佳；局部自定义合成能量能很好的评估融合区域中两个对应超像素的合成质量；采用超像素级的计算，能在可接受时间内完成对大量图像合成质量的自动评测，避免了复杂的人工交互。
Description
技术领域
本发明涉及图像处理领域，特别是涉及一种图像合成质量评测方法，此方法基于图像库，并且能实现对大量图像合成质量的自动评测。
背景技术
随着多媒体技术和网络技术的发展，互联网上丰富的图像资源得到广泛应用，各种图像处理技术成为计算机学科研究的热门领域。其中，图像合成技术可以让用户通过多张照片拼合成一张以假乱真的照片，并且满足用户对照片内容的要求。一些图像处理相关的商业软件(如：Adobe Photoshop，Pixel Image Editor)，可以通过复杂的用户交互实现上述目的。但是所述软件的使用需要用户有较强的美术专业知识以及对软件的熟练掌握，除此之外，还需要用户付出长时间的枯燥劳动。由于图像合成技术可以广泛应用于传媒、娱乐、教育、军事国防等诸多领域，近年来国内外研究人员都对其进行了大量深入的研究。这些研究致力于在提升图像合成的真实效果的同时大大降低人工交互的复杂度。但是，现有技术并不能对任意给定的两幅图像，都能实现较好的合成结果。这是因为即使使用当前最好的图像合成技术，当输入图像的光照、纹理、色彩差别太大时，合成结果依然会有明显的瑕疵。不过随着网络资源的无限丰富，一些海量图像库的建立为图像合成技术提供了新的发展空间。设想用户需要将两个图像对象合成到一起，他可以在图像库里搜索光照、纹理、色彩等各方面条件最相近又包含相应内容的图像，提取其中相应的内容进行合成，这样可以保证最佳的合成质量，比局限于两张指定图像的合成有明显优势，同时又满足了用户对结果的要求。
发明内容
本发明要解决的技术问题在于提供一种基于图像库的图像合成质量自动评测方法，该方法对用户从图像库中选出的含合成对象的图像(待合成图像)进行合成质量评测，以便根据这一评测结果从中选出合成质量最好的一组图像进行合成。该方法基于图像库，相对于给定两张图像来说大大扩展了图像的选择范围，保证在选择的图像范围内使图像的合成效果最佳，并且能实现合成质量的自动评测，避免了复杂人工交互。
为解决上述技术问题，本发明的技术方案为让用户从一个已将图像分类和标注的图像库中指定含合成对象的图像类别(假设用户想将一只羊合成到草地上，就需要指定羊和草地两类图像)，并指定合成位置；对一组待合成图像的每一对合成对象的标注区域进行处理得到合成对象的融合区域；对所述融合区域进行超像素分割(SuperpixelSegmentation)，每个分割区域是一对(两个)超像素；计算每个超像素分割区域的局部自定义合成能量；在超像素分割区域上计算一个封闭的能量最小路径，即最优合成路径；计算每一组待合成图像的所有最优合成路径的总能量，即总合成能量，对待合成图像的合成质量进行评估。
其中，待合成图像一般是多个图像，每一组待合成图像可以是一对(两个)图像，也可以是两个以上图像。所述一对图像包括一个作为背景的源图像和一个作为前景的目标图像，所述两个以上图像包括一个或多个源图像或目标图像。评测包括两个以上图像的一组待合成图像的合成质量时，先分别计算一组图像中每一对图像的最优合成路径的能量，然后计算一组图像的总合成能量，选择总合成能量最小的一组图像进行合成。
其中，局部自定义合成能量用于评估融合区域中两个对应超像素的合成质量，可定义为一个与源图像和目标图像纹理差异、色彩差异、源图像的背景纹理复杂度以及源图像的前景和背景的差异皆相关的函数。
其中，最优合成路径包围所述合成对象，合成图像的质量由所述最优合成路径的能量决定，最优合成路径的能量越小，合成图像的质量越好。
其中，每个超像素分割区域的能量除包括局部自定义合成能量以外还可以为每个超像素分割区域的能量设置一个权重。
其中，最优合成路径可以通过动态规划算法求解。
本发明的局部自定义合成能量计算方法能很好的评估两个对应超像素的合成质量。另外，由于超像素级的计算速度很快，超像素级的局部自定义合成能量的计算、最优合成路径的求解都非常快，因此本发明能在可接受时间内完成对大量图像合成质量的自动评测，而直接图像合成往往需要求解大型矩阵，花费的时间难以接受。
附图说明
图1为本发明的一种基于图像库的图像合成质量自动评测方法的流程图；
图2为本发明的求解最优合成路径的示意图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步详细说明。以下说明不用来限制本发明的范围。
本发明的一种基于图像库的图像合成质量自动评测方法如图1所示，包括以下步骤：
步骤s101，用户从图像库中指定含合成对象的图像类别及合成位置；
步骤s102，对合成对象的标注区域进行形态学中的膨胀操作，在膨胀区域和标注区域之间的区域就是融合区域；
步骤s103，对合成对象的融合区域进行超像素分割；
步骤s104，计算每个分割区域的局部自定义合成能量；
步骤s105，计算包围合成对象的最优合成路径；
步骤s106，计算每一组待合成图像的总合成能量，评估图像合成质量。
其中，膨胀操作一般膨胀20个像素。
其中，局部自定义合成能量定义如下：
能量
和定义为：
能量
用来衡量源图像与目标图像纹理差异和色彩差异，其中ΔGi和ΔUi分别是Gabor特征向量差和LUV空间中UV分量空间的向量差，σg和σu分别为‖ΔGi‖2和‖ΔUi‖2的统计方差。能量
用来衡量源图像的背景纹理复杂度以及源图像的前景和背景的差异，其中
为源图像背景超像素的梯度平均值，ΔHi s是源图像背景超像素和其附近的前景区域颜色直方图的差。能量定义中的一些参数在实验中通常取值如下：w1＝0.7，w2＝0.5，T1＝0.5。通过计算所述局部自定义合成能量，每个超像素分割区域都有了一个合成能量值。
图2为本发明中求解最优合成路径的示意图。合成对象区域a和膨胀后源图像的背景区域f之间为融合区域，b为超像素分割边界。本发明以超像素为结点c，相邻的超像素之间为边d，构建一个图，定义结点的能量为该结点的局部自定义合成能量
乘上一个权重ci，然后求一个围绕合成对象区域的封闭的能量极小路径，即最优合成路径e。
其中，最优合成路径可通过2D动态规划问题解得。
其中，权重ci的计算方式如下：首先将合成对象区域a的边界映射到一个圆周上，然后把融合区域中的每个超像素占该圆周的比例作为它所代表结点的权重ci。使用这一权重计算出的最优合成路径可以得到最佳的合成效果。最优路径区域边界g所经过的区域为最优合成路径所经过的结点对应的超像素区域，最佳合成边界应该在这一区域中。
在求得最优合成路径后，一对图像的合成能量为：
其中Φ就是最优路径区域边界g所经过的区域。
对一组待合成图像中的每一对图像计算合成能量后，得到每组图像的总合成能量，对所有待合成图像按照每组图像的总合成能量从小到大排序，合成能量越小，说明合成质量越好，由此完成了基于图像库的图像合成质量自动评测。
以上所述仅是本发明的优选实施方式，不用来限制本发明的范围。应当指出，在不脱离本发明技术原理的前提下，做出的任何修改、等同替换、和改进等，均应视为在本发明的保护范围之内。
Claims (11)
1、一种基于图像库的图像合成质量自动评测方法，其特征在于，所述方法包括以下步骤：
用户从图像库中指定含合成对象的图像类别，并指定合成位置；
对合成对象的标注区域进行处理得到合成对象的融合区域；
对合成对象的融合区域进行超像素分割；
计算每个分割区域的局部自定义合成能量；
计算包围合成对象的最优合成路径；
计算每一组待合成图像的合成能量，对待合成图像的合成质量进行评估。
2、如权利要求1所述的基于图像库的图像合成质量自动评测方法，其特征在于，所述待合成图像一般是多个图像，每一组待合成图像可以是两个图像，也可以是两个以上图像。所述一对图像包括一个作为背景的源图像和一个作为前景的目标图像，所述两个以上图像包括一个或多个源图像或目标图像。
3、如权利要求2所述的基于图像库的图像合成质量自动评测方法，其特征在于，所述局部自定义合成能量为一个与源图像和目标图像纹理差异、色彩差异、源图像的背景纹理复杂度以及源图像的前景和背景的差异皆相关的函数。
4、如权利要求1所述的基于图像库的图像合成质量自动评测方法，其特征在于，所述计算包围合成对象的最优合成路径的步骤中，具体包括：以每个超像素分割区域作为结点，计算一条围绕合成对象的封闭的能量最小路径。
5、如权利要求4所述的基于图像库的图像合成质量自动评测方法，其特征在于，所述每个分割区域的能量都含有一个权重。
6、如权利要求4所述的基于图像库的图像合成质量自动评测方法，其特征在于，所述最优合成路径，采用动态规划算法求解。
7、如权利要求1所述的基于图像库的图像合成质量自动评测方法，其特征在于，所述对合成对象的标注区域进行处理为膨胀操作。
8、如权利要求7所述的基于图像库的图像合成质量自动评测方法，其特征在于，所述膨胀操作为膨胀20个像素。
9、如权利要求1所述的基于图像库的图像合成质量自动评测方法，其特征在于，采用下述方式，对所述待合成图像的合成质量进行评估：对每一组待合成图像按照其合成能量从小到大排序，合成能量越小，则合成质量越好。
10、如权利要求3所述的基于图像库的图像合成质量自动评测方法，其特征在于，所述源图像与目标图像的纹理差异采用源图像与目标图像的Gabor特征向量差及其统计方差来衡量，所述源图像与目标图像的色彩差异采用源图像与目标图像的LUV空间中UV分量空间的向量差及其统计方差来衡量，所述源图像的背景纹理复杂度采用源图像背景超像素的梯度平均值来衡量，所述源图像的前景和背景的差异采用源图像背景超像素和附近的前景区域颜色直方图的差来衡量。
11、如权利要求5所述的基于图像库的图像合成质量自动评测方法，其特征在于，所述权重的计算方式包括：将合成对象区域的边界映射到一个圆周上，然后把所述超像素分割区域中的每个超像素占该圆周的比例作为它所代表结点的权重。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2009100869374A CN101577010B (zh) | 2009-06-11 | 2009-06-11 | 基于图像库的图像合成质量自动评测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2009100869374A CN101577010B (zh) | 2009-06-11 | 2009-06-11 | 基于图像库的图像合成质量自动评测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101577010A true CN101577010A (zh) | 2009-11-11 |
| CN101577010B CN101577010B (zh) | 2011-09-14 |
Family
ID=41271944
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2009100869374A Active CN101577010B (zh) | 2009-06-11 | 2009-06-11 | 基于图像库的图像合成质量自动评测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101577010B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102194241A (zh) * | 2011-04-28 | 2011-09-21 | 西安交通大学 | 基于互联网的艺术拼图系统设计方法 |
| CN108986185A (zh) * | 2018-08-01 | 2018-12-11 | 浙江深眸科技有限公司 | 基于深度学习的图像数据扩增方法 |
| CN109657691A (zh) * | 2019-01-25 | 2019-04-19 | 宝鸡文理学院 | 一种基于能量模型的图像语义标注方法 |
| CN115393685A (zh) * | 2022-10-28 | 2022-11-25 | 良业科技集团股份有限公司 | 基于可拓展模型的文旅数据处理方法及系统 |
| CN117333495A (zh) * | 2023-12-01 | 2024-01-02 | 浙江口碑网络技术有限公司 | 图像检测方法、装置、设备及存储介质 |
| CN117893450A (zh) * | 2024-03-15 | 2024-04-16 | 西南石油大学 | 一种数字病理图像增强的方法、装置和设备 |
-
2009
- 2009-06-11 CN CN2009100869374A patent/CN101577010B/zh active Active
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102194241A (zh) * | 2011-04-28 | 2011-09-21 | 西安交通大学 | 基于互联网的艺术拼图系统设计方法 |
| CN102194241B (zh) * | 2011-04-28 | 2013-07-10 | 西安交通大学 | 基于互联网的艺术拼图系统设计方法 |
| CN108986185A (zh) * | 2018-08-01 | 2018-12-11 | 浙江深眸科技有限公司 | 基于深度学习的图像数据扩增方法 |
| CN108986185B (zh) * | 2018-08-01 | 2023-04-07 | 浙江深眸科技有限公司 | 基于深度学习的图像数据扩增方法 |
| CN109657691A (zh) * | 2019-01-25 | 2019-04-19 | 宝鸡文理学院 | 一种基于能量模型的图像语义标注方法 |
| CN115393685A (zh) * | 2022-10-28 | 2022-11-25 | 良业科技集团股份有限公司 | 基于可拓展模型的文旅数据处理方法及系统 |
| CN117333495A (zh) * | 2023-12-01 | 2024-01-02 | 浙江口碑网络技术有限公司 | 图像检测方法、装置、设备及存储介质 |
| CN117333495B (zh) * | 2023-12-01 | 2024-03-19 | 浙江口碑网络技术有限公司 | 图像检测方法、装置、设备及存储介质 |
| CN117893450A (zh) * | 2024-03-15 | 2024-04-16 | 西南石油大学 | 一种数字病理图像增强的方法、装置和设备 |
| CN117893450B (zh) * | 2024-03-15 | 2024-05-24 | 西南石油大学 | 一种数字病理图像增强的方法、装置和设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101577010B (zh) | 2011-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101577010B (zh) | 基于图像库的图像合成质量自动评测方法 | |
| Wang et al. | Logo-2k+: A large-scale logo dataset for scalable logo classification | |
| CN101551904B (zh) | 基于混合梯度场和混合边界条件的图像合成方法和装置 | |
| CN108898145A (zh) | 一种结合深度学习的图像显著目标检测方法 | |
| CN102799669B (zh) | 一种商品图像视觉质量的自动分级方法 | |
| CN107169417B (zh) | 基于多核增强和显著性融合的rgbd图像协同显著性检测方法 | |
| CN104281679A (zh) | 基于图像特征的商品分类方法及装置 | |
| US11615515B2 (en) | Superpixel merging | |
| US20210216824A1 (en) | Learning copy space using regression and segmentation neural networks | |
| CN106250909A (zh) | 一种基于改进视觉词袋模型的图像分类方法 | |
| CN108205676A (zh) | 提取图像文字区域的方法和装置 | |
| Yuan et al. | Superpixels with content-adaptive criteria | |
| Peng et al. | Contour-enhanced CycleGAN framework for style transfer from scenery photos to Chinese landscape paintings | |
| Zhang et al. | Construction of a feature enhancement network for small object detection | |
| Lin et al. | Autoposter: A highly automatic and content-aware design system for advertising poster generation | |
| Tango et al. | Anime-to-real clothing: Cosplay costume generation via image-to-image translation | |
| CN113393546A (zh) | 基于服装类别及纹理图案控制的时尚服装图像生成方法 | |
| Hole et al. | Design of an efficient MPPT optimization model via accurate shadow detection for solar photovoltaic | |
| Islam et al. | An Automatic System for Identifying and Categorizing Tribal Clothing Based on Convolutional Neural Networks | |
| CN102346915B (zh) | 电压等高曲面图形快速生成方法 | |
| Hassan et al. | SODRet: Instance retrieval using salient object detection for self-service shopping | |
| CN106778763A (zh) | 一种基于属性图的图像表示方法 | |
| Wu et al. | Enhanced You Only Look Once X for surface defect detection of strip steel | |
| Schleyer et al. | A new method for colour image segmentation | |
| Yan et al. | Consistent stereo image editing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |