CN104318516B - 基于切缝对齐和变形校正的图像缩放方法 - Google Patents
基于切缝对齐和变形校正的图像缩放方法 Download PDFInfo
- Publication number
- CN104318516B CN104318516B CN201410356719.9A CN201410356719A CN104318516B CN 104318516 B CN104318516 B CN 104318516B CN 201410356719 A CN201410356719 A CN 201410356719A CN 104318516 B CN104318516 B CN 104318516B
- Authority
- CN
- China
- Prior art keywords
- mrow
- point
- cutting
- joint
- msub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000005520 cutting process Methods 0.000 title claims abstract description 84
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012937 correction Methods 0.000 title claims abstract description 17
- 238000004826 seaming Methods 0.000 claims abstract description 10
- 230000011218 segmentation Effects 0.000 claims description 9
- 238000009795 derivation Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 230000000717 retained effect Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 6
- 238000009825 accumulation Methods 0.000 description 2
- 239000007795 chemical reaction product Substances 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000012364 cultivation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000003471 mutagenic agent Substances 0.000 description 2
- 231100000707 mutagenic chemical Toxicity 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/403—Edge-driven scaling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- G06T5/80—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
Abstract
本发明涉及移动显示设备相关的多媒体技术领域，特别是涉及图像尺寸与当前显示设备尺寸不一致时基于切缝对齐和变形校正的图像缩放方法。本发明提供了一种可以避免图像不协调，彻底解决结构断裂和变形扭曲的时基于切缝对齐和变形校正的图像缩放的方法。它通过对缝切割所分割的两个子图进行切缝对齐和变形来实现图像缩放，该方法可以有效消除缝切割图像缩放存在结构断裂的问题。本发明可以在缩放图像的同时保持图像结构的连续性和重要的图像信息，从而有利于用户观察和欣赏图像信息。
Description
技术领域
本发明涉及移动显示设备相关的多媒体技术领域，特别是涉及图像尺寸与当前显示设备尺寸不一致时基于切缝对齐和变形校正的图像缩放方法。
背景技术
随着多媒体技术和视频成像技术的快速发展，出现越来越多的图像显示设备，如手机、电视、平板电脑、笔记本电脑等。图像显示设备的发展有利于我们更好地共享和交换信息，但也使潜在的问题也越发明显。不同的显示设备有不同的分辨率，一幅图像有固定分辨率，如果一幅图像分辨率不同于当前的显示设备,就应该增加或减少图像内容来适应设备，改变图像尺寸的过程称为图像缩放。
传统的图像尺寸调整方法有裁剪和缩放，裁剪是完全删除图像的某些对象，而缩放同时减少图像中所有对象的信息，没有考虑对象的重要性。传统的方法容易造成图像有不协调的纵横比，或失去图像中有重要信息的对象。近几年，出现了很多基于图像内容的图像缩放方法，缝切割图像缩放方法会导致图像变形扭曲，对缝切割的改进方法都只改变了切缝的位置，不能彻底解决结构断裂和变形扭曲的问题。其它图像缩放方法或存在过多的人工交互，或会导致图像结构变形扭曲。
发明内容
为了解决以上问题，本发明提供了一种可以避免图像不协调，彻底解决结构断裂和变形扭曲的时基于切缝对齐和变形校正的图像缩放的方法。
一种基于切缝对齐和变形校正的图像缩放方法，包括如下步骤：
1)使用基于图割的缝切割方法得到最优切割线，将图像切成两幅子图；
2)将缝切割所得的较小的子图与切缝对齐，使用由粗到细的切缝对齐方法，具体步骤如下所示：
(1)双向动态规划寻找像素级特征点匹配，分别匹配切缝与子图的边缘，保留其中双向匹配的像素点；
(2)分段寻找非特征像素点匹配，将特征点匹配对之间的普通点进行匹配；
(3)二等分插值方法寻找亚像素级匹配，在像素级匹配点对之间二等分插值出亚像素点，为尚未匹配的点匹配亚像素级点；
(4)像素级匹配寻找更精细的亚像素级匹配，将每个像素级匹配点进行十等分得到亚像素级点；
3)根据切缝对齐结果和逆向映射原理，求解泊松方程得到较小子图的全部点的偏移量；根据当前子图偏移量和切缝前图像相对于原图的坐标，可以得到变形后的子图上相对于原图的坐标；再用双线性插值得到变化后的子图，拼接两幅子图可得变形结果。优选的，所述步骤1)中，图像I被切缝s分割成两幅子图像I1和I2，假设I1比I2小，切缝s信息存储在数组C中，I1和I2的切割边缘s1和s2的信息分别存储在数组C1和C2中，则s是图像I中(C[y],y)(y＝1,2...n)的集合。
优选的，所述步骤1)中缝切割方法定义切缝s的能量函数为：
式中，I为大小为n×m的图像；用于求解像素梯度，I(si)＝I(x(i),i)表示第i行的像素集合，即E(s)记录图像I中每个像素的梯度。
优选的，所述步骤2)中计算两点之间匹配度的能量函数：
式中：
te表示s上的点，ts表示s1上的点；
E是包含当前点的RGB三通道颜色以及它们在x和y方向上的梯度，即
p∈Nte，q∈Nts分别表示te和ts的8领域像素集合，η为一个正数。
优选的，所述步骤2)中所述匹配范围为：1.D1[y]-D1[y-1]≤2 2.D1[y]-y≤1
其中，D1[y](y＝1,2...n)表示s1上的C1[D1[y]]点与s上的C[y]点匹配。
优选的，所述步骤2)中D1中存在多对一的点，即D1[i]＝D1[i-1]的情况，存在多对一的点都是特征不明显的点，而我们在第一步特征明显的匹配，于是去除s到s1多对一的匹配，令D1[i]＝D1[i-1]＝0，D[i]＝0表示i点无相应的匹配点。
更优选的，所述步骤2)中所述双向动态规划是指在匹配s和s1的同时，考虑了s和s2的匹配的影响，若当前点与s2上的也有匹配点，说明该点的特征明显。
优选的，对于非特征像素点，采用像素颜色和坐标的能量函数
M(te,ts)＝||E(te)-E(ts)|| (6)
式中te表示s上的点，ts表示s1上的点，E＝(R,G,B,x,y)，x和y为当前点的坐标。
优选的，所述步骤3)用以下方法计算整个区域的偏移量：
式中fp是变形区域的p点的偏移量，fq是fp的四邻域的偏移量集合，Ω为变形区域。对公式8求导等于0得到公式9：
式中为fp已知领域的偏移量，|Np|为fp的未知领域个数且|Np|≤4；
对公式9求解泊松方程，得到整个变形区域的偏移量。
下面对本发明详细说明如下：
1)基于图割的切缝优化
我们以求解竖直切缝为例，对于一幅大小为n×m的图像I，定义切缝s的能量函数为：
式中用于求解像素梯度，I(si)＝I(x(i),i)表示第i行的像素集合，即E(s)记录图像I中每个像素的梯度。用动态规划方法计算最优竖直切缝，设矩阵M存储当前图像的累积最小能量，则M的定义为：
M(i,j)＝e(i,j)+min(M(i-1,j-1), (2)
M(i-1,j),M(i-1,j+1))
图像I被切缝s分割成两幅子图像I1和I2，假设I1比I2小，切缝s信息存储在数组C中，I1和I2的切割边缘s1和s2的信息分别存储在数组C1和C2中，则s是图像I中(C[y],y)(y＝1,2...n)的集合。
2)由粗到细的切缝对齐算法
(1)像素级切缝对齐·
公式3为计算两点之间匹配度的能量函数：
式中te表示s上的点，ts表示s1上的点。E是包含当前点的RGB三通道颜色以及它们在x和y方向上的梯度，即p∈Nte，q∈Nts表示te和ts的8领域像素集合，η为一个正数。D1[y](y＝1,2...n)表示s1上的C1[D1[y]]点与s上的C[y]点匹配，考虑到少一条切缝不会对图像I造成很大的断裂，本文对所有点的匹配范围做以下限定：1.D1[y]-D1[y-1]≤2 2.D1[y]-y≤1。
用动态规划的方法求出最优匹配D1，令T[y,i]表示D1[y]＝i时的最优代价,则T[y,i]的定义如下：
D1中存在多对一的点，即D1[i]＝D1[i-1]的情况，存在多对一的点都是特征不明显的点，而我们在第一步特征明显的匹配，于是去除s到s1多对一的匹配，令D1[i]＝D1[i-1]＝0，D[i]＝0表示i点无相应的匹配点。
为了得到更可靠的匹配，我们采用双向动态规划匹配的方法。双向动态规划在匹配s和s1的同时，考虑了s和s2的匹配的影响，若当前点与s2上的也有匹配点，说明该点的特征明显，这样做的好处是不仅保留特征最显著的匹配而且使s1和s2有个间接的对应关系，在拼接时更连续。用与求D1同样的方法可得到s和s2的匹配结果D2。比较D1和D2，若D1[i]≠0且D2[i]≠0,则D[i]＝D1[i]，否则D[i]＝0，D中非零的匹配就是s与s1之间的像素级匹配，如图2所示。图中s上的p点匹配s1上的p1点，即D1[p]＝p1，同理可得，D2[p]＝p2，p点在s1和s2上都有匹配点，令D[p]＝p1。反观q和r，D1[q]＝0，D2[q]＝q2，D1[r]＝r1，D2[r]＝0，它们有一方没有匹配点，于是令D[q]＝0，D[r]＝0。
经过双向动态规划匹配后，得到匹配都是特征明显的关键点，由于交叉匹配会导致变形断裂，于是我们根据第一步所得的匹配结果将s和s1进行分段匹配。分段匹配方法既避免了交叉匹配，又很好的利用了关键点的匹配结果。分段方法如图3所示，其中p和p1，q和q1，r和r1是第一步已匹配的点，我们将p和q之间的像素与p1和q1之间的像素进行匹配，q和r之间的像素与q1和r1之间的像素进行匹配。
由于当前未匹配的都是梯度较小的点，我们就只考虑颜色信息的能量函数，具体如下：
式中te表示s上的点，ts表示s1上的点，p∈N(te)，q∈N(ts)表示te和ts的8领域像素集合，E＝(R,G,B)，
(2)亚像素级切缝对齐
我们采用二等分插值像素的方法生成亚像素，如图4所示，其中p和p1，q和q1是已匹配的点，s和s1上分别有m和n个点未匹配，在p1和q1之间进行二等分插值生成新的像素，直至n′≥2×m，n′为s1上插值后的点数总和。
对于特征不明显的点，变化不会太大，所以我们考虑像素颜色和坐标的能量函数。
M(te,ts)＝||E(te)-E(ts)|| (6)
式中te表示s上的点，ts表示s1上的点，E＝(R,G,B,x,y)，x和y为当前点的坐标。根据数组C从小到大匹配，选择在匹配范围内差异最小的像素作为匹配点。
M(te,ts)＝||E(te)-E(ts)|| (7)
式中te表示s上的点，ts表示s1上的点，E＝(R,G,B)。根据公式7来计算s上的第C[i]点与该等分点之间颜色的相似度，找到与之最相似的点作为匹配点。
3)基于变形的结构校正方法
根据s和s1的切缝对齐结果D，可以计算s到s1的偏移量，即x′＝x1-x2，y′＝y1-y2，其中x1＝D[x]，y1＝C[D[x]]，x2＝x，y2＝C[x]，若x非整数，则通过插值得到坐标。变形的方向如图3所示，令I1上s1以外的边缘偏移量为0，根据逆向映射原理和切缝s上的偏移量可求出区域I1上的偏移量。
为了得到整个区域的偏移量，我们使用以下公式：
式中fp是变形区域的p点的偏移量，fq是fp的四邻域的偏移量集合，Ω为变形区域。对公式8求导等于0得到公式9：
式中为fp已知领域的偏移量，|Np|为fp的未知领域个数且|Np|≤4。对公式9求解泊松方程，得到整个变形区域的偏移量。设当切缝前的图像相对于原图的坐标为Mnow，根据变形区域的偏移量和Mnow用双线性插值得到切缝后的图像相对于原图的坐标Mafter。如果已经是最后条切缝，根据双线性插值和Mafter插值得到最后结果。
本发明公开了一种基于切缝对齐和变形校正的图像缩放方法。它通过对缝切割所分割的两个子图进行切缝对齐和变形来实现图像缩放，该方法可以有效消除缝切割图像缩放存在结构断裂的问题。本发明可以在缩放图像的同时保持图像结构的连续性和重要的图像信息，从而有利于用户观察和欣赏图像信息。
附图说明
图1双向动态规划示意图。
图2分段匹配示意图。
图3二等分插值像素示意图。
图4亚像素级匹配示意图。
图5变形示意图。
图6是图像缩放变化图，其中a是原图，b是缝切割处理结果，c是本发明的处理结果。
具体实施方式
用缝切割切除一条切缝，将较小的子图和切缝做切缝对齐并变形。合并变形后的子图和较大的子图，并对变形结果做缝切割。重复以上步骤直至图像缩放到目标大小。
1)基于图割的切缝优化
我们以求解竖直切缝为例，对于一幅大小为n×m的图像I，定义切缝s的能量函数为：
式中用于求解像素梯度，I(si)＝I(x(i),i)表示第i行的像素集合，即E(s)记录图像I中每个像素的梯度。用动态规划方法计算最优竖直切缝，设矩阵M存储当前图像的累积最小能量，则M的定义为：
M(i,j)＝e(i,j)+min(M(i-1,j-1), (2)
M(i-1,j),M(i-1,j+1))
图像I被切缝s分割成两幅子图像I1和I2，假设I1比I2小，切缝s信息存储在数组C中，I1和I2的切割边缘s1和s2的信息分别存储在数组C1和C2中，则s是图像I中(C[y],y)(y＝1,2...n)的集合。
2)由粗到细的切缝对齐算法
(1)像素级切缝对齐·
公式3为计算两点之间匹配度的能量函数：
式中te表示s上的点，ts表示s1上的点。E是包含当前点的RGB三通道颜色以及它们在x和y方向上的梯度，即p∈Nte，q∈Nts表示te和ts的8领域像素集合，η为一个正数。D1[y](y＝1,2...n)表示s1上的C1[D1[y]]点与s上的C[y]点匹配，考虑到少一条切缝不会对图像I造成很大的断裂，本文对所有点的匹配范围做以下限定：1.D1[y]-D1[y-1]≤2 2.D1[y]-y≤1。
用动态规划的方法求出最优匹配D1，令T[y,i]表示D1[y]＝i时的最优代价,则T[y,i]的定义如下：
D1中存在多对一的点，即D1[i]＝D1[i-1]的情况，存在多对一的点都是特征不明显的点，而我们在第一步特征明显的匹配，于是去除s到s1多对一的匹配，令D1[i]＝D1[i-1]＝0，D[i]＝0表示i点无相应的匹配点。
为了得到更可靠的匹配，我们采用双向动态规划匹配的方法。双向动态规划在匹配s和s1的同时，考虑了s和s2的匹配的影响，若当前点与s2上的也有匹配点，说明该点的特征明显，这样做的好处是不仅保留特征最显著的匹配而且使s1和s2有个间接的对应关系，在拼接时更连续。用与求D1同样的方法可得到s和s2的匹配结果D2。比较D1和D2，若D1[i]≠0且D2[i]≠0,则D[i]＝D1[i]，否则D[i]＝0，D中非零的匹配就是s与s1之间的像素级匹配，如图2所示。图中s上的p点匹配s1上的p1点，即D1[p]＝p1，同理可得，D2[p]＝p2，p点在s1和s2上都有匹配点，令D[p]＝p1。反观q和r，D1[q]＝0，D2[q]＝q2，D1[r]＝r1，D2[r]＝0，它们有一方没有匹配点，于是令D[q]＝0，D[r]＝0。
经过双向动态规划匹配后，得到匹配都是特征明显的关键点，由于交叉匹配会导致变形断裂，于是我们根据第一步所得的匹配结果将s和s1进行分段匹配。分段匹配方法既避免了交叉匹配，又很好的利用了关键点的匹配结果。分段方法如图3所示，其中p和p1，q和q1，r和r1是第一步已匹配的点，我们将p和q之间的像素与p1和q1之间的像素进行匹配，q和r之间的像素与q1和r1之间的像素进行匹配。
由于当前未匹配的都是梯度较小的点，我们就只考虑颜色信息的能量函数，具体如下：
式中te表示s上的点，ts表示s1上的点，p∈N(te)，q∈N(ts)表示te和ts的8领域像素集合，E＝(R,G,B)，
(2)亚像素级切缝对齐
我们采用二等分插值像素的方法生成亚像素，如图4所示，其中p和p1，q和q1是已匹配的点，s和s1上分别有m和n个点未匹配，在p1和q1之间进行二等分插值生成新的像素，直至n′≥2×m，n′为s1上插值后的点数总和。
对于特征不明显的点，变化不会太大，所以我们考虑像素颜色和坐标的能量函数。
M(te,ts)＝||E(te)-E(ts)|| (6)
式中te表示s上的点，ts表示s1上的点，E＝(R,G,B,x,y)，x和y为当前点的坐标。根据数组C从小到大匹配，选择在匹配范围内差异最小的像素作为匹配点。
M(te,ts)＝||E(te)-E(ts)|| (7)
式中te表示s上的点，ts表示s1上的点，E＝(R,G,B)。根据公式7来计算s上的第C[i]点与该等分点之间颜色的相似度，找到与之最相似的点作为匹配点。
3)基于变形的结构校正方法
根据s和s1的切缝对齐结果D，可以计算s到s1的偏移量，即x′＝x1-x2，y′＝y1-y2，其中x1＝D[x]，y1＝C[D[x]]，x2＝x，y2＝C[x]，若x非整数，则通过插值得到坐标。变形的方向如图3所示，令I1上s1以外的边缘偏移量为0，根据逆向映射原理和切缝s上的偏移量可求出区域I1上的偏移量。
为了得到整个区域的偏移量，我们使用以下公式：
式中fp是变形区域的p点的偏移量，fq是fp的四邻域的偏移量集合，Ω为变形区域。对公式8求导等于0得到公式9：
式中为fp已知领域的偏移量，|Np|为fp的未知领域个数且|Np|≤4。对公式9求解泊松方程，得到整个变形区域的偏移量。设当切缝前的图像相对于原图的坐标为Mnow，根据变形区域的偏移量和Mnow用双线性插值得到切缝后的图像相对于原图的坐标Mafter。如果已经是最后条切缝，根据双线性插值和Mafter插值得到最后结果。
Claims (9)
1.一种基于切缝对齐和变形校正的图像缩放方法，其特征在于：包括如下步骤：
1)使用基于图割的缝切割方法得到最优切割线，将图像切成两幅子图；
2)将缝切割所得的较小的子图与切缝对齐，使用由粗到细的切缝对齐方法，具体步骤如下所示：
(1)双向动态规划寻找像素级特征点匹配，分别匹配切缝与子图的边缘，保留其中双向匹配的像素点；
(2)分段寻找非特征像素点匹配，将特征点匹配对之间的普通点进行匹配；
(3)二等分插值方法寻找亚像素级匹配，在像素级匹配点对之间二等分插值出亚像素点，为尚未匹配的点匹配亚像素级点；
(4)像素级匹配寻找更精细的亚像素级匹配，将每个像素级匹配点进行十等分得到亚像素级点；
3)根据切缝对齐结果和逆向映射原理，求解泊松方程得到较小子图的全部点的偏移量；根据当前子图偏移量和切缝前图像相对于原图的坐标，可以得到变形后的子图上相对于原图的坐标；再用双线性插值得到变化后的子图，拼接两幅子图可得变形结果。
2.根据权利要求1所述的基于切缝对齐和变形校正的图像缩放方法，其特征在于：所述步骤1)中，图像I被切缝s分割成两幅子图像I1和I2，假设I1比I2小，切缝s信息存储在数组C中，I1和I2的切割边缘s1和s2的信息分别存储在数组C1和C2中，则s是图像I中(C[y],y)(y＝1,2...n)的集合。
3.根据权利要求2所述的基于切缝对齐和变形校正的图像缩放方法，其特征在于：所述步骤1)中缝切割方法定义切缝s的能量函数为：
<mrow>
<mi>E</mi>
<mrow>
<mo>(</mo>
<mi>s</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<mi>e</mi>
<mrow>
<mo>(</mo>
<mi>I</mi>
<mo>(</mo>
<msub>
<mi>s</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
式中，I为大小为n×m的图像；用于求解像素梯度，I(si)＝I(x(i),i)表示第i行的像素集合，即E(s)记录图像I中每个像素的梯度。
4.根据权利要求1所述的基于切缝对齐和变形校正的图像缩放方法，其特征在于：所述步骤2)中计算两点之间匹配度的能量函数：
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<mi>M</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mi>e</mi>
<mo>,</mo>
<mi>t</mi>
<mi>s</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mfrac>
<mrow>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>p</mi>
<mo>&Element;</mo>
<msub>
<mi>N</mi>
<mrow>
<mi>t</mi>
<mi>e</mi>
</mrow>
</msub>
<mo>,</mo>
<mi>q</mi>
<mo>&Element;</mo>
<msub>
<mi>N</mi>
<mrow>
<mi>t</mi>
<mi>s</mi>
</mrow>
</msub>
<mo><</mo>
<mi>p</mi>
<mo>,</mo>
<mi>q</mi>
<mo>></mo>
</mrow>
</munder>
<mo>|</mo>
<mo>|</mo>
<mi>E</mi>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>E</mi>
<mrow>
<mo>(</mo>
<mi>q</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
</mrow>
<mrow>
<mi>&eta;</mi>
<mo>+</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>p</mi>
<mo>&Element;</mo>
<msub>
<mi>N</mi>
<mrow>
<mi>t</mi>
<mi>e</mi>
</mrow>
</msub>
</mrow>
</munder>
<mo>|</mo>
<mo>|</mo>
<mi>E</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mi>e</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>E</mi>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
<mo>+</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>q</mi>
<mo>&Element;</mo>
<msub>
<mi>N</mi>
<mrow>
<mi>t</mi>
<mi>s</mi>
</mrow>
</msub>
</mrow>
</munder>
<mo>|</mo>
<mo>|</mo>
<mi>E</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mi>s</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>E</mi>
<mrow>
<mo>(</mo>
<mi>q</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
式中：
te表示s上的点，ts表示s1上的点；
E是包含当前点的RGB三通道颜色以及它们在x和y方向上的梯度，即
Nte,Nts分别表示te和ts的8领域像素集合,p∈Nte，q∈Nts分别表示属于te和ts的8领域像素集合中的元素，η为一个正数。
5.根据权利要求1所述的基于切缝对齐和变形校正的图像缩放方法，其特征在于：所述步骤2)中所述匹配范围为：1.D1[y]-D1[y-1]≤22.D1[y]-y≤1其中，D1[y](y＝1,2...n)表示s1上的C1[D1[y]]点与s上的C[y]点匹配。
6.根据权利要求5所述的基于切缝对齐和变形校正的图像缩放方法，其特征在于：所述步骤2)中D1中存在多对一的点，即D1[i]＝D1[i-1]的情况，存在多对一的点都是特征不明显的点，而我们在第一步特征明显的匹配，于是去除s到s1多对一的匹配，令D1[i]＝D1[i-1]＝0，D[i]＝0表示i点无相应的匹配点。
7.根据权利要求5所述的基于切缝对齐和变形校正的图像缩放方法，其特征在于：所述步骤2)中所述双向动态规划是指在匹配s和s1的同时，考虑了s和s2的匹配的影响，若当前点与s2上的也有匹配点，说明该点的特征明显。
8.根据权利要求1所述的基于切缝对齐和变形校正的图像缩放方法，其特征在于：对于非特征像素点，采用像素颜色和坐标的能量函数
M(te,ts)＝||E(te)-E(ts)|| (6)
式中te表示s上的点，ts表示s1上的点，E＝(R,G,B,x,y)，x和y为当前点的坐标。
9.根据权利要求1所述的基于切缝对齐和变形校正的图像缩放方法，其特征在于：所述步骤3)用以下方法计算整个区域的偏移量：
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>p</mi>
<mo>&Element;</mo>
<mi>&Omega;</mi>
<mo>,</mo>
<mi>q</mi>
<mo>&Element;</mo>
<msub>
<mi>N</mi>
<mi>P</mi>
</msub>
<mo>&cap;</mo>
<mo>&part;</mo>
<mi>&Omega;</mi>
</mrow>
</munder>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>f</mi>
<mi>p</mi>
</msub>
<mo>-</mo>
<msub>
<mi>f</mi>
<mi>q</mi>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>)</mo>
</mrow>
</mrow>
式中fp是变形区域的p点的偏移量，fq是fp的四邻域的偏移量集合，Ω为变形区域，其中|Np|为fp的未知领域个数且|Np|≤4；对公式8求导等于0得到公式9：
<mrow>
<mo>|</mo>
<msub>
<mi>N</mi>
<mi>p</mi>
</msub>
<mo>|</mo>
<msub>
<mi>f</mi>
<mi>p</mi>
</msub>
<mo>-</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>q</mi>
<mo>&Element;</mo>
<msub>
<mi>N</mi>
<mi>P</mi>
</msub>
<mo>&cap;</mo>
<mo>&part;</mo>
<mi>&Omega;</mi>
</mrow>
</munder>
<msub>
<mi>f</mi>
<mi>q</mi>
</msub>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>q</mi>
<mo>&Element;</mo>
<msub>
<mi>N</mi>
<mi>P</mi>
</msub>
<mo>&cap;</mo>
<mo>&part;</mo>
<mi>&Omega;</mi>
</mrow>
</munder>
<msubsup>
<mi>f</mi>
<mi>q</mi>
<mo>*</mo>
</msubsup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>9</mn>
<mo>)</mo>
</mrow>
</mrow>
式中为fp已知领域的偏移量，|Np|为fp的未知领域个数且|Np|≤4；
对公式9求解泊松方程，得到整个变形区域的偏移量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410356719.9A CN104318516B (zh) | 2014-07-24 | 2014-07-24 | 基于切缝对齐和变形校正的图像缩放方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410356719.9A CN104318516B (zh) | 2014-07-24 | 2014-07-24 | 基于切缝对齐和变形校正的图像缩放方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104318516A CN104318516A (zh) | 2015-01-28 |
| CN104318516B true CN104318516B (zh) | 2017-08-25 |
Family
ID=52373742
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410356719.9A Expired - Fee Related CN104318516B (zh) | 2014-07-24 | 2014-07-24 | 基于切缝对齐和变形校正的图像缩放方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104318516B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104932696B (zh) * | 2015-06-29 | 2018-01-05 | 上海中航光电子有限公司 | 一种显示图像显示方法 |
| CN110223227A (zh) * | 2019-05-15 | 2019-09-10 | 湖南大学 | 一种运行高效且节约内存的数字图像自适应缩放技术 |
| CN110580678B (zh) * | 2019-09-10 | 2023-06-20 | 北京百度网讯科技有限公司 | 图像处理方法及装置 |
| CN112258427B (zh) * | 2020-12-18 | 2021-03-30 | 北京红谱威视图像技术有限公司 | 一种红外图像的修复方法及装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103501418A (zh) * | 2013-09-17 | 2014-01-08 | 广东威创视讯科技股份有限公司 | 图像缩放拼接方法、系统以及图像缩放拼接控制装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8401330B2 (en) * | 2009-10-09 | 2013-03-19 | At&T Intellectual Property I, L.P. | No-reference spatial aliasing measure for digital image resizing |
-
2014
- 2014-07-24 CN CN201410356719.9A patent/CN104318516B/zh not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103501418A (zh) * | 2013-09-17 | 2014-01-08 | 广东威创视讯科技股份有限公司 | 图像缩放拼接方法、系统以及图像缩放拼接控制装置 |
Non-Patent Citations (3)
| Title |
|---|
| A distorition-sensitive seam carving algorithm for content-aware iamge resizing;Kumar M等;《Jounrnal of Signal Processing Systems》;20110821;第65卷(第2期);第159-169页 * |
| 主体大小能控的内容感知图像缩放;施美玲等;《计算机辅助设计与图形学学报》;20110515;第23卷(第5期);第915-922页 * |
| 改进的图像缝雕刻算法;聂栋栋等;《计算机辅助设计与图形学学报》;20111130;第23卷(第11期);第1890-1895页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104318516A (zh) | 2015-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104318516B (zh) | 基于切缝对齐和变形校正的图像缩放方法 | |
| US20190206953A1 (en) | Display apparatus, electroluminescent display panel and method of acquiring and displaying image by display apparatus | |
| Song et al. | Multi-stage feature fusion network for video super-resolution | |
| CN107068035B (zh) | 一种显示方法、显示装置 | |
| CN105070220B (zh) | 一种显示面板的显示方法、显示器件及显示装置 | |
| US9208537B1 (en) | Super-resolution reconstructing method for enhancing smoothness and sharpness of video image | |
| CN107580186A (zh) | 一种基于缝合线时空优化的双摄像机全景视频拼接方法 | |
| CN106709872B (zh) | 一种快速图像超分辨率重构方法 | |
| WO2019205945A1 (zh) | 确定广告插入位置的方法、计算机设备和存储介质 | |
| EP4207051A1 (en) | Image super-resolution method and electronic device | |
| JP6062207B2 (ja) | 画像処理方法、および画像処理装置 | |
| US20160035266A1 (en) | Display and sub-pixel matrix thereof | |
| CN109859668A (zh) | 一种圆形显示面板的图像补偿方法及其装置 | |
| CN105551455B (zh) | 图形设备和方法 | |
| CN103312941B (zh) | 基于凸优化理论的视频联合去噪及超分辨率方法和系统 | |
| CN103226824A (zh) | 维持视觉显著性的视频重定向系统 | |
| CN101650824B (zh) | 基于共形能量的内容敏感图像缩放方法 | |
| US20130033487A1 (en) | Image transforming device and method | |
| CN105957053B (zh) | 二维图像景深生成方法和装置 | |
| CN104240213A (zh) | 一种显示方法及显示装置 | |
| CN109493275B (zh) | 一种融合显著图与深度图的缝切割重定向方法 | |
| CN106303496B (zh) | 图像格式确定方法及装置、显示设备 | |
| CN107408024A (zh) | 十字形显示装置 | |
| CN103632344B (zh) | Mean边界条件下模糊矩阵与图像矢量乘积的替代计算方法 | |
| Li et al. | Region-based depth-preserving stereoscopic image retargeting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170825 Termination date: 20180724 |