CN104200444B - 基于对称样本块的图像修复方法 - Google Patents
基于对称样本块的图像修复方法 Download PDFInfo
- Publication number
- CN104200444B CN104200444B CN201410498115.8A CN201410498115A CN104200444B CN 104200444 B CN104200444 B CN 104200444B CN 201410498115 A CN201410498115 A CN 201410498115A CN 104200444 B CN104200444 B CN 104200444B
- Authority
- CN
- China
- Prior art keywords
- sample block
- image
- block
- damaged
- damaged area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
一种基于对称样本块的图像修复方法;过程包括对原破损图像的预处理、破损区域的分割和破损区域修复。对原破损图像进行预处理包括:对图像进行高斯平滑、图像灰度化处理;而后进入破损区域分割与破损区域修复;破损区域修复是一个反复循环的过程,包括获得破损区域的边界点、获取破损区域边界上优先权最高的点和最先修复的破损块,以及选择搜索最佳对称样本块方法;选择搜索最佳对称样本块方法包括任意方向搜索对称样本块或者八方向寻找对称样本块两种方法,两种方法都包括更新破损块的像素、更新破损区域的面积和判断破损区域的面积是否为零,是,修复结束;否,回到获得破损区域的边界点重复循环。修复实验说明了本发明方法的有效性。
Description
技术领域
本发明属于数字图像处理与数字图像修复领域,具体涉及基于对称样本块的图像修复方法。
背景技术
自从2000年“图像修复”概念引入数字图像处理后,短短十多年,数字图像修复得到广泛的应用,主要包括:古画数字复原、恢复破损的照片和影片、图像中的文字和对象移除等。所谓数字图像修复就是对图像上缺损区域进行信息填充的过程,其目的就是为了对有缺损的图像进行恢复,并且视觉上无法察觉到图像曾经缺损或已被修复的效果。图像修复技术中,一类是基于偏微分方程的修复算法或者基于几何图像模型的变分修复技术,利用待修补区域的边缘信息,修复小尺度缺损问题。另一类是用于填充图像中的大块丢失信息的图像补全技术,包含两种方法:一种是基于分解的方法,将图像分解为结构和纹理部分,其中结构部分用图像修复算法修复,纹理部分用纹理合成的方法填充。还有一种是基于块的纹理合成技术填充丢失的信息,它是从待修补区域边界上选取一个像素点,并以该点为中心,根据图像的纹理特征,选取大小合适的纹理块,然后在待修复块的周围寻找与之最相似的纹理匹配块来代替。然而图像修复仍然是一件困难的事情。
现有的数字图像修复技术还不能有效修复大量的对称图像,如唐卡图像、壁画等,很多图像有一定的对称结构,图像中一些关键块的缺损,如一幅唐卡中释迦摩尼佛的一边耳部丢失,若仅利用该图像中耳部周围信息修复,则无法得到所需要的结果。
发明内容
为了利用被修复图像中所具备的对称信息,来修复破损区域,本发明提供一种基于对称样本块的图像修复方法,它是利用破损区域在图像上某一对称方向的信息填充破损区域的一种有效的数字化图像修复方法。
为了实现本发明目的,本发明采取的技术方案为:一种基于对称样本块的图像修复方法,包括对原破损图像进行预处理、破损区域分割与破损区域修复,具体步骤如下:
a.对原破损图像进行预处理
a.1对图像进行高斯平滑
因为高斯平滑对边缘保持较好,通常用如下5×5或3×3的高斯平滑模板掩模图像:
a.2图像灰度化处理
采用平均值法将彩色图像灰度化,即求出图像每个像素点的R、G、B三个分量像素值的平均值,并生成其灰度图像;
b.破损区域分割
常用的图像分割方法包括阈值分割法、边界分割法和区域增长法等分割方法;本发明采用区域增长的分割方法,其过程为:
b.1.采用人机交互的方法,在被修复图像的破损区内任意选取一点作为种子点坐标(xr,yr),并在灰度图像上记录下其像素值pr(xr,yr);
b.2.创建与原图同样大小的一个二值模板图像mask,将模板图像mask中像素值pr(xr,yr)设为1,其余像素设置为0;
b.3.在灰度图像上通过算法1,得出模板图像mask里像素值为1的点集合,就对应原图像的破损区域,也就是分割出了原图像的破损区域;
算法1包括的步骤:
(1)创建一个堆栈;
(2)获取种子点(xr,yr)及其像素值pr(xr,yr);
(3)以种子点(xr,yr)为中心,计算其像素值pr(xr,yr)与八邻域像素值pi(xi,yi)之差,如果|pr(xr,yr)-pi(xi,yi)|<M,(i=1,2,3,4,5,6,7,8),M的取值根据实验确定,一般取10,并且mask相对应位置上像素值为0时,则将点(xi,yi)压入堆栈,mask相应位置上的像素值设为1;
(4)判断堆栈是否为空,如果不为空则从堆栈中取出一个像素,把它当作点(xr,yr),转回步骤(3),否则转向步骤(5);
(5)结束;
c.破损区域修复
c.1获得破损区域的边界点
c.1.1创建一个队列,用来存储破损区域边界点;
c.1.2获得破损区域边界点:对二值模板图像mask,其中像素值为1的区域为原图破损区域,遍历整幅mask图像,如果像素点的像素值为1,并且它八个相邻像素值至少有一个是0,就将像素值为1的像素点存入队列中,最后得到的队列就是破损区域的边界点;
c.2获取破损区域边界上优先权最高的点和最先修复的破损块
图2所示为边界上优先权最高点和最先修复的破损块计算示意图,Ι代表全图,Ω表示破损区域,δΩ表示破损区域Ω的边界,Φ表示图像未破损的部分,p表示破损区域边界δΩ上的点,np是点p处的单位法向量,表示p点的等照线方向,Ψp是边界上以p点为中心、包含了Ω内的点和Φ内点的破损块;破损区域边界上优先权最高的点和以该点为中心的最先修复破损块计算过程如下:
c.2.1计算边界上点p的优先权,由式(1)计算,
P(p)=C(p)D(p) (1)
式(1)中:C(p)表示p点的置信因子,D(p)表示p点的数据因子,C(p)由式(2)计算,
式(2)中:|Ψp|是Ψp的面积,图像中所有点的置信因子按照式(3)初始化,
式(1)中D(p)通过式(4)计算,
其中α是归一化因子,是图像灰度级的最大值;
c.2.2计算边界上所有点的优先权,并比较值的大小从而获得优先权最高的点,记为p0;
c.2.3获取以p0为中心的最先修复的块这个块的大小根据破损区域周围的纹理结构,选择与纹理结构大小相当的块,采用人机交互的方式,块的边长可以是3到99之间的奇数,即3×3到99×99大小的块,一般选择9×9、11×11到33×33;而后进入步骤c.3;如果图像具有左右、上下、右上与左下、左上与右下的八方向对称的情况之一,选择基于八方向的对称样本块修复方法,否则选择在任意方向搜索对称样本块的修复方法;
实际上,任意方向搜索对称样本块修复的方法具有普遍性,完全可以取代基于八方向对称样本块的修复;但是如果一幅图像左右对称,左侧有破损区域,基于八方向对称样本块的修复速度更快,而任意方向搜索最佳对称样本块修复的方法则相对耗时;所以进入步骤c.3后,可以选择在任意方向搜索对称样本块或基于八方向的对称样本块的图像修复方式,一旦选定一种方法,则按照选定的这种方法循环修复直到修复结束;
c.3在任意方向搜索最佳对称样本块或者在八方向寻找最佳对称样本块的图像修复
c.3.1在任意方向寻找最佳对称样本块
c.3.1.1在I-Ω中以任意点p1为中心的样本块的选取
如图3所示,p0是最先修复块的中心点,p1是待寻找样本块的中心点,获得p1和p0连线与水平方向夹角θ,利用式(5)获得p1旋转到与p0同一水平线位置上p2的坐标:
式(5)中:x0、x1和x2分别是p0、p1和p2的横坐标,y0、y1和y2分别是p0、p1和p2的纵坐标;
获得以p2为中心、大小与相同并与成水平对称的样本块以3×3为例,破损块与样本块的对应关系如图4与图5所示,图4是破损块图5表示的水平对称样本块其中数字表示两个块对称位置;再利用式(6)获得样本块反方向旋转θ角的位置:
式(6)中:(x,y)表示反向旋转之前中任意点的坐标,(x’,y’)表示旋转θ角后的中对应点的坐标;旋转后,与点的对应关系和与的对应关系相同,即得到以p1为中心的对称样本块;
c.3.1.2在I-Ω搜索的最佳对称样本块,由式(7)计算,
式(7)中:表示最佳对称样本块,是以p1为中心的样本块,表示最先待修复块与对称样本块之间的相似性度量,用式(8)计算,
式(8)中:xij表示中点的像素值,yij表示中点的像素值,块的大小决定m的值,若选择块的大小为3×3,则m的值为3;
c.3.1.3破损块的更新
c.3.1.3.1按照图4与图5中的对应关系,将破损块中的破损像素值用最佳对称样本块中的对应像素值替换;
c.3.1.3.2更新上一步填充像素点的置信因子,由式(9)计算,
同时将原破损图像填充点位置上mask里对应点的像素值更新为0;
c.3.1.4更新破损区域的面积,即计算填充后破损区域内的像素数
因为每次计算得到优先权最高的破损块是以边界点为中心,所以破损块内既有未破损的图像像素点又有破损区域内的点,而该破损块内这些破损区域内的点又通过对称方向上所寻找的最佳样本块对应点填充,则随着填充破损区域的面积逐渐缩小;因此,每填充一次后要重新计算破损区域的面积,即统计填充后破损区域的像素个数,以便判断修复过程是否结束;如果破损区域面积为零则修复完成,否则重复做步骤c.1、步骤c.2和步骤c.3.1;
c.3.2在八方向寻找最佳对称样本块
如图6所示,图中佛像的左耳朵破损、右耳朵完好,可利用左右对称性对左耳朵进行快速修复;八个箭头表示以p为中心的破损块Ψp的八个方向,从这八个方向寻找对称样本块,每个方向都找出一个对称相似样本块,再从其中找出最佳的对称样本块,Ψq是Ψp的最佳对称样本块;计算步骤如下:
c.3.2.1在八个方向寻找相似对称样本块
从八个方向找到对称相似样本块由式(10)计算:
式(10)中:表示Ψp和的相似度量,下标1、2、3、4、5、6、7和8分别表示左、左上、上、右上、右、右下、下、左下方向;1、2、3和4四个方向的对称相似度量用式(11)计算,5、6、7和8四个方向的对称相似度量用式(12)计算:
式(11)、(12)中:xij表示Ψp中点的像素值,yij表示中点的像素值;
c.3.2.2最佳对称样本块的计算
从八个对称相似样本块中寻找最佳相似对称样本块,可根据式(13)计算:
c.3.2.3更新破损块的破损像素
c.3.2.3.1按照下述的规则用Ψq中的像素值更新Ψp中破损像素点,当像素点在Ψp中的扫描顺序是从左到右、从上到下时,相对应的Ψq中的扫描顺序为(参见表1):当最佳对称样本块所在的方向是1或5时,则最佳对称样本块内像素点扫描顺序是从右到左、从上到下;当最佳对称样本块所在的方向是2或6时,则最佳对称样本块内像素点扫描顺序是从下到上、从右到左;当最佳对称样本块所在的方向是3或7时,则最佳对称样本块内像素点扫描顺序是从左到右、从下到上;当最佳对称样本块所在的方向是4或8时,则最佳对称样本块内像素点扫描顺序是从上到下、从左到右;并将Ψp中破损像素点用Ψq中对应的像素值填充;
表1.八个方向的最佳对称样本块像素点扫描顺序表
最佳对称样本块所在方向 | 最佳对称样本块内像素点扫描顺序 |
1或5 | 从右到左、从上到下 |
2或6 | 从下到上、从右到左 |
3或7 | 从左到右、从下到上 |
4或8 | 从上到下、从左到右 |
以块大小3×3为例,最佳样本块在左方向时,图7描述了破损块像素更新的过程,其中a表示破损块Ψp,b表示最佳对称样本块Ψq,a、b中的数字表示扫描顺序,数字相同表示相对应的像素点,如果Ψp中4属于破损像素,就用Ψq中位置4的像素值填充;
c.3.2.3.2更新上一步填充像素点的置信因子,由式(9)计算;同时将图像填充点位置上mask里对应点的像素值更新为0;
c.3.2.4更新破损区域的面积,如果破损区域面积为零则修复完成,否则重复做步骤c.1、步骤c.2和步骤c.3.2。
本发明已经用于大量的破损图像修复,修复实验说明了本发明方法的有效性。
本发明的技术效果如下:本发明对具有一定对称性的破损图像有较好的修复效果,修复的前提是准确分割出破损区域,如果破损区域分割结果欠佳自然修复效果不好,后述具体实施方式部分所举实例均为通过预处理、准确分割出了破损区域的图像。
附图说明
图1是基于对称样本块的图像修复流程图,
图2是边界上优先权最高点和最先修复的破损块计算示意图,
图3是任意方向的对称样本块转换示意图,
图4是3×3的样本块示意图,
图5是3×3的破损块示意图,
图6是破损块八个方向示例图,
图7是用3×3对称样本块更新破损块像素示意图,
图8是视觉上左右对称的破损图像,
图9是八方向对称样本块、块的大小为33×33时图8的修复结果,
图10是文殊菩萨唐卡图像,头部略有倾斜、头冠部分破损,
图11是任意方向对称样本块对图10的修复结果,
图12是八方向对称样本块对图10的修复结果。
具体实施方式
本发明主要解决破损图像具有一定对称性从而进行基于对称样本块的修复问题;本发明的技术方案为基于对称样本块的图像修复方法,整个过程包括对原破损图像的预处理、破损区域的分割和破损区域修复。参见图1:对原破损图像进行预处理包括:对图像进行高斯平滑、图像灰度化处理;而后进入破损区域分割与破损区域修复;破损区域修复是一个反复循环的过程,该过程包括获得破损区域的边界点、获取破损区域边界上优先权最高的点和最先修复的破损块,以及选择搜索最佳对称样本块方法;选择搜索最佳对称样本块方法包括任意方向搜索最佳对称样本块或者八方向寻找最佳对称样本块两种方法,这两种方法都包括更新破损块的破损像素、更新破损区域的面积和判断破损区域的面积是否为零,是,修复结束;否,回到获得破损区域的边界点重复循环。
实施例1
1.对图8所示的原破损图像进行预处理
图8为释迦牟尼佛唐卡彩色图像,左侧耳朵、脸部、眼睛和部分眉毛缺损;对原破损图像进行预处理主要包括对图像进行平滑与灰度化处理,平滑处理是为了消除噪声,以便图像分割的效果更好;因为破损区域的分割是在灰度图像上进行的,所以预处理部分包括了对原破损图像的灰度化处理,预处理过程为:1.1对图像进行高斯平滑
因为高斯平滑对边缘保持较好,本实施例选择5×5高斯平滑模板掩模图像:
1.2图像灰度化处理
采用平均值法将彩色图像灰度化,即求出图像每个像素点的R、G、B三个分量像素值的平均值,并生成原彩色图像的灰度图像。
2.破损区域分割
常用的图像分割方法包括阈值分割法、边界分割法和区域增长法等分割方法;本发明中,破损区域的分割采用区域增长的分割方法,其过程为:
2.1.采用人机交互的方法,在被修复图像的破损区内任意选取一点作为种子点坐标(xr,yr),并记录下其像素值pr(xr,yr);
2.2.创建与原图同样大小的一个二值模板图像mask,将模板图像mask中pr(xr,yr)设为1,其余像素设置为0;
2.3.通过算法1,获得模板图像mask里像素值为1的点集合,这些像素集合对应原图像的破损区域,即分割出了原图像的破损区域。
算法1的具体步骤为:
(1)创建一个堆栈;
(2)获取种子点(xr,yr)及其像素值pr(xr,yr);
(3)以种子点(xr,yr)为中心,计算其像素值pr(xr,yr)与八邻域像素值pr(xi,yi)之差,如果|pr(xr,yr)-pi(xi,yi)|<M,(i=1,2,3,4,5,6,7,8),M的取值根据实验确定,一般取为10,并且模板图像mask相应位置上像素值为0时,则将点(xi,yi)压入堆栈,mask相应位置上的像素值设为1;
(4)判断堆栈是否为空,如果不为空则从堆栈中取出一个像素,把它当作点(xr,yr),转到第(3)步,否则转向(5);
(5)结束。
3.破损区域修复
基于对称样本块的破损区域修复是一个循环的过程,包括获得破损区域的边界点、获取破损区域边界上优先权最高的点和最先修复的破损块、八方向寻找最佳对称样本块、更新破损块的破损像素和更新破损区域的面积,直到破损区域的面积是零的时候为止,整个修复过程结束,从而获得修复后的结果图像;也就是说,在灰度图像上分割出破损区域后,在二值模板图像mask上表示破损区域,而在原图像上修复破损区域;随着破损区域的一次次填充修复,二值模板图像mask上表示的破损区域也不断更新,直到mask上所表示的破损区域的面积是零的时候完成修复。过程如下步骤进行:
3.1获得破损区域的边界点
3.1.1创建一个队列,用来存储破损区域边界点;
3.1.2图像分割时得到二值图像mask,其中像素值为1的区域为原图破损区域;遍历整幅mask图像,如果像素点的像素值为1,并且它八个相邻像素值至少有一个是0,就将像素值为1的像素点存入队列中,最后得到的队列就是破损区域的边界点集合。
3.2获取破损区域边界上优先权最高的点和最先修复的破损块
图2所示为边界上优先权最高点和最先修复的破损块计算示意图,Ι代表全图,Ω表示破损区域,δΩ表示破损区域Ω的边界,Φ表示图像未破损的部分,Ρ表示破损区域边界δΩ上的点,np是点p处的单位法向量,表示p点的等照线方向,Ψp是边界上以p点为中心、包含了Ω内的点和Φ内点的破损块;破损区域边界上优先权最高的点和以该点为中心的最先修复破损块计算过程如下:
3.2.1计算边界上点p的优先权,由(1)式获得:
P(p)=C(p)D(p) (1)
公式(1)中C(p)表示p点的置信因子,D(p)表示p点的数据因子,C(p)由公式(2)确定:
其中|Ψp|是Ψp的面积,即块Ψp内像素点的数量,图像中所有点的置信因子按照公式(3)初始化:
公式(1)中D(p)通过公式(4)计算:
其中(4)式的分子表示两个向量的内积再取绝对值,α是归一化因子,是图像灰度级的最大值。
3.2.2计算边界上所有点的优先权,并比较值的大小从而获得优先权最高的点,记为p;
3.2.3获取以p为中心的最先修复的块Ψp,这个块Ψp的大小根据破损区域周围的纹理结构,选择与纹理结构大小相当的块,采用人机交互的方式,块的边长可以是3到99之间的奇数,即3×3到99×99大小的块,本实施例选择块的边长为33;而后进入步骤3.3;因为图8的图像具有左右方向对称的情况,所以选择基于八方向的对称样本块修复。
3.3在八方向寻找最佳对称样本块的图像修复
3.3.1在八方向寻找最佳对称样本块
如图8所示,图中佛像的左侧耳朵、脸部、眼睛和部分眉毛缺损;寻找优先权最高的待修复块Ψp的八方向最佳对称样本块Ψq的步骤如下:
3.3.1.1在八个方向寻找相似对称样本块
从八个方向找到Ψp的对称相似样本块由式(10)计算:
式(10)中:表示Ψp和的相似度量,下标1、2、3、4、5、6、7和8分别表示左、左上、上、右上、右、右下、下、左下方向,1、2、3和4四个方向的对称相似度量用式(11)计算,5、6、7和8四个方向的对称相似度量用式(12)计算:
式(11)、(12)中:xij表示Ψp中点的像素值,yij表示中点的像素值;
3.3.1.2最佳对称样本块的计算
从八个对称相似样本块中寻找最佳相似对称样本块,可根据式(13)计算:
3.3.1.3更新破损块的破损像素
3.3.1.3.1按照下述的规则用Ψq中的像素值更新Ψp中破损像素点,当像素点在Ψp中的扫描顺序是从左到右、从上到下时,相对应的Ψq中的扫描顺序为(参见表1):当最佳对称样本块所在的方向是1或5时,则最佳对称样本块内像素点扫描顺序是从右到左、从上到下;当最佳对称样本块所在的方向是2或6时,则最佳对称样本块内像素点扫描顺序是从下到上、从右到左;当最佳对称样本块所在的方向是3或7时,则最佳对称样本块内像素点扫描顺序是从左到右、从下到上;当最佳对称样本块所在的方向是4或8时,则最佳对称样本块内像素点扫描顺序是从上到下、从左到右;并将Ψp中破损像素点用Ψq中对应的像素值填充;
3.3.1.3.2更新上一步填充像素点的置信因子,由式(9)计算:
3.3.1.4更新破损区域的面积,如果破损区域面积为零则修复完成,否则重复做步骤3.1、步骤3.2和步骤3.3。
本实施例对图8所示破损图像,采用八方向对称样本块的方法修复、选择块的大小为33×33,结果如图9所示,对这个破损图像,若选择块的大小在33×33和43×43之间,都如同图9所示的几乎看不出修复的痕迹;若选择块小于33×33、大于43×43,修复结果都不理想。说明八方向对称样本块的修复效果与样本块大小的选择有关。
实施例2,图10所示为文殊菩萨唐卡图像,头冠的一侧有破损,头部有一点倾斜,按照实施例1步骤1与步骤2提供的方法对图10所示的原破损图像进行预处理与破损区域分割;而后进入步骤:
3.破损区域修复
3.1获得破损区域的边界点,同实施例1;
3.2获取破损区域边界上优先权最高的点和最先修复的破损块,同实施例1;
3.3在任意方向寻找最佳对称样本块进行图像修复
3.3.1在任意方向寻找最佳对称样本块
3.3.1.1在I-Ω中以任意点p1为中心的样本块的选取
如图3所示,p0是最先修复块的中心点,p1是待寻找样本块的中心点,获得p1和p0连线与水平方向夹角θ,利用式(5)获得p1旋转到与p0同一水平线位置上p2的坐标:
式(5)中:x0、x1和x2分别是p0、p1和p2的横坐标,y0、y1和y2分别是p0、p1和p2的纵坐标;
获得以p2为中心、大小与相同并与成水平对称的样本块再利用式(6)获得样本块反方向旋转θ角的位置:
式(6)中:(x,y)表示反向旋转之前中任意点的坐标,(x’,y’)表示旋转θ角后的中对应点的坐标;旋转后,与点的对应关系和与的对应关系相同,即得到以p1为中心的对称样本块;
3.3.1.2在I-Ω搜索的最佳对称样本块,由式(7)计算,
式(7)中:表示最佳对称样本块,是以p1为中心的样本块,表示最先待修复块与对称样本块之间的相似性度量,用式(8)计算,
式(8)中:xij表示中点的像素值,yij表示中点的像素值,块的大小为33×33;
3.3.1.3破损块的更新
3.3.1.3.1将破损块中的破损像素值用最佳对称样本块中的对应像素值替换;
3.3.1.3.2更新上一步填充像素点的置信因子,可由式(9)计算,
同时将原破损图像填充点位置上mask里对应点的像素值更新为0;
3.3.1.4更新破损区域的面积,即计算填充后破损区域内的像素数
统计填充后破损区域的像素个数,以便判断修复过程是否结束;如果破损区域面积为零则修复完成,否则重复做步骤3.1、步骤3.2和步骤3.3。
采用本实施例对图10修复的结果如图11所示,可以看出修复效果相当好。
图12为采用八方向对称样本块修复方法对图10的修复结果,效果也不错但稍有瑕疵,说明图10所示的破损图像不具有八方向之一的对称性,所以选用八方向最佳对称样本块修复方法效果不如任意方向最佳对称样本块修复方法。
另外,对图8所示的破损图像还采用任意方向最佳对称样本块的方法修复,块的大小为33×33和43×43之间时,修复结果也几乎看不出修复的痕迹,只是采用任意方向最佳对称样本块的修复方法比八方向最佳对称样本块修复方法耗时;若选择其他大小的样本块,修复结果也都不理想。
Claims (2)
1.一种基于对称样本块的图像修复方法,其特征在于包括对原破损图像进行预处理、破损区域分割与破损区域修复,具体步骤如下:
a.对原破损图像进行预处理
a.1对图像进行高斯平滑
用如下5×5或3×3的高斯平滑模板掩模图像:
a.2图像灰度化处理
采用平均值法将彩色图像灰度化,即求出图像每个像素点的R、G、B三个分量像素值的平均值,并生成其灰度图像;
b.破损区域分割
采用区域增长的分割方法,其过程为:
b.1.采用人机交互的方法,在被修复图像的破损区内任意选取一点作为种子点坐标(xr,yr),并在灰度图像上记录下其像素值pr(xr,yr);
b.2.创建与原图同样大小的一个二值模板图像mask,将模板图像mask中像素值pr(xr,yr)设为1,其余像素设置为0;
b.3.在灰度图像上通过算法1,得出模板图像mask里像素值为1的点集合,就对应原图像的破损区域,也就是分割出了原图像的破损区域;算法1包括步骤:
(1)创建一个堆栈;
(2)获取种子点(xr,yr)及其像素值pr(xr,yr);
(3)以种子点(xr,yr)为中心,计算其像素值pr(xr,yr)与八邻域像素值pi(xi,yi)之 差,如果|pr(xr,yr)-pi(xi,yi)|<M,(i=1,2,3,4,5,6,7,8),M=10,并且mask相对应位置上像素值为0时,则将点(xi,yi)压入堆栈,mask相应位置上的像素值设为1;
(4)判断堆栈是否为空,如果不为空则从堆栈中取出一个像素,把它当作点(xr,yr),转回步骤(3),否则转向步骤(5);
(5)结束;
c.破损区域修复
c.1获得破损区域的边界点
c.1.1创建一个队列,用来存储破损区域边界点;
c.1.2获得破损区域边界点:对二值模板图像mask,其中像素值为1的区域为原图破损区域,遍历整幅mask图像,如果像素点的像素值为1,并且它八个相邻像素值至少有一个是0,就将像素值为1的像素点存入队列中,最后得到的队列就是破损区域的边界点;
c.2获取破损区域边界上优先权最高的点和最先修复的破损块
Ι代表全图,Ω表示破损区域,δΩ表示破损区域Ω的边界,Φ表示图像未破损的部分,p表示破损区域边界δΩ上的点,np是点p处的单位法向量,表示p点的等照线方向,Ψp是边界上以p点为中心、包含了Ω内的点和Φ内点的破损块;破损区域边界上优先权最高的点和以该点为中心的最先修复破损块计算过程如下:
c.2.1计算边界上点p的优先权,由式(1)计算,
P(p)=C(p)D(p) (1)
式(1)中:C(p)表示p点的置信因子,D(p)表示p点的数据因子,C(p)由式(2)计算,
式(2)中:|Ψp|是Ψp的面积,图像中所有点的置信因子按照式(3)初始化,
式(1)中D(p)通过式(4)计算,
其中α是归一化因子,是图像灰度级的最大值;
c.2.2计算边界上所有点的优先权,并比较值的大小从而获得优先权最高的点,记为p0;
c.2.3获取以p0为中心的最先修复的块这个块的大小根据破损区域周围的纹理结构,选择与纹理结构大小相当的块,采用人机交互的方式,块的边长是3到99之间的奇数,即3×3到99×99大小的块;而后进入步骤c.3;如果图像具有左右、上下、右上与左下、左上与右下的八方向对称的情况之一,选择基于八方向的对称样本块修复方法,否则选择在任意方向搜索对称样本块的修复方法;
c.3在任意方向搜索最佳对称样本块或者在八方向寻找最佳对称样本块的图像修复
c.3.1在任意方向寻找最佳对称样本块
c.3.1.1在I-Ω中以任意点p1为中心的样本块的选取
p0是最先修复块的中心点,p1是待寻找样本块的中心点,获得p1和p0连线 与水平方向夹角θ,利用式(5)获得p1旋转到与p0同一水平线位置上p2的坐标:
式(5)中:x0、x1和x2分别是p0、p1和p2的横坐标,y0、y1和y2分别是p0、p1和p2的纵坐标;
获得以p2为中心、大小与相同并与成水平对称的样本块再利用式(6)获得样本块反方向旋转θ角的位置:
式(6)中:(x,y)表示反向旋转之前中任意点的坐标,(x’,y’)表示旋转θ角后的中对应点的坐标;旋转后,与点的对应关系和与 的对应关系相同,即得到以p1为中心的对称样本块;
c.3.1.2在I-Ω搜索的最佳对称样本块,由式(7)计算,
式(7)中:表示最佳对称样本块,是以p1为中心的样本块,表示最先待修复块与对称样本块之间的相似性度量,用式(8)计算,
式(8)中:xij表示中点的像素值,yij表示中点的像素值,块的大小决定m的值,若选择块的大小为3×3,则m的值为3;
c.3.1.3破损块的更新
c.3.1.3.1按照左右对称的对应关系,将破损块中的破损像素值用最佳对称样本块中的对应像素值替换;
c.3.1.3.2更新上一步填充像素点的置信因子,由式(9)计算,
同时将原破损图像填充点位置上mask里对应点的像素值更新为0;
c.3.1.4更新破损区域的面积,即计算填充后破损区域内的像素数
每填充一次后要重新计算破损区域的面积,即统计填充后破损区域的像素个数,以便判断修复过程是否结束;如果破损区域面积为零则修复完成,否则重复做步骤c.1、步骤c.2和步骤c.3.1;
c.3.2在八方向寻找最佳对称样本块
以p为中心的破损块Ψp的八个方向,从这八个方向寻找对称样本块,每个方向都找出一个对称相似样本块,再从其中找出最佳的对称样本块,Ψq是Ψp的最佳对称样本块;计算步骤如下:
c.3.2.1在八个方向寻找相似对称样本块
从八个方向找到对称相似样本块由式(10)计算:
式(10)中:表示Ψp和的相似度量,下标1、2、3、4、5、6、7和8分别表示左、左上、上、右上、右、右下、下、左下方向;1、2、3和4四个方向的对称相似度量用式(11)计算,5、6、7和8四个方向的对称相似度量用式(12)计算:
式(11)、(12)中:xij表示Ψp中点的像素值,yij表示中点的像素值;
c.3.2.2最佳对称样本块的计算
从八个对称相似样本块中寻找最佳相似对称样本块,根据式(13)计算:
c.3.2.3更新破损块的破损像素
c.3.2.3.1按照下述的规则用Ψq中的像素值更新Ψp中破损像素点,当像素点在Ψp中的扫描顺序是从左到右、从上到下时,相对应的Ψq中的扫描顺序为:当最佳对称样本块所在的方向是1或5时,则最佳对称样本块内像素点扫描顺序是从右到左、从上到下;当最佳对称样本块所在的方向是2或6时,则最佳对 称样本块内像素点扫描顺序是从下到上、从右到左;当最佳对称样本块所在的方向是3或7时,则最佳对称样本块内像素点扫描顺序是从左到右、从下到上;当最佳对称样本块所在的方向是4或8时,则最佳对称样本块内像素点扫描顺序是从上到下、从左到右;并将Ψp中破损像素点用Ψq中对应的像素值填充;
c.3.2.3.2更新上一步填充像素点的置信因子,由式(9)计算;同时将图像填充点位置上mask里对应点的像素值更新为0;
c.3.2.4更新破损区域的面积,如果破损区域面积为零则修复完成,否则重复做步骤c.1、步骤c.2和步骤c.3.2。
2.如权利要求1所述的一种基于对称样本块的图像修复方法,其特征在于步骤c.2.3中,选择9×9、11×11到33×33的块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410498115.8A CN104200444B (zh) | 2014-09-25 | 2014-09-25 | 基于对称样本块的图像修复方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410498115.8A CN104200444B (zh) | 2014-09-25 | 2014-09-25 | 基于对称样本块的图像修复方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104200444A CN104200444A (zh) | 2014-12-10 |
CN104200444B true CN104200444B (zh) | 2017-08-25 |
Family
ID=52085730
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410498115.8A Active CN104200444B (zh) | 2014-09-25 | 2014-09-25 | 基于对称样本块的图像修复方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104200444B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105005974A (zh) * | 2015-07-06 | 2015-10-28 | 嘉恒医疗科技(上海)有限公司 | 基于全局修补的超声体数据空缺体素赋值方法和系统 |
CN105118036A (zh) * | 2015-08-26 | 2015-12-02 | 广西小草信息产业有限责任公司 | 一种对破损图像进行修复的方法和系统 |
CN106157296B (zh) * | 2016-05-10 | 2019-01-29 | 阜阳师范学院 | 一种唐卡图像破损区域的分割方法 |
CN106067167A (zh) * | 2016-06-06 | 2016-11-02 | 广东欧珀移动通信有限公司 | 图像处理方法及装置 |
CN108665416B (zh) * | 2017-03-29 | 2020-10-30 | 清华大学 | 破损壁画修复方法及系统 |
CN107507136A (zh) * | 2017-07-14 | 2017-12-22 | 天津大学 | 基于Rank变换的数字图像修复算法 |
CN108961193B (zh) * | 2018-08-10 | 2021-04-02 | 厦门市美亚柏科信息股份有限公司 | 一种图像修复方法、装置及存储介质 |
CN109242791B (zh) * | 2018-08-22 | 2022-07-26 | 东北农业大学 | 一种针对破损植物叶片的批量修复方法 |
CN109886887A (zh) * | 2019-01-28 | 2019-06-14 | 深圳大学 | 一种壁画图像修复处理方法、系统、装置及存储介质 |
CN110533604B (zh) * | 2019-07-25 | 2023-05-16 | 安徽农业大学 | 用于复原病猪反光器官图像的方法、系统及存储介质 |
CN110536095A (zh) * | 2019-08-30 | 2019-12-03 | Oppo广东移动通信有限公司 | 通话方法、装置、终端及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102760285A (zh) * | 2012-05-31 | 2012-10-31 | 河海大学 | 一种图像修复方法 |
CN102999887A (zh) * | 2012-11-12 | 2013-03-27 | 中国科学院研究生院 | 一种基于样本的图像修复方法 |
CN103325095A (zh) * | 2013-06-24 | 2013-09-25 | 西南交通大学 | 一种结合方向因子的样本块稀疏性图像修复方法 |
CN103955906A (zh) * | 2014-05-21 | 2014-07-30 | 武汉科技大学 | 基于蝙蝠算法的Criminisi图像修复方法 |
-
2014
- 2014-09-25 CN CN201410498115.8A patent/CN104200444B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102760285A (zh) * | 2012-05-31 | 2012-10-31 | 河海大学 | 一种图像修复方法 |
CN102999887A (zh) * | 2012-11-12 | 2013-03-27 | 中国科学院研究生院 | 一种基于样本的图像修复方法 |
CN103325095A (zh) * | 2013-06-24 | 2013-09-25 | 西南交通大学 | 一种结合方向因子的样本块稀疏性图像修复方法 |
CN103955906A (zh) * | 2014-05-21 | 2014-07-30 | 武汉科技大学 | 基于蝙蝠算法的Criminisi图像修复方法 |
Non-Patent Citations (3)
Title |
---|
A Novel Image Inpainting Method Based on Eight-Direction Symmetrical Exemplars;Yanjun Jia et al.;《2013 6th International Congress on Image and Signal Processing (CISP 2013)》;20131118;摘要、第II部分、图1-2 * |
Region filling and object removal by exemplar-based image inpainting;A. Criminisi, P. Perez, K. Toyama;《IEEE Transactions on Image Processing》;20040930;第13卷(第9期);全文 * |
综合偏微分方程的唐卡图像修复研究;卢小宝;《中国优秀硕士学位论文全文数据库 信息科技辑》;20120515(第5期);第3.1节,第2.2.1节 * |
Also Published As
Publication number | Publication date |
---|---|
CN104200444A (zh) | 2014-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104200444B (zh) | 基于对称样本块的图像修复方法 | |
US7965893B2 (en) | Method, apparatus and storage medium for detecting cardio, thoracic and diaphragm borders | |
CN102790841B (zh) | 书籍的书脊区域中数字图像的检测和校正方法 | |
CN104376535B (zh) | 一种基于样本的快速图像修复方法 | |
CN101571950B (zh) | 基于各向同性扩散和稀疏表示的图像修复方法 | |
US8619074B2 (en) | Rendering personalized text on curved image surfaces | |
CN102542275B (zh) | 一种证件照背景自动识别方法及其系统 | |
CN106611416B (zh) | 一种医学图像中肺分割的方法及装置 | |
CN105046252A (zh) | 一种人民币冠字码识别方法 | |
CN106934780A (zh) | 一种基于图像修复的自动水印去除方法 | |
CN109242858B (zh) | 基于自适应模板匹配的织物印花循环图案基元分割方法 | |
CN107832674B (zh) | 一种车道线检测方法 | |
CN107369204A (zh) | 一种基于深度学习从单幅照片恢复出场景基本三维结构的方法 | |
CN108346135A (zh) | 一种改进的Criminisi图像修复方法 | |
CN103886561A (zh) | 基于数学形态学的Criminisi图像修复方法 | |
CN111612802B (zh) | 一种基于现有图像语义分割模型的再优化训练方法及应用 | |
CN103761708A (zh) | 基于轮廓匹配的图像修复方法 | |
CN112257721A (zh) | 一种基于Fast ICP的图像目标区域匹配方法 | |
CN109544577A (zh) | 一种基于边缘点编组的改进直线提取方法 | |
CN117576219A (zh) | 大广角鱼眼镜头单次拍摄图像的相机标定设备及标定方法 | |
CN104809460B (zh) | 晶体中心位置图生成方法及晶体像素查找表生成方法 | |
CN110288533B (zh) | 一种非旋转图像的快速拼接方法 | |
CN113065400A (zh) | 基于无锚框两阶段网络检测发票印章的方法及装置 | |
CN108182716B (zh) | 一种面向3d打印的基于向量场的图像线刻画生成方法 | |
CN114882192B (zh) | 一种建筑立面的分割方法、装置、电子设备以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |