CN102509319A - 结合破损块形状和邻域分类的唐卡图像修复方法 - Google Patents
结合破损块形状和邻域分类的唐卡图像修复方法 Download PDFInfo
- Publication number
- CN102509319A CN102509319A CN2011103206587A CN201110320658A CN102509319A CN 102509319 A CN102509319 A CN 102509319A CN 2011103206587 A CN2011103206587 A CN 2011103206587A CN 201110320658 A CN201110320658 A CN 201110320658A CN 102509319 A CN102509319 A CN 102509319A
- Authority
- CN
- China
- Prior art keywords
- damaged
- piece
- texture
- neighborhood
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
结合破损块形状和邻域分类的唐卡图像修复方法,根据破损块形状、破损块邻域的信息以及现有的修复算法特点等,自动选择合适的算法修复破损唐卡图像。主要包括:首先使用分水岭方法分割待修复图像,对破损区域中各个破损块的形状分为线状和块状,实现破损块形状分类;采用灰度共生矩阵提取邻域块的二阶统计信息,通过灰度共生矩阵提取反应纹理的各种特征,并对特征进行高斯归一化,采用现有的K近邻法将邻域块分为纹理块和非纹理块,实现破损块邻域的分类;结合修复算法的特点、破损块的形状和破损块邻域的类型制定算法的选择规则,实现破损区域的自动修复。本发明适用于修复各类线状、块状,以及各类破损邻域的唐卡数字图像,修复速度快、效率高。
Description
技术领域
结合破损块形状和破损块邻域分类的唐卡图像修复方法属于数字图像修复领域。
背景技术
所谓结合破损块形状和邻域分类的唐卡图像修复方法,就是计算机利用一种数字化仪对图像上信息缺损的部分,按照合理的规则,自动的用未破损区域的信息对原图中的损坏部分进行填充以达到良好视觉效果的技术。唐卡图像修复是一个实际应用问题,在文化遗产保护等方面具有重要的实际意义和理论价值。
数字图像修复技术是目前计算机视觉领域的研究热点,一个重要的应用是文化遗产、艺术品的虚拟修复。我国的唐卡作为一种活态文化和重要的非物质文化遗产,不仅是雪域高原上的绚丽奇葩,而且其厚重的历史意蕴、深邃的宗教思想、百科全书式的藏文化内涵,成为今天研究藏族历史、民族、民俗、宗教和绘画艺术等方面极其重要的实物资料,众多珍品独一无二。但历经沧桑,损毁严重,亟待抢救整理。毫无疑问,提高计算机对文化遗产、艺术品及图像智能信息处理能力有极为重要的价值。目前国际上关于数字图像修复的技术主要有两类:基于结构的修复方法和基于纹理的修复方法。基于结构的修复是通过信息的扩散对等照线进行由粗到精的估计,最终实现图像修复的过程。几种常见模型诸如: 模型、TV ( Total Variation)模型和CDD(Curvature Driven Diffusions)模型等,这些模型对划痕、折痕等小尺度的破损有较好的修复效果,但是对纹理较强的破损区域却得不到好的修复,而且修复较大区域时容易引起模糊效应。另一类就是基于纹理的修复,该方法采用纹理合成技术填充丢失的信息, 适合于较大块信息丢失的图像修复。基于纹理的修复又可以分为基于分解的图像修复和基于纹理合成的修复。基于分解的修复,其基本思想是先将待修复图像分解为结构部分和纹理部分,其中结构部分用基于结构的算法修复,而纹理部分用纹理合成技术修复,最后合成两部分就可以得到修复完整的图像。该方法虽然能够同时修复图像的结构部分和纹理部分,但是由于其过程复杂、修复效率不高和图像分解易受噪声影响等缺陷,使得其应用并不太广泛。还有基于样本块的纹理修复技术,该方法首先从待修补区域的边缘上选取一个像素点,根据图像的纹理特征选取大小合适并以该点为中心的块,然后在待修补区域的周围寻找与之最相近的纹理匹配块来替代该块,对较大块的破损区域有一定的修复效果。总之,现有的图像修复方法都是面向具体对象的,每种算法都有一定的适用性和局限性。图像修复还没有统一的方法解决所有的破损图像修复问题。且唐卡图像的画面和破损情况都很复杂,目前还没有专门的用于唐卡图像的修复技术和实用的修复方法。
发明内容
本发明的目的是解决破损唐卡的数字图像修复问题,提供一种适用于多种唐卡图像的结合破损块形状和破损块邻域分类的唐卡图像修复方法,该方法可以修复各类线状和块状,以及各类破损邻域的唐卡图像,修复各类破损形式如划痕、折痕和脱落等,修复速度快、效率高。
为了实现上述目的,本发明的技术方案是:一种结合破损块形状和邻域分类的唐卡图像修复方法,其特征是:根据破损块形状、破损块邻域的信息以及现有的修复算法特点等,自动选择合适的算法修复破损唐卡图像。主要包括:第一,对破损块形状分类;首先使用现有的分水岭方法分割待修复图像,并对破损区域中各个破损块的形状分为线状和块状,实现破损块形状分类;第二,对破损块的邻域分类;采用灰度共生矩阵提取邻域块的二阶统计信息,通过灰度共生矩阵提取反应纹理的各种特征,并对特征进行高斯归一化,采用现有的K近邻法将邻域块分为纹理块和非纹理块,实现破损块邻域的分类;第三,对破损块修复;结合修复算法的特点、破损块的形状和破损块邻域的类型制定算法的选择规则,实现破损区域的自动修复,具体步骤如下:
a. 对破损块形状分类
通过分水岭分割方法和区域合并,将破损区域分割出来;其中分水岭图像分割分为排序过程和浸水过程。
a.1 分水岭图像分割
分水岭图像分割分为两个步骤:排序过程和浸水过程。
排序过程和浸水过程是在梯度图像上进行的,对梯度图像每个像素点的值按照由低到高的顺序排序,灰度值为h的像素点划分为一层,称 h阶高度,其中 h在0到255之间,具体过程分为以下4步:
a.1.1 计算原图像的梯度图像;
a.1.2 计算梯度图像的累积直方图;
a.1.3 根据累积直方图对梯度图像的像素值进行由低到高的排序;
a.1.4 从低到高实现浸水过程,对每一个局部极小值在h阶高度的影响域采用先进先出结构进行判断及标注。
a.2 区域合并
排水和浸水过程形成了初始的分割区域,再将小区域合并到与其空间相邻颜色相近的区域,然后根据颜色信息和空间信息合并到颜色相近、空间相邻的区域;
a.2.1 小区域的合并
a.2.1.1 将原图像从RGB空间转换到LUV空间;
a.2.1.2 计算初始分割区域的LUV均值;
a.2.1.3 获取各个分割区域的邻域;
a.2.1.4 把小区域合并到与其空间相邻、颜色相近的区域;
a.2.1.5 更新各个小区域的LUV均值和邻域信息,直至分割区域中不存在面积小于阈值的小区域;
a.2.2 颜色相近、空间相邻区域的合并
a.2.2.1 在LUV空间计算每一个小区域与其邻域的平方误差;
a.2.2.3 反复进行合并操作,直至没有可合并的区域;
a.3 破损块形状分类
a.3.1 获取破损块
通过破损区域分割,就可以得到一幅图像的掩膜图像,其中破损区域每个像素点用1表示,非破损区域每个像素点用0表示。通过区域生长来获取破损块,具体获取算法如下:
a.3.1.2 若像素点的值为1,则该点入队列并将该点值更新为;
a.3.1.3弹出队列首元素,进行四邻域或八邻域区域生长,如果邻域像素点值为1,则入队列,同样将其值更新为,否则不做处理,直到队列为空;
通过上述过程得到了破损块标记的图像,即掩膜图像中像素值为1、像素值为2、…、像素值为k的像素点的集合为破损块。
a.3.2 提取破损块形状特征
a.3.2.2 统计沿扫描线垂直方向破损块的最大连续高度像素点的数量,获得破损块的最大高度;
破损块面积是破损块中破损像素点的数量。
a.3.3 破损块形状分类
本发明采用线性分类器对破损块进行分类。线性分类器如式(1)所示,式(1):
b.破损块的邻域分类
图像分割能将图像划分为互不相交的区域,如果要对破损块的邻域分类,就必须获取这些邻域的纹理信息。破损块邻域有下述状况:破损块周围都是纹理区域;破损块周围都是非纹理区域;破损块周围是混合区域,也就是既有纹理区域又有非纹理区域。
b.1 破损块的邻域获取方法
b.1.1 获取分割后标记图像中破损块的外边缘标记,外边缘为非破损像素点,内边缘为破损像素点;
b.1.2 剔除重复的边缘标记,剩余的标记个数即破损块的邻域块数量;
剔除破损块标记的方法如下:
b.1.2.1 根据破损块标记图像的待修复破损块,找到分割图像的对应区域;
b.1.2.2 统计分割图像对应区域的各个标记数量,找出数量最多的标记,数量最多的标记被默认为分割图像的破损块标记;
b.1.2.3 判断该标记是否存在于破损块边缘标记中,如果存在于破损块边缘标记中,则删除;否则不做任何处理。
b.1.3 以剩余标记为种子标记,使用区域生长法获取破损块在标记图像中的邻域块。
b.2 提取邻域块特征
目前的图像修复算法分为纹理结构的修复算法和非纹理结构的修复算法。因此把破损块邻域分为:纹理块和非纹理块,以选取相应的算法修复破损图像。
b.2.1 提取纹理特征
使用灰度共生矩阵的方法提取图像的二阶统计信息,进而提取图像的纹理特征;
b.2.1.1 灰度共生矩阵
把角二阶矩、对比度、相关性、熵和逆差矩作为纹理特性,具体计算方法如下:
b.2.1.2 角二阶矩
b.2.1.3 对比度
b.2.1.4 相关性
b.2.1.5 熵
b.2.1.6 逆差矩
是灰度共生矩阵对比度的逆,测量图像的局部一致性;如果图像接近均匀,逆差矩趋向于1;
分别计算四个方向:0度、45度、90度和135度上灰度共生矩阵的上述角二阶矩、对比度、相关性、熵和逆差矩五个纹理特性度量值,然后取其期望和方差作为最终特征值;
b.3 特征归一化
特征归一化按高斯归一化公式如式(8)所示:
b.4 破损块邻域分类
以邻域块的特征提取为基础,进行破损块邻域分类;本发明采用近邻法对邻域进行分类;设有个训练样本,其中个属于纹理类,个属于非纹理类;现有一个未知类别的样本,要判断它所属的类别;用近邻法就是计算该样本特征与个训练样本特征之间的距离,并将距离从小到大排序,然后取其中较小的个,为奇数,最后根据这个训练样本的类别标记进行投票,得到未知样本的类别标记;投票方法是:如果这个训练样本中类的数量多则属于,类的数量多则属于;取;
c. 修复破损块
c.1 建立算法库
将现有的基于样本块的图像修复算法命为算法1,基于样本的纹理合成算法命为算法2,Oliveira模型表示的算法命为算法3,CDD模型或TV模型的算法命为算法4,将4个算法作为破损块的修复算法序列;
c.2 根据破损块形状和破损块分类选择算法并进行修复
c.2.1 根据破数块邻域的破损块分类
同质非纹理破损块的定义:如果破损块的邻域块只有1个且为非纹理邻域块,则破损块中不存在边缘,称这种破损类型为同质非纹理破损;
异质非纹理破损块的定义:如果破损块的邻域块多于1个,且都为非纹理邻域块,则破损块中存在边缘,称这种破损类型为异质非纹理破损;
混合型破损块的定义:如果破损块的邻域块多于1个,且同时存在非纹理块和纹理破损块,则破损块中存在边缘,称这种破损类型为混合型破损;
同质纹理破损块的定义:如果破损块的邻域块只有1个且为纹理块,则破损块中不存在边缘,称这种破损类型为同质纹理破损;
异质纹理破损块的定义:如果破损块的邻域块多于1个,且都为纹理块,则破损块中存在边缘,称这种破损类型为异质纹理破损。
c.2.2 算法选择与修复
根据破损块数量重复进行以下步骤:
c.2.2.1 破损块为线状
若破损块邻域为异质纹理破损或混合性破损,选择算法1进行修复;若破损块邻域为同质纹理破损,选择算法2进行修复;若破损块邻域为同质非纹理破损,选择算法3进行修复;若破损块邻域为异质非纹理破损,选择算法4进行修复;
c.2.2.2 破损块为块状
若破损块邻域为异质纹理破损、混合性破损或异质非纹理破损,选择算法1进行修复;若破损块邻域为同质纹理破损或同质非纹理破损,选择算法2进行修复。
当标记破损块数量的数值小于或者等于零时,整个修复过程结束。
实验表明,本发明适用于修复各类线状、块状,以及各类破损邻域的唐卡数字图像,修复速度快、效率高,获得令人满意的修复效果,综合正确率能达到90%以上,具有广阔的应用前景。
附图说明
图1是掩膜图像示意图;
图2是破损块标记图像示意图;
图3是破损块与邻域类型示意图;
图4是对修复算法进行选择的流程图。
具体实施方式
第一,对破损块形状分类;首先使用现有的分水岭方法分割待修复图像,并对破损区域中各个破损块的形状分为线状和块状,实现破损块形状分类;第二,对破损块的邻域分类;采用灰度共生矩阵提取邻域块的二阶统计信息,通过灰度共生矩阵提取反应纹理的各种特征,并对特征进行高斯归一化,采用现有的K近邻法将邻域块分为纹理块和非纹理块,实现破损块邻域的分类;第三,对破损块修复;结合修复算法的特点、破损块的形状和破损邻域块的类型制定算法的选择规则,实现破损区域的自动修复。
a. 对破损块形状分类
分水岭方法是基于拓扑理论的数学形态学分割方法,其基本思想是把图像的灰度场看作测地学中的高度场,图像中像素值对应于海拔高度,每一个局部极小值及其影响区域称为集水盆,而集水盆的边界则形成分水岭,其中集水盆的边界对应于图像的边界,因此对图像实施分水岭变换可以把图像分割成不同的区域;分水岭图像分割分为两个步骤:排序过程和浸水过程。
a.1 分水岭图像分割
分水岭图像分割分为两个步骤:排序过程和浸水过程。排序过程和浸水过程是在梯度图像上进行的,对梯度图像每个像素点的值按照由低到高的顺序排序,灰度值为h的像素点划分为一层,称 h阶高度,其中 h在0到255之间。
a.1.1 排序过程
排序过程可分为以下三步:
a.1.1.1 计算原图像的梯度图像;
a.1.1.2 计算梯度图像的累积直方图;
a.1.1.3 根据累积直方图对梯度图像的值进行由低到高的排序。
a.1.2 浸水过程
浸水过程也称之为泛洪,实现了不同区域的划分,是基于分水岭分割算法的关键,其具体实现可分为以下3步:
a.1.2.1 排序后梯度图像中相同灰度级的像素点为同一层,按梯度图像灰度值大小由低到高地处理每一层,将待处理层中邻域已被标记的像素点压入到先进先出队列FIFO(First in First Out)中;
a.1.2.2 如果先进先出队列FIFO不为空,则弹出队首元素将其作为待处理像素,并依次处理与之相邻的灰度为的像素点。如果相邻点已被标记,则根据相邻点标记更新当前像素点标记;如果还未标记,则该相邻点入队,最后直至FIFO为空;
a.1.2.3重新扫描待处理层,检查是否存在未标记的点,此时未被标记的点意味着一个新的极小区域。如果发现未标记点,则当前区域标记值加1,将该值作为未标记点的标记值;然后重复a.1.2.2,标记该极小区域的像素点。
a.2 区域合并
排序过程和浸水过程形成了初始的分割区域,但是由于图像含有不同程度的噪声和细节信息,因此容易产生过分割的现象。一般来说,过分割的结果毫无用处的,因此在分割时必须克服过分割现象。常见的克服过分割的方法有三种:(1)平滑原图像或梯度图像,或者同时平滑两者;(2)对梯度图像添加标记以指导区域生长;(3)分水岭变换后进行区域合并,缩减区域数量。本发明采用区域合并的方法解决过分割问题。首先将小区域合并到与其空间相邻颜色相近的区域,然后根据颜色信息和空间信息合并颜色相近、空间相邻的区域。
a.2.1 小区域的合并
小区域合并通过五步完成:
a.2.1.1 将原图像从RGB空间转换到LUV空间,因为LUV空间与人的视觉感知有良好的一致性;
a.2.1.2 计算初始分割区域的LUV均值;
a.2.1.3 获取各个分割区域的邻域;
a.2.1.4 把小区域合并到与其空间相邻、颜色相近的区域;
a.2.2 颜色相近、空间相邻区域的合并
颜色相近、空间相邻区域的合并可分为以下三步:
a.2.2.1 在LUV空间计算每一个小区域与其邻域的平方误差;
a.2.2.3 反复进行合并操作,直至没有可合并的区域;
上述a.2.1 和a.2.2实现了区域合并,克服了过分割现象,合并的过程中使用了面积阈值和平方误差阈值,需要反复调整阈值和,如果这两个阈值选择不当仍然会引起过分割或欠分割现象,因此在实验中应慎重选择阈值和。
a.3 破损块形状分类
a.3.1 获取破损块
通过破损区域分割,就可以得到一幅图像的掩膜图像,其中破损区域每个像素点用1表示,非破损区域每个像素点用0表示。假设破损区域分割完成后的掩膜图像如图1所示。通过区域生长来获取破损块,具体获取算法如下:
上述过程中初始化值为2,是为了防止破损块标记与破损像素点标记混淆。为了方便后续处理,等找到所有的破损块后,将破损块标记都减1,使得破损块标记为,,…,。这样就使得第一个破损块标记为1,第二个破损块标记为2,依此类推,第个破损块标记为。如图2所示为图1的破损块标记图像,像素值为1和2的像素点的集合为破损块及破损块数量的标记。
a.3.2 提取破损块形状特征
对图像的破损块进行分类,以便不同的破损形状采用不同的算法修复。在进行破损块的形状分类之前先要提取破损块的形状特征。
破损块面积是破损块中破损像素点的数量。
a.3.3 破损块形状分类
通过查阅文献和实验分析发现非纹理结构的方法能够修复破损块的宽度为,的范围在30到40之间,而结构纹理的方法能够修复更大尺度的破损图像。因此,本发明采用线性分类器对破损块进行分类。线性分类器如式(1)所示,式(1):
b.破损块的邻域分类
图像分割能将图像划分为互不相交的区域,如果要对破损块的邻域分类,就必须获取这些邻域的纹理信息。破损块邻域有下述状况:破损块周围都是纹理区域;破损块周围都是非纹理区域;破损块周围是混合区域,也就是既有纹理区域又有非纹理区域。图3是破损图像分割之后图像的拓扑图示意图,图中A、B和C是破损块的邻域块。
b.1 破损块的邻域获取方法
b.1.1 获取分割后标记图像中破损块的外边缘标记,外边缘为非破损像素点,内边缘为破损像素点;
b.1.2 剔除重复的边缘标记,剩余的标记个数即破损块的邻域块数量;
剔除破损块标记的方法如下:
b.1.2.1 根据破损块标记图像的待修复破损块,找到分割图像的对应区域;
b.1.2.2 统计分割图像对应区域的各个标记数量,找出数量最多的标记,数量最多的标记被默认为分割图像的破损块标记;
b.1.2.3 判断该标记是否存在于破损块边缘标记中,如果存在于破损块边缘标记中,则删除;否则不做任何处理。
b.1.3 以剩余标记为种子标记,使用区域生长法获取破损块在标记图像中的邻域块。
b.2 提取邻域块特征
目前的图像修复算法分为纹理结构的修复算法和非纹理结构的修复算法。因此把破损块邻域分为:纹理块和非纹理块,以选取相应的算法修复破损图像。
b.2.1 提取纹理特征
本发明中破损块的邻域分类,实质上是判断破损块的邻域是纹理块还是非纹理块,或者既有纹理部分又有非纹理部分。纹理是模式按照一定规则的重复,通常,基于构成纹理的纹元,纹理可以分为两类:微纹理和宏纹理。纹理是由纹元组成的,是纹元按一定规则的重复;非纹理图像没有像纹理图像一样的纹元,但是也可以把它当作纹理,只不过它的纹元很大而已,大到甚至是整个图像自身。也就是说无论纹理还是非纹理,都可以把它们当作纹理看待。因此,就可以不论图像类别而使用灰度共生矩阵的方法提取图像的二阶统计信息,进而提取图像的纹理特征。
如前所述纹理有一定规律,因而纹理图像中相隔一定距离的两像素之间存在灰度依赖关系;而灰度共生矩阵用两个位置像素的联合概率密度来反映灰度的分布信息和空间信息。因此,它是提取纹理图像二阶统计信息的有力工具。
b.2.1.1 灰度共生矩阵
由于灰度共生矩阵具有对称性,因此通常仅仅需要计算0度、45度、90度和135度角的灰度共生矩阵,这就能够保证最终提取的特征具有旋转不变性。不同纹理图像的纹理尺寸不同,对应的灰度共生矩阵也就不同,因此将灰度共生矩阵的各种统计量作为纹理特性。大多数情况下,灰度共生矩阵并不直接在灰度化的图像上计算,通常为了降低内存的需求和提高处理的速度,需要重新量化灰度级。本发明中把角二阶矩(能量)、对比度(惯性矩)、相关性、熵和逆差矩作为纹理特性,具体计算方法如下。
b.2.1.2 角二阶矩
b.2.1.3 对比度
b.2.1.4 相关性
b.2.1.5 熵
b.2.1.6 逆差矩
分别计算四个方向:0度、45度、90度和135度上灰度共生矩阵的上述角二阶矩、对比度、相关性、熵和逆差矩五个纹理特性度量值,然后取其期望和方差作为最终特征值;
b.3 特征归一化
前面提取的纹理特征大小和取值范围都不一样,将它们称之为异质特征。异质特征需要归一化处理;本发明选取高斯归一化方法。
高斯归一化的方法概述如下:假设有个样本,每个样本在特征被表示为:,其中;现在以其中的任一特征分量为例做归一化处理;设、……表示个样本的第维特征分量,和分别表示期望和方差;高斯归一化公式是: ;为了使更多落到内,分母取;
本发明特征归一化按高斯归一化公式如式(8)所示:
b.4 破损块邻域分类
图像修复算法主要分为基于纹理结构的修复算法和非纹理结构的修复算法。因此,对破损块邻域的分类,进而判断破损块的类型是纹理破损、非纹理破损或混合型破损,以便进行修复算法的选择。
以邻域块的特征提取为基础,进行破损块邻域分类;本发明采用近邻法对邻域进行分类;设有个训练样本,其中个属于纹理类,个属于非纹理类;现有一个未知类别的样本,要判断它所属的类别;用近邻法就是计算该样本特征与个训练样本特征之间的距离,并将距离从小到大排序,然后取其中较小的个,为奇数,最后根据这个训练样本的类别标记进行投票,得到未知样本的类别标记;投票方法是:如果这个训练样本中类的数量多则属于,类的数量多则属于;取;
近邻法中,如果太小,使得分类准确率不高;如果太大,就需要更多的训练样本,自然需要更多空间存储这些训练样本,而且需要做繁重的相似度度量。因此,如何确定一个恰当的值是非常重要的。本发明中,首先使用邻域块特征提取的方法提取训练样本的特征,然后通过测试样本计算不同值对应的识别率,最后确定一个合适的值。
实验中有训练样本100个,其中50个非纹理图像,50个纹理图像;测试样本40个,其中20个非纹理,20个纹理。首先,使用b.2节中方法提取训练样本的特征;然后通过测试样本计算不同值对应的识别率;最后确定一个合适的值。表1反应了不同值时的识别率。
值 | 非纹理识别率 | 纹理识别率 | 总识别率 |
1 | 70% | 80% | 75% |
3 | 80% | 90% | 85% |
5 | 90% | 90% | 90% |
7 | 90% | 90% | 90% |
9 | 100% | 90% | 95% |
11 | 100% | 90% | 95% |
21 | 100% | 90% | 95% |
51 | 100% | 90% | 95% |
c. 修复破损块
修复算法选择建立在算法比较分析、破损块形状和破损块邻域类型的基础上。同时本发明通过破损块的邻域块类型确定破损块的类型。结合破损块的形状和其邻域块的类型能够实现不同类型破损图像修复时算法的自动选择。
c.1 建立算法库
将现有的基于样本块的图像修复算法命为算法1,基于样本的纹理合成算法命为算法2,Oliveira模型表示的算法命为算法3,CDD模型或TV模型的算法命为算法4,将4个算法作为破损块的修复算法序列;
c.2 根据破损块形状和破损块分类选择算法并进行修复
c.2.1 根据破数块邻域的破损块分类
同质非纹理破损块的定义:如果破损块的邻域块只有1个且为非纹理邻域块,则破损块中不存在边缘,称这种破损类型为同质非纹理破损;
异质非纹理破损块的定义:如果破损块的邻域块多于1个,且都为非纹理邻域块,则破损块中存在边缘,称这种破损类型为异质非纹理破损;
混合型破损块的定义:如果破损块的邻域块多于1个,且同时存在非纹理块和纹理破损块,则破损块中存在边缘,称这种破损类型为混合型破损;
同质纹理破损块的定义:如果破损块的邻域块只有1个且为纹理块,则破损块中不存在边缘,称这种破损类型为同质纹理破损;
异质纹理破损块的定义:如果破损块的邻域块多于1个,且都为纹理块,则破损块中存在边缘,称这种破损类型为异质纹理破损。
c.2.2 算法选择与修复
根据破损块数量重复进行以下步骤:
c.2.2.1 破损块为线状
若破损块邻域为异质纹理破损或混合性破损,选择算法1进行修复;若破损块邻域为同质纹理破损,选择算法2进行修复;若破损块邻域为同质非纹理破损,选择算法3进行修复;若破损块邻域为异质非纹理破损,选择算法4进行修复;
c.2.2.2 破损块为块状
若破损块邻域为异质纹理破损、混合性破损或异质非纹理破损,选择算法1进行修复;若破损块邻域为同质纹理破损或同质非纹理破损,选择算法2进行修复。
当标记破损块数量的数值小于或者等于零时,整个修复过程结束。
具体选择方式如图4所示:其中,算法1表示基于样本块的图像修复算法,算法2表示基于样本的纹理合成算法,算法3表示Oliveira模型的算法,算法4表示CDD模型或TV模型的算法。
Claims (1)
1.一种结合破损块形状和邻域分类的唐卡图像修复方法,其特征是:根据破损块形状、破损块邻域的信息以及现有的修复算法特点等,自动选择合适的算法修复破损唐卡图像;主要包括:第一,对破损块形状分类;首先使用现有的分水岭方法分割待修复图像,并对破损区域中各个破损块的形状分为线状和块状,实现破损块形状分类;第二,对破损块的邻域分类;采用灰度共生矩阵提取邻域块的二阶统计信息,通过灰度共生矩阵提取反应纹理的各种特征,并对特征进行高斯归一化,采用现有的K近邻法将邻域块分为纹理块和非纹理块,实现破损块邻域的分类;第三,对破损块修复;结合修复算法的特点、破损块的形状和破损块邻域的类型制定算法的选择规则,实现破损区域的自动修复,具体步骤如下:
a. 对破损块形状分类
通过分水岭分割方法和区域合并,将破损区域分割出来;其中分水岭图像分割分为排序过程和浸水过程;
a.1 分水岭图像分割
分水岭图像分割分为两个步骤:排序过程和浸水过程;
排序过程和浸水过程是在梯度图像上进行的,对梯度图像每个像素点的值按照由低到高的顺序排序,灰度值为h的像素点划分为一层,称 h阶高度,其中 h在0到255之间,具体过程分为以下四步:
a.1.1 计算原图像的梯度图像;
a.1.2 计算梯度图像的累积直方图;
a.1.3 根据累积直方图对梯度图像的像素值进行由低到高的排序;
a.1.4 从低到高实现浸水过程,对每一个局部极小值在h阶高度的影响域采用先进先出结构进行判断及标注;
a.2 区域合并
排水和浸水过程形成了初始的分割区域,再将小区域合并到与其空间相邻颜色相近的区域,然后根据颜色信息和空间信息合并到颜色相近、空间相邻的区域;
a.2.1 小区域的合并
a.2.1.1 将原图像从RGB空间转换到LUV空间;
a.2.1.2 计算初始分割区域的LUV均值;
a.2.1.3 获取各个分割区域的邻域;
a.2.1.4 把小区域合并到与其空间相邻、颜色相近的区域;
a.2.2 颜色相近、空间相邻区域的合并
a.2.2.1 在LUV空间计算每一个小区域与其邻域的平方误差;
a.2.2.3 反复进行合并操作,直至没有可合并的区域;
a.3 破损块形状分类
a.3.1 获取破损块
通过破损区域分割,就可以得到一幅图像的掩膜图像,其中破损区域每个像素点用1表示,非破损区域每个像素点用0表示;通过区域生长来获取破损块,具体获取算法如下:
通过上述过程得到了破损块标记的图像,即掩膜图像中像素值为1、像素值为2、…、像素值为k的像素点的集合为破损块;
a.3.2 提取破损块形状特征
破损块面积是破损块中破损像素点的数量;
a.3.3 破损块形状分类
本发明采用线性分类器对破损块进行分类,线性分类器如式(1)所示,式(1):
b.破损块的邻域分类
图像分割能将图像划分为互不相交的区域,如果要对破损块的邻域分类,就必须获取这些邻域的纹理信息,破损块邻域有下述状况:破损块周围都是纹理区域;破损块周围都是非纹理区域;破损块周围是混合区域,也就是既有纹理区域又有非纹理区域;
b.1 破损块的邻域获取方法
b.1.1 获取分割后标记图像中破损块的外边缘标记,外边缘为非破损像素点,内边缘为破损像素点;
b.1.2 剔除重复的边缘标记,剩余的标记个数即破损块的邻域块数量;
剔除破损块标记的方法如下:
b.1.2.1 根据破损块标记图像的待修复破损块,找到分割图像的对应区域;
b.1.2.2 统计分割图像对应区域的各个标记数量,找出数量最多的标记,数量最多的标记被默认为分割图像的破损块标记;
b.1.2.3 判断该标记是否存在于破损块边缘标记中,如果存在于破损块边缘标记中,则删除;否则不做任何处理;
b.1.3 以剩余标记为种子标记,使用区域生长法获取破损块在标记图像中的邻域块;
b.2 提取邻域块特征
目前的图像修复算法分为纹理结构的修复算法和非纹理结构的修复算法;因此把破损块邻域分为:纹理块和非纹理块,以选取相应的算法修复破损图像;
b.2.1 提取纹理特征
使用灰度共生矩阵的方法提取图像的二阶统计信息,进而提取图像的纹理特征;
b.2.1.1 灰度共生矩阵
把角二阶矩、对比度、相关性、熵和逆差矩作为纹理特性,具体计算方法如下:
b.2.1.2 角二阶矩
b.2.1.3 对比度
b.2.1.4 相关性
b.2.1.5 熵
b.2.1.6 逆差矩
分别计算四个方向:0度、45度、90度和135度上灰度共生矩阵的上述角二阶矩、对比度、相关性、熵和逆差矩五个纹理特性度量值,然后取其期望和方差作为最终特征值;
b.3 特征归一化
特征归一化按高斯归一化公式如式(8)所示:
b.4 破损块邻域分类
以邻域块的特征提取为基础,进行破损块邻域分类;本发明采用K近邻法对邻域进行分类;设有M个训练样本,其中N1个属于纹理类,个属于非纹理类;现有一个未知类别的样本,要判断它所属的类别;用K近邻法就是计算该样本特征与M个训练样本特征之间的距离,并将距离从小到大排序,然后取其中较小的K个,K为奇数,最后根据这K个训练样本的类别标记进行投票,得到未知样本的类别标记;投票方法是:如果这K个训练样本中类的数量多则属于,类的数量多则属于;取;
c. 修复破损块
c.1 建立算法库
将现有的基于样本块的图像修复算法命为算法1,基于样本的纹理合成算法命为算法2,Oliveira模型表示的算法命为算法3,CDD模型或TV模型的算法命为算法4,将4个算法作为破损块的修复算法序列;
c.2 根据破损块形状和破损块分类选择算法并进行修复
c.2.1 根据破数块邻域的破损块分类
同质非纹理破损块的定义:如果破损块的邻域块只有1个且为非纹理邻域块,则破损块中不存在边缘,称这种破损类型为同质非纹理破损;
异质非纹理破损块的定义:如果破损块的邻域块多于1个,且都为非纹理邻域块,则破损块中存在边缘,称这种破损类型为异质非纹理破损;
混合型破损块的定义:如果破损块的邻域块多于1个,且同时存在非纹理块和纹理破损块,则破损块中存在边缘,称这种破损类型为混合型破损;
同质纹理破损块的定义:如果破损块的邻域块只有1个且为纹理块,则破损块中不存在边缘,称这种破损类型为同质纹理破损;
异质纹理破损块的定义:如果破损块的邻域块多于1个,且都为纹理块,则破损块中存在边缘,称这种破损类型为异质纹理破损;
c.2.2 算法选择与修复
根据破损块数量重复进行以下步骤:
c.2.2.1 破损块为线状
若破损块邻域为异质纹理破损或混合性破损,选择算法1进行修复;若破损块邻域为同质纹理破损,选择算法2进行修复;若破损块邻域为同质非纹理破损,选择算法3进行修复;若破损块邻域为异质非纹理破损,选择算法4进行修复;
c.2.2.2 破损块为块状
若破损块邻域为异质纹理破损、混合性破损或异质非纹理破损,选择算法1进行修复;若破损块邻域为同质纹理破损或同质非纹理破损,选择算法2进行修复;
当标记破损块数量的数值小于或者等于零时,整个修复过程结束。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110320658 CN102509319B (zh) | 2011-10-20 | 2011-10-20 | 结合破损块形状和邻域分类的唐卡图像修复方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110320658 CN102509319B (zh) | 2011-10-20 | 2011-10-20 | 结合破损块形状和邻域分类的唐卡图像修复方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102509319A true CN102509319A (zh) | 2012-06-20 |
CN102509319B CN102509319B (zh) | 2013-05-22 |
Family
ID=46221397
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201110320658 Active CN102509319B (zh) | 2011-10-20 | 2011-10-20 | 结合破损块形状和邻域分类的唐卡图像修复方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102509319B (zh) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103198455A (zh) * | 2013-03-14 | 2013-07-10 | 哈尔滨工程大学 | 一种利用全变差最小化和灰度共生矩阵的图像去噪方法 |
CN103632154A (zh) * | 2013-12-16 | 2014-03-12 | 福建师范大学 | 基于二次谐波图像纹理分析的皮肤瘢痕诊断方法 |
CN103691089A (zh) * | 2013-12-10 | 2014-04-02 | 柳州译海网络科技有限公司 | 一种楼道防火系统 |
CN103691088A (zh) * | 2013-12-10 | 2014-04-02 | 柳州译海网络科技有限公司 | 一种基于远程反馈数据的楼道消防系统 |
CN106228545A (zh) * | 2016-07-14 | 2016-12-14 | 西北民族大学 | 一种佛像类唐卡一致性破损区域的自动分割方法 |
CN106504201A (zh) * | 2016-09-23 | 2017-03-15 | 湖北大学 | 一种基于多尺度k近邻的随机查找快速图像修复系统及方法 |
CN106815879A (zh) * | 2017-01-17 | 2017-06-09 | 湖南优象科技有限公司 | 一种基于lbp特征的快速纹理合成方法 |
CN107507137A (zh) * | 2017-07-14 | 2017-12-22 | 深圳前海城市宠儿网络科技有限公司 | 一种图像修复方法及系统 |
CN107705255A (zh) * | 2017-05-22 | 2018-02-16 | 西北民族大学 | 一种结合领域知识的唐卡图像修复方法 |
CN108230434A (zh) * | 2017-12-15 | 2018-06-29 | 腾讯科技(深圳)有限公司 | 图像纹理的处理方法、装置、存储介质和电子装置 |
CN109242791A (zh) * | 2018-08-22 | 2019-01-18 | 东北农业大学 | 一种针对破损植物叶片的批量修复方法 |
CN109840912A (zh) * | 2019-01-02 | 2019-06-04 | 厦门美图之家科技有限公司 | 一种图像中异常像素的修正方法及计算设备 |
CN112200242A (zh) * | 2020-10-09 | 2021-01-08 | 陕西科技大学 | 绘画唐卡图像的颜色分类方法、计算机设备、终端及介质 |
CN112418249A (zh) * | 2020-11-18 | 2021-02-26 | 北京字跳网络技术有限公司 | 掩膜图像生成方法、装置、电子设备和计算机可读介质 |
CN116843689A (zh) * | 2023-09-01 | 2023-10-03 | 山东众成菌业股份有限公司 | 一种菌盖表面破损检测方法 |
-
2011
- 2011-10-20 CN CN 201110320658 patent/CN102509319B/zh active Active
Non-Patent Citations (8)
Title |
---|
HUAMING LIU ET AL: "Study Of Image Inpainting Based On Learning", 《PROCEEDINGS OF THE INTERNATIONAL MULTICONFERENCE OF ENGINEERS AND COMPUTER SCIENTISTS》 * |
HUAMING LIU ET AL: "Thangka Image Inpainting Using Adjacent Information of Broken Area", 《PROCEEDINGS OF THE INTERNATIONAL MULTICONFERENCE OF ENGINEERS AND COMPUTER SCIENTISTS》 * |
WEILAN WANG ET AL: "Study of System Model of Image Inpainting Combining Subjective Estimation and Impersonal Estimation", 《PROCEEDINGS OF THE INTERNATIONAL MULTICONFERENCE OF ENGINEERS AND COMPUTER SCIENTISTS》 * |
XIAOBAO LU ET AL: "A Fast Image Inpainting Algorithm Based on TV Model", 《PROCEEDINGS OF THE INTERNATIONAL MULTICONFERENCE OF ENGINEERS AND COMPUTER SCIENTISTS》 * |
卢小宝 等: "基于样本块的破损唐卡图像修复算法的改进", 《计算机应用》 * |
王晓东 等: "基于Hopfield神经网络的唐卡图像损伤区域的提取", 《科学技术与工程》 * |
王维兰 等: "唐卡图像复杂破损区域的修复", 《计算机工程与设计》 * |
胡文瑾 等: "基于TV模型的图像修复算法的一种数值实现", 《西北民族大学学报(自然科学版)》 * |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103198455B (zh) * | 2013-03-14 | 2015-08-12 | 哈尔滨工程大学 | 一种利用全变差最小化和灰度共生矩阵的图像去噪方法 |
CN103198455A (zh) * | 2013-03-14 | 2013-07-10 | 哈尔滨工程大学 | 一种利用全变差最小化和灰度共生矩阵的图像去噪方法 |
CN103691089A (zh) * | 2013-12-10 | 2014-04-02 | 柳州译海网络科技有限公司 | 一种楼道防火系统 |
CN103691088A (zh) * | 2013-12-10 | 2014-04-02 | 柳州译海网络科技有限公司 | 一种基于远程反馈数据的楼道消防系统 |
CN103632154A (zh) * | 2013-12-16 | 2014-03-12 | 福建师范大学 | 基于二次谐波图像纹理分析的皮肤瘢痕诊断方法 |
CN106228545A (zh) * | 2016-07-14 | 2016-12-14 | 西北民族大学 | 一种佛像类唐卡一致性破损区域的自动分割方法 |
CN106228545B (zh) * | 2016-07-14 | 2018-11-13 | 西北民族大学 | 一种佛像类唐卡一致性破损区域的自动分割方法 |
CN106504201A (zh) * | 2016-09-23 | 2017-03-15 | 湖北大学 | 一种基于多尺度k近邻的随机查找快速图像修复系统及方法 |
CN106815879B (zh) * | 2017-01-17 | 2019-11-05 | 湖南优象科技有限公司 | 一种基于lbp特征的快速纹理合成方法 |
CN106815879A (zh) * | 2017-01-17 | 2017-06-09 | 湖南优象科技有限公司 | 一种基于lbp特征的快速纹理合成方法 |
CN107705255A (zh) * | 2017-05-22 | 2018-02-16 | 西北民族大学 | 一种结合领域知识的唐卡图像修复方法 |
CN107507137A (zh) * | 2017-07-14 | 2017-12-22 | 深圳前海城市宠儿网络科技有限公司 | 一种图像修复方法及系统 |
CN108230434A (zh) * | 2017-12-15 | 2018-06-29 | 腾讯科技(深圳)有限公司 | 图像纹理的处理方法、装置、存储介质和电子装置 |
CN108230434B (zh) * | 2017-12-15 | 2022-06-03 | 腾讯科技(深圳)有限公司 | 图像纹理的处理方法、装置、存储介质和电子装置 |
CN109242791A (zh) * | 2018-08-22 | 2019-01-18 | 东北农业大学 | 一种针对破损植物叶片的批量修复方法 |
CN109840912A (zh) * | 2019-01-02 | 2019-06-04 | 厦门美图之家科技有限公司 | 一种图像中异常像素的修正方法及计算设备 |
CN109840912B (zh) * | 2019-01-02 | 2021-05-04 | 厦门美图之家科技有限公司 | 一种图像中异常像素的修正方法及计算设备 |
CN112200242A (zh) * | 2020-10-09 | 2021-01-08 | 陕西科技大学 | 绘画唐卡图像的颜色分类方法、计算机设备、终端及介质 |
CN112200242B (zh) * | 2020-10-09 | 2023-06-20 | 陕西科技大学 | 绘画唐卡图像的颜色分类方法、计算机设备、终端及介质 |
CN112418249A (zh) * | 2020-11-18 | 2021-02-26 | 北京字跳网络技术有限公司 | 掩膜图像生成方法、装置、电子设备和计算机可读介质 |
CN116843689A (zh) * | 2023-09-01 | 2023-10-03 | 山东众成菌业股份有限公司 | 一种菌盖表面破损检测方法 |
CN116843689B (zh) * | 2023-09-01 | 2023-11-21 | 山东众成菌业股份有限公司 | 一种菌盖表面破损检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102509319B (zh) | 2013-05-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102509319B (zh) | 结合破损块形状和邻域分类的唐卡图像修复方法 | |
Caspari et al. | Convolutional neural networks for archaeological site detection–Finding “princely” tombs | |
Cheng et al. | Pixel-level crack detection using U-Net | |
CN107016677B (zh) | 一种基于fcn和cnn的云图分割方法 | |
CN103049763B (zh) | 一种基于上下文约束的目标识别方法 | |
CN101799921B (zh) | 一种光学遥感图像云检测方法 | |
Backes | A new approach to estimate lacunarity of texture images | |
CN111275724B (zh) | 一种基于八叉树和边界优化的机载点云屋顶平面分割方法 | |
Xu et al. | Leaf instance segmentation and counting based on deep object detection and segmentation networks | |
CN112633242B (zh) | 一种基于改进UNet网络的港口矿堆分割及储量计算方法 | |
CN110008900B (zh) | 一种由区域到目标的可见光遥感图像候选目标提取方法 | |
CN101923707A (zh) | 一种基于分水岭算法的高空间分辨率多光谱遥感图像分割方法 | |
CN111612747B (zh) | 产品表面裂缝快速检测方法及检测系统 | |
CN111401380A (zh) | 一种基于深度特征增强和边缘优化的rgb-d图像语义分割方法 | |
Kanaeva et al. | Road pavement crack detection using deep learning with synthetic data | |
CN103903275A (zh) | 利用小波融合算法改进图像分割效果的方法 | |
Liang et al. | An extraction and classification algorithm for concrete cracks based on machine vision | |
CN104778458A (zh) | 一种基于纹理特征的纺织品花纹检索方法 | |
Ruan et al. | Review of 3d point cloud data segmentation methods | |
CN104517287A (zh) | 一种图像匹配的方法及装置 | |
CN102136074A (zh) | 一种基于mmi的木材图像纹理分析与识别方法 | |
CN107766792A (zh) | 一种遥感图像舰船目标识别方法 | |
Omidalizarandi et al. | Segmentation and classification of point clouds from dense aerial image matching | |
Chowdhury et al. | Scene text detection using sparse stroke information and MLP | |
CN104268571B (zh) | 一种基于最小树聚类的红外多目标分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |