CN102831584A - 一种数据驱动的物体图像修复系统及方法 - Google Patents

一种数据驱动的物体图像修复系统及方法 Download PDF

Info

Publication number
CN102831584A
CN102831584A CN2012102744892A CN201210274489A CN102831584A CN 102831584 A CN102831584 A CN 102831584A CN 2012102744892 A CN2012102744892 A CN 2012102744892A CN 201210274489 A CN201210274489 A CN 201210274489A CN 102831584 A CN102831584 A CN 102831584A
Authority
CN
China
Prior art keywords
image
repaired
texture
module
profile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012102744892A
Other languages
English (en)
Other versions
CN102831584B (zh
Inventor
高成英
林倞
王淮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Sun Yat Sen University
Original Assignee
National Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Sun Yat Sen University filed Critical National Sun Yat Sen University
Priority to CN201210274489.2A priority Critical patent/CN102831584B/zh
Publication of CN102831584A publication Critical patent/CN102831584A/zh
Application granted granted Critical
Publication of CN102831584B publication Critical patent/CN102831584B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明的一种数据驱动的物体图像修复系统及方法,属于图像修复技术领域。本发明的第一个目的是提供一种物体图像修复系统,包括依次连接的用户交互模块、物体匹配模块、形状修复模块和纹理修复模块以及独立的物体图像数据库和数据库标注模块;本发明的第二个目的是提供一种数据驱动的物体图像修复方法框架,包括以下步骤:数据预处理、轮廓与修复区域的标示、物体匹配、形状修复、纹理修复、数据后处理。本发明通过各模块的协同工作,克服了现有图像修复方法无法解决的物体缺失部分形状信息无法启发式推导、缺失部分无法在原图像中采样修复等问题,很好地对物体图像进行修复。

Description

一种数据驱动的物体图像修复系统及方法
技术领域
本发明涉及一种数据驱动的物体图像修复系统及方法,具体来说,是一种涉及物体识别领域中形状匹配技术、图像修复领域中结构图像修复技术、纹理修复与纹理合成技术的物体图像修复系统及方法。
背景技术
广义的图像修复,指的是一种修改图像使得观察者在不知原图的情况下无法发现人工修改痕迹的图像修改技术。早期图像修复的目的是将一些古老的作品恢复原貌,例如将油画作品上的裂痕或者缺失部分再通过油画技术进行修复、补齐。不过类似的工作需要具有相关技术的艺术工作者才能完成,并且是在作品的原稿上进行操作。
当今数字产品例如数码相机、数码摄像机的普及,使得图像修复被赋予更多新的使命,面临更多挑战,例如用户使用数码相机拍下一张风景照后,想要去除挡在风景前方的人或物体,并使别人看不出图像的修复痕迹。在计算机视觉、数字图像处理领域,图像修复的目的是去除图像中的多余物体或者修复重建受损图像。如何让计算机很好地完成图像修复工作,而不需要用户具有过多的专业知识,逐渐成为了该领域的研究热点。
目前已经很多专利所公开的方法可以较好地进行图像修复重建或者去除多余物体,但是还有问题未能很好地解决:当目标物体部分被多余物体遮挡,现有的算法在去除多余物体之后,无法很好地修复目标物体
图像修复的方法可以总结为一个基于已知的图片局域来填补修复区域的过程。现有专利所公开的方法主要可以分成两类:一类是基于插值的图像修复方法;一类是基于范例的图像修复方法。前者的思路是采用了类似热扩散的方法,通过未知像素点周围的已知像素点来决定该点的取值,让受损区域周围的像素点,顺着等照度线的方向向修复区域内部扩散,这种方法主要是针对受损区域比较小,例如噪声或者折痕、缝隙,的图片进行修复,因为随着修复区域的增大,该方法产生的模糊效应会愈加明显,使修复效果变差。后者主要是针对修复受损区域较大的图片,是以“采样-合成”的纹理合成思路,先确定修复的位置,然后在原图中或者在其他样本图片中采样,选择最合适的样本,然后再通过图像融合技术将样本融合到修复区域。根据纹理类别的不同,我们需要采用不同的图像修复策略,策略包括修复位置的优先关系,样本的来源和图像融合技术的选择。这种方法可以很好地修复一些纹理信息,并通过调整修复位置的优先关系来保持原图一些简单的结构信息,不过与此同时计算量也相应地提高。
物体图像可以看成是复杂结构信息(物体形状)和物体本身表面纹理信息相结合的复杂图像。物体图像修复,是比结构修复更加复杂的情况,从目标丢失的信息量来看,物体图像修复介于结构修复和场景修复之间,是一种新的图像修复算法分类。目前物体图像修复还没有一种很好的解决方案。因为修复物体需要克服两大难题:首先物体具有特有的复杂形状结构和纹理,不再是简单的结构纹理,并且该形状结构无法通过启发式方法推导出来;再次物体被遮挡的区域可能无法在原图中进行采样修复。而现有的任何一种方法都不能很好地解决这两大问题。
发明内容
针对上述问题,本发明提供一种数据驱动的图像修复系统方法,该系统在图像中物体缺失关键部位且缺失内容未在原图中出现的情况下,在用户交互的基础上,通过带标注的图像数据库驱动进行图像修复,修复缺失部位。
本发明的第一个目的是提供一种物体图像修复系统,通过以下技术手段实现:包括依次连接的用户交互模块、物体匹配模块、形状修复模块、纹理修复模块和后处理模块以及独立作为数据准备与预处理的物体图像数据库和数据库标注模块;
所述用户交互模块采用鼠标或数位板作为输入外设,用于在修复图片上标示修复区域和待修复物体的轮廓;
所述物体匹配模块用于将用户标示的待修复物体轮廓在带标注的物体图像数据库中进行轮廓匹配和颜色匹配,搜索具有最相似轮廓和最相似颜色物体的匹配图像;
所述形状修复模块利用轮廓匹配模块搜索到的匹配图像,在匹配图像的轮廓上按固定分块大小对纹理和结构信息进行采样组成样本字典,通过求全局最优解的方法在样本字典中寻找最优样本分块通过纹理合成技术合成到待修复物体的轮廓上完成形状修复;
所述纹理修复模块用于对形状修复后剩余的物体内部、物体外部待修复区域,采用优先度引导的贪婪修复算法(即每修复一个图像分块时,都全局搜索一个最优的样本分块)进行纹理修复;
所述后处理模块用于对纹理修复后的结果在物体边缘进行修边操作,消除人工修复痕迹;
所述带标注的物体图像数据库为轮廓匹配模块寻找具有与待修复物体相似轮廓图像提供数据集,数据集中包括物体图像和标注对应图像中物体轮廓的掩膜图像;
所述数据库标注模块用于人工对图像数据库中的物体图像进行轮廓标注并生成掩膜图像。
本发明还可以做以下改进:
所述用户交互模块,通过采用人工干预的智能前背景分离技术,可对待修复物体轮廓实现半自动化标示,即用户通过拖拽一个矩形选框包围住目标物体就能自动发现物体轮廓并进行标示,降低用户标示待修复物体轮廓工作的复杂性;
所述物体匹配模块,通过增加对物体纹理的分析,可实现在带标注图像数据库中,搜索轮廓、颜色、纹理与待修复图像最相似的匹配图像;
所述轮廓匹配,通过采用自包含的、尺度无关的轮廓描述子对每一个轮廓进行描述,并且使用该描述子可以对两个轮廓的相似度进行量化,使得物体匹配模块能够通过该描述子找到与待修复物体轮廓相似度最高的匹配图像;
所述匹配图像,用于采样组建样本字典作为形状修复模块的输入,由于所述轮廓匹配方法采用的是尺度无关的技术,当匹配图像与待修复物体尺寸不同时,会影响修复效果,此时可以通过对匹配图像进行缩放,寻找最优的缩放尺寸;
所述形状修复模块,通过在待修复轮廓上构建马尔科夫随机场并定义一个能量方程,约束随机场每一个节点上的图像分块满足分块之间颜色连续、每个节点上的分块与该节点的结构信息一致,将形状修复问题转换成随机场各节点的标号问题(每个标号对应样本字典中的一个样本分块),并求解使得能量方程达到最小的标号方案,再将对应标号的样本分块合成到待修复轮廓上完成形状修复;
所述纹理合成技术,采用寻找最优分割的方法,在两个相邻分块的重叠部分找到一条颜色差异最小的路径,通过这条路径进行分块分割并融合,消除直接覆盖分块造成的人工修复痕迹;
所述纹理修复模块,采用的是逐步求局部最优解的贪婪算法,这种方法能很好修复自然纹理,但是对强规则性的纹理,例如斑马条纹,的修复效果比较一般。这里可以采用其他求解全局最优的修复方法,例如基于马尔科夫随机场的修复方法,改善修复效果。
所述数据库标注模块可以通过基于学习的物体轮廓识别技术,通过输入一类物体的一个手绘轮廓模型,自动在数据库的各张图像中,找到该类物体的轮廓,并自动标注生成轮廓掩膜图像,大大降低了标注的工作量。
本发明的第二个目的是提供一种数据驱动的物体图像修复方法框架,该框架包括以下步骤:
1)数据预处理:对图像数据库中的物体图像进行标注,即人工标注图像中物体的轮廓,生成轮廓掩膜,完成图像数据库的标注工作;
2)轮廓与修复区域的标示:用户通过人机交互方式,在待修复的图片上标出修复区域和待修复物体的轮廓,该轮廓沿着物体与背景的边界,从原图区域延伸至修复区域;
3)物体匹配:通过步骤2)中用户交互画出的物体轮廓,和物体区域上的颜色、纹理信息,在带标注的物体图像数据库中找到轮廓、颜色、纹理最相似的匹配图像;、
4)形状修复:在步骤3)获得的匹配图像上进行采样,完成待修复物体缺失部分的形状修复;
5)纹理修复:形状修复之后,物体轮廓上的纹理将修复区域划分成物体内外子区域,纹理修复步骤用原图纹理信息做样本,填满剩余的修复区域;
6)数据后处理:通过软修边技术,消除物体边缘的杂色等人工修复痕迹。
本发明还可以做以下改进:
步骤3)中,所述物体匹配主要分成两阶段筛选:第一阶段通过轮廓匹配,从图像数据库中筛选出与待修复物体轮廓相似程度大于经验阈值ε的图像;第二阶段以第一阶段筛选出来的图像作为输入,并搜索与待修复物体颜色、纹理最相似的匹配图像。二层筛选的目的是避免将综合三个特征选择匹配图像时,特征之间相互制约得到轮廓、颜色、纹理都不与待修复物体相似的匹配图像。
与现有技术相比,本发明具有的有益效果为:
本发明的一种数据驱动的物体图像修复系统及方法,通过人机交互的方式,利用人类高级感知能力克服了现有图像修复算法中采用的启发式推导图像结构方法无法推导物体复杂轮廓结构的问题;
本发明的一种数据驱动的物体图像修复系统及方法,通过带标注的物体图像数据库作为数据驱动,克服了当缺失区域无法再原图进行采样修复时,现有的基于原图的图像修复方法无法得到较好修复效果的问题;
本发明的一种数据驱动的物体图像修复系统及方法,通过物体形状引导的纹理修复方法,使得物体外部的修复区域纹理按热扩散的方式从背景向物体边缘方向扩散,很好地抑制了现有纹理修复算法容易将物体内部纹理扩散到背景中造成杂色和人工修复痕迹的问题:
本发明的一种数据驱动的物体图像修复系统及方法,专注于物体图像的修复工作,这是现有图像修复方法所忽略的重要的一类图像的修复(现有算法多关注移除物体之后的背景自然纹理图像的修复);
本发明的一种数据驱动的物体图像修复系统及方法,通过人机交互的方式,使系统根据用户需要修复物体形状,并且可以通过指定不同的形状轮廓生成不同外形的修复结果。
附图说明
图1为本发明的数据驱动的物体图像修复系统整体模块框图;
图2为本发明的数据驱动的物体图像修复方法整体流程图;
图3为本发明的数据驱动的物体图像修复方法结构修复流程图;
图4为本发明的数据驱动的物体图像修复方法物体内部纹理修复流程图;
具体实施方式
以下结合附图和实施例对本发明做进一步说明,但并不对本发明造成任何限制。
实施例1
如图1所示,一种数据驱动的物体图像修复系统,包括依次连接的用户交互模块、物体匹配模块、形状修复模块、纹理修复模块和后处理模块以及独立作为数据准备与预处理的物体图像数据库和数据库标注模块;
所述用户交互模块承担着作为该系统人机交互接口的职责,接受输入为待修复的图像和用户的人机交互操作。用户通过交互模块,借助鼠标或者数位板等外部输入设备,在图像上以涂鸦的方式标出待修复的区域,并且描出物体的轮廓,该轮廓包括了已知图像区域物体的轮廓和修复区域中用户希望修复的轮廓。该模块输出为修复区域的二值掩膜(1为待修复区域,0为已知图像区域),细化过的宽度为1个像素点的待修复物体轮廓的二值掩膜(1为物体轮廓,0为非物体轮廓);
所述物体匹配模块,接受输入为待修复图像,待修复物体轮廓的二值掩膜和带标注的物体图像数据库。物体匹配模块采用Shape Context形状描述子对待修复物体轮廓和数据库中各个物体的轮廓进行描述并进行比较,在形状筛选阶段,挑选出于待修复物体轮廓相似程度大于经验阈值ε的图像。通过物体轮廓,统计物体内部颜色直方图,通过巴氏系数衡量颜色直方图的分布情况,在第一轮筛选出来的图像中,找到颜色最相似的匹配图像。该模块的输出为图像数据库中的匹配图像和该匹配图像的轮廓标注。所述轮廓标注也是表示图像中物体轮廓的二值图像;
所述的形状修复模块,接受输入为待修复物体图像、待修复物体轮廓的二值掩膜、匹配物体图像、匹配物体轮廓的二值掩膜。形状修复模块首先在匹配物体图像的轮廓上对纹理和轮廓线结构信息进行分块级别的采样形成纹理样本字典和结构样本字典。接着通过求全局最优解的方式,得到如何将样本字典中样本分块合成到对应的待修复轮廓线上的样本分配方案。最后采用纹理合成技术将样本分块合成到待修复轮廓线上,并将待修复区域掩膜中轮廓线上修复过的区域设为0。形状修复模块的输出为经过形状修复的物体图像和经过形状修复的修复区域二值掩膜;
所述的纹理修复模块,接受输入为经过形状修复的物体和经过形状修复的修复区域二值掩膜。修复区域可分为物体内部区域和物体外部区域。对于物体内部区域在梯度值越大大越优先修复的优先度图引导下进行基于范例的纹理修复方法,利用物体内部纹理进行修复。对于物体外部区域则在修复内部区域纹理的采用的优先度图的基础上,加上物体形状作为引导,使背景轮廓逐层往物体轮廓边缘扩散,在每一层扩散的同时又保持梯度值越大越优先的顺序。纹理修复模块的输出为最终修复结果。
所述的数据后处理模块,接受输入为纹理修复模块输出的最终修复结果,用于消除物外部边界的杂色等人工修复痕迹,改善修复效果。采用软修边技术,对物体边缘做半透明软分割处理。后处理模块输出为改善后的最终修复效果。
上述数据驱动的物体图像修复系统的工作流程为:
1)用户通过数据库标注模块,为数据库中的物体图像标注物体的轮廓,该标注工作只需进行一次,下次利用该数据库进行物体图像修复时,可以继续利用此次标注;
2)用户通过交互模块,标注待修复物体图像的修复区域和待修复物体的轮廓;
3)形状修复模块修复待修复物体图像的形状;
4)纹理修复模块修复待修复物体图像经过步骤三之后剩余的修复区域的纹理;
5)数据后处理模块对经过步骤四之后的修复结果进行修复效果改善。
实施例2
本实施例与实施例1不同之处还在于,如图2所示,一种数据驱动的物体图像修复方法框架包括以下步骤:
1)数据预处理:该步骤需要物体图像数据库、数据库标注模块的参与和用户人机交互操作的干预。用户通过标注模块,在图像上标注出物体的轮廓,并生成轮廓的二值掩膜,如果图像数据库已经被标注过,可以直接跳转至步骤2);
2)轮廓与修复区域的标示:该步骤需要用户交互模块的参与和用户人机交互操作的干预。用户使用鼠标等外部设备,在待修复图像上标示出修复区域和待修复物体的轮廓;
3)物体匹配:该步骤需要物体图像数据库、物体匹配模块的参与,不需要人工干预。通过第一层形状筛选,第二层颜色、纹理筛选,从数据库中找到与待修复目标最相似的匹配图像;
4)形状修复:该步骤需要形状修复模块的参与。如图3所示:首先在匹配图像的物体轮廓上,找到对应于待修复物体缺失部位的轮廓并以分块级别对纹理和轮廓结构信息进行采样构造样本字典。在待修复轮廓上,按二分之一分块宽度的间隔取一系列锚点,通过求全局最优解的方式,为每一个锚点选取最优的样本分块,使得相邻分块的重叠部分颜色最连续,使得分块与锚点出结构最一直,使得分块与已知图像区域重叠部分颜色最连续。然后通过纹理融合技术将样本分块融合到对应锚点处;
5)纹理修复:该步骤需要纹理修复模块的参与。这是一个迭代的,逐步求局部最优解的过程。对于物体内部纹理,如图4所示,首先找出修复区域边缘的所有点并计算这些点的优先度(梯度、置信度越高优先度越高),确定优先度最高的点作为修复目标点;接着在物体内部,以分块大小搜索与目标点出已知图像颜色最一直的分块作为样本;然后将样本分块合成到目标点上;在重新找出修复区域边缘的所有点进行下次迭代,直到修复区域为0.对于物体外部纹理,则在此优先度的基础上,将物体外部的修复区域进行分层,然后逐层从外往内修复纹理,每一层都采用与修复物体内部纹理同样的修复策略进行修复;
6)数据后处理:通过软修边技术,即物体边缘不在是非物体即背景的硬分割策略,而是通过透明分割,使得物体边缘更好地融合到背景纹理中,改善了修复效果。
实施例3
本实施例除了具备实施例1、2中的方法外,还包括如图3所示:数据驱动的物体图像修复方法结构修复流程图包括以下步骤:
1)数据预处理:该步骤需要物体图像数据库、数据库标注模块的参与和用户人机交互操作的干预,独立分开两边执行,在待修复轮廓上取一系列描点,在匹配物体图像上找到对应的待修复物体确实部分的轮廓片段,在轮廓片段上以分块级别对纹理信息和轮廓结构信息进行采样组建样本字典。
2)将以上两者结合,通过全局最优解的方法为每个描点选取满足约束条件的最优样本分块。
3)将样本分块合成到描点上,完成结构修复流程。
实施例四:
本实施例除了包括实施例1、2、3描述的方法外,还包括如图4所示:数据驱动的物体图像修复方法物体内部纹理修复流程图的以下步骤:
1)输入图像,对图像进行检测修复区域像素点数是否为0,为零则直接结束命令,不为0则进行下一步骤;
2)找到修复区域边缘的像素点并计算点的优先度;
3)确定优先度最高的点为修复的目标点;
4)在物体内部以分块级别搜索与目标点分块区域中颜色最相似的分块作为最优样本分块;
5)将样本合成到目标分块中,重复步骤2,选择是否结束命令。
本发明通过人机交互的方式,利用人类高级感知能力克服了现有图像修复算法中采用的启发式推导图像结构方法无法推导物体复杂轮廓结构的问题本发明的一种数据驱动的物体图像修复系统及方法,通过带标注的物体图像数据库作为数据驱动,克服了当缺失区域无法再原图进行采样修复时,现有的基于原图的图像修复方法无法得到较好修复效果的问题;通过物体形状引导的纹理修复方法,使得物体外部的修复区域纹理按热扩散的方式从背景向物体边缘方向扩散,很好地抑制了现有纹理修复算法容易将物体内部纹理扩散到背景中造成杂色和人工修复痕迹的问题:本发明的一种数据驱动的物体图像修复系统及方法,专注于物体图像的修复工作,这是现有图像修复方法所忽略的重要的一类图像的修复(现有算法多关注移除物体之后的背景自然纹理图像的修复);且通过人机交互的方式,使系统根据用户需要修复物体形状,并且可以通过指定不同的形状轮廓生成不同外形的修复结果。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。

Claims (10)

1.一种数据驱动的物体图像修复系统,其特征在于:包括依次连接的用户交互模块、物体匹配模块、形状修复模块、纹理修复模块和后处理模块以及独立作为数据准备与预处理的物体图像数据库和数据库标注模块;
所述用户交互模块采用鼠标或数位板作为输入外设,用于在修复图片上标示修复区域和待修复物体的轮廓;
所述物体匹配模块用于将用户标示的待修复物体轮廓在带标注的物体图像数据库中搜索具有最相似轮廓和颜色的物体的匹配图像;
所述形状修复模块利用轮廓匹配模块搜索到的匹配图像,在匹配图像的轮廓上按固定分块大小对纹理和结构信息进行采样组成样本字典,通过求全局最优解的方法在样本字典中寻找最优样本分块通过纹理合成技术合成到待修复物体的轮廓上完成形状修复;所述纹理修复模块用于对形状修复后剩余的物体内部、物体外部待修复区域,采用优先度引导的贪婪修复算法(即每修复一个图像分块时,都全局搜索一个最优的样本分块)进行纹理修复;
所述后处理模块用于对纹理修复后的结果在物体边缘进行修边操作,消除人工修复痕迹;
所述带标注的物体图像数据库为轮廓匹配模块寻找具有与待修复物体相似轮廓图像提供数据集,数据集中包括物体图像和标注对应图像中物体轮廓的掩膜图像;
所述数据库标注模块用于人工对图像数据库中的物体图像进行轮廓标注并生成掩膜图像。
2.根据权利要求1所述的所述用户交互模块,其特征在于:通过采用人工干预的智能前背景分离技术,可对待修复物体轮廓实现半自动化标示,即用户通过拖拽一个矩形选框包围住目标物体就能自动发现物体轮廓并进行标示,降低用户标示待修复物体轮廓工作的复杂性;
3.根据权利要求1所述的物体匹配模块,其特征在于:通过增加对物体纹理的分析,可实现在带标注图像数据库中,通过轮廓匹配、颜色匹配、纹理匹配等技术,搜索轮廓、颜色、纹理与待修复图像最相似的匹配图像;
4.根据权利要求3所述的轮廓匹配,通过采用自包含的、尺度无关的轮廓描述子对每一个轮廓进行描述,并且使用该描述子可以对两个轮廓的相似度进行量化,使得物体匹配模块能够通过该描述子找到与待修复物体轮廓相似度最高的匹配图像;
5.根据权利要求4所述的匹配图像,用于采样组建样本字典作为形状修复模块的输入,由于所述轮廓匹配方法采用的是尺度无关的技术,当匹配图像与待修复物体尺寸不同时,会影响修复效果,此时可以通过对匹配图像进行缩放,寻找最优的缩放尺寸;
6.根据权利要求1所述的形状修复模块,通过在待修复轮廓上构建马尔科夫随机场并定义一个能量方程,约束随机场每一个节点上的图像分块满足分块之间颜色连续、每个节点上的分块与该节点的结构信息一致,将形状修复问题转换成随机场各节点的标号问题(每个标号对应样本字典中的一个样本分块),并求解使得能量方程达到最小的标号方案,再将对应标号的样本分块通过纹理合成技术合成到待修复轮廓上完成形状修复;采用寻找最优分割的方法,在两个相邻分块的重叠部分找到一条颜色差异最小的路径,通过这条路径进行分块分割并融合,消除直接覆盖分块造成的人工修复痕迹;
7.根据权利要求1所述的纹理修复模块,采用的是逐步求局部最优解的贪婪算法,这种方法能很好修复自然纹理,但是对强规则性的纹理,例如斑马条纹,的修复效果比较一般。这里可以采用其他求解全局最优的修复方法,例如基于马尔科夫随机场的修复方法,改善修复效果。
8.根据权利要求1所述的数据库标注模块可以通过基于学习的物体轮廓识别技术,通过输入一类物体的一个手绘轮廓模型,自动在数据库的各张图像中,找到该类物体的轮廓,并自动标注生成轮廓掩膜图像。
9.一种数据驱动的物体图像修复方法框架,其特征在于包括以下步骤:
1)数据预处理:对图像数据库中的物体图像进行标注,即人工标注图像中物体的轮廓,生成轮廓掩膜,完成图像数据库的标注工作;
2)轮廓与修复区域的标示:用户通过人机交互方式,在待修复的图片上标出修复区域和待修复物体的轮廓,该轮廓沿着物体与背景的边界,从原图区域延伸至修复区域;
3)物体匹配:通过步骤2)中用户交互画出的物体轮廓,和物体区域上的颜色、纹理信息,在带标注的物体图像数据库中找到轮廓、颜色、纹理最相似的匹配图像;、
4)形状修复:在步骤3)获得的匹配图像上进行采样,完成待修复物体缺失部分的形状修复;
5)纹理修复:形状修复之后,物体轮廓上的纹理将修复区域划分成物体内外子区域,纹理修复步骤用原图纹理信息做样本,填满剩余的修复区域;
6)数据后处理:通过软修边技术,消除物体边缘的杂色等人工修复痕迹。
10.根据权利要求9所述的一种数据驱动的物体图像修复方法框架,其特征在于:所述3)中,所述物体匹配主要分成两阶段筛选:第一阶段通过轮廓匹配,从图像数据库中筛选出与待修复物体轮廓相似程度大于经验阈值ε的图像;第二阶段以第一阶段筛选出来的图像作为输入,并搜索与待修复物体颜色、纹理最相似的匹配图像。二层筛选的目的是避免将综合三个特征选择匹配图像时,特征之间相互制约得到轮廓、颜色、纹理都不与待修复物体相似的匹配图像。
CN201210274489.2A 2012-08-02 2012-08-02 一种数据驱动的物体图像修复系统及方法 Expired - Fee Related CN102831584B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210274489.2A CN102831584B (zh) 2012-08-02 2012-08-02 一种数据驱动的物体图像修复系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210274489.2A CN102831584B (zh) 2012-08-02 2012-08-02 一种数据驱动的物体图像修复系统及方法

Publications (2)

Publication Number Publication Date
CN102831584A true CN102831584A (zh) 2012-12-19
CN102831584B CN102831584B (zh) 2015-04-22

Family

ID=47334701

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210274489.2A Expired - Fee Related CN102831584B (zh) 2012-08-02 2012-08-02 一种数据驱动的物体图像修复系统及方法

Country Status (1)

Country Link
CN (1) CN102831584B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103218785A (zh) * 2013-04-19 2013-07-24 中国科学院深圳先进技术研究院 图像修复方法和装置
CN106157255A (zh) * 2015-04-20 2016-11-23 宋云波 3d画照片自动修复方法
CN106339691A (zh) * 2016-09-07 2017-01-18 四川天辰智创科技有限公司 对物体进行标注的方法及装置
CN107957750A (zh) * 2017-12-15 2018-04-24 广东欧珀移动通信有限公司 电子装置、截图方法及相关产品
CN108111976A (zh) * 2017-12-20 2018-06-01 北京航空航天大学 一种WiFi信号指纹数据优化方法及装置
CN109872277A (zh) * 2017-12-04 2019-06-11 北京京东尚科信息技术有限公司 信息处理方法和装置
CN111145092A (zh) * 2019-12-16 2020-05-12 华中科技大学鄂州工业技术研究院 一种腿部表面红外血管图像的处理方法及装置
CN111259772A (zh) * 2020-01-13 2020-06-09 广州虎牙科技有限公司 图像标注方法、装置、设备和介质
CN111340878A (zh) * 2020-05-15 2020-06-26 支付宝(杭州)信息技术有限公司 图像处理方法以及装置
CN112488942A (zh) * 2020-12-02 2021-03-12 北京字跳网络技术有限公司 修复图像的方法、装置、设备和计算机可读介质
WO2021159925A1 (zh) * 2020-02-14 2021-08-19 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备、计算机可读存储介质

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
A. CRIMINISI ET AL: "Object Removal by Exemplar-Based Inpainting", 《PROCEEDINGS OF 2003 IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
CARSTEN ROTHER ET AL: "GrabCut" — Interactive Foreground Extraction using Iterated Graph Cuts", 《ACM TRANSACTIONS ON GRAPHICS》 *
JIAN SUN ET AL: "Image Completion with Structure Propagation", 《ACM TRANSACTIONS ON GRAPHICS》 *
S. BELONGIE ET AL: "Shape matching and object recognition using shape contexts", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
VITTORIO FERRARI ET AL: "Object Detection by Contour Segment Networks", 《ECCV 2006》 *
VIVEK KWATRA ET AL: "Graphcut Textures: Image and Video Synthesis Using Graph CutsGraphcut Textures: Image and Video Synthesis Using Graph Cuts", 《ACM TRANSACTIONS ON GRAPHICS》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103218785A (zh) * 2013-04-19 2013-07-24 中国科学院深圳先进技术研究院 图像修复方法和装置
CN103218785B (zh) * 2013-04-19 2015-10-28 中国科学院深圳先进技术研究院 图像修复方法和装置
CN106157255A (zh) * 2015-04-20 2016-11-23 宋云波 3d画照片自动修复方法
CN106339691A (zh) * 2016-09-07 2017-01-18 四川天辰智创科技有限公司 对物体进行标注的方法及装置
CN109872277A (zh) * 2017-12-04 2019-06-11 北京京东尚科信息技术有限公司 信息处理方法和装置
CN107957750A (zh) * 2017-12-15 2018-04-24 广东欧珀移动通信有限公司 电子装置、截图方法及相关产品
CN107957750B (zh) * 2017-12-15 2020-05-22 Oppo广东移动通信有限公司 电子装置、截图方法及相关产品
CN108111976A (zh) * 2017-12-20 2018-06-01 北京航空航天大学 一种WiFi信号指纹数据优化方法及装置
CN108111976B (zh) * 2017-12-20 2020-06-05 北京航空航天大学 一种WiFi信号指纹数据优化方法及装置
CN111145092A (zh) * 2019-12-16 2020-05-12 华中科技大学鄂州工业技术研究院 一种腿部表面红外血管图像的处理方法及装置
CN111259772A (zh) * 2020-01-13 2020-06-09 广州虎牙科技有限公司 图像标注方法、装置、设备和介质
WO2021159925A1 (zh) * 2020-02-14 2021-08-19 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备、计算机可读存储介质
CN111340878A (zh) * 2020-05-15 2020-06-26 支付宝(杭州)信息技术有限公司 图像处理方法以及装置
CN112488942A (zh) * 2020-12-02 2021-03-12 北京字跳网络技术有限公司 修复图像的方法、装置、设备和计算机可读介质

Also Published As

Publication number Publication date
CN102831584B (zh) 2015-04-22

Similar Documents

Publication Publication Date Title
CN102831584B (zh) 一种数据驱动的物体图像修复系统及方法
CN110853026B (zh) 一种融合深度学习与区域分割的遥感影像变化检测方法
CN109919830B (zh) 一种基于美学评价的带参考人眼图像修复方法
CN102622613B (zh) 一种基于双眼定位和脸型识别的发型设计方法
Liu et al. Nuclei Segmentation via a Deep Panoptic Model with Semantic Feature Fusion.
CN104299263B (zh) 一种基于单幅图像建模云场景的方法
CN103544685B (zh) 一种基于主体调整的图像构图美化方法及系统
CN102800094A (zh) 一种快速彩色图像分割方法
US10540568B2 (en) System and method for coarse-to-fine video object segmentation and re-composition
CN102214355B (zh) 一种服装展示素材的抠图方法
CN104715451B (zh) 一种基于颜色及透明度一致优化的图像无缝融合方法
CN103699900B (zh) 卫星影像中建筑物水平矢量轮廓自动批量提取方法
Zhang et al. Exemplar-based image inpainting using color distribution analysis
CN103456010A (zh) 一种基于特征点定位的人脸卡通画生成方法
CN103839223A (zh) 图像处理方法及装置
CN105469379A (zh) 视频目标区域遮挡方法和装置
CN102324102A (zh) 一种图像场景空洞区域结构和纹理信息自动填补方法
CN110197462A (zh) 一种人脸图像实时美化与纹理合成方法
CN103186904A (zh) 图片轮廓提取方法及装置
CN103793930A (zh) 铅笔画图像生成方法及装置
CN103578085A (zh) 基于可变块的图像空洞区域修补方法
CN102360513B (zh) 基于梯度操作的对象光照迁移方法
CN105915804A (zh) 视频拼接方法及系统
US20150195510A1 (en) Method of integrating binocular stereo video scenes with maintaining time consistency
CN104157002A (zh) 一种基于色彩空间变换的彩色图像纹理力触觉再现方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150422

Termination date: 20210802

CF01 Termination of patent right due to non-payment of annual fee