CN113724143A - 用于图像修复的方法和装置 - Google Patents
用于图像修复的方法和装置 Download PDFInfo
- Publication number
- CN113724143A CN113724143A CN202011030076.0A CN202011030076A CN113724143A CN 113724143 A CN113724143 A CN 113724143A CN 202011030076 A CN202011030076 A CN 202011030076A CN 113724143 A CN113724143 A CN 113724143A
- Authority
- CN
- China
- Prior art keywords
- image
- target image
- reference images
- initial reference
- registered
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000008439 repair process Effects 0.000 claims abstract description 14
- 230000001131 transforming effect Effects 0.000 claims abstract description 10
- 230000004927 fusion Effects 0.000 claims description 4
- 238000001308 synthesis method Methods 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000005022 packaging material Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种用于图像修复的方法。该方法可以包括：获得待修复的目标图像和多幅初始参考图像；基于该多幅初始参考图像中的每一者辅助修复目标图像的适用性来从该多幅初始参考图像中选取多幅参考图像；将该多幅参考图像中的每一者变换为具有与目标图像同一视角的经配准图像；以及组合每一个经配准图像的信息以修复目标图像。此外，本发明还提供了用于图像修复的装置。通过本发明，能够以较小的计算量、准确合理地重构目标图像，修复结果结构准确、纹理自然。
Description
技术领域
本发明涉及图像处理，更具体地，涉及用于图像修复的方法和装置。
背景技术
图像修复技术即按照一定规则，对图像破损区域做出合理猜测，将其恢复为结构连续、纹理自然的完整图像。针对不同的区域缺陷，用不同的修复算法进行处理将得到不一样的效果，因此图像修复领域衍生出了很多优秀的技术。这些修复算法分为经典的传统算法和近几年出现的新型算法两大类：传统算法包括基于偏微分方程的方法、基于纹理合成的方法和基于稀疏表示的方法，新型算法包括深度学习算法和多视图修复算法。
传统图像修复算法在单幅图像的基础上进行研究。由于源区域信息的有限性，在一些纹理性较弱结构性较高的区域出现缺失时，很难在已知信息区域中找到相似纹理的图像块，这类算法在修复大区域缺失的图像时表现得不尽人意，往往存在纹理延伸或大区域模糊的情况。近年来学者们引进深度学习理论利用高层语义信息基于已经积累的先验信息对缺失区域进行修补。深度学习具有强大的表示能力，但是庞大的训练样本可能对于某个特定范围的场景图片取得好的效果，对于该方法的普适性需要进一步展开研究。
而多视图图像修复技术结合多幅与目标图像场景相似但是不同视角的参考图像已知信息，在目标图像和参考视图图像之间匹配兴趣点，将参考视图图像配准至与目标图像同一视角，再提取其中的有用信息组合填充目标图像。目前多视图相关的修复算法大都基于视频序列，选择视频帧相近且视角变化较小的帧图片，或者需要深度图信息辅助修复，导致这类算法具有一定局限性，在只研究彩色图的图像修复算法中，参考视图图像由用户给出，或用视点不变图像搜索法在互联网中自动搜索参考图像。有学者提出用最小全局能量函数在一组配准后图像中搜索与目标图像块相似的块，该算法适用性较广，但是在计算上相当耗时。
相应地，本领域中存在对于适用范围较广、计算量较小且能够准确合理地重构目标图像的图像修复技术的需要。
发明内容
提供本发明内容以便以简化形式介绍将在以下具体实施方式中进一步的描述一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
鉴于以上描述的现有技术中的缺陷，本发明的目的在于，以较小的计算量来高效地修复具有破损区域的图像。
根据本发明的一个方面，提供了一种用于图像修复的方法，该方法可以包括：获得待修复的目标图像和多幅初始参考图像；基于该多幅初始参考图像中的每一者辅助修复目标图像的适用性来从该多幅初始参考图像中选取多幅参考图像；将该多幅参考图像中的每一者变换为具有与目标图像同一视角的经配准图像；以及组合每一个经配准图像的信息以修复目标图像。
根据本发明的另一个方面，提供了一种用于图像修复的装置，该装置可以包括：存储器；以及耦合至该存储器的处理器，其中该处理器被配置成：获得待修复的目标图像和多幅初始参考图像；基于该多幅初始参考图像中的每一者辅助修复目标图像的适用性来从该多幅初始参考图像中选取多幅参考图像；将该多幅参考图像中的每一者变换为具有与目标图像同一视角的经配准图像；以及组合每一个经配准图像的信息以修复目标图像。
根据本发明的又一个方面，提供了一种用于图像修复的装置，该装置可以包括：图像获取模块，其配置成获得待修复的目标图像和多幅初始参考图像；参考图像选取模块，其配置成基于该多幅初始参考图像中的每一者辅助修复目标图像的适用性来从该多幅初始参考图像中选取多幅参考图像；图像配准模块，其配置成将该多幅参考图像中的每一者变换为具有与目标图像同一视角的经配准图像；以及图像组合模块，其配置成组合每一个经配准图像的信息以修复目标图像。
通过采用本发明提供的技术方案，能够以较小的计算量、准确合理地重构目标图像，修复结果结构准确、纹理自然。
通过阅读下面的详细描述并参考相关联的附图，这些及其他特点和优点将变得显而易见。应该理解，前面的概括说明和下面的详细描述只是说明性的，不会对所要求保护的各方面形成限制。
附图说明
为了能详细地理解本发明的上述特征所用的方式，可以参照各实施例来对以上简要概述的内容进行更具体的描述，其中一些方面在附图中示出。然而应该注意，附图仅示出了本发明的某些典型方面，故不应被认为限定其范围，因为该描述可以允许有其它等同有效的方面。
图1解说了根据本发明的各方面的用于图像修复的方法的流程图。
图2解说了根据本发明的各方面的利用参考图像来辅助目标图像修复剩余孔洞的示意图。
图3解说了根据本发明的各方面的用于图像修复的装置的框图。
图4解说了根据本发明的各方面的用于图像修复的装置的硬件实现的示例的框图。
具体实施方式
下面结合附图详细描述本发明，本发明的特点将在以下的具体描述中得到进一步的显现。
如以上提及的，目前基于多视图的图像修复大都基于视频帧序列或结合深度图辅助彩色图像来进行修复，适用范围较窄，而且用户指定或用视点不变图像搜索法选取合适的参考视图图像，选取结果中图像质量不一，或相似度不够高，使得修复结果不够理想。为了能够自动化地得到最适合用于修复目标图像的参考图像，并且在修复剩余孔洞时能够有丰富的可用信息辅助，本发明提出了一种平衡规则以衡量参考图像用于辅助目标图像修复的适用性。其次，在组合参考图像以修复大面积缺失区域后，如果由于视角盲点或图像信息不足而导致还有剩余孔洞待修复，则对于剩余孔洞，本发明充分利用参考图像信息，利用平衡规则选出适用性最高的一副参考图像来辅助修复剩余孔洞，最终能够合理地从粗到细地修复大面积区域缺失的图像。
图1解说了根据本发明的各方面的用于图像修复的方法100的流程图。在一些示例中，方法100可由图3中解说的装置300或图4中解说的装置400来执行。在一些示例中，方法100可由用于执行下述功能或算法的任何合适的设备或装置来执行。
在框110处，方法100可以包括获得待修复的目标图像和多幅初始参考图像。在本发明中，待修复的目标图像可以是指由于某种原因(例如，编解码错误、传输错误、传输过程中出现的干扰等)而存在破损区域(例如，缺失区域)的图像。初始参考图像可以是用于修复目标图像的图像，这些图像可以源自互联网，可以由用户指定或给出，或者可以用视点不变图像搜索法在互联网中自动搜索，等等。
在框120处，方法100可以包括基于该多幅初始参考图像中的每一者辅助修复目标图像的适用性来从该多幅初始参考图像中选取多幅参考图像。在本发明中，适用性可以表示能够提供有效信息以用于修复目标图像的破损区域的程度。适用性越高，则能够提供的有效信息就越丰富。在一个实施例中，可以对所有初始参考图像的适用性进行排序，并且从中选出适用性最高的一组参考图像以用于修复目标图像。例如，可以根据适用性的排序来从初始参考图像中选择适用性最高的5幅参考图像以用于修复目标图像。当然，还可以选择少于或多于5幅参考图像以用于修复目标图像。
在一个实施例中，每一幅初始参考图像辅助修复目标图像的适用性可以基于该幅初始参考图像的图像质量、该幅初始参考图像与目标图像的相似度、以及该幅初始参考图像与目标图像的距离来确定。参考图像的图像质量可以保证配准图像时特征点选择的准确性，模糊的图像会削弱修复图像的质量；与目标图像的相似度可以保证最终修复效果的纹理一致性；而较小的图像距离可以增加配准图像时能够匹配更多数量的特征点，得到更高的配准精度。在一个示例中，可以通过下式来评估参考图像fi辅助修复目标图像ft的适用性S(fi，ft)：
其中s(fi，ft)表示参考图像fi和目标图像ft之间的相似度(例如，该相似度可以用参考图像fi和目标图像ft之间的欧氏距离来衡量)，d(fi，ft)表示参考图像fi和目标图像ft之间的距离(例如，该距离可以用参考图像fi和目标图像ft之间的旋转距离来衡量)，而q(fi)及q(ft)分别表示参考图像fi和目标图像ft的图像质量，用其比例来决定适用于目标图像的参考图像质量，其中w1和w2表示权重参数，为正数，w1+w2＝1(例如，w1取0.4，w2取0.6)。对于图像质量的评估，可以采用基于梯度的计算方法，用梯度算子计算所有像素点的梯度值，统计计算相对较大的梯度所占的比例，较高的比例表示图像有大量的显示边缘，代表图像有较高的清晰度和图像质量。
在框130处，方法100可以包括将所选取的该多幅参考图像中的每一者变换为具有与目标图像同一视角的经配准图像。如本领域技术人员公知的，图像配准的目的在于比较或融合针对同一对象在不同条件下获取的图像(例如，图像可能会来自不同的采集设备，取自不同的时间，不同的拍摄视角等等)。具体而言，对于一组图像数据集中的两幅图像，通过寻找一种空间变换把一幅图像映射到另一幅图像，使得两幅图像中对应于空间同一位置的点一一对应起来，从而达到信息融合的目的。框130处的操作可以采用已知的图像配准方法来实现(例如，基于灰度信息法、变换域法、基于特征法等)。在一个实施例中，框130处的操作可以包括：将每幅参考图像分割为多个平面场景；用尺度不变特征变换SIFT检测器寻找特征匹配点；以及在该多个平面场景中利用多个局部单应性来将该幅参考图像变换为与目标图像同一视角以得到经配准图像。在一个示例中，将每幅参考图像分割为多个平面场景可以简单地基于网格对图像进行分割来实现。以此方式，能够很好地配准整幅图像且不会出现严重的扭曲现象和明显的边缘缝隙。
在框140处，方法100可以包括组合每一个经配准图像的信息以修复目标图像。在一个示例中，可以将经配准图像的与目标图像的破损区域中的特定位置相对应的像素值(例如，平均像素值、加权平均像素值等)添加到目标图像的破损区域中的该特定位置，以用于修复目标图像。在另一个示例中，可以采用已知的图像融合技术来组合每一个经配准图像的信息以修复目标图像。
在又一个示例中，可以根据马尔科夫随机场MRF来组合每一个经配准图像的信息以修复目标图像。例如，将每幅经配准图像设为标签L，为破损区域中每个位置的像素p分配一个标签Lp，标签Lp对应于给像素p分配的经配准图像。使用数据成本项E1(p，Lp)来表示将Lp分配给像素p的成本，而平滑成本项E2(p，q，Lp，Lq)是分别为相邻像素p和q分配标签Lp和Lq的成本，其成本函数如下：
其中φ表示目标区域中掩模区域的所有像素的集合，(p，q)是一对相邻像素，这里使用的是4邻域系统，q表示的是p的4邻域系统中的像素点，而ζ表示掩模区域中所有这些像素对的集合，相邻像素中包含未被遮掩的像素，这些像素也被考虑为总能量的贡献，因为它可以通过平滑成本项作为被遮掩像素的约束。
数据成本项需要满足两个目标，一个是目标图像的掩模区域周围的像素应该和原始目标图像的相似，另一个是掩模区域内部的像素应该与未遮挡的背景信息相似，以避免在图像中插入新的遮挡；而平滑成本项的目的在于鼓励合并少数大区域，而不是多个小区域，确保来自不同参考视图图像的区域边界出现在结构特征不明显的地方。
针对破损区域中每个位置的像素p计算每一个经配准图像的成本函数，然后将对应于这些成本函数中的最小成本函数的经配准图像用于修复该位置的像素p，即，将对应于最小成本函数的经配准图像在该位置处的像素值用作目标图像的相应位置的像素p的像素值。以此方式，逐像素地修复目标图像的破损区域，从而得到经重构的目标图像。
由于不同图像间相同场景的亮度多少会存在差异，而目标图像上缺失区域的所有像素都来自参考图像的平面场景区域，所以修复后的缺失区域与整幅目标图像会存在亮度不一致的现象，即“鬼影”。因此，在方法100的一个可任选步骤中，可以在组合每一个经配准图像的信息以修复目标图像之后进一步采用泊松图像融合技术来处理目标图像，以便对“鬼影现象”进行处理。
一般来说，在执行了方法100的上述步骤之后，已经修复了目标图像的大部分区域。但是，在一些情形中，可能仍有少数剩余孔洞需要修复。为此，在方法100的一个可任选步骤中，可以在组合每一个经配准图像的信息以修复目标图像之后进一步选取该多幅参考图像中具有最高适用性的一幅参考图像，然后基于具有最高适用性的该幅参考图像、使用纹理合成方法来进一步修复目标图像。在一个实施例中，首先，将目标图像的剩余区域缺失的边界设为δφ，缺失区域设为φ，任取边界上一像素点p，以点p为中心，得到图像块Ψp，该图像块的置信项C(p)和数据项D(p)分别定义为：
其中，|Ψp|为图像块Ψp的像素点总数，
为p点的等照度线方向，np为p点的法向量，α为归一化因子。由于置信度随着迭代次数增加会急剧趋近0，数据项在等照度线和法向量垂直时也为0，为了防止这两种情况一项发生就使得优先权为0，可以把图像块Ψp的优先权P(p)定义为：
P(p)＝αC(p)+βD(p) s.t.α+β＝1
计算缺失区域边界上所有像素点对应图像块的优先权，取优先权最大的作为待修复块，然后在目标图像和配准后的参考图像的已知信息区域中，利用差值平方和SSD寻找与待修复块最为匹配的图像块作为对应缺失区域的像素值，如图2所示，x为待修复块，xi是搜索的匹配块。
选出匹配度最高的图像块后，将其对应待修复块缺失像素位置的值复制给待修复块作为其像素值，接下来，更新其破损区域边缘和置信度，从而进一步实现整幅图像缺失区域的修复。
图3解说了根据本发明的各方面的用于图像修复的装置300的框图。装置300可以包括：图像获取模块，其配置成获得待修复的目标图像和多幅初始参考图像；参考图像选取模块，其配置成基于该多幅初始参考图像中的每一者辅助修复目标图像的适用性来从该多幅初始参考图像中选取多幅参考图像；图像配准模块，其配置成将该多幅参考图像中的每一者变换为具有与目标图像同一视角的经配准图像；以及图像组合模块，其配置成组合每一个经配准图像的信息以修复目标图像。
图4解说了根据本发明的各方面的用于图像修复的装置400的硬件实现的示例的框图。装置400可使用包括一个或多个处理器404的处理系统414来实现。处理器404的示例包括微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、状态机、选通逻辑、分立的硬件电路、以及配置成执行本公开通篇描述的各种功能性的其他合适硬件。在各个示例中，装置400可被配置成执行本文中所描述的功能中的任一者或多者。即，如在装置400中利用的处理器404可被用于实现以上参照图1描述的方法。
在该示例中，处理系统414可被实现成具有由总线402一般化地表示的总线架构。取决于处理系统414的具体应用和总体设计约束，总线402可包括任何数目的互连总线和桥接器。总线402将包括一个或多个处理器(由处理器404一般化地表示)、存储器405和计算机可读介质(由计算机可读介质406一般化地表示)的各种电路通信地耦合在一起。总线402还可链接各种其他电路，诸如定时源、外围设备、稳压器和功率管理电路，这些电路在本领域中是众所周知的，且因此将不再进一步描述。总线接口408提供总线402与收发机410之间的接口。收发机410提供用于在传输介质上与各种其他设备进行通信的通信接口或装置。取决于该设备的特性，还可提供用户接口412(例如，按键板、显示器、扬声器、话筒、操纵杆)。当然，此类用户接口412是可任选的，且可在一些示例中被省略。
在一些方面，处理器404可包括被配置成获得待修复的目标图像和多幅初始参考图像；基于该多幅初始参考图像中的每一者辅助修复目标图像的适用性来从该多幅初始参考图像中选取多幅参考图像；将该多幅参考图像中的每一者变换为具有与目标图像同一视角的经配准图像；以及组合每一个经配准图像的信息以修复目标图像。
处理器404负责管理总线402和通用处理，包括对存储在计算机可读介质406上的软件的执行。软件在由处理器404执行时使处理系统414执行针对任何特定设备描述的各种功能。计算机可读介质406和存储器405还可被用于存储由处理器404在执行软件时操纵的数据。
处理系统中的一个或多个处理器404可以执行软件。软件应当被宽泛地解释成意为指令、指令集、代码、代码段、程序代码、程序、子程序、软件模块、应用、软件应用、软件包、例程、子例程、对象、可执行件、执行的线程、规程、函数等，无论其是用软件、固件、中间件、微代码、硬件描述语言、还是其他术语来述及皆是如此。软件可驻留在计算机可读介质406上。计算机可读介质406可以是非瞬态计算机可读介质。作为示例，非瞬态计算机可读介质包括磁存储设备(例如，硬盘、软盘、磁带)、光盘(例如，压缩碟(CD)或数字多用碟(DVD))、智能卡、闪存设备(例如，卡、棒或钥匙型驱动器)、随机存取存储器(RAM)、只读存储器(ROM)、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、寄存器、可移除盘、以及用于存储可由计算机访问和读取的软件和/或指令的其他任何合适介质。计算机可读介质406可驻留在处理系统414中、在处理系统414外部、或跨包括处理系统414的多个实体分布。计算机可读介质406可被实施在计算机程序产品中。作为示例，计算机程序产品可包括封装材料中的计算机可读介质。本领域技术人员将认识到如何取决于具体应用和加诸于整体系统的总体设计约束来最佳地实现本公开通篇给出的所描述的功能性。
在一个或多个示例中，计算机可读存储介质406可包括被配置成用于各种功能(包括例如用于图像修复的功能)的软件。该软件可包括指令，这些指令可将处理系统414配置成执行参照图1所描述的一个或多个功能。
以上对本发明的各方面进行了详细描述，总的来说，本发明适用范围较广，普通的彩色图像即可作为算法输入并且得到较好的修复效果，且能够修复较大面积的区域缺失图像；使用一种平衡规则自动化选择适用性最高的一组参考图像，减少人为干扰，使得用于目标图像修复辅助信息可用性更高；另外，对于剩余孔洞的修复，只使用其中一副适用性最高的参考图像辅助目标图像的修复，不仅减少了计算量，而且准确合理地重构了目标图像，修复结果结构准确纹理自然。
本领域普通技术人员应领会，本发明的各个实施例可提供为方法、装置、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用一个或多个其中存储有计算机可执行程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、装置、系统和计算机程序产品的流程图和/或框图来描述的。应理解，可由计算机程序指令实现流程图和/或框图中的每一个流程和/或方框、以及流程图和/或框图中的流程和/或方框的组合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图中的一个或多个流程和/或框图中的一个或多个方框中指定的功能的装置。
尽管目前为止已经参考附图描述了本发明的各方面，但是上述方法、系统和装置仅是示例，并且本发明的范围不限于这些方面，而是仅由所附权利要求及其等同物来限定。各种组件可被省略或者也可被等同组件替代。另外，也可以在与本发明中描述的顺序不同的顺序实现所述步骤。此外，可以按各种方式组合各种组件。也重要的是，随着技术的发展，所描述的组件中的许多组件可被之后出现的等同组件所替代。对本公开的各种修改对于本领域技术人员将是显而易见的，并且本文中所定义的普适原理可被应用于其他变形而不会脱离本公开的范围。由此，本公开并非被限定于本文中所描述的示例和设计，而是应被授予与本文所公开的原理和新颖特征相一致的最广范围。
Claims (10)
1.一种用于图像修复的方法，包括：
获得待修复的目标图像和多幅初始参考图像；
基于所述多幅初始参考图像中的每一者辅助修复所述目标图像的适用性来从所述多幅初始参考图像中选取多幅参考图像；
将所述多幅参考图像中的每一者变换为具有与所述目标图像同一视角的经配准图像；以及
组合每一个经配准图像的信息以修复所述目标图像。
2.如权利要求1所述的方法，其特征在于，每一幅初始参考图像辅助修复所述目标图像的适用性是基于该幅初始参考图像的图像质量、该幅初始参考图像与所述目标图像的相似度、以及该幅初始参考图像与所述目标图像的距离来确定的。
3.如权利要求1所述的方法，其特征在于，所述多幅参考图像包括5幅参考图像，所述5幅参考图像是所述多幅初始参考图像中具有最高适用性的5幅初始参考图像。
4.如权利要求1所述的方法，其特征在于，组合每一个经配准图像的信息以修复所述目标图像是根据马尔可夫随机场来执行的。
5.如权利要求1所述的方法，其特征在于，将所述多幅参考图像中的每一者变换为具有与所述目标图像同一视角的经配准图像包括：将每幅参考图像分割为多个平面场景；用尺度不变特征变换SIFT检测器寻找特征匹配点；以及在所述多个平面场景中利用多个局部单应性来将该幅参考图像变换为与所述目标图像同一视角以得到经配准图像。
6.如权利要求1所述的方法，其特征在于，所述方法进一步包括：在组合每一个经配准图像的信息以修复所述目标图像之后进一步采用泊松图像融合技术来处理所述目标图像。
7.如权利要求1所述的方法，其特征在于，所述方法进一步包括：在组合每一个经配准图像的信息以修复所述目标图像之后进一步选取所述多幅参考图像中具有最高适用性的一幅参考图像。
8.如权利要求7所述的方法，其特征在于，所述方法进一步包括：基于所述具有最高适用性的一幅参考图像、使用纹理合成方法来进一步修复所述目标图像。
9.一种用于图像修复的装置，所述装置包括：
存储器；以及
耦合至所述存储器的处理器，其中所述处理器被配置成：
获得待修复的目标图像和多幅初始参考图像；
基于所述多幅初始参考图像中的每一者辅助修复所述目标图像的适用性来从所述多幅初始参考图像中选取多幅参考图像；
将所述多幅参考图像中的每一者变换为具有与所述目标图像同一视角的经配准图像；以及
组合每一个经配准图像的信息以修复所述目标图像。
10.一种用于图像修复的装置，所述装置包括：
图像获取模块，其配置成获得待修复的目标图像和多幅初始参考图像；
参考图像选取模块，其配置成基于所述多幅初始参考图像中的每一者辅助修复所述目标图像的适用性来从所述多幅初始参考图像中选取多幅参考图像；
图像配准模块，其配置成将所述多幅参考图像中的每一者变换为具有与所述目标图像同一视角的经配准图像；以及
图像组合模块，其配置成组合每一个经配准图像的信息以修复所述目标图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011030076.0A CN113724143A (zh) | 2020-09-27 | 2020-09-27 | 用于图像修复的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011030076.0A CN113724143A (zh) | 2020-09-27 | 2020-09-27 | 用于图像修复的方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113724143A true CN113724143A (zh) | 2021-11-30 |
Family
ID=78672320
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011030076.0A Pending CN113724143A (zh) | 2020-09-27 | 2020-09-27 | 用于图像修复的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113724143A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114283091A (zh) * | 2021-12-27 | 2022-04-05 | 张世强 | 基于视频融合的电力设备图像恢复系统 |
| WO2023179310A1 (zh) * | 2022-03-21 | 2023-09-28 | 北京有竹居网络技术有限公司 | 图像修复方法、装置、设备、介质及产品 |
-
2020
- 2020-09-27 CN CN202011030076.0A patent/CN113724143A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114283091A (zh) * | 2021-12-27 | 2022-04-05 | 张世强 | 基于视频融合的电力设备图像恢复系统 |
| CN114283091B (zh) * | 2021-12-27 | 2022-08-09 | 国网黑龙江省电力有限公司伊春供电公司 | 基于视频融合的电力设备图像恢复系统 |
| WO2023179310A1 (zh) * | 2022-03-21 | 2023-09-28 | 北京有竹居网络技术有限公司 | 图像修复方法、装置、设备、介质及产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Deep exemplar-based video colorization | |
| Tursun et al. | The state of the art in HDR deghosting: A survey and evaluation | |
| Oliveira et al. | Parametric blur estimation for blind restoration of natural images: Linear motion and out-of-focus | |
| Barnes et al. | Patchtable: Efficient patch queries for large datasets and applications | |
| US8331615B2 (en) | Match, expand, and filter technique for multi-view stereopsis | |
| Lee et al. | Robust exemplar-based inpainting algorithm using region segmentation | |
| Li et al. | Detail-preserving and content-aware variational multi-view stereo reconstruction | |
| Yuan et al. | Image haze removal via reference retrieval and scene prior | |
| US20100128789A1 (en) | Method and apparatus for processing video sequences | |
| CN108961180B (zh) | 红外图像增强方法及系统 | |
| CN105513083B (zh) | 一种ptam摄像机跟踪方法及装置 | |
| Zhang et al. | Motion-free exposure fusion based on inter-consistency and intra-consistency | |
| Fan et al. | Multiscale cross-connected dehazing network with scene depth fusion | |
| CN113724143A (zh) | 用于图像修复的方法和装置 | |
| CN116012232A (zh) | 图像处理方法、装置及存储介质、电子设备 | |
| Abraham et al. | A survey on video inpainting | |
| Tuptewar et al. | Robust exemplar based image and video inpainting for object removal and region filling | |
| Stent et al. | Precise deterministic change detection for smooth surfaces | |
| Lyu et al. | Learning a room with the occ-sdf hybrid: Signed distance function mingled with occupancy aids scene representation | |
| Song et al. | Deep semantic-aware remote sensing image deblurring | |
| Nguyen et al. | High-definition texture reconstruction for 3D image-based modeling | |
| Sasi et al. | Shadow detection and removal from real images: state of art | |
| Turakhia et al. | Automatic crack detection in heritage site images for image inpainting | |
| Hsu et al. | A hybrid algorithm with artifact detection mechanism for region filling after object removal from a digital photograph | |
| Xia et al. | A coarse-to-fine ghost removal scheme for HDR imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220130 Address after: Room 1423, No. 1256 and 1258, Wanrong Road, Jing'an District, Shanghai 200072 Applicant after: Tianyi Digital Life Technology Co.,Ltd. Address before: 201702 3rd floor, 158 Shuanglian Road, Qingpu District, Shanghai Applicant before: Tianyi Smart Family Technology Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240313 Address after: Unit 1, Building 1, China Telecom Zhejiang Innovation Park, No. 8 Xiqin Street, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province, 311100 Applicant after: Tianyi Shilian Technology Co.,Ltd. Country or region after: China Address before: Room 1423, No. 1256 and 1258, Wanrong Road, Jing'an District, Shanghai 200072 Applicant before: Tianyi Digital Life Technology Co.,Ltd. Country or region before: China |
|
| TA01 | Transfer of patent application right |