CN111311521A - 图像修复方法、装置和电子设备 - Google Patents

图像修复方法、装置和电子设备 Download PDF

Info

Publication number
CN111311521A
CN111311521A CN202010169599.7A CN202010169599A CN111311521A CN 111311521 A CN111311521 A CN 111311521A CN 202010169599 A CN202010169599 A CN 202010169599A CN 111311521 A CN111311521 A CN 111311521A
Authority
CN
China
Prior art keywords
repaired
pixel point
area
image
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010169599.7A
Other languages
English (en)
Inventor
孙炎
佟云鹤
史天阔
陈雪
习艳会
毕育欣
王安杰
谭颂超
张小牤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
BOE Technology Group Co Ltd
Original Assignee
Peking University
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University, BOE Technology Group Co Ltd filed Critical Peking University
Priority to CN202010169599.7A priority Critical patent/CN111311521A/zh
Publication of CN111311521A publication Critical patent/CN111311521A/zh
Priority to US17/907,849 priority patent/US20230125649A1/en
Priority to PCT/CN2021/080464 priority patent/WO2021180204A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供一种图像修复方法、装置和电子设备，该方法包括：获取待修复图像的待修复区域，所述待修复图像根据参考图像的深度信息和纹理信息确定；确定所述参考图像中与所述待修复区域匹配的参考块；利用所述参考块对所述待修复区域进行修复，获得合成图像。由于参考图像具有完整的纹理信息，因此，将待修复图像中的待修复区域采用在参考图像中搜索到的匹配参考块中的像素点进行填充，可提高合成图像的合成效果。

Description

图像修复方法、装置和电子设备
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像修复方法、装置和电子设备。
背景技术
随着显示技术的发展和人们对新型显示技术的需求，3D显示技术得到了广泛的关注和应用，3D显示技术的基本原理是：通过视差来使观看者产生一种立体的视觉效果。在观看3D显示内容的过程中，观看着通过在他们的左右眼同时观察到不同的视差图像，从而在他们的大脑中融合产生一个具有深度效果的立体图像。
根据一个摄像机拍摄的图像产生虚拟视点的图像具有节约成本，数据传输量少的优点，现有的技术中，基于深度图的虚拟视点绘制技术(Depth Image Based Rendering，简称DIBR)计算简单、效率高，是目前裸眼3D技术中最主要的多视点合成技术，但通过该方法合成后的视点中会产生大量图像空洞(空洞处的像素值为0)，使得合成图像的合成效果较差。
发明内容
本发明的目的在于提供一种图像修复方法、装置和电子设备，以解决现有的图像合成中，合成图像存在图像空洞，使得图像的合成效果较差的问题。
为了达到上述目的，本发明第一方面提供一种图像修复方法，包括：
获取待修复图像的待修复区域，所述待修复图像根据参考图像的深度信息和纹理信息确定；
确定所述参考图像中与所述待修复区域匹配的参考块；
利用所述参考块对所述待修复区域进行修复，获得合成图像。
进一步的，所述确定所述参考图像中与所述待修复区域匹配的参考块，包括：
确定所述待修复区域的各个待修复像素点的优先级；
获取所述各个待修复像素点中优先级最高的目标像素点，并获得所述待修复区域的以所述目标像素点为中心的第一预设区域；
将所述第一预设区域与所述参考图像的区域进行匹配，并将所述参考图像中与所述第一预设区域匹配的区域作为参考块。
进一步的，所述将所述第一预设区域与所述参考图像的区域进行匹配，并将所述参考图像中与所述第一预设区域匹配上的区域作为参考块，包括：
获取所述参考图像中与所述目标像素点对应的第一参考像素点，并获得所述参考图像的以所述第一参考像素点为中心的第二预设区域；
根据所述第一预设区域和所述第二预设区域，确定第一偏移量矩阵；
对于所述参考图像中的各个第二参考像素点，获得所述参考图像的以所述第二参考像素点为中心的第三预设区域；
根据所述第一预设区域和所述第三预设区域，确定第二偏移量矩阵；
根据所述第一偏移量矩阵和所述第二偏移量矩阵，确定偏移量因子；
获取所述第二参考像素点与所述目标像素点的灰度相似因子；
根据所述偏移量因子和所述灰度相似因子，确定所述第一预设区域与所述第三预设区域的相似度；
在根据所述各个第二参考像素点确定的多个第三预设区域中，将所述相似度最小的预设区域作为所述参考块。
进一步的，所述确定所述待修复区域的各个待修复像素点的优先级，包括：
对于所述待修复区域中的各个待修复像素点，根据所述待修复像素点的单位法向量和梯度值，获取所述待修复像素点的结构因子；
根据所述待修复像素点以及与所述待修复像素点相邻的邻域像素点，确定所述待修复像素点的方向因子；
根据所述结构因子和所述方向因子，确定所述待修复像素点的优先级。
进一步的，在所述获取待修复图像的待修复区域之后，所述确定所述待修复区域的各个待修复像素点的优先级之前，还包括：
获取所述待修复区域的多个像素点；
对于所述多个像素点的各像素点，获取每一像素点的邻域像素点；
若所述像素点的邻域像素点中不属于所述待修复区域的第一像素点个数大于预设阈值，则根据所述第一像素点来对所述像素点进行修复；
将所述多个像素点中未被修复的像素点确定为待修复像素点。
本发明第二方面还提供一种图像修复装置，包括：
第一获取模块，用于获取待修复图像的待修复区域，所述待修复图像根据参考图像的深度信息和纹理信息确定；
第一确定模块，用于确定所述参考图像中与所述待修复区域匹配的参考块；
第二获取模块，用于利用所述参考块对所述待修复区域进行修复，获得合成图像。
进一步的，所述第一确定模块，包括：
确定子模块，用于确定所述待修复区域的各个待修复像素点的优先级；
第一获取子模块，用于获取所述各个待修复像素点中优先级最高的目标像素点，并获得所述待修复区域的以所述目标像素点为中心的第一预设区域；
第二获取子模块，用于将所述第一预设区域与所述参考图像的区域进行匹配，并将所述参考图像中与所述第一预设区域匹配的区域作为参考块。
进一步的，所述第二获取子模块，包括：
第一获取单元，用于获取所述参考图像中与所述目标像素点对应的第一参考像素点，并获得所述参考图像的以所述第一参考像素点为中心的第二预设区域；
第一确定单元，用于根据所述第一预设区域和所述第二预设区域，确定第一偏移量矩阵；
第二获取单元，用于对于所述参考图像中的各个第二参考像素点，获得所述参考图像的以所述第二参考像素点为中心的第三预设区域；
第二确定单元，用于根据所述第一预设区域和所述第三预设区域，确定第二偏移量矩阵；
第三确定单元，用于根据所述第一偏移量矩阵和所述第二偏移量矩阵，确定偏移量因子；
第三获取单元，用于获取所述第二参考像素点与所述目标像素点的灰度相似因子；
第四确定单元，用于根据所述偏移量因子和所述灰度相似因子，确定所述第一预设区域与所述第三预设区域的相似度；
第四获取单元，用于在根据所述各个第二参考像素点确定的多个第三预设区域中，将所述相似度最小的预设区域作为所述参考块。
进一步的，所述确定子模块，包括：
第五获取单元，用于对于所述待修复区域中的各个待修复像素点，根据所述待修复像素点的单位法向量和梯度值，获取所述待修复像素点的结构因子；
第五确定单元，用于根据所述待修复像素点以及与所述待修复像素点相邻的邻域像素点，确定所述待修复像素点的方向因子；
第六确定单元，用于根据所述结构因子和所述方向因子，确定所述待修复像素点的优先级。
进一步的，在所述获取待修复图像的待修复区域之后，所述确定所述待修复区域的各个待修复像素点的优先级之前，还包括：
第三获取模块，用于获取所述待修复区域的多个像素点；
第四获取模块，用于对于所述多个像素点的各像素点，获取每一像素点的邻域像素点；
修复模块，用于若所述像素点的邻域像素点中不属于所述待修复区域的第一像素点个数大于预设阈值，则根据所述第一像素点来对所述像素点进行修复；
第二确定模块，用于将所述多个像素点中未被修复的像素点确定为待修复像素点。
本发明第三方面提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现本发明实施例提供的图像修复方法中的步骤。
本发明实施例还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例提供的图像修复方法中的步骤。
本发明实施例中，获取待修复图像的待修复区域，所述待修复图像根据参考图像的深度信息和纹理信息确定；确定所述参考图像中与所述待修复区域匹配的参考块；利用所述参考块对所述待修复区域进行修复，获得合成图像。由于参考图像具有完整的纹理信息，因此，将待修复图像中的待修复区域采用在参考图像中搜索到的匹配参考块中的像素点进行填充，可提高合成图像的合成效果。
附图说明
图1是本发明实施例提供的图像修复方法的一流程图；
图2是本发明实施例提供的计算模板示意图；
图3为本发明实施例提供的修复角度计算示意图；
图4是本发明实施例提供的图像修复方法的另一流程图；
图5是本发明实施例提供的图像修复装置的一结构图；
图6是本发明实施例提供的电子设备的结构图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
请参见图1，图1是本发明实施例提供的一种图像修复方法的流程图，本实施例提供一种图像修复方法，应用于电子设备，包括以下步骤：
步骤101、获取待修复图像的待修复区域，所述待修复图像根据参考图像的深度信息和纹理信息确定。
根据参考图像的深度信息和纹理信息，合成获得待修复图像，例如，基于DIBR算法，根据参考图像的深度信息和纹理信息，可获得待修复图像。待修复图像由于遮挡等因素会产生空洞，空洞区域的像素值为0。已知参考视点(可理解为参考图像)的纹理图像I，参考视点的深度图像D，得到待修复合成视点I′，p(i,j)为I＇中像素点，确定待修复区域I＇mask为：
I'mask＝∪p(i,j)∈I'p(i,j)＝0
其中，待修复合成视点即为待修复图像，U表示并集。
步骤102、确定所述参考图像中与所述待修复区域匹配的参考块。
参考图像包括深度图像和纹理图像，深度图像包括深度信息，纹理图像包括纹理信息。在本步骤中，具体可在参考图像的纹理图像中进行查找，查找与待修复区域匹配的参考块。待修复区域可有一个或多个区域，若待修复区域有多个区域，那么分别为这多个区域在参考图像中查找匹配的参考块。
步骤103、利用所述参考块对所述待修复区域进行修复，获得合成图像。
利用参考图像中与待修复区域匹配的参考块对待修复区域进行修复，例如，使用参考块中的像素点来对待修复区域的像素点进行填充，获得最终的合成图像。若待修复区域有多个区域，那么可分别采用与各区域匹配的参考块来对对应区域进行修复。由于多个区域之间并无联系，可采用依次修复的方式，例如，可对多个区域进行编号，按照编号依次对这多个区域进行修复，当然，也可以根据实际运算条件，并行对多个区域进行修复，在此不做限定。
由于参考图像具有完整的纹理信息，因此，将待修复图像中的待修复区域采用在参考图像中搜索到的匹配参考块中的像素点进行填充，可提高合成图像的合成效果。
本实施例中，获取待修复图像的待修复区域，所述待修复图像根据参考图像的深度信息和纹理信息确定；确定所述参考图像中与所述待修复区域匹配的参考块；利用所述参考块对所述待修复区域进行修复，获得合成图像。由于参考图像具有完整的纹理信息，因此，将待修复图像中的待修复区域采用在参考图像中搜索到的匹配参考块中的像素点进行填充，可提高合成图像的合成效果。
在本申请一个实施例中，步骤102、确定所述参考图像中与所述待修复区域匹配的参考块，包括：
确定所述待修复区域的各个待修复像素点的优先级；
获取所述各个待修复像素点中优先级最高的目标像素点，并获得所述待修复区域的以所述目标像素点为中心的第一预设区域；
将所述第一预设区域与所述参考图像的区域进行匹配，并将所述参考图像中与所述第一预设区域匹配的区域作为参考块。
本实施例中，确定待修复区域的各个待修复像素点的优先级的方式可灵活选择，例如，将待修复区域边缘位置处的像素点的优先级设置较低，将待修复区域中心位置处的像素点的优先级设置较高。在本实施例中，提供如下确定待修复区域的各个待修复像素点的优先级的方式，包括：
对于所述待修复区域中的各个待修复像素点，根据所述待修复像素点的单位法向量和梯度值，获取所述待修复像素点的结构因子；根据所述待修复像素点以及与所述待修复像素点相邻的邻域像素点，确定所述待修复像素点的方向因子；根据所述结构因子和所述方向因子，确定所述待修复像素点的优先级。
具体的，数据因子可表示为：
Figure BDA0002408720750000071
其中，np为待修复区域中的待修复像素点的单位法向量，
Figure BDA0002408720750000072
为该待修复像素点的梯度值(矢量)，将其旋转90°为
Figure BDA0002408720750000073
即等照度线方向，α为归一化项，对8位(bit)的图片而言，α取255，数据因子中包含结构信息，数据因子又称为结构因子。
根据合成视点(可理解为待修复图像)与参考视点(可理解为参考图像)的位置关系，可判断空洞(可理解为待修复区域)出现在物体的哪个方向，同时考虑空洞是由于在视点合成映射时，前景物体与背景物体偏移量不同导致的，理论上只会出现前景物体遮挡背景物体的情况，空洞部分应该用背景数据进行填充。以左视点映射合成右视点为例，则空洞会出现在物体的右边，因此从空洞的右侧向左侧修复会得到更好的效果。
图2为计算模板，图中的数字为模板系数，图3为修复角度计算示意图，如图3所示，图3的中心点为待修复像素点，给其8邻域按照计算模板中的模板系数赋予权重，则可表示待修复点的256种邻域情况。图3中，网格线填充的像素点代表邻域中的有效像素点，白色填充的像素点代表邻域中空洞像素点，该待修复点的修复方向为45度，修复方向的角度范围为(-180,180]，修复角度A(angle)可根据空洞位置处的系数求和获得。
对于待修复像素点p(i,j)，A为修复方向，且合成视点在参考视点右侧，其方向因子计算公式为：
Figure BDA0002408720750000074
若合成视点在参考视点左侧，其方向因子计算公式为：
Figure BDA0002408720750000081
最后综合考虑，待修复点p(i,j)的优先级计算为：
Priority(p)＝wd*D(p)+wdir*Dir(p)
对于所述待修复区域中的各个待修复像素点，均采用上述方式求取结构因子和方向因子，并根据结构因子和方向因子确定待修复像素点的优先级。
其中，wd与wdir分别为结构因子与方向因子的权重，对同一空洞中的每个待修复像素点都进行上述计算，然后选择该空洞中优先级最大的像素点作为目标像素点。
在确定目标像素点之后，获得待修复区域的以所述目标像素点为中心的第一预设区域，第一预设区域可为K+1*K+1的正方形区域，K的取值可根据实际情况进行设置，例如，K为2。
在确定第一预设区域后，将第一预设区域与参考图像的纹理图像进行匹配，并将所述纹理图像中与所述第一预设区域匹配的区域作为参考块。
本实施例中，先确定待修复区域的第一预设区域，然后在参考图像中查找与第一预设区域匹配的参考块，便于后续利用所述参考块对所述待修复区域进行修复，获得合成图像。由于参考图像具有完整的纹理信息，因此，将待修复图像中的第一预设区域采用在参考图像中搜索到的匹配参考块中的像素点进行填充，可提高合成图像的合成效果。
在本申请一个实施例中，在所述获取待修复图像的待修复区域之后，所述确定所述待修复区域的各个待修复像素点的优先级之前，还包括：
获取所述待修复区域的多个像素点；
对于所述多个像素点的各像素点，获取每一像素点的邻域像素点；
若所述像素点的邻域像素点中不属于所述待修复区域的第一像素点个数大于预设阈值，则根据所述第一像素点来对所述像素点进行修复；
将所述多个像素点中未被修复的像素点确定为待修复像素点。
本实施例中，为降低边缘上空洞像素的数量对修复速度的影响，在确定待修复区域的各个待修复像素点的优先级之前，先除去待修复区域中的细小空洞。
对于修复区域I′mask中的一点pmask(i,j)，其8邻域pneighbour(m,n)中不属于修复区域I′mask点的数量pneighbour_8(i,j)可通过下式进行计算：
Figure BDA0002408720750000091
统计pneighbour_8(i,j)中像素点的数量Nei_num，若Nei_num大于预设阈值(如4个)，则确定pmask(i,j)的邻域有足够多的有效像素，可计算pneighbour_8(i,j)中的众数填充pmask(i,j)点的像素值为：
Figure BDA0002408720750000092
对于多个像素点中的每一个像素点，均采用上述方式进行计算，除去待修复区域中的细小空洞，提高后续对待修复区域的修复速度。
在本申请一个实施例中，所述将所述第一预设区域与所述参考图像的区域进行匹配，并将所述参考图像中与所述第一预设区域匹配上的区域作为参考块，包括：
获取所述参考图像中与所述目标像素点对应的第一参考像素点，并获得所述参考图像的以所述第一参考像素点为中心的第二预设区域；
根据所述第一预设区域和所述第二预设区域，确定第一偏移量矩阵；
对于所述参考图像中的各个第二参考像素点，获得所述参考图像的以所述第二参考像素点为中心的第三预设区域；
根据所述第一预设区域和所述第三预设区域，确定第二偏移量矩阵；
根据所述第一偏移量矩阵和所述第二偏移量矩阵，确定偏移量因子；
获取所述第二参考像素点与所述目标像素点的灰度相似因子；
根据所述偏移量因子和所述灰度相似因子，确定所述第一预设区域与所述第三预设区域的相似度；
在根据所述各个第二参考像素点确定的多个第三预设区域中，将所述相似度最小的预设区域作为所述参考块。
具体的，第一预设区域、第二预设区域和第三预设区域的大小可相同。要使用参考视点中的像素，重建合成视点中的空洞区域，需要先确定参考视点中与空洞区域匹配的参考块。若目标像素点p(i,j)在参考视点中的对应第一参考像素点为q(m,n)，根据目标像素点p(i,j)和第一参考像素点q(m,n)，得到点p相对于点q的偏移量offsetpq＝(i-m,j-n)，同时，也可以得到以p为中心的像素块ppatch(即第一预设区域)与以q为中心的像素块qpatch(即第二预设区域)的偏移量矩阵
Figure BDA0002408720750000101
(即第一偏移量矩阵)。
对于参考视点中的任一像素点(即第二参考像素点)q′，则可得到像素块ppatch和以q′为中心的像素块q′patch(即第三预设区域)的偏移量矩阵
Figure BDA0002408720750000102
(即第二偏移量矩阵)，根据如下表达式计算偏移量因子offset_patchp_qq′：
Figure BDA0002408720750000103
采用绝对误差和算法，对于参考视点中的第二参考像素点q＇与合成视点的目标像素点p的灰度相似因子graypq′，可采用如下表达式计算：
Figure BDA0002408720750000104
进一步的，待修复块ppatch与参考块q′patch的相似度可采用如下表达式计算：
Figure BDA0002408720750000105
其中，wgray与woffset分别为偏移量因子与灰度相似因子的权重，Similaritypq′越小表明像素点q′与像素点p越相近。对于参考图像中的每个第二参考像素点，均经过上述计算，获得对应的参考块与待修复块的相似度，然后利用的Similaritypq′最小的像素块q′patch来填补像素块ppatch内的空洞。
本实施例中，通过分别计算参考图像中根据各个第二参考像素点确定的第三预设区域与第一预设区域的相似度，然后将所述相似度最小的预设区域作为所述参考块，便于后续将待修复图像中的待修复区域采用参考块中的像素点进行填充，以提高合成图像的合成效果。
如图4所示为本申请提供的图像修复方法的一种流程示意图，图4中，基于参考视点的深度信息和纹理信息，利用DIBR算法，获得待修复图像，然后利用参考视点的纹理信息对待修复图像的空洞进行修复，最终获得合成视点的纹理信息。
分别采用传统图像修复Criminisi算法与申请中的修复方法对同一图像进行修复，对于各自的修复结果采用峰值信噪比(Peak Signal to Noise Ratio，简称PSNR)进行评价，根据如下表达式计算：
Figure BDA0002408720750000111
PSNR值越大说明参考图像和合成图像越接近，表1为上述两种修复结果的PSNR值，从表1可以看出，本申请中的修复方法具有明显效果提升。
表1
方法 PSNR/dB
Criminisi算法 27.2
本申请方法 31.1
请参见图5，图5是本发明实施例提供的一种图像修复装置的结构图，如图5所示，图像修复装置500包括：
第一获取模块501，用于获取待修复图像的待修复区域，所述待修复图像根据参考图像的深度信息和纹理信息确定；
第一确定模块502，用于确定所述参考图像中与所述待修复区域匹配的参考块；
第二获取模块503，用于利用所述参考块对所述待修复区域进行修复，获得合成图像。
在本申请一个实施例中，所述第一确定模块502，包括：
确定子模块，用于确定所述待修复区域的各个待修复像素点的优先级；
第一获取子模块，用于获取所述各个待修复像素点中优先级最高的目标像素点，并获得所述待修复区域的以所述目标像素点为中心的第一预设区域；
第二获取子模块，用于将所述第一预设区域与所述参考图像的区域进行匹配，并将所述参考图像中与所述第一预设区域匹配的区域作为参考块。
在本申请一个实施例中，所述第二获取子模块，包括：
第一获取单元，用于获取所述参考图像中与所述目标像素点对应的第一参考像素点，并获得所述参考图像的以所述第一参考像素点为中心的第二预设区域；
第一确定单元，用于根据所述第一预设区域和所述第二预设区域，确定第一偏移量矩阵；
第二获取单元，用于对于所述参考图像中的各个第二参考像素点，获得所述参考图像的以所述第二参考像素点为中心的第三预设区域；
第二确定单元，用于根据所述第一预设区域和所述第三预设区域，确定第二偏移量矩阵；
第三确定单元，用于根据所述第一偏移量矩阵和所述第二偏移量矩阵，确定偏移量因子；
第三获取单元，用于获取所述第二参考像素点与所述目标像素点的灰度相似因子；
第四确定单元，用于根据所述偏移量因子和所述灰度相似因子，确定所述第一预设区域与所述第三预设区域的相似度；
第四获取单元，用于在根据所述各个第二参考像素点确定的多个第三预设区域中，将所述相似度最小的预设区域作为所述参考块。
在本申请一个实施例中，所述确定子模块，包括：
第五获取单元，用于对于所述待修复区域中的各个待修复像素点，根据所述待修复像素点的单位法向量和梯度值，获取所述待修复像素点的结构因子；
第五确定单元，用于根据所述待修复像素点以及与所述待修复像素点相邻的邻域像素点，确定所述待修复像素点的方向因子；
第六确定单元，用于根据所述结构因子和所述方向因子，确定所述待修复像素点的优先级。
在本申请一个实施例中，在所述获取待修复图像的待修复区域之后，所述确定所述待修复区域的各个待修复像素点的优先级之前，还包括：
第三获取模块，用于获取所述待修复区域的多个像素点；
第四获取模块，用于对于所述多个像素点的各像素点，获取每一像素点的邻域像素点；
修复模块，用于若所述像素点的邻域像素点中不属于所述待修复区域的第一像素点个数大于预设阈值，则根据所述第一像素点来对所述像素点进行修复；
第二确定模块，用于将所述多个像素点中未被修复的像素点确定为待修复像素点。
需要说明的是，本实施例中上述图像修复装置500可以实现图1所示实施例中方法实施例中任意实施方式，也就是说，图1所示实施例中方法实施例中的任意实施方式都可以被本实施例中的上述图像修复装置500所实现，以及达到相同的有益效果，此处不再赘述。
请参见图6，图6是本发明实施例提供的一种电子设备的结构图，如图6所示，电子设备600，包括：存储器601、处理器602及存储在所述存储器601上并可在所述处理器602上运行的计算机程序，其中，
所述处理器602用于读取存储器601中的计算程序，执行下列过程：
获取待修复图像的待修复区域，所述待修复图像根据参考图像的深度信息和纹理信息确定；
确定所述参考图像中与所述待修复区域匹配的参考块；
利用所述参考块对所述待修复区域进行修复，获得合成图像。
进一步的，所述处理器602还用于执行：
确定所述待修复区域的各个待修复像素点的优先级；
获取所述各个待修复像素点中优先级最高的目标像素点，并获得所述待修复区域的以所述目标像素点为中心的第一预设区域；
将所述第一预设区域与所述参考图像的区域进行匹配，并将所述参考图像中与所述第一预设区域匹配的区域作为参考块。
进一步的，所述处理器602还用于执行：
获取所述参考图像中与所述目标像素点对应的第一参考像素点，并获得所述参考图像的以所述第一参考像素点为中心的第二预设区域；
根据所述第一预设区域和所述第二预设区域，确定第一偏移量矩阵；
对于所述参考图像中的各个第二参考像素点，获得所述参考图像的以所述第二参考像素点为中心的第三预设区域；
根据所述第一预设区域和所述第三预设区域，确定第二偏移量矩阵；
根据所述第一偏移量矩阵和所述第二偏移量矩阵，确定偏移量因子；
获取所述第二参考像素点与所述目标像素点的灰度相似因子；
根据所述偏移量因子和所述灰度相似因子，确定所述第一预设区域与所述第三预设区域的相似度；
在根据所述各个第二参考像素点确定的多个第三预设区域中，将所述相似度最小的预设区域作为所述参考块。
进一步的，所述处理器602还用于执行：
对于所述待修复区域中的各个待修复像素点，根据所述待修复像素点的单位法向量和梯度值，获取所述待修复像素点的结构因子；
根据所述待修复像素点以及与所述待修复像素点相邻的邻域像素点，确定所述待修复像素点的方向因子；
根据所述结构因子和所述方向因子，确定所述待修复像素点的优先级。
进一步的，所述处理器602还用于执行：
获取所述待修复区域的多个像素点；
对于所述多个像素点的各像素点，获取每一像素点的邻域像素点；
若所述像素点的邻域像素点中不属于所述待修复区域的第一像素点个数大于预设阈值，则根据所述第一像素点来对所述像素点进行修复；
将所述多个像素点中未被修复的像素点确定为待修复像素点。
需要说明的是，本实施例中上述电子设备可以实现图1所示实施例中方法实施例中任意实施方式，也就是说，图1所示实施例中方法实施例中的任意实施方式都可以被本实施例中的上述电子设备所实现，以及达到相同的有益效果，此处不再赘述。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例提供的第一种的图像修复方法(图1所示的图像修复方法)中的步骤。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (12)

1.一种图像修复方法，其特征在于，包括：
获取待修复图像的待修复区域，所述待修复图像根据参考图像的深度信息和纹理信息确定；
确定所述参考图像中与所述待修复区域匹配的参考块；
利用所述参考块对所述待修复区域进行修复，获得合成图像。
2.根据权利要求1所述的方法，其特征在于，所述确定所述参考图像中与所述待修复区域匹配的参考块，包括：
确定所述待修复区域的各个待修复像素点的优先级；
获取所述各个待修复像素点中优先级最高的目标像素点，并获得所述待修复区域的以所述目标像素点为中心的第一预设区域；
将所述第一预设区域与所述参考图像的区域进行匹配，并将所述参考图像中与所述第一预设区域匹配的区域作为参考块。
3.根据权利要求2所述的方法，其特征在于，所述将所述第一预设区域与所述参考图像的区域进行匹配，并将所述参考图像中与所述第一预设区域匹配上的区域作为参考块，包括：
获取所述参考图像中与所述目标像素点对应的第一参考像素点，并获得所述参考图像的以所述第一参考像素点为中心的第二预设区域；
根据所述第一预设区域和所述第二预设区域，确定第一偏移量矩阵；
对于所述参考图像中的各个第二参考像素点，获得所述参考图像的以所述第二参考像素点为中心的第三预设区域；
根据所述第一预设区域和所述第三预设区域，确定第二偏移量矩阵；
根据所述第一偏移量矩阵和所述第二偏移量矩阵，确定偏移量因子；
获取所述第二参考像素点与所述目标像素点的灰度相似因子；
根据所述偏移量因子和所述灰度相似因子，确定所述第一预设区域与所述第三预设区域的相似度；
在根据所述各个第二参考像素点确定的多个第三预设区域中，将所述相似度最小的预设区域作为所述参考块。
4.根据权利要求2所述的方法，其特征在于，所述确定所述待修复区域的各个待修复像素点的优先级，包括：
对于所述待修复区域中的各个待修复像素点，根据所述待修复像素点的单位法向量和梯度值，获取所述待修复像素点的结构因子；
根据所述待修复像素点以及与所述待修复像素点相邻的邻域像素点，确定所述待修复像素点的方向因子；
根据所述结构因子和所述方向因子，确定所述待修复像素点的优先级。
5.根据权利要求2所述的方法，其特征在于，在所述获取待修复图像的待修复区域之后，所述确定所述待修复区域的各个待修复像素点的优先级之前，还包括：
获取所述待修复区域的多个像素点；
对于所述多个像素点的各像素点，获取每一像素点的邻域像素点；
若所述像素点的邻域像素点中不属于所述待修复区域的第一像素点个数大于预设阈值，则根据所述第一像素点来对所述像素点进行修复；
将所述多个像素点中未被修复的像素点确定为待修复像素点。
6.一种图像修复装置，其特征在于，包括：
第一获取模块，用于获取待修复图像的待修复区域，所述待修复图像根据参考图像的深度信息和纹理信息确定；
第一确定模块，用于确定所述参考图像中与所述待修复区域匹配的参考块；
第二获取模块，用于利用所述参考块对所述待修复区域进行修复，获得合成图像。
7.根据权利要求6所述的装置，其特征在于，所述第一确定模块，包括：
确定子模块，用于确定所述待修复区域的各个待修复像素点的优先级；
第一获取子模块，用于获取所述各个待修复像素点中优先级最高的目标像素点，并获得所述待修复区域的以所述目标像素点为中心的第一预设区域；
第二获取子模块，用于将所述第一预设区域与所述参考图像的区域进行匹配，并将所述参考图像中与所述第一预设区域匹配的区域作为参考块。
8.根据权利要求7所述的装置，其特征在于，所述第二获取子模块，包括：
第一获取单元，用于获取所述参考图像中与所述目标像素点对应的第一参考像素点，并获得所述参考图像的以所述第一参考像素点为中心的第二预设区域；
第一确定单元，用于根据所述第一预设区域和所述第二预设区域，确定第一偏移量矩阵；
第二获取单元，用于对于所述参考图像中的各个第二参考像素点，获得所述参考图像的以所述第二参考像素点为中心的第三预设区域；
第二确定单元，用于根据所述第一预设区域和所述第三预设区域，确定第二偏移量矩阵；
第三确定单元，用于根据所述第一偏移量矩阵和所述第二偏移量矩阵，确定偏移量因子；
第三获取单元，用于获取所述第二参考像素点与所述目标像素点的灰度相似因子；
第四确定单元，用于根据所述偏移量因子和所述灰度相似因子，确定所述第一预设区域与所述第三预设区域的相似度；
第四获取单元，用于在根据所述各个第二参考像素点确定的多个第三预设区域中，将所述相似度最小的预设区域作为所述参考块。
9.根据权利要求7所述的装置，其特征在于，所述确定子模块，包括：
第五获取单元，用于对于所述待修复区域中的各个待修复像素点，根据所述待修复像素点的单位法向量和梯度值，获取所述待修复像素点的结构因子；
第五确定单元，用于根据所述待修复像素点以及与所述待修复像素点相邻的邻域像素点，确定所述待修复像素点的方向因子；
第六确定单元，用于根据所述结构因子和所述方向因子，确定所述待修复像素点的优先级。
10.根据权利要求7所述的装置，其特征在于，在所述获取待修复图像的待修复区域之后，所述确定所述待修复区域的各个待修复像素点的优先级之前，还包括：
第三获取模块，用于获取所述待修复区域的多个像素点；
第四获取模块，用于对于所述多个像素点的各像素点，获取每一像素点的邻域像素点；
修复模块，用于若所述像素点的邻域像素点中不属于所述待修复区域的第一像素点个数大于预设阈值，则根据所述第一像素点来对所述像素点进行修复；
第二确定模块，用于将所述多个像素点中未被修复的像素点确定为待修复像素点。
11.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的图像修复方法中的步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的图像修复方法中的步骤。
CN202010169599.7A 2020-03-12 2020-03-12 图像修复方法、装置和电子设备 Pending CN111311521A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010169599.7A CN111311521A (zh) 2020-03-12 2020-03-12 图像修复方法、装置和电子设备
US17/907,849 US20230125649A1 (en) 2020-03-12 2021-03-12 Image inpainting method and electronic device
PCT/CN2021/080464 WO2021180204A1 (zh) 2020-03-12 2021-03-12 图像修复方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010169599.7A CN111311521A (zh) 2020-03-12 2020-03-12 图像修复方法、装置和电子设备

Publications (1)

Publication Number Publication Date
CN111311521A true CN111311521A (zh) 2020-06-19

Family

ID=71153353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010169599.7A Pending CN111311521A (zh) 2020-03-12 2020-03-12 图像修复方法、装置和电子设备

Country Status (3)

Country Link
US (1) US20230125649A1 (zh)
CN (1) CN111311521A (zh)
WO (1) WO2021180204A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111724329A (zh) * 2020-07-03 2020-09-29 北京字节跳动网络技术有限公司 图像的处理方法、装置以及电子设备
CN112348755A (zh) * 2020-10-30 2021-02-09 咪咕文化科技有限公司 图像内容修复方法、电子设备及存储介质
WO2021180204A1 (zh) * 2020-03-12 2021-09-16 京东方科技集团股份有限公司 图像修复方法、装置和电子设备
WO2022155950A1 (zh) * 2021-01-25 2022-07-28 京东方科技集团股份有限公司 虚拟视点合成方法、电子设备和计算机可读介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116934780B (zh) * 2023-09-13 2023-11-24 西南石油大学 一种基于深度学习的电成像测井图像裂缝分割方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104240275A (zh) * 2013-06-13 2014-12-24 深圳深讯和科技有限公司 图像修补方法和装置
CN104837000A (zh) * 2015-04-17 2015-08-12 东南大学 一种利用轮廓感知的虚拟视点合成方法
CN106485672A (zh) * 2016-09-12 2017-03-08 西安电子科技大学 改进的块匹配修复和联合三边导向滤波图像增强方法
CN108648221A (zh) * 2018-05-10 2018-10-12 重庆大学 一种基于混合滤波的深度图空洞修复方法
US20190392632A1 (en) * 2018-06-22 2019-12-26 Electronics And Telecommunications Research Institute Method and apparatus for reconstructing three-dimensional model of object

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103209334B (zh) * 2013-03-18 2015-01-28 中山大学 一种2.5d视频到多视点3d视频中虚拟视点综合和空洞的修补方法
CN106791773B (zh) * 2016-12-30 2018-06-01 浙江工业大学 一种基于深度图像的新视点合成方法
CN111311521A (zh) * 2020-03-12 2020-06-19 京东方科技集团股份有限公司 图像修复方法、装置和电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104240275A (zh) * 2013-06-13 2014-12-24 深圳深讯和科技有限公司 图像修补方法和装置
CN104837000A (zh) * 2015-04-17 2015-08-12 东南大学 一种利用轮廓感知的虚拟视点合成方法
CN106485672A (zh) * 2016-09-12 2017-03-08 西安电子科技大学 改进的块匹配修复和联合三边导向滤波图像增强方法
CN108648221A (zh) * 2018-05-10 2018-10-12 重庆大学 一种基于混合滤波的深度图空洞修复方法
US20190392632A1 (en) * 2018-06-22 2019-12-26 Electronics And Telecommunications Research Institute Method and apparatus for reconstructing three-dimensional model of object

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021180204A1 (zh) * 2020-03-12 2021-09-16 京东方科技集团股份有限公司 图像修复方法、装置和电子设备
CN111724329A (zh) * 2020-07-03 2020-09-29 北京字节跳动网络技术有限公司 图像的处理方法、装置以及电子设备
CN111724329B (zh) * 2020-07-03 2022-03-01 北京字节跳动网络技术有限公司 图像的处理方法、装置以及电子设备
CN112348755A (zh) * 2020-10-30 2021-02-09 咪咕文化科技有限公司 图像内容修复方法、电子设备及存储介质
WO2022155950A1 (zh) * 2021-01-25 2022-07-28 京东方科技集团股份有限公司 虚拟视点合成方法、电子设备和计算机可读介质

Also Published As

Publication number Publication date
WO2021180204A1 (zh) 2021-09-16
US20230125649A1 (en) 2023-04-27

Similar Documents

Publication Publication Date Title
CN111311521A (zh) 图像修复方法、装置和电子设备
CN101902657B (zh) 一种基于深度图分层的虚拟多视点图像的生成方法
CN111325693B (zh) 一种基于单视点rgb-d图像的大尺度全景视点合成方法
CN111047709B (zh) 一种双目视觉裸眼3d图像生成方法
EP2747427B1 (en) Method, apparatus and computer program usable in synthesizing a stereoscopic image
CN108629810B (zh) 双目相机的标定方法、装置及终端
Cho et al. Hole filling method for depth image based rendering based on boundary decision
Xu et al. Depth-aided exemplar-based hole filling for DIBR view synthesis
Richter et al. Robust super-resolution for mixed-resolution multiview image plus depth data
Zhu et al. An improved depth image based virtual view synthesis method for interactive 3D video
Liao et al. Natural image stitching using depth maps
EP2775723A1 (en) Method, apparatus and computer program for generating a multiview image-plus-depth format
CN110149508A (zh) 一种基于一维集成成像系统的阵列图生成及填补方法
WO2022155950A1 (zh) 虚拟视点合成方法、电子设备和计算机可读介质
Zhang et al. Multi-layer and Multi-scale feature aggregation for DIBR-Synthesized image quality assessment
Do et al. Objective quality analysis for free-viewpoint DIBR
Jung et al. Depth map refinement using super-pixel segmentation in multi-view systems
Gu et al. Enhanced DIBR framework for free viewpoint video
Cheng et al. A DIBR method based on inverse mapping and depth-aided image inpainting
Guo et al. Efficient image warping in parallel for multiview three-dimensional displays
CN110580687A (zh) 一种提升生成对抗网络空洞填充质量的数据预处理方法
Vijayanagar et al. Efficient view synthesis for multi-view video plus depth
TWI748426B (zh) 單視角影像深度圖序列生成方法、系統與電腦程式產品
Lee et al. Hole Filling in Image Conversion Using Weighted Local Gradients.
CN115908162B (zh) 一种基于背景纹理识别的虚拟视点生成方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination