CN114549329A - 图像修补方法、设备及介质 - Google Patents

图像修补方法、设备及介质 Download PDF

Info

Publication number
CN114549329A
CN114549329A CN202011307236.1A CN202011307236A CN114549329A CN 114549329 A CN114549329 A CN 114549329A CN 202011307236 A CN202011307236 A CN 202011307236A CN 114549329 A CN114549329 A CN 114549329A
Authority
CN
China
Prior art keywords
image
region
target object
dimensional layout
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011307236.1A
Other languages
English (en)
Inventor
王艺伟
伊红
刘丽艳
王炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to CN202011307236.1A priority Critical patent/CN114549329A/zh
Publication of CN114549329A publication Critical patent/CN114549329A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/49—Analysis of texture based on structural texture description, e.g. using primitives or placement rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

公开了图像修补方法、设备及介质。所述方法包括：分别基于对于同一个空间拍摄得到的第一全景图像和第二全景图像，确定第一组三维布局图和第二组三维布局图，其中第一全景图像和第二全景图像的拍摄位置不同；在第一组三维布局图中，确定目标对象所位于的一张图像作为待修补图像，并且在第二组三维布局图中，确定目标对象所位于的一张图像作为参考图像，其中当拍摄第一全景图像时目标对象在空间中的位置与当拍摄第二全景图像时目标对象在空间中的位置不同；在参考图像中，确定与待修补图像中包含目标对象的区域匹配的、不包含目标对象的经匹配区域；以及通过以参考图像中的经匹配区域替换待修补图像中的包含目标图像的区域，生成经修补图像。

Description

图像修补方法、设备及介质
技术领域
本公开涉及计算机视觉的领域，更具体地说，涉及全景相机视觉的图像修补领域。
背景技术
在全景视觉领域中，在拍摄得到的全景图中，或者在基于全景图转换得到的三维布局图(如，房屋的三维布局)中，常常会出现诸如用于拍摄全景图的相机、意外进入的人等不应属于所拍摄的三维空间的对象。然而，全景图或三维布局图中的这种对象的存在看起来非常突兀。因此，如何删除全景图或三维布局图中的不期望存在的对象在是计算机视觉领域中引起了广泛关注。目前现有的修补方法的问题在于，修补后的区域常常会丢失纹理，且运算量大。
发明内容
鉴于以上情形，期望提供能够恢复细节纹理且处理过程轻量化的图像修补方法、设备和介质。
根据本公开的一个方面，提供了一种图像修补方法，包括：分别基于对于同一个空间拍摄得到的第一全景图像和第二全景图像，确定第一组三维布局图和第二组三维布局图，其中所述第一全景图像和所述第二全景图像的拍摄位置不同，所述第一组三维布局图和所述第二组三维布局图均包括能够体现出所述空间的结构的多张图像；在第一组三维布局图中，确定目标对象所位于的一张图像作为待修补图像，并且在第二组三维布局图中，确定所述目标对象所位于的一张图像作为参考图像，其中当拍摄所述第一全景图像时所述目标对象在所述空间中的位置与当拍摄所述第二全景图像时所述目标对象在所述空间中的位置不同；在所述参考图像中，确定与所述待修补图像中包含目标对象的区域匹配的、不包含所述目标对象的经匹配区域；以及通过以所述参考图像中的经匹配区域替换所述待修补图像中的包含所述目标图像的区域，生成经修补图像。
另外，在根据本公开实施例的方法中，在所述参考图像中，确定与所述待修补图像中包含目标对象的区域匹配的、不包含所述目标对象的经匹配区域，包括：确定所述目标对象在所述待修补图像和所述参考图像中的第一位置和第二位置；分别在所述待修补图像和所述参考图像中，确定包含所述第一位置和所述第二位置的重叠区域，作为第一匹配区域和第二匹配区域；在所述第一匹配区域与所述第二匹配区域之间进行特征点匹配，以确定变换矩阵；基于所述变换矩阵，将所述第二匹配区域变换为第三匹配区域；以及通过在所述第三匹配区域中，去除包含所述目标对象的区域，来生成所述经匹配区域。
另外，在根据本公开实施例的方法中，基于所述第一位置和所述第二位置，分别在所述待修补图像和所述参考图像中，确定包含所述第一位置和所述第二位置的重叠区域，作为第一匹配区域和第二匹配区域，包括：在所述待修补图像中，标注所述第二位置，确定以所述第一位置为中心的第一区域和以所述第二位置为中心的第二区域，并将所述第一区域和所述第二区域的重叠区域作为所述第一匹配区域；以及在所述参考图像中，标注所述第一位置，确定以所述第一位置为中心的第三区域和以所述第二位置为中心的第四区域，并将所述第三区域和所述第四区域的重叠区域作为所述第二匹配区域。
另外，在根据本公开实施例的方法中，确定以所述第一位置为中心的第一区域和以所述第二位置为中心的第二区域，包括：以所述第一位置为中心，以所述第一位置和所述第二位置的连线为对角线方向，且以所述第一位置和所述第二位置之间的距离与第一系数的乘积作为对角线长度的一半，绘制矩形作为所述第一区域；以及以所述第二位置为中心，以所述第一位置和所述第二位置的连线为对角线方向，且以所述第一位置和所述第二位置之间的距离与第二系数的乘积作为对角线长度的一半，绘制矩形作为所述第二区域。
另外，在根据本公开实施例的方法中，在确定经匹配区域之前，进一步包括：对所述待修补图像进行颜色校准。
另外，在根据本公开实施例的方法中，对所述待修补图像进行颜色校准，包括：将所述待修补图像和所述参考图像从RGB颜色空间变换到LAB颜色空间；分别计算所述待修补图像和所述参考图像在LAB颜色空间中每个通道的平均值和方差；基于所述待修补图像在LAB颜色空间中每个通道的平均值和方差，对所述待修补图像在LAB颜色空间中每个通道的值进行归一化；基于所述参考图像在LAB颜色空间中每个通道的平均值和方差，对所述待修补图像在LAB颜色空间中每个通道的归一化的值进行去归一化；以及将去归一化后的待修补图像从LAB颜色空间变换回RGB颜色空间。
另外，在根据本公开实施例的方法中，在生成经修补图像之后，进一步包括：基于所述经修补图像和所述第一组三维布局图中的其他图像，生成经修补的第一全景图。
根据本公开的另一方面，提供了一种图像修补设备，包括：转换单元，用于分别基于对于同一个空间拍摄得到的第一全景图像和第二全景图像，确定第一组三维布局图和第二组三维布局图，其中所述第一全景图像和所述第二全景图像的拍摄位置不同，所述第一组三维布局图和所述第二组三维布局图均包括能够体现出所述空间的结构的多张图像；确定单元，用于在第一组三维布局图中，确定目标对象所位于的一张图像作为待修补图像，并且在第二组三维布局图中，确定所述目标对象所位于的一张图像作为参考图像，其中当拍摄所述第一全景图像时所述目标对象在所述空间中的位置与当拍摄所述第二全景图像时所述目标对象在所述空间中的位置不同；匹配单元，用于在所述参考图像中，确定与所述待修补图像中包含目标对象的区域匹配的、不包含所述目标对象的经匹配区域；以及修补单元，用于通过以所述参考图像中的经匹配区域替换所述待修补图像中的包含所述目标图像的区域，生成经修补图像。
另外，在根据本公开实施例的设备中，所述匹配单元被配置为执行以下处理：确定所述目标对象在所述待修补图像和所述参考图像中的第一位置和第二位置；分别在所述待修补图像和所述参考图像中，确定包含所述第一位置和所述第二位置的重叠区域，作为第一匹配区域和第二匹配区域；在所述第一匹配区域与所述第二匹配区域之间进行特征点匹配，以确定变换矩阵；基于所述变换矩阵，将所述第二匹配区域变换为第三匹配区域；以及通过在所述第三匹配区域中，去除包含所述目标对象的区域，来生成所述经匹配区域。
另外，在根据本公开实施例的设备中，所述匹配单元进一步被配置为通过执行以下处理来确定第一匹配区域和第二匹配区域：在所述待修补图像中，标注所述第二位置，确定以所述第一位置为中心的第一区域和以所述第二位置为中心的第二区域，并将所述第一区域和所述第二区域的重叠区域作为所述第一匹配区域；以及在所述参考图像中，标注所述第一位置，确定以所述第一位置为中心的第三区域和以所述第二位置为中心的第四区域，并将所述第三区域和所述第四区域的重叠区域作为所述第二匹配区域。
另外，在根据本公开实施例的设备中，所述匹配单元进一步被配置为通过执行以下处理来确定以所述第一位置为中心的第一区域和以所述第二位置为中心的第二区域：以所述第一位置为中心，以所述第一位置和所述第二位置的连线为对角线方向，且以所述第一位置和所述第二位置之间的距离与第一系数的乘积作为对角线长度的一半，绘制矩形作为所述第一区域；以及以所述第二位置为中心，以所述第一位置和所述第二位置的连线为对角线方向，且以所述第一位置和所述第二位置之间的距离与第二系数的乘积作为对角线长度的一半，绘制矩形作为所述第二区域。
另外，根据本公开实施例的设备可以进一步包括：颜色校准单元，用于对所述待修补图像进行颜色校准。
另外，在根据本公开实施例的设备中，所述颜色校准单元被配置为执行以下处理：将所述待修补图像和所述参考图像从RGB颜色空间变换到LAB颜色空间；分别计算所述待修补图像和所述参考图像在LAB颜色空间中每个通道的平均值和方差；基于所述待修补图像在LAB颜色空间中每个通道的平均值和方差，对所述待修补图像在LAB颜色空间中每个通道的值进行归一化；基于所述参考图像在LAB颜色空间中每个通道的平均值和方差，对所述待修补图像在LAB颜色空间中每个通道的归一化的值进行去归一化；以及将去归一化后的待修补图像从LAB颜色空间变换回RGB颜色空间。
另外，根据本公开实施例的设备可以进一步包括：反转换单元，用于基于所述经修补图像和所述第一组三维布局图中的其他图像，生成经修补的第一全景图。
根据本公开的又一方面，提供了一种图像修补设备，包括：存储器，用于在其上存储计算机程序；以及处理器，用于当执行所述计算机程序时，实现如下处理：分别基于对于同一个空间拍摄得到的第一全景图像和第二全景图像，确定第一组三维布局图和第二组三维布局图，其中所述第一全景图像和所述第二全景图像的拍摄位置不同，所述第一组三维布局图和所述第二组三维布局图均包括能够体现出所述空间的结构的多张图像；在第一组三维布局图中，确定目标对象所位于的一张图像作为待修补图像，并且在第二组三维布局图中，确定所述目标对象所位于的一张图像作为参考图像，其中当拍摄所述第一全景图像时所述目标对象在所述空间中的位置与当拍摄所述第二全景图像时所述目标对象在所述空间中的位置不同；在所述参考图像中，确定与所述待修补图像中包含目标对象的区域匹配的、不包含所述目标对象的经匹配区域；以及通过以所述参考图像中的经匹配区域替换所述待修补图像中的包含所述目标图像的区域，生成经修补图像。
根据本公开的再一方面，提供了一种计算机可读记录介质，其上存储有计算机程序，当由处理器执行所述计算机程序时，执行上文中所述的方法。
在根据本公开的图像修补方法、设备和介质中，通过使用在不同拍摄位置处拍摄得到的、目标对象位于同一空间的不同位置处的参考图像来对待修补图像中的包含目标对象的区域进行修补，能够在去除目标对象的同同时，仍然保留原有的细节纹理，从而使得经修补图像完全看不出修补过的痕迹且更加自然。另外，所述图像修补方法中涉及的计算量小，且可以保持处理过程的轻量化。此外，通过在修补处理之前预先使用参考图像对待修补图像进行颜色校准，可以保持待修补图像与参考图像之间的颜色一致性，避免出现经修补图像中出现颜色差异而导致修补不自然的情况。
附图说明
图1是图示根据本公开的实施例的图像修补方法的过程的流程图；
图2示出了通过对一个房间进行全景拍摄而得到的等矩柱状投影图的一种示例；
图3示出了基于一组三维布局图恢复出的一部分房间结构的示意图；
图4A和图4B分别示出了待修补图像和参考图像的示例；
图5是图示根据本公开的实施例的匹配处理的具体过程的流程图；
图6A和图6B分别是示出了根据一种实施方式的、在待修补图像和参考图像中确定第一匹配区域和第二匹配区域的示意图；
图7示出了以参考图像中的经匹配区域替换待修补图像中的包含所述目标图像的区域的示意图；
图8A和图8B示出了待修补图像和经修补图像的对比图
图9是图示根据本公开实施例的颜色校准处理的过程的流程图；
图10是图示根据本公开的实施例的图像修补设备的配置的功能性框图；以及
图11示出了根据本公开实施例的一种示例性的计算设备的架构的示意图。
具体实施方式
下面将参照附图对本发明的各个优选的实施方式进行描述。提供以下参照附图的描述，以帮助对由权利要求及其等价物所限定的本发明的示例实施方式的理解。其包括帮助理解的各种具体细节，但它们只能被看作是示例性的。因此，本领域技术人员将认识到，可对这里描述的实施方式进行各种改变和修改，而不脱离本发明的范围和精神。而且，为了使说明书更加清楚简洁，将省略对本领域熟知功能和构造的详细描述。
首先，将参照图1描述根据本公开实施例的图像修补方法，用于去除目标对象。如图1所示，所述方法包括以下步骤。
首先，在步骤S101，分别基于对于同一个空间拍摄得到的第一全景图像和第二全景图像，确定第一组三维布局图和第二组三维布局图。
其中，所述第一全景图像和所述第二全景图像的拍摄位置不同。例如，所述第一全景图像是将全景相机放置于所述空间(例如，所述空间可以为特定的房间)中的第一拍摄位置而得到的，而所述第二全景图像是将全景相机放置于所述空间中的第二拍摄位置而得到的。此外，所述第一组三维布局图是基于所述第一全景图像而生成的，且所述第二组三维布局图是基于所述第二全景图像而生成的。并且，所述第一组三维布局图和所述第二组三维布局图均包括能够体现出所述空间的结构的多张图像。
例如，全景图像可以是柱状全景图。可以通过包含两个鱼眼镜头的全景相机(例如，理光公司的Theta全景相机)来获取一个空间的两张鱼眼图(例如，对应于360度空间)。然后，通过对这两张鱼眼图进行诸如投影变换等的处理，得到等矩柱状投影图，作为全景图像。图2示出了通过对一个房间进行全景拍摄而得到的等矩柱状投影图的一种示例。当然，本公开并不仅限于此。本领域的技术人员可以理解，任何其他类型的全景图像也可以类似地应用于本公开，且应该包括在本公开的范围内。
另外，基于全景图像，可以得到所述空间的一组三维布局图。例如，可以通过对全景图像进行角点检测、线段提取、平面分割等处理，来获取用于重建空间内的三维结构的一组三维布局图。具体地，一组三维布局图可以包括所述空间的六个面片图。通过这六个面片图，可以恢复所述空间的三维结构。图3示出了基于一组三维布局图恢复出的一部分房间结构的示意图。
然后，返回参照图1，在步骤S102，在第一组三维布局图中，确定目标对象所位于的一张图像作为待修补图像，并且在第二组三维布局图中，确定所述目标对象所位于的一张图像作为参考图像。其中，当拍摄所述第一全景图像时所述目标对象在所述空间中的位置与当拍摄所述第二全景图像时所述目标对象在所述空间中的位置不同。
所述目标对象是指不希望出现在所述空间的图像(例如，三维布局图或全景图像)中的物体。例如，所述目标物体可以是用于进行全景拍摄的相机。在图3中，由框300示出了用于执行拍摄的全景相机的位置。可以看出，在图3的示例中，全景相机被放置于地板上。在这种情况下，所述目标对象位于与地板对应的那一张面片图中。当然，所述目标对象并不仅仅限于相机。例如，所述目标对象也可以包括相机以及持有所述相机的装置(如，三脚架或人)。或者，所述目标对象也可以是意外进入所述空间的人、动物或其他物体等。在下文中，以目标对象是相机为例进行描述。当然，可以理解，目标对象的其他示例也类似地适用。
图4A和图4B分别示出了待修补图像和参考图像的示例。在图4A和图4B中，待修补图像401和参考图像402均对应于房间的地板图像。并且，在图4A和图4B中，分别示出了作为目标对象的相机的位置403和404。可以看出，在这两个图像上，相机的位置是不同的。这意味着，可以使用参考图像来对待修补图像上被相机覆盖的区域进行修补。
因此，返回参照图1，在步骤S103，在所述参考图像中，确定与所述待修补图像中包含目标对象的区域匹配的、不包含所述目标对象的经匹配区域。由于参考图像是通过对同一空间进行拍摄而得到的图像，因此通过参考图像中的相应区域对待修补图像进行修补，能够恢复细节纹理。例如，在图2至图4B所示的情况下，通过使用参考图像进行的修补，能够保留地板上的瓷砖纹理，从而使得修补后的图像看起来更自然。
将参照图5描述步骤S103中涉及的匹配处理的具体过程。如图5所示，所述匹配处理进一步包括以下步骤。
首先，在步骤S501，确定所述目标对象在所述待修补图像和所述参考图像中的第一位置和第二位置。例如，在目标对象为相机的情况下，通过从全景图像到三维布局图的转换处理，除了能够确定三维布局图之外，还可以确定用于拍摄的相机的位置。另外，又如，在目标对象是相机之外的人或其他物体的情况下，可以通过目标检测和识别的处理来确定目标对象的位置。
然后，在步骤S502，分别在所述待修补图像和所述参考图像中，确定包含所述第一位置和所述第二位置的重叠区域，作为第一匹配区域和第二匹配区域。包含所述第一位置和所述第二位置的重叠区域可以认为是被不同位置的相机共同拍到的区域，或者可以认为是同时包含不同位置处的目标对象的区域。在图像修补处理中，这样的重叠区域对于保留修补后的图像中的细节纹理而言是重要的。
具体来说，由于在所述待修补图像中，仅包括处于第一位置的目标对象，因此需要另外地标注所述第二位置。然后，作为一种可能的实施方式，确定以所述第一位置为中心的第一区域和以所述第二位置为中心的第二区域，并将所述第一区域和所述第二区域的重叠区域作为所述第一匹配区域。
与所述待修补图像类似地，由于在所述参考图像中，仅包括处于第二位置的目标对象，因此需要另外地标注所述第一位置。然后，作为一种可能的实施方式，确定以所述第一位置为中心的第三区域和以所述第二位置为中心的第四区域，并将所述第三区域和所述第四区域的重叠区域作为所述第二匹配区域。
图6A和图6B分别是示出了根据一种实施方式的、在待修补图像和参考图像中确定第一匹配区域和第二匹配区域的示意图。与图4A和图4B相比，可以看出，为了清楚起见，图6A和图6B省略了地板图像中的细节纹理。在图6A和图6B中，分别以601和602表示待修补图像和参考图像，分别以O1和O2表示第一位置和第二位置。
在图6A中，在待修补图像601中，在原有第一位置O1的基础上，进一步标注第二位置O2。然后，以所述第一位置O1为中心，以所述第一位置O1和所述第二位置O2的连线为对角线方向，且以所述第一位置O1和所述第二位置O2之间的距离D与第一系数的乘积作为对角线长度的一半，绘制矩形作为所述第一区域6011。这里，第一系数是大于1的实数。因此，如图6A所示，所绘制的第一区域6011的对角线长度的一半大于所述第一位置O1和所述第二位置O2之间的距离D，以便于覆盖更大的范围。
以类似地方式，以所述第二位置O2为中心，以所述第一位置O1和所述第二位置O2的连线为对角线方向，且以所述第一位置O1和所述第二位置O2之间的距离D与第二系数的乘积作为对角线长度的一半，绘制矩形作为所述第二区域6012。这里，第二系数也是大于1的实数。并且，第二系数可以与第一系数相同，也可以与第一系数不同。
在确定出第一区域6011和第二区域6012之后，将二者重叠的区域(在图6A中以阴影示出)作为第一匹配区域。
在图6B中，以类似的方式，在参考图像602中，确定出第三区域6021和第四区域6022，并且将二者重叠的区域(在图6B中以阴影示出)作为第二匹配区域。
当然，除了分别以第一位置和第二位置为中心确定第一区域和第二区域之外，还可以通过任何其他的方式确定分别包含第一位置和第二位置的第一区域和第二区域，且也应该包括在本公开的范围内。
接下来，返回图5，在待修补图像中确定出第一匹配区域和在参考图像中确定出第二匹配区域之后，处理进行到步骤S503。在步骤S503，在所述第一匹配区域与所述第二匹配区域之间进行特征点匹配，以确定变换矩阵。
由于第一匹配区域和第二匹配区域分别基于不同拍摄位置获得的图像，因此通过上述方法确定出的两个匹配区域之间可能存在不能完全对准的情况。例如，在地板图像的情况下，可能存在诸如瓷砖缝隙不能对准的情况。因此，通过特征点匹配的方式来进一步微调匹配结果，以确保两个匹配区域之间的完全对准。
然后，在步骤S504，基于所述变换矩阵，将所述第二匹配区域变换为第三匹配区域。例如，通过将第二匹配区域乘以变换矩阵，可以实现对第二匹配区域进行旋转和/或平移，并将旋转平移后的区域作为第三匹配区域。第三匹配区域中各像素点的位置与第一匹配区域中各像素点的位置是完全对应的。
这里，需要指出的是，由于第三匹配区域包含目标对象，然而目标对象是不希望出现在图像中的，因此在执行修补处理之前，需要去除第三匹配区域中包含的目标对象。
因此，在步骤S505，通过在所述第三匹配区域中，去除包含所述目标对象的区域，来生成所述经匹配区域。例如，通过在第三匹配区域中直接裁剪掉包含目标对象的区域的方式来生成所述经匹配区域。也就是说，所述经匹配区域是第三匹配区域的一部分。由于第三匹配区域中各像素点的位置与第一匹配区域中各像素点的位置是完全对应的，因此作为第三匹配区域的一部分，所述经匹配区域中的各像素点位置与第一匹配区域的相应部分中的各像素点位置也是完全对应的。
接下来，返回参照图1。在确定出所述经匹配区域之后，处理进行到步骤S104。在步骤S104，通过以所述参考图像中的经匹配区域替换所述待修补图像中的包含所述目标图像的区域，生成经修补图像。如上文中所述，所述经匹配区域中的各像素点位置与第一匹配区域的相应部分中的各像素点位置是完全对应的，因此通过以经匹配区域中的各个像素点位置处的像素值来替换第一匹配区域的相应部分中的对应像素点位置处的像素值，可以实现以所述经匹配区域来修补待修补图像中的包含所述目标图像的区域。
图7示出了以参考图像中的经匹配区域替换待修补图像中的包含所述目标图像的区域的示意图。如图7所示，参考图像702中的经匹配区域704中是不包含目标对象的区域，并且通过以参考图像702中的经匹配区域703替换待修补图像701中的对应区域703，对待修补图像701进行修补。
图8A和图8B示出了待修补图像和经修补图像的对比图。从图8A和图8B中可以看出，待修补图像801中的包含目标对象的区域803已经被替换为不包括目标对象的区域804。并且，在图8B中可以明显地看出，去掉了目标对象的区域804中仍然保留了地板的细节纹理，并且看起来没有任何被修补过的痕迹。
另外，在生成经修补图像之后，取决于具体的应用场景和设计要求，还可以进一步获得经修补的全景图像。具体来说，返回参照图1，在步骤S104之后，所述方法还可以进一步包括步骤S105。在步骤S105，基于所述经修补图像和所述第一组三维布局图中的其他图像，生成经修补的第一全景图像。当然，在其他可能的实施方式中，也可以省略该步骤S105。因此，在图1中，以虚线框示出步骤S105。
作为另一种可能的实施方式，在上文中所述的确定经匹配区域的步骤之前，所述方法还可以进一步包括：在步骤S106，对所述待修补图像进行颜色校准。当然，在其他可能的实施方式中，也可以省略该步骤S106。因此，在图1中，以虚线框示出步骤S106。通过在待修补图像与参考图像之间进行匹配之前，预先对待修补图像进行颜色校准，可以减少待修补图像与参考图像之间由于拍摄条件(如，拍摄光照等)引起的色彩差异。从而，当以参考图像中的经匹配区域来对待修补图像进行修补时，避免了修补后的图像中出现色彩不一致的情况。
图9示出了颜色校准处理的一种示例实施方式。具体来说，参照图9，对所述待修补图像进行颜色校准可以包括以下步骤。
首先，在步骤S901，将所述待修补图像和所述参考图像从RGB颜色空间变换到LAB颜色空间。RGB颜色是红色(Red)、绿色(Green)和蓝色(Blue)三基色的字母缩写。在RGB颜色空间中，通过三种基本颜色的不同程度的迭加来产生各种各样的不同颜色。这种颜色空间能够涵盖人类视力所能感知的所有颜色，是目前运用广泛的颜色空间之一。
与RGB颜色空间相比，LAB颜色空间是一种不常用的颜色空间。在LAB颜色空间中，与RGB颜色空间类似地，使用L、A、B三个通道来表示不同的颜色。L通道用于表示像素的亮度，取值范围是[0,100],表示从纯黑到纯白；A通道表示从红色到绿色的范围，取值范围是[127,-128]；B通道表示从黄色到蓝色的范围，取值范围是[127，-128]。
例如，将图像从RGB颜色空间变换到LAB颜色空间可以是经由XYZ作为中间模式而间接进行的。具体来说，首先是RGB到XYZ之间的转换，如式1-1所示。
[X，Y，Z]＝M*[R，G，B] (1-1)
式中，
Figure BDA0002788667800000121
RGB是经过Gamma校正的色彩分量：R＝g(r)，G＝g(g)，B＝g(b)，
Figure BDA0002788667800000122
r、g、b为原始的色彩分量。
XYZ到LAB之间的转换，如式1-2所示。
Figure BDA0002788667800000123
式中，
Figure BDA0002788667800000124
X1、Y1、Z1分别是X、Y、Z线性归一化的值。
然后，在步骤S902，分别计算所述待修补图像和所述参考图像在LAB颜色空间中每个通道的平均值和方差。
接下来，在步骤S903，基于所述待修补图像在LAB颜色空间中每个通道的平均值和方差，对所述待修补图像在LAB颜色空间中每个通道的值进行归一化。具体地，可以通过下式(1-3)来实现上述归一化：
Figure BDA0002788667800000125
式中，LN表示待修补图像在某个像素点处的L通道的归一化的值，L表示待修补图像在该像素点处的L通道的初始值，EL表示待修补图像的L通道的平均值，且σL表示待修补图像的L通道的方差。
另外，A通道和B通道的归一化的值也可以类似地计算。
然后，在步骤S904，基于所述参考图像在LAB颜色空间中每个通道的平均值和方差，对所述待修补图像在LAB颜色空间中每个通道的归一化的值进行去归一化。具体地，可以通过下式(1-4)来实现上述去归一化：
LDN＝LN×σLR+ELR (1-4)
式中，LDN表示待修补图像在某个像素点处的L通道的去归一化的值，ELR表示参考图像的L通道的平均值，且σLR表示参考图像的L通道的方差。
最后，在步骤S905，将去归一化后的待修补图像从LAB颜色空间变换回RGB颜色空间。从LAB颜色空间到RGB颜色空间的逆变换方法可以通过与从RGB颜色空间到LAB颜色空间的变换方法相反地推导而得到。
在上文中，已经参照图1至图9详细描述根据本公开的各种实施例的图像修补方法。在所述图像修补方法中，通过使用在不同拍摄位置处拍摄得到的、目标对象位于同一空间的不同位置处的参考图像来对待修补图像中的包含目标对象的区域进行修补，能够在去除目标对象的同同时，仍然保留原有的细节纹理，从而使得经修补图像完全看不出修补过的痕迹且更加自然。另外，所述图像修补方法中涉及的计算量小，且可以保持处理过程的轻量化。此外，通过在修补处理之前预先使用参考图像对待修补图像进行颜色校准，可以保持待修补图像与参考图像之间的颜色一致性，避免出现经修补图像中出现颜色差异而导致修补不自然的情况。
接下来，将参照图10描述根据本公开实施例的图像修补设备，用于去除目标对象。如图10所示，所述图像修补设备1000包括：转换单元1001、确定单元1002、匹配单元1003和修补单元1004。
转换单元1001用于分别基于对于同一个空间拍摄得到的第一全景图像和第二全景图像，确定第一组三维布局图和第二组三维布局图。其中所述第一全景图像和所述第二全景图像的拍摄位置不同。例如，所述第一全景图像是将全景相机放置于所述空间(例如，所述空间可以为特定的房间)中的第一拍摄位置而得到的，而所述第二全景图像是将全景相机放置于所述空间中的第二拍摄位置而得到的。此外，转换单元1001通过将所述第一全景图像进行转换而生成所述第一组三维布局图，且通过将所述第二全景图像进行转换而生成所述第二组三维布局图。所述第一组三维布局图和所述第二组三维布局图均包括能够体现出所述空间的结构的多张图像。
确定单元1002用于在第一组三维布局图中，确定目标对象所位于的一张图像作为待修补图像，并且在第二组三维布局图中，确定所述目标对象所位于的一张图像作为参考图像。其中，当拍摄所述第一全景图像时所述目标对象在所述空间中的位置与当拍摄所述第二全景图像时所述目标对象在所述空间中的位置不同。
匹配单元1003用于在所述参考图像中，确定与所述待修补图像中包含目标对象的区域匹配的、不包含所述目标对象的经匹配区域。由于参考图像是通过对同一空间进行拍摄而得到的图像，因此通过参考图像中的相应区域对待修补图像进行修补，能够恢复细节纹理。
具体来说，所述匹配单元1003可以被配置为执行以下处理。
首先，所述匹配单元1003确定所述目标对象在所述待修补图像和所述参考图像中的第一位置和第二位置。例如，在目标对象为相机的情况下，通过从全景图像到三维布局图的转换处理，除了能够确定三维布局图之外，还可以确定用于拍摄的相机的位置。另外，又如，在目标对象是相机之外的人或其他物体的情况下，可以通过目标检测和识别的处理来确定目标对象的位置。
然后，所述匹配单元1003分别在所述待修补图像和所述参考图像中，确定包含所述第一位置和所述第二位置的重叠区域，作为第一匹配区域和第二匹配区域。包含所述第一位置和所述第二位置的重叠区域可以认为是被不同位置的相机共同拍到的区域，或者可以认为是同时包含不同位置处的目标对象的区域。在图像修补处理中，这样的重叠区域对于保留修补后的图像中的细节纹理而言是重要的。
具体来说，由于在所述待修补图像中，仅包括处于第一位置的目标对象，因此需要另外地标注所述第二位置。然后，作为一种可能的实施方式，所述匹配单元1003确定以所述第一位置为中心的第一区域和以所述第二位置为中心的第二区域，并将所述第一区域和所述第二区域的重叠区域作为所述第一匹配区域。
与所述待修补图像类似地，由于在所述参考图像中，仅包括处于第二位置的目标对象，因此需要另外地标注所述第一位置。然后，作为一种可能的实施方式，所述匹配单元1003确定以所述第一位置为中心的第三区域和以所述第二位置为中心的第四区域，并将所述第三区域和所述第四区域的重叠区域作为所述第二匹配区域。
例如，所述匹配单元1003可以进一步被配置为通过执行以下处理来确定以所述第一位置为中心的第一区域和以所述第二位置为中心的第二区域：以所述第一位置为中心，以所述第一位置和所述第二位置的连线为对角线方向，且以所述第一位置和所述第二位置之间的距离与第一系数的乘积作为对角线长度的一半，绘制矩形作为所述第一区域；以及以所述第二位置为中心，以所述第一位置和所述第二位置的连线为对角线方向，且以所述第一位置和所述第二位置之间的距离与第二系数的乘积作为对角线长度的一半，绘制矩形作为所述第二区域。
当然，类似地，所述匹配单元1003可以进一步被配置为通过执行以下处理来确定以所述第一位置为中心的第三区域和以所述第二位置为中心的第四区域：以所述第一位置为中心，以所述第一位置和所述第二位置的连线为对角线方向，且以所述第一位置和所述第二位置之间的距离与第一系数的乘积作为对角线长度的一半，绘制矩形作为所述第三区域；以及以所述第二位置为中心，以所述第一位置和所述第二位置的连线为对角线方向，且以所述第一位置和所述第二位置之间的距离与第二系数的乘积作为对角线长度的一半，绘制矩形作为所述第四区域。
当然，除了分别以第一位置和第二位置为中心确定第一区域和第二区域之外，所述匹配单元1003还可以通过任何其他的方式确定分别包含第一位置和第二位置的第一区域和第二区域，且也应该包括在本公开的范围内。
在确定出第一匹配区域和第二匹配区域之后，所述匹配单元1003可以在所述第一匹配区域与所述第二匹配区域之间进行特征点匹配，以确定变换矩阵。并且，基于所述变换矩阵，所述匹配单元1003可以将所述第二匹配区域变换为第三匹配区域。第三匹配区域中各像素点的位置与第一匹配区域中各像素点的位置是完全对应的。最后，所述匹配单元1003可以通过在所述第三匹配区域中，去除包含所述目标对象的区域，来生成所述经匹配区域。也就是说，所述经匹配区域是第三匹配区域的一部分。由于第三匹配区域中各像素点的位置与第一匹配区域中各像素点的位置是完全对应的，因此作为第三匹配区域的一部分，所述经匹配区域中的各像素点位置与第一匹配区域的相应部分中的各像素点位置也是完全对应的。
修补单元1004用于通过以所述参考图像中的经匹配区域替换所述待修补图像中的包含所述目标图像的区域，生成经修补图像。如上文中所述，所述经匹配区域中的各像素点位置与第一匹配区域的相应部分中的各像素点位置是完全对应的，因此通过以经匹配区域中的各个像素点位置处的像素值来替换第一匹配区域的相应部分中的对应像素点位置处的像素值，可以实现以所述经匹配区域来修补待修补图像中的包含所述目标图像的区域。
另外，在生成经修补图像之后，取决于具体的应用场景和设计要求，所述图像修补设备1000还可以进一步包括：反转换单元1005，用于基于所述经修补图像和所述第一组三维布局图中的其他图像，生成经修补的第一全景图。当然，在其他可能的实施方式中，也可以省略该反转换单元1005。因此，在图10中，以虚线框示出该反转换单元1005。
作为另一种可能的实施方式，所述图像修补设备1000还可以进一步包括：颜色校准单元1006，用于对所述待修补图像进行颜色校准。由于在其他可能的实施方式中，也可以省略该颜色校准单元1006。因此，在图10中，以虚线框示出该颜色校准单元1006。
具体来说，例如，所述颜色校准单元1006可以被配置为执行以下处理。
首先，所述颜色校准单元1006将所述待修补图像和所述参考图像从RGB颜色空间变换到LAB颜色空间。
然后，所述颜色校准单元1006分别计算所述待修补图像和所述参考图像在LAB颜色空间中每个通道的平均值和方差。
接下来，所述颜色校准单元1006基于所述待修补图像在LAB颜色空间中每个通道的平均值和方差，对所述待修补图像在LAB颜色空间中每个通道的值进行归一化。
然后，所述颜色校准单元1006基于所述参考图像在LAB颜色空间中每个通道的平均值和方差，对所述待修补图像在LAB颜色空间中每个通道的归一化的值进行去归一化。
最后，所述颜色校准单元1006将去归一化后的待修补图像从LAB颜色空间变换回RGB颜色空间。
通过在待修补图像与参考图像之间进行匹配之前，预先对待修补图像进行颜色校准，可以减少待修补图像与参考图像之间由于拍摄条件(如，拍摄光照等)引起的色彩差异。从而，当以参考图像中的经匹配区域来对待修补图像进行修补时，避免了修补后的图像中出现色彩不一致的情况。
由于根据本公开实施例的图像修补设备中各个部件所执行的处理完全对应于上文中所述的图像修补方法，因此为了避免冗余起见，并未对图像修补设备中各个部件所执行的处理细节展开赘述。
此外，根据本公开的图像处理设备可以包括：存储器，用于在其上存储计算机程序；以及处理器，用于当执行所述存储器上存储的计算机程序时，执行以下处理：分别基于对于同一个空间拍摄得到的第一全景图像和第二全景图像，确定第一组三维布局图和第二组三维布局图，其中所述第一全景图像和所述第二全景图像的拍摄位置不同，所述第一组三维布局图和所述第二组三维布局图均包括能够体现出所述空间的结构的多张图像；在第一组三维布局图中，确定目标对象所位于的一张图像作为待修补图像，并且在第二组三维布局图中，确定所述目标对象所位于的一张图像作为参考图像，其中当拍摄所述第一全景图像时所述目标对象在所述空间中的位置与当拍摄所述第二全景图像时所述目标对象在所述空间中的位置不同；在所述参考图像中，确定与所述待修补图像中包含目标对象的区域匹配的、不包含所述目标对象的经匹配区域；以及通过以所述参考图像中的经匹配区域替换所述待修补图像中的包含所述目标图像的区域，生成经修补图像。
具体来说，根据本公开实施例的方法或设备也可以借助于图11所示的计算设备1100的架构来实现。如图11所示，计算设备1100可以包括总线1110、一个或多个CPU1120、只读存储器(ROM)1130、随机存取存储器(RAM)1140、连接到网络的通信端口1150、输入/输出组件1160、硬盘1170等。计算设备1100中的存储设备，例如ROM 1130或硬盘1170可以存储本公开提供的图像修补方法的处理和/或通信使用的各种数据或文件以及CPU所执行的程序指令。当然，图11所示的架构只是示例性的，在实现不同的设备时，根据实际需要，可以省略图11示出的计算设备中的一个或多个组件。
本公开的实施例也可以被实现为计算机可读存储介质。根据本公开实施例的计算机可读存储介质上存储有计算机可读指令。当所述计算机可读指令由处理器运行时，可以执行参照以上附图描述的根据本公开实施例的图像修补方法。所述计算机可读存储介质包括但不限于例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。
迄今为止，已经参照图1到图11详细描述了根据本公开的实施例的图像修补方法、设备和介质。在根据本公开的图像修补方法、设备和介质中，通过使用在不同拍摄位置处拍摄得到的、目标对象位于同一空间的不同位置处的参考图像来对待修补图像中的包含目标对象的区域进行修补，能够在去除目标对象的同同时，仍然保留原有的细节纹理，从而使得经修补图像完全看不出修补过的痕迹且更加自然。另外，所述图像修补方法中涉及的计算量小，且可以保持处理过程的轻量化。此外，通过在修补处理之前预先使用参考图像对待修补图像进行颜色校准，可以保持待修补图像与参考图像之间的颜色一致性，避免出现经修补图像中出现颜色差异而导致修补不自然的情况。
需要说明的是，在本说明书中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
最后，还需要说明的是，上述一系列处理不仅包括以这里所述的顺序按时间序列执行的处理，而且包括并行或分别地、而不是按时间顺序执行的处理。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现，当然也可以全部通过软件来实施。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁盘、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
以上对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种图像修补方法，包括：
分别基于对于同一个空间拍摄得到的第一全景图像和第二全景图像，确定第一组三维布局图和第二组三维布局图，其中所述第一全景图像和所述第二全景图像的拍摄位置不同，所述第一组三维布局图和所述第二组三维布局图均包括能够体现出所述空间的结构的多张图像；
在第一组三维布局图中，确定目标对象所位于的一张图像作为待修补图像，并且在第二组三维布局图中，确定所述目标对象所位于的一张图像作为参考图像，其中当拍摄所述第一全景图像时所述目标对象在所述空间中的位置与当拍摄所述第二全景图像时所述目标对象在所述空间中的位置不同；
在所述参考图像中，确定与所述待修补图像中包含目标对象的区域匹配的、不包含所述目标对象的经匹配区域；以及
通过以所述参考图像中的经匹配区域替换所述待修补图像中的包含所述目标图像的区域，生成经修补图像。
2.根据权利要求1所述的方法，其中在所述参考图像中，确定与所述待修补图像中包含目标对象的区域匹配的、不包含所述目标对象的经匹配区域，包括：
确定所述目标对象在所述待修补图像和所述参考图像中的第一位置和第二位置；
分别在所述待修补图像和所述参考图像中，确定包含所述第一位置和所述第二位置的重叠区域，作为第一匹配区域和第二匹配区域；
在所述第一匹配区域与所述第二匹配区域之间进行特征点匹配，以确定变换矩阵；
基于所述变换矩阵，将所述第二匹配区域变换为第三匹配区域；以及
通过在所述第三匹配区域中，去除包含所述目标对象的区域，来生成所述经匹配区域。
3.根据权利要求2所述的方法，其中基于所述第一位置和所述第二位置，分别在所述待修补图像和所述参考图像中，确定包含所述第一位置和所述第二位置的重叠区域，作为第一匹配区域和第二匹配区域，包括：
在所述待修补图像中，标注所述第二位置，确定以所述第一位置为中心的第一区域和以所述第二位置为中心的第二区域，并将所述第一区域和所述第二区域的重叠区域作为所述第一匹配区域；以及
在所述参考图像中，标注所述第一位置，确定以所述第一位置为中心的第三区域和以所述第二位置为中心的第四区域，并将所述第三区域和所述第四区域的重叠区域作为所述第二匹配区域。
4.根据权利要求3所述的方法，其中确定以所述第一位置为中心的第一区域和以所述第二位置为中心的第二区域，包括：
以所述第一位置为中心，以所述第一位置和所述第二位置的连线为对角线方向，且以所述第一位置和所述第二位置之间的距离与第一系数的乘积作为对角线长度的一半，绘制矩形作为所述第一区域；以及
以所述第二位置为中心，以所述第一位置和所述第二位置的连线为对角线方向，且以所述第一位置和所述第二位置之间的距离与第二系数的乘积作为对角线长度的一半，绘制矩形作为所述第二区域。
5.根据权利要求1所述的方法，其中在确定经匹配区域之前，进一步包括：
对所述待修补图像进行颜色校准。
6.根据权利要求5所述的方法，其中对所述待修补图像进行颜色校准，包括：
将所述待修补图像和所述参考图像从RGB颜色空间变换到LAB颜色空间；
分别计算所述待修补图像和所述参考图像在LAB颜色空间中每个通道的平均值和方差；
基于所述待修补图像在LAB颜色空间中每个通道的平均值和方差，对所述待修补图像在LAB颜色空间中每个通道的值进行归一化；
基于所述参考图像在LAB颜色空间中每个通道的平均值和方差，对所述待修补图像在LAB颜色空间中每个通道的归一化的值进行去归一化；以及
将去归一化后的待修补图像从LAB颜色空间变换回RGB颜色空间。
7.根据权利要求1所述的方法，其中在生成经修补图像之后，进一步包括：
基于所述经修补图像和所述第一组三维布局图中的其他图像，生成经修补的第一全景图像。
8.一种图像修补设备，包括：
转换单元，用于分别基于对于同一个空间拍摄得到的第一全景图像和第二全景图像，确定第一组三维布局图和第二组三维布局图，其中所述第一全景图像和所述第二全景图像的拍摄位置不同，所述第一组三维布局图和所述第二组三维布局图均包括能够体现出所述空间的结构的多张图像；
确定单元，用于在第一组三维布局图中，确定目标对象所位于的一张图像作为待修补图像，并且在第二组三维布局图中，确定所述目标对象所位于的一张图像作为参考图像，其中当拍摄所述第一全景图像时所述目标对象在所述空间中的位置与当拍摄所述第二全景图像时所述目标对象在所述空间中的位置不同；
匹配单元，用于在所述参考图像中，确定与所述待修补图像中包含目标对象的区域匹配的、不包含所述目标对象的经匹配区域；以及
修补单元，用于通过以所述参考图像中的经匹配区域替换所述待修补图像中的包含所述目标图像的区域，生成经修补图像。
9.一种图像修补设备，包括：
存储器，用于在其上存储计算机程序；以及
处理器，用于当执行所述计算机程序时，实现如下处理：
分别基于对于同一个空间拍摄得到的第一全景图像和第二全景图像，确定第一组三维布局图和第二组三维布局图，其中所述第一全景图像和所述第二全景图像的拍摄位置不同，所述第一组三维布局图和所述第二组三维布局图均包括能够体现出所述空间的结构的多张图像；
在第一组三维布局图中，确定目标对象所位于的一张图像作为待修补图像，并且在第二组三维布局图中，确定所述目标对象所位于的一张图像作为参考图像，其中当拍摄所述第一全景图像时所述目标对象在所述空间中的位置与当拍摄所述第二全景图像时所述目标对象在所述空间中的位置不同；
在所述参考图像中，确定与所述待修补图像中包含目标对象的区域匹配的、不包含所述目标对象的经匹配区域；以及
通过以所述参考图像中的经匹配区域替换所述待修补图像中的包含所述目标图像的区域，生成经修补图像。
10.一种计算机可读记录介质，其上存储有计算机程序，当由处理器执行所述计算机程序时，执行如权利要求1至7中任意一项所述的方法。
CN202011307236.1A 2020-11-20 2020-11-20 图像修补方法、设备及介质 Pending CN114549329A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011307236.1A CN114549329A (zh) 2020-11-20 2020-11-20 图像修补方法、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011307236.1A CN114549329A (zh) 2020-11-20 2020-11-20 图像修补方法、设备及介质

Publications (1)

Publication Number Publication Date
CN114549329A true CN114549329A (zh) 2022-05-27

Family

ID=81659917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011307236.1A Pending CN114549329A (zh) 2020-11-20 2020-11-20 图像修补方法、设备及介质

Country Status (1)

Country Link
CN (1) CN114549329A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220189033A1 (en) * 2020-12-10 2022-06-16 Ulsee Inc. Boundary detection device and method thereof
WO2024063675A1 (en) * 2022-09-21 2024-03-28 Telefonaktiebolaget Lm Ericsson (Publ) Methods and systems for generating three-dimensional representations

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220189033A1 (en) * 2020-12-10 2022-06-16 Ulsee Inc. Boundary detection device and method thereof
WO2024063675A1 (en) * 2022-09-21 2024-03-28 Telefonaktiebolaget Lm Ericsson (Publ) Methods and systems for generating three-dimensional representations

Similar Documents

Publication Publication Date Title
Josephson et al. Pose estimation with radial distortion and unknown focal length
EP2795579B1 (en) Image registration method and system robust to noise
Hu et al. Exposure stacks of live scenes with hand-held cameras
CN105701837A (zh) 一种相机几何标定处理方法及装置
US8131113B1 (en) Method and apparatus for estimating rotation, focal lengths and radial distortion in panoramic image stitching
CN109934772B (zh) 一种图像融合方法、装置及便携式终端
US20130129213A1 (en) Non-Rigid Dense Correspondence
JP7264310B2 (ja) 画像処理方法、機器、非一時的コンピュータ可読媒体
CN107240082B (zh) 一种拼接线优化方法及设备
CN114549329A (zh) 图像修补方法、设备及介质
CN108171735B (zh) 基于深度学习的十亿像素视频对齐方法及系统
US20220172331A1 (en) Image inpainting with geometric and photometric transformations
CN107240126B (zh) 阵列图像的校准方法
Faridul et al. Approximate cross channel color mapping from sparse color correspondences
WO2012106261A1 (en) Systems and methods for restoring color and non-color related integrity in an image
Qian et al. Manifold alignment based color transfer for multiview image stitching
CN113628134B (zh) 图像降噪方法及装置、电子设备及存储介质
KR101982755B1 (ko) 항공 영상을 정합하는 방법 및 장치
Jin A three-point minimal solution for panoramic stitching with lens distortion
CN112150363B (zh) 一种基于卷积神经网络的图像夜景处理方法及运行该方法的计算模块与可读存储介质
CN110189247B (zh) 图像生成的方法、装置及系统
CN112837217A (zh) 一种基于特征筛选的室外场景图像拼接方法
Yao et al. An effective dual-fisheye lens stitching method based on feature points
Zabaleta et al. Photorealistic style transfer for cinema shoots
CN110222230B (zh) 一种针对多镜头拍摄的宽动态图保存方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination