CN108984084B - 基于像素区域无缝对调的图片编辑装置及方法 - Google Patents

Abstract

本发明提供了一种基于像素区域无缝对调的图片编辑装置及方法，其中，该装置包括：选择模块，选择至少一个图片中待交换的两个图片区域，且所述两个图片区域的形状一致；最优割缝模块，将所述两个图片区域的重心对齐，以重心对齐的对齐区域构建一图模型，并确定该图模型的最优割缝；可交换区域确定模块，将所述最优割缝与所述两个图片区域分别按重叠区域的相对位置进行重合，分别确定所述两个图片区域中的两个可交换区域；交换模块，在所述两个图片区域中，交换所述两个可交换区域中位置相同的像素点。本发明能够实现图片区域的位置交换，同时实现图像修复和组合，且操作简单，编辑得到的图片自然真实。

Description

基于像素区域无缝对调的图片编辑装置及方法

技术领域

本发明涉及图片编辑领域，尤其涉及一种基于像素区域无缝对调的图片编辑装置及方法。

背景技术

近年来，随着移动设备的普及以及社交网络的扩大，使用图片形式存储信息和传达信息已经成为人们日常生活的一部分。随着数字图像信息指数级别增长，相应的各种类型的图片编辑技术和软件层出不穷。图片编辑技术可通过与用户之间的交互来修改图片中传达的信息，对图片的内容进行取舍，突出或删节掉图片中的信息。这种技术最初应用于新闻媒体界，用作新闻图片的处理。但随着数字媒体信息的获取日益简单，越来越多的图片编辑需求被提出，越来越多的图片编辑技术被应用。借助于图片编辑技术的发展，图片的编辑也不再只由专业人员，如摄影师或设计师，来完成，普通用户也能够通过应用程序来实现图片内容的修改，完成自己的创作。

尽管图片编辑技术迅速发展，但由于人们版权意识的提高，增加了用户在对图片进行修改时素材的获取成本。因此在编辑过程中只利用单张图片上的素材来创作出自然真实的图片已成为一个充满前景的方向。图片内容自交换可通过在单张图片上交换图片中的两块区域实现两个物体之间的移动或组合产生出新的图片内容，是一种具有应用价值的新技术。市面上现存的图片编辑软件诸如PhotoShop，光影魔术手，美图秀秀都提供了在单张图片上物体移动变形，图像修补，校色调色等功能，通过这些功能的组合足以实现在单张图片上的内容自交换，但整个过程中交互体验不佳且需要具备相关的知识才能操作，此外效果并不完美无法产生出自然真实的结果。

发明内容

(一)要解决的技术问题

本发明的目的在于提供一种基于像素区域无缝对调的图片编辑装置及方法，以解决上述的至少一项技术问题。

(二)技术方案

本发明提供了一种基于像素区域无缝对调的图片编辑装置，包括：

选择模块，用于选择至少一个图片中待交换的两个图片区域，且所述两个图片区域的形状一致；

最优割缝模块，用于将所述两个图片区域的重心对齐，以重心对齐的对齐区域构建一图模型，并确定该图模型的最优割缝；

可交换区域确定模块，用于将所述最优割缝与所述两个图片区域分别按重叠区域的相对位置进行重合，分别确定所述两个图片区域中的两个可交换区域；

交换模块，用于在所述两个图片区域中，交换所述两个可交换区域中位置相同的像素点。

在本发明的一些实施例中，所述最优割缝模块包括：

差异图计算单元，用于根据所述对齐区域在两个图片区域中对应位置的像素点的差异，计算一差异图，所述像素点的差异指两个图片区域中对应位置的像素点在RGB各通道上颜色值之差的平方和；

图模型确定单元，用于在所述差异图中，以所述重心为极点建立极坐标系；将所述极坐标系的极点之外的各点和各点的八邻域的点连接，确定一图模型，其中，各点i和各点的八邻域的点i0～i7的连接规则为：以极轴的顺时针方向为正方向，确定极角大于0小于180°的三个极点，并由i为出发点，分别连接这三个极点i5～i7；对于与极角都为0的两个极点，以极径较短的极点i3为出发点，连接i；以i为出发点，连接极径较长的极点i4；分别以i0～i2三个极点为出发点，连接i；若点i位于极坐标系的极轴之上，还需连接其八邻域中极角为(360°±θ)的极点，其中，0≤θ≤30°；

最短路径确定单元，用于计算以所述各点为起点和终点的环形割缝所经过的像素点的差异累积，确定各点的最短路径；

最优割缝确定单元，用于计算所述差异累积与环形割缝所经过的像素点个数的比值，将比值最小的环形割缝作为该图模型的最优割缝。

在本发明的一些实施例中，所述交换模块还包括：

边界交换单元，用于交换所述两个可交换区域的边界的像素点；

内部交换单元，用于根据所述边界的像素点分别建立泊松方程，确定所述两个可交换区域的内部的像素点的值，并交换所述两个可交换区域的内部的像素点。

在本发明的一些实施例中，还包括：推荐模块，用于确定至少一个图片的各图片区域的整体相似度，确定多对形状一致的图片区域；并根据多对形状一致的图片区域的内部的相似度，确定其中的两对形状一致的图片区域。

在本发明的一些实施例中，还包括修正模块，用于计算、修正像素点的颜色值。

在本发明的一些实施例中，所述差异图计算单元还用于对所述对齐区域进行至少一次仿射变换，确定变换后的对齐区域在两个图片区域中对应位置的像素点的差。

本发明的另一方面，还提供了一种基于像素区域无缝对调的图片编辑方法，包括：

选择至少一个图片中待交换的两个图片区域，且所述两个图片区域的形状一致；

将所述两个图片区域的重心对齐，以重心对齐的对齐区域构建一图模型，并确定该图模型的最优割缝；

将所述最优割缝与所述两个图片区域分别按重叠区域的相对位置进行重合，分别确定所述两个图片区域中的两个可交换区域；

在所述两个图片区域中，交换所述两个可交换区域中位置相同的像素点。

在本发明的一些实施例中，以重心对齐的对齐区域构建一图模型，并确定该图模型的最优割缝，包括步骤：

根据所述对齐区域在两个图片区域中对应位置的像素点的差异，计算一差异图，所述像素点的差异指两个图片区域中对应位置的像素点在RGB各通道上颜色值之差的平方和；

在所述差异图中，以所述重心为极点建立极坐标系；将所述极坐标系的极点之外的各点和各点的八邻域的点连接，确定一图模型，其中，各点i和各点的八邻域的点i0～i7的连接规则为：以极轴的顺时针方向为正方向，确定极角大于0小于180°的三个极点，并由i为出发点，分别连接这三个极点i5～i7；对于与极角都为0的两个极点，以极径较短的极点i3为出发点，连接i；以i为出发点，连接极径较长的极点i4；分别以i0～i2三个极点为出发点，连接i；若点i位于极坐标系的极轴之上，还需连接其八邻域中极角为(360°±θ)的极点，其中，0≤θ≤30°；以及计算以所述各点为起点和终点的环形割缝所经过的像素点的差异累积，确定各点的最短路径；

计算所述差异累积与环形割缝所经过的像素点个数的比值，将比值最小的环形割缝作为该图模型的最优割缝。

在本发明的一些实施例中，交换所述两个可交换区域中位置相同的像素点，包括步骤：

交换所述两个可交换区域的边界的像素点；

根据所述边界的像素点分别建立泊松方程，确定所述两个可交换区域的内部的像素点的值，并交换所述两个可交换区域的内部的像素点。

在本发明的一些实施例中，还包括步骤：

确定至少一个图片的各图片区域的整体相似度，确定多对形状一致的图片区域；

并根据多对形状一致的图片区域的内部的相似度，确定其中的两对形状一致的图片区域。

(三)有益效果

本发明的基于像素区域无缝对调的图片编辑装置及方法，相较于现有技术，至少具有以下优点：

1、根据至少一个图片中待交换的两个图片区域构建图模型，再确定最优割缝，最后交换两个图片区域与最优割缝的可交换区域，能够提供简单易用的交互接口，通过实时的块交换过程实现对于图片的编辑，编辑之后的结果真实自然。

2、还可以通过推荐模块，推荐用户选择更适合图片区域进行交换，使得编辑结果更自然。

3、交换模块分为边界交换单元和内部交换单元，先交换边界的像素点，再根据边界的像素点建立泊松方程，确定可交换区域的内部的像素点，从而实现内部的像素点的交换，达到更好的图片编辑效果，提升了用户体验。

附图说明

图1为本发明实施例的基于像素区域无缝对调的图片编辑装置的结构示意图。

图2为本发明实施例的单张图片上内容自交换的流程示意图。

图3为本发明实施例的最优割缝模块的结构示意图。

图4A为本发明实施例的差异图。

图4B为本发明实施例的图模型的连接规则示意图。

图5为本发明实施例的交换模块的示意图。

图6为本发明实施例的基于像素区域无缝对调的图片编辑方法的步骤示意图。

图7为步骤S2的子步骤示意图。

图8为步骤S4的子步骤示意图。

具体实施方式

现有技术中，一般都是通过在单张图片上物体移动变形，图像修补，校色调色等功能，实现在单张图片上的内容自交换，但整个过程中交互体验不佳且需要用户具备相关的知识才能操作，此外效果并不完美无法产生出自然真实的结果。有鉴于此，本发明提供了一种基于像素区域无缝对调的图片编辑装置及方法，根据至少一个图片中待交换的两个图片区域构建图模型，再确定最优割缝，最后交换两个图片区域与最优割缝的可交换区域，能够提供简单易用的交互接口，通过实时的块交换过程实现对于图片的编辑，编辑之后的结果真实自然。

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明的一方面，提供了一种基于像素区域无缝对调的图片编辑装置，图1为本发明实施例的基于像素区域无缝对调的图片编辑装置的结构示意图，如图1所示，该装置包括：选择模块1、最优割缝模块2、可交换区域确定模块3和交换模块4。选择模块1，用于选择至少一个图片中待交换的两个图片区域，且所述两个图片区域的形状一致；最优割缝模块2，用于将所述两个图片区域的重心对齐，以重心对齐的对齐区域构建一图模型，并确定该图模型的最优割缝；可交换区域确定模块3，用于将所述最优割缝与所述两个图片区域分别按重叠区域的相对位置进行重合，分别确定所述两个图片区域中的两个可交换区域；交换模块4，用于在所述两个图片区域中，交换所述两个可交换区域中位置相同的像素点。

接着，就结合图2至图5对各模块进行详细说明。

选择模块1，用于选择至少一个图片I中待交换的两个图片区域P1和P2(如图2所示)，且所述两个图片区域的形状一致。可以理解的是，这两个图片区域可以为同一个图片中的两个形状一致的不同区域，也可以是两个图片中的两个形状一致的不同区域。本发明实施例中的图片区域的形状可以为圆形、矩形、三角形或者不规则图形，在此不作限制。请参照图2，在本发明实施例中，P1和P2同属一张图片I，其中，使用了输入的图片I的副本I’来更好的表示出对齐的过程以及标识出P1和P2分别在图中所处的位置。

最优割缝模块2，用于将所述两个图片区域的重心对齐，以重心对齐的对齐区域构建一图模型，并确定该图模型的最优割缝c^*。图3为本发明实施例的最优割缝模块的结构示意图，如图3所示，最优割缝模块2包括差异图计算单元21、图模型确定单元22、最短路径确定单元23和最优割缝确定单元24。

差异图计算单元21，用于根据所述对齐区域在两个图片区域中对应位置的像素点的差异，计算一差异图D，所述像素点的差异指两个图片区域中对应位置的像素点在RGB各通道上颜色值之差的平方和。在本发明的一些实施例中，所述差异图计算单元21还用于对所述对齐区域进行至少一次仿射变换，确定变换后的对齐区域在两个图片区域中对应位置的像素点的差。

在差异图D之上建立起一个有向图模型。图4A为本发明实施例的差异图，如图4A所示，在建立起这样一个有向图之后，算法将以所有极轴r_s之上除极点p之外的点，如o1，o2，o3，同时作为起始点和终结点使用迪杰斯特拉算法进行最短路径搜索得到各自点上的最短路径，如Col，Co2，Co3，由于各点上的权重代表了其在P1和P2对应位置的像素点的差异，故搜索得到的最短路径最大程度的保证了交换之后带来的颜色不连续。

图模型确定单元22，用于在所述差异图中，以所述重心为极点建立极坐标系；将所述极坐标系的极点之外的各点和各点的八邻域的点连接，确定一图模型。图4B为本发明实施例的图模型的连接规则示意图，如图4B所示，各点i和各点的八邻域的点i0～i7的连接规则有三种，更具体地为：

以极轴的顺时针方向为正方向，确定极角大于0小于180°的三个极点，并由i为出发点，分别连接这三个极点i5～i7。i→i5，i→i6，i→i7这三种边可以保证在接下来的最优割缝搜索时，搜索到的割缝闭合以便于找到可交换区域R1和R2；

对于与极角都为0的两个极点，以极径较短的极点i3为出发点，连接i；以i为出发点，连接极径较长的极点i4，这两种边有利于增大可交换区域R1和R2的尺寸同时减少交换之后产生的颜色不连续问题；

分别以i0～i2三个极点为出发点，连接i，i₀→i，i₁→i，i₂→i，这三种类型的边将为搜索最优割缝提供便利；

若点i位于极坐标系的极轴之上，还需连接其八邻域中极角为(360°±θ)的极点，其中，0≤θ≤30°，也就是说该极角接近360°。

最短路径确定单元23，用于计算以所述各点为起点和终点的环形割缝所经过的像素点的差异累积，确定各点的最短路径。

最优割缝确定单元24，用于计算所述差异累积与环形割缝所经过的像素点个数的比值，将比值最小的环形割缝作为该图模型的最优割缝，所述最优割缝为闭合形状。

通过对于这些割缝Co1，Co2，Co3根据其平均每个点上的颜色差异(即累计总差异除以经过点个数)挑选出最优割缝c*，即是图2右图中的割缝Co2。

可交换区域确定模块3，用于将所述最优割缝与所述两个图片区域分别按重叠区域的相对位置进行重合，分别确定所述两个图片区域中的两个可交换区域R1和R2，从而使得此时的可交换区域相较于之前的图片区域能够更利于图片编辑，得到更自然的图片编辑结果。

交换模块4，用于在所述两个图片区域中，交换所述两个可交换区域中位置相同的像素点。图5为本发明实施例的交换模块的示意图，如图5所示，该交换模块4包括：边界交换单元41和内部交换单元42。

边界交换单元41，用于交换所述两个可交换区域的边界的像素点；

内部交换单元42，用于根据所述边界的像素点分别建立泊松方程，确定所述两个可交换区域的内部的像素点的值，并交换所述两个可交换区域的内部的像素点。

此外，为了进一步提高图片编辑的自然效果，该装置还可以包括：

推荐模块，用于确定至少一个图片的各图片区域的整体相似度，确定多对形状一致的图片区域；并根据多对形状一致的图片区域的内部的相似度，确定其中的两对形状一致的图片区域。

在本发明的一些实施例中，还可以包括用于修正模块，用于计算、修正像素点的颜色值，即先直接将交换区域内部的像素点按对应位置交换，之后再通过解泊松方程的得到最终这些像素点的颜色值。

本发明实施例的另一方面，还提供了一种基于像素区域无缝对调的图片编辑方法，包括：

S1、选择至少一个图片中待交换的两个图片区域，且所述两个图片区域的形状一致；

S2、将所述两个图片区域的重心对齐，以重心对齐的对齐区域构建一图模型，并确定该图模型的最优割缝；

S3、将所述最优割缝与所述两个图片区域分别按重叠区域的相对位置进行重合，分别确定所述两个图片区域中的两个可交换区域；

S4、在所述两个图片区域中，交换所述两个可交换区域中位置相同的像素点。

图7为步骤S2的子步骤示意图，如图7所示，步骤S2包括子步骤：

S21、根据所述对齐区域在两个图片区域中对应位置的像素点的差异，计算一差异图，所述像素点的差异指两个图片区域中对应位置的像素点在RGB各通道上颜色值之差的平方和；

S22、在所述差异图中，以所述重心为极点建立极坐标系；将所述极坐标系的极点之外的各点和各点的八邻域的点连接，确定一图模型，其中，各点i和各点的八邻域的点i0～i7的连接规则为：以极轴的顺时针方向为正方向，确定极角大于0小于180°的三个极点，并由i为出发点，分别连接这三个极点i5～i7；对于与极角都为0的两个极点，以极径较短的极点i3为出发点，连接i；以i为出发点，连接极径较长的极点i4；分别以i0～i2三个极点为出发点，连接i；若点i位于极坐标系的极轴之上，还需连接其八邻域中极角解决360°的极点，也就是说该极角接近360°；以及计算以所述各点为起点和终点的环形割缝所经过的像素点的差异累积，确定各点的最短路径；

S23、计算所述差异累积与环形割缝所经过的像素点个数的比值，将比值最小的环形割缝作为该图模型的最优割缝。

图8为步骤S4的子步骤示意图，在本发明的一些实施例中，步骤S4包括以下子步骤：

S41、交换所述两个可交换区域的边界的像素点；

S42、根据所述边界的像素点分别建立泊松方程，确定所述两个可交换区域的内部的像素点的值，并交换所述两个可交换区域的内部的像素点。

为了进一步提高图片编辑的自然效果，该方法还可以包括步骤：

确定至少一个图片的各图片区域的整体相似度，确定多对形状一致的图片区域；并根据多对形状一致的图片区域的内部的相似度，确定其中的两对形状一致的图片区域。

综上，本发明的基于像素区域无缝对调的图片编辑装置及方法，根据至少一个图片中待交换的两个图片区域构建图模型，再确定最优割缝，最后交换两个图片区域与最优割缝的可交换区域，能够提供简单易用的交互接口，通过实时的块交换过程实现对于图片的编辑，编辑之后的结果真实自然。

至此，已经结合附图对本公开实施例进行了详细描述。需要说明的是，在附图或说明书正文中，未绘示或描述的实现方式，均为所属技术领域中普通技术人员所知的形式，并未进行详细说明。此外，上述对各元件和方法的定义并不仅限于实施例中提到的各种具体结构、形状或方式，本领域普通技术人员可对其进行简单地更改或替换。

“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的“一”或“一个”不排除存在多个这样的元件。

此外，除非特别描述或必须依序发生的步骤，上述步骤的顺序并无限制于以上所列，且可根据所需设计而变化或重新安排。并且上述实施例可基于设计及可靠度的考虑，彼此混合搭配使用或与其他实施例混合搭配使用，即不同实施例中的技术特征可以自由组合形成更多的实施例。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于像素区域无缝对调的图片编辑装置，包括：

选择模块，用于选择至少一个图片中待交换的两个图片区域，且所述两个图片区域的形状一致，图片区域的形状为圆形、矩形、三角形或者不规则图形；

最优割缝模块，用于将所述两个图片区域的重心对齐，以重心对齐的对齐区域构建一图模型，并确定该图模型的最优割缝；

可交换区域确定模块，用于将所述最优割缝与所述两个图片区域分别按重叠区域的相对位置进行重合，分别确定所述两个图片区域中的两个可交换区域；

交换模块，用于在所述两个图片区域中，交换所述两个可交换区域中位置相同的像素点；

推荐模块，用于确定至少一个图片的各图片区域的整体相似度，确定多对形状一致的图片区域；并根据多对形状一致的图片区域的内部的相似度，确定其中的两对形状一致的图片区域；

修正模块，用于计算、修正像素点的颜色值；其中，所述最优割缝模块包括∶

差异图计算单元，用于根据所述对齐区域在两个图片区域中对应位置的像素点的差异，计算一差异图，所述像素点的差异指两个图片区域中对应位置的像素点在RGB各通道上颜色值之差的平方和；

图模型确定单元，用于在所述差异图中，以所述重心为极点建立极坐标系；将所述极坐标系的极点之外的点i和点i的八邻域的点连接，确定一图模型，其中，点i和点i的八邻域的点i0~i7的连接规则为：以极轴的顺时针方向为正方向，确定极角大于0小于180°的三个点，并由点i为出发点，分别连接这三个极点i5~i7；对于与极角都为0的两个点，以极径较短的点i3为出发点，连接点i；以点i为出发点，连接极径较长的点i4；分别以i0~i2三个点为出发点，连接点i；若点i位于极坐标系的极轴之上，还需连接其八邻域中极角为（360°±θ）的点，其中，0≤θ≤30°；

最短路径确定单元，用于计算以所述点i为起点和终点的环形割缝所经过的像素点的差异累积，确定点i的最短路径；

最优割缝确定单元，用于计算所述差异累积与环形割缝所经过的像素点个数的比值，将比值最小的环形割缝作为该图模型的最优割缝；

所述交换模块还包括∶

边界交换单元，用于交换所述两个可交换区域的边界的像素点；内部交换单元，用于根据所述边界的像素点分别建立泊松方程，确定所述两个可交换区域的内部的像素点的值，并交换所述两个可交换区域的内部的像素点。

2.一种基于像素区域无缝对调的图片编辑方法，包括∶

选择至少一个图片中待交换的两个图片区域，且所述两个图片区域的形状一致，图片区域的形状为圆形、矩形、三角形或者不规则图形；

将所述两个图片区域的重心对齐，以重心对齐的对齐区域构建一图模型，并确定该图模型的最优割缝；

将所述最优割缝与所述两个图片区域分别按重叠区域的相对位置进行重合，分别确定所述两个图片区域中的两个可交换区域；

在所述两个图片区域中，交换所述两个可交换区域中位置相同的像素点；

该方法还包括：确定至少一个图片的各图片区域的整体相似度，确定多对形状一致的图片区域；

并根据多对形状一致的图片区域的内部的相似度，确定其中的两对形状一致的图片区域；其中，以重心对齐的对齐区域构建一图模型，并确定该图模型的最优割缝，包括步骤∶

根据所述对齐区域在两个图片区域中对应位置的像素点的差异，计算差异图，所述像素点的差异指两个图片区域中对应位置的像素点在 RGB 各通道上颜色值之差的平方和；

在所述差异图中，以所述重心为极点建立极坐标系;将所述极坐标系的极点之外的点i和点i的八邻域的点连接，确定一图模型，其中，点i和点i的八邻域的点i0~i7的连接规则为∶以极轴的顺时针方向为正方向，确定极角大于0小于180°的三个点，并由点i为出发点，分别连接这三个点i5~i7；对于与极角都为0的两个点，以极径较短的点i3为出发点，连接点i；以点i为出发点，连接极径较长的点i4；分别以i0~i2三个点为出发点，连接点i；若点i位于极坐标系的极轴之上，还需连接其八邻域中极角为（360°±θ）的点，其中，0≤θ≤30°；以及计算以所述点i为起点和终点的环形割缝所经过的像素点的差异累积，确定点i的最短路径；

计算所述差异累积与环形割缝所经过的像素点个数的比值，将比值最小的环形割缝作为该图模型的最优割缝；

交换所述两个可交换区域中位置相同的像素点，包括步骤∶交换所述两个可交换区域的边界的像素点；

根据所述边界的像素点分别建立泊松方程，确定所述两个可交换区域的内部的像素点的值，并交换所述两个可交换区域的内部的像素点。

Images