CN108805811B - 一种基于非凸二次规划的自然图像智能拼图方法及系统 - Google Patents

Abstract

本发明公开了一种基于非凸二次规划的自然图像智能拼图方法及系统，本发明结合了马氏梯度度量和投影的幂方法的优点，利用二次规划模型，将拼图碎片间组合优化问题转化为有约束的非凸优化问题，利用马氏梯度度量计算碎片边缘相邻程度关系，既考虑了边缘像素的灰度信息，又加入了边缘像素的梯度信息，提高了度量的准确性；基于投影的幂方法能够将碎片边缘相邻程度关系在高维空间中表示，并结合随机的初始排序关系，利用迭代的幂方法，进一步保证了空间中收敛到最优解的准确性，降低了图像复原的时间。

Description

一种基于非凸二次规划的自然图像智能拼图方法及系统

技术领域

本发明属于计算机视觉、图像分析和模式识别领域，尤其涉及一种基于非凸二次规划的自然图像智能拼图方法及系统。

背景技术

自然图像智能拼图是计算机视觉、图像分析和模式识别领域中的一个具有实际应用价值的问题。计算机自动拼图是利用碎片的形状、纹理、颜色等特征，将改变顺序和方向的碎片复原成原始图像的过程。给定一定数量的无重叠的碎片，计算机利用碎片的特征得出碎片间的特定关系，将拼图问题转化为数学优化问题求解建模，最优解即为拼图中碎片的一组正确的排列组合方式。智能拼图问题通常用来解决考古中的古文物碎片复原、生物研究中DNA/RNA建模以及刑事侦查中物证碎片复原问题等。

智能拼图通常被视为广义排序问题，目前存在的解决方法是将拼图问题分为碎片间特征关系度量计算和优化过程求解两个部分。因拼图问题本身存在的多种挑战，多数求解技术多建立在特定问题中进行探讨(例如根据碎片形状、旋转等)。碎片间特征关系度量是指衡量碎片相邻可能性的一种距离计算方法，能够反映出两个碎片连接处的图像是否连续。目前常用的碎片间关系度量的方法多基于边缘颜色信息差值，具有计算速度快、易于实现等优点，但直接使用结果不够准确。

马氏梯度度量是由Ga l l agher于2012年提出的一种将马氏距离和像素梯度信息想结合的测量碎片间关系的度量方法。作为目前较流行的图像边缘相似度计算方法，马氏梯度度量已经在拼图领域得到了广泛应用。其核心思想利用马氏距离公式，在考虑最靠近边缘的像素信息同时还加入了边缘的梯度信息。然而，马氏梯度度量在提高准确率的同时，由于其计算量大的原因，也增加了运算时间。

投影的幂方法是陈昱鑫于2016年提出的一种用于解决非凸问题的数学优化模型。将所求问题升维到高维空间，利用幂方法求得表达中所需的主特征值，每次迭代中均做投影变换，用以降低问题的复杂程度，减少运算时间。

因此，目前需要本领域技术人员迫切解决的一个技术问题是：如何在因碎片度量产生噪声的同时复原打乱顺序和方向的拼图图像，提高智能拼图算法的准确性和效率。

发明内容

本发明为了解决上述问题，提出了一种基于非凸二次规划的自然图像智能拼图方法及系统，本发明结合了马氏梯度度量和投影的幂方法的优点，利用二次规划模型，将拼图碎片间组合优化问题转化为有约束的非凸优化问题，解决了碎片形状为正方向的旋转拼图问题。

本发明可应用于计算机视觉、图像分析和模式识别领域，将碎片图像进行拼接，形成完整的正确图像，以进一步进行分析和处理。

为了实现上述目的，本发明采用如下技术方案：

一种基于非凸二次规划的自然图像智能拼图方法，对每个碎片进行编号和方向定义，利用马氏梯度度量计算碎片边缘相邻程度关系，构建表达水平和竖直方向上的碎片间相似度，基于投影的幂方法将碎片边缘相邻程度关系在高维空间中表示，并结合随机的初始排序关系，利用迭代的幂方法进行寻优求解，直到得到最优排列序列，根据最优排列序列复原图像。

具体包括以下步骤：

对打乱顺序和方向的多个碎片进行初始化定义，为每一个碎片标注图片序号和方向序号；

计算碎片间的关系，利用马氏梯度度量方法，在水平和竖直方向上，构建碎片间相似度度量矩阵；

利用得到的水平、竖直方向上相似度度量矩阵，结合已知的碎片复原后的位置关系，构建二次规划模型中的海森矩阵；

基于海森矩阵，构造一个排列组合关系的初始值，根据初始值向量以及海森矩阵所构成的二次规划模型，利用带投影的幂方法进行优化求解，直至算法收敛，即得到了最优排列序列；

根据各碎片初始标注图片及方向序号和最优排列序列，复原图像。

进一步的，利用得到的水平、竖直方向上相似度度量矩阵，结合已知的碎片复原后的位置关系，构建二次规划模型中的海森矩阵中，具体为：

根据水平方向邻接位置集合H中坐标，将碎片间相似度度量矩阵CH填入海森矩阵，同理，根据竖直方向邻接位置集合V中坐标，将碎片间相似度度量矩阵CV填入海森矩阵；

因集合H和V中为有序序列，为保证海森矩阵L的对称性，应将与集合H和V中相反序列均填入相应的CH^T和CV^T；

选取海森矩阵L中某一碎片，保留其中一方向的值，其余与该碎片相关信息全置为0。

进一步的，构造一个排列组合关系的初始值的具体过程包括：进行低秩矩阵分解，计算海森矩阵的秩为设定值的近似矩阵，然后任取近似矩阵的一列作为初始值。

进一步的，计算马氏梯度距离的核心公式为：

其中，D_LR(t_i,t_j,α,β)表示碎片t_i和碎片t_j之间在水平方向上相邻边缘的相似度情况，其中，碎片t_i方向α朝上，碎片t_j方向β朝上，G_i(α)j(β)LR(r)为碎片t_i和碎片t_j在第r行中的梯度，μ_i(α)L表示了碎片t_i最后两列间梯度的变化，

为协方差矩阵，

为两两碎片在水平方向上的度量值，竖直方向度量值计算同理。

进一步的，用于二次规划模型中的海森矩阵构造方式为：

其中，L海森矩阵为分块矩阵，表示各位置间碎片的放置信息，

为海森矩阵中的模块矩阵，表示第m个位置和第n个位置所放置的两个碎片各方向所在边之间的关系，其中，H和V为水平、竖直方向相邻位置集合；CH和CV中存放两碎片各方向所在边的关系信息。

进一步的，用于构建投影的幂迭代的目标函数为：

其中，f(X)为优化过程中的目标函数，X表示了碎片的一种排列组合方式，L为海森矩阵，包括了碎片与位置、碎片与碎片间的度量关系。

进一步的，投影的幂方法迭代更新的核心公式为：

在此公式中，

定义为对每一次迭代后的X投影，μ_t为迭代过程中的步长。

本发明还提供一种基于非凸二次规划的自然图像智能拼图系统，运行于处理器上，执行以下指令：

对每个碎片进行编号和方向定义，利用马氏梯度度量计算碎片边缘相邻程度关系，构建表达水平和竖直方向上的碎片间相似度，基于投影的幂方法将碎片边缘相邻程度关系在高维空间中表示，并结合随机的初始排序关系，利用迭代的幂方法进行寻优求解，直到得到最优排列序列，根据最优排列序列复原图像。

一种基于非凸二次规划的自然图像智能拼图系统，包括：

排序模块，被配置为对打乱顺序和方向的多个碎片进行初始化定义，为每一个碎片标注图片序号和方向序号；

位置关系计算模块，被配置为计算碎片间的关系，利用马氏梯度度量方法，在水平和竖直方向上，构建碎片间相似度度量矩阵；利用得到的水平、竖直方向上相似度度量矩阵，结合已知的碎片复原后的位置关系，构建二次规划模型中的海森矩阵；

最优解计算模块，被配置为基于海森矩阵，构造一个排列组合关系的初始值，根据初始值向量以及海森矩阵所构成的二次规划模型，利用带投影的幂方法进行优化求解，直至算法收敛，即得到了最优排列序列；

复原模块，被配置为根据各碎片初始标注图片及方向序号和最优排列序列，复原图像。

与现有技术相比，本发明的有益效果为：

1、在准确率上，本发明将基于马氏梯度度量的碎片间特征关系计算与基于投影的幂方法的优化方法相结合，在对图像复原的同时，因考虑碎片间梯度和灰度差异问题，并综合考虑碎片与位置、碎片与碎片间的关系，极大程度的提高了算法的准确率。

2、在运算速度上，首先，将拼图这一广义排序问题转化为有约束的二次规划问题，将问题求解空间由复杂的排列组合模式上升到矩阵空间，利用矩阵迭代求解，进一步降低运算复杂程度，因此计算速度较快；其次，在优化求解过程中，投影的幂方法在每次迭代过程中，均采用投影的方式，降低了数据运算量，进一步提高了运算速度。

3、在适用性和扩展性上，由于本发明围绕自然图像(颜色、纹理丰富)研究，因此适用大部分场景，包括黑白文件等，具有一定的适用性；此外，本发明主要针对单图像且形状为正方形、旋转碎片进行复原，该方法通过对排列矩阵定义方式的改进，可进一步扩展成针对矩形、旋转/不旋转，多图混合拼图进行复原，因此本方法具有很好的扩展性。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1是本发明基于非凸二次规划的自然图像智能拼图算法的流程图；

图2是本发明本发明拼图碎片初始定义的一个实例；

图3是本发明优化方法的核心思路图；

图4是本发明二次规划模型中的海森矩阵表达实例；

图5是旋转拼图求解实施细节实例；

图6是本发明在单幅自然图像产生的碎片(正方形，旋转)中的自动复原的一个实例；

图7是本发明在两幅自然图像产生的碎片(正方形，旋转)中的自动复原的一个实例；

图8是本发明在单幅自然图像产生的碎片(矩形，旋转)中的自动复原的一个实例；

具体实施方式：

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在本发明中，术语如“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“侧”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，只是为了便于叙述本发明各部件或元件结构关系而确定的关系词，并非特指本发明中任一部件或元件，不能理解为对本发明的限制。

本发明中，术语如“固接”、“相连”、“连接”等应做广义理解，表示可以是固定连接，也可以是一体地连接或可拆卸连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的相关科研或技术人员，可以根据具体情况确定上述术语在本发明中的具体含义，不能理解为对本发明的限制。

本发明结合了马氏梯度度量和投影的幂方法的优点，利用二次规划模型，将拼图碎片间组合优化问题转化为有约束的非凸优化问题，建立一种新的图像拼接模型，用于解决碎片形状为正方向的旋转拼图问题。利用马氏梯度度量计算碎片边缘相邻程度关系，既考虑了边缘像素的灰度信息，又加入了边缘像素的梯度信息，提高了度量的准确性；基于投影的幂方法能够将碎片边缘相邻程度关系在高维空间中表示，并结合随机的初始排序关系，利用迭代的幂方法，进一步保证了空间中收敛到最优解的准确性，降低了图像复原的时间。

图1是本发明基于非凸二次规划的自然图像智能拼图算法的流程图。

在整个方法实施之前需要输入和定义的相关参数为：待复原图像的尺寸l×w，水平、竖直方向碎片的个数h和v，碎片的总个数N，碎片集合为{t₁,t₂,...,t_N}，碎片四个方向集合为{a,b,c,d}(以上方为正方向)，位置集合为{x₁,x₂,...,x_N}，水平、竖直方向邻接位置集合为H和V。两相邻位置x_i和x_j上放置某方向的两碎片表示为x_i＝(t_p,α)，x_j＝(t_q,β)((i,j)∈H或(i,j)∈V，α,β∈{a,b,c,d})，海森矩阵为L。

该方法可以总结为计算碎片间相似度度量关系和求解二次规划模型两部分：首先利用马氏梯度度量方法计算每两个碎片间关系信息，得出海森矩阵所需的水平、竖直方向上的碎片间关系矩阵，构造出二次规划模型所需的海森矩阵和初始值向量，再用投影的幂方法进行求解，最后用得到的最优排序序列复原图像。

具体包括以下几个步骤：

步骤1：对打乱顺序和方向的N张碎片进行初始化定义，为每一个碎片标注图片序号和方向序号，具体如图2。

步骤1.1：给定待复原图像的尺寸l×w，通过计算碎片的大小获得水平、竖直方向碎片的个数h和v，以及碎片的总个数N；

步骤1.2：初始化位置序号和碎片以及方向序号。定义位置集合为{x₁,x₂,...,x_N}，水平、竖直方向邻接位置集合为H和V。此外，定义碎片集合为{t₁,t₂,...,t_N}，碎片四个方向集合为{a,b,c,d}(以上方为正方向)。

步骤2：计算碎片间的关系，利用马氏梯度度量方法，在水平和竖直方向上，构建碎片间相似度度量矩阵。

步骤2.1：遍历每一个碎片，用马氏梯度度量方法计算每两个碎片在各方向中，左右相邻边的梯度和灰度差，得到水平方向上碎片间相似度度量矩阵CH；

其中，马氏梯度度量方法公式为：

其中，D_LR(t_i,t_j,α,β)表示碎片t_i(方向α朝上)和碎片t_j(方向β朝上)之间，在水平方向上相邻边缘的相似度情况。G_i(α)j(β)LR(r)为碎片t_i(方向α朝上)和碎片t_j(方向β朝上)在第r行中的梯度，μ_i(α)L表示了碎片t_i(方向α朝上)最后两列间梯度的变化，

为协方差矩阵。

为两两碎片在水平方向上的度量值，竖直方向度量值计算同理。

所以水平位置上，两碎片在某方向的关系表示为：

式中，η∈{a,b,c,d}，该公式为保证当两碎片间距离足够小时，该关系值逼近1。

步骤2.2：在进行步骤2.1同时，用马氏梯度度量方法计算每两个碎片在各方向中，上下相邻边的梯度和灰度差，得到数值方向上碎片间相似度度量矩阵CV。

步骤3：利用步骤2中得到的水平、竖直方向上相似度度量矩阵，结合已知的碎片复原后的位置关系，构建二次规划模型中的海森矩阵。该矩阵融合了拼图碎片间的位置信息和相似度度量关系，海森矩阵的具体表达形式如图4示例。

步骤3.1：根据水平方向邻接位置集合H中坐标，将碎片间相似度度量矩阵CH填入海森矩阵，同理，根据竖直方向邻接位置集合V中坐标，将碎片间相似度度量矩阵CV填入海森矩阵。

步骤3.2：因集合H和V中为有序序列，为保证海森矩阵L的对称性，应将与集合H和V中相反序列均填入相应的CH^T和CV^T。

步骤3.3：该步骤针对乱序、旋转的拼图共有4种等价最优排序情况，如图5，这种情况会干扰优化方法的收敛。因此，需要在优化之前随机选择某一碎片并固定该碎片的方向。具体方法为选取海森矩阵L中某一碎片，保留其中一方向的值，其余与该碎片相关信息全置为0。

步骤4：根据步骤3中的海森矩阵，构造一个排列组合关系的初始值。根据初始值向量以及海森矩阵所构成的二次规划模型

利用带投影的幂方法进行优化求解，目的是更新表示该拼图排列组合关系的初始值，直至算法收敛，即得到了最优排列序列。

步骤4.1：光谱初始化用于初始值设定。先进行低秩矩阵分解，计算海森矩阵L的秩为z的近似矩阵

然后任取

的一列作为初始值X⁰，目的为加快算法的收敛速度。核心公式如下：

步骤4.2：投影的幂方法目的是寻找满足目标函数f(X)最大值的一组排列表示X，具体如图3。具体操作是让X与L多次迭代，同时引入换算系数μ，其中μ≥c/σ₂(L)，c为非负常数，σ₂(L)为L第二个最大的特征值。多次实验得出μ为10时也会取得较好的效果。在每一次迭代过程中，将得到结果进行投影，以便缩短运算时间。迭代与投影的核心公式如下：

其中，t为每次迭代的代数，

定义为对每一次迭代后的X投影，μ_t为迭代过程中的步长。

当然，本实施例还可提供一种基于非凸二次规划的自然图像智能拼图系统，该系统运行于处理器或存储器上，被配置为执行以上方法步骤指令。

步骤5：利用步骤1中各碎片、方向序号和步骤4中最优排列序列X，复原图像。图6展示了一个本发明单幅图像(正方形，旋转)复原的实例。

另一个实施例：

本实施例提供了一个本发明两幅图像(正方形，旋转)复原的实例，如图7所示：

图7展示了来自两幅不同图像的正方形碎片，经打乱顺序与旋转后复原为两幅图像的效果图。整体过程如实施例1所述，不同点在于位置初始化的不同，由于放置在两幅图像相邻位置中的碎片相互独立，碎片边缘信息不具有连续性，因此在初始化位置H或V的集合时，不应包括两幅图像相邻位置的坐标；初始固定碎片方向的次数不同，需要固定两次碎片的方向，其一随机固定一幅图片碎片的方向，待第一幅图片拼合后，再从剩下碎片中随机选择一个碎片固定其方向。

再一个实施例：

本实施例提供了一个本发明单幅图像(矩形，旋转)复原的实例，如图8所示。

图8展示了矩形碎片经乱序与旋转后复原的效果图。与正方形碎片旋转90度4种方向不同，由于碎片形状的特殊性，矩形碎片旋转表现为上下180度旋转和左右180度旋转两种方向。整体过程如实施例1所述。

本领域技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (9)

1.一种基于非凸二次规划的自然图像智能拼图方法，其特征是：具体包括以下步骤：

对打乱顺序和方向的多个碎片进行初始化定义，为每一个碎片标注图片序号和方向序号；

计算碎片间的关系，利用马氏梯度度量方法，在水平和竖直方向上，构建碎片间相似度度量矩阵；

利用得到的水平、竖直方向上相似度度量矩阵，结合已知的碎片复原后的位置关系，构建二次规划模型中的海森矩阵；

基于海森矩阵，构造一个排列组合关系的初始值，根据初始值向量以及海森矩阵所构成的二次规划模型，利用带投影的幂方法进行优化求解，直至算法收敛，即得到了最优排列序列；

根据各碎片初始标注图片及方向序号和最优排列序列，复原图像。

2.如权利要求1所述的一种基于非凸二次规划的自然图像智能拼图方法，其特征是：利用得到的水平、竖直方向上相似度度量矩阵，结合已知的碎片复原后的位置关系，构建二次规划模型中的海森矩阵中，具体为：

根据水平方向邻接位置集合H中坐标，将碎片间相似度度量矩阵CH填入海森矩阵，同理，根据竖直方向邻接位置集合V中坐标，将碎片间相似度度量矩阵CV填入海森矩阵；

因集合H和V中为有序序列，为保证海森矩阵L的对称性，应将与集合H和V中相反序列均填入相应的CH^T和CV^T；

选取海森矩阵L中某一碎片，保留其中一方向的值，其余与该碎片相关信息全置为0。

3.如权利要求1所述的一种基于非凸二次规划的自然图像智能拼图方法，其特征是：构造一个排列组合关系的初始值的具体过程包括：进行低秩矩阵分解，计算海森矩阵的秩为设定值的近似矩阵，然后任取近似矩阵的一列作为初始值。

4.如权利要求1所述的一种基于非凸二次规划的自然图像智能拼图方法，其特征是：马氏梯度度量方法中，计算马氏梯度距离的核心公式为：

其中，D_LR(t_i,t_j,α,β)表示碎片t_i和碎片t_j之间在水平方向上相邻边缘的相似度情况，其中，碎片t_i方向α朝上，碎片t_j方向β朝上，G_i(α)j(β)LR(r)为碎片t_i和碎片t_j在第r行中的梯度，μ_i(α)L表示了碎片t_i最后两列间梯度的变化，

为协方差矩阵，

为两两碎片在水平方向上的度量值，竖直方向度量值计算同理。

5.如权利要求1所述的一种基于非凸二次规划的自然图像智能拼图方法，其特征是：用于二次规划模型中的海森矩阵构造方式为：

其中，海森矩阵L为分块矩阵，表示各位置间碎片的放置信息，

为海森矩阵L的模块矩阵，表示第m个位置和第n个位置所放置的两个碎片各方向所在边之间的关系，其中，H和V为水平、竖直方向相邻位置集合；CH和CV中存放两碎片各方向所在边的关系信息。

6.如权利要求1所述的一种基于非凸二次规划的自然图像智能拼图方法，其特征是：用于构建投影的幂迭代的目标函数为：

其中，f(X)为优化过程中的目标函数，X表示了碎片的一种排列组合方式，L为海森矩阵，包括了碎片与位置、碎片与碎片间的度量关系。

7.如权利要求1所述的一种基于非凸二次规划的自然图像智能拼图方法，其特征是：投影的幂方法迭代更新的核心公式为：

在此公式中，

定义为对每一次迭代后的X投影，μ_t为迭代过程中的步长。

8.一种基于非凸二次规划的自然图像智能拼图系统，其特征是：运行于处理器上，执行以下指令：

对打乱顺序和方向的多个碎片进行初始化定义，为每一个碎片标注图片序号和方向序号；

计算碎片间的关系，利用马氏梯度度量方法，在水平和竖直方向上，构建碎片间相似度度量矩阵；

利用得到的水平、竖直方向上相似度度量矩阵，结合已知的碎片复原后的位置关系，构建二次规划模型中的海森矩阵；

基于海森矩阵，构造一个排列组合关系的初始值，根据初始值向量以及海森矩阵所构成的二次规划模型，利用带投影的幂方法进行优化求解，直至算法收敛，即得到了最优排列序列；

根据各碎片初始标注图片及方向序号和最优排列序列，复原图像。

9.一种基于非凸二次规划的自然图像智能拼图系统，其特征是：包括：

排序模块，被配置为对打乱顺序和方向的多个碎片进行初始化定义，为每一个碎片标注图片序号和方向序号；

位置关系计算模块，被配置为计算碎片间的关系，利用马氏梯度度量方法，在水平和竖直方向上，构建碎片间相似度度量矩阵；利用得到的水平、竖直方向上相似度度量矩阵，结合已知的碎片复原后的位置关系，构建二次规划模型中的海森矩阵；

最优解计算模块，被配置为基于海森矩阵，构造一个排列组合关系的初始值，根据初始值向量以及海森矩阵所构成的二次规划模型，利用带投影的幂方法进行优化求解，直至算法收敛，即得到了最优排列序列；

复原模块，被配置为根据各碎片初始标注图片及方向序号和最优排列序列，复原图像。

Images