CN114299001B - 基于结构循环一致性的异源图像变化检测方法及装置 - Google Patents

Abstract

本申请涉及一种基于结构循环一致性的异源图像变化检测方法、装置、计算机设备和存储介质。所述方法包括：将事件前图像和事件后图像输入预先构建的初始图像回归模型，得到事件前图像特征矩阵和事件后图像特征矩阵；根据事件前图像特征矩阵和事件前图像的自适应图，进行前向变换，得到前向回归后特征矩阵；根据前向回归后特征矩阵以及前向回归后图像的自适应图，进行循环变换，得到循环回归后特征矩阵；将前向回归后特征矩阵与事件后图像特征矩阵求差，得到差异矩阵。采用本方法能够提高异源图像变化检测准确率。

Description

基于结构循环一致性的异源图像变化检测方法及装置

技术领域

本申请涉及遥感影像技术领域，特别是涉及一种基于结构循环一致性的异源图像变化检测方法、装置。

背景技术

随着遥感影像技术的发展，变化检测是变化检测是遥感领域的常见任务，，通过比较在同一区域获得的图像用以识别地球上的变化，变化检测已在许多应用中广泛使用，包括环境监测，农业调查和灾害评估等。异源图像变化检测通过对比来自不同传感器的遥感图像来检测变化，在应急事件响应(如地震、洪水等灾害)和热点地区持续监测中有着尤为重要的作用。

然而，目前的异源图像变化检测方法，一般为基于图像分类的方法、基于特征变换的方法以及基于图像回归的方法等。在实践中，目前还没有大型的公开项目数据集支持预先训练的异源图像模型，而这些基于深度学习的方法都是基于事件前和事件后的图像本身来检测的变化，存在效率低下，准确率低等问题，同时这些方法提取或者学习到的通用特征不具有鲁棒性，很难适应于各种复杂的异源图像变化检测场景。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高异源图像变化检测准确率的基于结构循环一致性的异源图像变化检测方法及装置。

一种基于结构循环一致性的异源图像变化检测方法，所述方法包括：

将事件前图像和事件后图像输入预先构建的初始图像回归模型，得到事件前图像特征矩阵和事件后图像特征矩阵；

根据事件前图像特征矩阵，进行自适应图学习，得到事件前图像的自适应图；

根据事件前图像特征矩阵和事件前图像的自适应图，进行前向变换，得到前向回归后特征矩阵；事件前图像特征矩阵、事件前图像的自适应图、前向回归后特征矩阵以及前向回归后图像的自适应图满足前向变换条件；

根据前向回归后特征矩阵以及前向回归后图像的自适应图，进行循环变换，得到循环回归后特征矩阵；事件前图像特征矩阵和循环回归后特征矩阵满足循环一致性；

将前向回归后特征矩阵与事件后图像特征矩阵求差，得到差异矩阵；其中，差异矩阵满足稀疏正则化条件；

根据前向变换条件、循环一致性以及稀疏正则化条件，构建最终图像回归模型，通过求解最终图像回归模型得到差异矩阵。

在其中一个实施例中，根据事件前图像特征矩阵，进行自适应图学习，得到事件前图像的自适应图的步骤包括：根据自适应K选择策略和自适应加权距离算法对事件前图像特征矩阵进行计算，得到事件前图像的自适应图，如下式所示：

其中，X表示事件前图像特征矩阵，S^x表示事件前图像的自适应图，w^x表示事件前图像特征矩阵的权重向量,N表示事件前特征矩阵中的超像素个数，M表示超像素的特征个数，i，j表示超像素的序号，

表示事件前图像特征矩阵第m个特征的权重，

表示事件前图像特征矩阵中第i个超像素的第m个特征到第j个超像素的第m个特征的距离，

表示l₂范数，

表示事件前图像自适应图中的第i个超像素到第j个超像素边的权重，α_i表示自适应K选择策略调节参数，s.t.表示约束条件，η表示调优参数。

在其中一个实施例中，事件前图像特征矩阵和前向回归后特征矩阵满足前向变换条件为：

其中，

表示前向回归后图像的自适应图，

表示前向回归后特征矩阵的权重向量，N表示超像素个数，M表示超像素的特征个数，m表示特征序号，

表示前向回归后特征矩阵，

表示前向回归后特征矩阵中第m个特征的权重，

表示前向回归后特征矩阵中第i个超像素的第m个特征到第j个超像素的第m个特征的距离，

表示前向回归后特征矩阵中第i个超像素的第m个特征，

表示前向回归后特征矩阵中第j个超像素的第m个特征，

表示事件前图像特征矩阵中第m个特征的权重，

表示l₂范数，s.t.表示约束条件，

表示前向回归后图像的自适应图中第i个超像素到第j个超像素边的权重，η表示调优参数，α_i表示K选择调节参数。

在其中一个实施例中，事件前图像特征矩阵和循环回归后特征矩阵满足循环一致性为：

其中，

表示循环回归后特征矩阵中的第i个超像素的第m个特征到第j个超像素的第m个特征的距离，

表示循环回归后特征矩阵，γ表示循环调优参数，X^(m)表示事件前图像的第m个特征矩阵，

表示循环回归后图像的第m个特征矩阵，

表示前向回归后图像的自适应图中第i个超像素到第j个超像素边的权重。

在其中一个实施例中，差异矩阵满足稀疏正则化条件为：

其中，λ表示惩罚参数，|| ||_2,1表示l_2,1范数，Δ^(m)表示差异图像的第m个特征矩阵，

表示前向回归后图像的第m个特征矩阵,Y^(m)表示事件后图像的第m个特征矩阵。

在其中一个实施例中，根据前向变换条件、循环一致性以及稀疏正则化条件，

构建最终图像回归模型为：

其中，Tr()表示矩阵的迹，L_X表示事件前图像的自适应图的拉普拉斯矩阵，

表示前向回归后图像的自适应图的拉普拉斯矩阵，T表示转置运算。

在其中一个实施例中，对最终图像回归模型进行求解，将其改写为增广拉格朗日函数的最小化为：

其中，P^(m)表示拉格朗日乘数，

表示求解模型的目标函数。

一种基于结构循环一致性的异源图像变化检测装置，所述装置包括：

图像输入模块，用于将事件前图像和事件后图像输入预先构建的初始图像回归模型，得到事件前图像特征矩阵和事件后图像特征矩阵；

图学习模块，用于根据事件前图像特征矩阵，进行自适应图学习，得到事件前图像的自适应图；

前向变换模块，用于根据事件前图像特征矩阵和事件前图像的自适应图，进行前向变换，得到前向回归后特征矩阵；事件前图像特征矩阵、事件前图像的自适应图、前向回归后特征矩阵以及前向回归后图像的自适应图满足前向变换条件；

循环变换模块，用于根据前向回归后特征矩阵以及前向回归后图像的自适应图，进行循环变换，得到循环回归后特征矩阵；事件前图像特征矩阵和循环回归后特征矩阵满足循环一致性；

求差模块，用于将前向回归后特征矩阵与事件后图像特征矩阵求差，得到差异矩阵；其中，差异矩阵满足稀疏正则化条件；

构建求解模型模块，用于根据前向变换条件、循环一致性以及稀疏正则化条件，构建最终图像回归模型，通过求解最终图像回归模型得到差异矩阵。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

将事件前图像和事件后图像输入预先构建的初始图像回归模型，得到事件前图像特征矩阵和事件后图像特征矩阵；

根据所述事件前图像特征矩阵，进行自适应图学习，得到事件前图像的自适应图；

根据事件前图像特征矩阵和事件前图像的自适应图，进行前向变换，得到前向回归后特征矩阵；事件前图像特征矩阵、事件前图像的自适应图、前向回归后特征矩阵以及前向回归后图像的自适应图满足前向变换条件；

根据前向回归后特征矩阵以及前向回归后图像的自适应图，进行循环变换，得到循环回归后特征矩阵；事件前图像特征矩阵和循环回归后特征矩阵满足循环一致性；

将前向回归后特征矩阵与事件后图像特征矩阵求差，得到差异矩阵；其中，差异矩阵满足稀疏正则化条件；

根据前向变换条件、循环一致性以及稀疏正则化条件，构建最终图像回归模型，通过求解最终图像回归模型得到差异矩阵。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

将事件前图像和事件后图像输入预先构建的初始图像回归模型，得到事件前图像特征矩阵和事件后图像特征矩阵；

根据所述事件前图像特征矩阵，进行自适应图学习，得到事件前图像的自适应图；

根据事件前图像特征矩阵和事件前图像的自适应图，进行前向变换，得到前向回归后特征矩阵；事件前图像特征矩阵、事件前图像的自适应图、前向回归后特征矩阵以及前向回归后图像的自适应图满足前向变换条件；

根据前向回归后特征矩阵以及前向回归后图像的自适应图，进行循环变换，得到循环回归后特征矩阵；事件前图像特征矩阵和循环回归后特征矩阵满足循环一致性；

将前向回归后特征矩阵与事件后图像特征矩阵求差，得到差异矩阵；其中，差异矩阵满足稀疏正则化条件；

根据前向变换条件、循环一致性以及稀疏正则化条件，构建最终图像回归模型，通过求解最终图像回归模型得到差异矩阵。

上述基于结构循环一致性的异源图像变化检测方法、装置、计算机设备和存储介质，首先构造了一个自适应图来表示事件前图像的结构，利用构建的最终图像回归模型进行前向变换，将事件前图像转换为该图像在事件后图像域中的图像即前向回归后图像，然后利用循环变换和稀疏正则化来提高前向回归后图像的图像质量，从而在进行异源图像变化检测时，可以得到更加准确的差异矩阵，进而提高异源图像变化检测的准确率。

附图说明

图1为一个实施例中基于结构循环一致性的异源图像变化检测方法的流程示意图；

图2为一个实施例中基于结构循环一致性的异源图像变化检测装置的结构框图；

图3为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种基于结构循环一致性的异源图像变化检测方法，包括以下步骤：

步骤102，将事件前图像和事件后图像输入预先构建的初始图像回归模型，得到事件前图像特征矩阵和事件后图像特征矩阵。

识别地球上的变化一般是通过比较在同一区域不同时刻获得的图像来得到差异，事件前图像是指发生某一事件前获取的该区域图像，事件后图像是指发生某一事件后获取的该区域图像，对两个图像进行特征提取，得到事件前图像特征矩阵和事件后图像特征矩阵，图像特征矩阵用来表示实际获取的图像的特征信息，图像回归是首先假定两个不同时期图像的像元值之间存在映射关系，通过图像回归得出关系式；然后用回归函数计算出T1时相图像在T2时相的像元预测值；再用此预测值减去T2时相的的原始像元值，从而获得两时相的回归残差图像，然后确定变化区域。初始图像回归模型是指现有技术中普通的图像回归模型，用来获取的图像的特征矩阵。

利用超像素分割法对事件前图像进行特征提取，得到事件前图像特征矩阵，该特征矩阵用来表示事件前图像的特征信息。

步骤104，根据所述事件前图像特征矩阵，进行自适应图学习，得到事件前图像的自适应图；

为了表征超像素之间的相似关系，本申请首先构造了加权有向图，根据自适应K选择策略使每个超像素都尽可能多的连接到真正相似的超像素，然后利用自适应加权距离算法确定超像素与其相似的超像素之间的权重，以超像素作为顶点，超像素与其相似的超像素之间的权重作为边构建自适应图，如下所示，

步骤106，根据事件前图像特征矩阵和事件前图像的自适应图，进行前向变换，得到前向回归后特征矩阵；事件前图像特征矩阵、事件前图像的自适应图、前向回归后特征矩阵以及前向回归后图像的自适应图满足前向变换条件。

事件前图像的自适应图用来表示事件前图像的结构信息，前向变换是指将事件前图像转换为事件前图像在事件后图像域中的图像，用于约束事件前图像与其在事件后图像域中的图像具有相同的结构。

步骤108，根据前向回归后特征矩阵以及前向回归后图像的自适应图，进行循环变换，得到循环回归后特征矩阵；事件前图像特征矩阵和循环回归后特征矩阵满足循环一致性。

和步骤106学习过程类似，对前向回归后特征矩阵进行自适应图学习，得到前向回归后图像的自适应图，图像回归遵循循环一致性原则，即回归的数据可以转换回到原始域，即事件前的图像域，在本申请中对事件后图像进行循环变换，用来验证事件前图像特征矩阵和循环回归后特征矩阵是否符合循环一致性。

步骤110，将前向回归后特征矩阵与事件后图像特征矩阵求差，得到差异矩阵；其中，差异矩阵满足稀疏正则化条件。

前向回归后特征矩阵用来表示由事件前图像映射到事件后图像域中的图像的特征信息，将两者做差得到的差异矩阵可以用来表示事件发生后产生了变化的图像区域的特征信息，为了避免变化区域超像素对回归过程的影响，将事件后图像分解为变换图像和在事件后图像域中的事件前图像即回归图像，稀疏正则化可以减少图像的噪点，使得差异矩阵更加准确。

步骤112，根据前向变换条件、循环一致性以及稀疏正则化条件，构建最终图像回归模型，通过求解最终图像回归模型得到差异矩阵。

对差异矩阵进行反映射得到变化图像，该变化图像为异源图像变化检测的结果。

上述基于结构循环一致性的异源图像变化检测方法中，首先构造了一个自适应图来表示事件前图像的结构，利用构建的图像回归模型进行前向变换，将事件前图像转换为该图像在事件后图像域中的图像即前向回归后图像，然后利用循环变换和稀疏正则化来提高前向回归后图像的图像质量，从而在进行异源图像变化检测时，可以得到更加准确的差异矩阵，进而提高异源图像变化检测的准确率。

在其中一个实施例中，将事件前图像输入预先构建的图像回归模型的前向输入端，对事件前图像进行特征提取，得到事件前图像特征矩阵。

在本申请中，使用结构一致性建立异源图像(即事件前图像和事件后图像)之间的联系，先利用SLIC算法对事件前图像进行超像素分割和特征提取，得到事件前图像特征矩阵，并利用同一图像内超像素之间的相似性关系表示图像结构。然后结构一致性可以表示为：

和

如果和代表同一种物体(体现在它们非常相似)，如果在事件期间它们都没有发生改变，那么

和

也代表同一种物体(体现在它们也非常相似)。因为这种图像本身的非局部相似性可以消除异源图像之间的差异，所以基于结构的相似关系可以在不同的成像中很好的得到保留。本申请使用这种结构一致性将事件前图像转换到事件后图像域。

在其中一个实施例中，根据自适应K选择策略和自适应加权距离算法对事件前图像特征矩阵进行计算，得到事件前图像的自适应图。

为了表征超像素之间的相似关系，本申请首先构造了加权有向图，首先根据自适应K选择策略使每个超像素都尽可能多的连接到真正相似的超像素，然后利用自适应加权距离算法确定超像素与其相似的超像素之间的权重，超像素作为顶点，超像素与其相似的超像素之间的权重作为边构建自适应图。

本申请的自适应K选择策略的过程如下：

步骤1，设置

并且

表示向上取整操作，找到每个顶点的k_max最近邻；

步骤2，计算第i个顶点的入度

即第i个顶点出现在所有顶点的k_max最近邻中的次数；

步骤3，为第i个顶点设置

通过这种自适应K选择策略，选择一个较大的ki代表图像中占比较大的地物的超像素(有更多真正相似的超像素)，并选择一个较小的ki代表图像中占比较小的地物的超像素(真正相似的超像素更少)，可以找到每个顶点的真正相似邻居，ki在以下公式中表示为α_i。

根据自适应K选择策略和自适应加权距离算法对事件前图像特征矩阵进行计算，得到事件前图像的自适应图的过程，如下式所示：

其中，X表示事件前图像特征矩阵，S^X表示事件前图像的自适应图，w^X表示事件前图像特征矩阵的权重向量,N表示事件前特征矩阵中的超像素个数，M表示超像素的特征个数，i，j表示超像素的序号，

表示事件前图像特征矩阵第m个特征的权重，

表示事件前图像特征矩阵中第i个超像素的第m个特征到第j个超像素的第m个特征的距离，

表示l₂范数β表示前向变换的惩罚参数，

表示l_F范数，

表示事件前图像自适应图中的第i个超像素到第j个超像素边的权重，α_i表示自适应K选择策略调节参数，s.t.表示约束条件，η表示调优参数。

其中，第m个特征矩阵表示

和

在其中一个实施例中，事件前图像特征矩阵和前向回归后特征矩阵满足前向变换条件为：

先求解

和

如下式所示

其中，

表示前向回归后图像的自适应图，N表示超像素个数，M表示超像素的特征个数，m表示特征序号，

表示前向回归后特征矩阵，

表示前向回归后特征矩阵中第m个特征的权重，

表示前向回归后特征矩阵中第i个超像素的第m个特征到第j个超像素的第m个特征的距离，

表示前向回归后特征矩阵中第i个超像素的第m个特征，

表示前向回归后特征矩阵中第j个超像素的第m个特征，

表示事件前图像特征矩阵中第m个特征的权重，

表示l₂范数，s.t.表示约束条件，

表示前向回归后图像的自适应图中第i个超像素到第j个超像素边的权重，η表示调优参数，α_i表示K选择调节参数。

基于异源图像的图像回归变化检测主要是将图像从一个域映射到其他的域中，超像素被用作基本单位，然后提取特征表示超像素，需要找到特征之间的回归函数矩阵，定义从X域中映射函数到Y域中表示为

则X在Y域中的回归特征矩阵为

有

同理，定义从Y域中映射函数到X域中表示为

Y在X域中的回归特征矩阵为

有

定义

用于从特征中提取像素值的操作符，然后在异源图像之间，有回归函数

和

则：

其中，

和

为转换后的图像，本申请基于异源之间的结构一致性属性通过使用前向变换、循环变换和稀疏正则化完成图像回归，得到差异矩阵，即异源图像变化检测的结果。

在其中一个实施例中，事件前图像特征矩阵和循环回归后特征矩阵满足循环一致性为：

其中，

表示循环回归后特征矩阵中的第i个超像素的第m个特征到第j个超像素的第m个特征的距离，

表示循环回归后特征矩阵，γ表示循环调优参数，X^(m)表示事件前图像的第m个特征矩阵，即事件前图像特征矩阵，

表示循环回归后图像的第m个特征矩阵，即循环回归后特征矩阵，

表示前向回归后图像的自适应图中第i个超像素到第j个超像素边的权重。

在循环变换中，第一项是事件前图像和转换后的图像之间的一致性图像，即

第二项要求变换后的图像非常与原始图像相似，即

则

因此，通过将拉普拉斯矩阵定义为

其中

为

的度矩阵；

则循环变换可以重写为：

在其中一个实施例中，差异矩阵满足稀疏正则化条件为：

其中，λ表示惩罚参数，|| ||_2,1表示l_2,1范数，Δ^(m)表示差异图像的第m个特征矩阵即差异矩阵，

表示前向回归后图像的第m个特征矩阵即前向回归后特征矩阵,Y^(m)表示事件后图像的第m个特征矩阵即事件后特征矩阵。

在其中一个实施例中，根据前向变换条件、循环一致性以及稀疏正则化条件，

构建最终图像回归模型为：

其中，Tr()表示矩阵的迹，L_X表示事件前图像的自适应图的拉普拉斯矩阵，

表示前向回归后图像的自适应图的拉普拉斯矩阵，T表示转置运算。

在另一个实施例中，使用ADMM算法将最终图像回归模型作为目标函数

然后将最终图像回归模型改写为增广拉格朗日函数的最小化为

其中，

表示拉格朗日乘数，可以将该增广拉格朗日函数的最小化的问题改写为以下子问题：

(1)

-问题，通过定义

可以重新表述为

求解得

(2)

-问题，

然后，可以得到最优的

其中，

表示单位矩阵。

(3)

-问题，

该问题可以通过另目标函数一阶导数为零来求解，那么有

(3)Δ-问题，

通过定义

和近似点算子

可以得到

(3)

-问题，

最后拉格朗日乘子P可以表示为

应该理解的是，虽然图3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图2所示，提供了一种基于结构循环一致性的异源图像变化检测装置，包括：图像输入模块202、图学习模块204、前向变换模块206、循环变换模块208、求差模块210和构建求解模型模块212，其中：

图像输入模块202，用于将事件前图像和事件后图像输入预先构建的初始图像回归模型，得到事件前图像特征矩阵和事件后图像特征矩阵；

图学习模块204，用于根据事件前图像特征矩阵，进行自适应图学习，得到事件前图像的自适应图；

前向变换模块206，用于根据事件前图像特征矩阵和事件前图像的自适应图，进行前向变换，得到前向回归后特征矩阵；事件前图像特征矩阵、事件前图像的自适应图、前向回归后特征矩阵以及前向回归后图像的自适应图满足前向变换条件；

循环变换模块208，用于根据前向回归后特征矩阵以及前向回归后图像的自适应图，进行循环变换，得到循环回归后特征矩阵；事件前图像特征矩阵和循环回归后特征矩阵满足循环一致性；

求差模块210，用于将前向回归后特征矩阵与事件后图像特征矩阵求差，得到差异矩阵；其中，差异矩阵满足稀疏正则化条件；

构建求解模型模块212，用于根据前向变换条件、循环一致性以及稀疏正则化条件，构建最终图像回归模型，通过求解最终图像回归模型得到差异矩阵。

在其中一个实施例中，图学习模块204还用于根据事件前图像特征矩阵，进行自适应图学习，得到事件前图像的自适应图的步骤包括：根据自适应K选择策略和自适应加权距离算法对事件前图像特征矩阵进行计算，得到事件前图像的自适应图，如下式所示：

其中，X表示事件前图像特征矩阵，S^X表示事件前图像的自适应图，w^X表示事件前图像特征矩阵的权重向量,N表示事件前特征矩阵中的超像素个数，M表示超像素的特征个数，i，j表示超像素的序号，

表示事件前图像特征矩阵第m个特征的权重，

表示事件前图像特征矩阵中第i个超像素的第m个特征到第j个超像素的第m个特征的距离，

表示l₂范数，

表示事件前图像自适应图中的第i个超像素到第j个超像素边的权重，α_i表示自适应K选择策略调节参数，s.t.表示约束条件，η表示调优参数。

在其中一个实施例中，事件前图像特征矩阵和前向回归后特征矩阵满足前向变换条件为：

其中，

表示前向回归后图像的自适应图，

表示前向回归后特征矩阵的权重向量，N表示超像素个数，M表示超像素的特征个数，m表示特征序号，

表示前向回归后特征矩阵，

表示前向回归后特征矩阵中第m个特征的权重，

表示前向回归后特征矩阵中第i个超像素的第m个特征到第j个超像素的第m个特征的距离，

表示前向回归后特征矩阵中第i个超像素的第m个特征，

表示前向回归后特征矩阵中第j个超像素的第m个特征，

表示事件前图像特征矩阵中第m个特征的权重，

表示l₂范数，s.t.表示约束条件，

表示前向回归后图像的自适应图中第i个超像素到第j个超像素边的权重，η表示调优参数，α_i表示K选择调节参数。

在其中一个实施例中，事件前图像特征矩阵和循环回归后特征矩阵满足循环一致性为：

其中，

表示循环回归后特征矩阵中的第i个超像素的第m个特征到第j个超像素的第m个特征的距离，

表示循环回归后特征矩阵，γ表示循环调优参数，X^(m)表示事件前图像的第m个特征矩阵，

表示循环回归后图像的第m个特征矩阵，

表示前向回归后图像的自适应图中第i个超像素到第j个超像素边的权重。

在其中一个实施例中，差异矩阵满足稀疏正则化条件为：

其中，λ表示惩罚参数，|| ||₂₁表示l_2,1范数，Δ^(m)表示差异图像的第m个特征矩阵，

表示前向回归后图像的第m个特征矩阵,Y^(m)表示事件后图像的第m个特征矩阵。

在其中一个实施例中，根据前向变换条件、循环一致性以及稀疏正则化条件，构建最终图像回归模型为：

其中，Tr()表示矩阵的迹，L_X表示事件前图像的自适应图的拉普拉斯矩阵，

表示前向回归后图像的自适应图的拉普拉斯矩阵，T表示转置运算。

在其中一个实施例中，对最终图像回归模型进行求解，将其改写为增广拉格朗日函数的最小化为：

其中，P^(m)表示拉格朗日乘数，

表示求解模型的目标函数。

关于基于结构循环一致性的异源图像变化检测装置的具体限定可以参见上文中对于基于结构循环一致性的异源图像变化检测方法的限定，在此不再赘述。上述基于结构循环一致性的异源图像变化检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于结构循环一致性的异源图像变化检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述实施例中方法的步骤。

在一个实施例中，提供了一种计算机存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于结构循环一致性的异源图像变化检测方法，其特征在于，所述方法包括：

将事件前图像和事件后图像输入预先构建的初始图像回归模型，得到事件前图像特征矩阵和事件后图像特征矩阵；

根据所述事件前图像特征矩阵，进行自适应图学习，得到事件前图像的自适应图；

根据所述事件前图像特征矩阵和所述事件前图像的自适应图，进行前向变换，得到前向回归后特征矩阵；所述事件前图像特征矩阵、事件前图像的自适应图、前向回归后特征矩阵以及前向回归后图像的自适应图满足前向变换条件；

根据所述前向回归后特征矩阵以及前向回归后图像的自适应图，进行循环变换，得到循环回归后特征矩阵；所述事件前图像特征矩阵和所述循环回归后特征矩阵满足循环一致性；

将所述前向回归后特征矩阵与所述事件后图像特征矩阵求差，得到差异矩阵；其中，所述差异矩阵满足稀疏正则化条件；

根据所述前向变换条件、所述循环一致性以及所述稀疏正则化条件，构建最终图像回归模型，通过求解所述最终图像回归模型得到所述差异矩阵。

2.根据权利要求1所述的方法，其特征在于，根据所述事件前图像特征矩阵，进行自适应图学习，得到事件前图像的自适应图的步骤包括：

根据自适应K选择策略和自适应加权距离算法对所述事件前图像特征矩阵进行计算，得到事件前图像的自适应图，如下式所示：

其中，X表示事件前图像特征矩阵，S^X表示事件前图像的自适应图，w^X表示事件前图像特征矩阵的权重向量,N表示事件前特征矩阵中的超像素个数，M表示超像素的特征个数，i，j表示超像素的序号，

表示事件前图像特征矩阵第m个特征的权重，

表示事件前图像特征矩阵中第i个超像素的第m个特征到第j个超像素的第m个特征的距离，

表示l₂范数，

表示事件前图像自适应图中的第i个超像素到第j个超像素边的权重，α_i表示自适应K选择策略调节参数，s.t.表示约束条件，η表示调优参数。

3.根据权利要求2所述的方法，其特征在于，所述事件前图像特征矩阵、事件前图像的自适应图、前向回归后特征矩阵以及前向回归后图像的自适应图满足前向变换条件为：

其中，

表示前向回归后图像的自适应图，

表示前向回归后特征矩阵的权重向量，N表示超像素个数，M表示超像素的特征个数，m表示特征序号，

表示前向回归后特征矩阵，

表示前向回归后特征矩阵中第m个特征的权重，

表示前向回归后特征矩阵中第i个超像素的第m个特征到第j个超像素的第m个特征的距离，

表示前向回归后特征矩阵中第i个超像素的第m个特征，

表示前向回归后特征矩阵中第j个超像素的第m个特征，

表示事件前图像特征矩阵中第m个特征的权重，

表示l₂范数，s.t.表示约束条件，

表示前向回归后图像的自适应图中第i个超像素到第j个超像素边的权重，η表示调优参数，α_i表示K选择调节参数。

4.根据权利要求3所述的方法，其特征在于，所述事件前图像特征矩阵和所述循环回归后特征矩阵满足循环一致性为：

其中，

表示循环回归后特征矩阵中的第i个超像素的第m个特征到第j个超像素的第m个特征的距离，

表示循环回归后特征矩阵，γ表示循环调优参数，X^(m)表示事件前图像的第m个特征矩阵，

表示循环回归后图像的第m个特征矩阵，

表示前向回归后图像的自适应图中第i个超像素到第j个超像素边的权重。

5.根据权利要求4所述的方法，其特征在于，所述差异矩阵满足稀疏正则化条件为：

其中，λ表示惩罚参数，|| ||_2,1表示l_2,1范数，Δ^(m)表示差异图像的第m个特征矩阵，

表示前向回归后图像的第m个特征矩阵,Y^(m)表示事件后图像的第m个特征矩阵。

6.根据权利要求5所述的方法，其特征在于，根据所述前向变换条件、所述循环一致性以及所述稀疏正则化条件，构建最终图像回归模型为：

其中，Tr()表示矩阵的迹，L_X表示事件前图像的自适应图的拉普拉斯矩阵，

表示前向回归后图像的自适应图的拉普拉斯矩阵，T表示转置运算。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

对所述最终图像回归模型进行求解，将其改写为为增广拉格朗日函数的最小化为：

其中，P^(m)表示拉格朗日乘数，

表示求解模型的目标函数。

8.一种基于结构循环一致性的异源图像变化检测装置，其特征在于，所述装置包括：

图像输入模块，用于将事件前图像和事件后图像输入预先构建的初始图像回归模型，得到事件前图像特征矩阵和事件后图像特征矩阵；

图学习模块，用于根据所述事件前图像特征矩阵，进行自适应图学习，得到事件前图像的自适应图；

前向变换模块，用于根据所述事件前图像特征矩阵和所述事件前图像的自适应图，进行前向变换，得到前向回归后特征矩阵；所述事件前图像特征矩阵、事件前图像的自适应图、前向回归后特征矩阵以及前向回归后图像的自适应图满足前向变换条件；

循环变换模块，用于根据所述前向回归后特征矩阵以及前向回归后图像的自适应图，进行循环变换，得到循环回归后特征矩阵；所述事件前图像特征矩阵和所述循环回归后特征矩阵满足循环一致性；

求差模块，用于将所述前向回归后特征矩阵与所述事件后图像特征矩阵求差，得到差异矩阵；其中，所述差异矩阵满足稀疏正则化条件；

构建求解模型模块，用于根据所述前向变换条件、所述循环一致性以及所述稀疏正则化条件，构建最终图像回归模型，通过求解所述最终图像回归模型得到所述差异矩阵。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images