CN106709904A - 一种基于主动视觉的高值目标细微变化检测方法 - Google Patents

Abstract

本发明本发明属于图像微小变化检测领域，涉及一种基于多种光照条件下的微小变化检测的新型技术。这项技术将微小变化检测的技术应用到古文物的细微变化中，以达到检测出古文物建筑每隔一段时间的细微变化的目标。与传统的主题的细微变化检测相比，基于多种光照条件下的微小变化检测可以检测出更细微的图片变化，以及使得微小变化检测出来的结果更加准确。经过对求解出来的变化检测的结果，进行多尺度迭代的优化求解，使之可以得到更好的光流结果，同时结果对场景或相机运动的大小也存在更好的适应能力。

Description

一种基于主动视觉的高值目标细微变化检测方法

技术领域

本发明属于图像微小变化检测领域，涉及一种基于多种光照条件下的微小变化检测的新型技术。这项技术将微小变化检测的技术应用到古文物的细微变化中，以达到检测出古文物建筑每隔一段时间的细微变化的目标。

背景技术

本发明中涉及到的背景技术有：

(1)光照一致化(Light Consistency)：是很多计算机视觉应用的基础性预处理步骤，人类视觉自我调节能力便拥有一定的矫正光照一致性的能力，早期的颜色一致化的工作基于Land and McCann的Retinex理论，在此之后，很多工作基于该理论提出的新的计算模型，通常情况下，光照颜色一致化的模型以对光照的估计为主要特征，相应的方法往往假设光源的颜色和强度在场景中是均匀一致的。因此，在对整体光照情况的估计的基础上，光照的矫正被应用到图像中来获取颜色一致性的图像。在变化检测问题中，快速的颜色一致化被应用于光照差异的矫正。Gijsenij等总结了现有的颜色一致化方法。因为要考虑实时性的需求，大多数变化检测方法只能承受简单的静态的颜色一致化方法，例如整体颜色强度的一致，却不能处理剧烈光照变化的情况。除此之外，图像本征分解技术也能用于场景相同情况下的光照矫正，相应的方法能够从单张或多张图像获取反射率信息(reflectance)、形状信息(shape)、法向量信息(normal)和光照信息(illumination)。

(2)变化检测(Change Detection)：是根据两种不同时间的观测数据发现目标发生的差异的过程，目标的差异可能来源于光照引起的变化，相机拍摄位姿不同引起图像的变化，以及目标内容发生的真实变化等。现有的方法主要关注在上次观测和本次观测数据之间的大尺度显著性变化上，如目标的消失或出现，目标相对于背景的运动，目标形状的变化等。最近一篇综述文章总结了近期的变化检测方法并且对各个方法进行了比较。在CDNET上提供了多组真实场景的变化检测数据集，总体上分为2012年数据集和2014年数据集，内容涉及动态背景、相机抖动、物体运动、阴影、红外线相机、低分辨率、夜景等多个具有挑战性的环境和因素下的视频变化检测数据。同时CDNet对现有的方法进行了比较和排序，在CDNet上，通过背景建模的策略来进行变化检测是其中当前最为成功的一类方法，很多方法如SOBS,SC SOBS,SuB SENSE等利用背景建模取得了很好的变化检测效果。一些其他的方法包括基于3D立体像素的变化检测方法，城市尺度的结构变化检测方法，该类方法采用多幅全景图和3D深度数据来实现大尺度的变化检测。我们提出了一种基于低秩分解的方法将稀疏的微小变化从多幅图像中分离出来。

发明内容

本发明属于图像微小变化检测领域，涉及一种基于多种光照条件下的微小变化检测的新型技术。这项技术将微小变化检测的技术应用到古文物的细微变化中，以达到检测出古文物建筑每隔一段时间的细微变化的目标。与传统的主题的细微变化检测相比，基于多种光照条件下的微小变化检测可以检测出更细微的图片变化，以及使得微小变化检测出来的结果更加准确。

一种基于主动视觉的高值目标细微变化检测方法，其特征在于：其操作步骤如下：

⑴开始，将已经完成配准的两幅图像载入到该方法中，两幅图像分别为当前图像和上次图像；

⑵光照一致化的初始化：给定当前图像观测数据y和上次图像观测数据x，首先对当前图像进行全局性的光照一致化，将当前观测数据的颜色通过线性变换的方式保持与上次观测数据颜色基本一致；

⑶光照一致化：将图像进行光照一致化处理，在Lambert ian反射模型的基础上，将两幅图像进行光照一致化；

⑷低秩求解变化检测：通过使用低秩求解法，对两幅图像微小变化进行检测；

⑸多尺度迭代优化：进行多尺度迭代的优化算法，采用了从粗到细的多尺度优化方法,首先得到粗粒度的光流估计，然后将其上采样到更细粒度的层上，作为细粒度的初始化，经过多层的优化求解，能得到更好的光流结果；

完成检测。

而且，所述步骤⑵中，全局性的光照一致化的具体操作流程如下：

①对次图像数据x_i和当前图像数据y_i中的图像使用SIFT特征进行特征点的提取和匹配；

②对于匹配的特征点对，借助于公式求解出变换矩阵和偏移向量公式为：

公式中和分别表示图像x_i和y_i中对应匹配点的RGB颜色值，是在R3空间中的线性变换矩阵，在变换的基础上对结果增加一个偏移量；

③在求解出变换矩阵和偏移向量的基础上，将和作用到x_i所有的像素点上，得到全局光照一致化的结果。

而且，所述公式通过最小化来实现将当前观测的数据与上次观测数据的光照一致化。

而且，所述步骤⑶中的Lambertian反射模型的表达形式为：

I_p＝∫＜n_p,ω＞ρ_pL(ω)dω

在公式中，I_p代表图像中像素p的颜色，n_p代表像素p对应的物体中相应位置的表面法向量,ρ_p像素p对应的物体的表面反射率，L(ω)是光照球面调和函数，其将每个点的光照情况使用一个定义在半球表面的函数来表示，该点处于球的中心。

而且，对Lambertian反射模型的光照差异的矫正方法：

最小化目标函数：

在公式中，Li表示X和Y的第i幅图像经过最小化能量求解之后得到的光照差异，表示了X为了达到和Y的颜色一致而产生的补偿增量。

而且，所述步骤⑷中，两幅图像微小变化进行检测的方法，具体为采用以下模型进行检测：

Z代表两次观测图像中未发生变化的部分，E则代表了上次观测图像和本次观测Y的稀疏变化部分；

在求解出E的情况下，通过每个光照条件下求解出的E进行加权平均的方式产生微小变化的似然估计图像C；似然估计图像C将参与下一轮迭代求解，并用于最终微小变化的分类决策。

而且，所述步骤⑸中，多尺度优化方法具体为：不同图像大小尺度上进行依次进行光照一致化因素L，基于光流的图像配准F和基于低秩分解的变化似然估计C的计算与优化，与粗粒度的尺度与细粒度的尺度在大小上的比例一般采取0.5，在l-1层的光流图像配准F通过上采样的方式被传播到更细粒度的l层，在此基础上，l层的光流图像配准将按照上文中的方法进行求解；

对于l-1层计算的变化似然估计C，其在上采样的基础上，被作为调节因子应用到l层的中光照一致化L和光流图像配准F上，通常的迭代次数为3到5轮。

本发明的有益效果：

1、本发明方法将微小变化检测的技术应用到古文物的细微变化中，以达到检测出古文物建筑每隔一段时间的细微变化的目标。

2、本发明方法与传统的主题的细微变化检测相比，基于多种光照条件下的微小变化检测可以检测出更细微的图片变化，以及使得微小变化检测出来的结果更加准确。经过对求解出来的变化检测的结果，进行多尺度迭代的优化求解，使之可以得到更好的光流结果，同时结果对场景或相机运动的大小也存在更好的适应能力。

3、本发明经过对求解出来的变化检测的结果，进行多尺度迭代的优化求解，使之可以得到更好的光流结果，同时结果对场景或相机运动的大小也存在更好的适应能力。主动视觉的高值目标细微变化检测技术通过得到K+1个不同光照下的图像，包括一个环境光下图像(EL)和K个不同侧光下的图像(DSLs)，通过秩最小化方法来实现对比图像X和当前图像Y微小变化的获取。

附图说明

图1为主动视觉的高值目标细微变化检测方法流程图；

图2为雕像数据集Ds上的平均量化比较；

图3为Dp数据集上的ROC曲线。

具体实施方式

下面通过具体实施例和附图对本发明作进一步的说明。本发明的实施例是为了更好地使本领域的技术人员更好地理解本发明，并不对本发明作任何的限制。

一种基于主动视觉的高值目标细微变化检测方法，将微小变化检测的技术应用到古文物的细微变化中，以达到检测出古文物建筑每隔一段时间的细微变化的目标。与传统的主题的细微变化检测相比，基于多种光照条件下的微小变化检测可以检测出更细微的图片变化，以及使得微小变化检测出来的结果更加准确。

其操作步骤如下：

⑴开始，将已经完成配准的两幅图像，即当前图像和上次图像载入到该方法中；

⑵光照一致化的初始化：

给定当前图像观测数据y和上次图像观测数据x，每个数据包含了光照大致对应的多张图像，我们首先对当前图像进行全局性的光照一致化，将当前观测数据的颜色通过线性变换的方式保持与上次观测数据颜色基本一致；

对于上次图像数据x_i和当前图像数据y_i(i＝0代表环境光EL图像，1≤i≤K代表侧光DSL图像)，通过如下线性变换的公式推导出变换矩阵和偏移向量

公式中和分别表示图像x_i和y_i中对应匹配点的RGB颜色值，是在R3空间中的线性变换矩阵，在变换的基础上对结果增加一个偏移量，这样的表示可以完整表示出R3空间中的任何线性变换方式；公式通过最小化来实现将当前观测的数据与上次观测数据的光照一致化。

全局光照一致化的具体操作流程如下：首先，对x_i和y_i中的图像使用SIFT特征进行特征点的提取和匹配。对于匹配的特征点对，借助于公式求解出变换矩阵和偏移向量在求解出变换矩阵和偏移向量的基础上，将和作用到x_i所有的像素点上，即可以得到全局光照一致化的结果。

全局性的光照一致化使得两幅图像保持了相对较好的颜色一致性，在一定程度上解决整体算法对光照变化的鲁棒性，为下一步的图像配准提供了良好的数据输入，从而提高初始化图像配准的精度，为进一步的变化检测奠定了良好的基础。

⑶光照一致化：将图像进行光照一致化处理，在Lambertian反射模型的基础上，将两幅图像进行光照一致化；

尽管进行了对光照一致化的初始化，为了得到良好的微小变化检测效果，需要更加精确的光照矫正，从相机的光照成像模型上知，相机的成像与物体表面的法向量、物体的反射率有直接关系，因此实现图像的光照一致化应该考虑到物体表面法向量、物体反射率等因素的关系。

我们的方法正是建立在Lambert ian反射模型的基础上，该模型的表达形式为：

I_p＝∫＜n_p,ω＞ρ_pL(ω)dω

在公式中，I_p代表图像中像素p的颜色，即在相机成像中得到的图像RGB值，n_p代表像素p对应的物体中相应位置的表面法向量,ρ_p像素p对应的物体的表面反射率。L(ω)是光照球面调和函数，其将每个点的光照情况使用一个定义在半球表面的函数来表示，该点处于球的中心。

因此，我们可以通过添加一个“虚拟的”球面调和函数Lv(·)到XF来矫正光照的差异，使其和当前的观测图像Y在光照上保持一致,我们需要采用如下形式来最小化目标函数：

在公式中，Li表示X和Y的第i幅图像经过最小化能量求解之后得到的光照差异，其表示了X为了达到和Y的颜色一致而应该产生的补偿增量。目标函数主要由两部分组成。第一部分使得颜色矫正之后X与Y的颜色尽可能一致。可以看出，如果C_p接近于1，第一部分将不起作用.反之，如果C_p接近于0，第一部分将会鼓励相应像素的光照更加一致，这样，就可以保证真正的变化不会因为光照一致化而被消弱。公式第二部分保证了虚拟的光照补偿在空间中的连续性，该部分鼓励相邻的像素的光照差异补偿应该是相似的，同时这种相似程度受相邻像素表面法向量相似度的控制。

⑷低秩求解变化检测：通过使用低秩求解法，对两幅图像微小变化进行检测；

在许多应用中，由于分布稀疏但是随意性较大的噪声的存在，矩阵的低秩性往往被破坏，为了恢复矩阵的低秩结构，通常可将矩阵分解成两个矩阵之和，即D＝A+E，其中左侧矩阵D为原始数据，右侧矩阵A为其低秩部分，矩阵E为噪声。

经典的关于矩阵的低秩分解的数学模型为：

在微小变化检测的模型中，我们需要根据两次采集多幅图像数据得到其相应的变化部分，由于变化的稀疏性，其刚好与低秩分解模型中的噪声部分对应。记x_LF经过光照一致化矫正并且经过图像配准之后的上次观测数据。对于每一个特定的光照i，我们可以通过将和y_i排列成一个包含两列的矩阵中O_i中，也就是进一步地，我们可以将O_i横向排列到一个矩阵O中，每个图像展开成矩阵的一列。由于光照条件和图像配准已经分别L和F进行了矫正，我们可以采用下面的方式来进行微小变化检测：

在公式中，O∈R3_N*2(K+1)是两次观测的图像列展开并排列到一起的矩阵，N代表单个图像中像素的数量，K+1代表不同光照的数量，K代表侧光的数量，即有K个侧光和1个环境光。Z代表两次观测图像中未发生变化的部分，E则代表了上次观测图像和本次观测Y的稀疏变化部分。矩阵T＝diag(A,A,A)代表了像素级别的相邻关系,可以通过交替迭代优化求解Z，E和J(优化的方法为增广拉格朗日(ALM)方法)。

在求解出E的情况下，我们可以通过每个光照条件下求解出的E进行加权平均的方式产生微小变化的似然估计图像C。似然估计图像C将参与下一轮迭代求解，并用于最终微小变化的分类决策。

⑸多尺度迭代优化：进行多尺度迭代的优化算法，采用了从粗到细的多尺度优化方法,首先得到粗粒度的光流估计，然后将其上采样到更细粒度的层上，作为细粒度的初始化，经过多层的优化求解，往往能得到更好的光流结果，从而使得检测出来的效果更具有鲁棒性；

我们将光照一致化因素L，基于光流的图像配准F和基于低秩分解的变化似然估计C整合到一个多尺度从粗到细的优化框架中。多尺度从粗到细的优化策略在很多方法中被广泛应用，其在使用置信传播算法求解光流的过程中，采用了从粗到细的多尺度优化方法,首先得到粗粒度的光流估计，然后将其上采样到更细粒度的层上，作为细粒度的初始化，经过多层的优化求解，往往能得到更好的光流结果，同时结果对场景或相机运动的大小也存在更好的适应能力。

在我们的多尺度的迭代优化框架中，具体而言，我们在不同图像大小尺度上进行依次进行光照一致化因素L，基于光流的图像配准F和基于低秩分解的变化似然估计C的计算与优化，与粗粒度的尺度与细粒度的尺度在大小上的比例一般采取0.5，在l-1层的光流图像配准F通过上采样的方式被传播到更细粒度的l层，在此基础上，l层的光流图像配准将按照上文中的方法进行求解。对于l-1层计算的变化似然估计C，其在上采样的基础上，被作为调节因子应用到l层的中光照一致化L和光流图像配准F上，通常的迭代次数为3到5轮。

结束，完成检测。

尽管为说明目的公开了本发明的实施例和附图，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换、变化和修改都是可能的，因此，本发明的范围不局限于实施例和附图所公开的内容。

Claims (7)

1.一种基于主动视觉的高值目标细微变化检测方法，其特征在于：其操作步骤如下：

⑴开始，将已经完成配准的两幅图像载入到该方法中，两幅图像分别为当前图像和上次图像；

⑵光照一致化的初始化：给定当前图像观测数据y和上次图像观测数据x，首先对当前图像进行全局性的光照一致化，将当前观测数据的颜色通过线性变换的方式保持与上次观测数据颜色基本一致；

⑶光照一致化：将图像进行光照一致化处理，在Lambertian反射模型的基础上，将两幅图像进行光照一致化；

⑷低秩求解变化检测：通过使用低秩求解法，对两幅图像微小变化进行检测；

⑸多尺度迭代优化：进行多尺度迭代的优化算法，采用了从粗到细的多尺度优化方法,首先得到粗粒度的光流估计，然后将其上采样到更细粒度的层上，作为细粒度的初始化，经过多层的优化求解，能得到更好的光流结果；

完成检测。

2.根据权利要求1所述的基于主动视觉的高值目标细微变化检测方法，其特征在于：所述步骤⑵中，全局性的光照一致化的具体操作流程如下：

①对次图像数据x_i和当前图像数据y_i中的图像使用SIFT特征进行特征点的提取和匹配；

②对于匹配的特征点对，借助于公式求解出变换矩阵和偏移向量公式为：

$\[{\hat{A}}^i,{\hat{b}}^i\]=\arg smin\left|\right|A^i{\tilde{x}}^i+b^i-{\tilde{y}}^i|{|}_F^2$

公式中和分别表示图像x_i和y_i中对应匹配点的RGB颜色值，是在R3空间中的线性变换矩阵，在变换的基础上对结果增加一个偏移量；

③在求解出变换矩阵和偏移向量的基础上，将和作用到x_i所有的像素点上，得到全局光照一致化的结果。

3.根据权利要求2所述的基于主动视觉的高值目标细微变化检测方法，其特征在于：所述公式通过最小化来实现将当前观测的数据与上次观测数据的光照一致化。

4.根据权利要求1所述的基于主动视觉的高值目标细微变化检测方法，其特征在于：所述步骤⑶中的Lambertian反射模型的表达形式为：

I_p＝∫＜n_p,ω＞ρ_pL(ω)dω

在公式中，I_p代表图像中像素p的颜色，n_p代表像素p对应的物体中相应位置的表面法向量,ρ_p像素p对应的物体的表面反射率，L(ω)是光照球面调和函数，其将每个点的光照情况使用一个定义在半球表面的函数来表示，该点处于球的中心。

5.根据权利要求4所述的基于主动视觉的高值目标细微变化检测方法，其特征在于：对Lambertian反射模型的光照差异的矫正方法：

最小化目标函数：

$L=\arg min\mathrm{\Σ}p{(x_{Fp}^i+L_p^v-Y_p^i)}^2{e}^{\frac{C^p}{\mathrm{\σ}}}+{\mathrm{\α\Σ}}_{p~q}{\[w_{p~q}(L_p^v-L_q^v)\]}^2$

在公式中，Li表示X和Y的第i幅图像经过最小化能量求解之后得到的光照差异，表示了X为了达到和Y的颜色一致而产生的补偿增量。

6.根据权利要求1所述的基于主动视觉的高值目标细微变化检测方法，其特征在于：所述步骤⑷中，两幅图像微小变化进行检测的方法，具体为采用以下模型进行检测：

$\arg \min \left(\right|\left|Z\right|{|}_{*}+\mathrm{\λ}\left|\right|E|{|}_1+k|\left|TE\right|{|}_F^2)$

Z代表两次观测图像中未发生变化的部分，E则代表了上次观测图像和本次观测Y的稀疏变化部分；

在求解出E的情况下，通过每个光照条件下求解出的E进行加权平均的方式产生微小变化的似然估计图像C；似然估计图像C将参与下一轮迭代求解，并用于最终微小变化的分类决策。

7.根据权利要求1所述的基于主动视觉的高值目标细微变化检测方法，其特征在于：所述步骤⑸中，多尺度优化方法具体为：不同图像大小尺度上进行依次进行光照一致化因素L，基于光流的图像配准F和基于低秩分解的变化似然估计C的计算与优化，与粗粒度的尺度与细粒度的尺度在大小上的比例一般采取0.5，在l-1层的光流图像配准F通过上采样的方式被传播到更细粒度的l层，在此基础上，l层的光流图像配准将按照上文中的方法进行求解；

对于l-1层计算的变化似然估计C，其在上采样的基础上，被作为调节因子应用到l层的中光照一致化L和光流图像配准F上，通常的迭代次数为3到5轮。