CN112926484B

CN112926484B - 基于自动判别策略的低照度图像变化检测方法及装置

Info

Publication number: CN112926484B
Application number: CN202110266877.5A
Authority: CN
Inventors: 贾振红; 朱勇
Original assignee: Xinjiang University
Current assignee: Xinjiang University
Priority date: 2021-03-11
Filing date: 2021-03-11
Publication date: 2022-07-01
Anticipated expiration: 2041-03-11
Also published as: CN112926484A

Abstract

本发明公开了一种基于自动判别策略的低照度图像变化检测方法及装置，方法包括：输入两幅低照度环境下多时相监控图像，提出了一种自适应对数比算子用于生成一幅差异图；使用TVL1模型降低差异图中的噪声，使差异图更平滑；使用自动判别策略判断两幅多时相监控图像间是否存在变化，根据判别结果对获得的差异图进行自适应压缩获得压缩差异图，并对压缩差异图进行中值滤波获得最终的差异图；采用K‑means算法对最终的差异图进行聚类得到变化区域和未变化区域。装置包括：生成模块、降噪与平滑模块、判别模块、及聚类模块，本发明能够实时准确稳定的检测出低照度监控场景中的变化，在多时相监控图像间反映的场景没有发生变化时不会导致误报警。

Description

基于自动判别策略的低照度图像变化检测方法及装置

技术领域

本发明涉及监控图像领域，尤其涉及一种基于自动判别策略的低照度图像变化检测方法及装置。

背景技术

监控摄像头已经被广泛应用于公共安全领域。在一些特殊的场景下，有时需要对几十或上百个人员不能进入的区域进行监控，这要求保卫人员对多个显示器呈现的不同区域的视频图像同时进行观察。由于多种原因使得图像中的一些异常情况不能被及时发现，因此采用视频图像变化检测方法来代替保安人员用人眼观察视频图像变化就显得非常的必要。

通常，两时相图像变化检测是一种在未知目标先验知识的情况下，通过对比某一场景下不同时刻所拍摄的图像，从场景中检测出变化区域的过程。这在遥感图像变化检测中已经获得了广泛的应用。例如：环境监测、城市研究、土地利用、农业调查、灾害评估等。同样的在监控场景中可以对两时相监控图像进行变化检测，从而第一时间获得两时相监控图像间的变化并发出警报，从而避免违规或危险事件的发生。

然而，在低照度监控环境中信噪比较低，摄像头所捕获的图像会受到传感器噪声的严重影响。这些噪声会干扰图像变化检测的结果导致误报警。此外，现有的变化检测方法大多是基于两幅多时相图像间反映的场景存在变化进行检测的。然而，在监控场景中多时相监控图像间反映的场景往往是没有发生变化的。

此时，由于缺少变化区域的对比，图像间噪声的差异更明显，对图像变化检测的干扰更严重，容易导致误报警。

发明内容

本发明提出了一种基于自动判别策略的低照度图像变化检测方法及装置，能够实时准确稳定的检测出低照度监控场景中的变化，同时在多时相监控图像间反映的场景没有发生变化时不会导致误报警，详见下文描述：

第一方面，一种基于自动判别策略的低照度图像变化检测方法，所述方法包括：

输入两幅低照度环境下多时相监控图像，提出了一种自适应对数比算子用于生成一幅差异图；

使用TVL1模型降低差异图中的噪声，同时使差异图更平滑；

使用自动判别策略判断两幅多时相监控图像间是否存在变化，根据判别结果对获得的差异图进行自适应压缩获得压缩差异图，并对压缩差异图进行中值滤波获得最终的差异图；

采用K-means算法对最终的差异图进行聚类得到变化区域和未变化区域。

在一种实现方式中，所述TVL1模型为：

TVL1模型的离散形式如下：

其中，第一项为保真项，第二项为正则项；V表示有限维向量空间；参数λ为平衡因子；F_L表示差异图，u表示去噪后图像。

第二方面，一种基于自动判别策略的低照度图像变化检测装置，所述装置包括：

生成模块，用于输入两幅低照度环境下多时相监控图像，提出了一种自适应对数比算子用于生成一幅差异图；

降噪与平滑模块，用于使用TVL1模型降低差异图中的噪声，同时使差异图更平滑；

判别模块，用于使用自动判别策略判断两幅多时相监控图像间是否存在变化，根据判别结果对获得的差异图进行自适应压缩获得压缩差异图，并对压缩差异图进行中值滤波获得最终的差异图；

聚类模块，用于采用K-means算法对最终的差异图进行聚类得到变化区域和未变化区域。

在一种实现方式中，所述判别模块包括：

构建子模块，用于构建自动判别策略；

压缩与滤波子模块，用于根据判别结果对获得的差异图进行自适应压缩获得压缩差异图，并对压缩差异图进行中值滤波获得最终的差异图。

第三方面，一种基于自动判别策略的低照度图像变化检测装置，所述装置包括：

处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行第一方面中的任一项所述的方法步骤。

第四方面，一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时使所述处理器执行第一方面中的的方法步骤。

本发明提供的技术方案的有益效果是：

1、本发明针对不同低照度环境的两幅多时相监控图像，可以准确实时的检测出多时相监控图像间细微的变化，避免人为观测疏忽的风险，本发明具有较强的鲁棒性；

2、当输入的两幅多时相监控图像间反映的场景没有发生变化时，通过本发明处理的结果可以有效的抑制噪声从而避免误报警，具有很强的实用价值。

附图说明

图1为基于自动判别策略的低照度图像变化检测方法的流程图；

图2为多时相监控图像X₁的示意图；

图3为多时相监控图像X₂的示意图；

图4为自适应对数比算子生成的差异图；

图5为TVL1(总变分L1正则化，本领域技术人员所公知)模型去噪后的差异图；

图6为自适应压缩和中值滤波后的差异图；

图7为变化检测结果图；

图8为4组低照度多时相监控图像数据上的变化检测结果图；

其中，(a)为Original image；(b)为Image after change；

(c)为The reference image；(d)为NR-ELM(邻域比极值学习机制)；

(e)为PCA(主成分分析)-K-means；(f)为CWNN(卷积小波神经网络)；

(g)为TV(总变分)-K-means；(h)为MORPHOLOGY(形态学)；(i)为The proposedmethod。

图9为一种基于自动判别策略的低照度图像变化检测装置的结构示意图；

图10为判别模块的结构示意图；

图11为一种基于自动判别策略的低照度图像变化检测装置的另一结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

本发明实施例提供了一种基于自动判别策略的低照度图像变化检测方法，参见图1，该法包括以下步骤：

步骤101：输入两幅低照度环境下多时相监控图像，提出了一种自适应对数比算子，该算子用于生成一幅稳定的差异图；

步骤102：使用TVL1模型(本领域的公知技术)降低差异图中的噪声，同时使差异图更平滑；

步骤103：使用自动判别策略判断两幅多时相监控图像间是否存在变化，根据判别结果对步骤102获得的差异图进行自适应压缩获得压缩差异图，并对压缩差异图进行中值滤波获得最终的差异图；

步骤104：采用K-means算法对最终的差异图进行聚类得到变化区域和未变化区域。

下面结合图2、具体的计算公式，对上述实施例中的一种基于自动判别策略的低照度图像变化检测方法进行详细地细化和扩展，该方法包括以下步骤：

参见图2，本发明实例提出了一种基于自动判别策略的低照度图像变化检测方法，该方法包括以下步骤：

步骤201：设输入两幅低照度环境下多时相监控图像分别为X₁和X₂，使用设计的自适应对数比算子生成一幅稳定的差异图，公式如下：

其中，F_L为步骤201生成的稳定的差异图；lb代表对数变换(lb代表一个符号，是一个整体)；使用X₁(i,j)+β和X₂(i,j)+β代替X₁(i,j)和X₂(i,j)，是为了避免X₁(i,j)和X₂(i,j)像素值为0的情况，并且针对不同的多时相图像能够获得稳定的差异图，X₁(i,j)为输入图像X₁每个像素对应的灰度值，X₂(i,j)为输入图像X₂每个像素对应的灰度值，β通过公式(2)获得，代表两幅多时相图像的均方差之比，H和W分别为输入图像的高度和宽度。

β通过公式(2)获得，代表两幅多时相图像的均方差之比。μ₁和μ₂分别代表图像X₁和X₂所有像素灰度的均值。α是为了压缩对数比差异图灰度值之间的差异，更好的抑制传感器噪声，在本发明实施例中α的取值为0.5，因此自适应对数比算子得到的差异图F_L将X₁(i,j)和X₂(i,j)之间的像素值压缩到0到4之间。

步骤202：使用TVL1模型降低差异图中的噪声，同时使差异图更平滑；

为了降低步骤201得到的差异图中的噪声，同时获得更平滑的差异图，使用TVL1模型对图像进行去噪处理。TVL1模型将去噪问题转化为优化问题，其离散形式如下：

其中，第一项(λ||u-F_L||₁)为保真项(本领域的专业术语)，第二项

为正则项；V表示有限维向量空间；参数λ为保真项和正则项的平衡因子；F_L表示观测图像(这里指的就是步骤201得到的差异图)，u表示去噪后图像，上述模型(公式(3))中第二项为L1范数度量的TV正则项，表达式如下：

其中，

和

分别代表像素(i,j)的横向差分和纵向差分，Ω代表整幅图像范围。由于保真项和正则项均为L1范数度量，TVL1模型是非凸的。

在本发明实施例中，使用原始对偶算法求解TVL1模型。参数λ越小，图像越平滑，因此λ参数被求取如下：

λ＝min(β,1) (8)

步骤203：使用自动判别策略判断两幅多时相监控图像间是否存在变化，根据判别结果对步骤202获得的差异图进行自适应压缩获得压缩差异图，并对压缩差异图进行中值滤波获得最终的差异图。

当两幅多时相监控图像之间反映的场景存在变化时，在差异图中变化区域对应的灰度值总是高于其他区域，使得变化区域比其他区域更加突出和明显，一定程度上抑制了多时相监控图像间传感器噪声的差异对变化检测的影响。然而，在视频监控中两幅多时相图像间反映的场景经常没有变化发生。此时，由于缺少变化区域的对比，多时相图像间噪声的差异对变化检测的干扰更严重。

为了让监控图像变化检测算法的鲁棒性更强，本发明实施例对于两幅多时间相监控图像间反映的场景存在变化和没有变化的情况进行分开处理。

设Y＝{Y(i,j)|1≤i≤H,1≤j≤W}为步骤202中的差异图。

在差异图Y中不变的部分相对更均匀，而变化的部分则表现为不均匀性。因此，在同一场景下，当输入的两幅多时相监控图像X₁和X₂之间反映的场景存在变化时差异图Y的均方差较大，X₁和X₂之间反映的场景没有变化时差异图Y的均方差较小。另外，本发明实施例研究的是低照度条件下多时相监控图像间微小变化的检测，当图像X₁和X₂间反映的场景存在变化或没有变化时，差异图Y的均值很接近。

因此，本发明实施例可以通过差异图Y的局部均方差和均值判断图像X₁和X₂之间反映的场景是否存在变化，然后根据判别结果对差异图Y进行自适应压缩得到归一化差异图。公式如下：

avg＝max(avg_col,avg_row) (9)

std＝max(std_col,std_row) (10)

其中，avg_col和avg_row分别表示差异图Y所有列向量和所有行向量的均值的最大值；std_col和std_row分别表示差异图Y所有列向量和所有行向量的均方差的最大值；参数λ可以通过公式(8)获得，std表示差异图Y所有列向量和所有行向量的均方差的最大值，avg为差异图Y所有列向量和所有行向量的均值的最大值，R(i,j)为自适应压缩后得到的归一化差异图。由上述公式(9)至公式(11)构成了自动判别策略。

为了进一步差异图中的孤立噪声，同时保留变化区域的边缘信息，本发明实施例采用中值滤波对压缩差异图进行滤波获得最终的差异图。

步骤204：采用K-means算法对最终的差异图进行聚类得到变化区域和未变化区域。

为了获得最终的变化检测结果，本发明实施例采用K-means算法对最终的差异图进行聚类得到变化区域和未变化区域，该步骤为本领域技术人员所公知，本发明实施例对此不做赘述。

为了验证本发明方法的有效性和可靠性，给出几组低照度环境下多时相监控图像的变化检测结果，并与其他五种变化检测方法进行了比较，如图2-8所示。

为了验证本发明提出的算法的优越性，利用四组多时相监控图像进行变化检测实验，并与其他5种方法进行了比较，实验结果被展示在图8中。通过观察实验数据1的变化检测结果可以发现，除了NR-ELM和PCA-K-means方法由于变化检测结果中一些白点的存在出现误报警，其他的方法都获得了较好的变化检测结果。然而，正如实验数据2的变化检测结果所展示的，当真实的参考图中变化像素的个数非常少时，只有TV-K-means和本发明提出的方法获得了与参考图接近的变化检测结果。NR-ELM，PCA-K-means和CWNN的变化检测结果中都出现了大量的误检像素。本发明认为产生这一现象是由于参考图中实际发生变化的像素个数过少，缺少变化区域的对比，两幅多时相监控图像间传感器噪声的差异更加明显，影响了后续聚类的性能。MORPHOLOGY的变化检测结果产生了漏报警是由于变化区域太小，在形态学滤波过程中，变化像素被噪声像素覆盖。对于实验数据3和4，干扰变化检测的因素包括图像间传感器噪声的差异和图像间光照的差异。通过对比实验数据3和4的变化检测结果可以发现，当两幅多时相图像间反映的场景存在变化时，NR-ELM和PCA-K-means的变化检测结果中存在一些误检像素；CWNN的变化检测结果减少了传感器噪声，但是丢失了变化区域的细节信息；TV-K-means，MORPHOLOGY和本发明提出的方法获得的变化检测结果去除了噪声，同时保留了变化区域的细节。然而，当两幅多时相监控图像间反映的场景没有变化时，由于明显的错误分类，NR-ELM，PCA-K-means和CWNN的性能较差。由于噪声的存在和光照的细微差异，TV-K-means和MORPHOLOGY的检测结果中存在许多误报。本方法获得了最好的结果，因为没有发生误报警。

基于同一发明构思，作为上述方法的实现，参见图9，本发明实施例还提供了一种基于自动判别策略的低照度图像变化检测装置，该装置包括：

生成模块1，用于输入两幅低照度环境下多时相监控图像，提出了一种自适应对数比算子用于生成一幅差异图；

降噪与平滑模块2，用于使用TVL1模型降低差异图中的噪声，同时使差异图更平滑；

判别模块3，用于使用自动判别策略判断两幅多时相监控图像间是否存在变化，根据判别结果对获得的差异图进行自适应压缩获得压缩差异图，并对压缩差异图进行中值滤波获得最终的差异图；

聚类模块4，用于采用K-means算法对最终的差异图进行聚类得到变化区域和未变化区域。

在一种实现方式中，参见图10，该判别模块3包括：

构建子模块31，用于构建自动判别策略；

压缩与滤波子模块32，用于根据判别结果对获得的差异图进行自适应压缩获得压缩差异图，并对压缩差异图进行中值滤波获得最终的差异图。

这里需要指出的是，以上实施例中的装置描述是与上述方法实施例描述相对应的，本发明实施例在此不做赘述。

上述各个模块、单元的执行主体可以是计算机、单片机、微控制器等具有计算功能的器件，具体实现时，本发明实施例对执行主体不做限制，根据实际应用中的需要进行选择。

基于同一发明构思，本发明实施例还提供了一种基于自动判别策略的低照度图像变化检测装置，参见图11，该装置包括：处理器5和存储器6，存储器6中存储有程序指令，处理器5调用存储器6中存储的程序指令以使装置执行实施例中的以下方法步骤：

使用TVL1模型降低差异图中的噪声，同时使差异图更平滑；

这里需要指出的是，以上实施例中的装置描述是与实施例中的方法描述相对应的，本发明实施例在此不做赘述。

上述的处理器5和存储器6的执行主体可以是计算机、单片机、微控制器等具有计算功能的器件，具体实现时，本发明实施例对执行主体不做限制，根据实际应用中的需要进行选择。

存储器6和处理器5之间通过总线7传输数据信号，本发明实施例对此不做赘述。

基于同一发明构思，本发明实施例还提供了一种计算机可读存储介质，存储介质包括存储的程序，在程序运行时控制存储介质所在的设备执行上述实施例中的方法步骤。

该计算机可读存储介质包括但不限于快闪存储器、硬盘、固态硬盘等。

这里需要指出的是，以上实施例中的可读存储介质描述是与实施例中的方法描述相对应的，本发明实施例在此不做赘述。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。

计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者通过计算机可读存储介质进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质或者半导体介质等。

本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于自动判别策略的低照度图像变化检测方法，其特征在于，所述方法包括：

使用TVL1模型降低差异图中的噪声，同时使差异图更平滑；

采用K-means算法对最终的差异图进行聚类得到变化区域和未变化区域；

其中，所述自适应对数比算子为：

其中，F_L为差异图；lb代表以2为底对数变换；使用X₁(i,j)+β和X₂(i,j)+β代替X₁(i,j)和X₂(i,j)，X₁(i,j)为输入图像X₁每个像素对应的灰度值，X₂(i,j)为输入图像X₂每个像素对应的灰度值，β代表两幅多时相图像的均方差之比，H和W分别为输入图像的高度和宽度；μ₁和μ₂分别代表图像X₁和X₂所有像素灰度的均值，α用于抑制传感器噪声，i和j分别为图像中每个像素的横纵坐标；

其中，所述TVL1模型为：

TVL1模型的离散形式如下：

其中，第一项为保真项，第二项为正则项；V表示有限维向量空间；参数λ为平衡因子；F_L表示差异图，u表示去噪后图像；

其中，所述自动判别策略为：

avg＝max(avg_col,avg_row)

std＝max(std_col,std_row)

其中，avg_col和avg_row分别表示差异图Y所有列向量和所有行向量的均值的最大值；std_col和std_row分别表示差异图Y所有列向量和所有行向量的均方差的最大值；std表示差异图Y所有列向量和所有行向量的均方差的最大值，avg为差异图Y所有列向量和所有行向量的均值的最大值，R(i,j)为自适应压缩后得到的归一化差异图。

2.一种基于自动判别策略的低照度图像变化检测装置，其特征在于，所述装置用于实施权利要求1中的一种基于自动判别策略的低照度图像变化检测方法，所述装置包括：

3.根据权利要求2所述的一种基于自动判别策略的低照度图像变化检测装置，其特征在于，所述判别模块包括：

构建子模块，用于构建自动判别策略；

4.一种基于自动判别策略的低照度图像变化检测装置，其特征在于，所述装置包括：

处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行权利要求1所述的方法。

5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时使所述处理器执行权利要求1所述的方法。