CN109102526A - 无人机的监控系统的前景检测方法以及装置 - Google Patents

无人机的监控系统的前景检测方法以及装置 Download PDF

Info

Publication number
CN109102526A
CN109102526A CN201810845381.1A CN201810845381A CN109102526A CN 109102526 A CN109102526 A CN 109102526A CN 201810845381 A CN201810845381 A CN 201810845381A CN 109102526 A CN109102526 A CN 109102526A
Authority
CN
China
Prior art keywords
region
current
gauss model
image
mixed gauss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810845381.1A
Other languages
English (en)
Other versions
CN109102526B (zh
Inventor
杨润丰
王曦
陈晓宁
杨恺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Tongshi Electronic Technology Co ltd
Original Assignee
Dongguan Polytechnic
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongguan Polytechnic filed Critical Dongguan Polytechnic
Priority to CN201810845381.1A priority Critical patent/CN109102526B/zh
Publication of CN109102526A publication Critical patent/CN109102526A/zh
Application granted granted Critical
Publication of CN109102526B publication Critical patent/CN109102526B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种无人机的监控系统的前景检测方法，包括：获取监控系统的初始的若干帧图像，根据所述若干帧图像建立混合高斯模型，并根据所述混合高斯模型提取初始的背景图像的信息；获取所述监控系统的当前帧图像，将所述当前帧图像分割为N*N个区域；判断所述当前帧图像的N*N个区域为变化区域或不变化区域；根据所述当前帧图像的所有所述变化区域的所有像素的信息，更新所述混合高斯模型；根据当前更新的所述混合高斯模型，提取当前的背景图像的信息。基于区域算法的应用可以提高整体算法的运行速度，且能够适应复杂快速的背景变化，有效实时地监测前景，极大地提升了无人机的监控系统的鲁棒性而且减小了动态背景对监测效果的影响。

Description

无人机的监控系统的前景检测方法以及装置
技术领域
本发明涉及视频监控技术领域，尤其涉及一种无人机的监控系统的前景检测方法以及装置。
背景技术
近年来，随着无人机技术的发展，其应用面越来越广，尤其在视频监控领域得到了广泛应用。
现有的无人机视频监控设备通过无人机端摄像头进行视频采集，然后将视频图像输送到后台服务器进行分析检测，这种检测方法无法实现实时监控，且现有的无人机视频监控设备需要通过复杂的运算来分析整帧图像，如在背景建模算法中需要更新每帧图像的所有像素，这种算法占用大量的运算资源，降低整套算法的运行速度，且该无人机视频监控设备需要性能高的硬件支持才能进行运算分析整帧图像，增大了成本。
发明内容
本发明的目的在于提供一种无人机的监控系统的前景检测方法、装置以及计算机可读存储介质，能够节省运算资源，提高整套算法的运行速度，减少成本。
为实现上述目的，本发明提供一种无人机的监控系统的前景检测方法，包括：
获取监控系统的初始的若干帧图像，根据所述若干帧图像建立混合高斯模型，并根据所述混合高斯模型提取初始的背景图像的信息；
获取所述监控系统的当前帧图像，将所述当前帧图像分割为N*N个区域；
判断所述当前帧图像的N*N个区域为变化区域或不变化区域；
根据所述当前帧图像的所有所述变化区域的所有像素的信息，更新所述混合高斯模型；
根据当前更新的所述混合高斯模型，提取当前的背景图像的信息。
与现有技术相比，本发明的无人机的监控系统的前景检测方法通过将当前帧图像分割为N*N个区域并判断N*N个区域为变化区域还是不变化区域，进而只需要根据所有变化区域的所有像素对应更新混合高斯模型，并根据更新后的混合高斯模型提取当前的背景图像的信息和前景图像的信息；本发明的无人机的监控系统的前景检测方法可以有选择的在每一帧图像中更新区域信息，有效的在保持高前景目标识别率的同时降低了算法计算复杂程度，并且该算法可以通过多线程运算有效利用多处理器的计算能力。整套检测方法对噪音、动态背景变化等有较强的鲁棒性。
较佳地，所述变化区域包括判断为前景区域的变化区域；
判断所述当前帧图像的N*N个区域为前景区域还是背景区域，包括：
计算出所述当前帧图像的每一区域在低分辨率估值下的像素值Xb以及所述当前帧图像的对应的背景图像的每一区域在低分辨率估值下的像素值μb与平均标准方差σb；
若符合|Xb-μb|＞2.5×σb，则像素值Xb所代表的区域为前景区域；
若不符合|Xb-μb|＞2.5×σb，则像素值Xb所代表的区域为背景区域。
较佳地，所述像素值Xb是将所述当前帧图像的每一区域的像素均值作为高斯函数的输入量计算得到。
较佳地，所述当前帧图像对应的背景图像的每一区域在低分辨率估值下的像素值μb是将包含所述当前帧图像在内的连续若干帧图像的对应区域的像素时间平均值作为高斯函数的输入量计算得到。
较佳地，所述像素时间平均值通过包含所述当前帧图像在内的所述连续若干帧图像的对应区域的若干像素均值取平均得到。
较佳地，计算所述平均标准方差σb的步骤为：先将所述像素时间平均值作为高斯函数的输入量计算得到对应的每一区域在低分辨率估值下的协方差∑b，然后根据所述协方差∑b计算得到所述平均标准方差σb。
较佳地，所述变化区域包括梯度不相似区域；
判断所述当前帧图像的N*N个区域为梯度不相似区域还是梯度相似区域，包括：
计算所述当前帧图像的N*N个区域与根据前一帧图像更新的所述混合高斯模型得到的背景图像的N*N个区域的梯度相似性；
若所述当前帧图像的某个区域与根据前一帧图像更新的所述混合高斯模型得到的背景图像的对应区域的梯度不相似，则所述当前帧图像的某个区域为梯度不相似区域。
较佳地，所述计算所述当前帧图像的N*N个区域与根据前一帧图像更新的所述混合高斯模型得到的背景图像的N*N个区域的梯度相似性，具体为：
计算所述当前帧图像的N*N个区域的梯度矢量gC(x)；
计算根据前一帧图像更新的所述混合高斯模型得到的背景图像的N*N个区域的梯度矢量gB(x)；
通过公式计算所述当前帧图像的N*N个区域与根据前一帧图像更新的所述混合高斯模型得到的背景图像的N*N个区域的梯度相似性；
若符合Sg＜0.7，则所述当前帧图像的对应区域为梯度不相似区域。
较佳地，在根据当前更新的所述混合高斯模型，提取当前的背景图像的信息之后，还包括：
检测根据当前更新的所述混合高斯模型得到的所述当前的背景图像的N*N个区域是否为纹理区域；
如果根据当前更新的所述混合高斯模型得到的所述当前的背景图像存在纹理区域，则对所述纹理区域进行颤动效果去除；
根据去除颤动效果后的所述当前的背景图像的所述纹理区域的信息，再更新所述混合高斯模型；
根据再更新的所述混合高斯模型，提取校正后的所述当前的背景图像的信息和前景图像的信息。
较佳地，所述检测根据当前更新的所述混合高斯模型得到的所述当前的背景图像的N*N个区域是否为纹理区域，具体为：
计算根据当前更新的所述混合高斯模型得到的当前的背景图像的N*N个区域的梯度矢量gB(x)；
根据所述当前的背景图像的N*N个区域的梯度矢量gB(x)的幅度均值,计算所述当前的背景图像的N*N个区域的梯度幅值的标准方差σB；
通过Otsu自动阈值法分析所述标准方差σB的直方图；
当所述当前的背景图像的N*N个区域中的某一区域的标准方差σB的值大于阈值时,则该区域为纹理区域。
较佳地，计算得到所述当前的背景图像的N*N个区域的梯度幅值的标准方差σB具体为:
将所述当前的背景图像的每个区域均分为M*M个小区域并计算每个所述小区域的梯度矢量gB(xi)；
通过公式计算得到标准方差σB。
较佳地，所述更新所述混合高斯模型包括更新所述混合高斯模型的参数，具体通过下式进行更新：
wi,t＝wi,t-1+α(Mi,t-wi,t-1)-αβ
μi,t＝μi,t-1+ρ(xt-μi,t-1)(Mi,t)
ρ＝αη(xi,t|μi,t-1,∑i,t-1)
其中，wi,t代表所述混合高斯模型中在t时刻第i个高斯分布的权重；α、β是自适应率，取值范围为0.01到0.001；μi,t代表所述混合高斯模型中在t时刻第i个高斯分布的均值；xt代表在t时刻像素点的像素值；Mi,t是匹配量化值，若所述当前帧图像的像素值落在第i个高斯分布，则Mi,t＝1，其他高斯分布的Mi,t＝0；代表所述混合高斯模型中在t时刻第i个高斯分布的方差；ρ是更新率；∑i,t代表所述混合高斯模型中在t时刻第i个高斯分布的协方差；η(xt,μi,t,∑i,t)代表所述混合高斯模型中在t时刻第i个高斯分布；D代表的是xt的维数。
较佳地，所述更新所述混合高斯模型还包括合并所述混合高斯模型的无效高斯分量，具体通过下式进行合并：
wc,t＝wa,t+wb,t
其中，wc,t代表合并后的所述混合高斯模型中第c个高斯分布的权重，μc,t代表合并后所述混合高斯模型中第c个高斯分布的均值，代表合并后的所述混合高斯模型中第c个高斯分布的方差。
较佳地，所述无人机的监控系统的前景检测方法还包括对提取出的所述当前的前景图像的信息进行处理，具体为：
通过下面公式计算所述当前的前景图像的信息中的每个像素的亮度失真Bd：
其中，IR(x)、IG(x)、IB(x)是所述当前的前景图像的像素值；μR(x)、μG(x)、μB(x)是所述当前的前景图像对应的背景图像的像素均值；σR(x)、σG(x)、σB(x)是所述当前的前景图像对应的背景图像的平均标准方差；
通过下面公式计算所述当前的前景图像的每个像素的色度失真Cd：
将所述亮度失真Bd以及所述色度失真Cd与阈值Tb、Tc、Th以及Tg比较；
其中，Tb取值范围为0.6到0.95，Tc取值范围为2.5到3.0，Th取值为1.0，Tg取值为0.7；
若符合Tb≤Bd≤1&&Cd≤Tc，所述当前的前景图像的对应像素为阴影像素；
若符合(1＜Bd≤Th&&Cd≤Tc)||(Bd＞Th&&Sg≤Tg)，所述当前的前景图像的对应像素为高光像素；
去除所述当前的前景图像中的阴影像素以及高光像素，并对去除阴影像素以及高光像素后的所述当前的前景图像进行标记。
为实现上述目的，本发明还提供了一种无人机的监控系统的前景检测方法，包括：
获取监控系统的初始的若干帧图像，根据所述若干帧图像建立混合高斯模型，并根据所述混合高斯模型提取初始的背景图像的信息；
获取所述监控系统的当前帧图像，将所述当前帧图像分割为N*N个区域；
判断所述当前帧图像的N*N个区域为前景区域或背景区域；以及根据所述当前帧图像的N*N个区域与通过根据前一帧图像更新的所述混合高斯模型得到的背景图像的N*N个区域的梯度相似性，判断所述当前帧图像的N*N个区域为梯度不相似区域还是梯度相似区域；
根据所有所述前景区域和所有所述梯度不相似区域的所有像素的信息，更新所述混合高斯模型；
根据当前更新的所述混合高斯模型，提取当前的背景图像的信息；
检测根据当前更新的所述混合高斯模型得到的所述当前的背景图像的N*N个区域是否为纹理区域；
如果该纹理区域属于所述当前的背景图像的N*N个区域中的判断为背景区域的区域，则将该纹理区域与其相邻的区域进行比较分析以确认该纹理区域属于背景区域还是前景区域；
如果该纹理区域被确认为背景区域，则对所述纹理区域进行颤动效果去除；
根据去除颤动效果后的所述当前的背景图像的所述纹理区域的信息和确认为前景区域的所述纹理区域的信息，再更新所述混合高斯模型；
根据再更新的所述混合高斯模型，提取校正后的所述当前的背景图像的信息和前景图像的信息。
与现有技术相比，本发明只需将所有前景区域和所有梯度不相似区域的所有像素对应更新至混合高斯模型，再根据更新的混合高斯模型，提取当前的背景图像的信息和前景图像的信息，能够减少了20％以上运算资源。另外，再通过对更新后的当前的背景图像的N*N个区域进行是否为纹理区域以及确认该纹理区域为前景区域或背景区域的判断，能够有效去除真实纹理区域的颤动效果，也能够再更新得到最新的混合高斯模型并据此得到更精确的背景图像的信息和前景图像的信息。且，本发明可以更有效的利用现代化多核处理器实现多线程运算，提高整体算法的运行速度，且能够适应复杂快速的背景变化，有效实时地监测前景，极大地提升了无人机的监控系统的鲁棒性而且减小了动态背景对监测效果的影响；本发明通过去除颤动效果的步骤减小了摄像头的微小移动对监测效果的影响。
为实现上述目的，本发明还提供了一种无人机的监控系统的前景检测装置，包括：
存储器；
处理器；及
存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上所述的无人机的监控系统的前景检测方法。
为实现上述目的，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上所述的无人机的监控系统的前景检测方法。
附图说明
图1是本发明实施例一的无人机的监控系统的前景检测方法的流程图。
图2是本发明实施例二的无人机的监控系统的前景检测方法的流程图。
图3是本发明实施例二的无人机的监控系统的前景检测方法的具体实现方式在校园环境中应用的效果与其他模型检测的效果的对比示意图。
图4是本发明实施例二的无人机的监控系统的前景检测方法的具体实现方式在高速公路环境中应用的效果与其他模型检测的效果的对比示意图。
图5是本发明实施例三的无人机的监控系统的前景检测装置的示意图。
具体实施方式
为了详细说明本发明的技术内容、构造特征，以下结合实施方式并配合附图作进一步说明。
实施例一
请参阅图1，本发明提供一种无人机的监控系统的前景检测方法，包括：
101、获取监控系统的初始的若干帧图像，根据所述若干帧图像建立混合高斯模型，并根据所述混合高斯模型提取初始的背景图像的信息；
102、获取所述监控系统的当前帧图像，将所述当前帧图像分割为N*N个区域；
103、判断所述当前帧图像的N*N个区域为变化区域或不变化区域；
104、根据所述当前帧图像的所有所述变化区域的所有像素的信息，更新所述混合高斯模型；
105、根据当前更新的所述混合高斯模型，提取当前的背景图像的信息。
应该注意的是，上述的“当前的背景图像”在开始阶段可以是初始的背景图像，之后，该“当前的背景图像”则为根据上一帧图像更新后的背景图像。
具体地，所述变化区域包括判断为前景区域的变化区域；
判断所述当前帧图像的N*N个区域为前景区域还是背景区域，包括：
计算出所述当前帧图像的每一区域在低分辨率估值下的像素值Xb以及所述当前帧图像的对应的背景图像的每一区域在低分辨率估值下的像素值μb与平均标准方差σb；
若符合|Xb-μb|＞2.5×σb，则像素值Xb所代表的区域为前景区域；
若不符合|Xb-μb|＞2.5×σb，则像素值Xb所代表的区域为背景区域。
此处的像素值μb与平均标准方差σb可通过根据所述混合高斯模型得到的当前的背景图像的信息进行校正。
具体地，所述像素值Xb是将所述当前帧图像的每一区域的像素均值作为高斯函数的输入量计算得到。
具体地，所述当前帧图像对应的背景图像的每一区域在低分辨率估值下的像素值μb是将包含所述当前帧图像在内的连续若干帧图像的对应区域的像素时间平均值作为高斯函数的输入量计算得到。
在具体实例中，所述像素时间平均值通过包含所述当前帧图像在内的所述连续若干帧图像的对应区域的若干像素均值取平均得到。不过，应该注意的是，像素时间平均值并不限于通过该方式得到。
具体地，计算所述平均标准方差σb的步骤为：先将所述像素时间平均值作为高斯函数的输入量计算得到对应的每一区域在低分辨率估值下的协方差∑b，然后根据所述协方差∑b计算得到所述平均标准方差σb。
具体地，所述变化区域包括梯度不相似区域；
判断所述当前帧图像的N*N个区域为梯度不相似区域还是梯度相似区域，包括：
计算所述当前帧图像的N*N个区域与根据前一帧图像更新的所述混合高斯模型得到的背景图像的N*N个区域的梯度相似性；
若所述当前帧图像的某个区域与根据前一帧图像更新的所述混合高斯模型得到的背景图像的对应区域的梯度不相似，则所述当前帧图像的某个区域为梯度不相似区域。
在具体实例中，所述计算所述当前帧图像的N*N个区域与根据前一帧图像更新的所述混合高斯模型得到的背景图像的N*N个区域的梯度相似性，具体为：
计算所述当前帧图像的N*N个区域的梯度矢量gC(x)；
计算根据前一帧图像更新的所述混合高斯模型得到的背景图像的N*N个区域的梯度矢量gB(x)；
通过公式计算所述当前帧图像的N*N个区域与根据前一帧图像更新的所述混合高斯模型得到的背景图像的N*N个区域的梯度相似性；
若符合Sg＜0.7，则所述当前帧图像的对应区域为梯度不相似区域。
应该注意的是，计算梯度相似性的方式并不局限于上述具体方式，其还可以是通过其他各种模型计算得到。
具体地，在根据当前更新的所述混合高斯模型，提取当前的背景图像的信息之后，还包括：
检测根据当前更新的所述混合高斯模型得到的所述当前的背景图像的N*N个区域是否为纹理区域；
如果根据当前更新的所述混合高斯模型得到的所述当前的背景图像存在纹理区域，则对所述纹理区域进行颤动效果去除；
根据去除颤动效果后的所述当前的背景图像的所述纹理区域的信息，再更新所述混合高斯模型；
根据再更新的所述混合高斯模型，提取校正后的所述当前的背景图像的信息和前景图像的信息。
具体而言，在下一帧图像输入时，再根据上述校正后的所述当前的背景图像的信息进行梯度不相似区域的计算，当然，也可以根据上述再更新所述当前的背景图像的信息在进行是前景区域还是背景区域的判断过程中进行校正。
更具体地，所述检测根据当前更新的所述混合高斯模型得到的所述当前的背景图像的N*N个区域是否为纹理区域，具体为：
计算根据当前更新的所述混合高斯模型得到的当前的背景图像的N*N个区域的梯度矢量gB(x)；
根据所述当前的背景图像的N*N个区域的梯度矢量gB(x)的幅度均值,计算所述当前的背景图像的N*N个区域的梯度幅值的标准方差σB；
通过Otsu自动阈值法分析所述标准方差σB的直方图；
当所述当前的背景图像的N*N个区域中的某一区域的标准方差σB的值大于阈值时,则该区域为纹理区域。
在具体示例中，计算得到所述当前的背景图像的N*N个区域的梯度幅值的标准方差σB具体为:
将所述当前的背景图像的每个区域均分为M*M个小区域并计算每个所述小区域的梯度矢量gB(xi)；
通过公式计算得到标准方差σB。
应该注意的是，检测是否为纹理区域的方法不局限于上述具体方式。
具体地，所述更新所述混合高斯模型包括更新所述混合高斯模型的参数，具体通过下式进行更新：
wi,t＝wi,t-1+α(Mi,t-wi,t-1)-αβ
μi,t＝μi,t-1+ρ(xt-μi,t-1)(Mi,t)
ρ＝αη(xi,t|μi,t-1,∑i,t-1)
其中，wi,t代表所述混合高斯模型中在t时刻第i个高斯分布的权重；α、β是自适应率，取值范围为0.01到0.001；μi,t代表所述混合高斯模型中在t时刻第i个高斯分布的均值；xt代表在t时刻像素点的像素值；Mi,t是匹配量化值，若所述当前帧图像的像素值落在第i个高斯分布，则Mi,t＝1，其他高斯分布的Mi,t＝＝10；代表所述混合高斯模型中在t时刻第i个高斯分布的方差；ρ是更新率；∑i,t代表所述混合高斯模型中在t时刻第i个高斯分布的协方差；η(xt,μi,t,∑i,t)代表所述混合高斯模型中在t时刻第i个高斯分布；D代表的是xt的维数。
具体地，所述更新所述混合高斯模型还包括合并所述混合高斯模型的无效高斯分量，具体通过下式进行合并：
wc,t＝wa,t+wb,t
其中，wc,t代表合并后的所述混合高斯模型中第c个高斯分布的权重，μc,t代表合并后所述混合高斯模型中第c个高斯分布的均值，代表合并后的所述混合高斯模型中第c个高斯分布的方差。
应该注意的是，更新所述混合高斯模型的方式不局限于上述具体方式。
具体地，所述无人机的监控系统的前景检测方法还包括对提取出的所述当前的前景图像的信息进行处理，具体为：
通过下面公式计算所述当前的前景图像的信息中的每个像素的亮度失真Bd：
其中，IR(x)、IG(x)、IB(x)是所述当前的前景图像的像素值；μR(x)、μG(x)、μB(x)是所述当前的前景图像对应的背景图像的像素均值；σR(x)、σG(x)、σB(x)是所述当前的前景图像对应的背景图像的平均标准方差；
通过下面公式计算所述当前的前景图像的每个像素的色度失真Cd：
将所述亮度失真Bd以及所述色度失真Cd与阈值Tb、Tc、Th以及Tg比较；
其中，Tb取值范围为0.6到0.95，Tc取值范围为2.5到3.0，Th取值为1.0，Tg取值为0.7；
若符合Tb≤Bd≤1&&Cd≤Tc，所述当前的前景图像的对应像素为阴影像素；
若符合(1＜Bd≤Th&&Cd≤Tc)||(Bd＞Th&&Sg≤Tg)，所述当前的前景图像的对应像素为高光像素；
去除所述当前的前景图像中的阴影像素以及高光像素，并对去除阴影像素以及高光像素后的所述当前的前景图像进行标记。
通过上述对提取出的所述当前的前景图像的信息的处理方式，能够有效去除运动物体的阴影和高光，进而得到更加真实的所述当前的前景图像。
实施例二
请参阅图2，本发明还提供一种无人机的监控系统的前景检测方法，包括：
201、获取监控系统的初始的若干帧图像，根据所述若干帧图像建立混合高斯模型，并根据所述混合高斯模型提取初始的背景图像的信息；
202、获取所述监控系统的当前帧图像，将所述当前帧图像分割为N*N个区域；
203、判断所述当前帧图像的N*N个区域为前景区域或背景区域；以及根据所述当前帧图像的N*N个区域与通过根据前一帧图像更新的所述混合高斯模型得到的背景图像的N*N个区域的梯度相似性，判断所述当前帧图像的N*N个区域为梯度不相似区域还是梯度相似区域；
204、根据所有所述前景区域和所有所述梯度不相似区域的所有像素的信息，更新所述混合高斯模型；
205、根据当前更新的所述混合高斯模型，提取当前的背景图像的信息；
206、检测根据当前更新的所述混合高斯模型得到的所述当前的背景图像的N*N个区域是否为纹理区域；
207、如果该纹理区域属于所述当前的背景图像的N*N个区域中的判断为背景区域的区域，则将该纹理区域与其相邻的区域进行比较分析以确认该纹理区域属于背景区域还是前景区域；如果该纹理区域被确认为背景区域，则对所述纹理区域进行颤动效果去除；
208、根据去除颤动效果后的所述当前的背景图像的所述纹理区域的信息和确认为前景区域的所述纹理区域的信息，再更新所述混合高斯模型；
209、根据再更新的所述混合高斯模型，提取校正后的所述当前的背景图像的信息和前景图像的信息。
传统的基于像素的背景建模算法需要更新每帧图像的所有像素，需要占用大量的运算资源，而实际上经验告诉我们有超过50％的背景是稳定的。本发明只需将所有前景区域和所有梯度不相似区域的所有像素对应更新至混合高斯模型，再根据更新的混合高斯模型，提取当前的背景图像的信息和前景图像的信息，即可更新当前的背景图像的信息，能够减少了20％以上运算资源。另外，再通过对更新后的当前的背景图像的N*N个区域进行是否为纹理区域以及确认该纹理区域为前景区域或背景区域的判断，能够有效去除真实纹理区域的颤动效果，也能够再更新得到最新的混合高斯模型并据此得到更精确的背景图像的信息和前景图像的信息。且，本发明可以更有效的利用现代化多核处理器实现多线程运算，提高整体算法的运行速度，且能够适应复杂快速的背景变化，有效实时地监测前景，极大地提升了无人机的监控系统的鲁棒性而且减小了动态背景对监测效果的影响；除此之外，本发明通过去除颤动效果的步骤减小了摄像头的微小移动对监测效果的影响，通过图像后期处理步骤去除动态背景中的突变和运动物体的阴影，提高无人机的监控系统的前景检测方法的准确性。
本实施二的优选实现方式在此不再详述，具体可以参考实施例一的相应实现方式。
图3是本发明实施例二的无人机的监控系统的前景检测方法的具体实现方式在校园环境中应用的效果与其他模型检测的效果的对比示意图。从左往右的五幅图片分别为：输入图像、高斯模型检测的效果图、传统的混合高斯模型检测的效果图、本实施例具体实现方式的检测的效果图、理想状态的效果图。由图3所示可见，本实施例的无人机的监控系统的前景检测方法的具体实现方式能够获得最接近理想状态的效果图。
图4是本发明实施例二的无人机的监控系统的前景检测方法的具体实现方式在高速公路环境中应用的效果与其他模型检测的效果的对比示意图。从左往右的五幅图片分别为：输入图像、高斯模型检测的效果图、传统的混合高斯模型检测的效果图、本实施例具体实现方式的检测的效果图、理想状态的效果图。由图4所示可见，本实施例的无人机的监控系统的前景检测方法的具体实现方式能够获得最接近理想状态的效果图。
经过对本发明实施例二的无人机的监控系统的前景检测方法的具体实现方式进行了大量的室内室外以及在不同气候条件下的验证。和传统高斯混合模型相比，算法可以实现18.8％至76.2％的目标检测精度的提升。
实施例三
请参阅图5，本实施例提供了一种无人机的监控系统的前景检测装置，包括：
存储器1；
处理器2；及
存储在所述存储器1上并可在所述处理器2上运行的计算机程序，所述处理器2执行所述计算机程序时，实现实施例一所述的无人机的监控系统的前景检测方法或者如实施例二所述的无人机的监控系统的前景检测方法。
存储器1可以是高速随机存取记忆体(RAM，RandomAccessMemory)存储器，也可为非不稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器1用于存储一组可执行程序代码，处理器2与存储器1耦合。
实施例四
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现实施例一所述的无人机的监控系统的前景检测方法或者如实施例二所述的无人机的监控系统的前景检测方法。
与现有技术相比，本发明提供一种无人机的监控系统的前景检测方法，首先以区域为基础的进行目标检测，进而在每一帧图像之间有选择地更新区域信息，再用以像素为基础的混合高斯模型进行提炼，精确地描绘出移动目标的外形，基于区域算法的应用可以更有效的利用现代化多核处理器实现多线程运算，提高整体算法的运行速度，且能够适应复杂快速的背景变化，有效实时地监测前景，极大地提升了无人机的监控系统的鲁棒性而且减小了动态背景对监测效果的影响；除此之外，本发明通过去除颤动效果的步骤减小了摄像头的微小移动对监测效果的影响，通过图像后期处理步骤去除动态背景中的突变和运动物体的阴影，提高无人机的监控系统的前景检测方法的准确性。
以上所揭露的仅为本发明的较佳实例而已，不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，均属于本发明所涵盖的范围。应该注意的是，本发明在使用时不局限于无人机监控技术领域，还可以应用在其他监控技术领域。

Claims (17)

1.一种无人机的监控系统的前景检测方法，其特征在于，包括：
获取监控系统的初始的若干帧图像，根据所述若干帧图像建立混合高斯模型，并根据所述混合高斯模型提取初始的背景图像的信息；
获取所述监控系统的当前帧图像，将所述当前帧图像分割为N*N个区域；
判断所述当前帧图像的N*N个区域为变化区域或不变化区域；
根据所述当前帧图像的所有所述变化区域的所有像素的信息，更新所述混合高斯模型；
根据当前更新的所述混合高斯模型，提取当前的背景图像的信息。
2.如权利要求1所述的无人机的监控系统的前景检测方法，其特征在于，
所述变化区域包括判断为前景区域的变化区域；
判断所述当前帧图像的N*N个区域为前景区域还是背景区域，包括：
计算出所述当前帧图像的每一区域在低分辨率估值下的像素值Xb以及所述当前帧图像的对应的背景图像的每一区域在低分辨率估值下的像素值μb与平均标准方差σb；
若符合|Xb-μb|＞2.5×σb，则像素值Xb所代表的区域为前景区域；
若不符合|Xb-μb|＞2.5×σb，则像素值Xb所代表的区域为背景区域。
3.如权利要求2所述的无人机的监控系统的前景检测方法，其特征在于，所述像素值Xb是将所述当前帧图像的每一区域的像素均值作为高斯函数的输入量计算得到。
4.如权利要求2所述的无人机的监控系统的前景检测方法，其特征在于，所述当前帧图像对应的背景图像的每一区域在低分辨率估值下的像素值μb是将包含所述当前帧图像在内的连续若干帧图像的对应区域的像素时间平均值作为高斯函数的输入量计算得到。
5.如权利要求4所述的无人机的监控系统的前景检测方法，其特征在于，所述像素时间平均值通过包含所述当前帧图像在内的所述连续若干帧图像的对应区域的若干像素均值取平均得到。
6.如权利要求4所述的无人机的监控系统的前景检测方法，其特征在于，计算所述平均标准方差σb的步骤为：先将所述像素时间平均值作为高斯函数的输入量计算得到对应的每一区域在低分辨率估值下的协方差∑b，然后根据所述协方差∑b计算得到所述平均标准方差σb。
7.如权利要求1所述的无人机的监控系统的前景检测方法，其特征在于，
所述变化区域包括梯度不相似区域；
判断所述当前帧图像的N*N个区域为梯度不相似区域还是梯度相似区域，包括：
计算所述当前帧图像的N*N个区域与根据前一帧图像更新的所述混合高斯模型得到的背景图像的N*N个区域的梯度相似性；
若所述当前帧图像的某个区域与根据前一帧图像更新的所述混合高斯模型得到的背景图像的对应区域的梯度不相似，则所述当前帧图像的某个区域为梯度不相似区域。
8.如权利要求7所述的无人机的监控系统的前景检测方法，其特征在于，
所述计算所述当前帧图像的N*N个区域与根据前一帧图像更新的所述混合高斯模型得到的背景图像的N*N个区域的梯度相似性，具体为：
计算所述当前帧图像的N*N个区域的梯度矢量gC(x)；
计算根据前一帧图像更新的所述混合高斯模型得到的背景图像的N*N个区域的梯度矢量gB(x)；
通过公式计算所述当前帧图像的N*N个区域与根据前一帧图像更新的所述混合高斯模型得到的背景图像的N*N个区域的梯度相似性；
若符合Sg＜0.7，则所述当前帧图像的对应区域为梯度不相似区域。
9.如权利要求1所述的无人机的监控系统的前景检测方法，其特征在于，
在根据当前更新的所述混合高斯模型，提取当前的背景图像的信息之后，还包括：
检测根据当前更新的所述混合高斯模型得到的所述当前的背景图像的N*N个区域是否为纹理区域；
如果根据当前更新的所述混合高斯模型得到的所述当前的背景图像存在纹理区域，则对所述纹理区域进行颤动效果去除；
根据去除颤动效果后的所述当前的背景图像的所述纹理区域的信息，再更新所述混合高斯模型；
根据再更新的所述混合高斯模型，提取校正后的所述当前的背景图像的信息和前景图像的信息。
10.如权利要求9所述的无人机的监控系统的前景检测方法，其特征在于，
所述检测根据当前更新的所述混合高斯模型得到的所述当前的背景图像的N*N个区域是否为纹理区域，具体为：
计算根据当前更新的所述混合高斯模型得到的当前的背景图像的N*N个区域的梯度矢量gB(x)；
根据所述当前的背景图像的N*N个区域的梯度矢量gB(x)的幅度均值,计算所述当前的背景图像的N*N个区域的梯度幅值的标准方差σB；
通过Otsu自动阈值法分析所述标准方差σB的直方图；
当所述当前的背景图像的N*N个区域中的某一区域的标准方差σB的值大于阈值时,则该区域为纹理区域。
11.如权利要求10所述的无人机的监控系统的前景检测方法，其特征在于，
计算得到所述当前的背景图像的N*N个区域的梯度幅值的标准方差σB具体为:
将所述当前的背景图像的每个区域均分为M*M个小区域并计算每个所述小区域的梯度矢量gB(xi)；
通过公式计算得到标准方差σB。
12.如权利要求1所述的无人机的监控系统的前景检测方法，其特征在于，
所述更新所述混合高斯模型包括更新所述混合高斯模型的参数，具体通过下式进行更新：
wi,t＝wi,t-1+α(Mi,t-wi,t-1)-αβ
μi,t＝μi,t-1+ρ(xt-μi,t-1)(Mi,t)
ρ＝αη(xi,t|μi,t-1,∑i,t-1)
其中，wi,t代表所述混合高斯模型中在t时刻第i个高斯分布的权重；α、β是自适应率，取值范围为0.01到0.001；μi,t代表所述混合高斯模型中在t时刻第i个高斯分布的均值；xt代表在t时刻像素点的像素值；Mi,t是匹配量化值，若所述当前帧图像的像素值落在第i个高斯分布，则Mi,t＝1，其他高斯分布的Mi,t＝＝10；代表所述混合高斯模型中在t时刻第i个高斯分布的方差；ρ是更新率；∑i,t代表所述混合高斯模型中在t时刻第i个高斯分布的协方差；η(xt,μi,t,∑i,t)代表所述混合高斯模型中在t时刻第i个高斯分布；D代表的是xt的维数。
13.如权利要求12所述的无人机的监控系统的前景检测方法，其特征在于，所述更新所述混合高斯模型还包括合并所述混合高斯模型的无效高斯分量，具体通过下式进行合并：
wc,t＝wa,t+wb,t
其中，wc,t代表合并后的所述混合高斯模型中第c个高斯分布的权重，μc,t代表合并后所述混合高斯模型中第c个高斯分布的均值，代表合并后的所述混合高斯模型中第c个高斯分布的方差。
14.如权利要求9所述的无人机的监控系统的前景检测方法，其特征在于，还包括对提取出的所述当前的前景图像的信息进行处理，具体为：
通过下面公式计算所述当前的前景图像的信息中的每个像素的亮度失真Bd：
其中，IR(x)、IG(x)、IB(x)是所述当前的前景图像的像素值；μR(x)、μG(x)、μB(x)是所述当前的前景图像对应的背景图像的像素均值；σR(x)、σG(x)、σB(x)是所述当前的前景图像对应的背景图像的平均标准方差；
通过下面公式计算所述当前的前景图像的每个像素的色度失真Cd：
将所述亮度失真Bd以及所述色度失真Cd与阈值Tb、Tc、Th以及Tg比较；
其中，Tb取值范围为0.6到0.95，Tc取值范围为2.5到3.0，Th取值为1.0，Tg取值为0.7；
若符合Tb≤Bd≤1&&Cd≤Tc，所述当前的前景图像的对应像素为阴影像素；
若符合(1＜Bd≤Th&&Cd≤Tc)||(Bd＞Th&&Sg≤Tg)，所述当前的前景图像的对应像素为高光像素；
去除所述当前的前景图像中的阴影像素以及高光像素，并对去除阴影像素以及高光像素后的所述当前的前景图像进行标记。
15.一种无人机的监控系统的前景检测方法，其特征在于，包括：
获取监控系统的初始的若干帧图像，根据所述若干帧图像建立混合高斯模型，并根据所述混合高斯模型提取初始的背景图像的信息；
获取所述监控系统的当前帧图像，将所述当前帧图像分割为N*N个区域；
判断所述当前帧图像的N*N个区域为前景区域或背景区域；以及根据所述当前帧图像的N*N个区域与通过根据前一帧图像更新的所述混合高斯模型得到的背景图像的N*N个区域的梯度相似性，判断所述当前帧图像的N*N个区域为梯度不相似区域还是梯度相似区域；
根据所有所述前景区域和所有所述梯度不相似区域的所有像素的信息，更新所述混合高斯模型；
根据当前更新的所述混合高斯模型，提取当前的背景图像的信息；
检测根据当前更新的所述混合高斯模型得到的所述当前的背景图像的N*N个区域是否为纹理区域；
如果该纹理区域属于所述当前的背景图像的N*N个区域中的判断为背景区域的区域，则将该纹理区域与其相邻的区域进行比较分析以确认该纹理区域属于背景区域还是前景区域；
如果该纹理区域被确认为背景区域，则对所述纹理区域进行颤动效果去除；
根据去除颤动效果后的所述当前的背景图像的所述纹理区域的信息和确认为前景区域的所述纹理区域的信息，再更新所述混合高斯模型；
根据再更新的所述混合高斯模型，提取校正后的所述当前的背景图像的信息和前景图像的信息。
16.一种无人机的监控系统的前景检测装置，其特征在于，包括：
存储器；
处理器；及
存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1至14中的任一项所述的无人机的监控系统的前景检测方法或者如权利要求15所述的无人机的监控系统的前景检测方法。
17.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至14中的任一项所述的无人机的监控系统的前景检测方法或者如权利要求15所述的无人机的监控系统的前景检测方法。
CN201810845381.1A 2018-07-27 2018-07-27 无人机的监控系统的前景检测方法以及装置 Expired - Fee Related CN109102526B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810845381.1A CN109102526B (zh) 2018-07-27 2018-07-27 无人机的监控系统的前景检测方法以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810845381.1A CN109102526B (zh) 2018-07-27 2018-07-27 无人机的监控系统的前景检测方法以及装置

Publications (2)

Publication Number Publication Date
CN109102526A true CN109102526A (zh) 2018-12-28
CN109102526B CN109102526B (zh) 2022-07-05

Family

ID=64847825

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810845381.1A Expired - Fee Related CN109102526B (zh) 2018-07-27 2018-07-27 无人机的监控系统的前景检测方法以及装置

Country Status (1)

Country Link
CN (1) CN109102526B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112348842A (zh) * 2020-11-03 2021-02-09 中国航空工业集团公司北京长城航空测控技术研究所 一种从视频中自动快速获取场景背景的处理方法
CN117615222A (zh) * 2023-11-14 2024-02-27 书行科技(北京)有限公司 图像处理方法、视频发布方法及相关产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102568005A (zh) * 2011-12-28 2012-07-11 江苏大学 一种基于混合高斯模型的运动目标检测方法
CN107103292A (zh) * 2017-04-12 2017-08-29 湖南源信光电科技股份有限公司 一种基于运动车辆跟踪的车流量统计方法
US20180048894A1 (en) * 2016-08-11 2018-02-15 Qualcomm Incorporated Methods and systems of performing lighting condition change compensation in video analytics
CN107871315A (zh) * 2017-10-09 2018-04-03 中国电子科技集团公司第二十八研究所 一种视频图像运动检测方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102568005A (zh) * 2011-12-28 2012-07-11 江苏大学 一种基于混合高斯模型的运动目标检测方法
US20180048894A1 (en) * 2016-08-11 2018-02-15 Qualcomm Incorporated Methods and systems of performing lighting condition change compensation in video analytics
CN107103292A (zh) * 2017-04-12 2017-08-29 湖南源信光电科技股份有限公司 一种基于运动车辆跟踪的车流量统计方法
CN107871315A (zh) * 2017-10-09 2018-04-03 中国电子科技集团公司第二十八研究所 一种视频图像运动检测方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
仲莉恩: "视频目标阴影消除与跟踪技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
王艳丽: "复杂场景下多运动目标实时检测与跟踪", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112348842A (zh) * 2020-11-03 2021-02-09 中国航空工业集团公司北京长城航空测控技术研究所 一种从视频中自动快速获取场景背景的处理方法
CN117615222A (zh) * 2023-11-14 2024-02-27 书行科技(北京)有限公司 图像处理方法、视频发布方法及相关产品
CN117615222B (zh) * 2023-11-14 2024-09-24 书行科技(北京)有限公司 图像处理方法、视频发布方法、装置、设备、介质及产品

Also Published As

Publication number Publication date
CN109102526B (zh) 2022-07-05

Similar Documents

Publication Publication Date Title
CN102307274B (zh) 基于边缘检测和帧差法的运动检测方法
CN112308095A (zh) 图片预处理及模型训练方法、装置、服务器及存储介质
CN109544592B (zh) 针对相机移动的运动目标检测算法
CN104978567B (zh) 基于场景分类的车辆检测方法
CN110647836B (zh) 一种鲁棒的基于深度学习的单目标跟踪方法
CN104715480B (zh) 一种基于统计背景模型的目标检测方法
CN106462975A (zh) 用于对象跟踪和经由背景跟踪进行分割的方法和装置
Lian et al. A novel method on moving-objects detection based on background subtraction and three frames differencing
CN103942786B (zh) 无人机可见光和红外图像的自适应团块目标检测方法
CN104036526A (zh) 一种基于自适应窗的灰度目标跟踪方法
CN108765463B (zh) 一种结合区域提取与改进纹理特征的运动目标检测方法
CN105447488B (zh) 基于素描线段拓扑结构的sar图像目标检测方法
CN107871315B (zh) 一种视频图像运动检测方法和装置
CN101908214A (zh) 基于邻域相关的背景重构的运动目标检测方法
CN113313107A (zh) 一种斜拉桥缆索表面多类型病害智能检测和识别方法
CN109102526A (zh) 无人机的监控系统的前景检测方法以及装置
CN101877135B (zh) 一种基于背景重构的运动目标检测方法
CN107657628A (zh) 一种实时彩色目标跟踪方法
CN102592125A (zh) 基于标准差特征的运动目标检测方法
CN105208402B (zh) 一种基于运动对象与图像分析的视频帧复杂度测度方法
CN117036740A (zh) 一种用于运动目标的抗遮挡性跟踪方法
CN107067411B (zh) 一种结合密集特征的Mean-shift跟踪方法
CN108241837B (zh) 一种遗留物检测方法和装置
JP2018185623A (ja) 物体検出装置
CN106875423A (zh) 一种用于海量视频流中的移动物体检测与跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230620

Address after: Room 901, No. 18, Tianshan Road, Changning District, Shanghai 200000

Patentee after: Shanghai Tongshi Electronic Technology Co.,Ltd.

Address before: 523808 No. 3, University Road, Songshan Lake Science and Technology Industrial Park, Dongguan, Guangdong

Patentee before: DONGGUAN POLYTECHNIC

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220705

CF01 Termination of patent right due to non-payment of annual fee