CN114463670B - 一种机场场面监控视频变化检测系统及方法 - Google Patents

一种机场场面监控视频变化检测系统及方法 Download PDF

Info

Publication number
CN114463670B
CN114463670B CN202111639029.0A CN202111639029A CN114463670B CN 114463670 B CN114463670 B CN 114463670B CN 202111639029 A CN202111639029 A CN 202111639029A CN 114463670 B CN114463670 B CN 114463670B
Authority
CN
China
Prior art keywords
module
input end
output end
matching
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111639029.0A
Other languages
English (en)
Other versions
CN114463670A (zh
Inventor
张翔
汤应祺
杨瑞菁
孟俊聪
廖权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202111639029.0A priority Critical patent/CN114463670B/zh
Publication of CN114463670A publication Critical patent/CN114463670A/zh
Application granted granted Critical
Publication of CN114463670B publication Critical patent/CN114463670B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种机场场面监控视频变化检测系统及方法，涉及计算机视觉技术领域，包括第一通道级联模块、残差神经网络编码器、时空注意力处理子系统、第二通道级联模块、特征解码器和运动增强背景处理模块。本发明有效利用了传统的背景建模方法构建背景模型，基于此建立运动增强背景处理模块，以生成参考背景帧。同时，运动增强背景处理模块能够被检测结果动态更新，相比于单一的背景模型，有效减少了误差积累问题并对长视频具有鲁棒性。

Description

一种机场场面监控视频变化检测系统及方法
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种机场场面监控视频变化检测系统及方法。
背景技术
变化检测技术是计算机视觉的基本任务之一，它对后续的检测、跟踪、识别等任务起到至关重要的作用，而机场场面监控则是它其中一个十分重要应用领域。基于机场场面监控的变化检测技术目的是从监控视频中提取出正在运动的飞机，并持续的将飞机从背景中分离出来，直到飞机静止、离开画面或者视频结束，是机场场面监控中不可缺少的一环。
随着变化检测技术的发展，目前主流的变化检测方法分为传统方法和深度学习方法这两大类。在机场场面监控任务中，两种方法都有不错的效果，但仍有一定的缺陷。
传统变化检测方法通过统计建模提取运动像素，思路简单高效，模型迭代速度快，可以在很短的时间内捕捉到机场场面中处于移动状态的飞机。但是对变化的像素十分敏感，尤其是面对机场这种复杂环境中，任何突变或者与目标相似的像素都可能被模型判断为处于运动状态飞机的像素。例如，在雾霾环境中，机场场面整体呈现出低对比度的情况，灰白色的水泥路面和白色的机身使得传统方法难以辨别像素的类别，导致检测结果容易出现空洞或者误检的情况。在强烈的光照环境中，飞机会会产生明显的阴影投影在路面中并跟随其移动，由于统计建模的特点，这类像素也会因为处于运动状态被视为运动目标归纳到背景模型中，这给背景模型的迭代更新和运动检测带来了很大的挑战。
相较于传统方法，基于深度学习的方法能够获得更加完整的检测结果，同时摆脱了传统方法中受噪声干扰的缺点，在复杂环境中仍能够取得鲁棒的结果。但是依赖于有监督方法，有限的样本使得神经网络容易关注到飞机易于捕捉和学习的特征信息。如果在未加约束的情况下，神经网络会通过判断与运动飞机具有相似外观的飞行器作为最终检测的结果，毫无疑问会检测到处于静止状态的飞机。换言之，基于深度学习的网络模型以损失泛化能力的代价换取了运动目标检测的有限精度，这是得不偿失的。
基于深度学习方法在机场场面监控视频中难以实际应用，但是它良好的抗干扰性能又可能是变化检测方法在复杂场景应用中的一个突破口，如何利用好传统方法和深度学习方法各自的特点仍然是变化检测技术中一个难题。因此，当前急需探索一种全新的变化检测策略，以应对机场场面监控视频中的种种挑战。
发明内容
针对现有技术中的上述不足，本发明提供的一种机场场面监控视频变化检测系统及方法解决了现有技术检测精度低、抗干扰能力差和运动状态混乱的问题。
为了达到上述发明目的，本发明采用的技术方案为：
第一方面，一种机场场面监控视频变化检测系统，包括：第一通道级联模块、残差神经网络编码器、时空注意力处理子系统、第二通道级联模块、特征解码器和运动增强背景处理模块；
所述第一通道级联模块和第二通道级联模块用于拼接输入的数据序列；
所述第一通道级联模块的第一输入端作为机场场面监控视频变化检测系统的输入端，其第二输入端与运动增强背景处理模块的输出端连接，其输出端与残差神经网络编码器的输入端连接；
所述残差神经网络编码器用于对输入的图像数据序列进行特征提取，得到编码特征，其输出端与时钟注意力处理子系统的输入端连接，其包括N个中间编码层；每个所述的中间编码层的输出端均还与特征解码器连接；N为正整数；
所述时空注意力处理子系统用于提取编码特征的时空注意力数据，并进行时空注意力匹配运算，得到当前图像特征和平均相似特征图；其第一输出端用于输出当前图像特征，与第二通道级联模块的第一输入端连接；其第二输出端用于输出平均相似特征图，与第二通道级联模块的第二输入端连接；
所述第二通道级联模块的输出端与特征解码器的输入端连接；
所述特征解码器用于解码第二通道级联模块拼接的级联编码特征，得到运动概率图；其输出端与运动增强背景处理模块的输入端连接，并作为机场场面监控视频变化检测系统的输出端；
所述运动增强背景处理模块用于根据运动概率图计算得到参考背景帧。
进一步地，所述时空注意力处理子系统包括：匹配特征提取模块、图像特征提取模块、匹配特征存储模块、图像特征存储模块和平均相似特征计算模块；
所述匹配特征提取模块用于根据残差神经网络编码器输出的编码特征，提取得到当前匹配特征；其输入端与图像特征提取模块的输入端连接，并作为时空注意力处理子系统的输入端，还与残差神经网络编码器的输出端连接；其输出端分别与匹配特征存储模块的输入端和平均相似特征计算模块的输入端连接；
所述图像特征提取模块用于根据残差神经网络编码器输出的编码特征，提取得到当前图像特征，其输出端作为时空注意力处理子系统的第一输出端，分别与图像特征存储模块的输入端和第二通道级联模块的第一输入端连接；
所述匹配特征存储模块用于存储当前匹配特征之前的L个历史匹配特征，其输出端与平均相似特征计算模块的输入端连接；
所述图像特征存储模块用于存储当前图像特征之前的L个历史图像特征，其输出端与平均相似特征计算模块的输入端连接；
所述平均相似特征计算模块用于根据当前匹配特征、L个历史匹配特征和L个历史图像特征，求解得到平均相似特征图；其输出端作为时空注意力处理子系统的第二输出端，并与第二通道级联模块的第二输入端连接。
进一步地，所述特征解码器包括：第一残差块、第一上采样模块和第一提炼块至第N提炼块；
所述第一残差块的输入端作为特征解码器的输入端，并与第二通道级联模块的输出端连接；其输出端与第一提炼块的第二输入端连接；
所述第一提炼块的第一输入端与残差神经网络编码器的第N中间编码层的输出端连接；其第二输入端与第一残差块的输出端连接；
所述第i提炼块的第一输入端与残差神经网络编码器的第N+1-i中间编码层的输出端连接；其第二输入端与第i-1提炼块的输出端连接；i为闭区间[2,N]内的正整数；
所述第N提炼块的输出端与第一上采样模块的输入端连接；
所述第一上采样模块的输出端作为特征解码器的输出端。
进一步地，所述第一提炼块至第N提炼块的结构均相同，包括：卷积模块、第二残差块、第二上采样模块、加法器和第三残差块；
所述卷积模块的输入端作为第一提炼块至第N提炼块的第一输入端，其输出端与第二残差块的输入端连接；
所述第二残差块的输出端与加法器的第一输入端连接；
所述第二上采样模块的输入端作为第一提炼块至第N提炼块的第二输入端，其输出端与加法器的第二输入端连接；
所述加法器的输出端与第三残差块的输入端连接；
所述第三残差块的输出端作为第一提炼块至第N提炼块的输出端。
进一步地，所述平均相似特征计算模块根据当前匹配特征、L个历史匹配特征和L个历史图像特征，求解得到平均相似特征图的方法包括以下步骤：
A1、根据当前匹配特征和L个历史匹配特征，通过下式计算得到L个相似矩阵：
Figure BDA0003442235840000051
其中，Mp为p时刻的相似矩阵，Kc为当前匹配特征，Kp为p时刻的匹配特征，c为当前匹配特征对应的时刻，p为闭区间[c-L,c-L+1,…,c-2,c-1]内的正整数，
Figure BDA0003442235840000052
为矩阵乘法运算符，softmax(·)为归一化指数函数；
A2、根据L个历史图像特征和L个相似矩阵，通过下式计算得到L个相似特征图：
Figure BDA0003442235840000053
其中，Sp为当前帧与p时刻帧的相似特征图，Vp为p时刻历史图像特征；
A3、求取L个相似特征图的均值，作为平均相似特征图。
进一步地，所述运动增强背景处理模块通过下式根据运动概率图计算得到参考背景帧：
Figure BDA0003442235840000054
其中，t为时间标记符，bj,k,c为当前参考背景帧第j行第k列像素值，ε为常系数，wj,k,t为t时刻运动概率图第j行第k列像素值，bj,k,t为运动增强背景处理模块存储的t时刻参考背景帧的第j行第k列像素值，m为运动增强背景处理模块存储的历史参考背景帧的数量。
第二方面，一种机场场面监控视频变化检测方法，采用上述的机场场面监控视频变化检测系统，包括以下步骤：
S1、通过机场场面监控器摄取机场场面监控视频；
S2、采用时间均值方法，根据机场场面监控视频m个图像帧，设定运动增强背景处理模块初始的参考背景帧；
S3、向机场场面监控视频变化检测系统逐帧输入机场场面监控视频，持续获取机场场面监控视频变化检测系统输出的运动概率图；
S4、使用阈值筛选方法，根据运动概率图，提取得到机场场面监控视频变化检测结果。
进一步地，所述步骤S2通过下式，根据机场场面监控视频各个图像帧得到初始的参考背景帧：
Figure BDA0003442235840000061
其中，B0为初始的参考背景帧，It为t时刻的所述图像帧。
进一步地，所述步骤S4通过下式，根据运动概率图，提取得到机场场面监控视频变化检测结果：
Figure BDA0003442235840000062
其中，oj,k为机场场面监控视频变化检测结果图的第j行第k列像素值，wj,k,c为当前运动概率图第j行第k列像素值，threshold为检测阈值。
本发明的有益效果为：
1)有效利用了传统的背景建模方法构建背景模型，基于此建立运动增强背景处理模块，以生成参考背景帧。同时，运动增强背景处理模块能够被检测结果动态更新，相比于单一的背景模型，有效减少了误差积累问题并对长视频具有鲁棒性。
2)本发明建立的时空注意力处理子系统能够利用时空注意力机制，挖掘视频图像中潜在的外观和运动信息，有助于提高运动飞机的检测精度。
3)本方法同时利用了传统计算机视觉的变化检测方法和深度学习方法，在利用各自方法优点的同时也规避了各自的缺点。不仅缓解了现有技术中易受噪声干扰的特点，还解决了深度学习方法中运动目标状态混乱的问题。
附图说明
图1为一种机场场面监控视频变化检测系统的结构图；
图2为特征解码器结构图；
图3为提炼块结构图；
图4为一种机场场面监控视频变化检测方法的流程图；
图5为机场中不同视角下的机场场面监控视频变化检测结果；
图6为同一视角下的机场场面监控连续帧检测结果。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，在本发明的一个实施例中，一种机场场面监控视频变化检测系统，包括：第一通道级联模块、残差神经网络编码器、时空注意力处理子系统、第二通道级联模块、特征解码器和运动增强背景处理模块。
第一通道级联模块和第二通道级联模块用于拼接输入的数据序列。
第一通道级联模块的第一输入端作为机场场面监控视频变化检测系统的输入端，其第二输入端与运动增强背景处理模块的输出端连接，其输出端与残差神经网络编码器的输入端连接。
残差神经网络编码器用于对输入的图像数据序列进行特征提取，得到编码特征，其输出端与时钟注意力处理子系统的输入端连接，其包括N个中间编码层；每个所述的中间编码层的输出端均还与特征解码器连接；N为正整数。在本实施例中，N为2。
在本实施例中，残差神经网络编码器采用ResNet50架构的编码器。
时空注意力处理子系统用于提取编码特征的时空注意力数据，并进行时空注意力匹配运算，得到当前图像特征和平均相似特征图；其第一输出端用于输出当前图像特征，与第二通道级联模块的第一输入端连接；其第二输出端用于输出平均相似特征图，与第二通道级联模块的第二输入端连接。
第二通道级联模块的输出端与特征解码器的输入端连接。
特征解码器用于解码第二通道级联模块拼接的级联编码特征，得到运动概率图；其输出端与运动增强背景处理模块的输入端连接，并作为机场场面监控视频变化检测系统的输出端。
运动增强背景处理模块用于根据运动概率图计算得到参考背景帧。
运动增强背景处理模块通过下式根据运动概率图计算得到参考背景帧：
Figure BDA0003442235840000081
其中，t为时间标记符，bj,k,c为当前参考背景帧第j行第k列像素值，ε为常系数，wj,k,t为t时刻运动概率图第j行第k列像素值，bj,k,t为运动增强背景处理模块存储的t时刻参考背景帧的第j行第k列像素值，m为运动增强背景处理模块存储的历史参考背景帧的数量。
时空注意力处理子系统包括：匹配特征提取模块、图像特征提取模块、匹配特征存储模块、图像特征存储模块和平均相似特征计算模块。
匹配特征提取模块用于根据残差神经网络编码器输出的编码特征，提取得到当前匹配特征；其输入端与图像特征提取模块的输入端连接，并作为时空注意力处理子系统的输入端，还与残差神经网络编码器的输出端连接；其输出端分别与匹配特征存储模块的输入端和平均相似特征计算模块的输入端连接。
在本实施例中，匹配特征提取模块和图像特征提取模块均采用CNN卷积模块实现。
图像特征提取模块用于根据残差神经网络编码器输出的编码特征，提取得到当前图像特征，其输出端作为时空注意力处理子系统的第一输出端，分别与图像特征存储模块的输入端和第二通道级联模块的第一输入端连接。
匹配特征存储模块用于存储当前匹配特征之前的L个历史匹配特征，其输出端与平均相似特征计算模块的输入端连接。
图像特征存储模块用于存储当前图像特征之前的L个历史图像特征，其输出端与平均相似特征计算模块的输入端连接。
平均相似特征计算模块用于根据当前匹配特征、L个历史匹配特征和L个历史图像特征，求解得到平均相似特征图；其输出端作为时空注意力处理子系统的第二输出端，并与第二通道级联模块的第二输入端连接。
平均相似特征计算模块根据当前匹配特征、L个历史匹配特征和L个历史图像特征，求解得到平均相似特征图的方法包括以下步骤：
A1、根据当前匹配特征和L个历史匹配特征，通过下式计算得到L个相似矩阵：
Figure BDA0003442235840000101
其中，Mp为p时刻的相似矩阵，Kc为当前匹配特征，Kp为p时刻的匹配特征，c为当前匹配特征对应的时刻，p为闭区间[c-L,c-L+1,…,c-2,c-1]内的正整数，
Figure BDA0003442235840000102
为矩阵乘法运算符，softmax(·)为归一化指数函数；
A2、根据L个历史图像特征和L个相似矩阵，通过下式计算得到L个相似特征图：
Figure BDA0003442235840000103
其中，Sp为当前帧与p时刻帧的相似特征图，Vp为p时刻历史图像特征；
A3、求取L个相似特征图的均值，作为平均相似特征图。
如图2所示，特征解码器包括：第一残差块、第一上采样模块和第一提炼块至第N提炼块。
第一残差块的输入端作为特征解码器的输入端，并与第二通道级联模块的输出端连接；其输出端与第一提炼块的第二输入端连接。
第一提炼块的第一输入端与残差神经网络编码器的第N中间编码层的输出端连接；其第二输入端与第一残差块的输出端连接。
第i提炼块的第一输入端与残差神经网络编码器的第N+1-i中间编码层的输出端连接；其第二输入端与第i-1提炼块的输出端连接；i为闭区间[2,N]内的正整数。
第N提炼块的输出端与第一上采样模块的输入端连接。
第一上采样模块的输出端作为特征解码器的输出端。
在本实施例中，第一上采样模块通过双线性插值方式实现上采样。
如图3所示，第一提炼块至第N提炼块的结构均相同，包括：卷积模块、第二残差块、第二上采样模块、加法器和第三残差块。
卷积模块的输入端作为第一提炼块至第N提炼块的第一输入端，其输出端与第二残差块的输入端连接。
第二残差块的输出端与加法器的第一输入端连接。
所述第二上采样模块的输入端作为第一提炼块至第N提炼块的第二输入端，其输出端与加法器的第二输入端连接。
加法器的输出端与第三残差块的输入端连接。
第三残差块的输出端作为第一提炼块至第N提炼块的输出端。
如图4所示，一种机场场面监控视频变化检测方法，采用上述的机场场面监控视频变化检测系统，包括以下步骤：
S1、通过机场场面监控器摄取机场场面监控视频。
S2、通过下式采用时间均值方法，根据机场场面监控视频m个图像帧，设定运动增强背景处理模块初始的参考背景帧：
Figure BDA0003442235840000111
其中，B0为初始的参考背景帧，It为t时刻的所述图像帧。
S3、向机场场面监控视频变化检测系统逐帧输入机场场面监控视频，持续获取机场场面监控视频变化检测系统输出的运动概率图。
S4、通过下式使用阈值筛选方法，根据运动概率图，提取得到机场场面监控视频变化检测结果。
Figure BDA0003442235840000112
其中，oj,k为机场场面监控视频变化检测结果图的第j行第k列像素值，wj,k,c为当前运动概率图第j行第k列像素值，threshold为检测阈值。
本实施例对机场场面监控视频的变化检测结果如图5和图6所示。
本发明有效利用了传统的背景建模方法构建背景模型，基于此建立运动增强背景处理模块，以生成参考背景帧。同时，运动增强背景处理模块能够被检测结果动态更新，相比于单一的背景模型，有效减少了误差积累问题并对长视频具有鲁棒性。
本发明建立的时空注意力处理子系统能够利用时空注意力机制，挖掘视频图像中潜在的外观和运动信息，有助于提高运动飞机的检测精度。
综上，本方法同时利用了传统计算机视觉的变化检测方法和深度学习方法，在利用各自方法优点的同时也规避了各自的缺点。不仅缓解了现有技术中易受噪声干扰的特点，还解决了深度学习方法中运动目标状态混乱的问题。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (8)

1.一种机场场面监控视频变化检测系统，其特征在于，包括：第一通道级联模块、残差神经网络编码器、时空注意力处理子系统、第二通道级联模块、特征解码器和运动增强背景处理模块；
所述第一通道级联模块和第二通道级联模块用于拼接输入的数据序列；
所述第一通道级联模块的第一输入端作为机场场面监控视频变化检测系统的输入端，其第二输入端与运动增强背景处理模块的输出端连接，其输出端与残差神经网络编码器的输入端连接；
所述残差神经网络编码器用于对输入的图像数据序列进行特征提取，得到编码特征，其输出端与时钟注意力处理子系统的输入端连接，其包括N个中间编码层；每个所述的中间编码层的输出端均还与特征解码器连接；N为正整数；
所述时空注意力处理子系统用于提取编码特征的时空注意力数据，并进行时空注意力匹配运算，得到当前图像特征和平均相似特征图；其第一输出端用于输出当前图像特征，与第二通道级联模块的第一输入端连接；其第二输出端用于输出平均相似特征图，与第二通道级联模块的第二输入端连接；
所述第二通道级联模块的输出端与特征解码器的输入端连接；
所述特征解码器用于解码第二通道级联模块拼接的级联编码特征，得到运动概率图；其输出端与运动增强背景处理模块的输入端连接，并作为机场场面监控视频变化检测系统的输出端；
所述运动增强背景处理模块用于根据运动概率图计算得到参考背景帧，计算公式为：
Figure FDA0003910056260000011
其中，t为时间标记符，bj,k,c为当前参考背景帧第j行第k列像素值，ε为常系数，wj,k,t为t时刻运动概率图第j行第k列像素值，bj,k,t为运动增强背景处理模块存储的t时刻参考背景帧的第j行第k列像素值，m为运动增强背景处理模块存储的历史参考背景帧的数量，c为当前匹配特征对应的时刻。
2.根据权利要求1所述的机场场面监控视频变化检测系统，其特征在于，所述时空注意力处理子系统包括：匹配特征提取模块、图像特征提取模块、匹配特征存储模块、图像特征存储模块和平均相似特征计算模块；
所述匹配特征提取模块用于根据残差神经网络编码器输出的编码特征，提取得到当前匹配特征；其输入端与图像特征提取模块的输入端连接，并作为时空注意力处理子系统的输入端，还与残差神经网络编码器的输出端连接；其输出端分别与匹配特征存储模块的输入端和平均相似特征计算模块的输入端连接；
所述图像特征提取模块用于根据残差神经网络编码器输出的编码特征，提取得到当前图像特征，其输出端作为时空注意力处理子系统的第一输出端，分别与图像特征存储模块的输入端和第二通道级联模块的第一输入端连接；
所述匹配特征存储模块用于存储当前匹配特征之前的L个历史匹配特征，其输出端与平均相似特征计算模块的输入端连接；
所述图像特征存储模块用于存储当前图像特征之前的L个历史图像特征，其输出端与平均相似特征计算模块的输入端连接；
所述平均相似特征计算模块用于根据当前匹配特征、L个历史匹配特征和L个历史图像特征，求解得到平均相似特征图；其输出端作为时空注意力处理子系统的第二输出端，并与第二通道级联模块的第二输入端连接。
3.根据权利要求2所述的机场场面监控视频变化检测系统，其特征在于，所述特征解码器包括：第一残差块、第一上采样模块和第一提炼块至第N提炼块；
所述第一残差块的输入端作为特征解码器的输入端，并与第二通道级联模块的输出端连接；其输出端与第一提炼块的第二输入端连接；
所述第一提炼块的第一输入端与残差神经网络编码器的第N中间编码层的输出端连接；其第二输入端与第一残差块的输出端连接；
第i提炼块的第一输入端与残差神经网络编码器的第N+1-i中间编码层的输出端连接；其第二输入端与第i-1提炼块的输出端连接；i为闭区间[2,N]内的正整数；
所述第N提炼块的输出端与第一上采样模块的输入端连接；
所述第一上采样模块的输出端作为特征解码器的输出端。
4.根据权利要求3所述的机场场面监控视频变化检测系统，其特征在于，所述第一提炼块至第N提炼块的结构均相同，包括：卷积模块、第二残差块、第二上采样模块、加法器和第三残差块；
所述卷积模块的输入端作为第一提炼块至第N提炼块的第一输入端，其输出端与第二残差块的输入端连接；
所述第二残差块的输出端与加法器的第一输入端连接；
所述第二上采样模块的输入端作为第一提炼块至第N提炼块的第二输入端，其输出端与加法器的第二输入端连接；
所述加法器的输出端与第三残差块的输入端连接；
所述第三残差块的输出端作为第一提炼块至第N提炼块的输出端。
5.根据权利要求4所述的机场场面监控视频变化检测系统，其特征在于，所述平均相似特征计算模块根据当前匹配特征、L个历史匹配特征和L个历史图像特征，求解得到平均相似特征图的方法包括以下步骤：
A1、根据当前匹配特征和L个历史匹配特征，通过下式计算得到L个相似矩阵：
Figure FDA0003910056260000041
其中，Mp为p时刻的相似矩阵，Kc为当前匹配特征，Kp为p时刻的匹配特征，c为当前匹配特征对应的时刻，p为闭区间[c-L,c-L+1,…,c-2,c-1]内的正整数，
Figure FDA0003910056260000042
为矩阵乘法运算符，softmax(·)为归一化指数函数；
A2、根据L个历史图像特征和L个相似矩阵，通过下式计算得到L个相似特征图：
Figure FDA0003910056260000043
其中，Sp为当前帧与p时刻帧的相似特征图，Vp为p时刻历史图像特征；
A3、求取L个相似特征图的均值，作为平均相似特征图。
6.一种机场场面监控视频变化检测方法，其特征在于，采用如权利要求1至5任一项所述的机场场面监控视频变化检测系统，包括以下步骤：
S1、通过机场场面监控器摄取机场场面监控视频；
S2、采用时间均值方法，根据机场场面监控视频m个图像帧，设定运动增强背景处理模块初始的参考背景帧；
S3、向机场场面监控视频变化检测系统逐帧输入机场场面监控视频，持续获取机场场面监控视频变化检测系统输出的运动概率图；
S4、使用阈值筛选方法，根据运动概率图，提取得到机场场面监控视频变化检测结果。
7.根据权利要求6所述的机场场面监控视频变化检测方法，其特征在于，所述步骤S2通过下式，根据机场场面监控视频各个图像帧得到初始的参考背景帧：
Figure FDA0003910056260000051
其中，B0为初始的参考背景帧，It为t时刻的所述图像帧。
8.根据权利要求6所述的机场场面监控视频变化检测方法，其特征在于，所述步骤S4通过下式，根据运动概率图，提取得到机场场面监控视频变化检测结果：
Figure FDA0003910056260000052
其中，oj,k为机场场面监控视频变化检测结果图的第j行第k列像素值，wj,k,c为当前运动概率图第j行第k列像素值，threshold为检测阈值。
CN202111639029.0A 2021-12-29 2021-12-29 一种机场场面监控视频变化检测系统及方法 Active CN114463670B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111639029.0A CN114463670B (zh) 2021-12-29 2021-12-29 一种机场场面监控视频变化检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111639029.0A CN114463670B (zh) 2021-12-29 2021-12-29 一种机场场面监控视频变化检测系统及方法

Publications (2)

Publication Number Publication Date
CN114463670A CN114463670A (zh) 2022-05-10
CN114463670B true CN114463670B (zh) 2023-02-03

Family

ID=81407861

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111639029.0A Active CN114463670B (zh) 2021-12-29 2021-12-29 一种机场场面监控视频变化检测系统及方法

Country Status (1)

Country Link
CN (1) CN114463670B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106851302A (zh) * 2016-12-22 2017-06-13 国网浙江省电力公司杭州供电公司 一种基于帧内编码压缩域的监控视频运动目标检测方法
CN107230221A (zh) * 2017-05-25 2017-10-03 武汉理工大学 一种基于卷积神经网络自适应背景建模物体检测方法
CN113160250A (zh) * 2021-04-23 2021-07-23 电子科技大学长三角研究院(衢州) 一种基于ads-b位置先验的机场场面监控视频目标分割方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9158985B2 (en) * 2014-03-03 2015-10-13 Xerox Corporation Method and apparatus for processing image of scene of interest
US11288820B2 (en) * 2018-06-09 2022-03-29 Lot Spot Inc. System and method for transforming video data into directional object count
US11538143B2 (en) * 2018-10-26 2022-12-27 Nec Corporation Fully convolutional transformer based generative adversarial networks
CN113139446B (zh) * 2021-04-12 2024-02-06 长安大学 一种端到端自动驾驶行为决策方法、系统及终端设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106851302A (zh) * 2016-12-22 2017-06-13 国网浙江省电力公司杭州供电公司 一种基于帧内编码压缩域的监控视频运动目标检测方法
CN107230221A (zh) * 2017-05-25 2017-10-03 武汉理工大学 一种基于卷积神经网络自适应背景建模物体检测方法
CN113160250A (zh) * 2021-04-23 2021-07-23 电子科技大学长三角研究院(衢州) 一种基于ads-b位置先验的机场场面监控视频目标分割方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Foreground segmentation using convolutional neural networks for multiscale feature encoding;Long AngLim et.al;《Pattern Recognition Letters》;20180901;第256-262页 *
Integrating object proposal with attention networks for video saliency detection;Muwei Jian et.al;《Information Sciences》;20211031;第819-830页 *
可变块大小监控视频背景建模与编码;唐钦宇等;《计算机辅助设计与图形学学报》;20180115(第01期);第140-148页 *
基于深度学习的视频显著性检测及其应用;王教金;《中国优秀硕士学位论文全文数据库 信息科技辑》;20210715;第I138-337页 *

Also Published As

Publication number Publication date
CN114463670A (zh) 2022-05-10

Similar Documents

Publication Publication Date Title
CN112001914A (zh) 深度图像补全的方法和装置
CN109919032B (zh) 一种基于动作预测的视频异常行为检测方法
CN113837938B (zh) 基于动态视觉传感器重建潜在图像的超分辨率方法
CN109902601B (zh) 一种结合卷积网络和递归网络的视频目标检测方法
CN113591968A (zh) 一种基于非对称注意力特征融合的红外弱小目标检测方法
CN110853074B (zh) 一种利用光流增强目标的视频目标检测网络系统
CN113378775B (zh) 一种基于深度学习的视频阴影检测与消除方法
CN111382759B (zh) 一种像素级分类方法、装置、设备及存储介质
Cho et al. Semantic segmentation with low light images by modified CycleGAN-based image enhancement
CN116205962B (zh) 基于完整上下文信息的单目深度估计方法及系统
CN114781499B (zh) 一种构建基于ViT模型的密集预测任务适配器的方法
CN114972423A (zh) 一种航拍视频运动目标检测方法及系统
Jiang et al. LigMSANet: Lightweight multi-scale adaptive convolutional neural network for dense crowd counting
CN115577768A (zh) 半监督模型训练方法和装置
Liu et al. [Retracted] Self‐Correction Ship Tracking and Counting with Variable Time Window Based on YOLOv3
Jenifa et al. Rapid background subtraction from video sequences
Li et al. A full-process optimization-based background subtraction for moving object detection on general-purpose embedded devices
Roy et al. A comprehensive survey on computer vision based approaches for moving object detection
CN113489958A (zh) 一种基于视频编码数据多特征融合的动态手势识别方法及系统
CN114463670B (zh) 一种机场场面监控视频变化检测系统及方法
CN112784745A (zh) 基于置信度自适应和差分增强的视频显著物体检测方法
WO2023185693A1 (zh) 图像处理方法、相关装置和系统
CN116630369A (zh) 基于时空记忆网络的无人机目标跟踪方法
CN113222016B (zh) 一种基于高层和低层特征交叉增强的变化检测方法及装置
CN111008555B (zh) 一种无人机图像弱小目标增强提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant