CN111460917A - 基于多模态信息融合的机场异常行为检测系统及方法 - Google Patents

基于多模态信息融合的机场异常行为检测系统及方法 Download PDF

Info

Publication number
CN111460917A
CN111460917A CN202010174787.9A CN202010174787A CN111460917A CN 111460917 A CN111460917 A CN 111460917A CN 202010174787 A CN202010174787 A CN 202010174787A CN 111460917 A CN111460917 A CN 111460917A
Authority
CN
China
Prior art keywords
unit
target
module
abnormal behavior
airport
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010174787.9A
Other languages
English (en)
Other versions
CN111460917B (zh
Inventor
张笑钦
赵丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Big Data And Information Technology Research Institute Of Wenzhou University
Original Assignee
Big Data And Information Technology Research Institute Of Wenzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Big Data And Information Technology Research Institute Of Wenzhou University filed Critical Big Data And Information Technology Research Institute Of Wenzhou University
Priority to CN202010174787.9A priority Critical patent/CN111460917B/zh
Publication of CN111460917A publication Critical patent/CN111460917A/zh
Application granted granted Critical
Publication of CN111460917B publication Critical patent/CN111460917B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种用于基于多模态信息融合的机场异常行为检测系统，包括：监控数据输入模块、异常行为检测模块、异常行为警示关联模块、权限管理模块和集留输出模块；所述监控数据输入模块用于将机场场面监控数据进行采集和处理后输入所述异常行为检测模块；所述异常行为检测模块用于对出现在机场场面的目标进行检测跟踪；所述异常行为警示关联模块用于对异常行为进行警示；所述集留输出模块的输出端与信息融合决策模块输入端相连用于实现航班及场面服务的智能化管控，相应地，提出一种基于多模态信息融合的机场异常行为检测方法，本发明可对机场场面活动目标进行有效检测和跟踪并判定是否存在异常行为，误报率低。

Description

基于多模态信息融合的机场异常行为检测系统及方法
技术领域
本发明涉及机场场面监控技术领域，尤其涉及到一种基于多模态信息融合的机场异常行为检测系统及方法。
背景技术
随着社航空运输业的高速发展导致机场场面的运行环境更加复杂，随之而来的各种冲突事故不但增加了机场损失而且降低了运行效率，传统的机场场面监视依靠调度员或监管员监控飞进行监管和记录各工作环节状态、进程自动化程度较低，安全性和效率较低，监管员无法监控车辆和人员的实时位置，目前的机场场面引导和控制系统大多依靠场面监视雷达和视频摄像机等对多个被跟踪对象的运动状态进行量测和估计，但图像识别适应性差，误报率较高，且缺乏与监控中心进行信息交流和航班等信息共享进而实现智能化管控。
综上所述，如何提供一种可对机场场面活动目标进行有效检测和高精度实时识别跟踪，误报率低的用于基于多模态信息融合的机场异常行为检测系统及方法，是本领域技术人员急需解决的问题。
发明内容
本方案针对上文提到的问题和需求，提出一种用于基于多模态信息融合的机场异常行为检测系统及方法，其由于采取了如下技术方案而能够解决上述技术问题。
为了达到上述目的，本发明提供如下技术方案：一种用于基于多模态信息融合的机场异常行为检测系统包括：监控数据输入模块、异常行为检测模块、异常行为警示关联模块、位于监控中心的权限管理模块和集留输出模块；
所述监控数据输入模块用于将机场场面监控数据进行采集和处理后输入所述异常行为检测模块，所述监控数据输入模块包括监控图像采集单元、地理坐标采集单元和信号调理输出单元；
所述异常行为检测模块用于对出现在机场场面的目标进行检测跟踪并判断所述目标是否存在碰撞、非法停滞和行人非法闯入的异常行为，所述异常行为检测模块包括数据接收处理单元、目标检测单元、目标跟踪单元、目标计数单元、目标行为识别判定单元和数据存储单元，所述数据接收处理单元接收所述信号调理输出单元输出的监控信息并将图像监控信息发送至所述目标检测单元，所述目标检测单元将检测结果发送至所述目标跟踪单元对检测目标进行跟踪；
所述异常行为警示关联模块用于对异常行为进行警示并根据异常行为发生的时间、地点和异常行为类型进行关联模拟建立异常行为发生的热区范围和时间段模型以便采取相应管制措施，所述异常行为警示关联模块包括警示单元、模型模拟单元和图形化输出单元；
所述权限管理模块用于验证管理员身份和操作等级，所述权限管理模块和所述图形化输出单元均与所述集留输出模块相连，所述集留输出模块的输出端与位于监控中心的信息融合决策模块输入端相连用于实现航班及场面服务的智能化管控。
进一步地，所述监控图像采集单元的输出端和所述地理坐标采集单元的输出端均与所述信号调理输出单元的输入端相连，所述信号调理输出单元用于将采集的多路视频信息及地理坐标信息进行除噪及调用输出。
进一步地，所述监控数据输入模块还包括参数调整单元，所述参数调整单元与所述监控图像采集单元的反馈端和所述地理坐标采集单元反馈端通过无线或有限方式相连用于调整图像采集的亮度、焦距和地理坐标的比例大小。
进一步地，所述警示单元接收所述目标行为识别判定单元发送的报警信息类型对监管员进行警示，所述警示单元和所述地理坐标采集单元均与所述模型模拟单元相连，所述模型模拟单元根据某一时间段的相关数据进行图表绘制并通过所述图形化输出单元输出显示。
进一步地，所述目标跟踪单元和所述目标计数单元均与所述目标行为识别判定单元相连接，并将异常行为检测结果存储至所述数据存储单元。
更进一步地，所述信号调理输出单元的反馈输出端与所述监控图像采集单元的反馈端相连接进行光线自适应补偿。
一种基于多模态信息融合的机场异常行为检测方法，具体步骤如下：
S10:系统初始化，所述监控数据输入模块将监控图像信息和地理坐标信息通过所述信号调理输出单元发送至所述异常行为检测模块；
S20：所述异常行为检测模块对所述监控图像进行处理，得到机场场面目标序列图像，将所述序列图像输入目标检测单元进行可疑目标检测并通过所述目标跟踪单元对所述可疑目标进行跟踪，最后通过目标行为识别判定单元对异常行为进行判定分类存储至数据存储单元；
S30：所述异常行为警示关联模块对异常行为进行警示并通过所述模型模拟单元对相关数据进行图表绘制并通过所述图形化输出单元输出显示；
S40：监管员通过所述权限管理模块验证管理员身份和操作等级后将检测数据通过所述集留输出模块发送至位于监控中心的信息融合决策模块。
进一步地，所述可疑目标检测具体包括：输入所述序列图像，计算tk-1帧与tk帧的差分灰度图像h(xi，yj，tk)＝|f(xi，yj，tk-1)，(xi，yj，tk)|，其中，(xi，yj)表示每一帧图像中每个像素坐标，f(xi，yj，tk)表示在tk帧中像素坐标(xi，yj)表处的亮度值；对h(xi，yj，tk)和f(xi，yj，tk+1)进行高斯滤波去除图像中的高斯噪声，得到hg(xi，yj，tk)和fg(xi，yj，tk+1)，高斯模板标准值设为0.5；对hg(xi，yj，tk)进行阈值分割
Figure BDA0002410425790000041
其中，hg(xi，yj)为像素坐标(xi，yj)的灰度值，采用最大类间方差法得到的自适应阈值阈值T；对阈值分割后的图像进行数学形态学滤波得到D；根据D得到更新背景
Figure BDA0002410425790000042
其中，I(xi，yj)表示通过统计中值得到的背景模型；将tk+1帧图像fg(xi，yj，tk+1)与更新背景B进行差分得到运动目标区域。
进一步地，所述可疑目标进行跟踪具体包括：提取目标模板，得到初始帧i中的跟踪目标区域参考模板，设y0为目标中心,l为带宽；读入下一帧图像i+1,在以x0为中心点，根据带宽h±5按公式：
Figure BDA0002410425790000051
分别求概率密度函数,
Figure BDA0002410425790000052
为标准化的常量系数；再根据
Figure BDA0002410425790000053
计算候选区域对应像素权值的大小,其中，nq，np分别表示初始帧选取模板中颜色分量i含有nq个像素和y0位置出候选模板中颜色分量i含有np个像素；按照MeanShift算法中的位置迭代公式将目标跟踪点经偏移向量由y0移到y1得到更新窗口位置y1，不断的迭代，当Bhattacharyya相似度函数p(y)大于设置的阈值时，再把若干个Bhattacharyya相似度系数逐个比较，取其中最大者，并更新带宽l跟中心点，其中,阈值取0.9；以前三帧的中目标的中心点为根据，建立对应的Kalman模型,在以后的迭代过程中首先进行预测，设预测的中心记为(m，n)；如果‖y1-yo‖<ε，ε<1,重新进行下一轮的迭代，否则，直接将Kalman预测的中心点作为跟踪目标的中心点。
本发明的有益效果是，该发明可对机场场面活动目标进行有效检测和高精度实时识别跟踪并判定是否存在异常行为，误报率低，鲁棒性较高，且可提供及时的预警和以避免多重冲突事故发生。
下文中将结合附图对实施本发明的最优实施例进行更详尽的描述，以便能容易地理解本发明的特征和优点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下文中将对本发明实施例的附图进行简单介绍。其中，附图仅仅用于展示本发明的一些实施例，而非将本发明的全部实施例限制于此。
图1为本发明的组成结构示意图。
图2为本发明中异常行为检测模块的组成结构示意图。
图3为本发明中基于多模态信息融合的机场异常行为检测方法步骤示意图。
图4为本实施例中可疑目标检测具体步骤示意图。
图5为本实施例中可疑目标进行跟踪具体步骤示意图。
具体实施方式
为了使得本发明的技术方案的目的、技术方案和优点更加清楚，下文中将结合本发明具体实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。附图中相同的附图标记代表相同的部件。需要说明的是，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供了一种可对机场场面活动目标进行有效检测和高精度实时识别跟踪并判定是否存在异常行为，误报率低，且可提供及时的预警和以避免多重冲突事故发生的用于基于多模态信息融合的机场异常行为检测系统及方法。如附图1至附图5所示，该用于基于多模态信息融合的机场异常行为检测系统包括：监控数据输入模块、异常行为检测模块、异常行为警示关联模块、位于监控中心的权限管理模块和集留输出模块，其中，所述权限管理模块用于验证管理员身份和操作等级，所述权限管理模块和所述图形化输出单元均与所述集留输出模块相连，所述集留输出模块的输出端与位于监控中心的信息融合决策模块输入端相连用于实现航班及场面服务的智能化管控。
所述监控数据输入模块用于将机场场面监控数据进行采集和处理后输入所述异常行为检测模块，所述监控数据输入模块包括监控图像采集单元、地理坐标采集单元和信号调理输出单元，其中，所述监控图像采集单元的输出端和所述地理坐标采集单元的输出端均与所述信号调理输出单元的输入端相连，所述信号调理输出单元用于将采集的多路视频信息及地理坐标信息进行除噪及调用输出，所述监控数据输入模块还包括参数调整单元，所述参数调整单元与所述监控图像采集单元的反馈端和所述地理坐标采集单元反馈端通过无线或有限方式相连用于调整图像采集的亮度、焦距和地理坐标的比例大小，所述信号调理输出单元的反馈输出端与所述监控图像采集单元的反馈端相连接进行光线自适应补偿。
所述异常行为检测模块用于对出现在机场场面的目标进行检测跟踪并判断所述目标是否存在碰撞、非法停滞和行人非法闯入的异常行为，所述异常行为检测模块包括数据接收处理单元、目标检测单元、目标跟踪单元、目标计数单元、目标行为识别判定单元和数据存储单元，所述数据接收处理单元接收所述信号调理输出单元输出的监控信息并将图像监控信息发送至所述目标检测单元，所述目标检测单元将检测结果发送至所述目标跟踪单元对检测目标进行跟踪，其中，所述目标跟踪单元和所述目标计数单元均与所述目标行为识别判定单元相连接，并将异常行为检测结果存储至所述数据存储单元。
如图3所示，一种基于多模态信息融合的机场异常行为检测方法，具体步骤如下：
S10：系统初始化，所述监控数据输入模块将监控图像信息和地理坐标信息通过所述信号调理输出单元发送至所述异常行为检测模块；
S20：所述异常行为检测模块对所述监控图像进行处理，得到机场场面目标序列图像，将所述序列图像输入目标检测单元进行可疑目标检测并通过所述目标跟踪单元对所述可疑目标进行跟踪，最后通过目标行为识别判定单元对异常行为进行判定分类存储至数据存储单元；
S30：所述异常行为警示关联模块对异常行为进行警示并通过所述模型模拟单元对相关数据进行图表绘制并通过所述图形化输出单元输出显示；
S40：监管员通过所述权限管理模块验证管理员身份和操作等级后将检测数据通过所述集留输出模块发送至位于监控中心的信息融合决策模块。
如图4所示，所述可疑目标检测具体包括：a.输入所述序列图像，计算tk-1帧与tk帧的差分灰度图像h(xi，yj，tk)＝|f(xi，yj，tk-1)，(xi，yj，tk)|，其中，(xi，yj)表示每一帧图像中每个像素坐标，f(xi，yj，tk)表示在tk帧中像素坐标(xi，yj)表处的亮度值；b.对h(xi，yj，tk)和f(xi，yj，tk+1)进行高斯滤波去除图像中的高斯噪声，得到hg(xi，yj，tk)和fg(xi，yj，tk+1)，高斯模板标准值设为0.5；c.对hg(xi，yj，tk)进行阈值分割
Figure BDA0002410425790000091
其中，hg(xi，yj)为像素坐标(xi，yj)的灰度值，采用最大类间方差法得到的自适应阈值阈值T；d.对阈值分割后的图像进行数学形态学滤波得到D；根据D得到更新背景
Figure BDA0002410425790000092
其中，I(xi，yj)表示通过统计中值得到的背景模型；e.将tk+1帧图像fg(xi，yj，tk+1)与更新背景B进行差分得到运动目标区域。
如图5所示，所述可疑目标进行跟踪具体包括：1.提取目标模板，得到初始帧i中的跟踪目标区域参考模板，设y0为目标中心，1为带宽；2.读入下一帧图像i+1，在以x0为中心点，根据带宽h±5按公式：
Figure BDA0002410425790000093
分别求概率密度函数，
Figure BDA0002410425790000094
为标准化的常量系数；3.再根据
Figure BDA0002410425790000095
Figure BDA0002410425790000096
计算候选区域对应像素权值的大小，其中，nq，np分别表示初始帧选取模板中颜色分量i含有nq个像素和y0位置出候选模板中颜色分量i含有np个像素；4.按照MeanShift算法中的位置迭代公式将目标跟踪点经偏移向量由y0移到y1得到更新窗口位置y1，不断的迭代，当Bhattacharyya相似度函数p(y)大于设置的阈值时，再把若干个Bhattacharyya相似度系数逐个比较，取其中最大者，并更新带宽1跟中心点，其中，阈值取0.9；5.以前三帧的中目标的中心点为根据，建立对应的Kalman模型，在以后的迭代过程中首先进行预测，设预测的中心记为(m，n)；6.如果||y1-y0||＜ε，ε＜1，重新进行下一轮的迭代，否则，直接将Kalman预测的中心点作为跟踪目标的中心点。
应当说明的是，本发明所述的实施方式仅仅是实现本发明的优选方式，对属于本发明整体构思，而仅仅是显而易见的改动，均应属于本发明的保护范围之内。

Claims (9)

1.一种基于多模态信息融合的机场异常行为检测系统，其特征在于，包括：监控数据输入模块、异常行为检测模块、异常行为警示关联模块、位于监控中心的权限管理模块和集留输出模块；
所述监控数据输入模块用于将机场场面监控数据进行采集和处理后输入所述异常行为检测模块，所述监控数据输入模块包括监控图像采集单元、地理坐标采集单元和信号调理输出单元；
所述异常行为检测模块用于对出现在机场场面的目标进行检测跟踪并判断所述目标是否存在碰撞、非法停滞和行人非法闯入的异常行为，所述异常行为检测模块包括数据接收处理单元、目标检测单元、目标跟踪单元、目标计数单元、目标行为识别判定单元和数据存储单元，所述数据接收处理单元接收所述信号调理输出单元输出的监控信息并将图像监控信息发送至所述目标检测单元，所述目标检测单元将检测结果发送至所述目标跟踪单元对检测目标进行跟踪；
所述异常行为警示关联模块用于对异常行为进行警示并根据异常行为发生的时间、地点和异常行为类型进行关联模拟建立异常行为发生的热区范围和时间段模型以便采取相应管制措施，所述异常行为警示关联模块包括警示单元、模型模拟单元和图形化输出单元；
所述权限管理模块用于验证管理员身份和操作等级，所述权限管理模块和所述图形化输出单元均与所述集留输出模块相连，所述集留输出模块的输出端与位于监控中心的信息融合决策模块输入端相连用于实现航班及场面服务的智能化管控。
2.根据权利要求1所述的用于基于多模态信息融合的机场异常行为检测系统，其特征在于，所述监控图像采集单元的输出端和所述地理坐标采集单元的输出端均与所述信号调理输出单元的输入端相连，所述信号调理输出单元用于将采集的多路视频信息及地理坐标信息进行除噪及调用输出。
3.根据权利要求1所述的用于基于多模态信息融合的机场异常行为检测系统，其特征在于，所述监控数据输入模块还包括参数调整单元，所述参数调整单元与所述监控图像采集单元的反馈端和所述地理坐标采集单元反馈端通过无线或有限方式相连用于调整图像采集的亮度、焦距和地理坐标的比例大小。
4.根据权利要求1所述的用于基于多模态信息融合的机场异常行为检测系统，其特征在于，所述警示单元接收所述目标行为识别判定单元发送的报警信息类型对监管员进行警示，所述警示单元和所述地理坐标采集单元均与所述模型模拟单元相连，所述模型模拟单元根据某一时间段的相关数据进行图表绘制并通过所述图形化输出单元输出显示。
5.根据权利要求1所述的用于基于多模态信息融合的机场异常行为检测系统，其特征在于，所述目标跟踪单元和所述目标计数单元均与所述目标行为识别判定单元相连接，并将异常行为检测结果存储至所述数据存储单元。
6.根据权利要求2所述的用于基于多模态信息融合的机场异常行为检测系统，其特征在于，所述信号调理输出单元的反馈输出端与所述监控图像采集单元的反馈端相连接进行光线自适应补偿。
7.一种基于多模态信息融合的机场异常行为检测方法，其特征在于，具体步骤如下：
S10：系统初始化，所述监控数据输入模块将监控图像信息和地理坐标信息通过所述信号调理输出单元发送至所述异常行为检测模块；
S20：所述异常行为检测模块对所述监控图像进行处理，得到机场场面目标序列图像，将所述序列图像输入目标检测单元进行可疑目标检测并通过所述目标跟踪单元对所述可疑目标进行跟踪，最后通过目标行为识别判定单元对异常行为进行判定分类存储至数据存储单元；
S30：所述异常行为警示关联模块对异常行为进行警示并通过所述模型模拟单元对相关数据进行图表绘制并通过所述图形化输出单元输出显示；
S40：监管员通过所述权限管理模块验证管理员身份和操作等级后将检测数据通过所述集留输出模块发送至位于监控中心的信息融合决策模块。
8.根据权利要求7所述的基于多模态信息融合的机场异常行为检测方法，其特征在于，所述可疑目标检测具体包括：输入所述序列图像，计算tk-1帧与tk帧的差分灰度图像h(xi，yj，tk)＝|f(xi，yj，tk-1)，(xi，yj，tk)|，其中，(xi，yj)表示每一帧图像中每个像素坐标，f(xi，yj，tk)表示在tk帧中像素坐标(xi，yj)表处的亮度值；对h(xi，yj，tk)和f(xi，yj，tk+1)进行高斯滤波去除图像中的高斯噪声，得到hg(xi，yj，tk)和fg(xi，yj，tk+1)，高斯模板标准值设为0.5；对hg(xi，yj，tk)进行阈值分割
Figure FDA0002410425780000041
其中，hg(xi，yj)为像素坐标(xi，yj)的灰度值，采用最大类间方差法得到的自适应阈值阈值T；对阈值分割后的图像进行数学形态学滤波得到D；根据D得到更新背景
Figure FDA0002410425780000042
其中，I(xi，yj)表示通过统计中值得到的背景模型；将tk+1帧图像fg(xi，yj，tk+1)与更新背景B进行差分得到运动目标区域。
9.根据权利要求7所述的基于多模态信息融合的机场异常行为检测方法，其特征在于，所述可疑目标进行跟踪具体包括：提取目标模板，得到初始帧i中的跟踪目标区域参考模板，设y0为目标中心，1为带宽；读入下一帧图像i+1，在以x0为中心点，根据带宽h±5按公式：
Figure FDA0002410425780000043
分别求概率密度函数，
Figure FDA0002410425780000044
为标准化的常量系数；再根据
Figure FDA0002410425780000045
计算候选区域对应像素权值的大小，其中，nq，np分别表示初始帧选取模板中颜色分量i含有nq个像素和y0位置出候选模板中颜色分量i含有np个像素；按照MeanShift算法中的位置迭代公式将目标跟踪点经偏移向量由y0移到y1得到更新窗口位置y1，不断的迭代，当Bhattacharyya相似度函数p(y)大于设置的阈值时，再把若干个Bhattacharyya相似度系数逐个比较，取其中最大者，并更新带宽l跟中心点，其中，阈值取0.9；以前三帧的中目标的中心点为根据，建立对应的Kalman模型，在以后的迭代过程中首先进行预测，设预测的中心记为(m，n)；如果||y1-y0||＜ε，ε＜1，重新进行下一轮的迭代，否则，直接将Kalman预测的中心点作为跟踪目标的中心点。
CN202010174787.9A 2020-03-13 2020-03-13 基于多模态信息融合的机场异常行为检测系统及方法 Active CN111460917B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010174787.9A CN111460917B (zh) 2020-03-13 2020-03-13 基于多模态信息融合的机场异常行为检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010174787.9A CN111460917B (zh) 2020-03-13 2020-03-13 基于多模态信息融合的机场异常行为检测系统及方法

Publications (2)

Publication Number Publication Date
CN111460917A true CN111460917A (zh) 2020-07-28
CN111460917B CN111460917B (zh) 2022-06-21

Family

ID=71684471

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010174787.9A Active CN111460917B (zh) 2020-03-13 2020-03-13 基于多模态信息融合的机场异常行为检测系统及方法

Country Status (1)

Country Link
CN (1) CN111460917B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112506908A (zh) * 2020-12-10 2021-03-16 云南电网有限责任公司玉溪供电局 一种电能计量数据清洗方法和系统
CN112927563A (zh) * 2021-01-28 2021-06-08 重庆江北国际机场有限公司 融汇机场场面多类型活动的管理方法、装置及系统
CN113505713A (zh) * 2021-07-16 2021-10-15 上海塞嘉电子科技有限公司 一种基于机场安全管理平台的视频智能分析方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101883261A (zh) * 2010-05-26 2010-11-10 中国科学院自动化研究所 大范围监控场景下异常目标检测及接力跟踪的方法及系统
US7961953B2 (en) * 2007-06-25 2011-06-14 Hitachi, Ltd. Image monitoring system
CN105678811A (zh) * 2016-02-25 2016-06-15 上海大学 一种基于运动检测的人体异常行为检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7961953B2 (en) * 2007-06-25 2011-06-14 Hitachi, Ltd. Image monitoring system
CN101883261A (zh) * 2010-05-26 2010-11-10 中国科学院自动化研究所 大范围监控场景下异常目标检测及接力跟踪的方法及系统
CN105678811A (zh) * 2016-02-25 2016-06-15 上海大学 一种基于运动检测的人体异常行为检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡威: "基于 Meanshift 的视频人体目标跟踪算法研究", 《万方在线论文》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112506908A (zh) * 2020-12-10 2021-03-16 云南电网有限责任公司玉溪供电局 一种电能计量数据清洗方法和系统
CN112927563A (zh) * 2021-01-28 2021-06-08 重庆江北国际机场有限公司 融汇机场场面多类型活动的管理方法、装置及系统
CN112927563B (zh) * 2021-01-28 2022-07-12 重庆江北国际机场有限公司 融汇机场场面多类型活动的管理方法、装置及系统
CN113505713A (zh) * 2021-07-16 2021-10-15 上海塞嘉电子科技有限公司 一种基于机场安全管理平台的视频智能分析方法及系统

Also Published As

Publication number Publication date
CN111460917B (zh) 2022-06-21

Similar Documents

Publication Publication Date Title
CN108446630B (zh) 机场跑道智能监控方法、应用服务器及计算机存储介质
CN110419048B (zh) 用于标识所定义的对象的系统
CN102348128B (zh) 具有摄像机异常检测装置的监视用摄像机系统
US9767570B2 (en) Systems and methods for computer vision background estimation using foreground-aware statistical models
Bedruz et al. Real-time vehicle detection and tracking using a mean-shift based blob analysis and tracking approach
CN104966304A (zh) 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法
CN105160297B (zh) 基于肤色特征的蒙面人事件自动检测方法
US9613432B2 (en) Fire detection system and method employing digital images processing
CN107220962B (zh) 一种隧道裂纹的图像检测方法和装置
CN111460917B (zh) 基于多模态信息融合的机场异常行为检测系统及方法
CN111553214B (zh) 一种驾驶员吸烟行为检测方法及系统
Lee et al. Low-complexity background subtraction based on spatial similarity
Zhang et al. New mixed adaptive detection algorithm for moving target with big data
Yaghoobi Ershadi et al. Vehicle tracking and counting system in dusty weather with vibrating camera conditions
CN105469054A (zh) 正常行为的模型构建方法及异常行为的检测方法
Hardas et al. Moving object detection using background subtraction shadow removal and post processing
KR102019301B1 (ko) 농축산 도난을 감지하는 영상 감시 장치 및 그 방법
CN107729811B (zh) 一种基于场景建模的夜间火焰检测方法
CN111402185B (zh) 一种图像检测方法及装置
CN113762027B (zh) 一种异常行为的识别方法、装置、设备及存储介质
CN115995097A (zh) 一种基于深度学习的安全头盔佩戴标准判断方法
CN114373162B (zh) 用于变电站视频监控的危险区域人员入侵检测方法及系统
Chen et al. Intrusion detection of specific area based on video
CN114708544A (zh) 一种基于边缘计算的违规行为智能监测头盔及其监测方法
Panda et al. Robust real-time object tracking under background clutter

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant