CN111460916A - 基于隐马尔可夫模型的机场场面目标分割方法及系统 - Google Patents
基于隐马尔可夫模型的机场场面目标分割方法及系统 Download PDFInfo
- Publication number
- CN111460916A CN111460916A CN202010174580.1A CN202010174580A CN111460916A CN 111460916 A CN111460916 A CN 111460916A CN 202010174580 A CN202010174580 A CN 202010174580A CN 111460916 A CN111460916 A CN 111460916A
- Authority
- CN
- China
- Prior art keywords
- target
- edge
- motion
- frame
- hidden markov
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于隐马尔可夫模型的机场场面目标分割方法,包括如下步骤:S1:对每一帧机场场面目标的视频图像利用训练好的分类器进行目标检测;S2:根据边缘检测算法提取出目标的外观边缘,并通过运动幅值的大小与运动方向的差异共同得到目标的运动边缘,然后利用这两种边缘对目标点进行估计;S3:对每一帧机场场面目标的视频图像进行处理生成超像素集合,并分别估计出目标和背景的高斯混合模型;S4:结合由上一帧目标的位置通过光流传递到当前帧目标的的位置先验,以及时空域的平滑约束建立马尔科夫随机场模型,对其进行求解得到目标的精确分割结果,相应地,提出一种基于隐马尔可夫模型的机场场面目标分割系统,本发明该可对机场场面监控视频图像处理时进行有效的目标分割。
Description
技术领域
本发明涉及机场场面监控技术领域,尤其涉及到一种基于隐马尔可夫模型的机场场面目标分割方法及系统。
背景技术
随着社会生活水平的提高,交通运输也越来越多样化,而航运因为运行安全快速成为大多数人们出行的一种方式,近几年航空量的增长和机场规模的扩大,导致机场场面活动日趋复杂,容易影响机场安全和运行效率,因此对机场的场面活动目标进行智能化监控十分重要,目前,机场场面活动大多采用场监雷达和摄像机视频监控网络组成,而如何通过采集到的视频图像对场面目标进行快速准确的识别并进行异常行为报警以减少机场运行成本和监管效率,是目前十分值得研究的问题,而保证目标精确识别并进行异常行为报警的前提是如何快速有效的进行目标分割,而大多数传统单一的目标分割方法存在目标识别率低等问题。
综上所述,如何提供一种可进行精确有效的目标分割,并改善噪声、阴影、复杂背景等因素对分割结果带来的不利影响的基于隐马尔可夫模型的机场场面目标分割方法及系统,是本领域技术人员急需解决的问题。
发明内容
本方案针对上文提到的问题和需求,提出一种基于隐马尔可夫模型的机场场面目标分割方法及系统,其由于采取了如下技术方案而能够解决上述技术问题。
为了达到上述目的,本发明提供如下技术方案:一种基于隐马尔可夫模型的机场场面目标分割方法包括如下步骤:S1:对每一帧机场场面目标的视频图像采用混合多尺度可变形部件模型DPM算法利用训练好的分类器进行目标检测;
S2:根据Canny边缘检测算法进行边缘检测提取出目标的外观边缘,并通过运动幅值的大小与运动方向的差异共同得到目标的运动边缘,分别提取出目标的外观边缘与运动边缘后,利用这两种边缘对目标点进行估计;
S3:对每一帧机场场面目标的视频图像进行处理生成互不重叠的紧凑的超像素集合,并根据估计出的目标点计算所述目标点在超像素中所占的比例,将概率较大的整个超像素作为目标,分别估计出目标和背景的高斯混合模型;
S4:结合由上一帧目标的位置通过光流传递到当前帧目标的的位置先验,以及时空域的平滑约束建立马尔科夫随机场模型,使用图割算法进行求解,得到目标的精确分割结果。
进一步地,所述提取出目标的外观边缘具体包括:输入机场场面目标的彩色图像进行二值化;对二值化后的图像进行高斯滤波,根据高斯滤波器平滑图像;用一阶偏导有限差分计算图像的梯度幅值和方向;对所述梯度幅值进行非极大值抑制;根据所述梯度幅值的直方图选定高阈值和低阈值,用双阈值算法检测和连接边缘。
进一步地,所述运动边缘提取具体如下:计算相邻两帧之间的光流矢量值;根据公式计算每个像素点p的运动幅值大小qp,其中,为像素点p的光流矢量值,λ1为权重参数;根据公式计算运动边缘的大小,其中,bp∈[0,1]为像素p与周围像素点的最大夹角距离值,为像素点p和r的运动矢量和的夹角大小;同时结合像素的运动大小以及运动的方向得到目标的运动边缘特征其中,T为固定阈值。
更进一步地,对所述目标点进行估计具体包括:将外观边缘特征与运动边缘特征融合利用闭合曲线中的内、外点判别方法对目标点进行估计,根据公式Z=f(E1)∪f(E2)得到准确的目标点估计,其中,E1为外观边缘E2为运动边缘得到目标较为准确的闭合边缘后,填入像素点,获得初始化的目标。
进一步地,所述建立马尔科夫随机场模型包括:所述建立马尔科夫随机场模型包括:建立目标函数 其中,为所有超像素的前景和背景的标签集,为第t帧i个超像素外观高斯混合模型,为t帧i个超像素的目标初始化结果,为t帧第i个超像素标签,为t帧第i个超像素的位置先验,ξs为t帧中所有超像素在空间上重叠的边界的集合,ξt为t-1帧和t帧中所有邻接的超像素的边界的集合,a1至a3表示权衡因子,为空间平滑项即超像素在空间的平滑约束,是时序平滑项即超像素在时序上的平滑约束。
更进一步地,所述图割算法采用Graph cut算法,采用Graph cut算法所述目标函数进行进行优化求解得到目标分割结果。
一种基于隐马尔可夫模型的机场场面目标分割系统,包括:视频图像目标检测单元、边缘检测检测单元、目标预估单元和目标分割单元;
所述视频图像目标检测单元用于接收视频监控前端发送过来的视频数据并对所述机场场面目标的视频的每一帧图像进行目标检测;
所述边缘检测检测单元用于检测视频图像中目标的外观边缘和运动边缘,并将检测结果输入给所述目标预估单元;
所述目标预估单元用于对目标位置进行更精准的预估和初始化;
所述目标分割单元用于对跟踪目标进行精准分割并将分割结果发送至监控中心的目标跟踪及行为识别单元对可疑目标行为进行识别跟踪。
进一步地,所述视频图像目标检测单元、所述边缘检测检测单元、所述目标预估单元和所述目标分割单元依次相连。
本发明的有益效果是,该发明可对机场场面监控视频图像处理时进行有效的目标分割,可以有效改善噪声、阴影、复杂背景等因素对分割结果带来的不利影响。
下文中将结合附图对实施本发明的最优实施例进行更详尽的描述,以便能容易地理解本发明的特征和优点。
附图说明
为了更清楚地说明本发明实施例的技术方案,下文中将对本发明实施例的附图进行简单介绍。其中,附图仅仅用于展示本发明的一些实施例,而非将本发明的全部实施例限制于此。
图1为本发明中机场场面目标的分割方法步骤示意图。
图2为本发明中外观边缘提取步骤示意图。
图3为本发明中运动边缘提取步骤示意图。
图4为本发明中机场场面目标的分割系统组成结构示意图。
具体实施方式
为了使得本发明的技术方案的目的、技术方案和优点更加清楚,下文中将结合本发明具体实施例的附图,对本发明实施例的技术方案进行清楚、完整地描述。附图中相同的附图标记代表相同的部件。需要说明的是,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于所描述的本发明的实施例,本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供了一种可对机场场面监控视频图像处理时进行有效的目标分割,可以有效改善噪声、阴影、复杂背景等因素对分割结果带来的不利影响的基于隐马尔可夫模型的机场场面目标分割方法及系统。如附图1至附图4所示,该基于隐马尔可夫模型的机场场面目标分割方法包括如下步骤:S1:对每一帧机场场面目标的视频图像采用混合多尺度可变形部件模型DPM算法利用训练好的分类器进行目标检测;
S2:根据Canny边缘检测算法进行边缘检测提取出目标的外观边缘,并通过运动幅值的大小与运动方向的差异共同得到目标的运动边缘,分别提取出目标的外观边缘与运动边缘后,利用这两种边缘对目标点进行估计;
S3:对每一帧机场场面目标的视频图像进行处理生成互不重叠的紧凑的超像素集合,并根据估计出的目标点计算所述目标点在超像素中所占的比例,将概率较大的整个超像素作为目标,分别估计出目标和背景的高斯混合模型;
S4:结合由上一帧目标的位置通过光流传递到当前帧目标的的位置先验,以及时空域的平滑约束建立马尔科夫随机场模型,使用图割算法进行求解,得到目标的精确分割结果,其中,所述图割算法采用Graph cut算法,采用Graph cut算法所述目标函数进行进行优化求解得到目标分割结果。
如图2所示,所述提取出目标的外观边缘具体包括:a.输入机场场面目标的彩色图像进行二值化;b.对二值化后的图像进行高斯滤波,根据高斯滤波器平滑图像;c.用一阶偏导有限差分计算图像的梯度幅值和方向;d.对所述梯度幅值进行非极大值抑制;e.根据所述梯度幅值的直方图选定高阈值和低阈值,用双阈值算法检测和连接边缘。
如图3所示,所述运动边缘提取具体如下:1.计算相邻两帧之间的光流矢量值;2.根据公式计算每个像素点p的运动幅值大小qp,其中,为像素点p的光流矢量值,λ1为权重参数;3.根据公式计算运动边缘的大小,其中,bp∈[0,1]为像素p与周围像素点的最大夹角距离值,为像素点p和r的运动矢量和的夹角大小;4.同时结合像素的运动大小以及运动的方向得到目标的运动边缘特征其中,T为固定阈值。
对所述目标点进行估计具体包括:将外观边缘特征与运动边缘特征融合利用闭合曲线中的内、外点判别方法对目标点进行估计,根据公式Z=f(E1)∪f(E2)得到准确的目标点估计,其中,E1为外观边缘E2为运动边缘得到目标较为准确的闭合边缘后,填入像素点,获得初始化的目标。
所述建立马尔科夫随机场模型包括:建立目标函数 其中,为所有超像素的前景和背景的标签集,为第t帧i个超像素外观高斯混合模型,为t帧i个超像素的目标初始化结果,为t帧第i个超像素标签,为t帧第i个超像素的位置先验,ξs为t帧中所有超像素在空间上重叠的边界的集合,ξt为t-1帧和t帧中所有邻接的超像素的边界的集合,a1至a3表示权衡因子,为空间平滑项即超像素在空间的平滑约束,是时序平滑项即超像素在时序上的平滑约束。
如图4所示,一种基于隐马尔可夫模型的机场场面目标分割系统,包括:视频图像目标检测单元、边缘检测检测单元、目标预估单元和目标分割单元;所述视频图像目标检测单元用于接收视频监控前端发送过来的视频数据并对所述机场场面目标的视频的每一帧图像进行目标检测;所述边缘检测检测单元用于检测视频图像中目标的外观边缘和运动边缘,并将检测结果输入给所述目标预估单元;所述目标预估单元用于对目标位置进行更精准的预估和初始化;所述目标分割单元用于对跟踪目标进行精准分割并将分割结果发送至监控中心的目标跟踪及行为识别单元对可疑目标行为进行识别跟踪,其中,所述视频图像目标检测单元、所述边缘检测检测单元、所述目标预估单元和所述目标分割单元依次相连。
在本实施例中,所述闭合曲线中的内、外点判别方法为从一个固定的点发出若干条射线,这些射线在经过闭合的曲线时,如果这个点在此闭合曲线内,则射线所经过的边缘总数总是为奇数。
应当说明的是,本发明所述的实施方式仅仅是实现本发明的优选方式,对属于本发明整体构思,而仅仅是显而易见的改动,均应属于本发明的保护范围之内。
Claims (8)
1.一种基于隐马尔可夫模型的机场场面目标分割方法,其特征在于,包括如下步骤:
S1:对每一帧机场场面目标的视频图像采用混合多尺度可变形部件模型DPM算法利用训练好的分类器进行目标检测;
S2:根据Canny边缘检测算法进行边缘检测提取出目标的外观边缘,并通过运动幅值的大小与运动方向的差异共同得到目标的运动边缘,分别提取出目标的外观边缘与运动边缘后,利用这两种边缘对目标点进行估计;
S3:对每一帧机场场面目标的视频图像进行处理生成互不重叠的紧凑的超像素集合,并根据估计出的目标点计算所述目标点在超像素中所占的比例,将概率较大的整个超像素作为目标,分别估计出目标和背景的高斯混合模型;
S4:结合由上一帧目标的位置通过光流传递到当前帧目标的的位置先验,以及时空域的平滑约束建立马尔科夫随机场模型,使用图割算法进行求解,得到目标的精确分割结果。
4.根据权利要求2所述的基于隐马尔可夫模型的机场场面目标分割方法,其特征在于,对所述目标点进行估计具体包括:将外观边缘特征与运动边缘特征融合利用闭合曲线中的内、外点判别方法对目标点进行估计,根据公式Z=f(E1)∪f(E2)得到准确的目标点估计,其中,E1为外观边缘E2为运动边缘得到目标较为准确的闭合边缘后,填入像素点,获得初始化的目标。
6.根据权利要求5所述的基于隐马尔可夫模型的机场场面目标分割方法,其特征在于,所述图割算法采用Graph cut算法,采用Graphcut算法所述目标函数进行进行优化求解得到目标分割结果。
7.一种基于隐马尔可夫模型的机场场面目标分割系统,其特征在于,包括:视频图像目标检测单元、边缘检测检测单元、目标预估单元和目标分割单元;
所述视频图像目标检测单元用于接收视频监控前端发送过来的视频数据并对所述机场场面目标的视频的每一帧图像进行目标检测;
所述边缘检测检测单元用于检测视频图像中目标的外观边缘和运动边缘,并将检测结果输入给所述目标预估单元;
所述目标预估单元用于对目标位置进行更精准的预估和初始化;
所述目标分割单元用于对跟踪目标进行精准分割并将分割结果发送至监控中心的目标跟踪及行为识别单元对可疑目标行为进行识别跟踪。
8.根据权利要求7所述的基于隐马尔可夫模型的机场场面目标分割系统,其特征在于,所述视频图像目标检测单元、所述边缘检测检测单元、所述目标预估单元和所述目标分割单元依次相连。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010174580.1A CN111460916A (zh) | 2020-03-13 | 2020-03-13 | 基于隐马尔可夫模型的机场场面目标分割方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010174580.1A CN111460916A (zh) | 2020-03-13 | 2020-03-13 | 基于隐马尔可夫模型的机场场面目标分割方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111460916A true CN111460916A (zh) | 2020-07-28 |
Family
ID=71685880
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010174580.1A Pending CN111460916A (zh) | 2020-03-13 | 2020-03-13 | 基于隐马尔可夫模型的机场场面目标分割方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111460916A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114155425A (zh) * | 2021-12-13 | 2022-03-08 | 中国科学院光电技术研究所 | 基于高斯马尔可夫随机场运动方向估计的弱小目标检测方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107516320A (zh) * | 2017-07-04 | 2017-12-26 | 昆明理工大学 | 一种适用于高动态光照条件的运动工件目标无监督分割方法 |
CN109583293A (zh) * | 2018-10-12 | 2019-04-05 | 复旦大学 | 星载sar图像中的飞机目标检测与鉴别方法 |
-
2020
- 2020-03-13 CN CN202010174580.1A patent/CN111460916A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107516320A (zh) * | 2017-07-04 | 2017-12-26 | 昆明理工大学 | 一种适用于高动态光照条件的运动工件目标无监督分割方法 |
CN109583293A (zh) * | 2018-10-12 | 2019-04-05 | 复旦大学 | 星载sar图像中的飞机目标检测与鉴别方法 |
Non-Patent Citations (3)
Title |
---|
ANESTIS PAPAZOGLOU: "Fast object segmentation in unconstrained video" * |
崔智高;王华;李艾华;王涛;李辉;: "动态背景下基于光流场分析的运动目标检测算法" * |
张雷;李成龙;汤进;高思晗;: "融合外观和运动特征的在线目标分割" * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114155425A (zh) * | 2021-12-13 | 2022-03-08 | 中国科学院光电技术研究所 | 基于高斯马尔可夫随机场运动方向估计的弱小目标检测方法 |
CN114155425B (zh) * | 2021-12-13 | 2023-04-07 | 中国科学院光电技术研究所 | 基于高斯马尔可夫随机场运动方向估计的弱小目标检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Patel et al. | Moving object tracking techniques: A critical review | |
EP3073443B1 (en) | 3d saliency map | |
KR101868103B1 (ko) | 다중 이동 물체의 식별 및 추적을 위한 영상 감시 장치 및 방법 | |
Gangodkar et al. | Robust segmentation of moving vehicles under complex outdoor conditions | |
Huang et al. | Reliable moving vehicle detection based on the filtering of swinging tree leaves and raindrops | |
Kajo et al. | Incremental tensor-based completion method for detection of stationary foreground objects | |
Xu et al. | Unusual event detection in crowded scenes using bag of LBPs in spatio-temporal patches | |
Chaple et al. | Vehicle detection and tracking from video frame sequence | |
Radzi et al. | Extraction of moving objects using frame differencing, ghost and shadow removal | |
Devi et al. | A survey on different background subtraction method for moving object detection | |
Arif et al. | A Comprehensive Review of Vehicle Detection Techniques Under Varying Moving Cast Shadow Conditions Using Computer Vision and Deep Learning | |
Zhou et al. | Dynamic background subtraction using spatial-color binary patterns | |
CN111460916A (zh) | 基于隐马尔可夫模型的机场场面目标分割方法及系统 | |
Kowcika et al. | A literature study on crowd (people) counting with the help of surveillance videos | |
Raheja et al. | A robust real time people tracking and counting incorporating shadow detection and removal | |
Chandrasekhar et al. | A survey of techniques for background subtraction and traffic analysis on surveillance video | |
Agrawal et al. | Performance comparison of moving object detection techniques in video surveillance system | |
CA2780710A1 (en) | Video segmentation method | |
Kushwaha et al. | Complex wavelet based moving object segmentation using approximate median filter based method for video surveillance | |
El Baf et al. | Fuzzy foreground detection for infrared videos | |
Kushwaha et al. | Performance evaluation of various moving object segmentation techniques for intelligent video surveillance system | |
Malavika et al. | Moving object detection and velocity estimation using MATLAB | |
Yaakob et al. | Moving object extraction in PTZ camera using the integration of background subtraction and local histogram processing | |
Chaiyawatana et al. | Robust object detection on video surveillance | |
Li et al. | Object-oriented scale-adaptive filtering for human detection from stereo images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |