CN111539273A - 一种交通视频背景建模方法及系统 - Google Patents

一种交通视频背景建模方法及系统 Download PDF

Info

Publication number
CN111539273A
CN111539273A CN202010282644.XA CN202010282644A CN111539273A CN 111539273 A CN111539273 A CN 111539273A CN 202010282644 A CN202010282644 A CN 202010282644A CN 111539273 A CN111539273 A CN 111539273A
Authority
CN
China
Prior art keywords
background
image
video
foreground
traffic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010282644.XA
Other languages
English (en)
Other versions
CN111539273B (zh
Inventor
戚湧
王恰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202010282644.XA priority Critical patent/CN111539273B/zh
Priority to PCT/CN2020/101551 priority patent/WO2021208275A1/zh
Priority to LU101981A priority patent/LU101981B1/en
Publication of CN111539273A publication Critical patent/CN111539273A/zh
Application granted granted Critical
Publication of CN111539273B publication Critical patent/CN111539273B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/155Segmentation; Edge detection involving morphological operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30236Traffic on road, railway or crossing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Abstract

本发明公开了一种交通视频背景建模方法及系统。该方法包括以下步骤:1)灰度化处理原视频帧;2)使用帧间差分法提取相邻帧前景区域,确定背景区域;3)使用统计直方图法确定背景区域每个位置像素值;4)在N帧视频图像序列内循环前三步骤,重建背景图像;5)采用“首出尾入”的更新策略,进行背景更新。该系统包括以下模块:视频采集模块用于提供交通视频流信息,方法集成模块用于封装背景建模方法,计算模块用于执行程序功能和处理数据,存储模块用于存储应用程序、源数据和处理结果,显示模块用于显示输入、输出的图像信息。本发明易于实现,应用在智能监控系统上可提取出整洁度高的背景图像,并有效解决在车辆运动缓慢情况下交通背景提取不完整的问题。

Description

一种交通视频背景建模方法及系统
技术领域
本发明涉及智能视频分析技术领域,具体为一种交通视频背景建模方法及系统。
背景技术
近年来,高速发展的信息技术和精细化管理的交通监控共同保障着道路交通的正常运行。视频监控技术得到越来越多的研究和应用,特别是在交通系统中,对于促进交通智能化的发展具有重要的推动作用。随着视频监控技术的广泛应用,大量的监控视频数据也随之而来,利用视频序列进行背景建模继而检测运动目标,并以此承接车辆计数、目标识别与跟踪等后续任务的顺利进行。因此,背景建模是智能交通领域中一个非常重要的研究课题。
基于固定摄像头拍摄的交通视频可以用于目标车辆检测,常用方法包括帧间差分法、光流法和背景差分法。但是帧间差分受速度影响较大和光流法计算较为复杂,方法缺陷明显,难以达到检测系统要求。背景差分法简单易用,以已知背景为参照可以提取最完整的特征信息和最契合的目标轮廓。背景差分法能否取得较好的结果取决于背景建模算法能否提取到高质量的背景图像,对背景建模算法的研究便至关重要。
在背景建模中存在“Bootstrapping”的问题,Bootstrapping意思为一个人手提脚上鞋带便把自己提起,比喻一种不可实现的做法。在背景建模中是指由于交通场景中几乎每一时刻都存在车辆和行人等运动物体,在各个路口正常时段,人们难以得到一段不包括前景目标的“干净”交通背景帧专门用以背景训练。因此,在背景建模时交通视频中一直有前景目标出现,首先需要考虑的一点就是如何在Bootstrapping场景下避免前景目标的干扰,从而获得真实完整的背景图像信息。
针对上述问题分析以及城市交通特点,为了解决城市道路交通视频难以直接提取交通背景,导致前景目标检测不准确的问题,需要提出一种新的效果更好的背景建模解决方案。
发明内容
本发明的目的在于提供一种交通视频背景建模方法及系统,以解决城市道路交通视频难以直接提取交通背景,导致前景目标检测不准确的问题。
实现本发明目的的技术解决方案如下:
一种交通视频背景建模方法,包括以下步骤:
步骤1:对原视频图像帧进行灰度化操作;
步骤2:使用帧间差分法提取相邻帧前景区域,确定背景区域;
步骤3:使用统计直方图法确定背景区域每个位置像素值;
步骤4:在N帧视频图像序列内循环前三步骤,重建背景图像;
步骤5:采用“首出尾入”的更新策略,进行背景更新。
进一步地,所述步骤1中对原视频图像帧进行灰度化操作如下:设坐标(x,y)像素点的RGB组成为(R,G,B),为所有颜色通道分配权重并加权求和,则灰度值V由公式①所得。每一个颜色通道的取值范围为[0,255],所以灰度值V的取值范围也为[0,255]。
V=0.30R+0.59G+0.11B ①
进一步地,所述步骤2包括以下子步骤:
步骤2.1:对于视频帧图像序列F1,F2,…,FN,使用帧间差分法依次对相邻图像进行两两差分,判别除首帧之外每帧图像中的背景区域与前景区域。设Fk-1和Fk为相邻两帧视频图像(2≤K≤N),根据灰度值计算差值,得到差分图像D,由公式②所得。
D(k-1,k)(x,y)=|F(k-1)(x,y)–Fk(x,y)| ②
步骤2.2:选定合适的阈值T对差值图像D作二值化操作,得到二值化图像B,由公式③所得。其中,灰度值为255的为背景点,灰度值为0的为运动点即前景点。
Figure BDA0002447306410000021
步骤2.3:根据阈值T提取视频前景目标,将提取到的前景图像,采用形态学进行开运算、闭运算,通过多次膨胀和腐蚀组合运算降低噪声影响,使得前景运动目标轮廓整体性更加清晰。
步骤2.4:对每个前景运动目标区域,计算其外接矩形,并以此外接矩形作为检测框来标记出前景区域M。一旦前景区域M被提取出来,那么背景区域B也就随之确定。
进一步地,所述步骤3包括以下子步骤:
步骤3.1:将前景区域M全都标记为-1,以便区别于区间为[0,255]的灰度值。
步骤3.2:对背景区域B中每个位置(x,y)建立一个对应的与前景无关且与背景有关的灰度直方图,统计各像素灰度值的出现频率,选择其上出现次数最多的像素值p作为背景图像同坐标位置(x,y)上的像素值。像素值选取策略由公式④表示。
Figure BDA0002447306410000031
其中,Histx,y[p]=K(x,y,p)++,if Fk(x,y)=p,p∈[0,255] ⑤
在式⑤中,K(x,y,p)表示在图像(x,y)处像素灰度值为p时出现的次数,fk(x,y)=p表示图像fk在(x,y)处像素值为p,Histx,y就表示在坐标点(x,y)处以像素灰度值p为统计依据的直方图。
步骤3.3:像素值选取之后,前景区域和背景区域共同组成待优化的背景图像Bg。
进一步地,所述步骤4在N帧内的迭代过程中,随着N的增大,视频序列中被前景目标一直遮盖的背景位置逐渐减少。帧间差分一旦检测出新的背景区域,就会将前景区域中包含的此部分区域更替为背景区域,然后形成新的统计直方图,直至所有区域都得到更新,最终获得一张完整整洁的背景图像。
进一步地,所述步骤5包括以下子步骤:
步骤5.1:在N帧对应时间内,部分背景有较大概率会一直被前景目标覆盖,导致背景产生“黑洞”区域。为了保证初始背景图的完整性,仅在首次背景建模时,N取较大值。
步骤5.2:以N帧灰度图像序列作为一个batch,将前N帧图像{F1,F2,…,FN}称为batch1。每个像素位置(x,y)的灰度直方图Histx,y是根据其对应的灰度值序列psequence(x,y)={F1(x,y),F2(x,y),…,FN(x,y)}统计得来,最终获取背景图像为Bg1。
步骤5.3:当方法接收到第N+1帧图像时,将FN+1插入到batch1中,并将F1从中剔除,此时是batch2:{F2,F3,…,FN+1},灰度直方图Histx,y对应的灰度值序列psequence(x,y)={F2(x,y),F3(x,y),…,FN+1(x,y)},最终获取背景图像为Bg2
步骤5.4:如果Bg2不存在“黑洞”区域,则输出;否则,以Bg1为优化参考对象,将Bg1在“黑洞”区域上相应位置上的灰度值填充到Bg2上,得到完整背景图像。
步骤5.5:如果视频流未结束,按照步骤5.3和5.4继续生成新的背景图像,直到视频流结束。
本发明的交通视频背景建模方法融合帧间差分与统计直方两种方法优势,克服了在交通视频中难以直接提取背景,导致前景目标检测不准确的问题。首先利用帧间差分法检测运动目标大致区域的特点,剔除运动区域,再利用统计直方图对背景图像进行灰度值统计和选取,经过多次优化重建后,最终获得高质量背景图像,并实时进行背景更新。
一种交通视频背景建模系统,包括视频采集模块用于提供连续的交通视频流信息,方法集成模块用于封装背景建模方法,计算模块用于执行程序功能和处理数据,存储模块用于存储应用程序、源数据和处理结果,显示模块用于显示输入、输出的图像信息。
进一步地,视频采集模块使用固定装置在交通监控立杆上的摄像头采集垂直视角90°的实时交通视频流,摄像头内置图形处理器对捕获的静态图片和视频图像数据进行处理,并将处理后的数据流信息保存在存储模块中,显示在显示模块上,并作为输入信息传输到方法集成模块;
进一步地,所述方法集成模块,是交通视频背景建模方法的封装体,预留接口,形成黑盒,输入为格式正确的图像数据;
进一步地,所述计算模块,作为核心计算单元,通过执行存储在存储模块中的软件程序,以及调用存储在存储模块中的图像数据,实现程序运算和数据处理;
进一步地,所述存储模块,用于存储背景建模方法的软件程序、由视频采集模块传来的源图像数据和由计算模块处理后的背景图像结果;
进一步地,所述显示模块,作为图像呈现载体,用于显示输入的视频图像信息和输出的背景图像信息。
与现有技术相比,本发明优势在于:1)本发明使用帧间差分有效地利用像素在时序和空间上的动态性,具有较高的准确率;2)本发明融合经典算法优势,计算方法简单,易于实现,具有较好的实时性;3)本发明能精准捕捉每一个背景点,在尽少帧内实现背景建模,具有较快的速度;4)本发明即使在车辆行驶速度较为缓慢的交通场景下,依然有着较高的完整度。
附图说明
图1为本发明实施方式的交通视频背景建模方法流程图。
图2为本发明实施方式的交通视频背景建模系统示意图。
图3为本发明和部分已有方法在仿真视频下背景建模过程比较图。
图4为本发明和部分已有方法背景建模的完整性变化曲线比较图。
图5为本发明和部分已有方法在真实视频下背景建模过程比较图。
具体实施方式
下面结合说明书附图和实施例对本发明作进一步说明。
图1为本发明实施方式的交通视频背景建模方法流程图。如图1所示,在视频流导入之后,方法步骤如下:
(1)对原视频图像帧进行灰度化操作以减少方法复杂度和提高运算速度。具体操作如下:
设坐标(x,y)像素点的RGB组成为(R,G,B),为所有颜色通道分配权重并加权求和,则灰度值V由公式①所得。每一个颜色通道的取值范围为[0,255],所以灰度值V的取值范围也为[0,255]。
V=0.30R+0.59G+0.11B ①
将灰度化之后的视频帧图像序列记为F1,F2,…,FN∈Ih*w,N为图像序列总帧数,h和w表示每帧图像尺寸,即h表示图像高度,w表示图像宽度。创建与视频帧尺寸一致且像素值都为0的灰度图作为初始化背景模型,用于以后优化更新。
(2)使用帧间差分法,通过图像差分、二值化、数学形态学滤波处理、连通性分析等操作提取视频中每帧的大致运动区域作为前景区域,并确定背景区域。具体操作如下:
帧间差分法可以捕捉相邻两帧灰度值的变化,并根据变化情况定义区域性质,将灰度值变化较大的点组成的区域记为前景区域M,将灰度值变化较小的点组成的区域记为背景区域B。由于此时M是由当前帧和上一帧差分所得,所以M会残留上一帧运动变化的部分,这就导致检测框与实际运动物体并不完全契合,稍微大于运动物体所在区域。而且本发明方法是在不断地迭代过程中更新M和B从而获得完整的背景图像。所以M和B并不固定,是此消彼长的关系。
对于视频帧图像序列F1,F2,…,FN,使用帧间差分法依次对相邻图像进行两两差分,判别除首帧之外每帧图像中的背景区域与前景区域。设Fk-1和Fk为相邻两帧视频图像(2≤K≤N),根据灰度值计算差值,得到差分图像D,由公式②所得。
D(k-1,k)(x,y)=|F(k-1)(x,y)–Fk(x,y)| ②
选定合适的阈值T对差值图像D作二值化操作,得到二值化图像B,由公式③所得。其中,灰度值为255的为背景点,灰度值为0的为运动点即前景点。
Figure BDA0002447306410000061
根据阈值T提取视频前景目标,将提取到的前景图像,采用形态学进行开运算、闭运算,通过多次膨胀和腐蚀组合运算降低噪声影响,使得前景运动目标轮廓整体性更加清晰。
对每个前景运动目标区域,计算其外接矩形,并以此外接矩形作为检测框来标记出前景区域M。一旦前景区域M被提取出来,那么背景区域B也就随之确定。
(3)使用统计直方图法,标记定前景区域,获得背景区域内图像的灰度值分布,确定背景区域每个位置的像素值,进行背景图像的估计。具体操作如下:
将前景区域M全都标记为-1,以便区别于区间为[0,255]的灰度值。
对背景区域B中每个位置(x,y)建立一个对应的与前景无关且与背景有关的灰度直方图,统计各像素灰度值的出现频率,选择其上出现次数最多的像素值p作为背景图像同坐标位置(x,y)上的像素值。像素值选取策略由公式④表示。
Figure BDA0002447306410000062
其中,Histx,y[p]=K(x,y,p)++,if Fk(x,y)=p,p∈[0,255] ⑤
在式⑤中,K(x,y,p)表示在图像(x,y)处像素灰度值为p时出现的次数,fk(x,y)=p表示图像fk在(x,y)处像素值为p,Histx,y就表示在坐标点(x,y)处以像素灰度值p为统计依据的直方图。在式④中,Bk(x,y)以像素点(x,y)在N帧灰度视频图像序列上频数最大的像素数值作为像素点的背景灰度值,Mk(x,y)以-1标记前景区域,以便后续更新。
像素值选取之后,前景区域和背景区域共同组成待优化的背景图像Bg。
(4)在N帧视频图像序列内循环步骤1、2、3,将前景区域逐帧更替成背景区域,最终得到一幅完整整洁的背景图像。具体操作如下:
在N帧内的迭代过程中,随着N的增大,视频序列中被前景目标一直遮盖的背景位置逐渐减少。帧间差分一旦检测出新的背景区域,就会将前景区域中包含的此部分区域更新为背景区域,然后形成新的统计直方图,直至所有区域都得到更新,最终获得一张完整整洁的背景图像。
(5)采用“首出尾入”的更新策略,分析最新帧背景图像完整性,以上一帧背景图像为依据作优化处理。具体操作如下:
在N帧对应时间内,部分背景有较大概率会一直被前景目标覆盖,导致背景产生“黑洞”区域。为了保证初始背景图的完整性,仅在首次背景建模时,N取较大值。
以N帧灰度图像序列作为一个batch,将前N帧图像{F1,F2,…,FN}称为batch1。每个像素位置(x,y)的灰度直方图Histx,y是根据其对应的灰度值序列psequence(x,y)={F1(x,y),F2(x,y),…,FN(x,y)}统计得来,最终获取背景图像为Bg1
当方法接收到第N+1帧图像时,将FN+1插入到batch1中,并将F1从中剔除,此时是batch2:{F2,F3,…,FN+1},灰度直方图Histx,y对应的灰度值序列psequence(x,y)={F2(x,y),F3(x,y),…,FN+1(x,y)},最终获取背景图像为Bg2
如果Bg2不存在“黑洞”区域,则输出;否则,以Bg1为优化参考对象,将Bg1在“黑洞”区域上相应位置上的灰度值填充到Bg2上,得到完整背景图像。
以此类推,直到视频流结束。
图2是本发明实施方式的交通视频背景建模系统示意图。本发明系统中,视频采集模块用于提供连续的交通视频流信息,方法集成模块用于封装背景建模方法,计算模块用于执行程序功能和处理数据,存储模块用于存储应用程序、源数据和处理结果,显示模块用于显示输入、输出的图像信息。
如图2所示,视频采集模块使用固定装置在交通监控立杆上的摄像头采集垂直视角90°的实时交通视频流,摄像头内置图形处理器对捕获的静态图片和视频图像数据进行处理,并将处理后的数据流信息保存在存储模块中,显示在显示模块上,并作为输入信息传输到方法集成模块;
方法集成模块是交通视频背景建模方法的封装体,预留接口,形成黑盒,输入为格式正确的图像数据;
计算模块作为核心计算单元,通过执行存储在存储模块中的软件程序,以及调用存储在存储模块中的图像数据,实现程序运算和数据处理;
存储模块用于存储背景建模方法的软件程序、由视频采集模块传来的源图像数据和由计算模块处理后的背景图像结果;
显示模块作为图像呈现载体,用于显示输入的视频图像信息和输出的背景图像信息。
本发明融合帧间差分与统计直方两种方法优势,并将方法封装成模块,以智能监控系统为设备支撑,可以克服在交通视频中难以直接提取背景,导致前景目标检测不准确的问题。方案中的创新具体在于:本发明融合经典算法优势,计算方法简单,易于实现,使用帧间差分有效地利用像素在时序和空间上的动态性,使用统计直方图有效对像素值进行估计,具有较高精确性、较快运算速度和较高的背景完整度。无论是在普通交通场景,还是在车辆行驶缓慢的典型交通场景中,此方法都可以提取出与真实背景相似匹配度更高的背景图像
为了验证本发明方法相较于现有技术具有较好的效果,使用仿真交通视频和真实交通视频共同验证。其中,仿真交通视频用以验证方法理论原理可靠性,真实交通视频用以验证方法实际应用有效性。
图3为本发明和部分已有方法在仿真视频下背景建模过程比较图。仿真交通视频分辨率大小为590×350像素,以城市道路作背景记为Bgtrue,运动车辆作前景记为Fgtrue。为了解决已有背景建模方法在车辆行驶缓慢时效果不佳的问题,定义车辆以每帧2-4个像素长度的速度右行。在该典型场景下,比较多帧图像平均算法、统计直方图算法、混合高斯背景建模算法与本发明方法的性能优劣。
如图3所示,其中a行为仿真视频序列帧,b行为多帧图像平均算法背景建模过程,c行为统计直方图算法背景建模过程,d行为混合高斯背景建模算法背景建模过程,e行为本发明方法背景建模过程。受车辆运动缓慢的较大影响,部分背景被车辆遮挡时间较长,多帧图像平均算法提取的背景图像像素分布不均匀,有明显失真痕迹。统计直方图算法最终可以提取出与实际背景较为接近的背景图像,但是仍残留部分噪声,在复杂场景环境下表现效果仍不理想。混合高斯背景建模算法使用多个高斯分布描述每个像素点颜色的呈现规律,时间复杂度高,且会引入噪声。本发明方法能够在第47帧时就提取到最为完整和清晰的背景图像,与其他三种算法相比,即使在车辆运动缓慢场景下,依然可以保持良好表现。
图4为本发明和部分已有方法背景建模的完整性变化曲线比较图。从理论上讲,衡量一幅背景图像完整性的最直接的方法是对提取的背景图像Bg和真实背景图像Bg_true进行像素级别的一致性判断。为了便于比较,定义公式:
Figure BDA0002447306410000081
NBFOR(Non-Background pixels to Foreground Objection pixels Ratio)是指Bg与Bgtrue中像素值不一致的像素点个数同前景图像Fgtru中像素点个数之比,NBFOR值越小表示Bg中残存的非真实背景像素点越少,完整性越高。
如图4所示为各种算法在整个仿真视频中提取背景的完整性变化过程,X轴代表视频帧序号,Y轴代表NBFOR值。从中可以看出,本发明方法可以提取完整度最高的背景图像,且使用较少的帧实现。
图5为本发明和部分已有方法在真实视频下的背景建模过程比较图。数据取自UA-DETRAC数据集,该数据集中每帧图片分辨率为960×540像素,每秒25帧。在真实交通场景中,比较多帧图像平均算法、统计直方图算法、混合高斯背景建模算法与本发明方法的性能优劣。
如图5所示,其中a行为真实视频序列帧,b行为多帧图像平均算法背景建模过程,c行为统计直方图算法背景建模过程,d行为混合高斯背景建模算法背景建模过程,e行为本发明方法背景建模过程。本发明方法在N取15时,便可以得到完整背景图像,比其他方法在使用帧数上更少、在时间上更快速、在完整度上更高。

Claims (8)

1.一种交通视频背景建模方法,其特征在于,包括以下步骤:
步骤1:对原视频图像帧进行灰度化操作;
步骤2:使用帧间差分法提取相邻帧前景区域,确定背景区域;
步骤3:使用统计直方图法确定背景区域每个位置像素值;
步骤4:在N帧视频图像序列内循环前三步骤,重建背景图像;
步骤5:采用“首出尾入”的更新策略,进行背景更新。
2.根据权利要求1所述的交通视频背景建模方法,其特征在于,所述步骤1中对原交通视频图像帧进行灰度化操作如下:设坐标(x,y)像素点的RGB组成为(R,G,B),为所有颜色通道分配权重并加权求和,则灰度值V由公式①所得,每一个颜色通道的取值范围为[0,255],灰度值V的取值范围为[0,255]
V=0.30R+0.59G+0.11B ①。
3.根据权利要求1所述的交通视频背景建模方法,其特征在于,所述步骤2包括以下子步骤:
步骤2.1:对于视频帧图像序列F1,F2,…,FN,N为视频流总帧数;使用帧间差分法依次对相邻图像进行两两差分,设Fk-1和Fk为相邻两帧视频图像(2≤K≤N),根据灰度值计算差值,得到差分图像D,由公式②所得;
D(k-1,k)(x,y)=|F(k-1)(x,y)–Fk(x,y)| ②
步骤2.2:选定阈值T对差值图像D作二值化操作,得到二值化图像B,由公式③所得,其中,灰度值为255的为背景点,灰度值为0的为运动点即前景点;
Figure FDA0002447306400000011
步骤2.3:根据阈值T提取视频前景目标,将提取到的前景图像,采用形态学进行开运算、闭运算,通过膨胀和腐蚀组合运算降低噪声影响,使得前景运动目标轮廓整体性更加清晰;
步骤2.4:对每个前景运动目标区域,计算其外接矩形,并以此外接矩形作为检测框来标记出前景区域M,如果前景区域M被提取出来,则非M区域即为背景区域B。
4.根据权利要求1所述的交通视频背景建模方法,其特征在于,所述步骤3包括如下子步骤:
步骤3.1:将前景区域M全都标记为-1,用于区别于区间为[0,255]的灰度值;
步骤3.2:对背景区域B中每个位置(x,y)建立一个对应的与前景无关且与背景有关的灰度直方图,统计各像素灰度值的出现频率,选择其上出现次数最多的像素值p作为背景图像同坐标位置(x,y)上的像素值,像素值选取策略由公式④表示;
Figure FDA0002447306400000021
其中,Histx,y[p]=K(x,y,p)++,if Fk(x,y)=p,p∈[0,255] ⑤
在式⑤中,K(x,y,p)表示在图像(x,y)处像素灰度值为p时出现的次数,fk(x,y)=p表示图像fk在(x,y)处像素值为p,Histx,y就表示在坐标点(x,y)处以像素灰度值p为统计依据的直方图;
步骤3.3:像素值选取之后,前景区域和背景区域共同组成待优化的背景图像Bg。
5.根据权利要求1所述的交通视频背景建模方法,其特征在于,所述步骤4在N帧内的迭代过程中,随着N的增大,视频序列中被前景目标一直遮盖的背景位置逐渐减少,帧间差分一旦检测出新的背景区域,则将前景区域中包含的此部分区域更新为背景区域,然后形成新的统计直方图,直至所有区域都得到更新,最终获得一张背景图像。
6.根据权利要求1所述的交通视频背景建模方法,其特征在于,所述步骤5包括以下子步骤:
步骤5.1:在N帧对应时间内,在首次背景建模时,取值范围为20至30之间,非首次背景建模时,N取值范围为10至15之间;
步骤5.2:以N帧灰度图像序列作为一个batch,将前N帧图像{F1,F2,…,FN}称为batch1;每个像素位置(x,y)的灰度直方图Histx,y是根据其对应的灰度值序列psequence(x,y)={F1(x,y),F2(x,y),…,FN(x,y)}统计得来,最终获取无“黑洞”区域的完整背景图像为Bg1
步骤5.3:当程序接收到第N+1帧图像时,将FN+1插入到batch1中,并将F1从中剔除,此时是batch2:{F2,F3,…,FN+1},灰度直方图Histx,y对应的灰度值序列psequence(x,y)={F2(x,y),F3(x,y),…,FN+1(x,y)},最终获取背景图像为Bg2
步骤5.4:如果Bg2不存在“黑洞”区域,则输出;否则,以Bg1为优化参考对象,将Bg1在“黑洞”区域上相应位置上的灰度值填充到Bg2上,得到完整背景图像;
步骤5.5:如果视频流未结束,返回步骤5.3和5.4继续生成新的背景图像,直到视频流结束。
7.一种交通视频背景建模系统,其特征在于,包括以下模块:视频采集模块用于提供连续的交通视频流信息,方法集成模块用于封装背景建模方法,计算模块用于执行程序功能和处理数据,存储模块用于存储应用程序、源数据和处理结果,显示模块用于显示生成的背景图像。
8.根据权利要求7所述的交通视频背景建模系统,其特征在于:
所述视频采集模块,固定安装在交通监控立杆上的摄像头采集垂直视角90°的实时交通视频流,摄像头内置图形处理器对捕获的静态图片和视频图像数据进行处理,并将处理后的数据流信息保存在存储模块中,显示在显示模块上,并作为输入信息传输到方法集成模块;
所述方法集成模块,用于交通视频背景建模方法的封装,预留接口,形成黑盒,输入为格式正确的图像数据;
所述计算模块,通过执行存储在存储模块中的软件程序,以及调用存储在存储模块中的图像数据,实现程序运算和数据处理;
所述存储模块,用于存储交通视频背景建模方法的软件程序、由视频采集模块传来的源图像数据和由计算模块处理后的背景图像结果;
所述显示模块,作为图像呈现载体,用于显示输入的视频图像信息和输出的背景图像信息。
CN202010282644.XA 2020-04-12 2020-04-12 一种交通视频背景建模方法及系统 Active CN111539273B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010282644.XA CN111539273B (zh) 2020-04-12 2020-04-12 一种交通视频背景建模方法及系统
PCT/CN2020/101551 WO2021208275A1 (zh) 2020-04-12 2020-07-13 一种交通视频背景建模方法及系统
LU101981A LU101981B1 (en) 2020-04-12 2020-07-13 Traffic video background modeling method and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010282644.XA CN111539273B (zh) 2020-04-12 2020-04-12 一种交通视频背景建模方法及系统

Publications (2)

Publication Number Publication Date
CN111539273A true CN111539273A (zh) 2020-08-14
CN111539273B CN111539273B (zh) 2023-05-16

Family

ID=71977076

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010282644.XA Active CN111539273B (zh) 2020-04-12 2020-04-12 一种交通视频背景建模方法及系统

Country Status (3)

Country Link
CN (1) CN111539273B (zh)
LU (1) LU101981B1 (zh)
WO (1) WO2021208275A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233137A (zh) * 2020-11-19 2021-01-15 成都寰蓉光电科技有限公司 一种高性能的带权标准差背景建模方法
CN112255536A (zh) * 2020-09-21 2021-01-22 山东产研鲲云人工智能研究院有限公司 开关故障的检测方法、装置、电子设备及存储介质
CN112380962A (zh) * 2020-11-11 2021-02-19 成都摘果子科技有限公司 一种基于深度学习的动物图像识别方法及系统
CN113807227A (zh) * 2021-09-11 2021-12-17 浙江浙能嘉华发电有限公司 基于图像识别的安全监测方法、装置、设备及存储介质
CN115147441A (zh) * 2022-07-31 2022-10-04 江苏云舟通信科技有限公司 基于数据分析的抠图特效处理系统
CN115273565A (zh) * 2022-06-24 2022-11-01 苏州数智源信息技术有限公司 一种基于ai大数据的飞机坪预警方法、装置及终端

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113596573B (zh) * 2021-07-28 2023-04-11 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN113643323B (zh) * 2021-08-20 2023-10-03 中国矿业大学 城市地下综合管廊尘雾环境下目标检测系统
FR3131047A1 (fr) * 2021-12-21 2023-06-23 Orange Procédé de détection du mouvement d’au moins un objet, dispositif électronique, système, produit programme d’ordinateur et support de stockage correspondants
CN114612853A (zh) * 2022-02-11 2022-06-10 江苏濠汉信息技术有限公司 基于注意力机制和时序图像分析的车辆检测系统及方法
CN115019030B (zh) * 2022-03-05 2024-04-09 中国电波传播研究所(中国电子科技集团公司第二十二研究所) 一种钻井线流异常视觉检测与识别方法
CN114951017B (zh) * 2022-05-12 2023-05-30 深圳市顺鑫昌文化股份有限公司 一种标签印刷在线智能检测报错系统
CN114863109B (zh) * 2022-05-25 2023-05-23 广东飞达交通工程有限公司 一种基于分割技术的交通场景各类目标与元素的精细识别方法
CN115019508B (zh) * 2022-06-13 2023-09-29 华南理工大学 基于机器学习的道路监控车流仿真方法、装置、设备及介质
CN115618051B (zh) * 2022-12-20 2023-03-21 楠楠聚智信息科技有限责任公司 一种基于互联网的智慧校园监控视频存储方法
CN116503388B (zh) * 2023-06-25 2023-11-14 广东利元亨智能装备股份有限公司 缺陷检测方法、装置及存储介质
CN117424988B (zh) * 2023-12-15 2024-03-15 浙江大学台州研究院 一种用于智能化管理焊机的图像处理系统和处理方法
CN117478891B (zh) * 2023-12-28 2024-03-15 辽宁云也智能信息科技有限公司 一种建筑施工智慧管理系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609689A (zh) * 2012-02-03 2012-07-25 江苏科海智能系统有限公司 一种基于多帧统计的视频车道背景建模方法
CN105631405A (zh) * 2015-12-17 2016-06-01 谢寒 基于多级分块的交通视频智能识别背景建模方法
US20180151063A1 (en) * 2016-11-30 2018-05-31 University Of Macau Real-time detection system for parked vehicles

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101216942A (zh) * 2008-01-14 2008-07-09 浙江大学 一种自适应选取权重的增量式特征背景建模算法
US9275294B2 (en) * 2011-11-03 2016-03-01 Siemens Aktiengesellschaft Compressed sensing using regional sparsity
CN104978722A (zh) * 2015-07-06 2015-10-14 天津大学 基于背景建模的多曝光图像融合鬼影去除方法
CN107194949B (zh) * 2017-05-18 2019-09-24 华中科技大学 一种基于区块匹配和增强Onecut的交互式视频分割方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609689A (zh) * 2012-02-03 2012-07-25 江苏科海智能系统有限公司 一种基于多帧统计的视频车道背景建模方法
CN105631405A (zh) * 2015-12-17 2016-06-01 谢寒 基于多级分块的交通视频智能识别背景建模方法
US20180151063A1 (en) * 2016-11-30 2018-05-31 University Of Macau Real-time detection system for parked vehicles

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112255536A (zh) * 2020-09-21 2021-01-22 山东产研鲲云人工智能研究院有限公司 开关故障的检测方法、装置、电子设备及存储介质
CN112255536B (zh) * 2020-09-21 2023-05-26 山东产研鲲云人工智能研究院有限公司 开关故障的检测方法、装置、电子设备及存储介质
CN112380962A (zh) * 2020-11-11 2021-02-19 成都摘果子科技有限公司 一种基于深度学习的动物图像识别方法及系统
CN112233137A (zh) * 2020-11-19 2021-01-15 成都寰蓉光电科技有限公司 一种高性能的带权标准差背景建模方法
CN113807227A (zh) * 2021-09-11 2021-12-17 浙江浙能嘉华发电有限公司 基于图像识别的安全监测方法、装置、设备及存储介质
CN113807227B (zh) * 2021-09-11 2023-07-25 浙江浙能嘉华发电有限公司 基于图像识别的安全监测方法、装置、设备及存储介质
CN115273565A (zh) * 2022-06-24 2022-11-01 苏州数智源信息技术有限公司 一种基于ai大数据的飞机坪预警方法、装置及终端
CN115147441A (zh) * 2022-07-31 2022-10-04 江苏云舟通信科技有限公司 基于数据分析的抠图特效处理系统

Also Published As

Publication number Publication date
CN111539273B (zh) 2023-05-16
LU101981B1 (en) 2021-05-18
WO2021208275A1 (zh) 2021-10-21

Similar Documents

Publication Publication Date Title
CN111539273B (zh) 一种交通视频背景建模方法及系统
US11379987B2 (en) Image object segmentation based on temporal information
CN104392468B (zh) 基于改进视觉背景提取的运动目标检测方法
CN103400150B (zh) 一种基于移动平台进行道路边缘识别的方法及装置
EP3211596A1 (en) Generating a virtual world to assess real-world video analysis performance
WO2018023916A1 (zh) 一种彩色图像去阴影方法和应用
CN112801074B (zh) 一种基于交通摄像头的深度图估计方法
CN109685045B (zh) 一种运动目标视频跟踪方法及系统
CN103578116A (zh) 用于跟踪对象的设备和方法
WO2019071976A1 (zh) 基于区域增长和眼动模型的全景图像显著性检测方法
CN105513053B (zh) 一种用于视频分析中背景建模方法
CN112686928B (zh) 一种基于多源信息融合的运动目标视觉跟踪方法
Bešić et al. Dynamic object removal and spatio-temporal RGB-D inpainting via geometry-aware adversarial learning
CN110827312B (zh) 一种基于协同视觉注意力神经网络的学习方法
KR101173559B1 (ko) 비디오 동영상의 움직이는 다중 객체 자동 분할 장치 및 방법
CN104794737A (zh) 一种深度信息辅助粒子滤波跟踪方法
CN109359549A (zh) 一种基于混合高斯和hog_lbp的行人检测方法
CN111161313A (zh) 一种视频流中的多目标追踪方法及装置
CN106570885A (zh) 基于亮度和纹理融合阈值的背景建模方法
Li et al. Photo-realistic simulation of road scene for data-driven methods in bad weather
CN106327525A (zh) 一种机房重地越界行为实时监测方法
CN106529441A (zh) 基于模糊边界分片的深度动作图人体行为识别方法
CN111832508B (zh) 基于die_ga的低照度目标检测方法
CN110322479B (zh) 一种基于时空显著性的双核kcf目标跟踪方法
CN110929632A (zh) 面向复杂场景的车辆目标检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant