CN111368742B - 基于视频分析的双黄交通标线的重建识别方法及系统 - Google Patents

基于视频分析的双黄交通标线的重建识别方法及系统 Download PDF

Info

Publication number
CN111368742B
CN111368742B CN202010147953.6A CN202010147953A CN111368742B CN 111368742 B CN111368742 B CN 111368742B CN 202010147953 A CN202010147953 A CN 202010147953A CN 111368742 B CN111368742 B CN 111368742B
Authority
CN
China
Prior art keywords
double
yellow
gaussian
image
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010147953.6A
Other languages
English (en)
Other versions
CN111368742A (zh
Inventor
申小虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JIANGSU POLICE INSTITUTE
Original Assignee
JIANGSU POLICE INSTITUTE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JIANGSU POLICE INSTITUTE filed Critical JIANGSU POLICE INSTITUTE
Priority to CN202010147953.6A priority Critical patent/CN111368742B/zh
Publication of CN111368742A publication Critical patent/CN111368742A/zh
Application granted granted Critical
Publication of CN111368742B publication Critical patent/CN111368742B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视频分析的双黄交通标线的重建识别方法及系统。本发明方法包括步骤：S1、基于混合高斯模型的方法去除运动目标干扰，得到输入视频的静态背景图像；S2、采用词袋BOW模型提取双黄线目标Sift特征，并使用多核支持向量机分类器进行监督学习得到仅包含双黄线目标与周边路面的感兴趣区域；S3、基于颜色纹理特征聚类的方法对感兴趣区域图像中的双黄线目标进行分割，并通过形态学处理消除磨损式双黄线的影响；S4、采用基于最小二乘法的曲线拟合方法对双黄线的截断部分进行定位重建。本发明系统与上述方法对应。本发明可有效降低周围环境干扰，在磨损、截断等污损情况下，对残留目标信息更加敏感，检出精度高，具有强鲁棒性。

Description

基于视频分析的双黄交通标线的重建识别方法及系统
技术领域
本发明属于属于机器视觉技术领域，尤其涉及一种基于视频分析的双黄交通标线的重建识别方法及系统。
背景技术
双黄线等交通标线定位与重建在交通违章行为的智能判定、统计车道线污损率等研究领域具有基础性研究价值。但由于受到建设条件的限制，交通监控视频中车道线目标容易受到污损、遮挡、恶劣天气等复杂监控场景的影响，现有检出与分割方法容易产生较大概率的漏检与错检，鲁棒性不强。
在交通监控视频中的车道线分类检出领域，有学者钱将传统图像增强算法与深度网络模型训练相结合，端到端的解决复杂道路场景下的车道线目标检出问题[1]。庞等人则提出一种语义分割神经网络，通过逐层融合车道线边缘特征同时建立跨层的语义连接实现了车道线的准确分类(庞彦伟,修宇璇.基于边缘特征融合和跨连接的车道线语义分割神经网络[J].天津大学学报(自然科学与工程技术版),2019,52(08):779-787)。目前基于深度学习方法下提取的高维特征在目标检测分类上具有良好的性能，但在目标精确分割问题上主流算法仍是依赖于低层统计特征。学者徐等人通过变形Sobel算子扩充双黄线区域纹理得到双黄线区域位置，进而使用Hough直线变换方法对双黄线进行分割[2]。熊等人提出了一种基于彩色检测线的线间差分与灰度帧差统计法相结合的改进混合型方法,减少阴影对双黄线检测精度的影响[3]。上述方法在目标定位均取得了不错的效果，但在目标边缘分割抗噪性较差。同时，基于纹理特征提取和基于词袋(BOW)模型的对象分类分别在海冰分割、输电线检测、地形测绘等领域下的目标分割与分类领域取得过良好的结果[5-11]，为解决本文问题提供了丰富的思路。
发明内容
本发明的目的在于提供一种基于视频分析的双黄交通标线的重建识别方法及系统，旨在解决监控视频中污损交通标线的分类检测存在精度低、漏检率高等问题。
本发明是这样实现的，一种基于视频分析的双黄交通标线的重建识别方法，该方法包括以下步骤：
S1、基于混合高斯模型的方法去除运动目标干扰，得到输入视频的静态背景图像；
S2、采用词袋BOW模型提取双黄线目标Sift特征，并使用多核支持向量机分类器进行监督学习得到仅包含双黄线目标与周边路面的感兴趣区域；
S3、基于颜色纹理特征聚类的方法对感兴趣区域图像中的双黄线目标进行分割，并通过形态学处理消除磨损式双黄线的影响；
S4、采用基于最小二乘法的曲线拟合方法对双黄线的截断部分进行定位重建。
优选地，所述步骤S1具体包括以下步骤：
S10、取输入视频的第一帧图像的各像素点灰度值设定为均值的初始值，同时设定方差初始值、高斯分量个数初始值、权重；
S11、将当前图像帧像素点p在t时刻的像素值Mt与已有的高斯分量依次进行匹配；如满足匹配条件，根据当前像素值不断迭代更新调整第i个高斯模型的参数和权重；如果不满足，则进入步骤S11；
S12、建立新的高斯分量模型，并初始化参数；同时判断当前高斯分量个数是否达到高斯分量个数上限，如果高斯分量个数i＝高斯分量个数上限k，删除最小权值w所对应的高斯分量模型；
S13、判断各高斯分量的权值与设定阈值T得到t时刻的背景图像Bt；
S14、得到不同时刻的多个背景图像后，求多帧背景图像平均得到最终的视频背景静态图像。
优选地，在步骤S2中，所述多核支持向量机分类器的SVM核函数为：
Kcom＝αKp+(1-α)Kr
其中，Kp、Kr分别表示多项式核函数和高斯RBF核函数，ɑ表示多项式核函数的权重系数。
优选地，在步骤S3中，所述基于颜色纹理特征聚类的方法具体包括以下步骤：
S30、将图像空间颜色分量的量化级数进行定义，得到共生矩阵；
S31、未采用亮度颜色分量、并选用RGB空间的颜色分量作为颜色聚类空间的组成；
S32、通过对双黄线图像样本的分析，提取ROI区域内有效区分双黄线和路面背景的颜色特征；
S33、在中心像素的设定四个方向上分别计算CCM可得到各颜色分量直方图，并计算各特征统计值，最终得到各维的特征向量；
S34、根据K均值非监督聚类算法，通过计算不同区域(点)的CCM特征矩阵之间的欧式距离进行图像区域的分割。
优选地，所述步骤S4具体包括以下步骤：
S40、根据分割后各连通区域中N个离散质点的集合求得多项式函数f与误差函数E，拟合多项式函数f与误差函数E得多项式参数W，使误差函数最小；
S41、给定双黄线样本联通区域个数以及多项式阶数m，得到曲线拟合方程；
S42、通过Hough直线检测得到双黄线的边缘基点，根据基点将拟合曲线平移投影到双黄线的边缘。
本发明进一步公开了一种基于视频分析的双黄交通标线的重建识别系统，该系统包括：
图像获取单元，用于基于混合高斯模型的方法去除运动目标干扰，得到输入视频的静态背景图像；
目标获取单元，用于采用词袋BOW模型提取双黄线目标Sift特征，并使用多核支持向量机分类器进行监督学习得到仅包含双黄线目标与周边路面的感兴趣区域；
目标处理单元，用于基于颜色纹理特征聚类的方法对感兴趣区域图像中的双黄线目标进行分割，并通过形态学处理消除磨损式双黄线的影响；
目标重建单元，用于采用基于最小二乘法的曲线拟合方法对双黄线的截断部分进行定位重建。
优选地，所述图像获取单元具体用于：
取输入视频的第一帧图像的各像素点灰度值设定为均值的初始值，同时设定方差初始值、高斯分量个数初始值、权重；
将当前图像帧像素点p在t时刻的像素值Mt与已有的高斯分量依次进行匹配；如满足匹配条件，根据当前像素值不断迭代更新调整第i个高斯模型的参数和权重；如果不满足，则进入步骤S11；
建立新的高斯分量模型，并初始化参数；同时判断当前高斯分量个数是否达到高斯分量个数上限，如果高斯分量个数i＝高斯分量个数上限k，删除最小权值w所对应的高斯分量模型；
判断各高斯分量的权值与设定阈值T得到t时刻的背景图像Bt；
得到不同时刻的多个背景图像后，求多帧背景图像平均得到最终的视频背景静态图像。
优选地，在所述目标获取单元中，所述多核支持向量机分类器的SVM核函数为：
Kcom＝αKp+(1-α)Kr
其中，Kp、Kr分别表示多项式核函数和高斯RBF核函数，ɑ表示多项式核函数的权重系数。
优选地，在所述目标处理单元中，所述基于颜色纹理特征聚类的方法具体包括以下步骤：
S30、将图像空间颜色分量的量化级数进行定义，得到共生矩阵；
S31、未采用亮度颜色分量、并选用RGB空间的颜色分量作为颜色聚类空间的组成；
S32、通过对双黄线图像样本的分析，提取ROI区域内有效区分双黄线和路面背景的颜色特征；
S33、在中心像素的设定四个方向上分别计算CCM可得到各颜色分量直方图，并计算各特征统计值，最终得到各维的特征向量；
S34、根据K均值非监督聚类算法，通过计算不同区域(点)的CCM特征矩阵之间的欧式距离进行图像区域的分割。
优选地，所述目标重建单元具体用于：
根据分割后各连通区域中N个离散质点的集合求得多项式函数f与误差函数E，拟合多项式函数f与误差函数E得多项式参数W，使误差函数最小；
给定双黄线样本联通区域个数以及多项式阶数m，得到曲线拟合方程；
通过Hough直线检测得到双黄线的边缘基点，根据基点将拟合曲线平移投影到双黄线的边缘。
本发明克服现有技术的不足，提供一种基于视频分析的双黄交通标线的重建识别方法及系统，本发明使用一种由粗至精的策略，依次利用了运动关系特征、局部特征、颜色纹理特征和形状特征来提升监控视频目标分割重建的鲁棒性：首先，利用基于混合高斯模型的方法去除运动目标干扰，得到输入视频的静态背景图像；其次，为去除背景图像中的环境噪声干扰，采用词袋BOW模型提取双黄线目标Sift特征，并使用多核支持向量机(SVM)分类器[5]进行监督学习得到仅包含双黄线目标与周边路面的感兴趣区域；接着，使用基于颜色纹理特征聚类的方法对感兴趣区域图像中的双黄线目标进行分割，并通过形态学处理消除磨损式双黄线的影响；最后，采用基于最小二乘法的曲线拟合方法对双黄线的截断部分进行定位重建。
相比于现有技术的缺点和不足，本发明具有以下有益效果：本发明可有效降低周围环境干扰，在磨损、截断等污损情况下，对残留目标信息更加敏感，检出精度高，具有强鲁棒性。
附图说明
图1是本发明实施例中基于视频分析的双黄交通标线的检测方法的步骤流程图；
图2是本发明方法实施例中双黄线定位与重建方法(MG-BCF)流程图；
图3是本发明实施例中从监控视频中提取到的静态背景的例图；
图4是本发明实施例中从背景图像中提取感兴趣双黄线区域的例图；
图5是本发明实施例中颜色分量图；其中，图5的(a)为双黄线目标图像，图5的(b)为R、G颜色分量，图5的(c)为H、S颜色分量，图5的(d)为a*、b*颜色分量；
图6是本发明实施例中双黄线部分污损区域分割的细节效果图；其中，图6的(a)颜色共生矩阵聚类后结果，图6的(b)为形态学开闭操作处理后结果；
图7是本发明实施例中计算得到的三次多项式拟合曲线例图；
图8是本发明实施例中双黄线重建效果图；
图9是本发明系统的结构示意图；
图10是本发明实施例中双黄线重建实例图；
图11是本发明实施例中算法准确率与计算时间的交叉验证结果；
图12是本发明实施例中三种算法的性能比较结果。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例
本发明公开了一种基于视频分析的双黄交通标线的检测方法，如图1和图2所示，该方法包括以下步骤：
S1、基于混合高斯模型的方法去除运动目标干扰，得到输入视频的静态背景图像
设计使用基于混合高斯模型的平均背景法从动态视频中提取静态背景去除运动前景目标，减少背景图像中干扰因素，有效提升双黄线等静态目标的检测精度。视频中各视频帧图像的每个像素点的值随时间呈现高斯分布，即像素值均围绕某一中心值(均值)并在一定距离(方差)内分布。同时为应对视频画面抖动、光照短时间内缓慢变化等问题，通常选择使用混合高斯模型来解决背景像素点的多峰特性问题，主要步骤：
S10、取输入视频的第一帧图像的各像素点灰度值设定为均值的初始值，同时设定方差初始值为15，高斯分量个数初始值为1，权重为0.001
S11、将当前图像帧像素点p在t时刻的像素值Mt与已有的高斯分量依次进行匹配：
|Mt-μt,i|＜2.5σt,i (1)
式(1)中，μ为高斯分布的均值，σ为高斯分布的方差；
如满足公式(1)的匹配条件，根据当前像素值不断迭代更新调整第i个高斯模型的参数和权重；如果不满足，则进入步骤S12；
S12、建立新的高斯分量模型，并初始化参数；同时判断当前高斯分量个数是否达到高斯分量个数上限，如果高斯分量个数i＝高斯分量个数上限k，删除最小权值w所对应的高斯分量模型；
S13、通过式(2)判断各高斯分量的权值与设定阈值T得到t时刻的背景图像Bt：
Figure SMS_1
式(2)中，w为各高斯分量的权值，T为设定阈值，阈值T设定为0.75；
S14、得到不同时刻的多个背景图像后，通过下式(3)求多帧背景图像平均得到最终的视频背景静态图像：
B＝Avg(Bt) (3)
所得结果如图3所示。
S2、采用词袋BOW模型提取双黄线目标Sift特征，并使用多核支持向量机分类器进行监督学习得到仅包含双黄线目标与周边路面的感兴趣区域
通过视频的背景图像提取，时序视频帧计算问题转变为静态图像处理的问题。针对监控视频背景图像，本发明设计使用基于Sift特征的Bow词袋模型对背景图像的ROI区域进行检索，即对双黄线目标位置进行粗略估计。由于BOW模型主要基于目标的局部特征进行检索分类，而不考虑局部特征间的空间关系，因此对各类污损条件下不完整车道线图像漏检率较低，并且可消除双黄线目标周围的图像噪声。
在目标检索问题上传统SIFT特征优于Dense-SIFT特征的表现，因此利用Opencv提取标准Sift特征生成局部特征描述子并利用K均值算法进行聚类，迭代计算得到聚类中心个数(词典中的视觉单词个数)为5。作为SVM分类器输入，所有词频直方图均通过min-max方法进行了归一化处理。同时ROI区域匹配上采用滑动窗口操作，以1920×1080分辨率的图片条件下，采用240×120的区域滑动窗口，窗口依照从上至下，从左至右的方向依次滑过背景图像。对于每一个滑动区域，使用训练好的SVM进行分类；如匹配成功则该窗口区域定义为ROI区域。图4显示了某候选区域的匹配过程与最终得到的感兴趣ROI区域。
将线性不可分的数据映射到高维特征空间并可分时，SVM核函数的选择决定了系统的分类精度。作为主流核函数，多项式核函数和高斯RBF核函数间存在互补特性，实验证明，通过将泛化能力较强的多项式核函数与学习能力较强的高斯核函数结合起来，得到的混合高斯函数兼备良好的外推能力和内推能力[5]。在SVM核函数的选择上，本发明使用了由多项式核函数、高斯核函数组合构建混合核函数用于解决非线性划分和二维模式分类问题，如公式(4)所示：
Kcom＝αKp+(1-α)Kr (4)
其中，Kp、Kr分别表示多项式核函数和高斯RBF核函数，ɑ表示多项式核函数的权重系数。利用交叉验证方法进行权值优化，得到ɑ＝0.89时，验证精度最高。ROI区域提取结束后，去除了图像中例如周边建筑、路灯等非路面目标，得到了主要由双黄线目标与路面背景组成的区域图像，为下一步进行目标分割减少了干扰因素。
S3、使用基于颜色纹理特征聚类的方法对感兴趣区域图像中的双黄线目标进行分割，并通过形态学处理消除磨损式双黄线的影响
双黄线等交通标线由于受到对受光照不均匀、污损、积水反光等情况的影响，背景图像中的双黄线目标可能会具有不同的颜色信息，同时还造成二值化图像中车道线边缘极不规则，因此传统的Candy检测与Hough变换方法在直线检出上精确度不高，本发明设计基于颜色纹理特征聚类的方法对感兴趣区域图像中的双黄线目标进行分割，具体包括以下步骤：
S30、将图像空间颜色分量的量化级数进行定义，得到共生矩阵
计算颜色共生矩阵时，本发明将图像空间颜色分量的量化级数定义为16，得到16×16的共生矩阵。
S31、未采用亮度颜色分量、并选用RGB空间的颜色分量作为颜色聚类空间的组成
为增加纹理特征的光照不变性，未采用亮度颜色分量，同时考虑到RGB颜色空间下三种颜色分量存在线性相关，本发明最终选用RGB空间的R、G，Lab空间的a*、b*与HSI空间的H和S共9个颜色分量作为颜色聚类空间的组成，定义为[Frr,Frg,Fgg,Faa,Fab,Fbb,Fhh,Fhs,Fss]。图5展示了双黄线目标图片的各颜色分量。
S32、通过对双黄线图像样本的分析，提取ROI区域内有效区分双黄线和路面背景的颜色特征
S33、在中心像素的设定四个方向上分别计算CCM可得到各颜色分量直方图，并计算各特征统计值，最终得到各维的特征向量在中心像素的0°、45°、90°与135°四个方向上分别计算CCM可得到各颜色分量直方图，进一步根据如下公式(5)～(8)计算4个特征统计值[14]，最终得到36维的特征向量。典型常用的四个不具备相关性的特征统计值分别为逆差矩(I)、对比度(C)、能量(S)和熵(E)[12-13]，其实现算法如下：
Figure SMS_2
Figure SMS_3
Figure SMS_4
Figure SMS_5
其中，p(i,j)代表相同颜色空间下像素对出现的联合概率密度，D为各颜色分量的量化级数，μ和σ分别表示均值和方差。
S34、根据K均值非监督聚类算法，通过计算不同区域(点)的CCM特征矩阵之间的欧式距离进行图像区域的分割。
针对分割后图像中仍存在噪点且部分双黄线目标像素分布较离散的问题，可利用形态学处理中的开操作消除分散的路面噪点，闭操作来将某些区域连接在一起扩大颜色联通区域集面积，避免因双黄线磨损所导致的纹理特征不清晰造成目标丢失的情况。使用的形态图像处理依次进行1次开操作与2次闭操作的方式，采用椭圆核结构元素，核大小定义为6×6。双黄线目标的最终分割效果如图6所示。
S4、采用基于最小二乘法的曲线拟合方法对双黄线的截断部分进行定位重建
经过颜色纹理特征聚类与形态学处理后，虽然能够消除双黄线磨损部位对于目标分割带来的影响，但是双黄线截断式部位依然存在，因此需要根据已有的双黄线封闭区域进行重建。双黄线几何形状在大多数条件下为直线，也会存在弯曲双黄线的情形，因此本发明采用基于最小二乘法的曲线拟合对截断部位进行回归计算，具体包括以下步骤：
S40、设分割后各连通区域中N个离散质点为(xi,fi′)，其集合T则表示为：
T＝{(xi,fi′)}i∈(1,N)
求得的拟合多项式函数f与误差函数E分别表示为：
Figure SMS_6
Figure SMS_7
拟合即为求得多项式参数W，使误差函数最小的过程：
Figure SMS_8
S41、实验得到的双黄线样本联通区域个数一般不小于4，同时为避免曲线过拟合问题，将多项式阶数m设定为3，则得到的曲线方程为：
f＝w3x3+w2x2+w1x+w0 (12)
其中w3、w2、w1、w0为求得三次多项式函数的参数实数，根据前图例中所得到的拟合曲线如图7所示。
S42、通过Hough直线检测得到双黄线的边缘基点，根据基点可将拟合曲线平移投影到双黄线的边缘，即：
f＝w3(x±Δx)3+w2(x±Δx)2+w1(x±Δx)+(w0±Δy) (13)
其中，Δx，Δy分别是双黄线各边缘与拟合曲线间的偏移横坐标与纵坐标。重建后的双黄线图像如图8所示。
本发明进一步提供了基于视频分析的双黄交通标线的重建识别系统，如图9所示，该系统包括：
图像获取单元1，用于基于混合高斯模型的方法去除运动目标干扰，得到输入视频的静态背景图像；
目标获取单元2，用于采用词袋BOW模型提取双黄线目标Sift特征，并使用多核支持向量机分类器进行监督学习得到仅包含双黄线目标与周边路面的感兴趣区域；
目标处理单元3，用于基于颜色纹理特征聚类的方法对感兴趣区域图像中的双黄线目标进行分割，并通过形态学处理消除磨损式双黄线的影响；
目标重建单元4，用于采用基于最小二乘法的曲线拟合方法对双黄线的截断部分进行定位重建。
本发明系统与上述方法实施例相对应，以上述方法实施例记载内容同样用于解释本发明系统实施例，在此不再赘述。
效果实施例
本发明实验所用双黄线图像来源于宿迁市公安局视频专网与北京多维视通公司提供的交通监控视频数据，数据集对象均为CCD摄像机采录的高清视频，分辨率为1980×1020像素。
1、双黄线定位重建结果
使用自定义的数据集中的视频进行测试，图10中分别为残缺弯曲双黄线与残缺直线双黄线条件下的定位重建结果。这部分实验验证表明，本发明的算法可针对视频集中存在遮挡、阴影、磨损等条件下的双黄线进行有效的定位重建，取得了较好的视觉效果。
2、参数设定讨论
基于BOW模型的ROI区域检出是本发明所提出的双黄线定位重建的第一步，特别是当双黄线区域缺损区域较多时，其作用非常关键。而感兴趣ROI区域提取的一个重要参数是BOW模型中视觉单词个数。视觉单词数量决定着目标识别的精确度，而感兴趣区域提取的结果则直接影响下一步纹理特征提取范围。本发明针对视觉单词数量为2～8的条件下，评估其性能，如图11所示。
可以看出，召回率和精确度与视觉单词数个数均呈现正相关关系。同时使用本发明所提算法依次测试其性能和计算时间。图11同时也表明，计算时间会随着视觉单词数量的增加而迅速增加。因此，基于权衡考虑算法精度与计算成本的前提下，根据上述交叉验证方法最终确定视觉单词的数量为5。
3、算法检测准确性评估
为验证本发明所提出双黄线定位与重建方法的有效性，将部分视频中的清晰完整的双黄线作为基准模板，并对其进行了遮挡或软件处理模拟残缺双黄线用于实验测试，同时利用现有数据集对重建效果的与精度值(Precision)与召回率(Recall)进行了评估：
Precision＝TP/(TP+F P) (14)
Recall＝TP/(TP+FN) (15)
其中TP为重建后坐标预测正确的像素点数，TP+FP为重建双黄线范围内的像素点总数，而TP+FN为实际双黄线范围内的像素点总数。
实验中将本发明所提出的算法(MG-BCF)与基于变形Sobel算子扩充区域与霍夫直线变换方法(SO-HLT)[3]、基于线间差分与灰度帧差的统计算法(LD-GFD)[4]进行了比较分析。上述所有算法均使用相同实验视频，视频根据不同的监控点位与双黄线的几何形状进行分组，从视频数据集中得到存在缺损的直线双黄线与弯曲双黄线的实验视频各10组。最终的实验结果如图12所示。
图11表明，本发明所提出的算法的分割性能与其它两种算法相比较，召回率与精度值都有一定程度的提升。其中，针对常见的直线双黄线，三种算法的精度值均取得了不错实验结果。但SO-HLT算法在弯曲双黄线的实验中召回率与精度值都较低，这是由于其在算法设计中未考虑双黄线的弯曲形状所导致。同时由于LD-GFD算法针对缺损目标检出的鲁棒性较低，导致部分缺损区域未被正确重建，因此虽精度值尚可但召回率不佳。除此之外，通过对召回率与精度值在90％以下的部分实验组的数据集进行分析后发现，这是由于监控视频建设安装过程中水平俯视角度过大，造成了视频中的远景重建目标存在一定的几何变形。针对这种情况，可通过透视变换原理[15]将原视频背景图像进行校正，将原图像坐标映射至俯视图坐标，进一步提升双黄线重建的精确度。
本发明针对视频监控中存在缺损的双黄线目标提出了一种强鲁棒性定位与重建方法。该方法采用一种由粗至精的分割策略，依次去除运动目标信息、周边环境信息的干扰，通过颜色纹理特征进行精确分割后对破损区域进行了拟合重建。实验结果表明，该方法在直线、弯曲双黄线条件下的正确检出率分别达到了94.7％与93.1％，定位重建性能良好，准确率优于现有方法。该方法适用于各种复杂场景下双黄线目标定位与重建，在交通违章行为检测、事故定责等领域具有一定的实用推广价值。
参考文献:
[1]钱沄涛,胡忠闯,陈思宇.利用卷积神经网络的车道线检测方法[J].信号处理,2019,35(03):435-442.
[2]庞彦伟,修宇璇.基于边缘特征融合和跨连接的车道线语义分割神经网络[J].天津大学学报(自然科学与工程技术版),2019,52(08):779-787.
[3]徐乐.车载便携式交通违章智能抓拍系统关键技术研究[D].大连海事大学,2016。
[4]熊金艳等.改进的灰度帧差统计法对车辆违章压黄线的检测[J].工业控制计算机,2013,26(05):112-113+116.
[5]H.Y.Liu,H.D.Guo,and L.Zhang,“SVM-Based Sea Ice Classifi cationUsing Textural Features and Concentration From RADARSAT-2 Dual-Pol ScanSARData,”IEEE J.Sel.Topics Appl.Earth Observ.Remote Sens.,vol.8,no.4,pp.1601–1612,Apr.2015.
[6]M.Oberweger,A.Wendel,and H.Bischof,“Visual recognition and faultdetection for power line insulators,”in Proc.19th CVWW,2014,pp.1–8.
[7]Zhang G,Yang J,Zhang S,et al.Image Classification Based onModified BOW Model[M]//Information Technology and Intelligent TransportationSystems.Springer International Publishing,2017.
[8]Xie S,Zhao T,Wang W,et al.Forest Structure Parameters InversionBased on Image Texture and Spectral and Topographic Features[J].2017,48(4):125-134.
[9]黄倩.基于BOW和视觉注意模型的图像分类及其应用研究[D].中国科学技术大学,2015.
[10]杨冲,张帆,王健,黄先锋,高云龙.高分辨率航空影像中斑马线的识别与重建[J].武汉大学学报(信息科学版),2017,42(10):1358-1364+1380.
[11]Zhou H,Kong H,Wei L,et al.Efficient Road Detection and Trackingfor Unmanned Aerial Vehicle[J].IEEE Transactions on Intelligent Transportation Systems,2015,16(1):297-309.
[12]Siradjuddin I A,Sophan M K,Kusumaningsih A,et al.An IntegratedColor and Intensity Co-Occurrence Matrix for Batik ImageRetrieval[J].AdvancedScience Letters,2016.
[13]Singh V P,Srivastava R.Improved image retrieval using fastColour-texture features with varying weighted similarity measur eand randomfore sts[J].Multimedia Tools&Applications,2017(1):1-26.
[14]Deng G,Wu Y.Double Lane Line Edge Detection Method Based onConstraint Conditions Hough Transform[C]//2018 17th International Symposiumon Distributed Computing and Applications for Business Engineering andScience(DCABES).IEEE Computer Society,2018.
[15]姜立标,台啟龙.基于实例分割方法的复杂场景下车道线检测[J].机械设计与制造工程,2019(5).
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于视频分析的双黄交通标线的重建识别方法，其特征在于，该方法包括以下步骤：
S1、基于混合高斯模型的方法去除运动目标干扰，得到输入视频的静态背景图像；
S2、采用词袋BOW模型提取双黄线目标Sift特征，并使用多核支持向量机分类器进行监督学习得到仅包含双黄线目标与周边路面的感兴趣区域；
S3、基于颜色纹理特征聚类的方法对感兴趣区域图像中的双黄线目标进行分割，并通过形态学处理消除磨损式双黄线的影响；
S4、采用基于最小二乘法的曲线拟合方法对双黄线的截断部分进行定位重建；
所述步骤S1具体包括以下步骤：
S10、取输入视频的第一帧图像的各像素点灰度值设定为均值的初始值，同时设定方差初始值、高斯分量个数初始值、权重；
S11、将当前图像帧像素点p在t时刻的像素值Mt与已有的高斯分量依次进行匹配；如满足匹配条件，根据当前像素值不断迭代更新调整第i个高斯模型的参数和权重；如果不满足，则进入步骤S11；
S12、建立新的高斯分量模型，并初始化参数；同时判断当前高斯分量个数是否达到高斯分量个数上限，如果高斯分量个数i＝高斯分量个数上限k，删除最小权值w所对应的高斯分量模型；
S13、判断各高斯分量的权值与设定阈值T得到t时刻的背景图像Bt；
S14、得到不同时刻的多个背景图像后，求多帧背景图像平均得到最终的视频背景静态图像；
在步骤S3中，所述基于颜色纹理特征聚类的方法具体包括以下步骤：
S30、将图像空间颜色分量的量化级数进行定义，得到共生矩阵；
S31、未采用亮度颜色分量、并选用RGB空间的颜色分量作为颜色聚类空间的组成；
S32、通过对双黄线图像样本的分析，提取ROI区域内有效区分双黄线和路面背景的颜色特征；
S33、在中心像素的设定四个方向上分别计算CCM可得到各颜色分量直方图，并计算各特征统计值，最终得到各维的特征向量；
S34、根据K均值非监督聚类算法，通过计算不同区域或点的CCM特征矩阵之间的欧式距离进行图像区域的分割；
所述步骤S4具体包括以下步骤：
S40、根据分割后各连通区域中N个离散质点的集合求得多项式函数f与误差函数E，拟合多项式函数f与误差函数E得多项式参数W，使误差函数最小；
S41、给定双黄线样本联通区域个数以及多项式阶数m，得到曲线拟合方程；
S42、通过Hough直线检测得到双黄线的边缘基点，根据基点将拟合曲线平移投影到双黄线的边缘。
2.如权利要求1所述的基于视频分析的双黄交通标线的重建识别方法，其特征在于，在步骤S2中，所述多核支持向量机分类器的SVM核函数为：
Kcom＝αKp+(1-α)Kr
其中，Kp、Kr分别表示多项式核函数和高斯RBF核函数，ɑ表示多项式核函数的权重系数。
3.一种基于视频分析的双黄交通标线的重建识别系统，其特征在于，该系统包括：
图像获取单元，用于基于混合高斯模型的方法去除运动目标干扰，得到输入视频的静态背景图像；
目标获取单元，用于采用词袋BOW模型提取双黄线目标Sift特征，并使用多核支持向量机分类器进行监督学习得到仅包含双黄线目标与周边路面的感兴趣区域；
目标处理单元，用于基于颜色纹理特征聚类的方法对感兴趣区域图像中的双黄线目标进行分割，并通过形态学处理消除磨损式双黄线的影响；
目标重建单元，用于采用基于最小二乘法的曲线拟合方法对双黄线的截断部分进行定位重建；
所述图像获取单元具体用于：
取输入视频的第一帧图像的各像素点灰度值设定为均值的初始值，同时设定方差初始值、高斯分量个数初始值、权重；
将当前图像帧像素点p在t时刻的像素值Mt与已有的高斯分量依次进行匹配；如满足匹配条件，根据当前像素值不断迭代更新调整第i个高斯模型的参数和权重；如果不满足，则进入步骤S11；
建立新的高斯分量模型，并初始化参数；同时判断当前高斯分量个数是否达到高斯分量个数上限，如果高斯分量个数i＝高斯分量个数上限k，删除最小权值w所对应的高斯分量模型；
判断各高斯分量的权值与设定阈值T得到t时刻的背景图像Bt；
得到不同时刻的多个背景图像后，求多帧背景图像平均得到最终的视频背景静态图像；
在所述目标处理单元中，所述基于颜色纹理特征聚类的方法具体包括以下步骤：
S30、将图像空间颜色分量的量化级数进行定义，得到共生矩阵；
S31、未采用亮度颜色分量、并选用RGB空间的颜色分量作为颜色聚类空间的组成；
S32、通过对双黄线图像样本的分析，提取ROI区域内有效区分双黄线和路面背景的颜色特征；
S33、在中心像素的设定四个方向上分别计算CCM可得到各颜色分量直方图，并计算各特征统计值，最终得到各维的特征向量；
S34、根据K均值非监督聚类算法，通过计算不同区域或点的CCM特征矩阵之间的欧式距离进行图像区域的分割；
所述目标重建单元具体用于：
根据分割后各连通区域中N个离散质点的集合求得多项式函数f与误差函数E，拟合多项式函数f与误差函数E得多项式参数W，使误差函数最小；
给定双黄线样本联通区域个数以及多项式阶数m，得到曲线拟合方程；
通过Hough直线检测得到双黄线的边缘基点，根据基点将拟合曲线平移投影到双黄线的边缘。
4.如权利要求3所述的基于视频分析的双黄交通标线的重建识别系统，其特征在于，在所述目标获取单元中，所述多核支持向量机分类器的SVM核函数为：
Kcom＝αKp+(1-α)Kr
其中，Kp、Kr分别表示多项式核函数和高斯RBF核函数，ɑ表示多项式核函数的权重系数。
CN202010147953.6A 2020-03-05 2020-03-05 基于视频分析的双黄交通标线的重建识别方法及系统 Active CN111368742B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010147953.6A CN111368742B (zh) 2020-03-05 2020-03-05 基于视频分析的双黄交通标线的重建识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010147953.6A CN111368742B (zh) 2020-03-05 2020-03-05 基于视频分析的双黄交通标线的重建识别方法及系统

Publications (2)

Publication Number Publication Date
CN111368742A CN111368742A (zh) 2020-07-03
CN111368742B true CN111368742B (zh) 2023-06-27

Family

ID=71208636

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010147953.6A Active CN111368742B (zh) 2020-03-05 2020-03-05 基于视频分析的双黄交通标线的重建识别方法及系统

Country Status (1)

Country Link
CN (1) CN111368742B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112489049A (zh) * 2020-12-04 2021-03-12 山东大学 基于超像素和svm的成熟番茄果实的分割方法及系统
CN113052118A (zh) * 2021-04-07 2021-06-29 上海浩方信息技术有限公司 基于高速快球摄像机实现场景变换视频分析检测的方法、系统、装置、处理器及存储介质
CN113343766B (zh) * 2021-05-11 2022-12-06 武汉工程大学 一种车辆压双黄线自动检测方法
CN114240788B (zh) * 2021-12-21 2023-09-08 西南石油大学 一种面向复杂场景的鲁棒性及自适应性背景复原方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105868734A (zh) * 2016-04-22 2016-08-17 江苏电力信息技术有限公司 基于bow图像表征模型的输电线路大型施工车辆识别方法

Also Published As

Publication number Publication date
CN111368742A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
CN111368742B (zh) 基于视频分析的双黄交通标线的重建识别方法及系统
Chen et al. Single image shadow detection and removal based on feature fusion and multiple dictionary learning
WO2019169816A1 (zh) 一种用于精细化识别车辆属性的深度神经网络及训练方法
Giannoukos et al. Operator context scanning to support high segmentation rates for real time license plate recognition
CN107133575B (zh) 一种基于时空特征的监控视频行人重识别方法
Xu et al. Scale-space texture description on sift-like textons
Yang et al. Fast vehicle logo detection in complex scenes
CN108416780B (zh) 一种基于孪生-感兴趣区域池化模型的物体检测与匹配方法
CN110929593A (zh) 一种基于细节辨别区别的实时显著性行人检测方法
ElMikaty et al. Detection of cars in high-resolution aerial images of complex urban environments
Zhang et al. License plate localization in unconstrained scenes using a two-stage CNN-RNN
Yao et al. Fast human detection from joint appearance and foreground feature subset covariances
CN108932518B (zh) 一种基于视觉词袋模型的鞋印图像特征提取及检索方法
CN108734200B (zh) 基于bing特征的人体目标视觉检测方法和装置
Shen et al. Adaptive pedestrian tracking via patch-based features and spatial–temporal similarity measurement
Zhou et al. YOLO-CIR: The network based on YOLO and ConvNeXt for infrared object detection
Li et al. Infrared-visible image fusion method based on sparse and prior joint saliency detection and LatLRR-FPDE
Chen et al. Multiscale feature fusion for surveillance video diagnosis
Hu et al. Vehicle color recognition based on smooth modulation neural network with multi-scale feature fusion
Asadzadehkaljahi et al. Spatiotemporal edges for arbitrarily moving video classification in protected and sensitive scenes
Sun et al. Pig detection algorithm based on sliding windows and PCA convolution
Yan et al. License plate detection using Bayesian method based on edge features
Tang et al. Research on the pedestrian re-identification method based on local features and gait energy images
Qu et al. An intelligent vehicle image segmentation and quality assessment model
Shri et al. Video Analysis for Crowd and Traffic Management

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20200703

Assignee: Beijing Duowei Shitong Technology Co.,Ltd.

Assignor: JIANGSU POLICE INSTITUTE

Contract record no.: X2024980002431

Denomination of invention: Reconstruction and recognition method and system for Shuanghuang traffic markings based on video analysis

Granted publication date: 20230627

License type: Common License

Record date: 20240304