CN104951775B - 基于视频技术的铁路道口防护区域安全智能识别方法 - Google Patents

基于视频技术的铁路道口防护区域安全智能识别方法 Download PDF

Info

Publication number
CN104951775B
CN104951775B CN201510415061.9A CN201510415061A CN104951775B CN 104951775 B CN104951775 B CN 104951775B CN 201510415061 A CN201510415061 A CN 201510415061A CN 104951775 B CN104951775 B CN 104951775B
Authority
CN
China
Prior art keywords
video image
key point
video
camera
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510415061.9A
Other languages
English (en)
Other versions
CN104951775A (zh
Inventor
马连伟
伍征
王亮生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pangang Group Panzhihua Steel and Vanadium Co Ltd
Original Assignee
Pangang Group Panzhihua Steel and Vanadium Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pangang Group Panzhihua Steel and Vanadium Co Ltd filed Critical Pangang Group Panzhihua Steel and Vanadium Co Ltd
Priority to CN201510415061.9A priority Critical patent/CN104951775B/zh
Publication of CN104951775A publication Critical patent/CN104951775A/zh
Application granted granted Critical
Publication of CN104951775B publication Critical patent/CN104951775B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种基于视频技术的铁路道口防护区域安全智能识别方法,包括以YUV模式实时采集铁路道口防护区域的现场视频图像数据，采用具有混合高斯模型特性的工作码本对待分析现场视频图像做运动检测确定目标物体，建立SVM分类器通过SVM分类器对待分析视频图像中的目标物体进行分类，使用多摄像机融合坐标变换矩阵判断目标物体是否为障碍物四个步骤。本发明能对地理环境比较复杂的铁路道口区域进行安全智能识别。

Description

基于视频技术的铁路道口防护区域安全智能识别方法
技术领域
本发明涉及铁路/公路交叉道口的安全装置技术领域，具体涉及一种基于视频技术的铁路道口防护区域安全智能识别方法。
背景技术
随着国内区域性产业集群和区域性城市群的发展，用于连接这些产业集群和城市群的铁路网也得到快速发展。我国拥有世界上运输里程最长、分布最密集的铁路网。同时在铁路网上运行的列车速度和列车密度均大幅提升。铁路道口安全管理是铁路运输安全的重要组成部分其管理水平的高低直接制约着铁路网的畅通性和安全性。铁路道口安全管理包括有人值守管理道口、声光报警管理道口、远程集中控制管理道口三种基础方式，以及在上述三种基础方式基础上引入道口区域安全智能识别判断的自动智能管理技术。
道口区域安全智能识别判断是道口安全管理自动化、智能化的基础。无人自动铁路道口安全管理完全依赖于道口区域安全智能识别技术。现有的区域安全智能识别技术包括基于雷达的智能识别技术和基于视频的智能识别技术。其中基于雷达的智能识别技术，存在整体识别精度差，对体积较小的物体不能识别，由于周围环境对雷达波存在干扰，误报率很高；现有的基于视频的智能识别技术，识别精度较高，其被广泛用于仓储管理、智能汽车、生产管理，停车场管理，但由于其无法识别阴影、树叶、光斑等平面图像，因此不适用于地理环境比较复杂的铁路道口。
现有的铁路道口的视频监控系统主要用于现场录像，供后续查询使用。如公开号为CN103661502A的中国专利文献，针对有人值守管理道口存在铁路平交道口的安全完全依赖于工作人员，难免会发生遗漏的安全的技术问题，从而影响铁路网线运输的技术问题，公开一种铁路平交道口自动化监测与控制系统，其中的视频监控系统包括多个带红外高清摄像机、多个可见光高清摄像机、硬盘录像机和视频处理主机，带红外高清摄像机和可见光高清摄像机的输出分别与硬盘录像机相连，硬盘录像机的输出与视频处理主机连接，视频处理主机的输出与道口控制主机相连。该技术方案中只有视频监控的技术方案，没有任何提及任何基于视频的智能识别的技术方案。
如公开号为CN101830218A的中国专利文献，针对制动机的检查还采用在货车静止状态下，工对制动机鞲鞲杆进行监测，存在主观因素，对监测结果难以控制技术问题，公开一种列车制动机智能识别监测系统，其中的所述视觉监测单元用于对车厢底部进行连续拍照，并与控制单元相配合，自动识别判断当前视觉范围内制动机存在与否，制动机在图片中的位置等；所述摆动单元用于驱动视觉监测单元的摆动，由控制单元控制调整制动机在视觉监测单元视觉范围内的位置，达到最佳拍摄及测量效果；该方案的视觉监测单元只适用于制动机检查，不适用于地理环境比较复杂的铁路道口。
综上所述，现有的基于视频的智能识别技术，只适用于仓储管理、智能汽车、生产管理，停车场管理，由于其无法识别阴影、树叶、光斑等平面图像，不适用于地理环境比较复杂的铁路道口区域安全智能识别。
发明内容
本发明所要解决的技术问题是提供一种能对地理环境比较复杂的铁路道口区域进行安全智能识别的基于视频技术的铁路道口防护区域安全智能识别方法，从而进一步增强铁路道口安全管理的实时性和可靠性。
本发明解决技术问题所采用的技术方案是：
基于视频技术的铁路道口防护区域安全智能识别方法，该方法所采用的设备包括网络摄像机、具有视频分析处理系统的视频分析主机，采用摄像视角相互错开方式在同一铁路道口架设多个网络摄像机，在管理中心设置具有视频分析处理系统的视频分析主机，将每个网络摄像机与视频分析主机网络连接，将每个网络摄像机的摄像模式设置为YUV模式；每个网络摄像机以YUV模式实时采集铁路道口防护区域的现场视频图像数据并将现场视频图像数据传递给视频分析主机，视频分析主机的视频分析处理系统对现场视频图像数据进行智能识别，通过智能识别判断视频图像中的目标物体是否为障碍物；该方法包括以下步骤：
步骤1、以YUV模式实时采集铁路道口防护区域的现场视频图像数据：每台网络摄像机以YUV模式实时采集铁路道口防护区域的现场视频图像数据，并通过网络将现场视频图像数据传递给视频分析主机，视频分析主机预存接收到的现场视频图像数据，将其作为待分析现场视频图像数据；
步骤2、采用具有混合高斯模型特性的工作码本对待分析现场视频图像做运动检测确定目标物体：建立用于分析视频图像数据的混合高斯模型，初始化混合高斯模型得出初始背景图像，将初始背景图像在YUV颜色空间下抽样量化成由码元构成的初始码本，使用多帧待分析视频图像的像素点对初始码本进行匹配性训练学习得出具有混合高斯模型特性的工作码本，采用工作码本对待分析现场视频图像进行处理确定视频图像中的目标物体；
步骤3、建立SVM分类器通过SVM分类器对待分析视频图像中的目标物体进行分类：制作包括行人图像、车辆图像、背景物图像的分类训练图像集，创建具有行人特征库、车辆特征库、背景物特征库的SVM分类初始模型，采用分类训练图像集对SVM分类初始模型进行训练学习得到SVM分类器，采用SVM分类器对待分析视频图像中的目标物体进行分析归类；
步骤4、使用多摄像机融合坐标变换矩阵判断目标物体是否为障碍物：采用SIFT算法得出不同网络摄像机采集的视频图像之间的SIFT特征关键点对，对以SIFT特征关键点对为样本的SIFT特征关键点对原始样本集使用随机抽样一致RANSAC算法构建多摄像机融合坐标变换矩阵，使用多摄像机融合坐标变换矩阵判断出现在同一铁路道口不同网络摄像机所采集到的视频图像中的目标物体是否为可疑目标物体，使用多摄像机融合坐标变换矩阵通过共面性判断可疑目标物体是否为障碍物。
进一步，步骤4前还包括采用直方图均衡法对各个网络摄像机采集到的现场视频图像的亮度进行调整，对各个网络摄像机采集到的现场视频图像做高斯模糊处理。
进一步，步骤3中采用SIFT算法得出不同网络摄像机采集的视频图像之间的SIFT特征关键点对后还包括将视频图像画面分割成多个子区域，对于关键点大于6的子区域，人工剔除匹配性差的SIFT特征关键点对及相应的关键点，对于关键点少于4的子区域，人工增加关键点及增加相应的SIFT特征关键点对。
进一步，步骤3中的创建具有行人特征库、车辆特征库、背景物特征库的SVM分类初始模型为：以面积、周长、面积除以周长得数的平方、占空比、长宽比、惯性主轴方向几何特征为提取特征，创建具有行人特征库、车辆特征库、背景物特征库的SVM分类初始模型，并对SVM分类初始模型进行初始化。
进一步，步骤3中的采用分类训练图像集对SVM分类初始模型进行训练学习得到SVM分类器为：以训练图像集中行人图像为行人训练样本，采用行人训练样本对SVM分类初始模型进行学习训练，将学习训练结果和实际图片进行比对，直到学习训练的均方误差达到期望值，得到行人SVM分类器；以训练图像集中车辆图像为车辆训练样本，采用车辆训练样本对SVM分类初始模型进行学习训练，将学习训练结果和实际图片进行比对，直到学习训练的均方误差达到期望值，得到车辆SVM分类器；以训练图像集中背景物图像为背景物训练样本，采用背景物训练样本对SVM分类初始模型进行学习训练，将学习训练结果和实际图片进行比对，直到学习训练的均方误差达到期望值，得到背景物SVM分类器；从而得到用于铁道路口防护区域现场视频图像处理的SVM分类器。
进一步，步骤4中的采用SIFT算法得出不同网络摄像机采集的视频图像之间的SIFT特征关键点对为：对待分析视频图像进行关键点检测确定视频图像中的关键点，构造关键点SIFT特征向量，通过SIFT特征向量匹配原则对不同网络摄像机采集的视频图像中的关键点进行匹配获得SIFT特征关键点对。
进一步，对待分析视频图像进行关键点检测确定视频图像中的关键点后，还包括将视频图像画面分割成多个子画面，确定子画面中的关键点阈值，对于关键点数量少于关键点阈值的子画面，采用人工标注补齐关键点，确保每个子画面内的关键点数量不少于关键点阈值。
进一步，步骤4中的对以SIFT特征关键点对为样本的SIFT特征关键点对原始样本集使用随机抽样一致RANSAC算法构建多摄像机融合坐标变换矩阵为：
构建SIFT特征关键点对原始样本集；构建坐标变换矩阵；使用坐标变换矩阵进行SIFT特征关键点对的相似性迭代运算，消除SIFT特征关键点对原始样本集中的错配SIFT特征关键点对，得到SIFT特征关键点对最终样本集；使用坐标变换矩阵和SIFT特征关键点对最终样本集构建多摄像机融合坐标变换矩阵，得到同一铁路道口的多台网络摄像机所采集到的视频图像之间的映射关系。
进一步，步骤4中的使用多摄像机融合坐标变换矩阵判断出现在同一铁路道口不同网络摄像机所采集到的视频图像中的目标物体是否为可疑目标物体为：通过多摄像机融合坐标变换矩阵，得到同一目标物体在不同摄像机视角内的尺寸、位置、出现时间，从而判断出现在不同网络摄像机视频图像内的目标物体是否为同一物体，再根据简单多数原则判断判断目标物体是否为可疑目标物体。
进一步，步骤4中的使用多摄像机融合坐标变换矩阵通过共面性判断可疑目标物体是否为障碍物为：采用多摄像机融合坐标变换矩阵将其他网络摄像机采集到的视频图像画面转换到基准网络摄像机坐标系下的视频图像画面，将转换得到其他网络摄像机的视频图像画面与基准网络摄像机采集到的视频图像画面差分计算得到差分图像，如果差分图像像素点值小于差分阈值，则可疑目标物体为误报，如果大于等于差分阈值，则可疑目标物体为障碍物。
本发明的基于视频技术的铁路道口防护区域安全智能识别方法适用于铁路/公路交叉道口的安全防护。
与现有技术相比，本发明的有益效果是：
1、本发明的基于视频技术的铁路道口防护区域安全智能识别方法，由于采用多个摄像视角相互错开的网络摄像机以YUV模式实时采集同一铁路道口的现场视频图像，采集到的视频图像中目标物体的视频图像为立体图像，消除了光斑、树叶或者拍摄视角对网络摄像机成像质量的平面化影响，且YUV模式的视频图像能较好地抑制高亮和阴影对检测效果的影响，后续视频图像处理的速度也大幅提高，网络传输中所占带宽较小；由于采用在将混合高斯模型得到的初始背景图像抽样量化后得到的初始码本的基础上，使用多帧待分析视频图像的像素点作为训练学习样本，采用混合高斯模型对初始码本进行扩展，得到具有混合高斯模型特性的工作码本，该工作码本具有良好的鲁棒性和自适应性，能较好地处理多模背景的视频图像，实现视频图像中的目标物体的确定；由于采用具有良好机器学习能力的SVM分类器，实现视频图像中的目标物体进行分析归类，目标物体进行分析归类能力强，处理效率高，处理结果准确；由于采用多摄像机融合坐标变换矩阵配合多摄像机采集同一铁道路口现场视频，可以有效消除光线、阴影等带来的误报，对目标物体进行精确判断，提高障碍物判断质量和判断效率。
从整体来看，本发明的各步骤在技术上相互关联，在作业上相互配合。从而能对地理环境比较复杂的铁路道口区域进行安全智能识别，增强铁路道口安全管理的实时性和可靠性。
2、本发明的基于视频技术的铁路道口防护区域安全智能识别方法，由于在对待分析视频图像进行关键点检测确定视频图像中的关键点后，还对关键点进行人工干预，从而进一步高视频图像中的关键点的有效性；由于在用SIFT算法得出不同网络摄像机采集的视频图像之间的SIFT特征关键点对后对SIFT特征关键点对进行人工干预，从而进一步SIFT特征关键点对匹配的有效性。
3、本发明的基于视频技术的铁路道口防护区域安全智能识别方法，由于在使用多摄像机融合坐标变换矩阵判断目标物体是否为障碍物前，采用直方图均衡法对各个网络摄像机采集到的现场视频图像的亮度进行调整，对各个网络摄像机采集到的现场视频图像做高斯模糊处理，通过对现场视频图像做高斯模糊处理，可以有效减少局部细小纹理对目标物体共面性整体判断的干扰，提高对目标物体的判断能力。
附图说明
图1为本发明的基于视频技术的铁路道口防护区域安全智能识别方法的结构示意图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
本发明的基于视频技术的铁路道口防护区域安全智能识别方法，该方法所采用的设备包括网络摄像机、具有视频分析处理系统的视频分析主机，采用摄像视角相互错开方式在同一铁路道口架设多个网络摄像机，在管理中心设置具有视频分析处理系统的视频分析主机，将每个网络摄像机与视频分析主机网络连接，将每个网络摄像机的摄像模式设置为YUV模式，每个网络摄像机以YUV模式实时采集铁路道口防护区域的现场视频图像数据并将现场视频图像数据传递给视频分析主机，视频分析主机的视频分析处理系统对现场视频图像数据进行智能识别，通过智能识别判断视频图像中的目标物体是否为障碍物。
网络摄像机用于实时采集铁路道口防护区域的现场视频图像数据，并将视频图像数据通过网络传输给视频分析主机。网络摄像机为具有视频编码器和网络通信模块的摄像机，其可以是用于安防和监控行业的工业网络摄像机，如带云台的高速智能化球型网络摄像机，也可以是集成网络通信模块的数字光学摄像机，还可以是将模拟光学摄像机、视频编码器、网络通信模块集成在一起构成的摄像机；从视频图像采集质量上讲，网络摄像机可以是标清网络摄像机，也可以是高清网络摄像机，还可以是超高清网络摄像机。
实施时，本领域的技术人员，根据铁路道口防护区域的地理特性及区域特性，确定网络摄像机的设置位置、拍摄视角、设置数量。网络摄像机通常设置在铁路道口的铁路路口两侧和公路路口两侧，也即在铁路路口两侧和公路路口两侧设置摄像机立杆，将网络摄像机以预定的拍摄视角固定设置在摄像机立杆上，网络摄像机的拍摄视角可以根据实际需要进行调整。一个铁路道口所需设置的网络摄像机数量，以该数量的网络摄像机的拍摄视角能覆盖整个铁路道口防护区域即可。为了便于调整网络摄像机的拍摄视角，优选的方案是，在摄像机立杆安装云台，网络摄像机通过云台固定设置在摄像机立杆上，云台的RS485接口与摄像机的RS485接口电连接。该优选技术方案实施时，可通过管理中心的视频分析主机控制云台转动，调整网络摄像机的拍摄视角，从而提高网络摄像机的现场视频数据采集质量，更好满足铁路道口防护区域安全智能识别的需要。为了使云台和网络摄像机之间具有良好的结构适配性和机械适配性，优选的方案是，网络摄像机为集成云台的高速智能化球型网络摄像机。高速智能化球型网络摄像机不仅集成了光学成像系统、视频编码器、网络通信模块、云台系统，还就运行适配性进行有针对性地优化设计。高速智能化球型网络摄像机能同时对变焦、对焦、光圈、快门、白平衡进行控制调整，最重要的是，其能在控制云台转动的同时将实时采集到现场视频图像数据通过网络传输给管理中心的视频分析主机。
采用上述方式在铁路道口布设网络摄像机，铁路道口防护区域的同一个物体会被至少两台不同拍摄视角的网络摄像机同时捕捉到，当一台网络摄像机受到光斑、树叶或者拍摄视角的影响，捕捉到该物体的视频图像为平面图像，则还能从至少一台网络摄像机获得该物体的立体视频图像，以用于作为铁路道口防护区域安全智能识别。
设置在管理中心的视频分析主机，用于将接收到的现场视频图像数据预存为待分析视频图像数据，对待分析视频图像做运动检测确定目标物体，通过SVM分类器对视频图像中的目标物体进行分类，通过多摄像机融合模型判断障碍物，从而实现铁路道口防护区域的智能识别。从硬件环境构成上看，视频分析主机可以是高性能工作站，也可以是服务器，还可以是云计算平台；从软件运行环境上看，视频分析主机具有底层支持的操作系统，还有运行在操作系统上的专业视频分析处理系统，前述的铁路道口防护区域的智能识别是通过专业视频分析处理系统来实现。上述管理中心是指具有管理控制功能的车站办公功能区，如设备机房、监控中心、信号楼，当然也可以是铁路道口管理室。
实施时，本领域的技术人员，根据要进行安全智能识别的铁路道口数量，设置在每个铁道路口的网络摄像机数量，现场视频图像数据的处理流程及处理工作量，确定视频分析主机的规格，并在视频分析处理系统上进行相应的配置，如给每个网络摄像机分配一个地址码，该地址码，通常采用IP地址来实现。
网络摄像机与视频分析主机之间要实现网络数据通信，需要在铁道路口的网络摄像机与管理中心的视频分析主机之间建立物理网络连接。物理网络连接可以是有线网络连接，也可以是无线网络连接，还可以是有线网络连接和无线网络连接的组合。有线网络连接是通过在铁道路口与管理中心之间布设网络线缆，并在铁道路口、管理中心分别对应设置网络交换设备，从而在铁道路口的网络摄像机与管理中心的视频分析主机之间建立有线网络连接；如果布设的是光纤线缆，则网络交换设备为光纤交换机，如果布设的是铜缆线缆，则网络交换设备为以太网交换机，如果要实现跨城域网进行视频图像数据传输，还需要使用路由器作为路由设备。无线网络连接是通过在铁道路口是通过在铁道路口设置无线基站，在铁道路口、管理中心分别对应设置具有无线网络功能的网络交换机，从而在铁道路口的网络摄像机与管理中心的视频分析主机之间建立无线网络连接。
实施时，本领域的技术人员，如果仅对一个铁路道口防护区域进行安全智能识别，则通过铜缆网线将网络摄像机与网络交换机有线网络连接，通过铜缆网线将网络交换机与视频分析主机有线连接；当然也可以直接在铁路道口防护区域设置无线基站，通过无线基站及相应的具有无线功能的网络交换机在网络摄像机与视频分析主机之间建立无线网络连接。如果需要在管理中心对多个铁路道口的防护区域进行安全智能识别，则在铁路道口与车站之间铺设光纤网路，通过光纤网络将铁路道口的网络摄像机与车站管理中心的视频分析主机连接起来。在通过管理中心的视频分析主机对多个铁路道口的防护区域进行安全智能识别时，如果有的铁路道口处于不便于建设光纤网络的地理区域，或者该铁路道口与管理中心之间铺设光纤网路的成本太高，为了有效降低网络建设成本和维护成本，优选的方案是，在该铁路道口设置无线基站，通过无线基站在该铁路道口的网络摄像机与管理中心的视频分析主机之间建立用于现场视频图像数据传输的无线通信链路。无线基站虽然设备较贵，当相对于高昂的光纤网路建设成本，其具有组网简单，维护方便，建设成本和维护成本较低的技术效果。如果运营商的无线网络满足实时传输视频图像数据的需要，则可以直接采用运营商的无线网络来在铁路道口的网络摄像机与管理中心的视频分析主机之间建立无线通信链路。相较于在铁路道口设置无线基站，选择运营商的无线网络，没有无线基站的设备成本，组网更方便。但是，目前运营商的无线网络，还不具备用于在在铁路道口的网络摄像机与管理中心的视频分析主机之间传递实时视频图像数据所需的稳定性和可靠性。
在网络摄像机与视频分析主机之间的物理通信链路搭建完成后，在视频分析主机上为每个铁路道口的每个网络摄像机分配一个IP，并在对应的网络摄像机上做相应设置，完成网络交换机与视频分析主机之间的协议层通信链路的配置。
同时在视频分析主机上的视频分析处理系统，进行视频图像数据处理流程配置，也即对传入视频分析主机的现场视频图像数据先进行预存，再对场视频图像数据进行识别分析，通过识别分析，判断铁路道口防护区域是否存在行人、机动车、障碍物。
以上是确保实时采集铁路道口防护区域的现场视频图像数据的软硬件支持环境的搭建实施过程。
如图1所示，本发明的基于视频技术的铁路道口防护区域安全智能识别方法，包括以YUV模式实时采集铁路道口防护区域的现场视频图像数据，采用基于码本分析的混合高斯模型对视频图像做运动检测确定目标物体，通过SVM分类器对视频图像中的目标物体进行分类，通过多摄像机融合模型判断障碍物四个步骤，具体过程如下：
步骤1、以YUV模式实时采集铁路道口防护区域的现场视频图像数据：每台网络摄像机以YUV模式实时采集铁路道口防护区域的现场视频图像数据，并通过网络将现场视频图像数据传递给视频分析主机，视频分析主机预存接收到的现场视频图像数据，将其作为待分析现场视频图像数据；
在进行铁路道口防护区域现场视频图像数据实时采集前，本领域的技术人员，将每台网络摄像机的视频图像输出模式设置为YUV模式。
在YUV模式下，“Y”表示亮度，也即灰阶值，“U”和“V”表示的则是色度，用于指定像素的颜色，“U”描述视频图像的色彩，“V”描述视频图像的饱和度。网络摄像机采用YUV模式输出视频图像数据，视频图像信号的亮度信号Y和色度信号U、V是分离的，在没有信号U、V的情况下一样可以通过亮度信号Y进行图像分析。
YUV模式的视频图像数据具有占用带宽小，便于通过网络进行传输的优点；视频图像数据分析时，YUV模式的视频图像数据，在YUV颜色空间进行,省去了大量的浮点型运算，提高了算法的效率，且能够较好地抑制高亮和阴影对检测效果的影响。
铁路道口防护区域现场视频图像数据实时采集时，视频分析主机通过网络控制云台转动，调整每个网络摄像机的现场视频图像捕捉视角，网络摄像机采用YUV模式实时采集铁路道口防护区域现场视频图像，对视频图像进行编码形成视频图像数据，通过网络传输给视频分析主机，视频分析主机将接收到的视频图像数据进行标识、分组，并进行预存，形成后续分析的源数据。
本步骤采用在铁路道口错开设置的多个网络摄像机，相较于单摄像机模式，铁路道口布设的网络摄像机采集到的视频图像中目标物体的视频图像为立体图像，消除了在受光斑、树叶或者拍摄视角的影响，拍摄到的物体图像为平面图像的技术问题；网络摄像机采用YUV模式输出视频图像数据，相较于采用RGB模式输出视频图像数据，YUV模式的视频图像数据，只要有亮度信号Y就能对视频图像进行分析，且能较好地抑制高亮和阴影对检测效果的影响，YUV模式输出视频图像数据能省去了大量的浮点型运算，提高运算效率，且其在网络传输中占用的网络带宽较小。本步骤在铁路道口区域进行安全智能识别时，用于获取适合视频图像智能识别的有效、可靠、稳定的实时铁路道口区域现场视频图像数据，从而保证后续采用视频分析主机对视频图像分析结果的有效性和可靠性。
步骤2、采用具有混合高斯模型特性的工作码本对待分析现场视频图像做运动检测确定目标物体：建立用于分析视频图像数据的混合高斯模型，初始化混合高斯模型得出初始背景图像，将初始背景图像在YUV颜色空间下抽样量化成由码元构成的初始码本，使用多帧待分析视频图像的像素点对初始码本进行匹配性训练学习得出具有混合高斯模型特性的工作码本，采用工作码本对待分析现场视频图像进行处理确定视频图像中的目标物体；
步骤2.1、建立用于分析视频图像数据的混合高斯模型：采用K个高斯成分组成的混合分布来表示视频图像中的每一个像素点的值，构建用于分析视频图像数据的混合高斯模型。
采用K个高斯成分组成的混合分布来表示视频图像中的每一个像素点的值，像素点j在时刻t的取值xj的概率为：
上式中
其中，为t时刻像素点j的混合高斯模型中第k个高斯分量的权重，其满足 为t时刻像素点j的混合高斯模型中第k个高斯成分的均值，为t时刻像素点j的混合高斯模型中第k个高斯成分的协方差，为为t时刻像素点j的混合高斯模型中第k个高斯成分的高斯概率密度函数，d为xj的维数。
步骤2.2、初始化混合高斯模型得出初始背景图像：将每个像素点的每个颜色通道的取值范围设定为[0,255]，将每个高斯分布的第k个高斯分量的权重赋值为1/K，采用待分析现场视频图像中的一帧图像的每个像素点的值，对混合高斯模型中的第k个高斯分布的均值进行初始化，得出初始背景图像。
实施时，通常采用待分析现场视频图像的第一帧图像的每个像素点的值，对混合高斯模型中的第k个高斯分布的均值进行初始化，得出初始背景图像。
如采用50对混合高斯模型中的第k个高斯分布的协方差，对混合高斯模型进行初始化的参数值为，
步骤2.3、将初始背景图像在YUV颜色空间下抽样量化成由码元构成的初始码本。
在YUV颜色空间下抽样量化得到的码元为
其中，ci为第i个码元，μi为第i个码元中所有像素Y分量的均值，vari为第i个码元中所有像素值Y分量的方差，第i个码元中所有像素值U分量的均值，为第i个码元中所有像素值V分量的均值，fi为码元出现的频率，λi为学习训练期间码元出现的最大周期，pi为码元第一次出现时间，qi为码元最后一次出现时间。
与码元结构相匹配的颜色扭曲度为：
brightness＝(Y-μi)2≤2.52vari
与码元结构相匹配的亮度边界为：
其中，brightness为亮度边界，colordist为颜色扭曲度，Y为当前像素的在YUV空间中的Y分量值，U为当前像素的在YUV空间中的U分量值，V为当前像素的在YUV空间中的V分量值，第i个码元中所有像素值U分量的均值，为第i个码元中所有像素值V分量的均值，μi为第i个码元中所有像素值Y分量的均值，vari为第i个码元中所有像素值Y分量的方差。
本步骤将混合高斯模型得到的初始背景图像YUV颜色空间下抽样量化成由码元，也即得到基于初始背景图像的初始码本。
步骤2.4、使用多帧待分析视频图像的像素点对初始码本进行匹配性训练学习得出具有混合高斯模型特性的工作码本：使用多帧待分析视频图像的像素点作为训练学习样本对初始码本进行匹配性训练学习，确定静止像素点和运动像素点，对运动像素点进行混合高斯模型更新，得出具有混合高斯模型特性的工作码本。
步骤2.4.1、使用多帧待分析视频图像的像素点作为训练学习样本对初始码本进行匹配性训练学习，确定静止像素点和运动像素点。
使用多帧待分析视频图像的像素点作为训练学习样本对初始码本进行匹配性训练学习时，采用计分图统计像素点与初始码本的不匹配次数，采用差分二值图统计对应点为零的次数，通过不匹配次数和对应点为零的次数，确定静止像素点和运动像素点。
上述计分图为
其中，a为容忍值，a的取值可以根据视频图像中的场景较复杂程度进行调整，a的取值范围为0～3；
上述差分二值图统计对应点为零的次数，记为count。
当采用T帧待分析视频图像的像素点对初始码本进行匹配性训练学习后，如果mapi＞T/2，且count＞3/5T，则该像素点为静止像素点，反之为运动像素点。
步骤2.4.2、对运动像素点进行混合高斯模型更新，得出具有混合高斯模型特性的工作码本。
对静止像素点不进行混合高斯模型的更新，对运动像素点进行混合高斯模型更新，通过运动像素点的更新，得出具有混合高斯模型特性的工作码本。
其中，对运动像素点进行混合高斯模型更新的算法为
其中，cL为更新后的码本，γ为学习率，γ＝1/fi 2，Y为当前像素的在YUV空间中的Y分量值，U为当前像素的在YUV空间中的U分量值，V为当前像素的在YUV空间中的V分量值，第i个码元中所有像素值U分量的均值，为第i个码元中所有像素值V分量的均值，fi为第i个码元出现的频率，λi为学习训练期间第i个码元出现的最大周期，pi为第i个码元第一次出现时间，qi为第i个码元最后一次出现时间，μi为第i个码元中所有像素值Y分量的均值，vari为第i个码元中所有像素值Y分量的方差。
本步骤在将混合高斯模型得到的初始背景图像抽样量化后得到的初始码本的基础上，使用多帧待分析视频图像的像素点作为训练学习样本，采用混合高斯模型对初始码本进行扩展，得到具有混合高斯模型特性的工作码本，该工作码本具有良好的鲁棒性和自适应性，能较好地处理多模背景的视频图像。上述鲁棒性也即抗变换性。
步骤2.5、采用工作码本对待分析现场视频图像进行处理确定视频图像中的目标物体：采用工作码本对待分析现场视频图像进行处理，将由静止像素点构成的静止物体前景从运动背景中分离出来，从而确定目标物体。
步骤3、建立SVM分类器通过SVM分类器对待分析视频图像中的目标物体进行分类：制作包括行人图像、车辆图像、背景物图像的分类训练图像集，创建具有行人特征库、车辆特征库、背景物特征库的SVM分类初始模型，采用分类训练图像集对SVM分类初始模型进行训练学习得到SVM分类器，采用SVM分类器对待分析视频图像中的目标物体进行分析归类。
SVM(Support Vector Machine)支持向量机，在机器学习领域是一个有监督的学习模型，其通常用来进行模式识别、分类、以及回归分析。
步骤3.1、制作包括行人图像、车辆图像、背景物图像的分类训练图像集：采用工作码本提取图像样本中的行人图像、车辆图像、背景物图像，并将图像归类建立训练图像集。
实施时，用于提取行人图像、车辆图像、背景物图像的图像样本可以是互联网搜集到的图像，也可以是采用网络摄像机从铁路道口防护区域采集到的现场视频图像。
步骤3.2、创建具有行人特征库、车辆特征库、背景物特征库的SVM分类初始模型：以面积、周长、面积除以周长得数的平方、占空比、长宽比、惯性主轴方向几何特征为提取特征，创建具有行人特征库、车辆特征库、背景物特征库的SVM分类初始模型，并对SVM分类初始模型进行初始化。
步骤3.3、采用分类训练图像集对SVM分类初始模型进行训练学习得到SVM分类器：以训练图像集中行人图像为行人训练样本，采用行人训练样本对SVM分类初始模型进行学习训练，将学习训练结果和实际图片进行比对，直到学习训练的均方误差达到期望值，得到行人SVM分类器；以训练图像集中车辆图像为车辆训练样本，采用车辆训练样本对SVM分类初始模型进行学习训练，将学习训练结果和实际图片进行比对，直到学习训练的均方误差达到期望值，得到车辆SVM分类器；以训练图像集中背景物图像为背景物训练样本，采用背景物训练样本对SVM分类初始模型进行学习训练，将学习训练结果和实际图片进行比对，直到学习训练的均方误差达到期望值，得到背景物SVM分类器；从而得到用于铁道路口防护区域现场视频图像处理的SVM分类器。
上述期望值，本领域的技术人员可以根据训练效果的实际需要确定。
步骤3.4、采用SVM分类器对待分析视频图像中的目标物体进行分析归类：使用SVM分类器对采用工作码本检测后确定的目标物体进行行人、车辆、背景物归类。
本步骤采用具有良好机器学习能力的SVM分类器，实现视频图像中的目标物体进行分析归类，目标物体进行分析归类能力强，处理效率高，处理结果准确。
步骤4、使用多摄像机融合坐标变换矩阵判断目标物体是否为障碍物：采用SIFT算法得出不同网络摄像机采集的视频图像之间的SIFT特征关键点对，对以SIFT特征关键点对为样本的SIFT特征关键点对原始样本集使用随机抽样一致RANSAC算法构建多摄像机融合坐标变换矩阵，使用多摄像机融合坐标变换矩阵判断出现在同一铁路道口不同网络摄像机所采集到的视频图像中的目标物体是否为可疑目标物体，使用多摄像机融合坐标变换矩阵通过共面性判断可疑目标物体是否为障碍物。
SIFT(Scale-invariant feature transform)算法，也即尺度不变特征转换算法，是一种计算机视觉的算法，其用来检测和描述影像中的局部性特征，在空间尺度中寻找极值点，并给出极值点的位置、尺度、旋转不变量。
RANSAC(RANdom SAmple Consensus)算法，也即随机抽样一致算法，其经常用于计算机视觉技术领域，特别是在立体视觉领域中，用于解决两个以上摄像机采集到的图像中的匹配点问题及基本矩阵的计算。它是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的迭代算法。
步骤4.1、采用SIFT算法得出不同网络摄像机采集的视频图像之间的SIFT特征关键点对：对待分析视频图像进行关键点检测确定视频图像中的关键点，构造关键点SIFT特征向量，通过SIFT特征向量匹配原则对不同网络摄像机采集的视频图像中的关键点进行匹配获得SIFT特征关键点对；
步骤4.1.1、对待分析视频图像进行关键点检测确定视频图像中的关键点。
对同一铁路道口的所有网络摄像机采集到的待分析视频图像采用不同尺度的高斯核函数连续滤波和下采样，形成多个高斯金字塔图像，然后再对相邻尺度的两个高斯金字塔图像相减得到DoG(Difference-of-Gaussians)金字塔多尺度空间，再对DOG金字塔多尺度空间的每个点与相邻尺度和相邻位置的点逐个进行比较，获得局部极值位置，即关键点所处的位置和对应的尺度，从而得到视频图像中的关键点。
为了对关键点进行精确定位，优选的方案是，通过曲面拟合方法对关键点进行精确定位。
为了提高视频图像中的关键点的有效性，优选的方案是，对待分析视频图像进行关键点检测确定视频图像中的关键点后，还包括将视频图像画面分割成多个子画面，确定子画面中的关键点阈值，对于关键点数量少于关键点阈值的子画面，采用人工标注补齐关键点，确保每个子画面内的关键点数量不少于关键点阈值。关键点阈值为子画面中的关键点最少数量，也即在后续要构建多摄像机融合坐标变换矩阵子画面中所需的关键点最少数量。实施时，关键点阈值通常为4，本领域的技术人员，通常将视频图像画面分割成16个子画面，对于关键点数量少于4个的子画面，采用人工标注补齐4个关键点，确保每个子画面内的关键点数量不少于4个。
步骤4.1.2、构造关键点SIFT特征向量。
首先给每个关键点赋予一个关键点主方向，以主方向为参照，对任意一个关键点，在其所在的金字塔多尺度空间，取以关键点为中心的邻域，将此邻域均匀地分为N×N个子区域，N≧2，对每个子区域计算梯度方向直方图，接着对N×N个子区域的M方向梯度直方图进行位置排序，从而构成了一个N×N×M维的关键点SIFT特征向量。
为了使构造出的关键点SIFT特征向量具有旋转不变性，优选的方案是，给每个关键点赋予一个关键点邻域内各点梯度方向的直方图中最大值所对应的方向为主方向。
实施时，可采用下述方法构造关键点SIFT特征向量：对任意一个关键点,在其所在的金字塔多尺度空间，也即高斯金字塔结构的某一层，取以关键点为中心的16像素×16像素大小的邻域，再将此邻域均匀地分为4×4个子区域，每个子区域大小为4像素×4像素，对每个子区域计算梯度方向直方图，直方图均匀分为8个方向；然后，对4×4个子区域的8方向梯度直方图根据位置依次排序，从而构建一个4×4×8＝128维的SIFT特征向量。其中，第1维对应于第一个子区域的第一个梯度方向，第2维对应于第一个子区域的第2个梯度方向，第9维对应于第二个子区域的第一个梯度方向，依次类推。
步骤4.1.3、通过SIFT特征向量匹配原则对不同网络摄像机采集的视频图像中的关键点进行匹配获得SIFT特征关键点对。
对同一铁路道口的所有网络摄像机采集到的待分析视频图像中的关键点SIFT特征向量构造完成后，以同一铁路道口的所有网络摄像机中的一台网络摄像机为基准网络摄像机，取基准网络摄像机采集到的视频图像中的一个关键点，找出其他网络摄像机采集到的视频图像中与该关键点欧式距离最近的前两个关键点，当最近欧式距离除以次近欧式距离小于预定比例阈值，距离最近的关键点为该关键点的SIFT特征对应关键点，也即上述两个关键点互为SIFT特征关键点对，直到基准网络摄像机采集到的视频图像中的所有关键点完成SIFT特征向量匹配。
实施时，本领域的技术人员，可以根据实际需要调整预定比例阈值，预定比例阈值越小，获得SIFT特征关键点对数目会减少，但更加稳定。
为了提高SIFT特征关键点对的匹配质量，优选的方案是，采用SIFT算法得出不同网络摄像机采集的视频图像之间的SIFT特征关键点对后还包括，将视频图像画面分割成多个子区域，对于关键点大于6的子区域，人工剔除匹配性差的SIFT特征关键点对及相应的关键点，对于关键点少于4的子区域，人工增加关键点及增加相应的SIFT特征关键点对。为了便于在关键点少于4的子区域增加关键点，优选的方案是，在该子区域中设置参照物，将关键点设在参照物上。本优选方案采用人工干预关键点的布局，使SIFT特征关键点对分布均匀。
实施时，通常将视频图像画面分割成16个子区域对于关键点数量少于4对的子画面，采用人工标注补齐4对关键点，确保每个子画面内关键点数量不少于4对，对于关键点过于集中的子画面，保留分值前6的6对关键点。
步骤4.2、对以SIFT特征关键点对为样本的SIFT特征关键点对原始样本集使用随机抽样一致RANSAC算法构建多摄像机融合坐标变换矩阵：构建SIFT特征关键点对原始样本集；构建坐标变换矩阵；使用坐标变换矩阵进行SIFT特征关键点对的相似性迭代运算，消除SIFT特征关键点对原始样本集中的错配SIFT特征关键点对，得到SIFT特征关键点对最终样本集；使用坐标变换矩阵和SIFT特征关键点对最终样本集构建多摄像机融合坐标变换矩阵，得到同一铁路道口的多台网络摄像机所采集到的视频图像之间的映射关系；
步骤4.2.1、构建SIFT特征关键点对原始样本集：在通过SIFT特征向量匹配原则对所有网络摄像机采集的视频图像中的关键点进行匹配获得SIFT特征关键点对后，以SIFT特征关键点对为样本，构建SIFT特征关键点对原始样本集；
步骤4.2.2、构建坐标变换矩阵：从SIFT特征关键点对原始样本集中抽取一个RANSAC样本，采用该RANSAC样本计算坐标变换矩阵；
步骤4.2.3、使用坐标变换矩阵进行SIFT特征关键点对的相似性迭代运算，消除SIFT特征关键点对原始样本集中的错配SIFT特征关键点对，得到SIFT特征关键点对最终样本集；
A、从SIFT特征关键点对原始样本集中读取一个SIFT特征关键点对样本，将其带入坐标变换矩阵，计算变换误差，根据误差度量函数获得满足坐标变换矩阵的SIFT特征关键点对样本集的一致集，并返回一致集中的元素个数；
B、设定最小允许错误概率，根据一致集中的元素个数判断该一致集是否为最大一致集，如果是最大一致集，则更新当前最大一致集。
C、如果不是最大一致集，则更新当前错误概率，从SIFT特征关键点对样本集中再读取一个RANSAC样本，重复步骤A至B进行迭代运算，直到当前错误概率小于最小允许错误概率，从而获得消除SIFT特征关键点对原始样本集中的错配SIFT特征关键点对的SIFT特征关键点对最终样本集。
本步骤的是通过RANSAC算法计算SIFT特征关键点对内的两个关键点之间的相似性，来消除SIFT特征关键点对匹配时存在的错配问题。
步骤4.2.4、使用坐标变换矩阵和SIFT特征关键点对最终样本集构建多摄像机融合坐标变换矩阵，得到同一铁路道口的多台网络摄像机所采集到的视频图像之间的映射关系；
步骤4.3、使用多摄像机融合坐标变换矩阵判断出现在同一铁路道口不同网络摄像机所采集到的视频图像中的目标物体是否为可疑目标物体：通过多摄像机融合坐标变换矩阵，得到同一目标物体在不同摄像机视角内的尺寸、位置、出现时间，从而判断出现在不同网络摄像机视频图像内的目标物体是否为同一物体，再根据简单多数原则判断判断目标物体是否为可疑目标物体。
在进行SIFT特征关键点对匹配时，是以同一铁路道口的所有网络摄像机的一台网络摄像机为基准网络摄像机，取该基准网络摄像机采集到的视频图像中的关键点和其他网络摄像机采集到的视频图像中的关键点进行匹配，得出所有SIIFT特征关键点对，再以SIIFT特征关键点对为样本建立多摄像机融合坐标变换矩阵，因此，实施时，该多摄像机融合坐标变换矩阵，可以将其他网络摄像机采集到的视频图像的变换到基准网络摄像机坐标系中，对目标物体的大小、方位、出现时间进行比较，一致的就是障碍物，不一致的当作是误报。
如同一铁路道口设置有网络摄像机A、网络摄像机B、网络摄像机C三台网络摄像机，选定网络摄像机A为基准网络摄像机，将网络摄像机B、网络摄像机C发现的可疑目标物体投影到网络摄像机A的坐标系中，通过目标物体的大小，位置，出现时间，来确定三个网络摄像机下发现的可疑目标物体是否是同一物体。如果同一目标物体至少在两个摄像机下大小、位置、出现时间均一致，确认为是可疑目标物体，反之确认为误报。
本步骤可以有效消除光线、阴影等带来的误报。
步骤4.4、使用多摄像机融合坐标变换矩阵通过共面性判断可疑目标物体是否为障碍物：采用多摄像机融合坐标变换矩阵将其他网络摄像机采集到的视频图像画面转换到基准网络摄像机坐标系下的视频图像画面，将转换得到其他网络摄像机的视频图像画面与基准网络摄像机采集到的视频图像画面差分计算得到差分图像，如果差分图像像素点值小于差分阈值，则可疑目标物体为误报，如果大于等于差分阈值，则可疑目标物体为障碍物。
差分阈值，为可疑目标物体判断准确率达到95％的差分值。
实施时，假设网络摄像机A的采集到的视频图像画面为imA，将imA通过多摄像机融合坐标变换矩阵计算后变换到基准网络摄像机坐标系下的视频图像画面imA’，将imA’与基准网络摄像机采集到的视频图像画面imB做差分计算得到差分图像imSub，设定差分阈值，imSub像素点值小于差分阈值，判断目标物为阴影、树叶等带来的误报，如果大于等于差分阈值，则可疑目标物体判断为障碍物。
本步骤是基于多摄像机融合坐标变换矩阵是基于两个摄像机之间的区域地平面之间的变换关系，铁路道口防护区域的物体如果在道口区域地平面上，物体进入网络摄像机画面的区域基本重合，也即物体在两个网络摄像机画面中具有共面性。
使用多摄像机融合坐标变换矩阵判断目标物体是否为障碍物，由于采用多摄像机融合坐标变换矩阵配合多摄像机采集同一铁道路口现场视频，可以有效消除光线、阴影等带来的误报，对目标物体进行精确判断，提高障碍物判断质量和判断效率。
为了消除目标物体上的细小纹理对目标物体判断的影响，优选的方案是，在步骤4前还包括采用直方图均衡法对各个网络摄像机采集到的现场视频图像的亮度进行调整，对各个网络摄像机采集到的现场视频图像做高斯模糊处理。通过对现场视频图像做高斯模糊处理，可以有效减少局部细小纹理对目标物体共面性整体判断的干扰。

Claims (10)

1.基于视频技术的铁路道口防护区域安全智能识别方法，该方法所采用的设备包括网络摄像机、具有视频分析处理系统的视频分析主机，其特征在于，采用摄像视角相互错开方式在同一铁路道口架设多个网络摄像机，在管理中心设置具有视频分析处理系统的视频分析主机，将每个网络摄像机与视频分析主机网络连接，将每个网络摄像机的摄像模式设置为YUV模式；每个网络摄像机以YUV模式实时采集铁路道口防护区域的现场视频图像数据并将现场视频图像数据传递给视频分析主机，视频分析主机的视频分析处理系统对现场视频图像数据进行智能识别，通过智能识别判断视频图像中的目标物体是否为障碍物；该方法包括以下步骤：
步骤1、以YUV模式实时采集铁路道口防护区域的现场视频图像数据：每台网络摄像机以YUV模式实时采集铁路道口防护区域的现场视频图像数据，并通过网络将现场视频图像数据传递给视频分析主机，视频分析主机预存接收到的现场视频图像数据，将其作为待分析现场视频图像数据；
步骤2、采用具有混合高斯模型特性的工作码本对待分析现场视频图像做运动检测确定目标物体：建立用于分析视频图像数据的混合高斯模型，初始化混合高斯模型得出初始背景图像，将初始背景图像在YUV颜色空间下抽样量化成由码元构成的初始码本，使用多帧待分析视频图像的像素点对初始码本进行匹配性训练学习得出具有混合高斯模型特性的工作码本，采用工作码本对待分析现场视频图像进行处理确定视频图像中的目标物体；
步骤3、建立SVM分类器通过SVM分类器对待分析视频图像中的目标物体进行分类：制作包括行人图像、车辆图像、背景物图像的分类训练图像集，创建具有行人特征库、车辆特征库、背景物特征库的SVM分类初始模型，采用分类训练图像集对SVM分类初始模型进行训练学习得到SVM分类器，采用SVM分类器对待分析视频图像中的目标物体进行分析归类；
步骤4、使用多摄像机融合坐标变换矩阵判断目标物体是否为障碍物：采用SIFT算法得出不同网络摄像机采集的视频图像之间的SIFT特征关键点对，对以SIFT特征关键点对为样本的SIFT特征关键点对原始样本集使用随机抽样一致RANSAC算法构建多摄像机融合坐标变换矩阵，使用多摄像机融合坐标变换矩阵判断出现在同一铁路道口不同网络摄像机所采集到的视频图像中的目标物体是否为可疑目标物体，使用多摄像机融合坐标变换矩阵通过共面性判断可疑目标物体是否为障碍物。
2.根据权利要求1所述的基于视频技术的铁路道口防护区域安全智能识别方法，其特征在于,步骤3之后步骤4前还包括
采用直方图均衡法对各个网络摄像机采集到的现场视频图像的亮度进行调整，对各个网络摄像机采集到的现场视频图像做高斯模糊处理。
3.根据权利要求1所述的基于视频技术的铁路道口防护区域安全智能识别方法，其特征在于,步骤4中所述采用SIFT算法得出不同网络摄像机采集的视频图像之间的SIFT特征关键点对后还包括
将视频图像画面分割成多个子区域，对于关键点大于6的子区域，人工剔除匹配性差的SIFT特征关键点对及相应的关键点，对于关键点少于4的子区域，人工增加关键点及增加相应的SIFT特征关键点对。
4.根据权利要求1至3中任意一项权利要求所述的基于视频技术的铁路道口防护区域安全智能识别方法，其特征在于,步骤3中所述的创建具有行人特征库、车辆特征库、背景物特征库的SVM分类初始模型为：
以面积、周长、面积除以周长得数的平方、占空比、长宽比、惯性主轴方向几何特征为提取特征，创建具有行人特征库、车辆特征库、背景物特征库的SVM分类初始模型，并对SVM分类初始模型进行初始化。
5.根据权利要求1至3中任意一项权利要求所述的基于视频技术的铁路道口防护区域安全智能识别方法，其特征在于,步骤3中所述的采用分类训练图像集对SVM分类初始模型进行训练学习得到SVM分类器为：
以训练图像集中行人图像为行人训练样本，采用行人训练样本对SVM分类初始模型进行学习训练，将学习训练结果和实际图片进行比对，直到学习训练的均方误差达到期望值，得到行人SVM分类器；以训练图像集中车辆图像为车辆训练样本，采用车辆训练样本对SVM分类初始模型进行学习训练，将学习训练结果和实际图片进行比对，直到学习训练的均方误差达到期望值，得到车辆SVM分类器；以训练图像集中背景物图像为背景物训练样本，采用背景物训练样本对SVM分类初始模型进行学习训练，将学习训练结果和实际图片进行比对，直到学习训练的均方误差达到期望值，得到背景物SVM分类器；从而得到用于铁道路口防护区域现场视频图像处理的SVM分类器。
6.根据权利要求1至3中任意一项权利要求所述的基于视频技术的铁路道口防护区域安全智能识别方法，其特征在于,步骤4中所述的采用SIFT算法得出不同网络摄像机采集的视频图像之间的SIFT特征关键点对为：
对待分析视频图像进行关键点检测确定视频图像中的关键点，构造关键点SIFT特征向量，通过SIFT特征向量匹配原则对不同网络摄像机采集的视频图像中的关键点进行匹配获得SIFT特征关键点对。
7.根据权利要求6所述的基于视频技术的铁路道口防护区域安全智能识别方法，其特征在于,所述对待分析视频图像进行关键点检测确定视频图像中的关键点后，还包括
将视频图像画面分割成多个子画面，确定子画面中的关键点阈值，对于关键点数量少于关键点阈值的子画面，采用人工标注补齐关键点，确保每个子画面内的关键点数量不少于关键点阈值。
8.根据权利要求1至3中任意一项权利要求所述的基于视频技术的铁路道口防护区域安全智能识别方法，其特征在于,步骤4中所述的对以SIFT特征关键点对为样本的SIFT特征关键点对原始样本集使用随机抽样一致RANSAC算法构建多摄像机融合坐标变换矩阵为：
构建SIFT特征关键点对原始样本集；构建坐标变换矩阵；使用坐标变换矩阵进行SIFT特征关键点对的相似性迭代运算，消除SIFT特征关键点对原始样本集中的错配SIFT特征关键点对，得到SIFT特征关键点对最终样本集；使用坐标变换矩阵和SIFT特征关键点对最终样本集构建多摄像机融合坐标变换矩阵，得到同一铁路道口的多台网络摄像机所采集到的视频图像之间的映射关系。
9.根据权利要求1至3中任意一项权利要求所述的基于视频技术的铁路道口防护区域安全智能识别方法，其特征在于,步骤4中所述的使用多摄像机融合坐标变换矩阵判断出现在同一铁路道口不同网络摄像机所采集到的视频图像中的目标物体是否为可疑目标物体为：
通过多摄像机融合坐标变换矩阵，得到同一目标物体在不同摄像机视角内的尺寸、位置、出现时间，从而判断出现在不同网络摄像机视频图像内的目标物体是否为同一物体，再根据简单多数原则判断判断目标物体是否为可疑目标物体。
10.根据权利要求1至3中任意一项权利要求所述的基于视频技术的铁路道口防护区域安全智能识别方法，其特征在于,步骤4中所述的使用多摄像机融合坐标变换矩阵通过共面性判断可疑目标物体是否为障碍物为：
采用多摄像机融合坐标变换矩阵将其他网络摄像机采集到的视频图像画面转换到基准网络摄像机坐标系下的视频图像画面，将转换得到其他网络摄像机的视频图像画面与基准网络摄像机采集到的视频图像画面差分计算得到差分图像，如果差分图像像素点值小于差分阈值，则可疑目标物体为误报，如果大于等于差分阈值，则可疑目标物体为障碍物。
CN201510415061.9A 2015-07-15 2015-07-15 基于视频技术的铁路道口防护区域安全智能识别方法 Active CN104951775B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510415061.9A CN104951775B (zh) 2015-07-15 2015-07-15 基于视频技术的铁路道口防护区域安全智能识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510415061.9A CN104951775B (zh) 2015-07-15 2015-07-15 基于视频技术的铁路道口防护区域安全智能识别方法

Publications (2)

Publication Number Publication Date
CN104951775A CN104951775A (zh) 2015-09-30
CN104951775B true CN104951775B (zh) 2018-02-02

Family

ID=54166417

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510415061.9A Active CN104951775B (zh) 2015-07-15 2015-07-15 基于视频技术的铁路道口防护区域安全智能识别方法

Country Status (1)

Country Link
CN (1) CN104951775B (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9598076B1 (en) * 2015-10-22 2017-03-21 Ford Global Technologies, Llc Detection of lane-splitting motorcycles
CN107273880A (zh) * 2017-07-31 2017-10-20 秦皇岛玥朋科技有限公司 一种基于智能视频监控的立体车库安防系统及方法
CN107423719A (zh) * 2017-08-03 2017-12-01 上海物联网有限公司 一种基于视频图像的铁路货场防护红牌检测方法
JP6614508B2 (ja) * 2017-09-08 2019-12-04 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
CN109698895A (zh) * 2017-10-20 2019-04-30 杭州海康威视数字技术股份有限公司 一种模拟摄像机、监控系统及数据发送方法
CN107918762B (zh) * 2017-10-24 2022-01-14 江西省高速公路投资集团有限责任公司 一种公路遗撒物快速检测系统及方法
CN108074416A (zh) * 2017-12-12 2018-05-25 中国铁道科学研究院电子计算技术研究所 一种交通道口的预警系统
CN109974686B (zh) * 2017-12-28 2023-03-31 沈阳新松机器人自动化股份有限公司 基于监控摄像头检测的搬运机器人路径规划辅助方法
US20190362159A1 (en) * 2018-05-23 2019-11-28 GM Global Technology Operations LLC Crowd sourced construction zone detection for autonomous vehicle map maintenance
CN108985221A (zh) * 2018-07-12 2018-12-11 广州视源电子科技股份有限公司 视频片段检测方法、装置、设备和存储介质
CN110798653B (zh) 2018-08-01 2021-09-14 华为技术有限公司 一种基于多机协作的图像处理方法和视频监控系统
CN109447090B (zh) * 2018-10-17 2021-12-03 宁波中车时代传感技术有限公司 一种屏蔽门障碍物检测方法及检测系统
CN109697861A (zh) * 2019-02-21 2019-04-30 武昌理工学院 一种道路障碍识别装置及识别方法
TWI691940B (zh) * 2019-04-02 2020-04-21 奇美車電股份有限公司 車用攝影系統與物件偵測方法
CN110208014B (zh) * 2019-06-25 2021-02-05 大连交通大学 城轨车体底架覆盖测量方法
CN110348463B (zh) * 2019-07-16 2021-08-24 北京百度网讯科技有限公司 用于识别车辆的方法和装置
JP2021050941A (ja) * 2019-09-20 2021-04-01 パナソニックＩｐマネジメント株式会社 検知システム及び機器制御システム
CN111539277A (zh) * 2020-04-14 2020-08-14 华北电力大学（保定） 一种输电线路区域内施工机械的检测方法及系统
CN111681262B (zh) * 2020-05-08 2021-09-03 南京莱斯电子设备有限公司 一种基于邻域梯度的复杂背景下红外弱小目标检测方法
CN111861102B (zh) * 2020-06-05 2022-11-25 西南交通大学 一种铁路货车运行安全评估方法及系统
CN112102314B (zh) * 2020-11-02 2021-03-09 成都考拉悠然科技有限公司 基于不确定性来判断人脸图片质量的计算方法
CN114895609A (zh) * 2022-06-27 2022-08-12 中国电信股份有限公司 机房监控方法、装置、设备及介质
CN117793308A (zh) * 2024-02-23 2024-03-29 天津七一二移动通信有限公司 一种铁路沿线和无人道口人工智能安全防护装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102819764A (zh) * 2012-07-18 2012-12-12 郑州金惠计算机系统工程有限公司 一种适用于交通路口复杂场景下的多视角人流量统计方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8744125B2 (en) * 2011-12-28 2014-06-03 Pelco, Inc. Clustering-based object classification

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102819764A (zh) * 2012-07-18 2012-12-12 郑州金惠计算机系统工程有限公司 一种适用于交通路口复杂场景下的多视角人流量统计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于视频的道口障碍物检测算法的设计与实现;李生金;《中国优秀硕士学位论文全文数据库 信息科技辑》;20121015;全文 *
铁路路障视频检测技术;楼瑞霞;《中国优秀博硕士学位论文全文数据库（硕士）工程科技Ⅱ辑》;20070415;全文 *

Also Published As

Publication number Publication date
CN104951775A (zh) 2015-09-30

Similar Documents

Publication Publication Date Title
CN104951775B (zh) 基于视频技术的铁路道口防护区域安全智能识别方法
CN104303193B (zh) 基于聚类的目标分类
CN107145851A (zh) 建筑作业区危险源智能识别系统
CN109657581B (zh) 基于双目相机行为检测的城市轨道交通闸机通行控制方法
CN103069434B (zh) 用于多模式视频事件索引的方法和系统
CN110660222B (zh) 一种智能环保道路黑烟车辆电子抓拍系统
CN108665487B (zh) 基于红外和可见光融合的变电站作业对象和目标定位方法
CN107253485A (zh) 异物侵入检测方法及异物侵入检测装置
CN110175576A (zh) 一种结合激光点云数据的行驶车辆视觉检测方法
CN105187785B (zh) 一种基于动态选取显著特征的跨卡口行人识别系统与方法
CN110688987A (zh) 一种行人位置检测与跟踪方法及系统
CN108037770A (zh) 基于人工智能的无人机输电线路巡检系统和方法
CN104637058B (zh) 一种基于图像信息的客流量识别统计方法
CN106384106A (zh) 一种基于三维扫描的反欺诈人脸识别系统
CN104320617B (zh) 一种基于深度学习的全天候视频监控方法
CN106331636A (zh) 基于行为事件触发的输油管道智能视频监控系统及方法
CN103761514A (zh) 基于广角枪机和多球机实现人脸识别的系统及方法
KR20200071799A (ko) 딥러닝 인공지능 기술을 이용한 객체인식 및 카운팅 방법
CN109918971A (zh) 监控视频中人数检测方法及装置
CN206322194U (zh) 一种基于三维扫描的反欺诈人脸识别系统
CN105069816B (zh) 一种进出口人流量统计的方法及系统
CN109828267A (zh) 基于实例分割和深度摄像头的变电站巡检机器人障碍物检测和测距方法
CN107122740A (zh) 一种基于双摄像机的车型识别装置及方法
CN101833673A (zh) 电力开关柜开关状态图像识别系统
CN112183472A (zh) 一种基于改进RetinaNet的试验现场人员是否穿着工作服检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant