CN115272425B - 一种基于三维点云的铁路工地区域入侵检测方法及系统 - Google Patents

一种基于三维点云的铁路工地区域入侵检测方法及系统 Download PDF

Info

Publication number
CN115272425B
CN115272425B CN202211039577.4A CN202211039577A CN115272425B CN 115272425 B CN115272425 B CN 115272425B CN 202211039577 A CN202211039577 A CN 202211039577A CN 115272425 B CN115272425 B CN 115272425B
Authority
CN
China
Prior art keywords
point cloud
dimensional
dimensional point
intrusion
moving object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211039577.4A
Other languages
English (en)
Other versions
CN115272425A (zh
Inventor
房灵国
左睿
张红勇
路耀邦
王胜楠
陈�光
刘玉振
刘雪松
宋林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Railway Cloud Information Technology Co ltd
Original Assignee
China Railway Cloud Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Railway Cloud Information Technology Co ltd filed Critical China Railway Cloud Information Technology Co ltd
Priority to CN202211039577.4A priority Critical patent/CN115272425B/zh
Publication of CN115272425A publication Critical patent/CN115272425A/zh
Application granted granted Critical
Publication of CN115272425B publication Critical patent/CN115272425B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明提供一种基于三维点云的铁路工地区域入侵检测方法及系统，其中方法包括使用激光雷达采集铁路工地区域的三维点云数据，还包括以下步骤：对当前帧的所述三维点云数据进行预处理，提取三维点云中的有效信息；在检测开始前，对采集到的整个场景中的所述三维点云数据进行区域划分，标记安全区域与危险区域边界；对三维场景中位于危险区域的运动目标进行检测；对检测到的所述运动目标进行追踪；通过预先设定的入侵规则对所有运动目标进行判别，当发现有目标触犯入侵规则时，将入侵信息发送给告警模块触发警报。本发明利用三维点云数据对铁路工地中的危险区域进行监测和告警，从而实现对工地现场安全的实时监管。

Description

一种基于三维点云的铁路工地区域入侵检测方法及系统
技术领域
本发明涉及水库流量计算的技术领域，特别是一种基于三维点云的铁路工地区域入侵检测方法及系统。
背景技术
在铁路作业场景中，存在某些区域由于现场施工状况的变化，可能存在安全隐患，如滑坡、基坑、泥浆池，以及仓库、配电室等重要场所。因此，工地区域入侵检测是现场安全监管的基础环节。
早期对区域入侵的管控多是传统的人工监控值守，难以实现实时监控与及时报警。随着机器视觉的发展，目前大多数技术通过智能监控，利用视频图像对工地现场进行区域入侵检测与报警。目前的视觉监测方案的基本工作流程为：获取当前帧图片、对监测区域的目标进行检测、发出告警通知。图像的获取简单、快速，但图像质量对环境的依赖性较大，易受光照、能见度的影响，尤其是在工地这种复杂的露天场景下，检测准确率会出现较大的波动。
申请公开号为CN108846335A的发明专利申请公开了一种基于视频图像的智慧工地区域管理入侵检测方法、系统，基于视频监控图像，自动识别监控区域内由所放置标识物划分的区域，采用混合高斯模型对视频图像背景建模，提取包含运动目标的前景图像；对前景图像进行中值滤波、形态学预处理，提取运动目标的连通域特征和LBP纹理特征，采用两层级别的跟踪策略；对提取的每个运动目标与图像中所检测到的区域做入侵检测；对检测到的非法入侵事件，根据区域管理规范发出声光报警信号。该方法基于二维的视频图像进行检测，无法准确定位目标的三维位置，且可能会受到遮挡及角度错位的影响，导致入侵判别失败。
发明内容
为了解决上述的技术问题，本发明提出的一种基于三维点云的铁路工地区域入侵检测方法及系统，利用三维点云数据对铁路工地中的危险区域进行监测和告警，从而实现对工地现场安全的实时监管。
本发明的第一目的是提供一种基于三维点云的铁路工地区域入侵检测方法，包括使用激光雷达采集铁路工地区域的三维点云数据，还包括以下步骤：
步骤1：对当前帧的所述三维点云数据进行预处理，提取三维点云中的有效信息；
步骤2：在检测开始前，对采集到的整个场景中的所述三维点云数据进行区域划分，标记安全区域与危险区域边界；
步骤3：对三维场景中位于危险区域的运动目标进行检测；
步骤4：对检测到的所述运动目标进行追踪；
步骤5：通过预先设定的入侵规则对所有运动目标进行判别，当发现有目标触犯入侵规则时，将入侵信息发送给告警模块触发警报。
优选的是，所述使用激光雷达采集铁路工地区域的三维点云数据步骤包括使用激光雷达主动向铁路工地区域内发射光波，通过比较接收到的目标反射回来的信号与发射信号，得到目标距离、方位和高度信息，进一步生成所述三维点云数据。
在上述任一方案中优选的是，所述步骤1包括以下子步骤：
步骤11：剔除所述三维点云数据中的离群点和/或噪音点，采用高斯滤波过滤点云的噪声；
步骤12：利用RANSAC算法分割出地面并去除地面点云；
步骤13：将剩余的所述三维点云数据转换为体素形式。
在上述任一方案中优选的是，所述步骤13包括设定点云范围为(L,W,H)，体素大小为(vx,vy,vz)，将点云划分为(L/vx,W/vy,H/vz)的体素网格。
在上述任一方案中优选的是，所述步骤3包括以下子步骤：
步骤31：利用三维卷积神经网络提取体素的三维特征张量；
步骤32：沿高度压缩点云特征，将点云中的所有点投影到x-y平面上，得到对应的二维特征张量；
步骤33：通过预先训练的优化模型回归出目标的包围框，输出目标的检测信息。
在上述任一方案中优选的是，所述三维特征张量的提取方法包括以下子步骤：
步骤311：分别使用步长为1、2、4、8的三维稀疏卷积对体素化后的点云做降采样，得到对应特征f1、f2、f3、f4；
步骤312：自上而下地生成不同分辨率下特征体的特征，记fv i为第i个尺度下的特征体特征，i取1、2、3、4分别代表1、2、4、8降采样后的尺度；
步骤313：自下而上地融合不同尺度特征，融合后的特征Fv＝Concat(Deconv(Concat(Deconv(Concat(Deconv(fv 4),fv 3)),fv 2)),fv 1)，其中，Concat为特征连接操作，Deconv为三维稀疏反卷积。
在上述任一方案中优选的是，所述特征体特征的表达式为
fv 1＝f1
fv 2＝Concat(Conv(f1),f2)
fv 3＝Concat(Conv(fv 2),f3)
fv 4＝Concat(Conv(fv 3),f4)
其中，f1表示使用步长为1的三维稀疏卷积提取到的特征，f2表示使用步长为2的三维稀疏卷积提取到的特征，f3表示使用步长为4的三维稀疏卷积提取到的特征，f4表示使用步长为8的三维稀疏卷积提取到的特征，Conv为三维稀疏卷积。
在上述任一方案中优选的是，所述运动目标的追踪方法包括以下子步骤：
步骤41：获取上一帧目标的空间位置及当前帧目标的空间位置；
步骤42：使用卡尔曼滤波器根据上一帧的目标位置计算得到当前帧的预测值；
步骤43：以当前帧的目标位置为观测值，与所述预测值相比较，更新卡尔曼滤波的参数，包括状态转移矩阵和协方差矩阵：
步骤44：保存更新后的卡尔曼滤波的参数。
在上述任一方案中优选的是，所述入侵的判断方法包括：
步骤51：计算目标的运动轨迹是否与警戒线相交，若相交，说明目标正在进入警戒区，转入步骤53,，否则转入步骤52；
步骤52：计算目标与危险区域的交集，若交集大于阈值，说明目标位于危险区内，转入步骤53，否则继续获取所述三维点云数据；
步骤53：获取目标所在位置及运动轨迹，根据运动轨迹计算目标逗留时间，打包生成入侵信息。
本发明的第二目的是提供一种基于三维点云的铁路工地区域入侵检测系统，包括用于使用激光雷达采集铁路工地区域的三维点云数据的数据采集模块，还包括以下模块：
三维点云预处理模块：用于对当前帧的所述三维点云数据进行预处理，提取三维点云中的有效信息；
检测区域设置模块：用于在检测开始前，对所述数据采集模块采集到的整个场景中的所述三维点云数据进行区域划分，标记安全区域与危险区域边界；
运动目标检测模块：用于对三维场景中位于危险区域的运动目标进行检测；
目标追踪模块：用于对检测到的所述运动目标进行追踪；
入侵判别模块：用于通过预先设定的入侵规则对所有运动目标进行判别，当发现有目标触犯入侵规则时，将入侵信息发送给告警模块触发警报。
优选的是，所述采集模块用于使用激光雷达主动向铁路工地区域内发射光波，通过比较接收到的目标反射回来的信号与发射信号，得到目标距离、方位和高度信息，进一步生成所述三维点云数据。
在上述任一方案中优选的是，所述预处理包括以下子步骤：
步骤11：剔除所述三维点云数据中的离群点和/或噪音点，采用高斯滤波过滤点云的噪声；
步骤12：利用RANSAC算法分割出地面并去除地面点云；
步骤13：将剩余的所述三维点云数据转换为体素形式。
在上述任一方案中优选的是，所述步骤13包括设定点云范围为(L,W,H)，体素大小为(vx,vy,vz)，将点云划分为(L/vx,W/vy,H/vz)的体素网格。
在上述任一方案中优选的是，所述运动目标的检测方法包括以下子步骤：
步骤31：利用三维卷积神经网络提取体素的三维特征张量；
步骤32：沿高度压缩点云特征，将点云中的所有点投影到x-y平面上，得到对应的二维特征张量；
步骤33：通过预先训练的优化模型回归出目标的包围框，输出目标的检测信息。
在上述任一方案中优选的是，所述三维特征张量的提取方法包括以下子步骤：
步骤311：分别使用步长为1、2、4、8的三维稀疏卷积对体素化后的点云做降采样，得到对应特征f1、f2、f3、f4；
步骤312：自上而下地生成不同分辨率下特征体的特征，记fv i为第i个尺度下的特征体特征，i取1、2、3、4分别代表1、2、4、8降采样后的尺度；
步骤313：自下而上地融合不同尺度特征，融合后的特征Fv＝Concat(Deconv(Concat(Deconv(Concat(Deconv(fv 4),fv 3)),fv 2)),fv 1)，其中，Concat为特征连接操作，Deconv为三维稀疏反卷积。
在上述任一方案中优选的是，所述特征体特征的表达式为
fv 1＝f1
fv 2＝Concat(Conv(f1),f2)
fv 3＝Concat(Conv(fv 2),f3)
fv 4＝Concat(Conv(fv 3),f4)
其中，f1表示使用步长为1的三维稀疏卷积提取到的特征，f2表示使用步长为2的三维稀疏卷积提取到的特征，f3表示使用步长为4的三维稀疏卷积提取到的特征，f4表示使用步长为8的三维稀疏卷积提取到的特征，Conv为三维稀疏卷积。
在上述任一方案中优选的是，所述运动目标的追踪方法包括以下子步骤：
步骤41：获取上一帧目标的空间位置及当前帧目标的空间位置；
步骤42：使用卡尔曼滤波器根据上一帧的目标位置计算得到当前帧的预测值；
步骤43：以当前帧的目标位置为观测值，与所述预测值相比较，更新卡尔曼滤波的参数，包括状态转移矩阵和协方差矩阵：
步骤44：保存更新后的卡尔曼滤波的参数。
在上述任一方案中优选的是，所述入侵的判断方法包括：
步骤51：计算目标的运动轨迹是否与警戒线相交，若相交，说明目标正在进入警戒区，转入步骤53,，否则转入步骤52；
步骤52：计算目标与危险区域的交集，若交集大于阈值，说明目标位于危险区内，转入步骤53，否则继续获取所述三维点云数据；
步骤53：获取目标所在位置及运动轨迹，根据运动轨迹计算目标逗留时间，打包生成入侵信息。
本发明提出了一种基于三维点云的铁路工地区域入侵检测方法，能够取代人力，实现全天、高效、高准确度地区域入侵监测和告警，提高了铁路工地管理的安全性。
附图说明
图1为按照本发明的基于三维点云的铁路工地区域入侵检测方法的一优选实施例的流程图。
图2为按照本发明的基于三维点云的铁路工地区域入侵检测系统的一优选实施例的模块图。
图3为按照本发明的基于三维点云的铁路工地区域入侵检测方法的一优选实施例的应用场景示意图。
图4为按照本发明的基于三维点云的铁路工地区域入侵检测方法的另一优选实施例的流程图。
具体实施方式
下面结合附图和具体的实施例对本发明做进一步的阐述。
实施例一
如图1、2所示，执行步骤1000，数据采集模块200使用激光雷达采集铁路工地区域的三维点云数据。使用激光雷达主动向铁路工地区域内发射光波，通过比较接收到的目标反射回来的信号与发射信号，得到目标距离、方位和高度信息，进一步生成所述三维点云数据。
执行步骤1100，三维点云预处理模块210对当前帧的所述三维点云数据进行预处理，提取三维点云中的有效信息。预处理包括以下子步骤：
执行步骤1110，剔除所述三维点云数据中的离群点和/或噪音点，采用高斯滤波过滤点云的噪声。
执行步骤1120，利用RANSAC算法分割出地面并去除地面点云。
执行步骤1130，将剩余的所述三维点云数据转换为体素形式,设定点云范围为(L,W,H)，体素大小为(vx,vy,vz)，将点云划分为(L/vx,W/vy,H/vz)的体素网格。
执行步骤1200，检测区域设置模块220在检测开始前，对数据采集模块200采集到的整个场景中的所述三维点云数据进行区域划分，标记安全区域与危险区域边界。
执行步骤1300，运动目标检测模块230对三维场景中位于危险区域的运动目标进行检测。运动目标的检测方法包括以下子步骤：
执行步骤1310，利用三维卷积神经网络提取体素的三维特征张量,三维特征张量的提取方法包括以下子步骤：
执行步骤1313，分别使用步长为1、2、4、8的三维稀疏卷积对体素化后的点云做降采样，得到对应特征f1、f2、f3、f4；
执行步骤1313，自上而下地生成不同分辨率下特征体的特征，记fv i为第i个尺度下的特征体特征，i取1、2、3、4分别代表1、2、4、8降采样后的尺度；
执行步骤1313，自下而上地融合不同尺度特征，融合后的特征Fv＝Concat(Deconv(Concat(Deconv(Concat(Deconv(fv 4),fv 3)),fv 2)),fv 1)，其中，Concat为特征连接操作，Deconv为三维稀疏反卷积，特征体特征的表达式为
fv 1＝f1
fv 2＝Concat(Conv(f1),f2)
fv 3＝Concat(Conv(fv 2),f3)
fv 4＝Concat(Conv(fv 3),f4)
其中，f1表示……,f2表示……,f3表示……,f4表示……，Conv为三维稀疏卷积。
执行步骤1320，沿高度压缩点云特征，将点云中的所有点投影到x-y平面上，得到对应的二维特征张量。
执行步骤1330，通过预先训练的优化模型回归出目标的包围框，输出目标的检测信息。
执行步骤1400，目标追踪模块240对检测到的所述运动目标进行追踪，运动目标的追踪方法包括以下子步骤：
执行步骤1410，获取上一帧目标的空间位置及当前帧目标的空间位置。
执行步骤1420，使用卡尔曼滤波器根据上一帧的目标位置计算得到当前帧的预测值。
执行步骤1430，以当前帧的目标位置为观测值，与所述预测值相比较，更新卡尔曼滤波的参数，包括状态转移矩阵和协方差矩阵.
执行步骤1440，保存更新后的卡尔曼滤波的参数。
执行步骤1500，入侵判别模块250通过预先设定的入侵规则对所有运动目标进行判别，当发现有目标触犯入侵规则时，将入侵信息发送给告警模块触发警报。入侵的判断方法包括：
执行步骤1510，计算目标的运动轨迹是否与警戒线相交，若相交，说明目标正在进入警戒区，转入步骤53,，否则转入步骤52；
执行步骤1520，计算目标与危险区域的交集，若交集大于阈值，说明目标位于危险区内，转入步骤53，否则继续获取所述三维点云数据；
执行步骤1530，获取目标所在位置及运动轨迹，根据运动轨迹计算目标逗留时间，打包生成入侵信息。
实施例二
本发明提供了一种利用三维点云对铁路工地危险区域进行入侵检测的方法，用于解决传统基于视频图像进行区域入侵检测的方法中存在的问题。本发明的目的是利用三维点云数据对铁路工地中的危险区域进行监测和告警，从而实现对工地现场安全的实时监管。
如图3、4所示，本实施例中具体涉及一种基于三维点云的铁路工程区域入侵检测方法，该区域入侵检测方法由数据采集模块、三维点云预处理模块、检测区域设置模块、运动目标检测模块、目标追踪模块、入侵判别模块和告警模块组成，其中数据采集模块与激光雷达相连，通过区域入侵检测局域网将数据传送到计算机控制系统中进行区域的入侵检测，计算机控制系统与告警装备相连接，根据控制系统的检测结果决定是否告警。具体地，包括以下步骤：
(1)数据采集模块，使用激光雷达采集铁路工地区域的三维点云数据；
(2)三维点云预处理模块，对当前帧的三维点云数据进行预处理，提取点云中的有效信息；
(3)检测区域设置模块，在检测开始前，对数据采集模块采集到的整个场景中的数据进行区域划分，标记安全区域与危险区域边界；
(4)运动目标检测模块，对三维场景中位于危险区域的运动目标进行检测；
(5)目标追踪模块，对运动目标检测模块中检测到的目标进行追踪；
(6)入侵判别模块，通过预先设定的入侵规则对所有运动目标进行判别，当发现有目标触犯入侵规则时，将入侵信息发送给告警模块触发警报；
(7)告警模块，在发生入侵行为时，发出告警信息；
(8)重复步骤(1)～(7)，对后续采集的每一帧点云进行处理，达到实时检测、追踪、判别入侵人员的目的。
所述步骤(1)使用的激光雷达主动向工地区域内发射光波，通过比较接收到的目标反射回来的信号与发射信号，得到目标距离、方位、高度等信息，进一步生成三维点云数据。如图1所示，所述的多个激光雷达与通过局域网与计算机控制系统相连，将采集到的三维点云数据传输至控制系统中进行检测处理。激光雷达均架设在待检测区域的正上方。
采集到的点云数据中不仅包含场景内的目标，还包含场景的背景点与噪音点，对后续点云处理造成干扰，因此需要通过预处理操作剔除无关点云，保留有效信息。所述步骤(2)中的预处理操作包括以下步骤：
(21)点云数据离群点、噪声点的剔除，采用高斯滤波过滤点云的噪声；
(22)地面点云去除，点云数据中的地面点为后续点云识别带来干扰，利用RANSAC算法分割出地面并去除；
(23)点云数据体素化，为便于特征提取，且减小计算量，将点云数据转换为体素形式。假设点云范围为(L,W,H)，体素大小为(vx,vy,vz)，可以将点云划分为(L/vx,W/vy,H/vz)的体素网格。
所述步骤(3)中的检测区域设置操作的目的是明确危险区域与安全区域的边界，即警戒线，同时危险区域的设置可以减少后续运动目标检测和追踪的范围，降低计算量。区域的设置是通过向所述计算机控制系统输入事先拟定的参数实现的。
所述步骤(4)中的运动目标检测操作包括以下步骤：
(41)体素特征提取，利用三维卷积神经网络提取体素的三维特征张量；
(42)沿高度压缩点云特征，从而将点云中的所有点投影到x-y平面上，得到对应的二维特征张量；
(43)通过预先训练的优化模型回归出目标的包围框，输出目标的检测信息。
所述步骤(41)中使用的三维卷积神经网络采用三维稀疏卷积实现，作为VoxelNet的一种改进，所述体素特征提取操作对多尺度体素特征进行了融合，具体处理过程如下：
(411)分别使用步长为1、2、4、8的三维稀疏卷积对体素化后的点云做降采样，得到对应特征f1、f2、f3、f4；
(412)自上而下地生成不同分辨率下特征体的特征，记fv i为第i个尺度下的特征体特征，i取1、2、3、4分别代表1、2、4、8降采样后的尺度。fv 1＝f1，fv 2＝Concat(Conv(f1),f2)，fv 3＝Concat(Conv(fv 2),f3)，fv 4＝Concat(Conv(fv 3),f4)。其中Concat为特征连接操作，Conv为三维稀疏卷积；
(413)自下而上地融合不同尺度特征，融合后的特征Fv＝Concat(Deconv(Concat(Deconv(Concat(Deconv(fv 4),fv 3)),fv 2)),fv 1)，其中Deconv为三维稀疏反卷积。
所述目标的检测信息包括目标的三维空间坐标和检测时间。
所述步骤(5)中的目标追踪操作包括以下步骤：
(51)从目标检测模块中获取上一帧目标的空间位置及当前帧目标的空间位置；
(52)使用卡尔曼滤波器根据上一帧的目标位置计算得到当前帧的预测值；
(53)以当前帧的目标位置为观测值，与步骤(52)中预测值相比较，更新卡尔曼滤波的参数，包括状态转移矩阵和协方差矩阵；
(54)将更新后的卡尔曼滤波参数传递下去，用于计算下一帧目标的预测值。
所述步骤(6)中的入侵判别操作包括以下步骤：
(61)计算目标的运动轨迹是否与警戒线相交，若相交，说明目标正在进入警戒区，转入步骤(63)，否则转入步骤(62)；
(62)计算目标与危险区域的交集，若交集大于阈值，说明目标位于危险区内，转入(63)，否则转入步骤(1)；
(63)获取目标所在位置及运动轨迹，根据运动轨迹计算目标逗留时间，打包生成入侵信息。
所述入侵信息包括入侵目标的类型、入侵时间、当前位置、运动轨迹、危险区域逗留时间等。
所述步骤(7)中的告警操作与告警装备相连，根据入侵判别模块输出的入侵信息，生成告警信息，并传递给告警设备发出告警。
所述告警信息包括是否告警、告警等级、告警方式、入侵对象的入侵信息等。告警等级可以结合入侵对象类型或逗留时间来确定。告警模块与告警装置相连接，可以根据告警等级确定告警方式，如声告警、光告警、声光告警。
本发明的有益效果包含以下方面：
(1)能够克服不同光照强度的影响。摄像头采集的视频图像易受到光照的影响，在光线较暗时拍摄到的画面质量不佳，从而影响入侵检测的精度，而采用激光雷达通过发射激光束的方式采集的三维点云数据，无需环境光，可实现日夜稳定监控。
(2)能够克服背景与前景目标颜色相似导致低检测精度的问题。对于二维图像来说，前背景的颜色区分度是一个重要的识别标志，而三维点云数据不受目标颜色的影响，专注于目标的形状等特征，能够准确识别前背景目标。
(3)基于AI技术，通过大量样本的训练和更新，实现了可靠的区域入侵检测方法，能够取代人力，实现全天、高效、高准确度地区域入侵监测和告警，提高了铁路工地管理的安全性。
为了更好地理解本发明，以上结合本发明的具体实施例做了详细描述，但并非是对本发明的限制。凡是依据本发明的技术实质对以上实施例所做的任何简单修改，均仍属于本发明技术方案的范围。本说明书中每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims (7)

1.一种基于三维点云的铁路工地区域入侵检测方法，包括使用激光雷达采集铁路工地区域的三维点云数据，其特征在于，还包括以下步骤：
步骤1：对当前帧的所述三维点云数据进行预处理，提取三维点云中的有效信息；
步骤2：在检测开始前，对采集到的整个场景中的所述三维点云数据进行区域划分，标记安全区域与危险区域边界；
步骤3：对三维场景中位于危险区域的运动目标进行检测，包括以下子步骤：
步骤31：利用三维卷积神经网络提取体素的三维特征张量，所述三维特征张量的提取方法包括以下子步骤：
步骤311：分别使用步长为1、2、4、8的三维稀疏卷积对体素化后的点云做降采样，得到对应特征f1、f2、f3、f4；
步骤312：自上而下地生成不同分辨率下特征体的特征，记fv i为第i个尺度下的特征体特征，i取1、2、3、4分别代表1、2、4、8降采样后的尺度；
步骤313：自下而上地融合不同尺度下的特征体特征，融合后的特征Fv＝Concat(Deconv(Concat(Deconv(Concat(Deconv(fv 4),fv 3)),fv 2)),fv 1)，其中，Concat为特征连接操作，Deconv为三维稀疏反卷积；
步骤32：沿高度压缩融合后的特征，将点云中的所有点投影到x-y平面上，得到对应的二维特征张量；
步骤33：通过预先训练的优化模型回归出运动目标的包围框，输出运动目标的检测信息；
步骤4：对检测到的所述运动目标进行追踪，所述运动目标的追踪方法包括以下子步骤：
步骤41：获取上一帧运动目标的空间位置及当前帧运动目标的空间位置；
步骤42：使用卡尔曼滤波器根据上一帧的运动目标的空间位置计算得到当前帧的预测值；
步骤43：以当前帧的运动目标的空间位置为观测值，与所述预测值相比较，更新卡尔曼滤波器的参数，包括状态转移矩阵和协方差矩阵；
步骤44：保存更新后的卡尔曼滤波器的参数；
步骤5：通过预先设定的入侵规则对所有运动目标进行判别，当发现有运动目标触犯入侵规则时，将入侵信息发送给告警模块触发警报。
2.如权利要求1所述的基于三维点云的铁路工地区域入侵检测方法，其特征在于，所述使用激光雷达采集铁路工地区域的三维点云数据步骤包括使用激光雷达主动向铁路工地区域内发射光波，通过比较接收到的运动目标反射回来的信号与发射信号，得到运动目标距离、方位和高度信息，进一步生成所述三维点云数据。
3.如权利要求1所述的基于三维点云的铁路工地区域入侵检测方法，其特征在于，所述步骤1包括以下子步骤：
步骤11：剔除所述三维点云数据中的离群点和/或噪音点，采用高斯滤波过滤点云的噪声；
步骤12：利用RANSAC算法分割出地面并去除地面点云；
步骤13：将剩余的所述三维点云数据转换为体素形式。
4.如权利要求3所述的基于三维点云的铁路工地区域入侵检测方法，其特征在于，所述步骤13包括设定点云范围为(L,W,H)，体素大小为(vx,vy,vz)，将点云划分为(L/vx,W/vy,H/vz)的体素网格。
5.如权利要求4所述的基于三维点云的铁路工地区域入侵检测方法，其特征在于，所述特征体特征的表达式为
fv 1＝f1
fv 2＝Concat(Conv(f1),f2)
fv 3＝Concat(Conv(fv 2),f3)
fv 4＝Concat(Conv(fv 3),f4)
其中，f1表示使用步长为1的三维稀疏卷积提取到的特征，f2表示使用步长为2的三维稀疏卷积提取到的特征，f3表示使用步长为4的三维稀疏卷积提取到的特征，f4表示使用步长为8的三维稀疏卷积提取到的特征，Conv为三维稀疏卷积。
6.如权利要求5所述的基于三维点云的铁路工地区域入侵检测方法，其特征在于，所述入侵的判断方法包括：
步骤51：计算运动目标的运动轨迹是否与警戒线相交，若相交，说明目标正在进入警戒区，转入步骤53，否则转入步骤52；
步骤52：计算运动目标与危险区域的交集，若交集大于阈值，说明运动目标位于危险区域内，转入步骤53，否则继续获取所述三维点云数据；
步骤53：获取运动目标所在位置及运动轨迹，根据运动轨迹计算运动目标逗留时间，打包生成入侵信息。
7.一种基于三维点云的铁路工地区域入侵检测系统，包括用于使用激光雷达采集铁路工地区域的三维点云数据的数据采集模块，其特征在于，还包括以下模块：
三维点云预处理模块：用于对当前帧的所述三维点云数据进行预处理，提取三维点云中的有效信息；
检测区域设置模块：用于在检测开始前，对所述数据采集模块采集到的整个场景中的所述三维点云数据进行区域划分，标记安全区域与危险区域边界；
运动目标检测模块：用于对三维场景中位于危险区域的运动目标进行检测，所述运动目标的检测方法包括以下子步骤：
步骤31：利用三维卷积神经网络提取体素的三维特征张量，所述三维特征张量的提取方法包括以下子步骤：
步骤311：分别使用步长为1、2、4、8的三维稀疏卷积对体素化后的点云做降采样，得到对应特征f1、f2、f3、f4；
步骤312：自上而下地生成不同分辨率下特征体的特征，记fv i为第i个尺度下的特征体特征，i取1、2、3、4分别代表1、2、4、8降采样后的尺度；
步骤313：自下而上地融合不同尺度下的特征体特征，融合后的特征Fv＝Concat(Deconv(Concat(Deconv(Concat(Deconv(fv 4),fv 3)),fv 2)),fv 1)，其中，Concat为特征连接操作，Deconv为三维稀疏反卷积；
步骤32：沿高度压缩融合后的特征，将点云中的所有点投影到x-y平面上，得到对应的二维特征张量；
步骤33：通过预先训练的优化模型回归出运动目标的包围框，输出运动目标的检测信息；
目标追踪模块：用于对检测到的所述运动目标进行追踪，所述运动目标的追踪方法包括以下子步骤：
步骤41：获取上一帧运动目标的空间位置及当前帧运动目标的空间位置；
步骤42：使用卡尔曼滤波器根据上一帧的运动目标的空间位置计算得到当前帧的预测值；
步骤43：以当前帧的运动目标的空间位置为观测值，与所述预测值相比较，更新卡尔曼滤波器的参数，包括状态转移矩阵和协方差矩阵；
步骤44：保存更新后的卡尔曼滤波器的参数；
入侵判别模块：用于通过预先设定的入侵规则对所有运动目标进行判别，当发现有运动目标触犯入侵规则时，将入侵信息发送给告警模块触发警报。
CN202211039577.4A 2022-08-29 2022-08-29 一种基于三维点云的铁路工地区域入侵检测方法及系统 Active CN115272425B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211039577.4A CN115272425B (zh) 2022-08-29 2022-08-29 一种基于三维点云的铁路工地区域入侵检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211039577.4A CN115272425B (zh) 2022-08-29 2022-08-29 一种基于三维点云的铁路工地区域入侵检测方法及系统

Publications (2)

Publication Number Publication Date
CN115272425A CN115272425A (zh) 2022-11-01
CN115272425B true CN115272425B (zh) 2023-08-15

Family

ID=83754669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211039577.4A Active CN115272425B (zh) 2022-08-29 2022-08-29 一种基于三维点云的铁路工地区域入侵检测方法及系统

Country Status (1)

Country Link
CN (1) CN115272425B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115908338B (zh) * 2022-11-29 2023-08-29 北京数字绿土科技股份有限公司 基于三维点云的电力设施与入侵物距离检测方法和系统
CN116030428B (zh) * 2023-03-30 2023-06-30 武汉创领信服科技有限公司 工地区域危险报警监测方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3578320A1 (de) * 2018-06-07 2019-12-11 Sick AG Konfigurieren einer von einem 3d-sensor überwachten gefahrenstelle
CN110675431A (zh) * 2019-10-08 2020-01-10 中国人民解放军军事科学院国防科技创新研究院 一种融合图像和激光点云的三维多目标跟踪方法
CN110862033A (zh) * 2019-11-12 2020-03-06 中信重工开诚智能装备有限公司 一种应用于煤矿斜井绞车的智能预警检测方法
CN112949566A (zh) * 2021-03-25 2021-06-11 浙江华是科技股份有限公司 一种监控方法、装置、系统及计算机存储介质
CN114358140A (zh) * 2021-12-13 2022-04-15 南京莱斯信息技术股份有限公司 低能见度下稀疏点云航空器快速捕获方法
CN114660612A (zh) * 2020-12-23 2022-06-24 国电南瑞科技股份有限公司 基于多线激光雷达的变电站室外作业区域防护方法及系统
CN114879160A (zh) * 2022-07-12 2022-08-09 合肥派光感知信息技术有限公司 基于三维点云数据的铁轨异物入侵实时监测方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3578320A1 (de) * 2018-06-07 2019-12-11 Sick AG Konfigurieren einer von einem 3d-sensor überwachten gefahrenstelle
CN110675431A (zh) * 2019-10-08 2020-01-10 中国人民解放军军事科学院国防科技创新研究院 一种融合图像和激光点云的三维多目标跟踪方法
CN110862033A (zh) * 2019-11-12 2020-03-06 中信重工开诚智能装备有限公司 一种应用于煤矿斜井绞车的智能预警检测方法
CN114660612A (zh) * 2020-12-23 2022-06-24 国电南瑞科技股份有限公司 基于多线激光雷达的变电站室外作业区域防护方法及系统
CN112949566A (zh) * 2021-03-25 2021-06-11 浙江华是科技股份有限公司 一种监控方法、装置、系统及计算机存储介质
CN114358140A (zh) * 2021-12-13 2022-04-15 南京莱斯信息技术股份有限公司 低能见度下稀疏点云航空器快速捕获方法
CN114879160A (zh) * 2022-07-12 2022-08-09 合肥派光感知信息技术有限公司 基于三维点云数据的铁轨异物入侵实时监测方法及系统

Also Published As

Publication number Publication date
CN115272425A (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
CN115272425B (zh) 一种基于三维点云的铁路工地区域入侵检测方法及系统
CN110889350B (zh) 一种基于三维成像的线路障碍物监测报警系统及方法
CN104821056B (zh) 基于雷达与视频融合的智能警戒方法
CN111899568B (zh) 桥梁防撞预警系统、方法、装置和存储介质
CN110862033B (zh) 一种应用于煤矿斜井绞车的智能预警检测方法
JP5551595B2 (ja) 滑走路監視システムおよび方法
CN111461088B (zh) 一种基于图像处理与目标识别的轨道交通避障系统
CN102792314A (zh) 交叉通行碰撞警报系统
CN114140503A (zh) 基于深度学习的配电网危险区域识别装置及方法
CN115205796B (zh) 轨道线路异物侵限监测与风险预警方法及系统
CN111913177A (zh) 对目标物探测方法、装置以及存储介质
CN113484858A (zh) 一种入侵检测方法和系统
CN115083088A (zh) 铁路周界入侵预警方法
CN114019503A (zh) 基于fod检测系统的机场跑道异物检测方法、设备、存储介质
CN115953662A (zh) 一种基于多模式融合识别的列车运行环境障碍物感知方法
WO2011036661A1 (en) System and method for long-range surveillance of a scene and alerting of predetermined unusual activity
Yang et al. On-road collision warning based on multiple FOE segmentation using a dashboard camera
Raj et al. Wild Animals Intrusion Detection for Safe Commuting in Forest Corridors using AI Techniques
Kanhere et al. Real-time detection and tracking of vehicle base fronts for measuring traffic counts and speeds on highways
CN114084129A (zh) 一种基于融合的车辆自动驾驶控制方法及系统
CN117409393A (zh) 一种焦炉机车激光点云与视觉融合障碍物检测方法及系统
CN117347973A (zh) 一种基于点云三维目标跟踪的区域入侵智能管控方法
CN116935551A (zh) 周界入侵检测方法、系统、设备及存储介质
CN116402994A (zh) 基于激光雷达和视频图像融合的铁路危情监测方法
Zou et al. Active pedestrian detection for excavator robots based on multi-sensor fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant