CN110659552B - 有轨电车障碍物检测及报警方法 - Google Patents
有轨电车障碍物检测及报警方法 Download PDFInfo
- Publication number
- CN110659552B CN110659552B CN201910346188.8A CN201910346188A CN110659552B CN 110659552 B CN110659552 B CN 110659552B CN 201910346188 A CN201910346188 A CN 201910346188A CN 110659552 B CN110659552 B CN 110659552B
- Authority
- CN
- China
- Prior art keywords
- obstacle
- image
- edge
- tramcar
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 22
- 230000004888 barrier function Effects 0.000 claims abstract description 7
- 238000003708 edge detection Methods 0.000 claims abstract description 6
- 238000012544 monitoring process Methods 0.000 claims abstract description 5
- 238000001914 filtration Methods 0.000 claims abstract description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 claims description 2
- 238000005259 measurement Methods 0.000 abstract description 3
- 238000012216 screening Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
- B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
- B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
- B61L23/041—Obstacle detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明提出了一种有轨电车障碍物检测及报警方法,包括以下步骤:提取监控设备帧图,划分一个梯形的感兴趣区域;将感兴趣区域进行灰度化处理;滤波处理消除噪声;采用Sobel边缘检测进行定位;进行图像二值化处理;利用几何特征对障碍物进行筛选;建立测距模型精确计算筛选后的障碍物距离;用激光雷达检测前方障碍物距离;取两边检测信息进行目标障碍物一致性检测和重合度计算判断是否需要报警。本发明采用激光检测与机器视觉检测双检测系统识别障碍物并测距报警,观测效率高。
Description
技术领域
本发明属于机器视觉与激光检测技术,具体为一种有轨电车障碍物检测及报警方法。
背景技术
机器视觉检测与激光雷达检测技术是智能交通领域运用极为广泛的一部分,如无人驾驶、高铁异物侵限监测等。国内如今大部分有轨电车运行安全都是依赖于司机对前方路况的主观判断,存在一定的安全隐患。在交通流较大的路段处,司机易出现慌神、走神等情况,无法观察到所有动态障碍物的运动轨迹或是静态障碍物的存在,并且在夜晚、雨雾等天气条件下,司机的视线会受到较大的影响,无法保证有轨电车安全运行。
目前最常用的障碍物检测传感器为雷达或者机器视觉,但是机器视觉易受光照影响,并且计算量大,难以获取难度信息,雷达又只能获取目标的点位信息。并且以上两种方法都是通过单个传感器进行检测,而单个传感器往往只能有针对性的获取障碍物一到两个特征,而无法兼顾障碍物其他信息,同时对于计算障碍物距离存在一定误差,无法帮助司机实时监测并且受到报警信息。
发明内容
本发明的目的在于提出了一种有轨电车障碍物检测及报警方法。
实现本发明的技术解决方案为:一种有轨电车障碍物检测及报警方法,具体步骤为:
步骤1、提取设置在有轨电车上摄像机识别车前障碍物监控视频中的一帧图像作为源图;
步骤2、对步骤1获得的源图划分感兴趣目标区域;
步骤3、对感兴趣区域进行灰度化和归一化处理;
步骤4、对灰度图进行直方图均衡化处理、线性的高斯平滑处理以及非线性的中值滤波处理;
步骤5、采用Sobel算法进行边缘检测对障碍物检测定位,确定障碍物粗定位区域;
步骤6、对图像进行二值化处理;
步骤7、通过障碍物粗定位区域边缘像素与其周围像素的连接数判断该障碍物粗定位区域边缘像素示是否为目标障碍物的边缘点,并将判断为目标障碍物的边缘点确组成一个连通域;
步骤8、根据边缘曲线轮廓确定是否为障碍物;
步骤9、计算有轨电车到障碍物的距离;
步骤10、利用激光雷达扫描有轨电车前方,根据激光雷达接收的反射光束,确定障碍物所在位置以及到有轨电车的距离;
步骤11、判断步骤9和步骤10检测的障碍物位置是否有重叠,如果有重叠,则认为所检测的目标为同一个目标,进行一级报警;如果没有重叠,当只有激光雷达检测到障碍物则进行一级报警,当只有摄像机图像检测到障碍物则进行二级报警;当同时都检测到障碍物时,进行二级报警。
本发明与现有技术相比,其显著优点为:1)本发明采用激光检测与机器视觉检测双检测系统识别障碍物并测距报警,观测效率高;2)本发明结合两种检测方法,检测精度高,能够确定感兴趣区域,成本低;3)本发明障碍物检测系统大范围布置代价小,可行性高,将两种检测系统的优缺点进行互补,提升了系统的准确性。
下面结合附图对本发明做进一步详细的描述。
附图说明
图1为本发明机器视觉检测障碍物流程图。
图2为本发明激光雷达检测障碍物流程图。
图3为本发明测距模型示意图。
图4为本发明报警流程图。
具体实施方式
如图1~图4所示,一种有轨电车障碍物检测及报警方法,具体步骤为:
步骤1、提取设置在有轨电车上摄像机识别车前障碍物监控视频中的一帧图像作为源图;
步骤2、对步骤1获得的源图划分感兴趣目标区域,本发明只对感兴趣区域内部进行后续处理,可以节省图像处理的时间,提高处理精度。
步骤3、对感兴趣区域进行灰度化和归一化处理,灰度化能反映图像的形态特征,而图像归一化使得图像能够抵抗几何变换的攻击,从而找出图像中的不变量。
步骤4、对灰度图进行直方图均衡化处理使得图片的对比度增大,使图像细节清晰,以达到增强的目的。通过高斯平滑分配权重,客观上减轻了与周围像素的差异。现实情况下,由于灰度化处理图像的噪声存在会使图像上在噪声处出现灰度跃变,干扰对图像进行分析处理,采用中值滤波用邻域中值代替该点像素值,去除噪声保留图像特征。
步骤5、机动车车身纹理为水平边缘,行人纹理多呈现垂直边缘。依据此特性采用Sobel算法实现边缘检测对障碍物检测进行定位。Sobel算法是一离散型差分算子,用以运算图像高亮函数的灰度近似值,为便于后续二值图像处理,具体方法为:
步骤5-1、提取图像每一个像素点(a,b)的灰度值f(a,b),根据像素点的灰度值确定横向及纵向边缘检测的图像灰度值;
步骤5-2、将横向及纵向边缘检测的图像灰度值分别与原始图像进行平面卷积;
步骤5-3、根据平面卷积后图像的横向及纵向灰度值,计算目标图像像素点图像梯度值;
步骤5-4、将目标像素点的图像梯度值与设定阈值进行比较,当目标像素点的图像梯度值大于或等于设定阈值时,判定该像素点为边界点。
步骤6、在图像进行基本处理后,由于Sobel算子在进行卷积运算之后会留下大量边界线,需要对图像进行二值化处理,对图像进行二值化处理的具体方法为:
步骤6-1、根据每行像素灰度值的最大灰度值maxi和平均像素平均值avri确定图像每一行的阈值:
步骤6-2、将每个像素点灰度值与该行的阈值进行比较获得二值化图像,即:
式中,g(x,y)为输出图像的灰度值,Tx为x行的阈值,(x,y)为目标像素点,f(x,y)为每个像素点的灰度值。
步骤7、在边缘检测部分处理后,检测到的边缘并不都是目标边缘并且会出现一些不完整或者有残缺冗余的情况,需对边界线上的每个像素进行处理,通过目标像素与其周围像素的连接数和交叉数判断该点是目标障碍物的边缘点、内部点还是外部无关点,可以进一步确定该点所在的边缘能否组成一个连通域,帮助判断边缘的性质,具体方法为:
步骤7-1、将障碍物粗定位区域边缘线上的每个像素点与其周围邻近的像素进行连接;
步骤7-2、根据连接数判断该像素点的属性,具体连接数与像素点属性关系如下:
步骤7-3、根据上表像素点属性判断是否需要加入连通域,判断如下:
步骤7-4、根据连通域得到边缘曲线。
步骤8、在确定了所有检测到的边缘后,用几何判定方法对目标进行筛选。由于机动车外形矩形度较高,而行人和非机动车也有一定的长宽比,故可从矩形度、长宽比、面积三个方面来筛选,具体方法为:
计算包围连通域的最小矩形的长宽比,排除长宽比大于最高设定门限或小于最低设定门限的目标;
计算目标连通域中像素总个数,根据近大远小视觉规律排除面积小于设定门限的目标。
步骤9、在确定前方障碍物后,根据以摄像机为原点的几个基本坐标系即世界坐标系、CCD平面坐标系、相机坐标系、像素坐标系,计算测量障碍物距有轨电车的距离,具体为:
式中,A是摄像机拍摄到的图像下边缘在路面上的点与有轨电车车身前端的距离;B是摄像机拍摄到的图像下边缘在路面上的点与摄像机在地面上的投影点之间距离;C是障碍物与摄像机拍摄到的图像下边缘在路面上的点之间的距离;D是摄像机在地面上的投影点与摄像机拍摄到的图像上边缘在路面上的点之间的距离;H为摄像头距地面高度;x是障碍物下边缘在图像上的位置距离图像上边缘之间的距离;X图像的总高度。
步骤10、利用激光雷达扫描有轨电车前方,当激光光束碰到了障碍物会进行反射,雷达接收器接收反射光束与其发射光束进行对比,从而能够得知障碍物所在的位置、距离等信息。
步骤11、判断步骤9和步骤10检测的障碍物位置是否有重叠,如果有重叠,则认为所检测的目标为同一个目标,进行一级报警;如果没有重叠,当只有激光雷达检测到障碍物则进行一级报警,当只有摄像机图像检测到障碍物则进行二级报警;当同时都检测到障碍物时,进行二级报警。
Claims (7)
1.一种有轨电车障碍物检测及报警方法,其特征在于,具体步骤为:
步骤1、提取设置在有轨电车上摄像机识别车前障碍物监控视频中的一帧图像作为源图;
步骤2、对步骤1获得的源图划分感兴趣目标区域;
步骤3、对感兴趣区域进行灰度化和归一化处理;
步骤4、对灰度图进行直方图均衡化处理、线性的高斯平滑处理以及非线性的中值滤波处理;
步骤5、采用Sobel算法进行边缘检测对障碍物检测定位,确定障碍物粗定位区域;
步骤6、对图像进行二值化处理;
步骤7、通过障碍物粗定位区域边缘像素与其周围像素的连接数判断该障碍物粗定位区域边缘像素是否为目标障碍物的边缘点,并将判断为目标障碍物的边缘点组成一个连通域,具体方法为:
步骤7-1、将障碍物粗定位区域边缘线上的每个像素点与其周围邻近的像素进行连接;
步骤7-2、根据连接数判断该像素点的属性,具体连接数与像素点属性关系如下:
步骤7-3、根据上表像素点属性判断是否需要加入连通域,判断如下:
步骤7-4、根据连通域得到边缘曲线;
步骤8、根据边缘曲线轮廓确定是否为障碍物;
步骤9、计算有轨电车到障碍物的距离;
步骤10、利用激光雷达扫描有轨电车前方,根据激光雷达接收的反射光束,确定障碍物所在位置以及到有轨电车的距离;
步骤11、判断步骤9和步骤10检测的障碍物位置是否有重叠,如果有重叠,则认为所检测的目标为同一个目标,进行一级报警;如果没有重叠,当只有激光雷达检测到障碍物则进行一级报警,当只有摄像机图像检测到障碍物则进行二级报警。
2.根据权利要求1所述的有轨电车障碍物检测及报警方法,其特征在于,步骤5采用Sobel算法进行边缘检测对障碍物检测定位,确定障碍物粗定位区域的具体方法为:
步骤5-1、提取图像每一个像素点(a,b)的灰度值f(a,b),根据像素点的灰度值确定横向及纵向边缘检测的图像灰度值;
步骤5-2、将横向及纵向边缘检测的图像灰度值分别与原始图像进行平面卷积;
步骤5-3、根据平面卷积后图像的横向及纵向灰度值,计算目标图像像素点图像梯度值;
步骤5-4、将目标像素点的图像梯度值与设定阈值进行比较,当目标像素点的图像梯度值大于或等于设定阈值时,判定该像素点为边界点。
4.根据权利要求1所述的有轨电车障碍物检测及报警方法,其特征在于,步骤8根据障碍物粗定位区域轮廓确定是否为障碍物的具体方法为:根据边缘曲线轮廓的几何特征确定是否为障碍物,具体为从矩形度、长宽比、面积三个方面判断。
7.根据权利要求1所述的有轨电车障碍物检测及报警方法,其特征在于,步骤11中报警方式设置为一级报警语音提示司机减速行驶,二级报警语音提示司机紧急制动。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910346188.8A CN110659552B (zh) | 2019-04-26 | 2019-04-26 | 有轨电车障碍物检测及报警方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910346188.8A CN110659552B (zh) | 2019-04-26 | 2019-04-26 | 有轨电车障碍物检测及报警方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110659552A CN110659552A (zh) | 2020-01-07 |
CN110659552B true CN110659552B (zh) | 2022-08-16 |
Family
ID=69028874
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910346188.8A Expired - Fee Related CN110659552B (zh) | 2019-04-26 | 2019-04-26 | 有轨电车障碍物检测及报警方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110659552B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112254647A (zh) * | 2020-09-04 | 2021-01-22 | 广东科学技术职业学院 | 基于摄像装置的物体识别及间距测量方法及装置 |
CN112258517A (zh) * | 2020-09-30 | 2021-01-22 | 无锡太机脑智能科技有限公司 | 激光雷达栅格地图的自动修图方法和装置 |
CN112215137B (zh) * | 2020-10-10 | 2024-04-26 | 中国电子科技集团公司第十四研究所 | 基于区域约束的低虚警目标检测方法 |
CN114494842A (zh) * | 2020-11-13 | 2022-05-13 | 苏州科瓴精密机械科技有限公司 | 基于图像识别工作区域的方法、系统及机器人 |
CN112418323B (zh) * | 2020-11-24 | 2021-07-16 | 哈尔滨市科佳通用机电股份有限公司 | 基于图像处理的铁路货车钩舌销故障检测方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106324619A (zh) * | 2016-10-28 | 2017-01-11 | 武汉大学 | 一种变电站巡检机器人自动避障方法 |
CN108254748A (zh) * | 2018-01-15 | 2018-07-06 | 武汉理工大学 | 基于激光测距和雷达图像的内河船舶超高报警系统及方法 |
-
2019
- 2019-04-26 CN CN201910346188.8A patent/CN110659552B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN110659552A (zh) | 2020-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110659552B (zh) | 有轨电车障碍物检测及报警方法 | |
US10984509B2 (en) | Image processing apparatus, imaging device, moving body device control system, image information processing method, and program product | |
US9288381B2 (en) | In-vehicle image recognizer | |
CN106951879B (zh) | 基于摄像头与毫米波雷达的多特征融合车辆检测方法 | |
CN101303735B (zh) | 探测车辆盲点区域内运动物体的方法及盲点探测装置 | |
JP5787024B2 (ja) | 立体物検出装置 | |
US9099005B2 (en) | Environment recognition device and environment recognition method | |
KR100975749B1 (ko) | 단일 차선을 이용한 차선 인식 및 차량의 차선 이탈 검출 방법 | |
JP5977827B2 (ja) | 立体物検出装置および立体物検出方法 | |
JP5804180B2 (ja) | 立体物検出装置 | |
CN110065494A (zh) | 一种基于车轮检测的车辆防碰撞方法 | |
JP6020567B2 (ja) | 立体物検出装置および立体物検出方法 | |
CN104778444A (zh) | 道路场景下车辆图像的表观特征分析方法 | |
JP5682735B2 (ja) | 立体物検出装置 | |
JP2008304344A (ja) | 物標検出装置 | |
JP5743020B2 (ja) | 立体物検出装置 | |
CN114415171A (zh) | 一种基于4d毫米波雷达的汽车可行驶区域检测方法 | |
CN107341455B (zh) | 一种区域多特征的检测方法及检测装置 | |
CN115205796B (zh) | 轨道线路异物侵限监测与风险预警方法及系统 | |
CN112101316B (zh) | 一种目标检测方法及系统 | |
KR101998584B1 (ko) | 차선 검출 장치 및 차선 검출 방법 | |
CN112597839A (zh) | 基于车载毫米波雷达的道路边界检测方法 | |
KR101478072B1 (ko) | 차량 검출 방법 | |
CN116587978A (zh) | 一种基于车载显示屏的碰撞预警方法及系统 | |
CN115755094A (zh) | 障碍物检测方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220816 |