CN111461088A - 一种基于图像处理与目标识别的轨道交通避障系统 - Google Patents
一种基于图像处理与目标识别的轨道交通避障系统 Download PDFInfo
- Publication number
- CN111461088A CN111461088A CN202010553991.1A CN202010553991A CN111461088A CN 111461088 A CN111461088 A CN 111461088A CN 202010553991 A CN202010553991 A CN 202010553991A CN 111461088 A CN111461088 A CN 111461088A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- algorithm
- obstacle
- system based
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 44
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 24
- 238000001514 detection method Methods 0.000 claims abstract description 23
- 238000003709 image segmentation Methods 0.000 claims abstract description 14
- 230000004888 barrier function Effects 0.000 claims description 9
- 230000001186 cumulative effect Effects 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 230000009286 beneficial effect Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 238000000034 method Methods 0.000 abstract description 15
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Train Traffic Observation, Control, And Security (AREA)
Abstract
本发明公开一种基于图像处理与目标识别的轨道交通避障系统，包括数据采集模块、人工智能处理模块与显示控制模块；通过人工智能处理模块对采集到的图像进行图像分割，可快速、准确地标记列车行驶轨道，更精准地划分警戒区域；通过毫米波雷达进行障碍物探测，得到目标的方位和距离信息；通过人工智能处理模块识别采集到的图像中的人员、车辆和火车等目标，得到目标图像坐标，并与雷达数据进行融合，综合判断是否有障碍物，障碍物在警戒区域则报警。且本发明可通过以太网将视频数据实时上传到显示控制模块。本发明通过对铁轨进行图像分割，警戒区域划分更精准；通过图像目标识别和雷达探测能有效提高目标识别准确率，降低虚警率，提高警报正确率。
Description
技术领域
本发明涉及视觉避障技术领域，尤其是一种基于图像处理与目标识别的轨道交通避障系统。
背景技术
图像处理与目标识别是人工智能的一个重要领域，它是指对图像进行处理、分析和理解，以识别各种不同类型的目标和对象的技术。基于图像的目标识别需要大致经过图像采集、数据增强（如旋转、翻转、裁剪、加噪声等处理）、模型训练、分割、识别等几个步骤。相对于传统的高速公路，轨道交通的环境有其独特性，特别是多条铁轨交叉路段，传统识别算法容易错误的标识其他轨道上的目标。
传统轨道交通信号系统中，列车前方是否存在障碍物，主要依赖于列车驾驶员的人眼观察，而近年升级的无人驾驶信号系统中，取消了随车的司乘人员目视辅助，导致列车前方障碍物检测成为行车的重要功能。对于轨道避障，需要避障系统能够实时获取前方轨道上的信息，分析和判断是否存在障碍物。
如申请号200810042431.9，发明名称为高速铁路车载自动避障系统及避障方法的专利，公开了一种高速铁路的车载自动避障系统及避障方法，它用于高速行驶列车的自动避障。此发明的自动避障系统包括：激光器、光束整形器、光学接收器、光探测器、电子学信号采集系统、计算机信号处理系统。此发明的自动避障方法基于激光测距原理，特征在于使得激光束以一定倾斜角度斜向下照射到前方一定距离外的路基上，而这个距离作为列车避障的预警距离；如果路基上没有障碍物，那么激光回波给出的距离信息是相对稳定的，如果路基上有障碍物出现，随着列车的前行，激光回波给出障碍物的距离信息和轮廓信息，为列车采取报警、刹车等措施提供判断依据；
如申请号201910023491.4，发明名称为一种多融合技术的列车障碍物检测方法的专利，公开了一种多融合技术的列车障碍物检测方法，包括基于运行环境参数构建地理信息数据库，根据列车型号确定与列车对应的限界参数；基于列车实际运行过程中的运行参数，将地理信息数据库以及限界参数对运行数据库进行训练，确定保障列车躲避障碍物的影响因子；构建列车紧急制动或减速规则，借助多重传感器在列车运行过程中对列车前方障碍物进行检测，结合列车紧急制动或减速规则，列车是否制动或减速进行处理。通过在碰撞检测过程中引入多重传感器的方式，使用多种完全不同原理的障碍物检测方法，降低气候环境对障碍物检测结果的影响，适合全天候工作，提升了整个系统的可用性，最终提高列车在整个线路运行过程中的障碍物监测的有效性；
上述现有技术中，专利[1]针对高速列车的自动避障，提出了基于激光测距的原理来探测前方障碍物的方案，基于激光测距来检测障碍物，在轨道转弯和交叉等路段，该方案易将轨道外的物体检测为障碍物，增大虚警的发生；专利[2] 借助多重传感器，在列车运行过程中对列车前方障碍物进行检测。其多重传感器包括：3D摄像机、单目摄像机、激光、雷达、超声波传感器。该发明还涉及通过检测设备获取列车运行参数，包括列车时速、列车倾斜角度以及列车位置信息，运用了多种传感器，其成本明显过高，且并未对列车行驶轨道进行识别，成本增加的同时，并未有效降低虚警率。
发明内容
为解决现有技术中的轨道交通避障系统虚警率高和复杂铁轨下划分警戒区域精度不高等技术问题，本发明提供了一种基于图像处理与目标识别的轨道交通避障系统。
本发明的技术方案为：一种基于图像处理与目标识别的轨道交通避障系统，包括：
数据采集模块，所述数据采集模块包括主摄像机、辅摄像机与毫米波雷达，所述主摄像机用于对列车行进方向成像，所述辅摄像机使用广角镜头，用于对主摄像机近域盲区辅助成像，所述毫米波雷达用获取目标检测区域的目标方位和距离信息；
人工智能处理模块，所述人工智能处理模块接收主摄像机、辅摄像机中的图像信息，将图像信息进行图像去雾算法与图像增强算法进行图像去雾增强处理后，利用基于人工智能的图像分割和目标识别算法得到当前铁轨区域，利用基于人工智能的识别算法得到障碍物在图像中的位置和类别，同时将接收到毫米波雷达的探测信息与图像信息进行融合，进一步确定障碍物位置，在轨道的左右两侧划定警戒区域，若障碍物进入警戒区域则触发报警；
显示控制模块，所述显示控制模块通过以太网与人工智能处理模块相连。
优选地，所述图像去雾算法与图像增强算法提高带雾或低对比度图像的对比度，减小雾对图像的影响，使去雾后的图像更有利于后续处理或主观视觉观察。
优选地，所述图像分割和目标识别算法需要采集多种障碍物和铁轨视频，对视频中的障碍物和铁轨进行标注和训练，进而使用训练好的分割模型和检测模型进行图像分割和目标识别。
优选地，所述人工智能处理模块利用图像分割和目标识别算法分割出当前行驶轨道并以此建立警戒区域，所述警戒区域的范围位于轨道两侧0.3m~1m。
优选地，所述毫米波雷达在安装时，需与主摄像机的横截面平行，从而方便把雷达坐标系转换成像机图像坐标系。
优选地，所述人工智能处理模块利用目标识别算法识别出障碍物，再将障碍物目标图像信息与毫米波雷达探测到的目标方位、距离信息进行融合，进一步确认目标的位置。
优选地，若所述障碍物进入警戒区域则触发报警，并将报警信息通过字符叠加的方式添加到主、辅摄像机视频中，并将视频分别通过以太网上传送至显示控制模块。
优选地，所述障碍物包括人、车与火车。
优选地，所述图像去雾算法与图像增强算法，其中图像去雾算法采用限制对比度自适应直方图均衡算法；
其中图像增强算法包括以下步骤：a、限制累计分布直方图(CDF)的斜率，将图像分成若干个子块，当子块中统计得到的灰度直方图的幅值高于设定的截取阈值时，将这部分灰度值截取出来并均匀放置在整个灰度区间上，进而降低累计分布直方图的斜率，使灰度直方图更加均匀；
b、通过插值加快计算速度，首先将图像均匀分成若干个等份子块，再求每个子块中像素点的值，为了求出图中像素点处的值，需要利用其周围四个子块的映射函数分别做变换得到四个映射值，再对这四个值做双线性插值。
优选地，所述探测信息与图像信息进行融合包括以下步骤：
毫米波雷达可以提供障碍物的方位角α，俯仰角β和距离d，由几何关系可知：
式(1)、(2)、(3)中W、H分别为图像的宽和高，F为相机的等效焦距，f和
分
别为摄像机的焦距和像元尺寸，由上面几个公式即可求出雷达坐标对于的图像坐标(Cx,Cy)，
得到雷达目标的图像坐标后，再与通过人工智能目标识别算法得到的目标图像坐标进行融合，进而综合图像和雷达两种数据结果进行有无障碍物及障碍物位置的综合判定。
与现有技术相比，本发明具有如下有益效果：
本发明面向轨道行驶列车避障，通过人工智能处理模块对采集到的图像进行图像分割，可快速、准确地标记列车行驶轨道，更精准地划分警戒区域；通过毫米波雷达进行障碍物探测，得到目标的方位和距离信息；通过人工智能处理模块识别采集到的图像中的人员、车辆和火车等目标，得到目标图像坐标，并与雷达数据进行融合，综合判断是否有障碍物；最后若障碍物在警戒区域内则触发报警。且本发明可通过以太网将视频数据实时上传到显示控制模块。与其他方案相比，本发明通过对铁轨进行图像分割，警戒区域划分更精准；通过图像目标识别和雷达探测能有效提高目标识别准确率，降低虚警率，提高警报正确率；实现了通过以太网实时上传视频功能，方便了列车员对前方环境及视觉盲区的感知。
附图说明
图1为本发明的整体系统示意图；
图2为本发明算法处理流程示意图；
图3为本发明的样机实验记录图；
图4为本发明的样机实验记录图；
图5为本发明原理的灰度直方图截取示意图
图6为本发明原理的灰度插值示意图
图7为本发明的FCN网络结构示意图
图8为本发明的原图和分割结果示意图
图9为本发明的图像和雷达坐标系之间的转换关系示意图
图10为本发明的SSD网络框架示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的描述中，需要理解的是，术语中“前”、“后”、 “左”、“右”、“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了方便描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位，以特定的方位构造和操作，因此不能理解为对本发明的限制，本发明中各实施例的技术方案可进行组合，实施例中的技术特征亦可进行组合形成新的技术方案。
请参阅图1至图4所示，本发明提供如下技术方案：请参阅图1至图4所示，本发明提供如下技术方案：一种基于图像处理与目标识别的轨道交通避障系统，包括：
数据采集模块1，数据采集模块1包括主摄像机、辅摄像机与毫米波雷达，主摄像机用于获取列车前进方向成像，辅摄像机使用广角镜头，用于主摄像机近域盲区辅助成像，毫米波雷达用于获取目标检测区域的目标方位和距离信息，毫米波雷达在安装时，需与主摄像机的横截面平行，从而方便把雷达坐标系转换成像机图像坐标系。
人工智能处理模块2，人工智能处理模块2接收主摄像机、辅摄像机中的图像信息，将图像信息进行图像去雾增强处理后，利用基于人工智能的图像分割和目标识别算法得到当前列车行驶轨道4，并在轨道的左右两侧划定警戒区域5；利用基于人工智能的识别算法得到障碍物（包括人、车、火车等）在图像中的位置和类别。同时将接收到毫米波雷达的探测信息与图像信息进行融合，进一步确定障碍物位置，若确定的障碍物进入警戒区域5和铁轨区域4则触发报警；
显示控制模块，所述显示控制模块通过以太网与人工智能处理模块相连。若障碍物进入警戒区域则触发报警，并将报警信息通过字符叠加的方式添加到主、辅摄像机视频中，并将视频分别通过以太网上传送至显示控制模块。
进一步，警戒区域5的范围位于轨道两侧0.3m~1m。
进一步地，图像去雾算法与图像增强算法提高带雾或低对比度图像的对比度，减小雾对图像的影响，使去雾后的图像更有利于后续处理或主观视觉观察。
进一步，目标分类器需采集包含各种障碍物的视频，对视频中的铁轨、行人、车辆等目标进行标注和训练，本发明采集了10000张图片并标注，在服务器上对样本进行了训练，得到分割和识别模型。
进一步，人工智能处理模块利用图像分割和目标识别算法可精确的划分出当前行驶轨道4与警戒区域5。
进一步，人工智能处理模块利用目标识别算法识别出人、车辆、火车等目标，再将目标图像信息与毫米波雷达探测到的目标方位、距离信息进行融合，进一步确认目标的位置。
进一步，摄像机拍摄视频、辅摄像机拍摄视频分别进行编码压缩，再通过以太网上传送至显示控制模块3，通过以太网将视频实时上传显控端，以太网采用载波多路监听和冲突检测机制，数据传输的可靠性高，且相对于模拟视频传输方式，其传输距离更远。
本发明已经通过实验，并已研制出样机，效果很理想，和设计的预期一致，如图3与图4所示，在样机车载实验过程中，处理器精确的识别了当前行驶轨道4（样机中显示的颜色为红色），并在轨道左右划分了警戒区域5（样机中显示的颜色为绿色）。处理器精确识别了行人，且行人进入警戒区域5时，发出了预警信息6。
本发明原理：为了更好理解本发明技术方案内容，下面对有关原理进行详细说明，显然，所描述的原理例仅仅是本发明一部分原理例，而不是全部的原理例。基于本发明中的原理例，本领域普通技术人员采取相类似的原理例，都属于本发明保护的范围。
1、图像去雾算法与图像增强算法
采用限制对比度自适应直方图均衡算法来实现图像去雾增强。
比较常用的图像增强算法是直方图均衡化(HE)，其基本思路是先统计出图像的灰度直方图，进而确定图像的累计分布直方图(CDF)，最后对图像进行灰度变换，从而提高图像对比度，但该算法是对全局图像进行调整，对于有些局部对比度低的场景效果较差；
为了得到更好的图像增强效果，我们采用了限制对比度自适应直方图均衡算法，该算法的两点改进在于：
a、限制累计分布直方图(CDF)的斜率。如图5所示，我们将图像分成若干个子块，当子块中统计得到的灰度直方图的幅值高于设定的截取阈值时，将这部分灰度值截取出来并均匀放置在整个灰度区间上，进而降低累计分布直方图的斜率，使灰度直方图更加均匀。
b、通过插值加快计算速度，首先将图像均匀分成若干个等份子块，如图6右边所示，再求每个子块中像素点的值，例如为了求出图6中像素点处的值，需要利用其周围四个子块的映射函数分别做变换得到四个映射值，再对这四个值做双线性插值即可。
2、图像分割和目标识别算法
卷积神经网络(CNN) 自发明以来，在图像分类、检测、识别、分割等计算机视觉领域得到了广泛的应用。CNN的强大之处在于它能对图像提取不同尺度的特征：对于较浅的卷积层，其感受野较小，能提取并学习到局部特征；对于较深的卷积层，其感受野较大，能学习到全局和抽象的特征。传统的基于CNN的分割算法的缺点在于：1、需占用很大的存储空间；2、计算效率底下；3、像素块只能提取局部特征，限制了感受野的大小；为了提升分割效果，我们使用了全卷积网络(FCN)。
FCN能从提取到的抽象特征中通过上采样的方法恢复出每个像素所对应的类别。如图7所示，FCN将传统的CNN中的全连接层变成一个个卷积层，通过多次上采样之后再对图像进行反卷积进一步精细化细节，最后实现了图像的还原。FCN的优点在于：1、可以输入任意大小的图像；2、由于减少了像素块的使用，使得网络计算更加高效。
图8中左图为原始输入的铁轨图，右图为分割得到的掩膜图。
对于目标识别算法，我们采用了精度和速度都较好的SSD（Single ShotDetection）识别网络，如图9所示，其包含了基础网络、辅助卷积层和预测卷积层。对比另一个重要的识别网络YOLO，SSD有三个变化：1、SSD提取了多尺度的特征图来做检测，大尺度特征图用来检测小物体，而小尺度特征图用来检测大物体；2、与YOLO最后采用全连接层不同，SSD直接采用卷积对不同的特征图来进行提取检测结果；3、SSD采用了不同尺度和长宽比的先验框；通过这几个大的调整，SSD可以得到较好的识别效果。
3、图像与雷达信息融合
由于本发明将毫米波雷达靠近主摄像机，且在安装时与主摄像机的横截面平行，这样对于摄像机前方5~100m的目标来说，雷达坐标系和摄像机坐标系可以近似重合。
如图10所示，由于毫米波雷达可以提供目标的方位角α，俯仰角β和距离d，由几何关系可知：
式(1)、(2)、(3)中W、H分别为图像的宽和高，F为相机的等效焦距，f和
分
别为摄像机的焦距和像元尺寸，由上面几个公式即可求出雷达坐标对于的图像坐标(Cx,Cy)，
得到雷达目标的图像坐标后，再与通过人工智能目标识别算法得到的目标图像坐标进行融合，进而综合图像和雷达两种数据结果进行有无障碍物及障碍物位置的综合判定，能进一步提高目标识别的准确率，降低虚警率。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.一种基于图像处理与目标识别的轨道交通避障系统，其特征在于，包括：
数据采集模块，所述数据采集模块包括主摄像机、辅摄像机与毫米波雷达，所述主摄像机用于对列车行进方向成像，所述辅摄像机使用广角镜头，用于对主摄像机近域盲区辅助成像，所述毫米波雷达用获取目标检测区域的目标方位和距离信息；
人工智能处理模块，所述人工智能处理模块接收主摄像机、辅摄像机中的图像信息，将图像信息进行图像去雾算法与图像增强算法进行图像去雾增强处理后，利用基于人工智能的图像分割和目标识别算法得到当前铁轨区域，利用基于人工智能的识别算法得到障碍物在图像中的位置和类别，同时将接收到毫米波雷达的探测信息与图像信息进行融合，进一步确定障碍物位置，在轨道的左右两侧划定警戒区域，若障碍物进入警戒区域则触发报警；
显示控制模块，所述显示控制模块通过以太网与人工智能处理模块相连。
2.根据权利要求1所述的基于图像处理与目标识别的轨道交通避障系统，其特征在于：所述图像去雾算法与图像增强算法提高带雾或低对比度图像的对比度，减小雾对图像的影响，使去雾后的图像更有利于后续处理或主观视觉观察。
3.根据权利要求1所述的基于图像处理与目标识别的轨道交通避障系统，其特征在于：所述图像分割和目标识别算法需要采集多种障碍物和铁轨视频，对视频中的障碍物和铁轨进行标注和训练，进而使用训练好的分割模型和检测模型进行图像分割和目标识别。
4.根据权利要求1所述的基于图像处理与目标识别的轨道交通避障系统，其特征在于：所述人工智能处理模块利用图像分割和目标识别算法分割出当前行驶轨道并以此建立警戒区域，所述警戒区域的范围位于轨道两侧0.3m~1m。
5.根据权利要求1所述的基于图像处理与目标识别的轨道交通避障系统，其特征在于：所述毫米波雷达在安装时，需与主摄像机的横截面平行，从而方便把雷达坐标系转换成像机图像坐标系。
6.根据权利要求1所述的基于图像处理与目标识别的轨道交通避障系统，其特征在于：所述人工智能处理模块利用目标识别算法识别出障碍物，再将障碍物目标图像信息与毫米波雷达探测到的目标方位、距离信息进行融合，进一步确认目标的位置。
7.根据权利要求1所述的基于图像处理与目标识别的轨道交通避障系统，其特征在于：若所述障碍物进入警戒区域则触发报警，并将报警信息通过字符叠加的方式添加到主、辅摄像机视频中，并将视频分别通过以太网上传送至显示控制模块。
8.根据权利要求1、6或7任一一项所述的基于图像处理与目标识别的轨道交通避障系统，其特征在于：所述障碍物包括人、车与火车。
9.根据权利要求1所述的基于图像处理与目标识别的轨道交通避障系统，其特征在于：所述图像去雾算法与图像增强算法，其中图像去雾算法采用限制对比度自适应直方图均衡算法；
其中图像增强算法包括以下步骤：a、限制累计分布直方图(CDF)的斜率，将图像分成若干个子块，当子块中统计得到的灰度直方图的幅值高于设定的截取阈值时，将这部分灰度值截取出来并均匀放置在整个灰度区间上，进而降低累计分布直方图的斜率，使灰度直方图更加均匀；
b、通过插值加快计算速度，首先将图像均匀分成若干个等份子块，再求每个子块中像素点的值，为了求出图中像素点处的值，需要利用其周围四个子块的映射函数分别做变换得到四个映射值，再对这四个值做双线性插值。
10.根据权利要求1所述的基于图像处理与目标识别的轨道交通避障系统，其特征在于：所述探测信息与图像信息进行融合包括以下步骤：
毫米波雷达可以提供障碍物的方位角α，俯仰角β和距离d，由几何关系可知：
式(1)、(2)、(3)中W、H分别为图像的宽和高，F为相机的等效焦距，f和
分
别为摄像机的焦距和像元尺寸，由上面几个公式即可求出雷达坐标对于的图像坐标(Cx,Cy)，
得到雷达目标的图像坐标后，再与通过人工智能目标识别算法得到的目标图像坐标进行融合，进而综合图像和雷达两种数据结果进行有无障碍物及障碍物位置的综合判定。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010553991.1A CN111461088B (zh) | 2020-06-17 | 2020-06-17 | 一种基于图像处理与目标识别的轨道交通避障系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010553991.1A CN111461088B (zh) | 2020-06-17 | 2020-06-17 | 一种基于图像处理与目标识别的轨道交通避障系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111461088A true CN111461088A (zh) | 2020-07-28 |
| CN111461088B CN111461088B (zh) | 2020-09-08 |
Family
ID=71679838
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010553991.1A Active CN111461088B (zh) | 2020-06-17 | 2020-06-17 | 一种基于图像处理与目标识别的轨道交通避障系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111461088B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112168634A (zh) * | 2020-10-29 | 2021-01-05 | 中国电子科技集团公司第二十八研究所 | 一种多功能导盲杖 |
| CN112406960A (zh) * | 2020-11-08 | 2021-02-26 | 青岛融创信为技术有限公司 | 一种地铁用多传感器融合的主动防撞系统和方法 |
| CN112866645A (zh) * | 2021-01-12 | 2021-05-28 | 二连浩特赛乌素机场管理有限公司 | 一种防入侵人工智能雷达视频监控系统 |
| CN113189581A (zh) * | 2021-04-09 | 2021-07-30 | 同济大学 | 一种毫米波雷达与视觉融合透雾目标识别算法处理方法 |
| CN113189583A (zh) * | 2021-04-26 | 2021-07-30 | 天津大学 | 一种时-空同步的毫米波雷达和视觉信息融合方法 |
| CN113284342A (zh) * | 2021-05-17 | 2021-08-20 | 上海欧菲智能车联科技有限公司 | 空车位检测方法及装置、车辆和计算机设备 |
| CN113682259A (zh) * | 2021-09-22 | 2021-11-23 | 海南大学 | 一种车用开门预警防撞系统及控制方法 |
| CN115329024A (zh) * | 2022-08-18 | 2022-11-11 | 北京百度网讯科技有限公司 | 一种地图数据更新方法、装置、电子设备及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102303605A (zh) * | 2011-06-30 | 2012-01-04 | 中国汽车技术研究中心 | 基于多传感器信息融合的碰撞及偏离预警装置及预警方法 |
| CN102685516A (zh) * | 2011-03-07 | 2012-09-19 | 李慧盈 | 立体视觉主动安全辅助驾驶方法 |
| US9098751B2 (en) * | 2011-07-27 | 2015-08-04 | Gentex Corporation | System and method for periodic lane marker identification and tracking |
| CN105866779A (zh) * | 2016-04-06 | 2016-08-17 | 浙江大学 | 基于双目相机与毫米波雷达的可穿戴避障装置及避障方法 |
| CN106296612A (zh) * | 2016-08-09 | 2017-01-04 | 南京工业大学 | 一种图像质量评价和天气状况引导的分级式监控视频清晰化系统及方法 |
| CN109002039A (zh) * | 2018-07-06 | 2018-12-14 | 达闼科技（北京）有限公司 | 避障提醒方法、相关装置及计算机可读存储介质 |
| US20190004535A1 (en) * | 2017-07-03 | 2019-01-03 | Baidu Usa Llc | High resolution 3d point clouds generation based on cnn and crf models |
| CN109658363A (zh) * | 2018-10-22 | 2019-04-19 | 长江大学 | 子块自适应融合的多层子块重叠直方图均衡方法及系统 |
| CN110443819A (zh) * | 2018-05-03 | 2019-11-12 | 比亚迪股份有限公司 | 一种单轨列车的轨道检测方法和装置 |
| CN111221342A (zh) * | 2020-03-12 | 2020-06-02 | 湖南汽车工程职业学院 | 一种自动驾驶汽车环境感知系统 |
-
2020
- 2020-06-17 CN CN202010553991.1A patent/CN111461088B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102685516A (zh) * | 2011-03-07 | 2012-09-19 | 李慧盈 | 立体视觉主动安全辅助驾驶方法 |
| CN102303605A (zh) * | 2011-06-30 | 2012-01-04 | 中国汽车技术研究中心 | 基于多传感器信息融合的碰撞及偏离预警装置及预警方法 |
| US9098751B2 (en) * | 2011-07-27 | 2015-08-04 | Gentex Corporation | System and method for periodic lane marker identification and tracking |
| CN105866779A (zh) * | 2016-04-06 | 2016-08-17 | 浙江大学 | 基于双目相机与毫米波雷达的可穿戴避障装置及避障方法 |
| CN106296612A (zh) * | 2016-08-09 | 2017-01-04 | 南京工业大学 | 一种图像质量评价和天气状况引导的分级式监控视频清晰化系统及方法 |
| US20190004535A1 (en) * | 2017-07-03 | 2019-01-03 | Baidu Usa Llc | High resolution 3d point clouds generation based on cnn and crf models |
| CN110443819A (zh) * | 2018-05-03 | 2019-11-12 | 比亚迪股份有限公司 | 一种单轨列车的轨道检测方法和装置 |
| CN109002039A (zh) * | 2018-07-06 | 2018-12-14 | 达闼科技（北京）有限公司 | 避障提醒方法、相关装置及计算机可读存储介质 |
| CN109658363A (zh) * | 2018-10-22 | 2019-04-19 | 长江大学 | 子块自适应融合的多层子块重叠直方图均衡方法及系统 |
| CN111221342A (zh) * | 2020-03-12 | 2020-06-02 | 湖南汽车工程职业学院 | 一种自动驾驶汽车环境感知系统 |
Non-Patent Citations (3)
| Title |
|---|
| M. WATANABE,ET AL.: "An obstacle sensing radar system for a railway crossing application: a 60 GHz millimeter wave spread spectrum radar", 《2002 IEEE MTT-S INTERNATIONAL MICROWAVE SYMPOSIUM DIGEST》 * |
| 蔡成涛 等: "《海洋环境下的计算机视觉技术》", 31 October 2015, 国防工业出版社 * |
| 魏秋洋: "基于视觉信息融合的移动机器人环境自主感知方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112168634A (zh) * | 2020-10-29 | 2021-01-05 | 中国电子科技集团公司第二十八研究所 | 一种多功能导盲杖 |
| CN112406960A (zh) * | 2020-11-08 | 2021-02-26 | 青岛融创信为技术有限公司 | 一种地铁用多传感器融合的主动防撞系统和方法 |
| CN112866645A (zh) * | 2021-01-12 | 2021-05-28 | 二连浩特赛乌素机场管理有限公司 | 一种防入侵人工智能雷达视频监控系统 |
| CN113189581A (zh) * | 2021-04-09 | 2021-07-30 | 同济大学 | 一种毫米波雷达与视觉融合透雾目标识别算法处理方法 |
| CN113189583A (zh) * | 2021-04-26 | 2021-07-30 | 天津大学 | 一种时-空同步的毫米波雷达和视觉信息融合方法 |
| CN113189583B (zh) * | 2021-04-26 | 2022-07-01 | 天津大学 | 一种时-空同步的毫米波雷达和视觉信息融合方法 |
| CN113284342A (zh) * | 2021-05-17 | 2021-08-20 | 上海欧菲智能车联科技有限公司 | 空车位检测方法及装置、车辆和计算机设备 |
| CN113284342B (zh) * | 2021-05-17 | 2022-09-06 | 上海欧菲智能车联科技有限公司 | 空车位检测方法及装置、车辆和计算机设备 |
| CN113682259A (zh) * | 2021-09-22 | 2021-11-23 | 海南大学 | 一种车用开门预警防撞系统及控制方法 |
| CN115329024A (zh) * | 2022-08-18 | 2022-11-11 | 北京百度网讯科技有限公司 | 一种地图数据更新方法、装置、电子设备及存储介质 |
| CN115329024B (zh) * | 2022-08-18 | 2023-09-26 | 北京百度网讯科技有限公司 | 一种地图数据更新方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111461088B (zh) | 2020-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111461088B (zh) | 一种基于图像处理与目标识别的轨道交通避障系统 | |
| US11380105B2 (en) | Identification and classification of traffic conflicts | |
| CN111369541B (zh) | 一种智能汽车恶劣天气条件下车辆检测方法 | |
| CN103176185B (zh) | 用于检测道路障碍物的方法及系统 | |
| CN112215306B (zh) | 一种基于单目视觉与毫米波雷达融合的目标检测方法 | |
| CN107031623A (zh) | 一种基于车载盲区相机的道路预警方法 | |
| CN111198371A (zh) | 前视障碍物检测系统 | |
| CN114898296A (zh) | 基于毫米波雷达与视觉融合的公交车道占用检测方法 | |
| CN107274678B (zh) | 一种基于Kinect的夜间车流量统计及车型识别方法 | |
| CN114677446B (zh) | 基于路侧多传感器融合的车辆检测方法、装置及介质 | |
| CN107031661A (zh) | 一种基于盲区相机输入的变道预警方法及系统 | |
| CN104881645A (zh) | 基于特征点互信息量和光流法的车辆前方目标的检测方法 | |
| CN113568002A (zh) | 基于激光和图像数据融合的轨道交通主动障碍物检测装置 | |
| US20190213427A1 (en) | Detection and Validation of Objects from Sequential Images of a Camera | |
| CN115187964A (zh) | 基于多传感器数据融合的自动驾驶决策方法及SoC芯片 | |
| Jiang et al. | Target detection algorithm based on MMW radar and camera fusion | |
| CN114415171A (zh) | 一种基于4d毫米波雷达的汽车可行驶区域检测方法 | |
| CN115953662A (zh) | 一种基于多模式融合识别的列车运行环境障碍物感知方法 | |
| CN116778748A (zh) | 基于深度学习的车辆转弯盲区智能预警方法 | |
| Joy et al. | Real time road lane detection using computer vision techniques in python | |
| Kapoor et al. | Deep learning based object and railway track recognition using train mounted thermal imaging system | |
| Zheng | Developing a traffic safety diagnostics system for unmanned aerial vehicles usingdeep learning algorithms | |
| CN115937827B (zh) | 用于汽车紧急主动避险的监控视频处理方法 | |
| CN114863695B (zh) | 一种基于车载激光和摄像机的超标车辆检测系统和方法 | |
| CN115100618B (zh) | 一种多源异构感知信息多层级融合表征与目标识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |