CN108427931B - 一种基于机器视觉的矿井机车前障碍物的检测方法 - Google Patents
一种基于机器视觉的矿井机车前障碍物的检测方法 Download PDFInfo
- Publication number
- CN108427931B CN108427931B CN201810235164.0A CN201810235164A CN108427931B CN 108427931 B CN108427931 B CN 108427931B CN 201810235164 A CN201810235164 A CN 201810235164A CN 108427931 B CN108427931 B CN 108427931B
- Authority
- CN
- China
- Prior art keywords
- super
- pixel block
- saliency maps
- node
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geophysics And Detection Of Objects (AREA)
Abstract
本发明公开了一种基于机器视觉的矿井机车前障碍物的检测方法,其步骤包括:1、获取一副像素为α×β的井下图像,使用SLIC分割方法对所述井下图像进行处理;2、差异化筛选去除差异较大的边界,选择剩余三条边界上的节点进行复制作为吸收节点,得到显著性图;3、通过阈值的判断选择吸收节点,再一次得到显著性图;4、通过多层图融合得到最终的显著性图。本发明能减少矿井机车碰撞的可能性,提高生产作业的安全性。
Description
背景技术
近年来,我国固体矿山企业总数量大,矿山从业人员多,且随着矿层开采深度和范围的不断增加,运输事故比例呈明显的上升趋势。运用信息与控制技术提高运输自动化水平是减少此类事故的根本措施,对矿井机车实施有效的监控,可以减少矿难人员的伤亡。
国内无人地下车辆的研究发展较晚,速度较慢,技术仍然不够成熟。我国第一台无人驾驶变频电机车在无人驾驶情况下,可以按照预先设定的程序周而复始地运行,出现故障时,机车可以自我诊断,诊断信息将集中反馈到控制室的显示屏上,提示进行人工处理。但该无人驾驶的变频电机车与现矿井之间的兼容性差,安全性低,只能按照预先设定的程序周而复始地运行,该批机车不适合国内矿井使用。具有一些监控能力的机车,通过对机车本身的监控了解轨道情况,检测人员只能看到一系列的数据,检测效果极差,使矿车前方的人员无法保证生命安全,也增加了矿井机车碰撞的可能性。
在有关视觉的研究领域,大多数都是对地面公路的视觉研究。如公开号为105984447A的中国发明专利公布说明书公开的基于机器视觉的车辆前向防撞自动紧急制动系统及方法,机器视觉感知装置通过安装于车头的雷达和摄像头探测行车状况,安全距离控制装置根据行车情况预算而采取报警、缓速制动或自动紧急制动的方式防止车辆追尾。该方法对于路面的碰撞检测确实能起到预警和防碰撞作用,但是对于矿井而言,矿道会使雷达信号大幅度衰减,不能有效的进行探测机车前方情况。
在矿井机车的碰撞领域,大多数只能测得距离,却不能实时探测机车前方的情况。如公开号为104237872A的中国专利公布说明书公开的一种基于分段混合测距的矿井机车防撞方法及装置,该方法一无线电信号作为整个测距过程中的同步通信信号,并利用无线电、声波和超声波的不同传播特性对矿井机车进行不同距离的测距。该方法虽然能测得距离,但是在声波的切换工程中浪费了大量的时间,同时,该方法只测得距离,没有对矿井机车前方的障碍物进行探测,因此增加了矿井机车碰撞的可能性。
发明内容
针对上述现有问题,本发明提供一种准确性强,可靠性高、适应性强的基于机器视觉的矿井机车前障碍物的检测方法,以期能准确检测出矿井中的障碍物,从而能减少矿井机车碰撞的可能性,提高生产作业的安全性。
本发明为解决技术问题采用如下技术方案:
本发明一种基于机器视觉的矿井机车前障碍物的检测方法的特点是按如下步骤进行:
步骤1、获取一副像素为α×β的井下图像,定义变量m;
步骤2、使用SLIC分割方法对所述井下图像进行处理,得到m个超像素块;
步骤3、根据m个超像素块,获取所述井下图像在四条边界上的超像素块,记任意一条边界上的超像素块为第i个超像素块,并将所述第i个超像素块按照轴对称复制为第i个吸收节点;从而得到四条边界上的所有超像素块的吸收节点;
步骤4、初始化u=1;
步骤5、计算任意第u条边界上的所有超像素块的吸收节点所对应的m个超像素块的第u个显著性图,记为 表示所述井下图像中第j个超像素块的显著性图;j=1,2,…,m;
步骤6、初始化v=2;
步骤7、利用式(1)得到第u个显著性图su中第j个超像素块的显著性图与第v个显著性sv中第j个超像素块的显著性图之间的差异值Muv:
步骤8、令v+1赋值给v,并返回步骤6执行,直到v>4为止,从而得到第u个显著性图su中第j个超像素块的显著性图与其他三个显著性图sv中第j个超像素块的显著性图之间的差异值集合{Muv|v=2,3,4}:
步骤9、计算第u个显著性图su的差异值和
步骤10、令u+1赋值给u,并返回步骤4执行,直到u>4为止,从而得到四个显著性图的差异值和{Mu|u=1,2,3,4};
步骤11、从所述四个显著性图的差异值和{Mu|u=1,2,3,4}中选择最大差异值和所对应边界上的所有超像素块并删除相应的吸收节点,从而得到三条边界上的所有超像素块的吸收节点作为吸收节点集合;
步骤12、记所述吸收节点集合中任意一个吸收节点为第k个吸收节点,计算第k个吸收节点所对应的m个超像素块的显著性图作为初始显著性图 表示第k个吸收节点所对应的第j个超像素块的初始显著图;
步骤13、初始化j=1;
步骤14、判断是否成立,若成立,则将第j个超像素块作为吸收节点加入到所述吸收节点集合中,否则将j+1赋值给j后,返回步骤14执行,直到j>m为止,其中,th表示显著性图阈值;
步骤15、计算所述吸收节点集合中所有吸收节点所对应的m个超像素块的显著性图,作为中间显著性图;
步骤16、对所述变量m进行n次的重新赋值后,并相应重复执行n次步骤2-步骤15,从而得到n次的中间显著性图,对n次的中间显著性图取均值,得到α×β个像素点的显著性作为所述井下图像的最终显著性图;
步骤17、将所述井下图像的最终显著性图中每个像素点显著性分别与阈值zh进行比较,将所有小于等于所述阈值zh的显著性所对应的像素点置为“0”,大于所述阈值zh的显著性所对应的像素点置为“1”,从而得到所述井下图像障碍物的检测结果图。
与现有技术相比,本发明的有益效果体现在:
1、本发明通过采用差异化筛选边界节点作为吸收节点和多层图融合的计算方法,有效地提高了矿井机车在井下的障碍物检测准确性,降低了矿井机车碰撞的可能性;
2、本发明通过差异化筛选去除差异较大的边界,选择剩余三条边界上的节点进行复制作为吸收节点,降低了吸收节点的错误的选择概率,提高了超像素块作为吸收节点的正确率,有效地提高显著图的准确性;
3、本发明通过阈值的判断选择吸收节点,大大的提高了吸收节点的完整性,降低了由于吸收节点的选择导致的显著图的不准确性;
4、本发明通过多层图融合的方式,降低不同SLIC分割数的影响,提高了显著图的准确率。
附图说明
图1为本发明方法的流程示意图。
具体实施方式
本实施例中,如图1所示,一种基于机器视觉的矿井机车前障碍物的检测方法是按如下步骤进行:
步骤1、获取一副像素为α×β的井下图像,定义变量m,m将作为SLIC分割的超像素块数,可以假设他的数值是250,超像素块的个数影响着最后得到的效果图;
步骤2、使用SLIC分割方法对井下图像进行处理,得到m个超像素块;
步骤3、根据m个超像素块,获取井下图像在四条边界上的超像素块,记任意一条边界上的超像素块为第i个超像素块,并将第i个超像素块按照轴对称复制为第i个吸收节点;轴对称的复制方式中左右边界按照Y轴对称复制,上下边界按照X轴对称复制,从而得到四条边界上的所有超像素块的吸收节点,吸收节点的计算可以得到显著性图,但是吸收节点的选择影响着显著图的效果,四条边界作为同时作为吸收节点,存在着错误的选择吸收节点的情况,原因是在障碍物在矿井图片中经常占据着其中的1-2个边界,这占据的边界不能作为吸收节点,为了更好的选择吸收节点,通过计算差异值的方法选取三条边界作为吸收节点,计算方法是步骤4-步骤11;
步骤4、初始化u=1,u指的是图像的边界数;
步骤5、计算任意第u条边界上的所有超像素块的吸收节点所对应的m个超像素块的第u个显著性图,记为 表示井下图像中第j个超像素块的显著性图;j=1,2,…,m,经过此步骤的计算得到一次显著性图,为计算差异值打下基础;
步骤6、初始化v=2;
步骤7、利用式(1)得到第u个显著性图su中第j个超像素块的显著性图与第v个显著性sv中第j个超像素块的显著性图之间的差异值Muv,此步骤是计算通过两条边界复制为吸收节点时分别得到的显著性图去计算差异值,计算差异值时,是比较属于同样的超像素块的显著性图:
步骤8、令v+1赋值给v,并返回步骤6执行,直到v>4为止,从而得到第u个显著性图su中第j个超像素块的显著性图与其他三个显著性图sv中第j个超像素块的显著性图之间的差异值集合{Muv|v=2,3,4},差异值集合是含有三个元素的原因是,图像只有四个边界,同边界复制为吸收节点得到的显著性图不进行计算差异值;
步骤9、计算第u个显著性图su的差异值和
步骤10、令u+1赋值给u,并返回步骤4执行,直到u>4为止,从而得到四个显著性图的差异值和{Mu|u=1,2,3,4},通过上述步骤的循环计算得到四个显著图的差异值;
步骤11、从四个显著性图的差异值和{Mu|u=1,2,3,4}中选择最大差异值和所对应边界上的所有超像素块并删除相应的吸收节点,从而得到三条边界上的所有超像素块的吸收节点作为吸收节点集合,此时的吸收节点集合准确率比四条边界复制为吸收节点的准确率得到了提高;
步骤12、记吸收节点集合中任意一个吸收节点为第k个吸收节点,计算第k个吸收节点所对应的m个超像素块的显著性图作为初始显著性图 表示第k个吸收节点所对应的第j个超像素块的初始显著图;
步骤13、经过差异值的计算虽然极大程度的提高了吸收节点选择的正确率,但是仍然可以通过阈值的方法进一步的更新吸收节点集合,提高准确率,初始化j=1;
步骤14、判断是否成立,若成立,则将第j个超像素块作为吸收节点加入到吸收节点集合中,否则将j+1赋值给j后,返回步骤14执行,直到j>m为止,其中,th表示显著性图阈值;
步骤15、计算吸收节点集合中所有吸收节点所对应的m个超像素块的显著性图,作为中间显著性图,虽然此时得到的中间显著性图作为检测效果图已经有了极佳的效果,但是通过多层图的方法可以进一步完善检测效果图,SLIC分割产生的超像素块数的不同,得到的显著性图的差异会很大,不同的超像素块的分割会产生不一样的结果。在定义超像素块个数越多,则每个超像素块的大小越小,时间复杂度越高,从而在图像的细节上能得到充分处理,区域整体性会变差;超像素块个数越少,则每个超像素块的大小越大,时间复杂度越低,但是在图像的细节上不能得到充分处理,区域整体性会变好,因此,采用多层图融合的方式减少SLIC分割产生的误差;
步骤16、对变量m进行n次的重新赋值后,并相应重复执行n次步骤2-步骤15,从而得到n次的中间显著性图,对n次的中间显著性图取均值,得到α×β个像素点的显著性作为井下图像的最终显著性图;
步骤17、将井下图像的最终显著性图中每个像素点显著性分别与阈值zh进行比较,将所有小于等于阈值zh的显著性所对应的像素点置为“0”,大于阈值zh的显著性所对应的像素点置为“1”,从而得到井下图像障碍物的检测结果图。
Claims (1)
1.一种基于机器视觉的矿井机车前障碍物的检测方法,其特征在于是按如下步骤进行:
步骤1、获取一幅像素为α×β的井下图像,定义变量m;
步骤2、使用SLIC分割方法对所述井下图像进行处理,得到m个超像素块;
步骤3、根据m个超像素块,获取所述井下图像在四条边界上的超像素块,记任意一条边界上的超像素块为第i个超像素块,并将所述第i个超像素块按照轴对称复制为第i个吸收节点;从而得到四条边界上的所有超像素块的吸收节点;
步骤4、初始化u=1;
步骤5、计算任意第u条边界上的所有超像素块的吸收节点所对应的m个超像素块的第u个显著性图,记为 表示所述井下图像中第j个超像素块的显著性图;j=1,2,…,m;
步骤6、初始化v=2;
步骤7、利用式(1)得到第u个显著性图su中第j个超像素块的显著性图与第v个显著性图sv中第j个超像素块的显著性图之间的差异值Muv:
步骤8、令v+1赋值给v,并返回步骤6执行,直到v>4为止,从而得到第u个显著性图su中第j个超像素块的显著性图与其他三个显著性图sv中第j个超像素块的显著性图之间的差异值集合{Muv|v=2,3,4}:
步骤9、计算第u个显著性图su的差异值和
步骤10、令u+1赋值给u,并返回步骤4执行,直到u>4为止,从而得到四个显著性图的差异值和{Mu|u=1,2,3,4};
步骤11、从所述四个显著性图的差异值和{Mu|u=1,2,3,4}中选择最大差异值和所对应边界上的所有超像素块并删除相应的吸收节点,从而得到三条边界上的所有超像素块的吸收节点作为吸收节点集合;
步骤12、记所述吸收节点集合中任意一个吸收节点为第k个吸收节点,计算第k个吸收节点所对应的m个超像素块的显著性图作为初始显著性图 表示第k个吸收节点所对应的第j个超像素块的初始显著图;
步骤13、初始化j=1;
步骤14、判断s′j k≤th是否成立,若成立,则将第j个超像素块作为吸收节点加入到所述吸收节点集合中,否则将j+1赋值给j后,返回步骤14执行,直到j>m为止,其中,th表示显著性图阈值;
步骤15、计算所述吸收节点集合中所有吸收节点所对应的m个超像素块的显著性图,作为中间显著性图;
步骤16、对所述变量m进行n次的重新赋值后,并相应重复执行n次步骤2-步骤15,从而得到n次的中间显著性图,对n次的中间显著性图取均值,得到α×β个像素点的显著性作为所述井下图像的最终显著性图;
步骤17、将所述井下图像的最终显著性图中每个像素点显著性分别与阈值zh进行比较,将所有小于等于所述阈值zh的显著性所对应的像素点置为“0”,大于所述阈值zh的显著性所对应的像素点置为“1”,从而得到所述井下图像障碍物的检测结果图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810235164.0A CN108427931B (zh) | 2018-03-21 | 2018-03-21 | 一种基于机器视觉的矿井机车前障碍物的检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810235164.0A CN108427931B (zh) | 2018-03-21 | 2018-03-21 | 一种基于机器视觉的矿井机车前障碍物的检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108427931A CN108427931A (zh) | 2018-08-21 |
CN108427931B true CN108427931B (zh) | 2019-09-10 |
Family
ID=63159143
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810235164.0A Active CN108427931B (zh) | 2018-03-21 | 2018-03-21 | 一种基于机器视觉的矿井机车前障碍物的检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108427931B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110244746B (zh) * | 2019-07-11 | 2020-02-18 | 肇庆学院 | 一种基于视觉注意的机器人动态障碍物避开方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104331910A (zh) * | 2014-11-24 | 2015-02-04 | 沈阳建筑大学 | 一种基于机器视觉的轨道障碍物检测系统 |
CN106446914A (zh) * | 2016-09-28 | 2017-02-22 | 天津工业大学 | 基于超像素和卷积神经网络的道路检测 |
CN107274416A (zh) * | 2017-06-13 | 2017-10-20 | 西北工业大学 | 基于光谱梯度与层次结构的高光谱图像显著性目标检测方法 |
CN107330861A (zh) * | 2017-07-03 | 2017-11-07 | 清华大学 | 基于扩散距离高置信度信息的图像显著性物体检测方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2629243A1 (de) * | 2012-02-15 | 2013-08-21 | Delphi Technologies, Inc. | Verfahren zum Erkennen und Verfolgen von Fahrspurmarkierungen |
CN106137532B (zh) * | 2016-09-19 | 2019-01-25 | 清华大学 | 一种图像处理方法 |
CN106780430B (zh) * | 2016-11-17 | 2019-08-09 | 大连理工大学 | 一种基于被包围状态和马尔可夫模型的图像显著性检测方法 |
CN106815843A (zh) * | 2016-11-30 | 2017-06-09 | 江苏城乡建设职业学院 | 一种基于凸包中心先验和马尔可夫吸收链的果实目标获取方法 |
CN107169487B (zh) * | 2017-04-19 | 2020-02-07 | 西安电子科技大学 | 基于超像素分割及深度特征定位的显著性目标检测方法 |
CN107609552B (zh) * | 2017-08-23 | 2019-07-02 | 西安电子科技大学 | 基于马尔可夫吸收模型的显著性区域检测方法 |
CN107749053A (zh) * | 2017-10-24 | 2018-03-02 | 郑州布恩科技有限公司 | 一种用于视觉假体的双目图像采集与预处理装置及方法 |
-
2018
- 2018-03-21 CN CN201810235164.0A patent/CN108427931B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104331910A (zh) * | 2014-11-24 | 2015-02-04 | 沈阳建筑大学 | 一种基于机器视觉的轨道障碍物检测系统 |
CN106446914A (zh) * | 2016-09-28 | 2017-02-22 | 天津工业大学 | 基于超像素和卷积神经网络的道路检测 |
CN107274416A (zh) * | 2017-06-13 | 2017-10-20 | 西北工业大学 | 基于光谱梯度与层次结构的高光谱图像显著性目标检测方法 |
CN107330861A (zh) * | 2017-07-03 | 2017-11-07 | 清华大学 | 基于扩散距离高置信度信息的图像显著性物体检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108427931A (zh) | 2018-08-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104902261B (zh) | 用于低清晰度视频流中的路面识别的装置和方法 | |
CN107273816B (zh) | 基于车载前视单目相机的交通限速标识检测识别方法 | |
KR20210078530A (ko) | 차선 속성 검출방법, 장치, 전자장치 및 가독 저장 매체 | |
CN105225482A (zh) | 基于双目立体视觉的车辆检测系统和方法 | |
CN109922439A (zh) | 多传感器数据的融合方法、基于v2x的目标检测方法及系统 | |
CN104183142A (zh) | 一种基于图像视觉处理技术的车流量统计方法 | |
CN104331901A (zh) | 一种基于tld的多视角目标跟踪装置及方法 | |
CN107644528A (zh) | 一种基于车辆跟踪的车辆排队长度检测方法 | |
CN103646254B (zh) | 一种高密度行人检测方法 | |
CN108427931B (zh) | 一种基于机器视觉的矿井机车前障碍物的检测方法 | |
CN109017802A (zh) | 智能驾驶环境感知方法、装置、计算机设备和存储介质 | |
CN110245544A (zh) | 一种确定停车状态的方法及装置 | |
CN104574993A (zh) | 一种道路监控的方法及装置 | |
CN113682323A (zh) | 一种基于双目视觉的低速无人驾驶车辆安全冗余架构与方法 | |
CN109784265A (zh) | 一种轨面语义分割方法及装置 | |
CN110598980B (zh) | 交通场景的风险评估方法及装置 | |
CN106168666B (zh) | 车用控制装置 | |
CN104063884B (zh) | 基于运动预测与多模板匹配相结合的图像目标识别方法 | |
Yang et al. | Vision-based intelligent vehicle road recognition and obstacle detection method | |
CN107221193A (zh) | 控制车辆终端变道的方法、道路分段设备、车辆终端 | |
CN110008834A (zh) | 一种基于视觉的方向盘干预检测与统计方法 | |
CN109859464A (zh) | 拥堵车道确定方法及相关产品 | |
CN114815821B (zh) | 基于多线激光雷达的室内自适应全景避障方法及系统 | |
CN107169299A (zh) | 一种编队目标分散机动模式下的跟踪方法 | |
CN108428347A (zh) | 一种基于多检测区域的车辆计数方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |