CN115914800A - 一种矿用电机车防撞检验方法 - Google Patents
一种矿用电机车防撞检验方法 Download PDFInfo
- Publication number
- CN115914800A CN115914800A CN202211429989.9A CN202211429989A CN115914800A CN 115914800 A CN115914800 A CN 115914800A CN 202211429989 A CN202211429989 A CN 202211429989A CN 115914800 A CN115914800 A CN 115914800A
- Authority
- CN
- China
- Prior art keywords
- camera
- image
- coordinate system
- target
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000003137 locomotive effect Effects 0.000 title claims abstract description 35
- 238000007689 inspection Methods 0.000 title claims abstract description 20
- 238000005065 mining Methods 0.000 title claims abstract description 19
- 238000004891 communication Methods 0.000 claims abstract description 16
- 238000003860 storage Methods 0.000 claims abstract description 15
- 230000006870 function Effects 0.000 claims abstract description 10
- 238000004880 explosion Methods 0.000 claims abstract description 4
- 238000001514 detection method Methods 0.000 claims description 29
- 230000003287 optical effect Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 15
- 230000000875 corresponding effect Effects 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 12
- 238000005516 engineering process Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 6
- 230000001629 suppression Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000004140 cleaning Methods 0.000 claims description 4
- 206010061274 Malocclusion Diseases 0.000 claims description 3
- 238000013459 approach Methods 0.000 claims description 3
- 230000003416 augmentation Effects 0.000 claims description 3
- 238000012790 confirmation Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000005693 optoelectronics Effects 0.000 claims 3
- 238000013461 design Methods 0.000 abstract description 3
- 238000011161 development Methods 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 241000277331 Salmonidae Species 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003245 coal Substances 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001125 extrusion Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了防撞检验技术领域的一种矿用电机车防撞检验方法，包括有防爆摄像头、Mini服务器、存储模块、供电模块、通信控制器与隔爆壳体；步骤一：防爆摄像头采集实时的视频数据传输到Mini服务器中，用户可设置单个备份视频的时长与备份视频的总数，Mini服务器根据用户的设置在存储模块中进行自动备份，当已备份的视频总数超过用户设置的视频的总数时，Mini服务器可自动进行旧视频清理，只需一个单目摄像头即可实现功能，在保证精度的同时，减少了成本；系统结构采用模块化设计，可重构性强，拓展性和兼容性好；使用Mini服务器可以提供更好的计算性能和开发支持，后续可在该平台上搭建更多的功能框架。
Description
技术领域
本发明涉及防撞检验技术领域，具体为一种矿用电机车防撞检验方法。
背景技术
电机车无人驾驶是实现无人矿山的重要组成部分，无人驾驶技术把司机从井下繁重的工作中解放出来，配合科学决策车辆调度技术能够降低机车的空载率，在运输效率和安全性上具有明显的优势和现实意义。
电机车行进路线上可能会有井下工作人员、掉落的煤堆或其他电机车占用轨道，无人驾驶技术最基本的功能即对前方障碍物进行识别并采取制动措施，防止发生伤人、翻车和追尾事故。
与传统的防碰撞检测相比，井下电机车的防碰撞检测环境限制更为苛刻。井下光线很弱，亮度低，有大量灰尘，湿度高，且常常伴有淋水和腐蚀。电机车运行中还会伴有震动、挤压等情况。这些恶劣的工作环境使得防碰撞检测平台的实际工作条件变得很复杂，且所有设备都要满足本安防爆要求，这些都成为了井下防碰撞检测急需解决的技术难点，基于此，本发明设计了一种矿用电机车防撞检验方法以解决上述问题。
发明内容
本发明的目的在于提供一种矿用电机车防撞检验方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种矿用电机车防撞检验方法，包括有防爆摄像头、Mini服务器、存储模块、供电模块、通信控制器与隔爆壳体；
步骤一：防爆摄像头采集实时的视频数据传输到Mini服务器中，用户可设置单个备份视频的时长与备份视频的总数，Mini服务器根据用户的设置在存储模块中进行自动备份，当已备份的视频总数超过用户设置的视频的总数时，Mini服务器可自动进行旧视频清理；
步骤二：Mini服务器捕获实时的视频数据后转发到图像处理程序，该程序包含目标识别，目标测距、重叠度检测、车道线检测的功能；
步骤三：图像处理程序处理完一帧的视频数据即可将结果数据包传给逻辑处理程序，该程序可读取用户自定义的参数：距离阈值、重叠度阈值，在图像处理完成每一帧图片后，服务器会给出一个二进制数据包，格式如下[[类别1，距离1，重叠度1],[类别2，距离2，重叠度2],……[类别n，距离n，重叠度n]]。
服务器内通信程序(C++/Rust)会对数据包进行解析处理，以轨道的位置为基准，结合机车防碰撞操作距离的阈值Tl，假设重叠度阈值为[Tc_min,Tc_max]，通过逻辑算法完成处理后将警报信号通过TCP/CAN协议传递给通信控制器；
步骤四：当经过逻辑处理程序解析后的结果数据包满足不同的阈值区间逻辑处理程序将得到不同的警报信号，按照等级分别为绿色为安全信号、蓝色为存在隐患信号、红色为危险信号；
步骤五：最后通信程序通过TCP协议将警报信号发送给后端的通信控制器，由其控制电机车做出相应动作。
优选的，步骤二中图像备份策略采用多线程程序，线程T1负责将图像采集的数据直接转发到图像处理模块，线程T2负责将图像数据拷贝到本地磁盘，并以时间戳命名保存文件，系统可设置单次存储的视频时长Ts和本地能够存储视频的最大数量Nmax。
优选的，图像清理策略为系统每次启动时检测存储位置的数据个数N，判断N是否大于设置的最大存储个数Nmax，如果大于则按照时间戳顺序遍历删除最早的一个视频，N减一，然后再次判断N的个数，如果此时小于Nmax则存储新的视频，N加一，否则再次重复删除视频操作；当存储完视频N加一后，下一次的视频到来依旧需要判断N的数目是否大于Nmax，当发生系统中断则退出系统关闭设备。
优选的，通过Mini服务器内部的AI处理程序能自动识别机车前方障碍物属性、距离等参数信息，并根据用户设定的安全阈值参数智能做出判断，将警报信号传送给通信控制器，通信控制器控制机车采取相应措施。
优选的，目标检测中将单个卷积神经网络(CNN)应用于整个图像，将图像分成网格，并预测每个网格的类概率和边界框。
优选的，对于每个网格，网络都会预测一个边界框和与每个类别相对应的概率。
每个边界框可以使用四个描述符进行描述：
1.边界框的中心；
2.高度；
3.宽度；
4.值映射到对象所属的类；
此外，该算法还可以预测边界框中存在对象的概率；如果一个对象的中心落在一个网格单元中，则该网格单元负责检测该对象；每个网格中将有多个边界框；在训练时，我们希望每个对象只有一个边界框；因此，我们根据哪个Box与ground truth box的重叠度最高，从而分配一个Box来负责预测对象；
最后，我们对每个类的对象应用一个称为“非最大抑制(Non Max Suppression)”的方法来过滤出“置信度”小于阈值的边界框；
优选的，目标测距为用相似三角形计算物体或者目标到相机的距离，将使用相似三角形来计算相机到一个已知的物体或者目标的距离，假设有一个宽度为W的目标或者物体；然后将这个目标放在距离的相机为D的位置；用相机对物体进行拍照并且测量物体的像素宽度P；
这样就得出了相机焦距的公式：F＝(PxD)/W
当继续将的相机移动靠近或者离远物体或者目标时，可以用相似三角形来计算出物体离相机的距离：D’＝(WxF)/P。
优选的，首先根据摄像机标定原理，获得摄像机的内参矩阵；
然后，采集含有目标的单帧图像，并识别出图像中目标所在区域，计算出该区域像素坐标纵坐标最大值，及其对应的横坐标的平均值，将得到的坐标作为观测点；
最后，基于图像像素点获得观测点在世界坐标系下的三维信息，根据观测点在体坐标系下的三维信息计算观测点的距离
包括以下步骤：
步骤一、对单目摄像机进行标定，获取摄像机的内参矩阵[fx,0,u0；0,fy,v0；0,0,1]；
步骤二、通过已标定的单目摄像机拍摄含有目标的单帧图像，并对获得的图像进行处理，提取目标区域，计算出该区域像素坐标纵坐标最大值，及其对应的横坐标的平均值，将组合得到的坐标作为观测点P；
步骤三、根据摄像机标定原理，由观测点的像素坐标Pp(u,v)可以获得观测点在体坐标系下的三维坐标值Pb(xb,yb,zb)，进而可以计算出观测点的距离，具体方法如下所示：
1)由步骤一可以获得摄像机的内参矩阵，由步骤二可以获得观测点的像素点，则其中λ表示观测点处光线与摄像机光轴夹角，y表示观测点在图像坐标系下的纵坐标，y0表示摄像机光心在图像坐标系的纵坐标，f表示摄像机焦距。
进一步化简为到像素坐标系，其关系如下：
其中v表示观测点在像素坐标系下的纵坐标，v0表示摄像机光心在像素坐标系的纵坐标，dy表示在y方向上每个像素的物理尺寸，fy表示y轴上的归一化焦距；
2)在三角几何关系中，O1P2距离表示如下：
O1O2为摄像机距离测距平面的高度，P1在摄像机光轴的投影点为P2，O1P2表示深度信息即表示观测点在摄像机坐标系中点Pc(xc,yc,zc)中zc的值。
3)将像素坐标转换到摄像机坐标下，像素坐标系与摄像机坐标系转换关系。
将观测点的像素坐标和上一步中获得的观测点在摄像机坐标系下的深度信息zc结合，即可求得观测点在摄像机坐标系中的坐标Pc(xc,yc,zc)；
计算摄像机坐标系到体坐标系的转换公式，其中Rcb为摄像机坐标系到体坐标系的旋转矩阵，Tcb为摄像机坐标系到体坐标系的平移矩阵。
4)计算观测点的距离D；
5)在xOy是图像坐标系，Zc表示相机坐标系的Z轴及光轴，XbO2Yb表示体坐标系下Z＝0平面(即测距平面)，O1表示相机镜头，a,b两条虚线表示视觉场范围，θ表示相机俯仰角，H表示相机到测距平面的高度，P1点为观测点，观测点P1点在图像平面成像点为P，在光轴上的投影点为P2，在X轴上的投影点为P3，P3点在图像平面成像点为P0。
9.根据权利要求8的一种矿用电机车防撞检验方法，其特征在于：车道线检测中包括以下步骤：
1)获取数据集；
首先选取固定宽度的滑窗(宽w高h)，在视频集中选取训练样本，标签为a(0：无轨道，1：双轨道，2多轨道)。其次，大规模的数据集是成功应用深度神经网络的前提。为了保证样本集的复杂度，通过图像增广的技术对图像做一系列的随机改变,生成足够量的待训练数据集；
2)定义和初始化模型；
创建一个神经网络作为目标模型，使得最后的输出等于目标数据集的类别。设softmax回归的权重和偏差参数分别为W和b,第i个图像样本为x(i),输出层为o(i),预测概率分布为
softmax回归对样本的分类矢量计算表达式为
o(i)＝x(i)W+b
构造合适的损失函数，比如交叉熵是一个常用的方法。
3)训练模型；
在训练模型中，我们需要在模型额前向计算过程中生成多尺度的瞄框，并未每个瞄框设置预测类别，选择当前距离无人机最近且居中的目标作为当前轨道。
4)基于边缘算法的轨道线检测；
选择一定的步长和滑动窗口，我们很容易找到双规或三轨道区域。针对失败或无轨道情况是为是为故障。这里只讨论正常情况下的进一步轨道线的确认。
根据边缘识别算法，生成轨道区域的所有直线。
y＝k(α)x+b
式中，α为直线与水平视角的角度，根据角度分类很容易剔除轨道中交叉线、噪声线。通过设置直线密集度、原点到直线距离等进行轨道分组，则可把左右轨道进行识别。
优选的，目标重叠判定为基于目标检测的结果将目标与轨道进行像素重叠计算，假设重叠像素为PC，目标框选的像素为PA，则重叠度为：S＝PC/PA。
与现有技术相比，本发明的有益效果是：
基于深度学习的方法完成图像的处理，只需一个单目摄像头即可实现功能，在保证精度的同时，减少了成本；
系统结构采用模块化设计，可重构性强，拓展性和兼容性好。
使用Mini服务器可以提供更好的计算性能和开发支持，后续可在该平台上搭建更多的功能框架。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明整体系统控制框图；
图2为本发明图像清理策略流程图；
图3为本发明相似三角形算法示意图；
图4为本发明计算观测点的距离D的坐标图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1至图4，本发明提供一种矿用电机车防撞检验方法技术方案：防爆摄像头采集实时的视频数据传输到Mini服务器中，用户可设置单个备份视频的时长与备份视频的总数，服务器根据用户的设置在存储模块中进行自动备份，当已备份的视频总数超过用户设置的视频的总数时，服务器可自动进行旧视频清理。Mini服务器捕获实时的视频数据后转发到图像处理程序，该程序包含目标识别，目标测距、重叠度检测、车道线检测的功能。图像处理程序处理完一帧的视频数据即可将结果数据包传给逻辑处理程序，该程序可读取用户自定义的参数：距离阈值、重叠度阈值。当经过逻辑处理程序解析后的结果数据包满足不同的阈值区间逻辑处理程序将得到不同的警报信号，按照等级分别为绿色(安全)、蓝色(存在隐患)、红色(危险)。最后通信程序通过TCP协议将警报信号发送给后端的通信控制器，由其控制电机车做出相应动作，
防爆摄像头的数量可根据实际的使用安放位置设置多个安放点，每个安放点配备有检测通电线路，用于检测摄像头是否故障，若故障使用则配用报警器进行报警处理，该报警器为光电报警器，用于周围人发现去维护更换，检测通电线路为设置与防爆摄像头和总电线路串联的检测光电报警器，若存在不通电的情况则光电报警器熄灭，便代表防爆摄像头处于不通电不工作的状态，供工作人员即使发现，避免影响后续电机车的防撞行为，保证装置具有稳定的前期准备工作。
图像采集与备份
图像备份策略：
采用多线程程序，线程T1负责将图像采集的数据直接转发到图像处理模块，线程T2负责将图像数据拷贝到本地磁盘，并以时间戳命名保存文件，系统可设置单次存储的视频时长Ts和本地能够存储视频的最大数量Nmax。
图像清理策略：
系统每次启动时检测存储位置的数据个数N，判断N是否大于设置的最大存储个数Nmax，如果大于则按照时间戳顺序遍历删除最早的一个视频，N减一，然后再次判断N的个数，如果此时小于Nmax则存储新的视频，N加一，否则再次重复删除视频操作。当存储完视频N加一后，下一次的视频到来依旧需要判断N的数目是否大于Nmax，当发生系统中断则退出系统关闭设备。
目标检测
无人机在驾驶过程中，须根据轨道线的运行识别前方障碍物或目标。本案基于深度学习技术，实现轨道、行人或障碍物检测。
Redmon等人在2016年的一篇研究论文中提出了YOLO(You Only Look Once)目标检测算法，YOLO将对象检测重新定义为一个回归问题。它将单个卷积神经网络(CNN)应用于整个图像，将图像分成网格，并预测每个网格的类概率和边界框。例如，以一个100x100的图像为例。我们把它分成网格，比如7x7。
然后，对于每个网格，网络都会预测一个边界框和与每个类别(汽车，行人，交通信号灯等)相对应的概率。
每个边界框可以使用四个描述符进行描述：
1.边界框的中心
2.高度
3.宽度
4.值映射到对象所属的类
此外，该算法还可以预测边界框中存在对象的概率。如果一个对象的中心落在一个网格单元中，则该网格单元负责检测该对象。每个网格中将有多个边界框。在训练时，我们希望每个对象只有一个边界框。因此，我们根据哪个Box与ground truth box的重叠度最高，从而分配一个Box来负责预测对象。
最后，我们对每个类的对象应用一个称为“非最大抑制(Non Max Suppression)”的方法来过滤出“置信度”小于阈值的边界框。这为我们提供了图像预测。
目标测距
相似三角形法
基本原理
用相似三角形计算物体或者目标到相机的距离，将使用相似三角形来计算相机到一个已知的物体或者目标的距离。
假设有一个宽度为W的目标或者物体。然后将这个目标放在距离的相机为D的位置。用相机对物体进行拍照并且测量物体的像素宽度P。
这样就得出了相机焦距的公式：F＝(PxD)/W
当继续将的相机移动靠近或者离远物体或者目标时，可以用相似三角形来计算出物体离相机的距离：D’＝(WxF)/P
具体操作
首先根据摄像机标定原理，获得摄像机的内参矩阵；
然后，采集含有目标的单帧图像，并识别出图像中目标所在区域，计算出该区域像素坐标纵坐标最大值，及其对应的横坐标的平均值，将得到的坐标作为观测点；
最后，基于图像像素点获得观测点在世界坐标系下的三维信息，根据观测点在体坐标系下的三维信息计算观测点的距离
包括以下步骤：
步骤一、对单目摄像机进行标定，获取摄像机的内参矩阵[fx,0,u0；0,fy,v0；0,0,1]；
步骤二、通过已标定的单目摄像机拍摄含有目标的单帧图像，并对获得的图像进行处理，提取目标区域，计算出该区域像素坐标纵坐标最大值，及其对应的横坐标的平均值，将组合得到的坐标作为观测点P；
步骤三、根据摄像机标定原理，由观测点的像素坐标Pp(u,v)可以获得观测点在体坐标系下的三维坐标值Pb(xb,yb,zb)，进而可以计算出观测点的距离，具体方法如下所示：
1)由步骤一可以获得摄像机的内参矩阵，由步骤二可以获得观测点的像素点，则其中λ表示观测点处光线与摄像机光轴夹角，y表示观测点在图像坐标系下的纵坐标，y0表示摄像机光心在图像坐标系的纵坐标，f表示摄像机焦距。
进一步化简为到像素坐标系，其关系如下：
其中v表示观测点在像素坐标系下的纵坐标，v0表示摄像机光心在像素坐标系的纵坐标，dy表示在y方向上每个像素的物理尺寸，fy表示y轴上的归一化焦距；
2)在三角几何关系中，O1P2距离表示如下：
O1O2为摄像机距离测距平面的高度，P1在摄像机光轴的投影点为P2，O1P2表示深度信息即表示观测点在摄像机坐标系中点Pc(xc,yc,zc)中zc的值。
3)将像素坐标转换到摄像机坐标下，像素坐标系与摄像机坐标系转换关系。
将观测点的像素坐标和上一步中获得的观测点在摄像机坐标系下的深度信息zc结合，即可求得观测点在摄像机坐标系中的坐标Pc(xc,yc,zc)；
计算摄像机坐标系到体坐标系的转换公式，其中Rcb为摄像机坐标系到体坐标系的旋转矩阵，Tcb为摄像机坐标系到体坐标系的平移矩阵。
4)计算观测点的距离D；
xOy是图像坐标系，Zc表示相机坐标系的Z轴及光轴，XbO2Yb表示体坐标系下Z＝0平面(即测距平面)，O1表示相机镜头，a,b两条虚线表示视觉场范围，θ表示相机俯仰角，H表示相机到测距平面的高度，P1点为观测点，观测点P1点在图像平面成像点为P，在光轴上的投影点为P2，在X轴上的投影点为P3，P3点在图像平面成像点为P0。
图像比例测距
理论上在相机视角固定时，图像上不同像素点的实际距离应该固定，即满足映射关系，由此我们可以通过就算像素点在图像上的位置去估算出实际的距离。在函数映射偏差较大时，我们可以采用Hash表的方法，将像素点的位置与实际距离一一建立Hash，在计算时直接查表获得。
车道线检测
研究根据无人机驾驶过程中所有的轨道，并对其进行检测，标识出行驶过程中的轨道线。本研究基于深度学习相关技术首先对视频中轨道进行识别，识别概率最大的区域中使用边缘技术提取轨道线，最后使用分类技术对轨道线进行标识。
1)获取数据集
首先选取固定宽度的滑窗(宽w高h)，在视频集中选取训练样本，标签为a(0：无轨道，1：双轨道，2多轨道)。其次，大规模的数据集是成功应用深度神经网络的前提。为了保证样本集的复杂度，通过图像增广的技术对图像做一系列的随机改变,生成足够量的待训练数据集。
2)定义和初始化模型
创建一个神经网络作为目标模型，使得最后的输出等于目标数据集的类别。设softmax回归的权重和偏差参数分别为W和b,第i个图像样本为x(i),输出层为o(i),预测概率分布为
softmax回归对样本的分类矢量计算表达式为
o(i)＝x(i)W+b
构造合适的损失函数，比如交叉熵是一个常用的方法。
3)训练模型。
在训练模型中，我们需要在模型额前向计算过程中生成多尺度的瞄框，并未每个瞄框设置预测类别，选择当前距离无人机最近且居中的目标作为当前轨道。
4)基于边缘算法的轨道线检测
选择一定的步长和滑动窗口，我们很容易找到双规或三轨道区域。针对失败或无轨道情况是为是为故障。这里只讨论正常情况下的进一步轨道线的确认。
根据边缘识别算法，生成轨道区域的所有直线。
y＝k(α)x+b
式中，α为直线与水平视角的角度，根据角度分类很容易剔除轨道中交叉线、噪声线。通过设置直线密集度、原点到直线距离等进行轨道分组，则可把左右轨道进行识别。
目标重叠判定
基于目标检测的结果将目标与轨道进行像素重叠计算，假设重叠像素为PC，目标框选的像素为PA，则重叠度为：S＝PC/PA。
数据传输
在图像处理完成每一帧图片后，服务器会给出一个二进制数据包，格式如下(python描述)：[[类别1，距离1，重叠度1],[类别2，距离2，重叠度2],……[类别n，距离n，重叠度n]]。
服务器内通信程序(C++/Rust)会对数据包进行解析处理，以轨道的位置为基准，结合机车防碰撞操作距离的阈值Tl，假设重叠度阈值为[Tc_min,Tc_max]，算法逻辑如下：
完成处理后将警报信号通过TCP/CAN协议传递给通信控制器。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (10)
1.一种矿用电机车防撞检验方法，其特征在于，包括有防爆摄像头、Mini服务器、存储模块、供电模块、通信控制器与隔爆壳体；
步骤一：防爆摄像头采集实时的视频数据传输到Mini服务器中，用户可设置单个备份视频的时长与备份视频的总数，Mini服务器根据用户的设置在存储模块中进行自动备份，当已备份的视频总数超过用户设置的视频的总数时，Mini服务器可自动进行旧视频清理，防爆摄像头的数量可根据实际的使用安放位置设置多个安放点，每个安放点配备有检测通电线路，用于检测摄像头是否故障，若故障使用则配用报警器进行报警处理，该报警器为光电报警器，检测通电线路为设置与防爆摄像头和总电线路串联的检测光电报警器，若存在不通电的情况则光电报警器熄灭；
步骤二：Mini服务器捕获实时的视频数据后转发到图像处理程序，该程序包含目标识别，目标测距、重叠度检测、车道线检测的功能；
步骤三：图像处理程序处理完一帧的视频数据即可将结果数据包传给逻辑处理程序，该程序可读取用户自定义的参数：距离阈值、重叠度阈值，在图像处理完成每一帧图片后，服务器会给出一个二进制数据包，格式如下[[类别1，距离1，重叠度1],[类别2，距离2，重叠度2],……[类别n，距离n，重叠度n]]；
服务器内通信程序(C++/Rust)会对数据包进行解析处理，以轨道的位置为基准，结合机车防碰撞操作距离的阈值Tl，假设重叠度阈值为[Tc_min,Tc_max]，通过逻辑算法完成处理后将警报信号通过TCP/CAN协议传递给通信控制器；
步骤四：当经过逻辑处理程序解析后的结果数据包满足不同的阈值区间逻辑处理程序将得到不同的警报信号，按照等级分别为绿色为安全信号、蓝色为存在隐患信号、红色为危险信号；
步骤五：最后通信程序通过TCP协议将警报信号发送给后端的通信控制器，由其控制电机车做出相应动作。
2.根据权利要求1所述的一种矿用电机车防撞检验方法，其特征在于：步骤二中图像备份策略采用多线程程序，线程T1负责将图像采集的数据直接转发到图像处理模块，线程T2负责将图像数据拷贝到本地磁盘，并以时间戳命名保存文件，系统可设置单次存储的视频时长Ts和本地能够存储视频的最大数量Nmax。
3.根据权利要求2所述的一种矿用电机车防撞检验方法，其特征在于：图像清理策略为系统每次启动时检测存储位置的数据个数N，判断N是否大于设置的最大存储个数Nmax，如果大于则按照时间戳顺序遍历删除最早的一个视频，N减一，然后再次判断N的个数，如果此时小于Nmax则存储新的视频，N加一，否则再次重复删除视频操作；当存储完视频N加一后，下一次的视频到来依旧需要判断N的数目是否大于Nmax，当发生系统中断则退出系统关闭设备。
4.根据权利要求1所述的一种矿用电机车防撞检验方法，其特征在于：通过所述Mini服务器内部的AI处理程序能自动识别机车前方障碍物属性、距离等参数信息，并根据用户设定的安全阈值参数智能做出判断，将警报信号传送给通信控制器，通信控制器控制机车采取相应措施。
5.根据权利要求1所述的一种矿用电机车防撞检验方法，其特征在于：目标检测中将单个卷积神经网络(CNN)应用于整个图像，将图像分成网格，并预测每个网格的类概率和边界框。
6.根据权利要求5所述的一种矿用电机车防撞检验方法，其特征在于：对于每个网格，网络都会预测一个边界框和与每个类别相对应的概率；
每个边界框可以使用四个描述符进行描述：
1.边界框的中心；
2.高度；
3.宽度；
4.值映射到对象所属的类；
此外，该算法还可以预测边界框中存在对象的概率；如果一个对象的中心落在一个网格单元中，则该网格单元负责检测该对象；每个网格中将有多个边界框；在训练时，我们希望每个对象只有一个边界框；因此，我们根据哪个Box与ground truth box的重叠度最高，从而分配一个Box来负责预测对象；
最后，我们对每个类的对象应用一个称为“非最大抑制(Non Max Suppression)”的方法来过滤出“置信度”小于阈值的边界框。
7.根据权利要求1所述的一种矿用电机车防撞检验方法，其特征在于：所述目标测距为用相似三角形计算物体或者目标到相机的距离，将使用相似三角形来计算相机到一个已知的物体或者目标的距离，假设有一个宽度为W的目标或者物体；然后将这个目标放在距离的相机为D的位置；用相机对物体进行拍照并且测量物体的像素宽度P；
这样就得出了相机焦距的公式：F＝(PxD)/W
当继续将的相机移动靠近或者离远物体或者目标时，可以用相似三角形来计算出物体离相机的距离：D’＝(WxF)/P。
8.根据权利要求7所述的一种矿用电机车防撞检验方法，其特征在于：首先根据摄像机标定原理，获得摄像机的内参矩阵；
然后，采集含有目标的单帧图像，并识别出图像中目标所在区域，计算出该区域像素坐标纵坐标最大值，及其对应的横坐标的平均值，将得到的坐标作为观测点；
最后，基于图像像素点获得观测点在世界坐标系下的三维信息，根据观测点在体坐标系下的三维信息计算观测点的距离
包括以下步骤：
步骤一、对单目摄像机进行标定，获取摄像机的内参矩阵[fx,0,u0；0,fy,v0；0,0,1]；
步骤二、通过已标定的单目摄像机拍摄含有目标的单帧图像，并对获得的图像进行处理，提取目标区域，计算出该区域像素坐标纵坐标最大值，及其对应的横坐标的平均值，将组合得到的坐标作为观测点P；
步骤三、根据摄像机标定原理，由观测点的像素坐标Pp(u,v)可以获得观测点在体坐标系下的三维坐标值Pb(xb,yb,zb)，进而可以计算出观测点的距离，具体方法如下所示：
1)由步骤一可以获得摄像机的内参矩阵，由步骤二可以获得观测点的像素点，则其中λ表示观测点处光线与摄像机光轴夹角，y表示观测点在图像坐标系下的纵坐标，y0表示摄像机光心在图像坐标系的纵坐标，f表示摄像机焦距；
进一步化简为到像素坐标系，其关系如下：
其中v表示观测点在像素坐标系下的纵坐标，v0表示摄像机光心在像素坐标系的纵坐标，dy表示在y方向上每个像素的物理尺寸，fy表示y轴上的归一化焦距；
2)在三角几何关系中，O1P2距离表示如下：
O1O2为摄像机距离测距平面的高度，P1在摄像机光轴的投影点为P2，O1P2表示深度信息即表示观测点在摄像机坐标系中点Pc(xc,yc,zc)中zc的值；
3)将像素坐标转换到摄像机坐标下，像素坐标系与摄像机坐标系转换关系；
将观测点的像素坐标和上一步中获得的观测点在摄像机坐标系下的深度信息zc结合，即可求得观测点在摄像机坐标系中的坐标Pc(xc,yc,zc)；
计算摄像机坐标系到体坐标系的转换公式，其中Rcb为摄像机坐标系到体坐标系的旋转矩阵，Tcb为摄像机坐标系到体坐标系的平移矩阵；
4)计算观测点的距离D；
5)在xOy是图像坐标系，Zc表示相机坐标系的Z轴及光轴，XbO2Yb表示体坐标系下Z＝0平面(即测距平面)，O1表示相机镜头，a,b两条虚线表示视觉场范围，θ表示相机俯仰角，H表示相机到测距平面的高度，P1点为观测点，观测点P1点在图像平面成像点为P，在光轴上的投影点为P2，在X轴上的投影点为P3，P3点在图像平面成像点为P0。
9.根据权利要求8所述的一种矿用电机车防撞检验方法，其特征在于：车道线检测中包括以下步骤：
1)获取数据集；
首先选取固定宽度的滑窗(宽w高h)，在视频集中选取训练样本，标签为a(0：无轨道，1：双轨道，2多轨道)；其次，大规模的数据集是成功应用深度神经网络的前提；为了保证样本集的复杂度，通过图像增广的技术对图像做一系列的随机改变，生成足够量的待训练数据集；
2)定义和初始化模型；
创建一个神经网络作为目标模型，使得最后的输出等于目标数据集的类别；设softmax回归的权重和偏差参数分别为W和b，第i个图像样本为x(i)，输出层为o(i)，预测概率分布为
softmax回归对样本的分类矢量计算表达式为
o(i)＝x(i)W+b
构造合适的损失函数，比如交叉熵是一个常用的方法；
3)训练模型；
在训练模型中，我们需要在模型额前向计算过程中生成多尺度的瞄框，并未每个瞄框设置预测类别，选择当前距离无人机最近且居中的目标作为当前轨道；
4)基于边缘算法的轨道线检测；
选择一定的步长和滑动窗口，我们很容易找到双规或三轨道区域；针对失败或无轨道情况是为是为故障；这里只讨论正常情况下的进一步轨道线的确认；
根据边缘识别算法，生成轨道区域的所有直线；
y＝k(α)x+b
式中，α为直线与水平视角的角度，根据角度分类很容易剔除轨道中交叉线、噪声线；通过设置直线密集度、原点到直线距离等进行轨道分组，则可把左右轨道进行识别。
10.根据权利要求8所述的一种矿用电机车防撞检验方法，其特征在于：目标重叠判定为基于目标检测的结果将目标与轨道进行像素重叠计算，假设重叠像素为PC，目标框选的像素为PA，则重叠度为：S＝PC/PA。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211429989.9A CN115914800A (zh) | 2022-11-15 | 2022-11-15 | 一种矿用电机车防撞检验方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211429989.9A CN115914800A (zh) | 2022-11-15 | 2022-11-15 | 一种矿用电机车防撞检验方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115914800A true CN115914800A (zh) | 2023-04-04 |
Family
ID=86475957
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211429989.9A Pending CN115914800A (zh) | 2022-11-15 | 2022-11-15 | 一种矿用电机车防撞检验方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115914800A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101519981A (zh) * | 2009-03-19 | 2009-09-02 | 重庆大学 | 基于单目视觉的矿井机车防撞预警系统和预警方法 |
| CN103546724A (zh) * | 2013-10-22 | 2014-01-29 | 杭州爱浦多数码技术有限公司 | 一种网络摄像机集散式冗余存储系统及其存储方法 |
| CN111325872A (zh) * | 2020-01-21 | 2020-06-23 | 和智信(山东)大数据科技有限公司 | 基于计算机视觉的司机驾驶异常检测设备及检测方法 |
| CN111461088A (zh) * | 2020-06-17 | 2020-07-28 | 长沙超创电子科技有限公司 | 一种基于图像处理与目标识别的轨道交通避障系统 |
| CN111982072A (zh) * | 2020-07-29 | 2020-11-24 | 西北工业大学 | 一种基于单目视觉的目标测距方法 |
| CN112800902A (zh) * | 2021-01-15 | 2021-05-14 | 北京航空航天大学 | 一种基于图像分割的复杂场景下轨道线拟合方法 |
| CN113093726A (zh) * | 2021-03-05 | 2021-07-09 | 华南理工大学 | 一种基于Yolo_v4算法的目标检测与跟踪方法 |
| CN115267756A (zh) * | 2022-04-27 | 2022-11-01 | 北京理工大学 | 一种基于深度学习目标检测的单目实时测距方法 |
-
2022
- 2022-11-15 CN CN202211429989.9A patent/CN115914800A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101519981A (zh) * | 2009-03-19 | 2009-09-02 | 重庆大学 | 基于单目视觉的矿井机车防撞预警系统和预警方法 |
| CN103546724A (zh) * | 2013-10-22 | 2014-01-29 | 杭州爱浦多数码技术有限公司 | 一种网络摄像机集散式冗余存储系统及其存储方法 |
| CN111325872A (zh) * | 2020-01-21 | 2020-06-23 | 和智信(山东)大数据科技有限公司 | 基于计算机视觉的司机驾驶异常检测设备及检测方法 |
| CN111461088A (zh) * | 2020-06-17 | 2020-07-28 | 长沙超创电子科技有限公司 | 一种基于图像处理与目标识别的轨道交通避障系统 |
| CN111982072A (zh) * | 2020-07-29 | 2020-11-24 | 西北工业大学 | 一种基于单目视觉的目标测距方法 |
| CN112800902A (zh) * | 2021-01-15 | 2021-05-14 | 北京航空航天大学 | 一种基于图像分割的复杂场景下轨道线拟合方法 |
| CN113093726A (zh) * | 2021-03-05 | 2021-07-09 | 华南理工大学 | 一种基于Yolo_v4算法的目标检测与跟踪方法 |
| CN115267756A (zh) * | 2022-04-27 | 2022-11-01 | 北京理工大学 | 一种基于深度学习目标检测的单目实时测距方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3852064B1 (en) | Object labeling method and apparatus, movement control method and apparatus, device, and storage medium | |
| Hu et al. | What you see is what you get: Exploiting visibility for 3d object detection | |
| CN110765922A (zh) | 一种agv用双目视觉物体检测障碍物系统 | |
| CN110765894B (zh) | 目标检测方法、装置、设备及计算机可读存储介质 | |
| Pfreundschuh et al. | Dynamic object aware lidar slam based on automatic generation of training data | |
| Kim et al. | Deep learning based vehicle position and orientation estimation via inverse perspective mapping image | |
| US11120280B2 (en) | Geometry-aware instance segmentation in stereo image capture processes | |
| CN114782626B (zh) | 基于激光与视觉融合的变电站场景建图及定位优化方法 | |
| CN114355907B (zh) | 一种基于云端的智能化垃圾识别和清扫方法、系统 | |
| CN116576857A (zh) | 一种基于单线激光雷达的多障碍物预测导航避障方法 | |
| WO2024146339A1 (zh) | 路径规划方法、装置和起重机 | |
| CN107590834A (zh) | 一种道路交通事件视频检测方法及系统 | |
| CN114844925B (zh) | 无人矿山全域智能监测系统 | |
| CN115909223B (zh) | 一种wim系统信息与监控视频数据匹配的方法和系统 | |
| CN115909092A (zh) | 轻量化输电通道隐患测距方法及隐患预警装置 | |
| CN116109047A (zh) | 一种基于三维智能检测的智能调度方法 | |
| CN114565906A (zh) | 障碍物检测方法、装置、电子设备及存储介质 | |
| KR20230036243A (ko) | 영상과 라이다를 이용한 실시간 3차원 물체 인식 및 추적 시스템 | |
| CN117409393A (zh) | 一种焦炉机车激光点云与视觉融合障碍物检测方法及系统 | |
| CN113744302B (zh) | 动态目标行为预测方法和系统 | |
| Pagnot et al. | Fast cross-country navigation on fair terrains | |
| CN113341978A (zh) | 一种基于梯型障碍物的智能小车路径规划方法 | |
| CN115914800A (zh) | 一种矿用电机车防撞检验方法 | |
| Khalil et al. | Licanext: Incorporating sequential range residuals for additional advancement in joint perception and motion prediction | |
| CN112946603A (zh) | 一种基于激光雷达的道路养护检测系统及其检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |