CN111717240A - 基于图像识别的矿车脱轨检测方法和系统 - Google Patents

Abstract

本发明提供了一种基于图像识别的矿车脱轨检测方法和系统，该方法包括：采集矿车在行驶过程中，车轮与轨道的视频数据；对所述视频数据进行图像特征提取，得到目标数据；所述目标数据包括：车轮外侧与轨道外侧之间的距离、车轮内侧与轨道内侧的距离；当所述目标数据不在预设的安全距离范围内时，则输出告警信号。从而可以实现对矿车运行过程的自动检测，及时检测出矿车是否存在脱轨危险，保证矿车的安全运行。

Description

基于图像识别的矿车脱轨检测方法和系统

技术领域

本发明涉及计算机视觉技术领域，具体地，涉及基于图像识别的矿车脱轨检测方法和系统。

背景技术

目前矿山地下采矿作业依靠大型轨道矿车将矿石运输到地面。矿区斜井长度较长，坡度较大，由于运行环境恶劣，轨道长期运行过程中可能出现变形，矿物洒落也会导致车轮脱轨。一旦矿车出现脱轨，必须安排专业抢修车辆下井进行抢修。但由于井内坡度大，空间狭小，无法达到地面抢修的便捷条件，往往一次抢修需要12-16小时以上，严重影响生产效率。

部分矿区基于视频监控技术，在井下安装了无线路由，通过摄像头拍摄矿车运行视频，将视频数据实时传输到监控室，由监控人员24小时紧盯监控画面，出现异常后采取紧急制动预防措施。这种方式一定程度上降低了故障率，但仍然存在较大的弊端，例如长期靠人工监控的模式。由于工作重复枯燥，很容易导致人员注意力不集中或者开小差，另一方面，人工反应的时间不及时，往往出现问题到制动操作指令未完成时，矿车已经脱轨。因此，靠人工远程监控的方法，只能部分解决脱轨问题，实际运行中仍然存在较大故障率。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于图像识别的矿车脱轨检测方法和系统。

第一方面，本发明提供一种基于图像识别的矿车脱轨检测方法，包括：

采集矿车在行驶过程中，车轮与轨道的视频数据；

对所述视频数据进行图像特征提取，得到目标数据；所述目标数据包括：车轮外侧与轨道外侧之间的距离、车轮内侧与轨道内侧的距离；

当所述目标数据不在预设的安全距离范围内时，则输出告警信号。

可选地，所述采集矿车在行驶过程中，车轮与轨道的视频数据，包括：

分别获取矿车前轮与轨道的第一视频数据，以及矿车后轮与轨道的第二视频数据；其中，所述第一视频数据中矿车前轮与轨道位于拍摄视频的视场中央，所述第二视频数据中矿车后轮与轨道位于拍摄视频的视场中央。

可选地，在对所述视频数据进行图像特征提取，得到目标数据之前，还包括：

对所述视频数据进行预处理，所述预处理包括以下任一种或者任多种操作：

对所述视频数据进行降噪处理；

对所述视频数据进行滤波处理；

对所述视频数据进行增强处理。

可选地，对所述视频数据进行图像特征提取，得到目标数据，包括：

识别所述视频数据中的前景区域和背景区域；

基于车轮与轨道的几何特征，在背景区域中标识出车轮轮廓和轨道轮廓；

根据所述车轮轮廓和所述轨道轮廓，确定车轮宽度直线和轨道边线；

将车轮宽度直线和轨道边线映射到同一个平面；

在所述平面中，将所述车轮直线变换到与所述轨道边线相交，并分别计算车轮直线外侧与轨道外侧直线相交线段长度，以及车轮直线内侧与轨道内侧直线相交线段的长度；其中，所述车轮直线外侧与轨道外侧直线相交线段长度用以表征车轮外侧与轨道外侧之间的距离，所述车轮直线内侧与轨道内侧直线相交线段的长度用以表征车轮内侧与轨道内侧的距离。

可选地，当所述目标数据不在预设的安全距离范围内时，则输出告警信号，包括：

当车轮外侧与轨道外侧之间的距离小于第一安全阈值，或者车轮内侧与轨道内侧的距离小于第二安全阈值时，则输出告警信号。

第二方面，本发明提供一种基于图像识别的矿车脱轨检测系统，应用于矿车上，所述系统包括：图像处理器、警报器和安装在矿车侧面的两组相机，所述两组相机将采集到的视频数据传输给所述图像处理器，其中，第一组相机对准矿车左侧的前轮和后轮，第二组相机对准矿车右侧的前轮和后轮；

所述两组相机，用于采集矿车在行驶过程中，车轮与轨道的视频数据；

所述图像处理器，用于对所述视频数据进行图像特征提取，得到目标数据；所述目标数据包括：车轮外侧与轨道外侧之间的距离、车轮内侧与轨道内侧的距离；

所述警报器，用于在所述目标数据不在预设的安全距离范围内时，输出告警信号。

可选地，所述两组相机，具体用于：

分别获取矿车前轮与轨道的第一视频数据，以及矿车后轮与轨道的第二视频数据；其中，所述第一视频数据中矿车前轮与轨道位于拍摄视频的视场中央，所述第二视频数据中矿车后轮与轨道位于拍摄视频的视场中央。

可选地，所述图像处理器，还用于对所述视频数据进行预处理，所述预处理包括以下任一种或者任多种操作：

对所述视频数据进行降噪处理；

对所述视频数据进行滤波处理；

对所述视频数据进行增强处理。

可选地，所述图像处理器具体用于：

识别所述视频数据中的前景区域和背景区域；

基于车轮与轨道的几何特征，在背景区域中标识出车轮轮廓和轨道轮廓；

根据所述车轮轮廓和所述轨道轮廓，确定车轮宽度直线和轨道边线；

将车轮宽度直线和轨道边线映射到同一个平面；

在所述平面中，将所述车轮直线变换到与所述轨道边线相交，并分别计算车轮直线外侧与轨道外侧直线相交线段长度，以及车轮直线内侧与轨道内侧直线相交线段的长度；其中，所述车轮直线外侧与轨道外侧直线相交线段长度用以表征车轮外侧与轨道外侧之间的距离，所述车轮直线内侧与轨道内侧直线相交线段的长度用以表征车轮内侧与轨道内侧的距离。

可选地，所述警报器，具体用于：

当车轮外侧与轨道外侧之间的距离小于第一安全阈值，或者车轮内侧与轨道内侧的距离小于第二安全阈值时，则输出告警信号。

与现有技术相比，本发明具有如下的有益效果：

本发明提供的基于图像识别的矿车脱轨检测方法和系统，通过采集矿车在行驶过程中，车轮与轨道的视频数据；对所述视频数据进行图像特征提取，得到目标数据；所述目标数据包括：车轮外侧与轨道外侧之间的距离、车轮内侧与轨道内侧的距离；当所述目标数据不在预设的安全距离范围内时，则输出告警信号。从而可以实现对矿车运行过程的自动检测，检测效率高，无需人工干预，能够更加及时地检测出矿车是否存在脱轨危险，保证矿车的安全运行。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例提供的基于图像识别的矿车脱轨检测系统中相机的安装位置示意图；

图2为本发明实施例提供的基于图像识别的矿车脱轨检测方法中图像特征提取的效果示意图；

图3为本发明实施例提供的基于图像识别的矿车脱轨检测方法中车轮宽度线投影到轨道边线平面的示意图；

图4为本发明实施例提供的基于图像识别的矿车脱轨检测方法的流程示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

本发明提供的基于图像识别的矿车脱轨检测方法包括车轮目标识别、轨道目标识别、车轮宽度提取，轨道边沿提取，车轮与轨道位置关系计算，其特征在于：通过固定在矿车侧面的相机拍摄矿车运行过程中车轮与轨道的视频数据，基于图像识别技术识别出车轮与轨道目标，提取目标形状特征，计算车轮内外侧与轨道内外侧的距离，与已设定的最小安全距离比对，超出范围自动输出告警信号。

图1为本发明实施例提供的基于图像识别的矿车脱轨检测系统中相机的安装位置示意图；如图1所示，矿车一般运行在一定坡度的斜井中，相机要安装在矿车侧面的中间位置，相机视场中心对准车轮与轨道交汇处，每侧需要安装两个相机，分别对准前后轮，相机高度相对轨道约40cm-60cm。可选地，由于斜井中光线昏暗，需要选择低照度红外补光相机，如安全级别要求高，则可选择防爆相机。

示例性的，为了采集多路视频数据，可以在矿车两侧各安装2台相机，分别对准前轮和后轮，一共4台相机，相机安装距离轨道上方40cm左右，确保能够同时将车轮及轨道拍摄到视场正中央。安装好相机之后，根据相机参数及安装参数，通过实际拍摄与图像识别换算，消除畸变影响，标定出相机参数，减少后续运算误差。

在对相机采集到的视频数据进行图像特征提取之前，将采集到的多路视频数据进行预处理，主要包括降噪、滤波及增强处理，由于矿车在斜井中环境光线较弱，拍摄噪点多，需要针对实际场景适配，选取合理的预处理参数。

图2为本发明实施例提供的基于图像识别的矿车脱轨检测方法中图像特征提取的效果示意图，如图2所示，根据相机采集的视频数据，首先经过降噪滤波和增强处理，然后进行边沿提取和分割，根据车轮的几何特征，先找到车轮内外侧边界，内外侧边界平行并且间距一定，以此校准提取的数据是否正确，以内外侧边界与水平线相交的线段作为车轮的宽度，接着同样的方法，按霍夫变换提取直线段，根据轨道的几何特征，选取两条平行距离满足轨道宽度，直线角度满足轨道角度的线段，以此作为轨道的内外侧边线。

图3为本发明实施例提供的基于图像识别的矿车脱轨检测方法中车轮宽度线投影到轨道边线平面的示意图；如图3所示，将已经提取到的车轮宽度线和轨道内外侧边线，接着将车轮宽度线段按相机标定的参数投影到轨道线同一平面，使其相交，分别求出内侧交点P1和外侧交点P2，计算车轮宽度线内侧端点到P1的距离为a1，车轮宽度线外侧端点到P2的距离为b1。进一步地，将a1、b1与预设值进行比较，车轮内侧与轨道内侧最小距离为a，车轮外侧与轨道外侧最小距离为b，当a1＜＝a或者b1＜＝b时，则触发报警并输出报警信号。

图4为本发明实施例提供的基于图像识别的矿车脱轨检测方法的流程示意图；如图4所示，先安装两侧相机，相机安装完成后进行参数标定，完成标定后既可以进行视频数据采集，采集到的视频数据传输到图像处理程序，图像处理程序首先进行图像预处理，经过预处理的图像再进行边沿提取和分割，得到独立的几何轮廓，再根据霍夫变换得到相应的直线段，将直线度进行拟合拼接，根据已有的车轮及轨道特征，可以提取出图像中的目标，如果找不到合格的目标，程序将跳过当前视频帧进行下一帧处理，重新开始流程，如找到了合格目标，则下一步进行几何变换，将车轮宽度线投影到轨道线的平面，再根据位置关系计算出相应的交点，基于交点分别求出内外侧距离，当距离超出预设范围时，系统自动启动告警并输出相应的告警信号，如未超出预设范围则正常结束本次处理，再次重复本流程进行下一帧的检测。

本发明实施例，通过安装在矿车侧面的相机采集轨道和矿车车轮运行的视频数据，基于图像目标识别技术提取车轮及轨道图像特征，分析车轮宽度和轨道边沿的几何位置关系，计算出车轮内侧与轨道内侧的距离及车轮外侧与轨道外侧的距离，接着与运行安全要求所允许的最小值进行对比，一旦超出范围立即报警，以及自动触发联动处理程序。由于机器视觉的响应时间较短，相比较于人工远程视频监控，本实施例通过图像识别技术实现自动检测，其检测效率大大提高，响应实时性更强，能够提前预警并根据需要启动联动处理程序，保证矿车的行驶安全。

需要说明的是，本发明提供的所述基于图像识别的矿车脱轨检测方法中的步骤，可以利用所述基于图像识别的矿车脱轨检测系统中对应的模块、装置、单元等予以实现，本领域技术人员可以参照所述系统的技术方案实现所述方法的步骤流程，即，所述系统中的实施例可理解为实现所述方法的优选例，在此不予赘述。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种基于图像识别的矿车脱轨检测方法，其特征在于，包括：

采集矿车在行驶过程中，车轮与轨道的视频数据；

对所述视频数据进行图像特征提取，得到目标数据；所述目标数据包括：车轮外侧与轨道外侧之间的距离、车轮内侧与轨道内侧的距离；

当所述目标数据不在预设的安全距离范围内时，则输出告警信号。

2.根据权利要求1所述的基于图像识别的矿车脱轨检测方法，其特征在于，所述采集矿车在行驶过程中，车轮与轨道的视频数据，包括：

分别获取矿车前轮与轨道的第一视频数据，以及矿车后轮与轨道的第二视频数据；其中，所述第一视频数据中矿车前轮与轨道位于拍摄视频的视场中央，所述第二视频数据中矿车后轮与轨道位于拍摄视频的视场中央。

3.根据权利要求1所述的基于图像识别的矿车脱轨检测方法，其特征在于，在对所述视频数据进行图像特征提取，得到目标数据之前，还包括：

对所述视频数据进行预处理，所述预处理包括以下任一种或者任多种操作：

对所述视频数据进行降噪处理；

对所述视频数据进行滤波处理；

对所述视频数据进行增强处理。

4.根据权利要求1-3中任一项所述的基于图像识别的矿车脱轨检测方法，其特征在于，对所述视频数据进行图像特征提取，得到目标数据，包括：

识别所述视频数据中的前景区域和背景区域；

基于车轮与轨道的几何特征，在背景区域中标识出车轮轮廓和轨道轮廓；

根据所述车轮轮廓和所述轨道轮廓，确定车轮宽度直线和轨道边线；

将车轮宽度直线和轨道边线映射到同一个平面；

在所述平面中，将所述车轮直线变换到与所述轨道边线相交，并分别计算车轮直线外侧与轨道外侧直线相交线段长度，以及车轮直线内侧与轨道内侧直线相交线段的长度；其中，所述车轮直线外侧与轨道外侧直线相交线段长度用以表征车轮外侧与轨道外侧之间的距离，所述车轮直线内侧与轨道内侧直线相交线段的长度用以表征车轮内侧与轨道内侧的距离。

5.根据权利要求5所述的基于图像识别的矿车脱轨检测方法，其特征在于，当所述目标数据不在预设的安全距离范围内时，则输出告警信号，包括：

当车轮外侧与轨道外侧之间的距离小于第一安全阈值，或者车轮内侧与轨道内侧的距离小于第二安全阈值时，则输出告警信号。

6.一种基于图像识别的矿车脱轨检测系统，应用于矿车上，其特征在于，所述系统包括：图像处理器、警报器和安装在矿车侧面的两组相机，所述两组相机将采集到的视频数据传输给所述图像处理器，其中，第一组相机对准矿车左侧的前轮和后轮，第二组相机对准矿车右侧的前轮和后轮；

所述两组相机，用于采集矿车在行驶过程中，车轮与轨道的视频数据；

所述图像处理器，用于对所述视频数据进行图像特征提取，得到目标数据；所述目标数据包括：车轮外侧与轨道外侧之间的距离、车轮内侧与轨道内侧的距离；

所述警报器，用于在所述目标数据不在预设的安全距离范围内时，输出告警信号。

7.根据权利要求6所述的基于图像识别的矿车脱轨检测系统，其特征在于，所述两组相机，具体用于：

分别获取矿车前轮与轨道的第一视频数据，以及矿车后轮与轨道的第二视频数据；其中，所述第一视频数据中矿车前轮与轨道位于拍摄视频的视场中央，所述第二视频数据中矿车后轮与轨道位于拍摄视频的视场中央。

8.根据权利要求6所述的基于图像识别的矿车脱轨检测系统，其特征在于，所述图像处理器，还用于对所述视频数据进行预处理，所述预处理包括以下任一种或者任多种操作：

对所述视频数据进行降噪处理；

对所述视频数据进行滤波处理；

对所述视频数据进行增强处理。

9.根据权利要求6-8中任一项所述的基于图像识别的矿车脱轨检测系统，其特征在于，所述图像处理器具体用于：

识别所述视频数据中的前景区域和背景区域；

基于车轮与轨道的几何特征，在背景区域中标识出车轮轮廓和轨道轮廓；

根据所述车轮轮廓和所述轨道轮廓，确定车轮宽度直线和轨道边线；

将车轮宽度直线和轨道边线映射到同一个平面；

在所述平面中，将所述车轮直线变换到与所述轨道边线相交，并分别计算车轮直线外侧与轨道外侧直线相交线段长度，以及车轮直线内侧与轨道内侧直线相交线段的长度；其中，所述车轮直线外侧与轨道外侧直线相交线段长度用以表征车轮外侧与轨道外侧之间的距离，所述车轮直线内侧与轨道内侧直线相交线段的长度用以表征车轮内侧与轨道内侧的距离。

10.根据权利要求9所述的基于图像识别的矿车脱轨检测系统，其特征在于，所述警报器，具体用于：

当车轮外侧与轨道外侧之间的距离小于第一安全阈值，或者车轮内侧与轨道内侧的距离小于第二安全阈值时，则输出告警信号。

Images