CN117087543A - 一种井工矿作业车辆智能辅助驾驶系统 - Google Patents

一种井工矿作业车辆智能辅助驾驶系统 Download PDF

Info

Publication number
CN117087543A
CN117087543A CN202310916074.9A CN202310916074A CN117087543A CN 117087543 A CN117087543 A CN 117087543A CN 202310916074 A CN202310916074 A CN 202310916074A CN 117087543 A CN117087543 A CN 117087543A
Authority
CN
China
Prior art keywords
data
vehicle
camera
auxiliary driving
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310916074.9A
Other languages
English (en)
Inventor
侯鹏程
闫阿泽
陈龙
朱怀武
马雅婷
詹航
李威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Sanjiang Aerospace Hongfeng Control Co Ltd
Original Assignee
Hubei Sanjiang Aerospace Hongfeng Control Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Sanjiang Aerospace Hongfeng Control Co Ltd filed Critical Hubei Sanjiang Aerospace Hongfeng Control Co Ltd
Priority to CN202310916074.9A priority Critical patent/CN117087543A/zh
Publication of CN117087543A publication Critical patent/CN117087543A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8053—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for bad weather conditions or night vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/02—Active or adaptive cruise control system; Distance control
    • B60T2201/022—Collision avoidance systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/93185—Controlling the brakes

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种井工矿作业车辆智能辅助驾驶系统，包括：根据作业车辆尺寸和视场需求，选用多路摄像头和毫米波作为传感器；通过合理安装，使摄像头可针对作业车辆视场全覆盖；通过标定算法使摄像头和毫米波雷达处于统一坐标系下；利用时间同步算法，同步采集摄像头和毫米波雷达数据；利用采集数据，设计多种模型，并将相应模型部署在智能辅助驾驶系统控制器中，将各类预警和制动指令发送至整车控制器进行相应制动操作。本智能辅助驾驶系统具备主动防碰撞、全景影像、防人员接近预警、智能限速等多项辅助驾驶功能，可有效解决水雾和粉尘带来的不清晰问题，功能齐全、精度高、且安装简单，适用于各种井工矿作业车辆中。

Description

一种井工矿作业车辆智能辅助驾驶系统
技术领域
本发明涉及辅助驾驶领域，具体为一种井工矿作业车辆智能辅助驾驶系统。
背景技术
矿山资源作为国民经济支柱之一，其高效、安全生产是确保国家能源安全的重要条件。井工矿由于其特殊的工作环境，所带来的安全事故异常频繁。为有效提升作业车辆安全性，各大供应厂商提供了一系列措施来保障作业车辆安全运行。较为典型的措施之一为提供各种辅助驾驶系统产品。虽然目前提供的产品种类较多，但功能相对单一，同时由于某些系统的缺陷无法提供可靠的辅助驾驶功能。例如，基于单线激光雷达/毫米波雷达的主动防碰撞系统，虽然价格便宜，但由于无法识别目标种类，极容易将坡道和墙壁当作障碍物，从而造成误检；基于摄像头和超声波的倒车影像系统可为司机提供完善的车辆周围信息，但需要司机主动去观察判断，存在较大的主观性；基于摄像头的人员识别系统仅仅只是识别人员类别，无法输出人员三维信息，同时当环境存在水雾或粉尘时，摄像头采集图像模糊，从而大幅度降低系统精度；基于UWB的人员接近预警系统由于人员识别卡制式不统一、移动基站带来定位精度差、成本过高等问题。
为有效解决上述辅助驾驶系统存在的各种问题，本发明提出了一种井工矿作业车辆智能辅助驾驶系统。
发明内容
针对现有技术存在的不足，本发明目的是提供一种井工矿作业车辆智能辅助驾驶系统，以解决上述背景技术中提出的问题，本发明解决水雾和粉尘带来的图像不清晰问题，提高系统检测精度，功能齐全、精度高、且安装简单可，适用于各种井工矿作业车辆中。
为了实现上述目的，本发明是通过如下的技术方案来实现：步骤S1：系统开机自检，系统自检通过后，发送状态信息给智能辅助驾驶系统控制器；步骤S2：传感器配置文件及检测模型加载，用于将传感器坐标统一及进行传感器数据输入后的检测推理；步骤S3：全景影像单元、智能限速单元、主动防碰撞单元以及人员接近单元同时开始工作。其中，全景影像单元将多路摄像头数据进行拼接形成全景影像，显示在系统显示器上；智能限速单元根据输入的前视图像，将限速信息结合毫米波雷达测速数据进行融合判断，并下发限速指令到整车控制器；主动防碰撞单元根据前视摄像头和毫米波雷达发数据，首先利用摄像头数据进行3D检测，输出障碍物3D信息，之后利用毫米波雷达数据与检测结果进行融合，剔除无效和错检信息后，根据速度和障碍物距离，计算作业车辆碰撞时间，并下发制动指令到整车控制器进行制动；人员接近单元利用各路传入的摄像头数据进行环视拼接，在将数据检测结果融合后，根据危险区域情况，将预警信息及车辆制动指令下发至整车控制器；步骤S4：在向整车控制器下发预警和制动指令时，同时将当前预警图像数据和测结果和指令内容存储到智能辅助驾驶系统控制器中，根据智能辅助驾驶系统控制器内存大小，定期删除存储期限以外的数据。
进一步的，所述步骤S1中，所述的系统开机自检包括传感器上电和通信状态、系统配置文件加载，检测模型加载、整车控制器通信状态自检。
进一步的，在系统自检正常后，系统开始进行传感器数据采集及后续流程。当系统检测某一状态出现异常时，系统发送异常信息到系统显示器上，提醒司机需进行故障排除。
进一步的，所述步骤S2中，所述的传感器配置文件主要包括各摄像头的标定文件，以及摄像头之间的坐标转换文件。其中，摄像头大标定文件同于摄像头的畸变校正。摄像头之间的坐标转换文件用于将不同的摄像头统一到同一三维坐标系下。
进一步的，所述的检测模型主要包括智能限速检测模型、主动防碰撞检测模型、人员接近检测模型。其中，所述的检测模型通过现有传感器采集各视场数据，通过数据标注、数据清洗、数据扩增后得到各模型所需要的训练数据集。利用各数据集进行模型训练，在得到优化的模型后，将模型部署到智能辅助驾驶控制器中。
进一步的，所述步骤S3中，所述的全景影像单元、智能限速单元、主动防碰撞单元以及人员接近单元同时利用各传感器采集的数据进行数据处理，并将相应检测和制动预警结果进行发布。
进一步的，所述全景影像单元将作业车辆每个方向上的多路摄像头进行拼接，以保证每个方向上视场角为180°。所选摄像头为非鱼眼摄像头，摄像头焦距根据所检测视场范围综合确定。在完成每路摄像头拼接后，将4个方向拼接后的图像根据标定矩阵进行投影，从而形成全景影像，并通过视频输出口将全景影像显示在系统显示器上。
进一步的，所述智能限速单元采集作业车辆前视图像，调用交通标志检测模型，从而输出交通标志的限速信息，利用毫米波雷达返回数据计算车辆实时速度。当作业车辆超速时，下发制动指令到整车控制器，对车辆速度进行闭环控制，以使作业车辆速度迅速下降到限速值范围以内。
进一步的，所述主动防碰撞单元根据前视摄像头和毫米波雷达数据采样频率，进行数据同步。由于毫米波雷达的采样频率大于摄像头的采样频率，采用向下兼容的方式，降低毫米波雷达的采样频率，使得二者采样的数据帧时间戳对齐。先利用摄像头数据进行3D检测，输出障碍物3D信息，之后利用毫米波雷达数据与检测结果进行融合，剔除无效和错检信息后，根据速度和障碍物距离，计算作业车辆碰撞时间，并下发制动指令到整车控制器进行制动。
进一步的，所述人员接近单元利用全景影像第一阶段各个方向上拼接的摄像头图像作为数据输入，利用红外图像3D目标检测算法对各方向图像进行检测，并输出作业车辆周围人员距离和方位信息。其次利用毫米波的检测信息与摄像头输出检测结果进行数据融合，以精确输出人员状态信息。根据作业车辆安全距离划分安全区、预警区和危险区，当车辆处于停止时，检测有人员处于危险区，作业车辆无法启动。检测有人员处于预警区，系统向作业车辆发送报警情况，提醒司机谨慎驾驶。检测有人员处于安全区，作业车辆正常启动；当车辆处于行驶时，检测有人员处于危险区，作业车辆进行分级制动。检测有人员处于预警区，系统向作业车辆发送报警情况，提醒司机谨慎驾驶。检测有人员处于安全区，作业车辆正常行驶。
本发明的有益效果：
1.该井工矿作业车辆智能辅助驾驶系统在系统成本增加不大的情况下，可有效解决水雾和粉尘带来的图像不清晰问题，且可对人员和障碍物进行三维识别，提高系统检测精度，降低系统误报率。
2.该井工矿作业车辆智能辅助驾驶系统采用融合检测策略，可极大提高系统可靠性。最后，系统可提供基于主动防碰撞、全景影像、防人员接近预警、智能限速等多项辅助驾驶功能。本系统功能齐全、精度高、且安装简单可，用于各种井工矿作业车辆中，以提高车辆安全性能。
附图说明
图1为本发明一种井工矿作业车辆智能辅助驾驶系统的工作原理图；
图2为本发明一种井工矿作业车辆智能辅助驾驶系统与作业车辆连接示意图；
图3为本发明一种井工矿作业车辆智能辅助驾驶系统在某作业车辆上安装位置示意图。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
请参阅图1至图3，本发明提供一种技术方案：一种井工矿作业车辆智能辅助驾驶系统，该实施例中硬件组成包括：8个本安防爆型防爆红外摄像头、1个本安防爆型毫米波雷达、1个隔爆型控制器、1个隔爆显示器、1个声光报警器以及防爆线缆若干；软件部分基于Ubuntu操作系统搭建、利用ROS2系统进行代码功能架构，选择Pytorch作为各类检测模型的深度学习框架、使用TensorRT对模型推理加速、利用NVIDIA GPU服务器对模型训练。该实施例的工作流程包括：步骤S1：系统开机自检，系统自检通过后，发送状态信息给智能辅助驾驶系统控制器；步骤S2：传感器配置文件及检测模型加载，用于将8个红外摄像头坐标统一及进行传感器数据输入后的检测推理；步骤S3：全景影像单元、智能限速单元、主动防碰撞单元以及人员接近单元同时开始工作。其中，全景影像单元将多路摄像头数据进行拼接形成全景影像，显示在系统显示器上；智能限速单元根据输入的前视图像，将限速信息结合毫米波雷达测速数据进行融合判断，并下发限速指令到整车控制器；主动防碰撞单元根据前视摄像头和毫米波雷达发数据，首先利用摄像头数据进行3D检测，输出障碍物3D信息，之后利用毫米波雷达数据与检测结果进行融合，剔除无效和错检信息后，根据速度和障碍物距离，计算作业车辆碰撞时间，并下发制动指令到整车控制器进行制动；人员接近单元利用各路传入的摄像头数据进行环视拼接，在将数据检测结果融合后，根据危险区域情况，将预警信息及车辆制动指令下发至整车控制器。步骤S4：在向整车控制器下发预警和制动指令时，同时将当前预警图像数据和测结果和指令内容存储到智能辅助驾驶系统控制器中，根据智能辅助驾驶系统控制器内存大小，定期删除存储期限以外的数据。
本实施例，在步骤S1中，所述的系统开机自检包括传感器上电和通信状态、系统配置文件加载，检测模型加载、整车控制器通信状态自检。在系统自检正常后，系统开始进行传感器数据采集及后续流程。当系统检测某一状态出现异常时，系统发送异常信息到系统显示器上，提醒司机需进行故障排除。
本实施例，在步骤S1中，所述的系统自检主要包括传感器上电和通信状态、系统配置文件加载，检测模型加载、整车控制器通信状态自检，以免出现由于系统硬件和软件启动异常导致的系统异常，为作业车辆安全驾驶带来风险。传感器上电和通信状态自检为处理器是否获得防爆摄像头数据和防爆毫米波雷达数据；系统配置文件加载自检，用于检测8个摄像头以及毫米波雷达数据标定是否正常；检测模型自检为当有采集数据输入时，是否正常输出推理检测结果；整车控制器通信状态自检是检查控制器与整车控制器通信是否正常，以保证制动指令可以通过CAN总线正常低延时下发。当系统检测某一状态出现异常时，系统发送异常信息到系统显示器上，提醒司机需进行故障排除。，直至自检正常，车辆才能启动。
本实施例，在步骤S2中，所述的传感器配置文件主要包括各摄像头的标定文件，以及摄像头之间的坐标转换文件。其中，摄像头大标定文件同于摄像头的畸变校正。摄像头之间的坐标转换文件用于将不同的摄像头统一到统一三维坐标系下。所述的防爆摄像头和防爆毫米波雷达标定主要是将防爆毫米波雷达生成的数据坐标转换至防爆摄像头生成的图像像素坐标系下。
通过标定获得防爆摄像头的外参矩阵M外和内参矩阵M内。摄像头内参通过ROS2系统的camera_calibration功能包进行标定，利用棋盘标定板对摄像头进行标定获取。图像中某点在世界坐标系下的坐标(a,b,c)与其在像素坐标下的坐标(u,v,1)的转换关系如下：
通过计算得到防爆毫米波雷达与防爆摄像头之间的变换矩阵Mradar-cam，则防爆毫米波雷达点云中某一点在世界坐标系下的坐标(x,y,z)与图像中某点在世界坐标系下的坐标(a,b,c)有如下转换关系：
所述的检测模型主要包括智能限速检测模型、主动防碰撞检测模型、人员接近检测模型。其中，所述的智能限速模型主要用于交通标志及信号的等检测，例如使用YOLO、Faster RCNN等模型。所述的主动防碰撞模型主要用于车身前方的摄像头进行二维图像的障碍物3D检测，例如使用DD3D、DETR3D等模型。所述的人员接近检测模型主要用于车身周围全部摄像头采集的二维图像进行3D人员检测，例如使用BEVFormer、BEVDet等模型。所述的检测模型通过现有传感器采集各视场数据，通过数据标注、数据清洗、数据扩增后得到各模型所需要的训练数据集。利用各数据集进行模型训练，在得到优化的模型后，将模型部署到智能辅助驾驶控制器中。
本实施例，在步骤S3中，所述的全景影像单元、智能限速单元、主动防碰撞单元以及人员接近单元同时利用各传感器采集的数据进行数据处理，并将相应检测和制动预警结果进行发布。
本实施例，所述的全景影像单元将作业车辆每个方向上的2路摄像头进行拼接，每个摄像头角度为120度，将每个方向上两个摄像头视场重叠60度，以保证每个方向上视场角为180°。在完成每个方向两路摄像头拼接后，将4个方向拼接后的图像根据标定矩阵进行投影，从而形成全景影，并通过视频输出口将全景影像显示在系统显示器上；
本实施例，所述的智能限速单元采集作业车辆前视两个摄像头拼接的图像，调用交通标志检测模型，从而输出交通标志的限速信息，利用毫米波雷达返回数据计算车辆实时速度。当作业车辆超速时，下发制动指令到整车控制器，对车辆速度进行闭环控制，以使作业车辆速度迅速下降到限速值范围以内；
本实施例，所述的主动防碰撞单元根据前视两个摄像头拼接后的数据和毫米波雷达数据采样频率，进行数据同步。由于毫米波雷达的采样频率大于摄像头的采样频率，采用向下兼容的方式，降低毫米波雷达的采样频率，使得二者采样的数据帧时间戳对齐。先利用摄像头数据进行前视双摄像头拼接图像3D检测，输出障碍物3D信息，之后利用毫米波雷达数据与检测结果进行融合，剔除无效和错检信息后，根据速度和障碍物距离，计算作业车辆碰撞时间，并下发制动指令到整车控制器进行制动；
本实施例，所述的人员接近单元利用全景影像第一阶段各个方向上拼接的双摄像头图像作为数据输入，利用红外图像3D目标检测算法对各方向图像进行检测，并输出作业车辆周围人员距离和方位信息。其次利用毫米波的检测信息与摄像头输出检测结果进行数据融合，以精确输出人员状态信息。根据作业车辆安全距离划分安全区、预警区和危险区，当车辆处于停止时，检测有人员处于危险区，作业车辆无法启动。检测有人员处于预警区，系统向作业车辆发送报警情况，提醒司机谨慎驾驶。检测有人员处于安全区，作业车辆正常启动；当车辆处于行驶时，检测有人员处于危险区，作业车辆进行分级制动。检测有人员处于预警区，系统向作业车辆发送报警情况，提醒司机谨慎驾驶。检测有人员处于安全区，作业车辆正常行驶。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点，对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (10)

1.一种井工矿作业车辆智能辅助驾驶系统，其特征在于，其实现步骤如下：
步骤S1：系统开机自检，系统自检通过后，发送状态信息给智能辅助驾驶系统控制器；
步骤S2：传感器配置文件及检测模型加载，用于将传感器坐标统一及进行传感器数据输入后的检测推理；
步骤S3：全景影像单元、智能限速单元、主动防碰撞单元以及人员接近单元同时开始工作；其中，全景影像单元将多路摄像头数据进行拼接形成全景影像，显示在系统显示器上；智能限速单元根据输入的前视图像，将限速信息结合毫米波雷达测速数据进行融合判断，并下发限速指令到整车控制器；主动防碰撞单元根据前视摄像头和毫米波雷达发数据，首先利用摄像头数据进行3D检测，输出障碍物3D信息，之后利用毫米波雷达数据与检测结果进行融合，剔除无效和错检信息后，根据速度和障碍物距离，计算作业车辆碰撞时间，并下发制动指令到整车控制器进行制动；人员接近单元利用各路传入的摄像头数据进行环视拼接，在将数据检测结果融合后，根据危险区域情况，将预警信息及车辆制动指令下发至整车控制器；
步骤S4：在向整车控制器下发预警和制动指令时，同时将当前预警图像数据和测结果和指令内容存储到智能辅助驾驶系统控制器中，根据智能辅助驾驶系统控制器内存大小，定期删除存储期限以外的数据。
2.根据权利要求1所述的一种井工矿作业车辆智能辅助驾驶系统，其特征在于：所述步骤S1中，所述的系统开机自检包括传感器上电和通信状态、系统配置文件加载，检测模型加载、整车控制器通信状态自检。
3.根据权利要求2所述的一种井工矿作业车辆智能辅助驾驶系统，其特征在于：在系统自检正常后，系统开始进行传感器数据采集及后续流程，当系统检测某一状态出现异常时，系统发送异常信息到系统显示器上，提醒司机需进行故障排除。
4.根据权利要求1所述的一种井工矿作业车辆智能辅助驾驶系统，其特征在于：所述步骤S2中，所述的传感器配置文件主要包括各摄像头的标定文件，以及摄像头之间的坐标转换文件；其中，摄像头大标定文件同于摄像头的畸变校正，摄像头之间的坐标转换文件用于将不同的摄像头统一到同一三维坐标系下。
5.根据权利要求4所述的一种井工矿作业车辆智能辅助驾驶系统，其特征在于：所述的检测模型主要包括智能限速检测模型、主动防碰撞检测模型、人员接近检测模型；其中，所述的检测模型通过现有传感器采集各视场数据，通过数据标注、数据清洗、数据扩增后得到各模型所需要的训练数据集，利用各数据集进行模型训练，在得到优化的模型后，将模型部署到智能辅助驾驶系统控制器中。
6.根据权利要求1所述的一种井工矿作业车辆智能辅助驾驶系统，其特征在于：所述步骤S3中，所述的全景影像单元、智能限速单元、主动防碰撞单元以及人员接近单元同时利用各传感器采集的数据进行数据处理，并将相应检测和制动预警结果进行发布。
7.根据权利要求6所述的一种井工矿作业车辆智能辅助驾驶系统，其特征在于：所述全景影像单元将作业车辆每个方向上的多路摄像头进行拼接，以保证每个方向上视场角为180°，所选摄像头为非鱼眼摄像头，摄像头焦距根据所检测视场范围综合确定，在完成每路摄像头拼接后，将4个方向拼接后的图像根据标定矩阵进行投影，从而形成全景影像，并通过视频输出口将全景影像显示在系统显示器上。
8.根据权利要求6所述的一种井工矿作业车辆智能辅助驾驶系统，其特征在于：所述智能限速单元采集作业车辆前视图像，调用交通标志检测模型，从而输出交通标志的限速信息，利用毫米波雷达返回数据计算车辆实时速度，当作业车辆超速时，下发制动指令到整车控制器，对车辆速度进行闭环控制，以使作业车辆速度迅速下降到限速值范围以内。
9.根据权利要求6所述的一种井工矿作业车辆智能辅助驾驶系统，其特征在于：所述主动防碰撞单元根据前视摄像头和毫米波雷达数据采样频率，进行数据同步，由于毫米波雷达的采样频率大于摄像头的采样频率，采用向下兼容的方式，降低毫米波雷达的采样频率，使得二者采样的数据帧时间戳对齐，先利用摄像头数据进行3D检测，输出障碍物3D信息，之后利用毫米波雷达数据与检测结果进行融合，剔除无效和错检信息后，根据速度和障碍物距离，计算作业车辆碰撞时间，并下发制动指令到整车控制器进行制动。
10.根据权利要求6所述的一种井工矿作业车辆智能辅助驾驶系统，其特征在于：所述人员接近单元利用全景影像第一阶段各个方向上拼接的摄像头图像作为数据输入，利用红外图像3D目标检测算法对各方向图像进行检测，并输出作业车辆周围人员距离和方位信息；其次利用毫米波雷达的检测信息与摄像头输出检测结果进行数据融合，以精确输出人员状态信息，根据作业车辆安全距离划分安全区、预警区和危险区，当车辆处于停止时；检测有人员处于危险区，作业车辆无法启动；检测有人员处于预警区，系统向作业车辆发送报警情况，提醒司机谨慎驾驶；检测有人员处于安全区，作业车辆正常启动；当车辆处于行驶时；检测有人员处于危险区，作业车辆进行分级制动；检测有人员处于预警区，系统向作业车辆发送报警情况，提醒司机谨慎驾驶；检测有人员处于安全区，作业车辆正常行驶。
CN202310916074.9A 2023-07-25 2023-07-25 一种井工矿作业车辆智能辅助驾驶系统 Pending CN117087543A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310916074.9A CN117087543A (zh) 2023-07-25 2023-07-25 一种井工矿作业车辆智能辅助驾驶系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310916074.9A CN117087543A (zh) 2023-07-25 2023-07-25 一种井工矿作业车辆智能辅助驾驶系统

Publications (1)

Publication Number Publication Date
CN117087543A true CN117087543A (zh) 2023-11-21

Family

ID=88774244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310916074.9A Pending CN117087543A (zh) 2023-07-25 2023-07-25 一种井工矿作业车辆智能辅助驾驶系统

Country Status (1)

Country Link
CN (1) CN117087543A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117734683A (zh) * 2024-02-19 2024-03-22 中国科学院自动化研究所 一种井下车辆防碰撞安全预警决策方法
CN117734683B (zh) * 2024-02-19 2024-05-24 中国科学院自动化研究所 一种井下车辆防碰撞安全预警决策方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117734683A (zh) * 2024-02-19 2024-03-22 中国科学院自动化研究所 一种井下车辆防碰撞安全预警决策方法
CN117734683B (zh) * 2024-02-19 2024-05-24 中国科学院自动化研究所 一种井下车辆防碰撞安全预警决策方法

Similar Documents

Publication Publication Date Title
CN108932869B (zh) 车辆系统、车辆信息处理方法、记录介质、交通系统、基础设施系统及信息处理方法
CN106503653B (zh) 区域标注方法、装置和电子设备
JP3263699B2 (ja) 走行環境監視装置
EP2723069B1 (en) Vehicle periphery monitoring device
US20170206440A1 (en) Fixation generation for machine learning
CN103455144A (zh) 车载人机交互系统及方法
CN110329316B (zh) 一种城市轨道障碍物检测装置及检测方法
CN104608692A (zh) 停车辅助系统及其方法
BR102017020283A2 (pt) Sistema de câmera estéreo para evitar colisão durante operações de superfície de aeronave
CN111413983A (zh) 一种无人驾驶车辆的环境感知方法及控制端
CN112622928B (zh) 自动驾驶系统及车辆
CN112379674A (zh) 一种自动驾驶设备及系统
CN112277798A (zh) 一种汽车行驶防碰撞系统和控制方法
CN112977541A (zh) 一种基于多技术融合的列车防护预警系统
CN113591941A (zh) 一种基于多传感器融合的智能限高警示系统及方法
Mulyanto et al. Implementation 2D Lidar and Camera for detection object and distance based on RoS
Leu et al. High speed stereo vision based automotive collision warning system
CN113246930A (zh) 一种监控车辆周围状态的方法及设备
CN117087543A (zh) 一种井工矿作业车辆智能辅助驾驶系统
EP4365046A1 (en) Pedestrian minor-collision identification method and system in low-speed scenario
CN112017237B (zh) 一种基于视场拼接和三维重建的操作辅助装置及方法
WO2022113196A1 (ja) 交通イベント再現システム、サーバ、交通イベント再現方法、及び非一時的なコンピュータ可読媒体
CN111583336B (zh) 一种机器人及其巡检方法和装置
CN114596706A (zh) 路侧感知系统的检测方法及装置、电子设备和路侧设备
CN113808419A (zh) 用于确定环境的对象的方法、对象感测设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination