CN114494415A - 一种自动驾驶装载机对沙石堆检测识别和测量的方法 - Google Patents
一种自动驾驶装载机对沙石堆检测识别和测量的方法 Download PDFInfo
- Publication number
- CN114494415A CN114494415A CN202111674736.3A CN202111674736A CN114494415A CN 114494415 A CN114494415 A CN 114494415A CN 202111674736 A CN202111674736 A CN 202111674736A CN 114494415 A CN114494415 A CN 114494415A
- Authority
- CN
- China
- Prior art keywords
- camera
- gravel pile
- data
- laser radar
- pile
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000001514 detection method Methods 0.000 claims abstract description 18
- 238000013480 data collection Methods 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 19
- 238000011176 pooling Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 239000011435 rock Substances 0.000 claims description 5
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 238000011161 development Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 239000004576 sand Substances 0.000 claims description 4
- 239000004575 stone Substances 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明涉及智能检测技术领域，具体涉及到一种自动驾驶装载机对沙石堆检测识别和测量的方法，所述方法包括以下步骤：步骤一、深度相机拍照采集信息：应用数据集采集装置的各传感器获取砂石堆的信息，并且将获得的砂石堆数据进行存储，红外相机获取识别砂石堆，并建立坐标系；步骤二、选用单线激光雷达和红外相机，使用棋盘格标定法进行了激光雷达与相机联合标定，在相机标定后使用相机内、外参获取棋盘格相机坐标系下的位姿信息；本发明通过在自动驾驶装载机上安装了红外相机，CMOS摄像头，激光雷达装置，数据集采集装置后，激光雷达和红外相机使用棋盘格标定法进行了联合标定，使用LM算法优化获取最优参数。
Description
技术领域
本发明涉及智能检测技术领域，具体涉及到一种自动驾驶装载机对沙石堆检测识别和测量的方法。
背景技术
随着人工智能技术和传感器技术的发展，自动驾驶技术日趋成熟，该技术应用的领域也变广。目前在建筑工程工业领域中，大多数是通过人来识别沙石堆，然后进行人工操作装载机铲挖技术。这种传统的方式是一种有效的手段，因其具有检测识别速度快且准确度高的特点，一直在建筑工程工业领域中应用。但是，该传统方式会花费较大的人力资源。
发明内容
为了克服现有技术的上述缺陷，本发明提供了一种自动驾驶装载机对沙石堆检测识别和测量的方法，以解决上述背景技术中存在的问题。
本发明提供如下技术方案：一种自动驾驶装载机沙石堆检测的智能系统，其组成包括：安装在自动驾驶装载机上的红外相机，CMOS摄像头，激光雷达装置，数据集采集装置；
红外相机：红外相机可全天候进行检测，CMOS摄像头用于探测识别自动驾驶装载机前方的沙石堆，将此沙石堆作为目标物体；
激光雷达装置：用于向沙石堆发射探测激光束，然后将接收到的从目标反射回来的目标回波与发射信号进行比较，作适当处理后，就可获得目标的有关信息；
数据集采集装置：用于采集沙石堆模型信息，并将模型记录并保存；将采集到的沙石堆作为预测算法的训练集，训练多次，然后将训练好的沙石堆预测算法模型保存。
进一步的，自动驾驶装载机沙石堆检测智能系统识别和测量的方法，所述方法包括以下步骤：
步骤一、深度相机拍照采集信息：应用数据集采集装置的各传感器获取砂石堆的信息，并且将获得的砂石堆数据进行存储，红外相机获取识别砂石堆，并建立坐标系；
步骤二、选用单线激光雷达和红外相机，使用棋盘格标定法进行了激光雷达与相机联合标定，在相机标定后使用相机内、外参获取棋盘格相机坐标系下的位姿信息，通过激光雷达获取的标定板点云信息来计算棋盘格激光坐标系下的位姿信息，进而求取两者之间的外参信息，再使用LM算法优化获取最优参数；
步骤三、YOLOV5算法进行优化，加入SENet压缩模块和CBAM注意力机制模块；
步骤四、向神经网络的卷积层输入数据进行处理；
步骤五、进入最大池化层对图像特征进一步提取；
步骤六、再进入卷积层，用3×3卷积核对图像特征进行提取；
步骤七、再进入最大池化层对图像特征进行提取；
步骤八、设置损失函数，损失函数为交叉熵函数：
步骤九、进入非线性层，用激活函数：
ReLU＝max{0,x}
步骤十、对改进的YOLOV5算法进行训练；
步骤十一、对参数进行优化，保存训练结果；
步骤十二、将训练好的模型部署到Jetson nano开发板上进行数据集训练。
进一步的，所述其中步骤一和步骤二数据采集方法具体为：进行数据采集的车辆装有视觉传感器和激光传感器，应用目标检测算法识别砂石堆并对砂石堆进行标定和聚类；由人为设定自动驾驶装载机的路径，经过若干小时后，传感器获取到砂石堆数据，保存以采集到的数据算法使用。
本发明的技术效果和优点：
本发明通过在自动驾驶装载机上安装了红外相机，CMOS摄像头，激光雷达装置，数据集采集装置后，激光雷达和红外相机使用棋盘格标定法进行了联合标定，使用LM算法优化获取最优参数，然后我们对训练YOLOV5算法进行了优化，加入SEnet压缩模块和CBAM注意力机制模块，可以按照人为的意向准确地识别到砂石堆，并且能够对砂石堆进行坐标系建立和标定，能够估计砂石堆的尺寸、方位、距离和包络线，改进之后，具有检测识别速度快且准确度高的特点，能够为建筑工程工业领域减少大量的人力资源。
附图说明
图1为本发明涉及的自动驾驶装载机对沙石堆检测识别和测量的方法流程图；
图2为本发明涉及的优化YOLOv5算法加入的SENet模块结构图；
图3为本发明涉及的优化YOLOv5算法加入的CBAM注意力机制模块结构图；
图4为本发明涉及的YOLOv5算法结构图。
具体实施方式
下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，另外，在以下的实施方式中记载的各结构的形态只不过是例示，本发明所涉及的自动驾驶装载机对沙石堆检测识别和测量的方法并不限定于在以下的实施方式中记载的各结构，在本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施方式都属于本发明保护的范围。
实施例一：
本实施方式的一种自动驾驶装载机对沙石堆检测识别和测量的方法，如图1，其组成包括：安装在自动驾驶装载机上的红外相机，CMOS摄像头，激光雷达装置，数据集采集装置；
红外相机：红外相机可全天候进行检测，CMOS摄像头用于探测识别自动驾驶装载机前方的沙石堆，将此沙石堆作为目标物体；
激光雷达装置：用于向沙石堆发射探测激光束，然后将接收到的从目标反射回来的目标回波与发射信号进行比较，作适当处理后，就可获得目标的有关信息；
数据集采集装置：用于采集沙石堆模型信息，并将模型记录并保存；将采集到的沙石堆作为预测算法的训练集，训练多次，然后将训练好的沙石堆预测算法模型保存；
能够有效的测定沙石堆的位置与模型信息，且能够探测识别自动驾驶装载机前方的沙石堆，能够为建筑工程工业领域减少大量的人力资源。
实施例二：
本实施方式的一种自动驾驶装载机对沙石堆检测识别和测量的方法，所述的对沙石堆的尺寸、方位、距离和包络线进行测量估计是通过激光雷达和红外相机实现；
所述的红外相机通过目标检测方法检测出砂石堆，
所述的激光雷达探测出砂石堆的具体位置；
通过激光雷达和红外相机融合的结果，使用棋盘格标定法进行了联合标定，使用LM算法优化获取最优参数测定，获取砂石堆的具体信息。
实施例三：
本实施方式的一种自动驾驶装载机对沙石堆检测识别和测量的方法，所述的数据集采集，是通过激光雷达和红外相机实现。将激光雷达和红外相机安装在自动驾驶装载机上，由人为设定自动驾驶装载机的路径，经过若干小时后，传感器获取到砂石堆数据；
通过事先设定的行经路线限定自动驾驶装载机，便于控制自动驾驶装载机的工作范围。
实施例四：
本实施方式的一种自动驾驶装载机对沙石堆检测识别和测量的方法，应用卷积神经网络(CNN)和YOLOV5算法，并对YOLOV5算法进行优化，将采集到的训练集传入卷积神经网络和优化好的YOLOV5算法进行训练，训练完后识别到更加清晰的砂石堆图集信息。
实施例五：
本实施方式的一种自动驾驶装载机对沙石堆检测识别和测量的方法，如图2所述，所述方法包括以下步骤：
步骤一、采集数据：
深度相机拍照采集信息：应用数据集采集装置的各传感器获取砂石堆的信息，并且将获得的砂石堆数据进行存储，红外相机获取识别砂石堆，并建立坐标系；
步骤二、选用单线激光雷达和红外相机，使用棋盘格标定法进行了激光雷达与相机联合标定，在相机标定后使用相机内、外参获取棋盘格相机坐标系下的位姿信息，通过激光雷达获取的标定板点云信息来计算棋盘格激光坐标系下的位姿信息，进而求取两者之间的外参信息，再使用LM算法优化获取最优参数；
步骤三、YOLOV5算法进行优化，加入SENet压缩模块和CBAM注意力机制模块；
步骤四、向神经网络的卷积层输入数据进行处理；
步骤五、进入最大池化层对图像特征进一步提取；
步骤六、再进入卷积层，用3×3卷积核对图像特征进行提取；
步骤七、再进入最大池化层对图像特征进行提取；
步骤八、设置损失函数，损失函数为交叉熵函数：
步骤九、进入非线性层，用激活函数：
ReLU＝max{0,x}；
步骤十、对改进的YOLOV5算法进行训练；
步骤十一、对参数进行优化，保存训练结果；
步骤十二、将训练好的模型部署到Jetson nano开发板上进行数据集训练；
其中步骤一和步骤二数据采集方法具体为：
进行数据采集的车辆装有视觉传感器和激光传感器，应用目标检测算法识别砂石堆并对砂石堆进行标定和聚类；由人为设定自动驾驶装载机的路径，经过若干小时后，传感器获取到砂石堆数据，保存以采集到的数据算法使用；
具有检测识别速度快且准确度高的特点，能够为建筑工程工业领域减少大量的人力资源。
最后应说明的几点是：首先，在本申请的描述中，需要说明的是，除非另有规定和限定，术语“安装”、“相连”、“连接”应做广义理解，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变，则相对位置关系可能发生改变；
其次：本发明公开实施例附图中，只涉及到与本公开实施例涉及到的结构，其他结构可参考通常设计，在不冲突情况下，本发明同一实施例及不同实施例可以相互组合；
最后：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (3)
1.一种自动驾驶装载机沙石堆检测的智能系统，其组成包括：安装在自动驾驶装载机上的红外相机，CMOS摄像头，激光雷达装置，数据集采集装置；红外相机：红外相机可全天候进行检测，CMOS摄像头用于探测识别自动驾驶装载机前方的沙石堆，将此沙石堆作为目标物体；
激光雷达装置：用于向沙石堆发射探测激光束，然后将接收到的从目标反射回来的目标回波与发射信号进行比较，作适当处理后，就可获得目标的有关信息；
数据集采集装置：用于采集沙石堆模型信息，并将模型记录并保存；将采集到的沙石堆作为预测算法的训练集，训练多次，然后将训练好的沙石堆预测算法模型保存。
2.根据权利要求1所述一种自动驾驶装载机沙石堆检测智能系统识别和测量的方法，所述方法包括以下步骤：
步骤一、深度相机拍照采集信息：应用数据集采集装置的各传感器获取砂石堆的信息，并且将获得的砂石堆数据进行存储，红外相机获取识别砂石堆，并建立坐标系；
步骤二、选用单线激光雷达和红外相机，使用棋盘格标定法进行了激光雷达与相机联合标定，在相机标定后使用相机内、外参获取棋盘格相机坐标系下的位姿信息，通过激光雷达获取的标定板点云信息来计算棋盘格激光坐标系下的位姿信息，进而求取两者之间的外参信息，再使用LM算法优化获取最优参数；
步骤三、YOLOV5算法进行优化，加入SENet压缩模块和CBAM注意力机制模块；
步骤四、向神经网络的卷积层输入数据进行处理；
步骤五、进入最大池化层对图像特征进一步提取；
步骤六、再进入卷积层，用3×3卷积核对图像特征进行提取；
步骤七、再进入最大池化层对图像特征进行提取；
步骤八、设置损失函数，损失函数为交叉熵函数：
步骤九、进入非线性层，用激活函数：
ReLU＝max{0,x}；
步骤十、对改进的YOLOV5算法进行训练；
步骤十一、对参数进行优化，保存训练结果；
步骤十二、将训练好的模型部署到Jetson nano开发板上进行数据集训练。
3.根据权利要求2所述一种自动驾驶装载机沙石堆检测智能系统识别和测量的方法，其特征在于：所述其中步骤一和步骤二数据采集方法具体为：进行数据采集的车辆装有视觉传感器和激光传感器，应用目标检测算法识别砂石堆并对砂石堆进行标定和聚类；由人为设定自动驾驶装载机的路径，经过若干小时后，传感器获取到砂石堆数据，保存以采集到的数据算法使用。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111674736.3A CN114494415A (zh) | 2021-12-31 | 2021-12-31 | 一种自动驾驶装载机对沙石堆检测识别和测量的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111674736.3A CN114494415A (zh) | 2021-12-31 | 2021-12-31 | 一种自动驾驶装载机对沙石堆检测识别和测量的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114494415A true CN114494415A (zh) | 2022-05-13 |
Family
ID=81508959
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111674736.3A Pending CN114494415A (zh) | 2021-12-31 | 2021-12-31 | 一种自动驾驶装载机对沙石堆检测识别和测量的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114494415A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114677504A (zh) * | 2022-05-30 | 2022-06-28 | 深圳市爱深盈通信息技术有限公司 | 目标检测方法、装置、设备终端和可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110409550A (zh) * | 2019-07-29 | 2019-11-05 | 湖南大学 | 一种全自动作业地下采矿铲运机 |
| CN111694010A (zh) * | 2020-05-27 | 2020-09-22 | 东南大学 | 一种基于视觉与激光雷达融合的路侧车辆识别方法 |
| CN112861653A (zh) * | 2021-01-20 | 2021-05-28 | 上海西井信息科技有限公司 | 融合图像和点云信息的检测方法、系统、设备及存储介质 |
| CN113158738A (zh) * | 2021-01-28 | 2021-07-23 | 中南大学 | 一种基于注意力机制的港口环境下目标检测方法、系统、终端及可读存储介质 |
-
2021
- 2021-12-31 CN CN202111674736.3A patent/CN114494415A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110409550A (zh) * | 2019-07-29 | 2019-11-05 | 湖南大学 | 一种全自动作业地下采矿铲运机 |
| CN111694010A (zh) * | 2020-05-27 | 2020-09-22 | 东南大学 | 一种基于视觉与激光雷达融合的路侧车辆识别方法 |
| CN112861653A (zh) * | 2021-01-20 | 2021-05-28 | 上海西井信息科技有限公司 | 融合图像和点云信息的检测方法、系统、设备及存储介质 |
| CN113158738A (zh) * | 2021-01-28 | 2021-07-23 | 中南大学 | 一种基于注意力机制的港口环境下目标检测方法、系统、终端及可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 贾子永;任国全;李冬伟;程子阳;: "视觉与激光雷达信息融合的目标领航车识别方法", 火力与指挥控制, no. 06 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114677504A (zh) * | 2022-05-30 | 2022-06-28 | 深圳市爱深盈通信息技术有限公司 | 目标检测方法、装置、设备终端和可读存储介质 |
| CN114677504B (zh) * | 2022-05-30 | 2022-11-15 | 深圳市爱深盈通信息技术有限公司 | 目标检测方法、装置、设备终端和可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109270534B (zh) | 一种智能车激光传感器与相机在线标定方法 | |
| CN112793564B (zh) | 一种基于全景鸟瞰图和深度学习的自主泊车辅助系统 | |
| CN110928301B (zh) | 一种检测微小障碍的方法、装置及介质 | |
| CN110031829B (zh) | 一种基于单目视觉的目标精准测距方法 | |
| CN113358665A (zh) | 一种无人机隧洞缺陷检测方法及系统 | |
| CN104502990A (zh) | 一种基于数码图像的隧道掌子面地质调查方法 | |
| CN109697428B (zh) | 基于rgb_d和深度卷积网络的无人机识别定位系统 | |
| CN107590433A (zh) | 一种基于毫米波雷达和车载摄像头的行人检测方法 | |
| CN108106617A (zh) | 一种无人机自动避障方法 | |
| CN114200442B (zh) | 一种基于毫米波雷达和视觉的道路目标检测与关联方法 | |
| CN108711172A (zh) | 基于细粒度分类的无人机识别与定位方法 | |
| CN111968132A (zh) | 一种基于全景视觉的无线充电对位的相对位姿解算方法 | |
| CN114494415A (zh) | 一种自动驾驶装载机对沙石堆检测识别和测量的方法 | |
| CN115588043A (zh) | 一种基于视觉的挖掘机作业位姿的监测方法 | |
| CN117710588A (zh) | 一种基于视觉测距先验信息的三维目标检测方法 | |
| CN116630267A (zh) | 基于无人机与激光雷达数据融合的路基沉降监测方法 | |
| CN117538861A (zh) | 视觉、激光slam和探地雷达结合的无人机检测方法 | |
| CN115267756A (zh) | 一种基于深度学习目标检测的单目实时测距方法 | |
| CN117215316B (zh) | 基于协同控制与深度学习的驾驶环境感知的方法和系统 | |
| CN116403186A (zh) | 基于FPN Swin Transformer与Pointnet++ 的自动驾驶三维目标检测方法 | |
| CN115409691A (zh) | 融合激光测距和监控图像的双模态学习边坡风险检测方法 | |
| CN115575962A (zh) | 一种基于多线激光雷达的井下矿道内定位方法 | |
| CN115354708A (zh) | 基于机器视觉的挖掘机铲斗自主挖掘识别控制系统及方法 | |
| JP2022124993A (ja) | 識別装置、識別プログラム、および識別方法 | |
| CN113963230A (zh) | 一种基于深度学习的车位检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220513 |
|
| RJ01 | Rejection of invention patent application after publication |