CN115354708A - 基于机器视觉的挖掘机铲斗自主挖掘识别控制系统及方法 - Google Patents
基于机器视觉的挖掘机铲斗自主挖掘识别控制系统及方法 Download PDFInfo
- Publication number
- CN115354708A CN115354708A CN202211125818.7A CN202211125818A CN115354708A CN 115354708 A CN115354708 A CN 115354708A CN 202211125818 A CN202211125818 A CN 202211125818A CN 115354708 A CN115354708 A CN 115354708A
- Authority
- CN
- China
- Prior art keywords
- bucket
- excavator
- information
- point cloud
- excavation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009412 basement excavation Methods 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 3
- 230000004927 fusion Effects 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000009432 framing Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000005065 mining Methods 0.000 abstract description 5
- 230000006872 improvement Effects 0.000 description 9
- 238000010276 construction Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F3/00—Dredgers; Soil-shifting machines
- E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
- E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
- E02F3/36—Component parts
- E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
- E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
- E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
- E02F3/437—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like providing automatic sequences of movements, e.g. linear excavation, keeping dipper angle constant
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F3/00—Dredgers; Soil-shifting machines
- E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
- E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
- E02F3/30—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
- E02F3/32—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes
Landscapes
- Engineering & Computer Science (AREA)
- Mining & Mineral Resources (AREA)
- Mechanical Engineering (AREA)
- Civil Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Structural Engineering (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Paleontology (AREA)
- Operation Control Of Excavators (AREA)
Abstract
本发明公开一种基于机器视觉的挖掘机铲斗自主挖掘识别控制系统及方法，包括：识别检测单元，所述识别检测单元用于在线识别以及检测铲斗的工作姿态，采集挖掘数据及挖掘机的作业环境，建立铲斗的实时空间模型；采集单元，所述采集单元用于采集倾角信息和油缸压力信息；可编程控制器，所述可编程控制器分别与识别检测单元和采集单元连接，可编程控制器制定挖掘策略和路径规划，向各个油缸电液控制阀发送控制信号，控制铲斗、斗杆和动臂的动作。本发明针对矿山等各种复杂的工作环境能够准确的采集数据以及挖掘机的作业场景，能够实时检测铲斗的工作姿态以及输出铲斗的空间信息。
Description
技术领域
本发明涉及一种基于机器视觉的挖掘机铲斗自主挖掘识别控制系统及方法，属于挖掘机挖掘控制技术领域。
背景技术
挖掘机是经济建设中最主要的工程机械之一，也是土石方施工的主要设备。近年来，随着建筑开发、矿山开采、交通运输、油田建设、港口建设、水利建设和军事工程等对施工机械要求的不断提高，挖掘机行业得到了快速的发展，挖掘机产品也呈现出节能、环保和智能化的发展趋势。然而随着科学技术的不断进步，随着国际间合作的不断加深，更随着机械和以微电子技术为核心的高新技术的不断发展，新的控制技术和控制理论的成熟，以及通信传输能力的发展，不仅使自主化挖掘机满足实用性要求成为可能，更为智能挖掘机器人的研究提供了一个开放和广阔的空间。
目前，针对无人挖掘机的智能控制，大多数的研究还只是着眼于通过5G信号传输现场作业环境的画面，由驾驶员根据远程传输的画面对挖掘机进行操作控制，还达不到智能挖掘机完全无人化控制液压挖掘机机械臂的技术要求。这样的智能控制增加了矿业挖掘人力成本，并且对矿业生产效率增长速度的提升造成极大的限制。通过示教法使用示教器调整的方式或事先通过专家演示，把机械臂的工作轨迹分为多个既定的目标位置，预先移动机械臂走过规定好的目标位置，并保存各个目标的位置信息，在经过多次学习和校准之后，机械臂就会在使用时按照目标点的顺序运动，这种采用示教的方法不仅耗费人力，也欠缺灵活性。
发明内容
针对上述现有技术存在的问题，本发明提供一种基于机器视觉的挖掘机铲斗自主挖掘识别控制系统及方法。
为了实现上述目的，本发明采用的基于机器视觉的挖掘机铲斗自主挖掘识别控制系统，包括：
识别检测单元，所述识别检测单元用于在线识别以及检测铲斗的工作姿态，采集挖掘数据及挖掘机的作业环境，建立铲斗的实时空间模型；
采集单元，所述采集单元用于采集倾角信息和油缸压力信息；
可编程控制器，所述可编程控制器分别与识别检测单元和采集单元连接，可编程控制器制定挖掘策略和路径规划，向各个油缸电液控制阀发送控制信号，控制铲斗、斗杆和动臂的动作。
作为改进，所述识别检测单元包括安装在挖掘机驾驶舱上方的激光雷达和单目相机。
作为改进，所述激光雷达安装在挖掘机驾驶舱的左侧，向下偏转30°，单目相机水平安装在挖掘机驾驶舱的右侧。
作为改进，所述采集单元包括倾角传感器和油缸压力传感器；
所述倾角传感器分别安装在铲斗、斗杆和动臂上，用于对应采集工作情况下铲斗、斗杆和动臂的倾角信息；所述油缸压力传感器分别安装在铲斗油缸、斗杆油缸和动臂油缸底部，用于对应采集工作状态下铲斗油缸、斗杆油缸、动臂油缸的压力信息。
作为改进，所述可编程控制器安装在驾驶舱后面的控制柜里，用于接受各个传感器的信号和向各个油缸电液控制阀发送控制信号。
另外，本发明还提供了一种采用所述挖掘机铲斗自主挖掘识别控制系统的控制方法，包括以下步骤：
S1、单目相机采集铲斗图像二维信息，然后识别挖机的铲斗信息，并对挖掘机铲斗的信息点进行框选，铲斗图像信息的像素点集合，接着对所有框选二维图像的像素坐标转换成三维坐标集合；激光雷达采集到所有的三维点云信息经过点云的预处理，区分铲斗的点云信息，接着按照动臂、斗杆和铲斗的三个倾角传感器传来的角度值进行铲斗建模，获取准确的铲斗点云框选信息；
S2、将三维实际点云框选和三维转换点云框选进行匹配，将匹配成功的三维实际点云框选与二维图像检测的铲斗信息进行融合，进而获得既有三维点云信息又有二维图像信息的铲斗数据；
S3、最终根据融合构造得到新型铲斗数据。
作为改进，所述单目相机和激光雷达通过标定后将两种模态的数据转换到统一坐标系下，进行融合定位建图与感知，所述标定过程包括内参标定和外参标定。
作为改进，所述内参标定用于确定三维和二维之间图像的投影关系，外参标定用于确定单目相机在世界坐标系中的位置。
作为改进，所述点云的预处理是指滤除地面、滤波、降采样和离群点去除。
最后，本发明还提供了一种挖掘机，所述挖掘机上安装有所述的挖掘机铲斗自主挖掘识别控制系统。
与现有技术相比，本发明的有益效果是：
(1)本发明通过使用激光雷达和单目相机形成多源传感器融合的在线识别与检测系统，根据解算动臂、斗杆和铲斗的角度信息构建铲斗的运动学模型，框选出预定的相机和激光雷达的采集信息区域，从而降低大场景下的寻找铲斗特征信息难度，解决动臂和斗杆会对铲斗造成遮挡的问题，解决单一视觉传感器的限制问题，使得激光雷达拥有丰富的图像信息，也能让单目相机拥有准确的距离信息。针对矿山等各种复杂的工作环境能够准确的采集数据以及挖掘机的作业场景，能够实时检测铲斗的工作姿态以及输出铲斗的空间信息。
(2)本发明采用基于机器视觉的方法对铲斗进行控制，采用强化学习对铲斗的挖掘轨迹进行规划，实现智能化挖掘机的自主挖掘，提高挖掘的准确性，规划挖掘点A处到放料点B处的最优路径，减少能源消耗，同样自主路径规划可以减少人力成本消耗，省去专业人员培训费用。
(3)本发明针对复杂的作业环境实现了挖掘机的完全自主规划，提高挖掘效率，解决制定基于视觉驱动的挖掘策略的问题，包括根据铲斗运动学模型调整作业参数，根据机器学习训练模型调整作业模式的问题，降低人力消耗以及解决了对熟练操作人员的依赖问题；本发明采用多传感器融合的方法，融合位移、角度、压力、图像等多源信息的实时检测铲斗的工作姿态，融合激光雷达、单目视觉的采集数据和挖掘机的作业场景，建立铲斗的实时空间模型，解决了以前的单一传感器无法准确感知周围环境的问题。
附图说明
图1为本发明中各器件的安装结构示意图；
图2为两种视觉传感器的坐标系转换流程图；
图3为本发明基于机器视觉对铲斗的实时检测流程图；
图4为本发明基于机器视觉的挖掘机铲斗自主挖掘识别控制方法的流程图；
图中：1、激光雷达，2、单目相机，3、铲斗油缸压力传感器，4、斗杆油缸压力传感器，5、动臂油缸压力传感器，6、铲斗倾角传感器，7、斗杆倾角传感器，8、动臂倾角传感器，9、车载工控机，10、可编程控制器。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面对本发明进行进一步详细说明。但是应该理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限制本发明的范围。
除非另有定义，本文所使用的所有的技术术语和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同，本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
实施例1
结合图1所示，一种基于机器视觉的挖掘机铲斗自主挖掘识别控制系统，包括激光雷达1、单目相机2、铲斗油缸压力传感器3、斗杆油缸压力传感器4、动臂油缸压力传感器5、铲斗倾角传感器6、斗杆倾角传感器7、动臂倾角传感器8、铲斗油缸电液控制阀、斗杆油缸电液控制阀、动臂油缸电液控制阀、车载工控机9和可编程控制器10；
所述铲斗倾角传感器6、斗杆倾角传感器7和动臂倾角传感器8分别对应安装在铲斗、斗杆和动臂上；所述铲斗油缸压力传感器3、斗杆油缸压力传感器4和动臂油缸压力传感器5分别对应安装在铲斗油缸、斗杆油缸和动臂油缸的底部；所述可编程控制器10安装在驾驶舱后面的控制柜里，用于接受各个传感器的信号和向各个电液控制阀发送控制信号。可编程控制器10中的软件程序包括有铲斗、斗杆和动臂的控制模块，以达到控制各个电液控制阀的控制效果。
具体的，所述的激光雷达1和单目相机2分别安装在挖掘机驾驶舱上方，激光雷达1安装在左侧，向下偏转30°，单目相机2水平安装在右侧，确保铲斗的工作范围始终在激光雷达1和单目相机2的视角里。激光雷达1和单目相机2的数据传输方式都是通过网线传输到车载工控机9中。
为了利用激光雷达1和单目相机2的互补特性，需要标定两种传感器，以便将两种模态的数据转换到统一坐标系下，进行融合定位建图与感知。具体的标定过程可以准确分为内参标定和外参标定：内参是决定传感器内部的映射关系，比如摄像头的焦距、偏心、畸变系数和像素纵横比，而外参标定是决定传感器和外部某个坐标系的转换关系，比如姿态参数。
结合图2所示，传感器标定的作用是将不同坐标系统一到相同坐标系，获得坐标系之间的关系，即坐标系统一变换，坐标系统一的优势在于可以确定转换后为同一点，视觉传感器的标定就是对视觉摄像头的标定，多传感器融合中视觉摄像头标定的作用非常重要，摄像头标定的准确性会影响到后续识别检测工作的进行。因为激光雷达1和单目相机2坐标系所在的空间位置是不一样的，它们都需要在世界坐标系进行校准，以挖掘机自身坐标系为世界坐标系oxy。多传感器标定的过程可以简化为坐标系转换问题，本发明主要是将激光雷达1的世界坐标系转化到相机坐标系(激光雷达1和单目相机2都在车辆坐标系中进行位置校准，从而互相关联)，接着转化到图像坐标系，最后转化到像素坐标系。
由上可知：点A0(xc，yc，zc)由世界坐标系转换到像素坐标系中为a0(x，y)坐标系为：
式中，
为相机内部参数，
为相机外部参数，M为3×3的投影矩阵，M1为相机的内参矩阵，M2为相机的外参矩阵。
内部参数可以确定三维和二维之间图像的投影关系，外部参数确定相机在世界坐标系中的位置，通过实验得到相机的内外参数就是相机的标定。
激光雷达传感器获取的是物体准确的三维信息，本发明的单目视觉传感器不能获取三维信息并且易受环境限制，为了实现环境感知作业选择多传感器的空间融合，不同传感器为了确保检测到统一目标物体，需要对多传感器进行配准，同一坐标系采用多级多侧面进行空间融合，能够保证二者的空间转换关系，将激光雷达点云数据二维化，假设空间某点的坐标为A1(x0，y0，z0)与它对应的平面图像二维坐标为a1(x1，y1)联立公式整理如下：
上述式中，L为激光束与空间某点的距离，a为方位角，b为水平角度，A为3×4矩阵。
完成空间融合使得坐标系统一，点云配准利用NDT配准算法(正态分布算法)，进行迭代计算当前点云姿态。
实施例2
本发明的挖掘机铲斗自主挖掘识别控制系统是通过多传感器融合实现的，激光雷达1得到的是3D点云，单目相机2得到的是2D图像，先将3D空间中的点投影到图像平面上，进而构建实时检测与识别系统。
具体的，结合图3所示，主要流程如下：
激光雷达1采集到的点云数据是三维且点云的稀疏性难以判断目标物体的类别，视觉传感器是在二维图像中提取特征再还原到三维图像中，所以在数据融合的时候必须确保两个传感器采集到的图像是同一时刻的图像需要完成数据同步，这样多传感器融合才起作用，才能够确保两个传感器检测到同一个物体，确保检测时的有效性，多传感器融合需要完成时间和空间的融合，也就是将相对应的坐标转化成同一坐标系下，经过统一坐标系，才能精确的确定多个传感器检测的图像目标位置的准确性以及确保两个传感器在同一时刻采集到相同目标。
结合图4所示，本发明的基于机器视觉的挖掘机铲斗自主挖掘识别控制方法，具体实现过程如下：
首先是单目相机2采集铲斗图像信息，之后对图像信息进行处理，该网络首先使用Yolov5对图像进行特征提取，识别挖机的铲斗信息，之后对挖掘机铲斗的信息点进行框选，铲斗图像信息的像素点集合，接着对所有框选二维图像的像素坐标利用PNP矩阵转换成三维坐标集合，称为三维转换点云框选；
激光雷达1采集到所有的三维点云信息经过点云的预处理(滤除地面、滤波、降采样和离群点去除等)留下精简过的待处理三维点云数据；然后根据聚类算法对铲斗的点云信息与动臂、斗杆等障碍物信息分开，接着按照动臂、斗杆和铲斗的三个倾角传感器传来的角度值进行铲斗建模，获取准确的铲斗点云框选信息，称为三维实际点云框选；
将三维实际点云框选和三维转换点云框选进行匹配，将匹配成功的三维实际点云框选与二维图像检测(Yolov5)的铲斗信息进行融合，进而获得既有三维点云信息又有二维图像信息的铲斗数据；
最终根据融合构造得到新型铲斗数据，可以对铲斗进行实时目标检测与跟踪，又可以实时输出铲斗的空间位置信息和尺寸信息，实现基于机器视觉的挖掘机铲斗自主挖掘识别控制。
实施例3
一种挖掘机，所述挖掘机上安装有挖掘机铲斗自主挖掘识别控制系统。
本发明通过使用激光雷达和单目相机形成多源传感器融合的在线识别与检测系统，结合倾角传感器建立铲斗的运动学模型，框选出预定的相机和激光雷达的采集信息区域，从而降低大场景下的寻找铲斗特征信息难度，解决动臂和斗杆会对铲斗造成遮挡的问题，解决单一视觉传感器的限制问题，使得激光雷达拥有丰富的图像信息，也能让单目相机拥有准确的距离信息。针对矿山等各种复杂的工作环境能够准确的采集数据以及挖掘机的作业场景，能够实时检测铲斗的工作姿态以及输出铲斗的空间信息。
本发明采用基于机器视觉的方法对铲斗进行控制，采用强化学习对铲斗的挖掘轨迹进行规划，实现智能化挖掘机的自主挖掘，提高挖掘的准确性，规划挖掘点A处到放料点B处的最优路径，减少能源消耗，同样自主路径规划可以减少人力成本消耗，省去专业人员培训费用。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.基于机器视觉的挖掘机铲斗自主挖掘识别控制系统，其特征在于，包括：
识别检测单元，所述识别检测单元用于在线识别以及检测铲斗的工作姿态，采集挖掘数据及挖掘机的作业环境，建立铲斗的实时空间模型；
采集单元，所述采集单元用于采集倾角信息和油缸压力信息；
可编程控制器(10)，所述可编程控制器(10)分别与识别检测单元和采集单元连接，可编程控制器(10)制定挖掘策略和路径规划，向各个油缸电液控制阀发送控制信号，控制铲斗、斗杆和动臂的动作。
2.根据权利要求1所述的基于机器视觉的挖掘机铲斗自主挖掘识别控制系统，其特征在于，所述识别检测单元包括安装在挖掘机驾驶舱上方的激光雷达(1)和单目相机(2)。
3.根据权利要求2所述的基于机器视觉的挖掘机铲斗自主挖掘识别控制系统，其特征在于，所述激光雷达(1)安装在挖掘机驾驶舱的左侧，向下偏转30°，单目相机(2)水平安装在挖掘机驾驶舱的右侧。
4.根据权利要求1所述的基于机器视觉的挖掘机铲斗自主挖掘识别控制系统，其特征在于，所述采集单元包括倾角传感器和油缸压力传感器；
所述倾角传感器分别安装在铲斗、斗杆和动臂上，用于对应采集工作情况下铲斗、斗杆和动臂的倾角信息；所述油缸压力传感器分别安装在铲斗油缸、斗杆油缸和动臂油缸底部，用于对应采集工作状态下铲斗油缸、斗杆油缸、动臂油缸的压力信息。
5.根据权利要求1所述的基于机器视觉的挖掘机铲斗自主挖掘识别控制系统，其特征在于，所述可编程控制器(10)安装在驾驶舱后面的控制柜里，用于接受各个传感器的信号和向各个油缸电液控制阀发送控制信号。
6.一种采用权利要求1-5任一项所述挖掘机铲斗自主挖掘识别控制系统的控制方法，其特征在于，包括以下步骤：
S1、单目相机(2)采集铲斗图像二维信息，然后识别挖机的铲斗信息，并对挖掘机铲斗的信息点进行框选，铲斗图像信息的像素点集合，接着对所有框选二维图像的像素坐标转换成三维坐标集合；
激光雷达(1)采集到所有的三维点云信息经过点云的预处理，区分铲斗的点云信息，接着按照动臂、斗杆和铲斗的三个倾角传感器传来的角度值进行铲斗建模，获取准确的铲斗点云框选信息；
S2、将三维实际点云框选和三维转换点云框选进行匹配，将匹配成功的三维实际点云框选与二维图像检测的铲斗信息进行融合，进而获得既有三维点云信息又有二维图像信息的铲斗数据；
S3、最终根据融合构造得到新型铲斗数据。
7.根据权利要求6所述的一种采用挖掘机铲斗自主挖掘识别控制系统的控制方法，其特征在于，所述单目相机(2)和激光雷达(1)通过标定后将两种模态的数据转换到统一坐标系下，进行融合定位建图与感知，所述标定过程包括内参标定和外参标定。
8.根据权利要求7所述的一种采用挖掘机铲斗自主挖掘识别控制系统的控制方法，其特征在于，所述内参标定用于确定三维和二维之间图像的投影关系，外参标定用于确定单目相机(2)在世界坐标系中的位置。
9.根据权利要求6所述的一种采用挖掘机铲斗自主挖掘识别控制系统的控制方法，其特征在于，所述点云的预处理是指滤除地面、滤波、降采样和离群点去除。
10.一种挖掘机，其特征在于，所述挖掘机上安装有权利要求1-5任一项所述的挖掘机铲斗自主挖掘识别控制系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211125818.7A CN115354708A (zh) | 2022-09-16 | 2022-09-16 | 基于机器视觉的挖掘机铲斗自主挖掘识别控制系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211125818.7A CN115354708A (zh) | 2022-09-16 | 2022-09-16 | 基于机器视觉的挖掘机铲斗自主挖掘识别控制系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115354708A true CN115354708A (zh) | 2022-11-18 |
Family
ID=84006445
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211125818.7A Pending CN115354708A (zh) | 2022-09-16 | 2022-09-16 | 基于机器视觉的挖掘机铲斗自主挖掘识别控制系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115354708A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116663761A (zh) * | 2023-06-25 | 2023-08-29 | 昆明理工大学 | 一种三七中药材低损挖掘系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102041824A (zh) * | 2010-12-09 | 2011-05-04 | 三一重机有限公司 | 一种挖掘机工作装置的自动控制系统及控制方法 |
| CN110409546A (zh) * | 2019-07-25 | 2019-11-05 | 中国航空工业集团公司西安飞行自动控制研究所 | 一种挖掘机的电控系统及正流量系统挖掘机 |
| CN111582135A (zh) * | 2020-04-30 | 2020-08-25 | 中南大学 | 基于工作阶段识别的挖掘机手操作熟练度评价方法及装置 |
| CN112050732A (zh) * | 2020-08-21 | 2020-12-08 | 西安科技大学 | 一种悬臂式掘进机空间位姿自动检测方法及系统 |
| CN112575841A (zh) * | 2021-01-15 | 2021-03-30 | 辛璐 | 一种挖掘机的挖掘控制方法 |
-
2022
- 2022-09-16 CN CN202211125818.7A patent/CN115354708A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102041824A (zh) * | 2010-12-09 | 2011-05-04 | 三一重机有限公司 | 一种挖掘机工作装置的自动控制系统及控制方法 |
| CN110409546A (zh) * | 2019-07-25 | 2019-11-05 | 中国航空工业集团公司西安飞行自动控制研究所 | 一种挖掘机的电控系统及正流量系统挖掘机 |
| CN111582135A (zh) * | 2020-04-30 | 2020-08-25 | 中南大学 | 基于工作阶段识别的挖掘机手操作熟练度评价方法及装置 |
| CN112050732A (zh) * | 2020-08-21 | 2020-12-08 | 西安科技大学 | 一种悬臂式掘进机空间位姿自动检测方法及系统 |
| CN112575841A (zh) * | 2021-01-15 | 2021-03-30 | 辛璐 | 一种挖掘机的挖掘控制方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116663761A (zh) * | 2023-06-25 | 2023-08-29 | 昆明理工大学 | 一种三七中药材低损挖掘系统 |
| CN116663761B (zh) * | 2023-06-25 | 2024-04-23 | 昆明理工大学 | 一种三七中药材低损挖掘系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109270534B (zh) | 一种智能车激光传感器与相机在线标定方法 | |
| CN110097553B (zh) | 基于即时定位建图与三维语义分割的语义建图系统 | |
| CN112132972B (zh) | 一种激光与图像数据融合的三维重建方法及系统 | |
| CN103049912B (zh) | 一种基于任意三面体的雷达-相机系统外部参数标定方法 | |
| CA2950791C (en) | Binocular visual navigation system and method based on power robot | |
| EP2187166B1 (en) | Industrial Machine | |
| CN102368158B (zh) | 一种果园机械导航定位方法 | |
| AU2021326883A1 (en) | Amphibious exploration and examination device, system and method | |
| CN114841944B (zh) | 基于挂轨轨道机器人的尾矿坝表面形变巡检方法 | |
| CN114638909A (zh) | 基于激光slam和视觉融合的变电站语义地图构建方法 | |
| CN111258311A (zh) | 一种基于智能视觉的井下移动机器人避障方法 | |
| CN111721279A (zh) | 一种适用于输电巡检工作的末端路径导航方法 | |
| CN115468567A (zh) | 一种面向越野环境的激光视觉融合slam方法 | |
| CN114923477A (zh) | 基于视觉与激光slam技术的多维度空地协同建图系统和方法 | |
| CN115354708A (zh) | 基于机器视觉的挖掘机铲斗自主挖掘识别控制系统及方法 | |
| CN111914615A (zh) | 基于立体视觉的消防区域可通过性分析系统 | |
| CN114750154A (zh) | 一种配网带电作业机器人的动态目标识别定位与抓取方法 | |
| You et al. | Earthwork digital twin for teleoperation of an automated bulldozer in edge dumping | |
| CN112614171B (zh) | 面向工程机械集群作业的空-地一体化动态环境感知系统 | |
| CN116339336A (zh) | 电动农机集群协同作业方法、装置及系统 | |
| CN116403186A (zh) | 基于FPN Swin Transformer与Pointnet++ 的自动驾驶三维目标检测方法 | |
| CN112925326B (zh) | 一种基于激光雷达和深度相机数据融合的agv避障方法 | |
| CN115950416A (zh) | 高空平台多视角激光视觉惯性融合定位建图装置及方法 | |
| Gu et al. | 3D reconstruction for the operating environment of the robots in distribution Hot-line working based on mixed reality | |
| CN114396921A (zh) | 一种基于无人机的钱塘江涌潮高度及传播速度测量方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |