CN117661671B - 一种具有智能识别功能的自适应挖掘控制方法及设备 - Google Patents
一种具有智能识别功能的自适应挖掘控制方法及设备 Download PDFInfo
- Publication number
- CN117661671B CN117661671B CN202410129727.3A CN202410129727A CN117661671B CN 117661671 B CN117661671 B CN 117661671B CN 202410129727 A CN202410129727 A CN 202410129727A CN 117661671 B CN117661671 B CN 117661671B
- Authority
- CN
- China
- Prior art keywords
- medium
- excavated
- soil
- image
- excavator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009412 basement excavation Methods 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 35
- 239000002689 soil Substances 0.000 claims abstract description 116
- 239000002245 particle Substances 0.000 claims abstract description 84
- 238000013135 deep learning Methods 0.000 claims abstract description 22
- 230000006870 function Effects 0.000 claims abstract description 20
- 238000004364 calculation method Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims description 34
- 238000005065 mining Methods 0.000 claims description 21
- 230000009471 action Effects 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 12
- 230000003044 adaptive effect Effects 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000003064 k means clustering Methods 0.000 claims description 8
- 239000011435 rock Substances 0.000 claims description 7
- 238000009499 grossing Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- -1 ore Substances 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000005265 energy consumption Methods 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000003921 oil Substances 0.000 description 2
- 239000004606 Fillers/Extenders Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000010720 hydraulic oil Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Operation Control Of Excavators (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种具有智能识别功能的自适应挖掘控制方法及设备,属于挖掘机液压控制技术领域,用于解决现有的正/负流量系统型挖掘机,难以根据挖掘不同介质时所需的挖掘力的大小,对液压泵的进行精准控制反馈,容易造成能量利用不充分的技术问题。方法包括:对待挖掘的挖掘介质进行图像采集,得到待挖掘介质图像;对待挖掘介质图像进行有关土壤颗粒的特征识别,确定出土壤颗粒特征;通过深度学习岩土识别模型,对土壤颗粒特征进行识别处理,确定出挖掘介质类型;对土壤颗粒特征进行密度计算,得到挖掘介质密度参数;对挖掘介质密度参数进行最优参数的匹配计算,得到挖掘机的挖掘工作参数;将挖掘工作参数进行反馈控制,以实现对挖掘机的挖掘力控制。
Description
技术领域
本申请涉及挖掘机液压控制领域,尤其涉及一种具有智能识别功能的自适应挖掘控制方法及设备。
背景技术
液压挖掘机广泛应用于交通运输、能源开发、农林水利、城市工业、民用建筑等建设领域,在挖掘机作业中,省油高效是追求的目标,挖掘机挖掘过程中液压泵通过识别负载大小调节斜盘角度,输出液压油驱动执行机构铲斗,斗杆,动臂动作,完成挖掘、卸料、平地作业。对于不同的挖掘介质,产生的系统负载力不同,需要液压泵供油量也不同。
一般情况下,对于正流量/负流量系统型挖掘机,依靠机手经验控制手柄开度来调节相应负载的主泵输出压力,经常出现输出过量,产生压力损失,导致液压能量的浪费,液压输出功率不能被充分利用。在现有挖掘机进行挖掘工作时,难以通过精准判断出,挖掘不同介质时所需的挖掘力的大小,对液压泵的控制反馈误差较大,难以实现自动调节液压泵的输出压力,容易造成能量过剩的不良效果。
发明内容
本申请实施例提供了一种具有智能识别功能的自适应挖掘控制方法及设备,用于解决如下技术问题:现有的正流量/负流量系统型挖掘机,难以根据挖掘不同介质时所需的挖掘力的大小,对液压泵的进行精准控制反馈,容易造成能量利用不充分等不良影响。
本申请实施例采用下述技术方案:
一方面,本申请实施例提供了一种具有智能识别功能的自适应挖掘控制方法,包括:通过预安装在挖掘机驾驶室顶端的摄像头,对待挖掘的挖掘介质进行图像采集,得到待挖掘介质图像;对所述待挖掘介质图像进行有关土壤颗粒的特征识别,确定出土壤颗粒特征;通过预训练的深度学习岩土识别模型,对所述待挖掘介质图像中的土壤颗粒特征进行识别处理,确定出挖掘介质类型;根据所述挖掘介质类型,对所述土壤颗粒特征进行密度计算,得到挖掘介质密度参数;对所述挖掘介质密度参数进行最优参数的匹配计算,得到所述挖掘机的挖掘工作参数;将所述挖掘工作参数进行反馈控制,以实现对所述挖掘机的挖掘力控制。
本申请实施例通过在液压挖掘机的驾驶室顶部处安装2D摄像头,摄像头拍摄挖掘介质颗粒,通过对比系统中储存的不同密度介质图像,识别不同挖掘介质密度,计算挖掘、提升、卸载每种介质时需要的力数据,通过传感器反馈至挖掘机控制系统,挖掘机执行挖掘作业时,将数据传递给挖掘机控制系统,提前自主判断此次挖掘需要的力大小来进行输出压力,来提高系统自适应能力,提升液压功率利用率,降低挖掘机能耗。
在一种可行的实施方式中,通过预安装在挖掘机驾驶室顶端的摄像头,对待挖掘的挖掘介质进行图像采集,得到待挖掘介质图像,具体包括:根据所述挖掘机中的控制系统,对液压系统进行动作指令的识别处理,确定出所述挖掘机的挖掘动作指令;根据所述挖掘动作指令,并通过所述控制系统,对所述摄像头进行位置控制,以使所述摄像头与待挖掘区域之间完成中心点对准处理,确定出所述摄像头的最佳拍照位置;其中,所述摄像头属于预安装在挖掘机驾驶室顶端的云台摄像机中;基于所述摄像头的最佳拍照位置,并在执行所述挖掘动作指令之前,对所述待挖掘区域中待挖掘的挖掘介质进行图像采集处理,得到所述待挖掘介质图像。
在一种可行的实施方式中,对所述待挖掘介质图像进行有关土壤颗粒的特征识别,确定出土壤颗粒特征,具体包括:对所述待挖掘介质图像进行灰度处理,得到灰度处理后的待挖掘介质图像;通过预设的K-means聚类算法,对所述待挖掘介质图像进行有关观测区域的图像分割,并基于欧几里得距离,将观测区域图像中的分离簇进行聚类处理,确定出观测特征图像;根据灰度共生矩阵,对所述观测特征图像中的像素区域亮度进行参数计算,得到在所述灰度共生矩阵下每个像素的像素值;基于所述像素值,对所述观测特征图像的土壤颗粒进行特征纹理的测量标注,确定出所述观测特征图像的土壤颗粒纹理;通过线性平滑滤波器,将所述土壤颗粒纹理中相同像素灰度值下的像素区域进行平滑模糊处理,并删除所述像素区域的高频区域,确定出所述待挖掘介质图像的若干所述土壤颗粒特征。
在一种可行的实施方式中,在通过预训练的深度学习岩土识别模型,对所述待挖掘介质图像中的土壤颗粒特征进行识别处理,确定出挖掘介质类型之前,具体包括:提取历史挖掘介质图像中的历史土壤颗粒特征以及对应的特征标签;并将所述历史土壤颗粒特征以及对应的特征标签确定为介质训练数据集;其中,所述特征标签为挖掘介质类别;所述历史土壤颗粒特征为数据输入端,所述特征标签为数据输出端;通过预设的卷积神经网络,对所述介质训练数据集进行各层次下的数据传递,并基于梯度下降优化算法,对所述介质训练数据集中的每个参数进行损失更新,得到迭代优化后的模型参数;通过所述模型参数,对神经网络模型进行有关挖掘介质类别的分类训练,得到训练后的所述深度学习岩土识别模型。
在一种可行的实施方式中,通过预训练的深度学习岩土识别模型,对所述待挖掘介质图像中的土壤颗粒特征进行识别处理,确定出挖掘介质类型,具体包括:将提取出的所述土壤颗粒特征输入到所述深度学习岩土识别模型中;通过所述深度学习岩土识别模型,将每一幅待挖掘介质图像中的所述土壤颗粒特征进行相似特征的分类处理,得到相似土壤颗粒特征;将所述相似土壤颗粒特征所对应的纹理特征值进行阈值判断,确定出符合同一阈值范围下的相似土壤颗粒特征;并将同一阈值范围下的相似土壤颗粒特征所对应的待挖掘介质图像确定为同一类别下的所述挖掘介质类型;其中,所述挖掘介质类型至少包括:土壤类、岩石类、矿石类以及混合物类。
在一种可行的实施方式中,根据所述挖掘介质类型,对所述土壤颗粒特征进行密度计算,得到挖掘介质密度参数,具体包括:通过连通域分析算法,对所述土壤颗粒特征所对应的像素区域进行区域划分,得到土壤颗粒像素区域;将所述土壤颗粒像素区域与观测区域图像的像素区域进行比对计算,得到基于所述挖掘介质类型下的所述挖掘介质密度参数;其中,所述观测区域图像为通过K-means聚类算法所分割后的区域图像。
在一种可行的实施方式中,对所述挖掘介质密度参数进行最优参数的匹配计算,得到所述挖掘机的挖掘工作参数,具体包括:根据所述挖掘介质密度参数,并基于误差阈值,对预设的典型挖掘介质密度表进行数值查询处理,得到若干相似介质密度参数;将若干所述相似介质密度参数与所述挖掘介质密度参数进行差值计算,确定出处于最小差值下的相似介质密度参数;将所述最小差值下的相似介质密度参数匹配到最优参数表中,并通过所述最优参数表,输出所述挖掘工作参数。
在一种可行的实施方式中,将所述挖掘工作参数进行反馈控制,具体包括:将所述挖掘工作参数输入到挖掘机控制器中,得到工作参数数据;通过所述挖掘机控制器,将所述工作参数数据输入到液压系统中;并控制所述液压系统,将所述工作参数数据转化为液压控制数据;根据所述挖掘机的执行器,将所述液压控制数据反馈到所述挖掘机控制器,确定出所述挖掘机的挖掘力参数,以实现对所述挖掘机的挖掘力控制。
在一种可行的实施方式中,通过IO通讯,将所述摄像头与所述挖掘机中的GCU模块进行通信连接;所述深度学习岩土识别模型封装在所述GCU模块中。
另一方面,本申请实施例还提供了一种具有智能识别功能的自适应挖掘控制设备,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有能够被所述至少一个处理器执行的指令,以使所述至少一个处理器能够执行上述任一实施例所述的一种具有智能识别功能的自适应挖掘控制方法。
本申请提供了一种具有智能识别功能的自适应挖掘控制方法及设备,与现有技术相比,本申请实施例具有以下有益的技术效果:
本申请实施例通过在液压挖掘机的驾驶室顶部处安装2D摄像头,摄像头拍摄挖掘介质颗粒,通过对比系统中储存的不同密度介质图像,识别不同挖掘介质密度,计算挖掘、提升、卸载每种介质时需要的力数据,通过传感器反馈至挖掘机控制系统,挖掘机执行挖掘作业时,将数据传递给挖掘机控制系统,提前自主判断此次挖掘需要的力大小来进行输出压力,来提高系统自适应能力,提升液压功率利用率,降低挖掘机能耗。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1为本申请实施例提供的一种具有智能识别功能的自适应挖掘控制方法流程图;
图2为本申请实施例提供的一种前馈系统与反馈系统的运行控制图;
图3为本申请实施例提供一种挖掘机整体系统控制示意图;
图4为本申请实施例提供的一种具有智能识别功能的自适应挖掘控制设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本说明书实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
本申请实施例提供了一种具有智能识别功能的自适应挖掘控制方法,如图1所示,具有智能识别功能的自适应挖掘控制方法具体包括步骤S101-S106:
S101、通过预安装在挖掘机驾驶室顶端的摄像头,对待挖掘的挖掘介质进行图像采集,得到待挖掘介质图像。
需要说明的是,液压挖掘机通过传感器采集挖掘机各项参数信号、将其转化为电信号传输给控制器,控制器根据预设的控制策略,对传感器信号进行处理和分析,得出相应的控制指令。控制器将控制指令转化为电信号,控制液压系统工作,实现不同的挖掘作业。且现有的液压挖掘机配备的自适应控制系统,是通过实时的负载力反馈,液压泵进行自适应压力输出,是反馈系统。
具体地,根据挖掘机中的控制系统,对液压系统进行动作指令的识别处理,确定出挖掘机的挖掘动作指令。
进一步地,根据挖掘动作指令,并通过控制系统,对摄像头进行位置控制,以使摄像头与待挖掘区域之间完成中心点对准处理,确定出摄像头的最佳拍照位置。其中,摄像头属于预安装在挖掘机驾驶室顶端的云台摄像机中。
进一步地,基于摄像头的最佳拍照位置,并在执行挖掘动作指令之前,对待挖掘区域中待挖掘的挖掘介质进行图像采集处理,得到待挖掘介质图像。
在一个实施例中,在挖掘机的驾驶室顶部前端下方安装视野清晰的2D相机(MV-CH250-90GC拍摄距离3m,视野1.5x1.5,能够识别10mm以上颗粒)加镜头(MVL-KF2524M-25MP),摄像头位置对准挖掘动作时的铲斗下土壤密度。相机与GCU通过IO通讯。挖掘机内安装计算机,通过千兆以太网与相机通讯,进行图像数据传输处理。同时计算机还与GCU通过千兆以太网连接通讯,实时采集挖掘参数。即,通过IO通讯,将摄像头与挖掘机中的GCU(Generator Control Unit,增程器发电机控制器)模块进行通信连接。深度学习岩土识别模型封装在GCU模块中。
S102、对待挖掘介质图像进行有关土壤颗粒的特征识别,确定出土壤颗粒特征。
具体地,对待挖掘介质图像进行灰度处理,得到灰度处理后的待挖掘介质图像。通过预设的K-means聚类算法,对待挖掘介质图像进行有关观测区域的图像分割,并基于欧几里得距离,将观测区域图像中的分离簇进行聚类处理,确定出观测特征图像。
进一步地,根据灰度共生矩阵,对观测特征图像中的像素区域亮度进行参数计算,得到在灰度共生矩阵下每个像素的像素值。
进一步地,基于像素值,对观测特征图像的土壤颗粒进行特征纹理的测量标注,确定出观测特征图像的土壤颗粒纹理。
进一步地,通过线性平滑滤波器,将土壤颗粒纹理中相同像素灰度值下的像素区域进行平滑模糊处理,并删除像素区域的高频区域,确定出待挖掘介质图像的若干土壤颗粒特征。
在一个实施中,图2为本申请实施例提供的一种前馈系统与反馈系统的运行控制图,如图2所示,当执行挖掘动作时,在到达相机最佳拍照位时,GCU通过IO给相机信号进行拍摄。相机采集土壤颗粒图片(待挖掘介质图像)通过以太网传给计算机。然后通过预设的K-means聚类算法以及欧几里得距离,对采集的不同待挖掘介质图像进行有关土壤颗粒的特征识别,从而能够准确识别出待挖掘介质图像的若干土壤颗粒特征。
作为一种可行的实施方式,采用K-means聚类算法对数据进行聚类,能后将灰度处理后的待挖掘介质图像进行基于N次观测的区域分成K个簇。 并且完成了高效的分离簇分段。然后结合欧几里得距离,将确定出的观测区域图像中的分离簇进行聚类处理,最终确定出观测特征图像。
作为一种可行的实施方式,待挖掘介质图像可由灰度共生矩阵在不同组合中出现的像素组成。基于该灰度共生矩阵的像素值来测量观测特征图像的土壤颗粒。即使用灰度共生矩阵特征来确定出观测特征图像的土壤颗粒纹理。并利用线性平滑滤波器,对确定出的土壤颗粒纹理进一步平滑模糊处理,最终得到了每一幅待挖掘介质图像的若干土壤颗粒特征。
S103、通过预训练的深度学习岩土识别模型,对待挖掘介质图像中的土壤颗粒特征进行识别处理,确定出挖掘介质类型。
具体地,提取历史挖掘介质图像中的历史土壤颗粒特征以及对应的特征标签。并将历史土壤颗粒特征以及对应的特征标签确定为介质训练数据集。其中,特征标签为挖掘介质类别。历史土壤颗粒特征为数据输入端,特征标签为数据输出端。
进一步地,通过预设的卷积神经网络,对介质训练数据集进行各层次下的数据传递,并基于梯度下降优化算法,对介质训练数据集中的每个参数进行损失更新,得到迭代优化后的模型参数。
进一步地,通过模型参数,对神经网络模型进行有关挖掘介质类别的分类训练,得到训练后的深度学习岩土识别模型。
进一步地,将提取出的土壤颗粒特征输入到深度学习岩土识别模型中。
进一步地,通过深度学习岩土识别模型,将每一幅待挖掘介质图像中的土壤颗粒特征进行相似特征的分类处理,得到相似土壤颗粒特征。
进一步地,将相似土壤颗粒特征所对应的纹理特征值进行阈值判断,确定出符合同一阈值范围下的相似土壤颗粒特征。并将同一阈值范围下的相似土壤颗粒特征所对应的待挖掘介质图像确定为同一类别下的挖掘介质类型。其中,挖掘介质类型至少包括:土壤类、岩石类、矿石类以及混合物类。
在一个实施例中,如图2所示,通过对于信号处理与分析中,将提取的土壤颗粒特征输入到深度学习岩土识别模型中,计算每一幅待挖掘介质图像中土壤颗粒的主要参数,然后基于同一阈值范围下的相似土壤颗粒特征,完成对每一幅待挖掘介质图像中土壤颗粒特征的介质类型分类处理,利用计算出主要参数,从而确定出了与土壤颗粒特征对应的挖掘介质类型。
S104、根据挖掘介质类型,对土壤颗粒特征进行密度计算,得到挖掘介质密度参数。
具体地,通过连通域分析算法,对土壤颗粒特征所对应的像素区域进行区域划分,得到土壤颗粒像素区域。将土壤颗粒像素区域与观测区域图像的像素区域进行比对计算,得到基于挖掘介质类型下的挖掘介质密度参数。其中,观测区域图像为通过K-means聚类算法所分割后的区域图像。
作为一种可行的实施方式,通过土壤颗粒像素区域与观测区域图像的像素区域之前的像素比对密度,便可确定出每一种挖掘介质类型下具体的挖掘介质密度,有利于后续将得出挖掘介质密度参数进行最优参数的匹配处理。
S105、对挖掘介质密度参数进行最优参数的匹配计算,得到挖掘机的挖掘工作参数。
具体地,根据挖掘介质密度参数,并基于误差阈值,对预设的典型挖掘介质密度表进行数值查询处理,得到若干相似介质密度参数。
进一步地,将若干相似介质密度参数与挖掘介质密度参数进行差值计算,确定出处于最小差值下的相似介质密度参数。
进一步地,将最小差值下的相似介质密度参数匹配到最优参数表中,并通过最优参数表,输出挖掘工作参数。
表1
在一个实施例中,表1为挖掘介质类型下具体介质类型的密度参数表,包括例如:土壤类的松散图密度参数、干黄土密度参数等等;岩石类的风化石、小块砾石密度参数等等。然后将表1中的各种具体介质类型密度参数进行查询与最小差值下的匹配处理后,将计算出的挖掘介质密度参数确定为表1中某一种具体介质类型,然后再根据表中标注的密度参数,确定出挖掘机执行工作时要输出的挖掘工作参数。
S106、将挖掘工作参数进行反馈控制,以实现对挖掘机的挖掘力控制。
具体地,先将挖掘工作参数输入到挖掘机控制器中,得到工作参数数据。
进一步地,通过挖掘机控制器,将工作参数数据输入到液压系统中。并控制液压系统,将工作参数数据转化为液压控制数据。
进一步地,根据挖掘机的执行器,将液压控制数据反馈到挖掘机控制器,确定出挖掘机的挖掘力参数,以实现对挖掘机的挖掘力控制。
在一个实施例中,图3为本申请实施例提供一种挖掘机整体系统控制示意图,如图3所示,挖掘作业执行过程中,在铲斗还没接触到挖掘介质之前,进行拍照并将待挖掘介质图像传输到计算机中,计算机分析处理每次挖掘的参数,得到最优解参数,通过匹配算法,挖掘介质密度参数进行最优参数的匹配计算,将匹配数据存储到挖掘机自带的系统GCU数据库中,然后再根据匹配出的挖掘工作参数,计算挖掘时所需挖掘负载力,根据负载实时调节液压系统中主泵输出压力,再利用执行器将输出压力数据反馈到挖掘机控制器中,最终执行了挖掘动作,避免输出压力过量,从而达到节能的目的。
另外,本申请实施例还提供了一种具有智能识别功能的自适应挖掘控制设备,如图4所示,具有智能识别功能的自适应挖掘控制设备400具体包括:
至少一个处理器401。以及,与至少一个处理器401通信连接的存储器402。其中,存储器402存储有能够被至少一个处理器401执行的指令,以使至少一个处理器401能够执行:
通过预安装在挖掘机驾驶室顶端的摄像头,对待挖掘的挖掘介质进行图像采集,得到待挖掘介质图像;
对待挖掘介质图像进行有关土壤颗粒的特征识别,确定出土壤颗粒特征;
通过预训练的深度学习岩土识别模型,对待挖掘介质图像中的土壤颗粒特征进行识别处理,确定出挖掘介质类型;
根据挖掘介质类型,对土壤颗粒特征进行密度计算,得到挖掘介质密度参数;
对挖掘介质密度参数进行最优参数的匹配计算,得到挖掘机的挖掘工作参数;
将挖掘工作参数进行反馈控制,以实现对挖掘机的挖掘力控制。
本申请实施例通过在液压挖掘机的驾驶室顶部处安装2D摄像头,摄像头拍摄挖掘介质颗粒,通过对比系统中储存的不同密度介质图像,识别不同挖掘介质密度,计算挖掘、提升、卸载每种介质时需要的力数据,通过传感器反馈至挖掘机控制系统,挖掘机执行挖掘作业时,将数据传递给挖掘机系统,提前自主判断此次挖掘需要的力大小来进行输出压力,来提高系统自适应能力,提升液压功率利用率,降低挖掘机能耗。
本申请中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于设备实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请的实施例可以有各种更改和变化。凡在本申请实施例的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (8)
1.一种具有智能识别功能的自适应挖掘控制方法,其特征在于,所述方法包括:
通过预安装在挖掘机驾驶室顶端的摄像头,对待挖掘的挖掘介质进行图像采集,得到待挖掘介质图像;
对所述待挖掘介质图像进行有关土壤颗粒的特征识别,确定出土壤颗粒特征,具体包括:
对所述待挖掘介质图像进行灰度处理,得到灰度处理后的待挖掘介质图像;
通过预设的K-means聚类算法,对所述待挖掘介质图像进行有关观测区域的图像分割,并基于欧几里得距离,将观测区域图像中的分离簇进行聚类处理,确定出观测特征图像;
根据灰度共生矩阵,对所述观测特征图像中的像素区域亮度进行参数计算,得到在所述灰度共生矩阵下每个像素的像素值;
基于所述像素值,对所述观测特征图像的土壤颗粒进行特征纹理的测量标注,确定出所述观测特征图像的土壤颗粒纹理;
通过线性平滑滤波器,将所述土壤颗粒纹理中相同像素灰度值下的像素区域进行平滑模糊处理,并删除所述像素区域的高频区域,确定出所述待挖掘介质图像的若干所述土壤颗粒特征;
通过预训练的深度学习岩土识别模型,对所述待挖掘介质图像中的土壤颗粒特征进行识别处理,确定出挖掘介质类型;
根据所述挖掘介质类型,对所述土壤颗粒特征进行密度计算,得到挖掘介质密度参数;
对所述挖掘介质密度参数进行最优参数的匹配计算,得到所述挖掘机的挖掘工作参数,具体包括:
根据所述挖掘介质密度参数,并基于误差阈值,对预设的典型挖掘介质密度表进行数值查询处理,得到若干相似介质密度参数;
将若干所述相似介质密度参数与所述挖掘介质密度参数进行差值计算,确定出处于最小差值下的相似介质密度参数;
将所述最小差值下的相似介质密度参数匹配到最优参数表中,并通过所述最优参数表,输出所述挖掘工作参数;
将所述挖掘工作参数进行反馈控制,以实现对所述挖掘机的挖掘力控制。
2.根据权利要求1所述的一种具有智能识别功能的自适应挖掘控制方法,其特征在于,通过预安装在挖掘机驾驶室顶端的摄像头,对待挖掘的挖掘介质进行图像采集,得到待挖掘介质图像,具体包括:
根据所述挖掘机中的控制系统,对液压系统进行动作指令的识别处理,确定出所述挖掘机的挖掘动作指令;
根据所述挖掘动作指令,并通过所述控制系统,对所述摄像头进行位置控制,以使所述摄像头与待挖掘区域之间完成中心点对准处理,确定出所述摄像头的最佳拍照位置;其中,所述摄像头属于预安装在挖掘机驾驶室顶端的云台摄像机中;
基于所述摄像头的最佳拍照位置,并在执行所述挖掘动作指令之前,对所述待挖掘区域中待挖掘的挖掘介质进行图像采集处理,得到所述待挖掘介质图像。
3.根据权利要求1所述的一种具有智能识别功能的自适应挖掘控制方法,其特征在于,在通过预训练的深度学习岩土识别模型,对所述待挖掘介质图像中的土壤颗粒特征进行识别处理,确定出挖掘介质类型之前,具体包括:
提取历史挖掘介质图像中的历史土壤颗粒特征以及对应的特征标签;并将所述历史土壤颗粒特征以及对应的特征标签确定为介质训练数据集;其中,所述特征标签为挖掘介质类别;所述历史土壤颗粒特征为数据输入端,所述特征标签为数据输出端;
通过预设的卷积神经网络,对所述介质训练数据集进行各层次下的数据传递,并基于梯度下降优化算法,对所述介质训练数据集中的每个参数进行损失更新,得到迭代优化后的模型参数;
通过所述模型参数,对神经网络模型进行有关挖掘介质类别的分类训练,得到训练后的所述深度学习岩土识别模型。
4.根据权利要求1所述的一种具有智能识别功能的自适应挖掘控制方法,其特征在于,通过预训练的深度学习岩土识别模型,对所述待挖掘介质图像中的土壤颗粒特征进行识别处理,确定出挖掘介质类型,具体包括:
将提取出的所述土壤颗粒特征输入到所述深度学习岩土识别模型中;
通过所述深度学习岩土识别模型,将每一幅待挖掘介质图像中的所述土壤颗粒特征进行相似特征的分类处理,得到相似土壤颗粒特征;
将所述相似土壤颗粒特征所对应的纹理特征值进行阈值判断,确定出符合同一阈值范围下的相似土壤颗粒特征;并将同一阈值范围下的相似土壤颗粒特征所对应的待挖掘介质图像确定为同一类别下的所述挖掘介质类型;
其中,所述挖掘介质类型至少包括:土壤类、岩石类、矿石类以及混合物类。
5.根据权利要求1所述的一种具有智能识别功能的自适应挖掘控制方法,其特征在于,根据所述挖掘介质类型,对所述土壤颗粒特征进行密度计算,得到挖掘介质密度参数,具体包括:
通过连通域分析算法,对所述土壤颗粒特征所对应的像素区域进行区域划分,得到土壤颗粒像素区域;
将所述土壤颗粒像素区域与观测区域图像的像素区域进行比对计算,得到基于所述挖掘介质类型下的所述挖掘介质密度参数;其中,所述观测区域图像为通过K-means聚类算法所分割后的区域图像。
6.根据权利要求1所述的一种具有智能识别功能的自适应挖掘控制方法,其特征在于,将所述挖掘工作参数进行反馈控制,具体包括:
将所述挖掘工作参数输入到挖掘机控制器中,得到工作参数数据;
通过所述挖掘机控制器,将所述工作参数数据输入到液压系统中;并控制所述液压系统,将所述工作参数数据转化为液压控制数据;
根据所述挖掘机的执行器,将所述液压控制数据反馈到所述挖掘机控制器,确定出所述挖掘机的挖掘力参数,以实现对所述挖掘机的挖掘力控制。
7.根据权利要求1所述的一种具有智能识别功能的自适应挖掘控制方法,其特征在于,通过IO通讯,将所述摄像头与所述挖掘机中的GCU模块进行通信连接;所述深度学习岩土识别模型封装在所述GCU模块中。
8.一种具有智能识别功能的自适应挖掘控制设备,其特征在于,所述设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有能够被所述至少一个处理器执行的指令,以使所述至少一个处理器能够执行根据权利要求1-7任一项所述的一种具有智能识别功能的自适应挖掘控制方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410129727.3A CN117661671B (zh) | 2024-01-31 | 2024-01-31 | 一种具有智能识别功能的自适应挖掘控制方法及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410129727.3A CN117661671B (zh) | 2024-01-31 | 2024-01-31 | 一种具有智能识别功能的自适应挖掘控制方法及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117661671A CN117661671A (zh) | 2024-03-08 |
CN117661671B true CN117661671B (zh) | 2024-04-30 |
Family
ID=90079232
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410129727.3A Active CN117661671B (zh) | 2024-01-31 | 2024-01-31 | 一种具有智能识别功能的自适应挖掘控制方法及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117661671B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005103396A1 (en) * | 2004-04-23 | 2005-11-03 | King's College London | Method of estimating parameters of a medium to be moved by a digging apparatus |
CN111553604A (zh) * | 2020-05-06 | 2020-08-18 | 三一重机有限公司 | 铲斗适配检测方法、装置、检测设备及可读存储介质 |
JP2021156078A (ja) * | 2020-03-30 | 2021-10-07 | 住友重機械工業株式会社 | ショベル |
CN114330058A (zh) * | 2021-12-27 | 2022-04-12 | 山河智能装备股份有限公司 | 一种挖掘机载荷谱编制方法及系统 |
WO2022213191A1 (en) * | 2021-04-07 | 2022-10-13 | Queen's University At Kingston | Automatic classification of excavation materials |
JP2023004865A (ja) * | 2021-06-25 | 2023-01-17 | 国立大学法人広島大学 | 建設機械および建設機械管理システム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11597369B2 (en) * | 2019-02-12 | 2023-03-07 | Caterpillar Inc. | Analytical model training for a machine impeller control system |
-
2024
- 2024-01-31 CN CN202410129727.3A patent/CN117661671B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005103396A1 (en) * | 2004-04-23 | 2005-11-03 | King's College London | Method of estimating parameters of a medium to be moved by a digging apparatus |
JP2021156078A (ja) * | 2020-03-30 | 2021-10-07 | 住友重機械工業株式会社 | ショベル |
CN111553604A (zh) * | 2020-05-06 | 2020-08-18 | 三一重机有限公司 | 铲斗适配检测方法、装置、检测设备及可读存储介质 |
WO2022213191A1 (en) * | 2021-04-07 | 2022-10-13 | Queen's University At Kingston | Automatic classification of excavation materials |
JP2023004865A (ja) * | 2021-06-25 | 2023-01-17 | 国立大学法人広島大学 | 建設機械および建設機械管理システム |
CN114330058A (zh) * | 2021-12-27 | 2022-04-12 | 山河智能装备股份有限公司 | 一种挖掘机载荷谱编制方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN117661671A (zh) | 2024-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CA2961203C (en) | Method for developing machine operation classifier using machine learning | |
CN102877500B (zh) | 一种挖掘机工作循环阶段自动识别方法 | |
CN108617480A (zh) | 一种园林智能浇灌系统 | |
CN113006188A (zh) | 一种基于lstm神经网络的挖掘机分阶段功率匹配方法 | |
US11248365B2 (en) | Automated control for excavators | |
CN117661671B (zh) | 一种具有智能识别功能的自适应挖掘控制方法及设备 | |
CN112966591B (zh) | 面向机械臂抓取任务的知识图谱深度强化学习迁移系统 | |
DE102020208048A1 (de) | Vorausschauende modifikation der maschineneinstellungen basierend auf dem vorhergesagten betriebszustandsübergang | |
Cao et al. | Intelligent energy-saving operation of wheel loader based on identifiable materials | |
CN109408649A (zh) | 基于纹理特征与机器学习的渣片智能化分析方法及系统 | |
Shi et al. | Working stage identification of excavators based on control signals of operating handles | |
CN106869223B (zh) | 挖掘机正流量液压系统的控制方法 | |
CN109919994B (zh) | 一种基于深度学习图像处理的采煤机滚筒自动调高系统 | |
CN115129003A (zh) | 一种基于自学习时变数字孪生的自动化产线智能监测系统 | |
CN111340834A (zh) | 基于激光雷达和双目相机数据融合的衬板装配系统及方法 | |
CN114351785B (zh) | 一种基于强化学习的液压挖掘机系统流量匹配优化方法 | |
CN105275029B (zh) | 挖掘机的主泵流量电控方法和系统及挖掘机 | |
CN106296474A (zh) | 一种装载机作业工况难易程度识别方法 | |
CN114255324A (zh) | 一种多激光雷达协同的地图构建方法及其系统 | |
CN112580262A (zh) | 一种液压机能耗智能监测方法、系统、装置及存储介质 | |
CN113550374B (zh) | 挖掘机作业的流量控制方法及提高动臂提升速度的方法 | |
CN113887327A (zh) | Gwo-svm的装载机循环工况作业阶段识别方法 | |
CN117569397A (zh) | 一种智能扒渣机及其使用方法 | |
Xin et al. | Feedback Control System in Dredging Engineering Based on Convolutional Neural Network Prediction | |
Hao et al. | Study on optimization of rake head density of suction hopper dredger based on bat algorithm and extreme learning machine |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |