CN113805479B - 冲抓机自主作业控制方法及控制系统 - Google Patents
冲抓机自主作业控制方法及控制系统 Download PDFInfo
- Publication number
- CN113805479B CN113805479B CN202111175646.XA CN202111175646A CN113805479B CN 113805479 B CN113805479 B CN 113805479B CN 202111175646 A CN202111175646 A CN 202111175646A CN 113805479 B CN113805479 B CN 113805479B
- Authority
- CN
- China
- Prior art keywords
- image data
- suspension arm
- point
- matching
- grab bucket
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004080 punching Methods 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 42
- 239000004576 sand Substances 0.000 claims abstract description 54
- 238000005553 drilling Methods 0.000 claims abstract description 33
- 239000000725 suspension Substances 0.000 claims description 126
- 230000008569 process Effects 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 9
- 239000002689 soil Substances 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 5
- 230000004297 night vision Effects 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000001276 controlling effect Effects 0.000 description 29
- 230000001133 acceleration Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 229910000831 Steel Inorganic materials 0.000 description 5
- 239000010959 steel Substances 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000009435 building construction Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 230000000284 resting effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000009412 basement excavation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003116 impacting effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B11/00—Automatic controllers
- G05B11/01—Automatic controllers electric
- G05B11/36—Automatic controllers electric with provision for obtaining particular characteristics, e.g. proportional, integral, differential
- G05B11/42—Automatic controllers electric with provision for obtaining particular characteristics, e.g. proportional, integral, differential for obtaining a characteristic which is both proportional and time-dependent, e.g. P. I., P. I. D.
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02D—FOUNDATIONS; EXCAVATIONS; EMBANKMENTS; UNDERGROUND OR UNDERWATER STRUCTURES
- E02D7/00—Methods or apparatus for placing sheet pile bulkheads, piles, mouldpipes, or other moulds
- E02D7/02—Placing by driving
- E02D7/06—Power-driven drivers
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Mining & Mineral Resources (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Paleontology (AREA)
- Civil Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Structural Engineering (AREA)
- Earth Drilling (AREA)
- Operation Control Of Excavators (AREA)
Abstract
本发明提供了一种冲抓机自主作业控制方法及系统，采用了特征识别和特征定位技术，通过对图像数据的不断反馈进行微调，对周围环境的特征与历史环境进行匹配定位，利用机械原理进行惯性的抵消，从而实现冲挖机的全自动作业，只需要提前人工操作一遍记录下关键数据，就能在之后的冲挖中进行全自动作业，自动找到钻孔、自动微调到钻孔正上方、自动收放抓斗和叶片并自动运送并卸载沙土，无需实时高度专注的监督作业和频繁介入，极大的降低操作人员的操作难度和素质要求，即使新手也能快速上手，无需多次更换操作员，极大的提高作业效率，降低事故率和人工成本。
Description
技术领域
本发明涉及冲抓打桩机技术领域，具体地，涉及一种冲抓机自主作业控制方法及控制系统。
背景技术
冲抓机又称冲抓打桩机，是为建筑、勘探、交通等造孔施工开发的一种自动挂卸造孔打桩机，主要通过冲击抓取孔底的沙土然后运送到指定目的地。冲抓机工作时，放开抓斗，靠冲抓钻头的自重向孔底进行冲击，靠张开的叶片插入孔底底层，然后闭合叶片完成取沙土，之后将整个钻头从孔底提上来，转动转台到指定卸载点，张开叶片，卸载沙土，继续重复之前的抓取操作。目前冲抓作业主要靠人工作业，因为抓斗进入钻孔口时与钻孔的最大间距不足5厘米，且抓斗存在惯性的摆动，操作抓斗成功进入钻孔的难度很大，需要极大的专注度和多年的操作经验，稍有不慎就会打到孔壁，造成抓斗和孔壁的损坏。所以冲抓斗操作培训难度大，培训时间长，一个熟练的冲抓斗操作员需要15年以上的操作经验，从而导致人工成本高昂，持续的专注性作业也导致作业进程无法持久，需要多次更换操作人员，从而导致人工成本的进一步增加，且工作效率低。目前市面上虽然出现了简单的半自动冲抓机，可以通过记录角度进行一键回转和一键收放，但是效果很不理想，几乎无法使用，单纯的记录角度，很难进行厘米级的定位，也无法抵消惯性带来的摆动影响，而且存在累计误差，仍然需要操作员进行高度专注的监督和微调，依然无法解决人工成本高、作业人员素质要求高、事故率高、效率低下等问题。
发明内容
本发明针对现有技术中存在的上述不足，提供了一种冲抓机自主作业控制方法及控制系统。
根据本发明的一个方面，提供了一种冲抓机自主作业控制方法，包括：
在当前作业环境下，获取目标点的图像数据；
使冲抓机抓斗位于初始位置及初始状态；
启动全自动作业，包括：
实时获取当前状态下冲抓机吊臂所处位置的图像数据；
将所述吊臂所处位置的图像数据与所述目标点的图像数据进行特征点匹配，计算所述吊臂所处位置的图像数据与所述目标点的图像数据的匹配特征点之间的位置差；
根据所述位置差，得到吊臂与目标点之间的距离和方向；
根据所述吊臂与目标点之间的距离和方向，控制吊臂旋转，并向目标点移动；
当所述吊臂所处位置的图像数据与所述目标点的图像数据的匹配特征点之间的位置差小于设定阈值时，控制所述抓斗完成对应操作，同时获取当前目标点的图像数据，并对原所述目标点的图像数据进行更新。
优选地，所述目标点包括：钻洞点和/或卸沙点；相应地，所述目标点的图像数据包括：冲抓机抓斗刚好放入钻洞的图像数据A和/或抓斗卸下沙土的图像数据B；
所述获取目标点的图像数据，包括：
由操作员完整操作一遍冲挖沙土的全过程，并记录下过程中抓斗刚好放入钻洞的图像数据和/或抓斗卸下沙土的图像数据，即得到图像数据A和/或图像数据B。
优选地，所述使冲抓机抓斗位于初始位置及初始状态，包括：
将冲抓机抓斗收起至最顶端，保持抓斗静止，同时收起叶片，得到冲抓机抓斗的初始位置及初始状态。
优选地，当所述目标点为钻洞点时，根据所述吊臂与所述钻洞点之间的距离和方向，控制所述吊臂旋转并移动，当所述吊臂所处位置的图像数据与所述图像数据A的匹配特征点之间的位置差的平均值小于阈值m时，控制抓斗放入钻洞；
当所述目标点为卸沙点时，根据所述吊臂与所述卸沙点之间的距离和方向，控制所述吊臂旋转并移动，当所述吊臂所处位置的图像数据与所述图像数据B的匹配特征点之间的位置差小于阈值n时，控制卸沙。
优选地，所述控制所述吊臂旋转并移动，当所述吊臂所处位置的图像数据与所述图像数据A的匹配特征点之间的位置差的平均值小于阈值m时，控制抓斗放入钻洞，包括：
控制所述吊臂旋转并移动，不断缩小所述吊臂所处位置的图像数据与所述图像数据A的匹配特征点之间的位置差，不断扩大所述吊臂所处位置的图像数据与所述图像数据B的匹配特征点之间的位置差；
当所述吊臂所处位置的图像数据与所述图像数据A的匹配特征点之间的位置差缩小到设定范围后，对所述吊臂的当前位置及方向进行微调；
当所述吊臂所处位置的图像数据与所述图像数据A的匹配特征点之间的位置差的平均值小于阈值m时，静止数秒，放下抓斗，当抓斗进入钻孔后，张开叶片让抓斗自由落体，然后收起叶片，提起抓斗。
优选地，所述阈值m取值为1。
优选地，所述控制所述吊臂旋转并移动当所述吊臂所处位置的图像数据与所述图像数据B的匹配特征点之间的位置差小于阈值n时，控制卸沙，包括：
设匹配特征点之间的距离为d，匹配特征A点坐标为(X1,Y1)，匹配特征B点坐标为(X2,Y2)，则：
设匹配度为S，最高匹配特征点总数为M，当前匹配特征点数为m，匹配特征点之间的距离为d，匹配特征点之间的最大距离为D，则：
其中，A和B为权重参数，C为偏置参数；
根据得到的所述匹配度，得到两个图像数据之间的匹配特征点。
转动吊臂的臂头，并使吊臂沿着让所述吊臂所处位置的图像数据与所述图像数据A的匹配特征点之间的位置差越来越大、所述吊臂所述位置的图像数据与所述图像数据B点的匹配特征点之间的位置差越来越小的方向移动；
当所述吊臂所处位置的图像数据与所述图像数据B的匹配特征点之间的位置差缩小到设定范围后，对所述吊臂的当前位置及方向进行微调；
当所述吊臂所处位置的图像数据与所述图像数据B的匹配特征点之间的位置差小于阈值n时，张开叶片，完成卸沙。
优选地，所述阈值n取值为5。
优选地，所述将吊臂所处位置的图像数据与目标点的图像数据进行特征点匹配的方法，包括：
根据得到的所述匹配度，得到两个图像数据之间的匹配特征点。
根据本发明的另一个方面，提供了一种冲抓机自主作业控制系统，包括：
图像获取模块，该模块用于在当前作业环境下，获取作为比对模板的目标点的图像数据以及实时获取当前状态下冲抓机吊臂所处位置的图像数据；
特征匹配模块，该模块用于对所述吊臂所处位置的图像数据与所述目标点的图像数据进行特征点匹配；计算所述吊臂所处位置的图像数据与所述目标点的图像数据的匹配特征点之间的位置差；
控制模块，该模块根据所述位置差，得到吊臂与目标点之间的距离和方向，并根据所述距离和方向，控制所述吊臂旋转并移动至目标点，自动完成抓斗对应的操作。
优选地，所述图像获取模块安装于冲抓机吊臂的上端，所述图像获取模块的镜头视野垂直于地面。
优选地，所述控制模块通过CAN通讯模块接入车机系统的CAN总线，并将控制指令发送至所述车机系统，进而控制所述吊臂旋转及移动。
优选地，所述图像获取模块采用像素为1080p、具有夜视功能和/或采用串口通讯进行数据传输的摄像头。
优选地，所述特征匹配模块采用能够提供3.5TOPS的GPU算力和/或操作系统采用Linux Ubuntu 16.04的算力板卡。
由于采用了上述技术方案，本发明与现有技术相比，具有如下至少一项的有益效果：
本发明提供的冲抓机自主作业控制方法及控制系统，采用了特征识别和特征定位技术，通过对图像数据的不断反馈进行微调，对周围环境的特征与历史环境进行匹配定位，利用机械原理进行惯性的抵消，实现冲挖机的全自动作业。
本发明提供的冲抓机自主作业控制方法及控制系统，能够实现冲抓机全自动作业，大幅度降低作业成本、提升作业效率、减少事故率。
本发明提供的冲抓机自主作业控制方法及控制系统，能够有效降低人工培养成本和工作强度。
本发明提供的冲抓机自主作业控制方法及控制系统，能够提升冲抓斗的智能化程度，进一步提升品牌竞争力。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明一实施例中冲抓机自主作业控制方法的流程图。
图2为本发明一优选实施例中冲抓机自主作业控制方法的工作流程图。
图3为本发明一优选实施例中全自动作业的工作流程图。
图4为本发明一优选实施例中特征匹配示意图；其中，(a)为一种状态下的图像数据获取示意图，(b)为另一种状态下的图像数据获取示意图，(c)为两种状态下图像数据中的特征匹配示意图。
图5为本发明一实施例中冲抓机自主作业控制系统的组成模块示意图。
具体实施方式
下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
图1为本发明一实施例提供的冲抓机自主作业控制方法的流程图。
如图1所示，该实施例提供的冲抓机自主作业控制方法，可以包括如下步骤：
S100，在当前作业环境下，获取目标点的图像数据；
S200，使冲抓机抓斗位于初始位置及初始状态；
S300，启动全自动作业，可以包括如下步骤：
S301，实时获取当前状态下冲抓机吊臂所处位置的图像数据；
S302，将吊臂所处位置的图像数据与目标点的图像数据进行特征点匹配，计算吊臂所处位置的图像数据与目标点的图像数据的匹配特征点之间的位置差；
S303，根据位置差，得到吊臂与目标点之间的距离和方向；
S304，根据吊臂与目标点之间的距离和方向，控制吊臂旋转，并向目标点移动；
S305，当吊臂所处位置的图像数据与目标点的图像数据的匹配特征点之间的位置差小于设定阈值时，控制抓斗完成对应操作，同时获取当前目标点的图像数据，并对原目标点的图像数据进行更新。
在该实施例的S100中，作为一优选实施例，目标点包括：钻洞点和/或卸沙点；相应地，目标点的图像数据包括：冲抓机抓斗刚好放入钻洞的图像数据A和/或抓斗卸下沙土的图像数据B。
进一步地，获取目标点的图像数据，包括：
由操作员完整操作一遍冲挖沙土的全过程，并记录下过程中抓斗刚好放入钻洞的图像数据和/或抓斗卸下沙土的图像数据，即得到图像数据A和/或图像数据B。
在该实施例的S200中，作为一优选实施例，使冲抓机抓斗位于初始位置及初始状态，包括：
将冲抓机抓斗收起至最顶端，保持抓斗静止，同时收起叶片，得到冲抓机抓斗的初始位置及初始状态。
进一步地，将冲抓机抓斗收起至最顶端，其中最顶端是指：
抓斗和吊臂之间采用利用滑轮组传动的钢索，通过控制滑轮组来收起或放下抓斗，收起抓斗到最顶端即为收起钢索，使抓斗尽可能靠近臂头的位置，即抓斗移动过程中的最顶端。
在该实施例的S301中，作为一优选实施例，实时获取当前状态下冲抓机吊臂所处位置的图像数据，包括：
通过摄像头获取图像数据，由于图像数据中包含冲抓机抓斗和吊臂当前所处位置的背景的特征信息，利用这些特征信息作为对抓斗和吊臂进行定位的依据，进而得到冲抓机吊臂所处位置。
在该实施例的S302中，作为一优选实施例，将吊臂所处位置的图像数据与目标点的图像数据进行特征点匹配，包括：
设匹配特征点之间的距离为d，匹配特征A点坐标为(X1,Y1)，匹配特征B点坐标为(X2,Y2)，则：
设匹配度为S，最高匹配特征点总数为M，当前匹配特征点数为m，匹配特征点之间的距离为d，匹配特征点之间的最大距离为D，则：
其中，A和B为权重参数，C为偏置参数；
根据匹配度，获得两个图像数据之间的匹配特征点。
在该实施例的S303中，根据位置差，得到吊臂与目标点之间的距离和方向，该距离和方向用于：
根据得到的距离，能够知道吊臂需要旋转多少度才能到达目标位置，从而更好的调节吊臂旋转的加速度，尽可能的减小抓斗的惯性带来的干扰；
根据得到的方向，能够知道将吊臂移动到钻洞上方或移动到卸沙点位置时，需要将吊臂进行顺时针旋转还是逆时针旋转；
不管是抓沙还是卸沙，首先需要知道一个方向，例如顺时针旋转就能到达钻洞位置，逆时针旋转就能到达卸沙位置，根据方向进而控制吊臂向目标点移动；而在控制吊臂移动时，根据距离调控移动的速度和加速度，使得加减速过程足够平滑，减小惯性的影响。
在该实施例的S304中，作为一优选实施例，根据吊臂与目标点之间的距离和方向，控制吊臂旋转，并向目标点移动，包括：
当目标点为钻洞点时，根据吊臂与钻洞点之间的距离和方向，控制吊臂旋转并移动，当吊臂所处位置的图像数据与图像数据A的匹配特征点之间的位置差的平均值小于阈值m时，控制抓斗放入钻洞；
当目标点为卸沙点时，根据吊臂与卸沙点之间的距离和方向，控制吊臂旋转并移动，当吊臂所处位置的图像数据与图像数据B的匹配特征点之间的位置差小于阈值n时，控制卸沙。
在该实施例的S305中，作为一优选实施例，控制吊臂旋转并移动，当吊臂所处位置的图像数据与图像数据A的匹配特征点之间的位置差的平均值小于阈值m时，控制抓斗放入钻洞，包括：
控制吊臂旋转并移动，不断缩小吊臂所处位置的图像数据与图像数据A的匹配特征点之间的位置差，不断扩大吊臂所处位置的图像数据与图像数据B的匹配特征点之间的位置差；
当吊臂所处位置的图像数据与图像数据A的匹配特征点之间的位置差缩小到设定范围后，对吊臂的当前位置及方向进行微调；
当吊臂所处位置的图像数据与图像数据A的匹配特征点之间的位置差的平均值小于阈值m时，静止数秒，放下抓斗，当抓斗进入钻孔后，张开叶片让抓斗自由落体，然后收起叶片，提起抓斗。
进一步地，作为一优选实施例，阈值m取值为1。
在该实施例的S305中，作为一优选实施例，控制吊臂旋转并移动当吊臂所处位置的图像数据与图像数据B的匹配特征点之间的位置差小于阈值n时，控制卸沙，包括：
转动吊臂的臂头，并使吊臂沿着让吊臂所处位置的图像数据与图像数据A的匹配特征点之间的位置差越来越大、吊臂位置的图像数据与图像数据B点的匹配特征点之间的位置差越来越小的方向移动；
当吊臂所处位置的图像数据与图像数据B的匹配特征点之间的位置差缩小到设定范围后，对吊臂的当前位置及方向进行微调；
当吊臂所处位置的图像数据与图像数据B的匹配特征点之间的位置差小于阈值n时，张开叶片，完成卸沙。
进一步地，作为一优选实施例，阈值n取值为5。
在该实施例中，实时获取吊臂位置的图像数据，当前吊臂所在位置的图像数据的特征点和初始记录的图像数据的特征点进行匹配比对后，就能够得到吊臂所处的相对位置。
本发明上述实施例提供的冲抓机自主作业控制方法，采用了特征识别和特征定位技术，通过对传感器数据的不断反馈进行微调，对周围环境的特征与历史环境进行匹配定位，利用机械原理进行惯性的抵消，从而实现冲挖机的全自动作业，只需要提前人工操作一遍记录下关键数据，就能在之后的冲挖中进行全自动作业，自动找到钻孔、自动微调到钻孔正上方、自动收放抓斗和叶片并自动运送并卸载沙土，无需实时高度专注的监督作业和频繁介入，极大的降低操作人员的操作难度和素质要求，即使新手也能快速上手，无需多次更换操作员，极大的提高作业效率，降低事故率和人工成本。
吊臂移动的时候存在突然的加减速，使得抓斗存在惯性，由于吊臂与抓斗的连接段是柔性钢索，因此抓斗会因为惯性发生摆动，且钢索的长度越长，惯性造成的摆动越大。本发明上述实施例利用机械原理进行惯性的抵消，主要包括以下两个方面，第一，吊臂移动前先收起钢索到最高点，再进行移动第二，吊臂移动时可以通过PID算法控制，进行线性柔和的加减速，使得加速度始终维持在造成抓斗惯性摆动的阈值以下，从而进一步降低惯性。
图2为本发明一优选实施例提供的冲抓机自主作业控制方法的工作流程图。
如图2所示，该实施例提供的冲抓机自主作业控制方法，可以包括如下步骤：
步骤1，由操作员完整操作一遍冲挖沙土的全过程，通过中控按钮记录下抓斗刚好放入钻洞的图像数据A和抓斗卸下沙土的图像数据B；
步骤2，收起抓斗到最顶端，保持抓斗静止防止移动带来的惯性摆动同时收起叶片；
步骤3，启动全自动作业，如图3所示：
步骤3.1，实时获取吊臂所处位置的图像数据；
步骤3.2，将当前吊臂的实时图像与历史采集到的图像数据A和B做特征点匹配，计算特征点的位置差；
步骤3.3，通过计算特征点的位置差可以得到当前吊臂与钻洞和卸沙点的距离和方向；
步骤3.4，通过CAN总线控制吊臂旋转不断缩小与A的匹配特征点的位置差，不断扩大与B的匹配特征点的位置差，当位置差缩小到一定范围后，通过PID算法进行微调(例如，在1920*1080的像素上，位置差距缩小到10个像素的范围内，现实中位置差缩小到30cm之内，开始进行微调)，当与A的特征点位置差的平均值小于1之后，静止数秒(例如静置3～5秒)开始放下抓斗，当抓斗进入钻孔后，张开叶片让抓斗自由落体，然后收起叶片，提起抓斗，更新历史图像A的数据(防止图像内容发生大的变动导致匹配不准确)；
步骤3.5，然后转动臂头，沿着让当前图像与历史记录的A的匹配特征点的位置距离越来越大，与历史记录的B点的匹配特征点的位置距离越来越小的方向移动，当位置差缩小到一定范围后，通过PID算法进行微调(例如，位置差距缩小到30个像素的范围内，现实中位置差距缩小到1m之内，开始进行微调)，当与B的特征点位置差小于5时，张开叶片，完成卸沙，更新历史图像B的数据；
继续重复之前的操作。
在该优选实施例中：
对摄像头采集到的图像进行分析和处理，并通过CAN总线发送控制指令给车机系统。
对采集到的图像进行分析和处理包括：特征匹配和逻辑处理。其中：
特征匹配，包括：特征点提取、特征点匹配、特征点定位、计算匹配度。该过程的主要目的是：提取到图像中的特征点，特征点表示同一个物体或场景在不同视角和光线下存在的相同或非常相似的表现形式组合成的具有尺度不变性的点或块。其中图像中拐角、纹理剧烈变化的地方越容易找到图像的特征点。找到特征点后将前后两张图像的特征点进行匹配，找出两张图所共有的特征点。获得匹配后的特征点后计算两个特征点的距离差，进行滤波和平均计算后就可得知前后两张图像的距离和相对位置。
特征点提取和匹配，可以采用opencv里的ORB算法。
特征点之间的匹配度，可以通过以下公式获得：
设：匹配特征点之间的距离为d，匹配特征A点坐标为(X1,Y1)，匹配特征B点坐标为(X2,Y2)，则：
设：匹配度为S，最高匹配特征点总数为M，当前匹配特征点数为m，匹配特征点之间的距离为d，匹配特征点之间的最大距离为D，则：
其中，A和B为权重参数，C为偏置参数。
根据获得的匹配度，即可以得到两个图像数据之间的匹配特征点。
逻辑处理，包括：根据特征匹配和动态追踪获取到的数据进行融合处理，从而获得需要对机器吊臂进行微调的参数(包括吊臂要旋转的方向和力度，
冲抓机的吊臂的旋转采用的是液压传动，所有液压的力度反应在吊臂上就吊臂转动的加速度，液压力度越大，吊臂的加速度越大。
吊臂为电动液压控制)，然后将修正参数通过CAN总线发送给车机进行控制。
图4为本发明一优选实施例中特征匹配示意图。如图4中(a)、(b)和(c)所示，相比(a)中所示的状态，(b)中所示的状态为吊臂顺时针旋转一定角度，此时摄像头辐射范围改变，使得背景也发生变化，由于存在相同的背景物，通过背景物的特征点的坐标和数量，计算出特征点之间的匹配度，进而得到匹配特征点。
下面结合一具体应用实例，对本发明上述实施例提供的技术方案进一步详细描述如下。
该具体应用实例针对高楼建筑施工打地基过程中的冲挖沙土作业，具体包括如下步骤：
步骤1，获取高楼建筑施工打地基时冲抓机抓斗刚好放入钻洞的图像数据A和抓斗卸下沙土的图像数据B，作为比对模板；
步骤2，使冲抓机抓斗位于初始位置及初始状态；
步骤3，启动全自动作业：
步骤3.1，实时获取冲抓机吊臂所处位置的图像数据；
步骤3.2，将初始状态下冲抓机吊臂所处位置与图像数据A和图像数据B进行特征点匹配，计算初始状态下冲抓机吊臂所处位置与图像数据A和图像数据B的匹配特征点之间的位置差；
步骤3.3，根据位置差，得到初始状态下吊臂与钻洞和卸沙点之间的距离和方向；
步骤3.4，根据初始状态下吊臂与钻洞和卸沙点之间的距离和方向，控制吊臂旋转，当吊臂当前位置与图像数据A的匹配特征点之间的位置差的平均值小于阈值1时，控制抓斗放入钻洞，同时获取当前抓斗放入钻洞的图像数据，更新图像数据A；
步骤3.5，转动并移动吊臂，当吊臂当前位置与图像数据B的匹配特征点之间的位置差小于阈值5时，控制卸沙，同时获取当前抓斗卸下沙土的图像数据，更新图像数据B；
步骤3.6，基于更新后的图像数据A和图像数据B，重复执行步骤3.1～步骤3.6，直至完成全部高楼建筑施工打地基冲挖沙土作业。
高楼建筑施工打地基需要在几十米深的井下称重柱，钻井工作需要24小时持续进行，对冲挖机的操作人员也是很大的挑战，需要持续高度集中注意力，且夜间工作受光线影响，效率更低。通过采用本发明上述实施例提供的冲抓机自主作业控制方法，只需要一开始操作一遍，就可以完全实现自动化作业，无需人工频繁介入，系统会实时更新历史参考图像，无需担心环境改变导致的影响。该方法通过特征匹配，无需担心白天黑夜，始终保持高效的作业效率，也不会出现因为持续作业导致的失误率增加的问题。精准，高效，智能。
图5为本发明一实施例提供的冲抓机自主作业控制系统组成模块示意图。
如图5所示，该实施例提供的冲抓机自主作业控制系统，可以包括如下模块：
根据本发明的另一个方面，提供了一种冲抓机自主作业控制系统，包括：
图像获取模块，该模块用于在当前作业环境下，获取作为比对模板的目标点的图像数据以及实时获取当前状态下冲抓机吊臂所处位置的图像数据；
特征匹配模块，该模块用于对吊臂所处位置的图像数据与目标点的图像数据进行特征点匹配；计算吊臂所处位置的图像数据与目标点的图像数据的匹配特征点之间的位置差；
控制模块，该模块根据位置差，得到吊臂与目标点之间的距离和方向，并根据距离和方向，控制吊臂旋转并移动至目标点，自动完成抓斗对应的操作。
在该实施例中，作为一优选实施例，图像获取模块安装于冲抓机吊臂的上端，图像获取模块的镜头视野垂直于地面。
在该实施例中，作为一优选实施例，控制模块通过CAN通讯模块接入车机系统的CAN总线，并将控制指令发送至车机系统，进而控制吊臂旋转及移动。
在该实施例中，作为一优选实施例，图像获取模块采用像素为1080p、具有夜视功能和/或采用串口通讯进行数据传输的摄像头。
在该实施例中，作为一优选实施例，特征匹配模块采用能够提供3.5TOPS的GPU算力和/或操作系统采用Linux Ubuntu 16.04的算力板卡。
在本发明的部分实施例中：
系统主要负责采集图像数据，提供算力支持，与冲挖机中控进行数据交互等。主要由摄像头、算力板卡、CAN通讯模块组成。
摄像头安装在冲抓机吊臂上端，镜头视野垂直于地面，像素为1080p，带夜视功能,数据传输为串口通讯。
算力板卡可以提供3.5TOPS的GPU算力，操作系统为Linux Ubuntu 16.04。
CAN通讯模块为串口转CAN，可接入车机的CAN总线，提供CAN总线可控制冲抓机吊臂的旋转，抓斗的收放和叶片的开合。
需要说明的是，本发明提供的方法中的步骤，可以利用系统中对应的模块、装置、单元等予以实现，本领域技术人员可以参照方法的技术方案实现系统的组成，即，方法中的实施例可理解为构建系统的优选例，在此不予赘述。
本发明上述实施例提供的冲抓机自主作业控制方法及控制系统，能够实现冲抓机全自动作业，大幅度降低作业成本、提升作业效率、减少事故率；能够有效降低人工培养成本和工作强度；能够提升冲抓斗的智能化程度，进一步提升品牌竞争力。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。
Claims (8)
1.一种冲抓机自主作业控制方法，其特征在于，包括：
在当前作业环境下，获取目标点的图像数据；所述目标点包括：钻洞点和/或卸沙点；相应地，所述目标点的图像数据包括：冲抓机抓斗刚好放入钻洞的图像数据A和/或抓斗卸下沙土的图像数据B；
使冲抓机抓斗位于初始位置及初始状态；
启动全自动作业，包括：
实时获取当前状态下冲抓机吊臂所处位置的图像数据；
将所述吊臂所处位置的图像数据与所述目标点的图像数据进行特征点匹配，计算所述吊臂所处位置的图像数据与所述目标点的图像数据的匹配特征点之间的位置差；
根据所述位置差，得到吊臂与目标点之间的距离和方向；
根据所述吊臂与目标点之间的距离和方向，控制吊臂旋转，并向目标点移动；
当所述吊臂所处位置的图像数据与所述目标点的图像数据的匹配特征点之间的位置差小于设定阈值时，控制所述抓斗完成对应操作，同时获取当前目标点的图像数据，并对原所述目标点的图像数据进行更新；
当所述目标点为钻洞点时，根据所述吊臂与所述钻洞点之间的距离和方向，控制所述吊臂旋转并移动，当所述吊臂所处位置的图像数据与所述图像数据A的匹配特征点之间的位置差的平均值小于阈值m时，控制抓斗放入钻洞；
当所述目标点为卸沙点时，根据所述吊臂与所述卸沙点之间的距离和方向，控制所述吊臂旋转并移动，当所述吊臂所处位置的图像数据与所述图像数据B的匹配特征点之间的位置差小于阈值n时，控制卸沙；
所述控制所述吊臂旋转并移动，当所述吊臂所处位置的图像数据与所述图像数据A的匹配特征点之间的位置差的平均值小于阈值m时，控制抓斗放入钻洞，包括：
控制所述吊臂旋转并移动，不断缩小所述吊臂所处位置的图像数据与所述图像数据A的匹配特征点之间的位置差，不断扩大所述吊臂所处位置的图像数据与所述图像数据B的匹配特征点之间的位置差；
当所述吊臂所处位置的图像数据与所述图像数据A的匹配特征点之间的位置差缩小到设定范围后，对所述吊臂的当前位置及方向进行微调；
当所述吊臂所处位置的图像数据与所述图像数据A的匹配特征点之间的位置差的平均值小于阈值m时，静止数秒，放下抓斗，当抓斗进入钻孔后，张开叶片让抓斗自由落体，然后收起叶片，提起抓斗；
所述控制所述吊臂旋转并移动当所述吊臂所处位置的图像数据与所述图像数据B的匹配特征点之间的位置差小于阈值n时，控制卸沙，包括：
转动吊臂的臂头，并使吊臂沿着让所述吊臂所处位置的图像数据与所述图像数据A的匹配特征点之间的位置差越来越大、所述吊臂所述位置的图像数据与所述图像数据B点的匹配特征点之间的位置差越来越小的方向移动；
当所述吊臂所处位置的图像数据与所述图像数据B的匹配特征点之间的位置差缩小到设定范围后，对所述吊臂的当前位置及方向进行微调；
当所述吊臂所处位置的图像数据与所述图像数据B的匹配特征点之间的位置差小于阈值n时，张开叶片，完成卸沙。
2.根据权利要求1所述的冲抓机自主作业控制方法，其特征在于，所述获取目标点的图像数据，包括：
由操作员完整操作一遍冲挖沙土的全过程，并记录下过程中抓斗刚好放入钻洞的图像数据和/或抓斗卸下沙土的图像数据，即得到图像数据A和/或图像数据B。
3.根据权利要求1所述的冲抓机自主作业控制方法，其特征在于，所述使冲抓机抓斗位于初始位置及初始状态，包括：
将冲抓机抓斗收起至最顶端，保持抓斗静止，同时收起叶片，得到冲抓机抓斗的初始位置及初始状态。
4.根据权利要求1所述的冲抓机自主作业控制方法，其特征在于，所述阈值m取值为1，和/或，所述阈值n取值为5。
5.根据权利要求1所述的冲抓机自主作业控制方法，其特征在于，所述将吊臂所处位置的图像数据与目标点的图像数据进行特征点匹配的方法，包括：
设匹配特征点之间的距离为d，匹配特征A点坐标为(X1,Y1)，匹配特征B点坐标为(X2,Y2)，则：
设匹配度为S，最高匹配特征点总数为M，当前匹配特征点数为m，匹配特征点之间的距离为d，匹配特征点之间的最大距离为D，则：
其中，A和B为权重参数，C为偏置参数；
根据得到的所述匹配度，得到两个图像数据之间的匹配特征点。
6.一种冲抓机自主作业控制系统，其特征在于，包括：
图像获取模块，该模块用于在当前作业环境下，获取作为比对模板的目标点的图像数据以及实时获取当前状态下冲抓机吊臂所处位置的图像数据；所述目标点包括：钻洞点和/或卸沙点；相应地，所述目标点的图像数据包括：冲抓机抓斗刚好放入钻洞的图像数据A和/或抓斗卸下沙土的图像数据B；
特征匹配模块，该模块用于对所述吊臂所处位置的图像数据与所述目标点的图像数据进行特征点匹配；计算所述吊臂所处位置的图像数据与所述目标点的图像数据的匹配特征点之间的位置差；
控制模块，该模块根据所述位置差，得到吊臂与目标点之间的距离和方向，并根据所述距离和方向，控制所述吊臂旋转并移动至目标点，自动完成抓斗对应的操作；
当所述目标点为钻洞点时，根据所述吊臂与所述钻洞点之间的距离和方向，控制所述吊臂旋转并移动，当所述吊臂所处位置的图像数据与所述图像数据A的匹配特征点之间的位置差的平均值小于阈值m时，控制抓斗放入钻洞；
当所述目标点为卸沙点时，根据所述吊臂与所述卸沙点之间的距离和方向，控制所述吊臂旋转并移动，当所述吊臂所处位置的图像数据与所述图像数据B的匹配特征点之间的位置差小于阈值n时，控制卸沙；
所述控制所述吊臂旋转并移动，当所述吊臂所处位置的图像数据与所述图像数据A的匹配特征点之间的位置差的平均值小于阈值m时，控制抓斗放入钻洞，包括：
控制所述吊臂旋转并移动，不断缩小所述吊臂所处位置的图像数据与所述图像数据A的匹配特征点之间的位置差，不断扩大所述吊臂所处位置的图像数据与所述图像数据B的匹配特征点之间的位置差；
当所述吊臂所处位置的图像数据与所述图像数据A的匹配特征点之间的位置差缩小到设定范围后，对所述吊臂的当前位置及方向进行微调；
当所述吊臂所处位置的图像数据与所述图像数据A的匹配特征点之间的位置差的平均值小于阈值m时，静止数秒，放下抓斗，当抓斗进入钻孔后，张开叶片让抓斗自由落体，然后收起叶片，提起抓斗；
所述控制所述吊臂旋转并移动当所述吊臂所处位置的图像数据与所述图像数据B的匹配特征点之间的位置差小于阈值n时，控制卸沙，包括：
转动吊臂的臂头，并使吊臂沿着让所述吊臂所处位置的图像数据与所述图像数据A的匹配特征点之间的位置差越来越大、所述吊臂所述位置的图像数据与所述图像数据B点的匹配特征点之间的位置差越来越小的方向移动；
当所述吊臂所处位置的图像数据与所述图像数据B的匹配特征点之间的位置差缩小到设定范围后，对所述吊臂的当前位置及方向进行微调；
当所述吊臂所处位置的图像数据与所述图像数据B的匹配特征点之间的位置差小于阈值n时，张开叶片，完成卸沙。
7.根据权利要求6所述的冲抓机自主作业控制系统，其特征在于，还包括如下任意一项或任意多项：
-所述图像获取模块安装于冲抓机吊臂的上端，所述图像获取模块的镜头视野垂直于地面；
-所述控制模块通过CAN通讯模块接入车机系统的CAN总线，并将控制指令发送至所述车机系统，进而控制所述吊臂旋转及移动。
8.根据权利要求6或7所述的冲抓机自主作业控制系统，其特征在于，还包括如下任意一项或任意多项：
-所述图像获取模块采用像素为1080p、具有夜视功能和/或采用串口通讯进行数据传输的摄像头；
-所述特征匹配模块采用能够提供3.5TOPS的GPU算力和/或操作系统采用LinuxUbuntu 16.04的算力板卡。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111175646.XA CN113805479B (zh) | 2021-10-09 | 2021-10-09 | 冲抓机自主作业控制方法及控制系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111175646.XA CN113805479B (zh) | 2021-10-09 | 2021-10-09 | 冲抓机自主作业控制方法及控制系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113805479A CN113805479A (zh) | 2021-12-17 |
| CN113805479B true CN113805479B (zh) | 2023-08-18 |
Family
ID=78897438
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111175646.XA Active CN113805479B (zh) | 2021-10-09 | 2021-10-09 | 冲抓机自主作业控制方法及控制系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113805479B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114572326A (zh) * | 2022-05-07 | 2022-06-03 | 核工业航测遥感中心 | 一种综合测井车 |
| CN115584960B (zh) * | 2022-10-13 | 2024-01-30 | 徐州徐工基础工程机械有限公司 | 旋挖钻机定点自动作业的控制方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2016343258A1 (en) * | 2015-10-21 | 2018-04-26 | Chief Enterprises Pty Ltd | An integrated multifunction post installation implement |
| CN110924391A (zh) * | 2019-12-18 | 2020-03-27 | 三一重机有限公司 | 一种自动打桩控制方法、控制装置及打桩机 |
| CN111017726A (zh) * | 2019-11-19 | 2020-04-17 | 中联重科股份有限公司 | 起重机吊钩定位方法、装置、系统及工程机械 |
| CN113047290A (zh) * | 2021-04-23 | 2021-06-29 | 北京三一智造科技有限公司 | 一种桩机的对孔方法、装置、桩机及可读存储介质 |
| CN114170320A (zh) * | 2021-10-29 | 2022-03-11 | 广西大学 | 一种基于多传感器融合的打桩机自动定位和工况自适应方法 |
-
2021
- 2021-10-09 CN CN202111175646.XA patent/CN113805479B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2016343258A1 (en) * | 2015-10-21 | 2018-04-26 | Chief Enterprises Pty Ltd | An integrated multifunction post installation implement |
| CN111017726A (zh) * | 2019-11-19 | 2020-04-17 | 中联重科股份有限公司 | 起重机吊钩定位方法、装置、系统及工程机械 |
| CN110924391A (zh) * | 2019-12-18 | 2020-03-27 | 三一重机有限公司 | 一种自动打桩控制方法、控制装置及打桩机 |
| CN113047290A (zh) * | 2021-04-23 | 2021-06-29 | 北京三一智造科技有限公司 | 一种桩机的对孔方法、装置、桩机及可读存储介质 |
| CN114170320A (zh) * | 2021-10-29 | 2022-03-11 | 广西大学 | 一种基于多传感器融合的打桩机自动定位和工况自适应方法 |
Non-Patent Citations (1)
| Title |
|---|
| Design and simulation of an adaptable and compact impact pile driver;Shuyi Yang;Automation in Construction;第112卷;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113805479A (zh) | 2021-12-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113805479B (zh) | 冲抓机自主作业控制方法及控制系统 | |
| US20090228177A1 (en) | Adaptive work cycle control system | |
| US10358796B2 (en) | Operator assist features for excavating machines based on perception system feedback | |
| CN112947202A (zh) | 一种水面漂浮垃圾智能清理系统及控制方法 | |
| CN105692249A (zh) | 一种袋装水泥智能化装车系统及其装车方法 | |
| CN113846715B (zh) | 一种平地机控制方法、装置及平地机 | |
| CN209723096U (zh) | 一种露天矿电铲对中控制系统 | |
| CN109610491B (zh) | 沉井智能开挖装置以及利用该装置进行沉井开挖的方法 | |
| CN113565165B (zh) | 挖掘机电子围墙的建立方法 | |
| CN111824957A (zh) | 一种多层多臂式塔机的控制系统及控制方法 | |
| CN109778942A (zh) | 一种露天矿电铲对中控制系统及方法 | |
| CN109750697B (zh) | 一种绞吸挖泥船基于产量的自动挖泥控制方法 | |
| CN109750702B (zh) | 一种绞吸挖泥船经济产量自动挖泥控制方法 | |
| CN115012468A (zh) | 一种挖掘机自动作业控制系统、方法及挖掘机 | |
| CN117181406B (zh) | 一种矿山井下自主作业岩石破碎机及远程遥控控制方法 | |
| JP7342295B1 (ja) | 土砂ホッパー算出システム及びプログラム | |
| CN207419374U (zh) | 一种用于驳岸的施工装置 | |
| JP7358667B1 (ja) | アースバケット検出システム及びプログラム | |
| JP2021025223A (ja) | 作業機械 | |
| CN205172501U (zh) | 冲孔桩卡钻处理装置 | |
| JP7358668B1 (ja) | マテリアルロック自動制御システム及びプログラム | |
| JP2016102375A (ja) | 海底鉱床採鉱装置 | |
| CN117623124B (zh) | 一种基于机器视觉的门座式起重机的控制系统 | |
| CN218933253U (zh) | 带有物料判定功能的滑移挖掘装载机 | |
| JP7330064B2 (ja) | 架線集材システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Control method and control system for autonomous operation of punching and grabbing machines Granted publication date: 20230818 Pledgee: Minhang Branch of Shanghai Rural Commercial Bank Co.,Ltd. Pledgor: Shanghai Haibo Intelligent Technology Co.,Ltd. Registration number: Y2024310000088 |