CN117921639A - 一种用于无人艇的智能机械臂系统 - Google Patents

一种用于无人艇的智能机械臂系统 Download PDF

Info

Publication number
CN117921639A
CN117921639A CN202410324158.8A CN202410324158A CN117921639A CN 117921639 A CN117921639 A CN 117921639A CN 202410324158 A CN202410324158 A CN 202410324158A CN 117921639 A CN117921639 A CN 117921639A
Authority
CN
China
Prior art keywords
target object
mechanical arm
control device
data
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410324158.8A
Other languages
English (en)
Other versions
CN117921639B (zh
Inventor
王硕仁
汤东胜
廖周鑫
唐帅帅
汤书凡
王耀祖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Zizi Technology Co ltd
China Polar Research Center (polar Research Institute Of China)
Original Assignee
Shanghai Zizi Technology Co ltd
China Polar Research Center (polar Research Institute Of China)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Zizi Technology Co ltd, China Polar Research Center (polar Research Institute Of China) filed Critical Shanghai Zizi Technology Co ltd
Priority to CN202410324158.8A priority Critical patent/CN117921639B/zh
Publication of CN117921639A publication Critical patent/CN117921639A/zh
Application granted granted Critical
Publication of CN117921639B publication Critical patent/CN117921639B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明涉及用于无人艇的智能机械臂系统,包括机械臂、控制装置,控制装置包括目标物体信息获取装置,目标物体信息获取装置用于获得目标物体的信息,控制装置能够基于目标物体的信息输出控制量来控制机械臂操纵目标物体;目标物体信息获取装置包括双目视觉单元和RGB‑D视觉单元;双目视觉单元包括第一相机和第二相机,双目视觉单元用于获取位于第一距离的目标物体的第一信息,第一信息包括目标物体的类型、距离、方位;RGB‑D视觉单元用于获取位于第二距离的目标物体的第二信息,第二信息包括目标物体的姿态,第一距离大于第二距离。通过本发明的智能机械臂系统,使得机械臂准确操纵目标物体,达到智能、高效地执行操作作业的效果。

Description

一种用于无人艇的智能机械臂系统
技术领域
本发明涉及船舶技术领域,具体地涉及一种用于无人艇的智能机械臂系统。
背景技术
随着时代的发展,人类在水面的活动,包括工程施工、水上运动、水面漂浮物的清理等越来越多,这就导致很多水上作业任务的需求。现在通常采用人工驾驶船舶到对应水域执行相应的作业任务,但是这种方式需要体积较大的船舶,并且出动的频率和响应速度都不够高效,同时作业成本很高。
发明内容
为解决上述技术问题,本发明提出一种用于无人艇的智能机械臂系统及无人艇,能够实现智能地识别目标物体的信息并且实时补偿目标物体及机械臂的姿态变化,同时满足人工遥控操作和自主操作模式,使得能够智能化、准确、快速、可靠地执行任务。
第一方面,本发明公开了一种用于无人艇的智能机械臂系统,包括机械臂、控制装置,控制装置包括目标物体信息获取装置,目标物体信息获取装置用于获得目标物体的信息,控制装置能够基于目标物体的信息输出控制量来控制机械臂操纵目标物体;其中,目标物体信息获取装置包括双目视觉单元和RGB-D视觉单元;双目视觉单元包括第一相机和第二相机,双目视觉单元用于获取位于第一距离的目标物体的第一信息,第一信息包括目标物体的类型、距离、方位;RGB-D视觉单元用于获取位于第二距离的目标物体的第二信息,第二信息包括目标物体的姿态,第一距离大于第二距离。
在一些实施方式中,控制装置还包括目标物体信息处理模块,目标物体信息处理模块包括二维视觉分析器和三维视觉分析器;其中,二维视觉分析器包括目标物体识别模型,目标物体识别模型基于接收的双目视觉单元获取的目标物体的信息,能够识别目标物体的类型、轮廓、距离、方位;三维视觉分析器包括3D神经网络模型,基于接收的RGB-D视觉单元获取的目标物体的RGB图像数据、深度点云数据,能够识别目标物体的姿态。
在一些实施方式中,控制装置还包括姿态补偿模块,姿态补偿模块包括加速度传感器和陀螺仪,其中,加速度传感器用于获取机械臂在横向、纵向和垂向方向上的加速度数据,陀螺仪用于获取机械臂在围绕横向、纵向和垂向方向上的角度数据,控制装置基于机械臂的加速度数据和角度数据,控制机械臂以补偿机械臂的姿态变化。
在一些实施方式中,姿态补偿模块用于对加速度传感器获取的机械臂在横向、纵向和垂向方向上的加速度数据进行滤波处理和积分处理,得到机械臂在横向、纵向和垂向方向上的速度以及位移量,并分别利用纵向速度与自陀螺仪获取的纵摇速度的差值,和/或,利用横向速度与自陀螺仪获取的横摇速度的差值,对所述滤波处理和积分处理进行修正。
在一些实施方式中,控制装置基于目标物体信息处理模块获取的目标物体的距离、方位、姿态,以及姿态补偿模块获取的机械臂的加速度数据和角度数据,得到补偿目标物体的姿态变化和机械臂的姿态变化的补偿量,机械臂接收控制量和补偿量。
在一些实施方式中,控制装置包括机械臂运动学模型,机械臂包括多个关节,机械臂运动学模型接收目标物体的距离、方位、姿态数据以及姿态补偿模块获取的机械臂的加速度数据和角度数据,输出多个关节中每个关节对应的运动量。
在一些实施方式中,智能机械臂系统还包括加热装置,加热装置包括温度传感器、热风机及热风导管,其中,温度传感器安装在机械臂上用于获取机械臂的环境温度,热风机经由热风导管与机械臂相连。
在一些实施方式中,机械臂包括机械爪和机械爪壳体,机械爪包括爪体和执行部件,执行部件位于机械爪壳体中,机械爪壳体具有热风进口和热风出口,热风进口与热风导管连接,热风出口与爪体相对设置。
在一些实施方式中,温度传感器、热风机与控制装置相连,控制装置接收温度传感器的数据,并基于温度传感器的数据控制热风机的开启或停止,和/或热风机的输出功率。
第二方面,本发明公开了一种无人艇,包括如第一方面所述的智能机械臂系统,机械臂安装于无人艇的艇体。
在一些实施方式中,姿态补偿模块包括四个加速度传感器和一个陀螺仪,四个加速度传感器间隔地安装于无人艇的四个角,陀螺仪安装于无人艇的艇体中部。
实施本发明,具有如下有益效果:通过本发明的智能机械臂系统、无人艇,通过双目视觉单元和RGB-D视觉单元的相互配合,能够准确获知目标物体的类型、距离、方位、姿态等信息,使得无人艇能够准确航行至指定位置;在机械臂系统操纵目标物体时,通过实时智能姿态补偿控制,对无人艇的姿态变化及目标物体的姿态变化进行补偿,从而能够使得机械臂准确操纵目标物体,达到智能化、准确、高效地执行操作作业的效果。
附图说明
为了更清楚地说明本发明的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1是本发明实施例提供的智能机械臂系统的示意图。
图2是本发明实施例提供的智能机械臂系统的姿态补偿模块的示意图。
图3是本发明实施例提供的机械臂的局部示意图。
图4是本发明实施例提供的智能机械臂系统的控制结构示意图。
图5是本发明实施例提供的艇体姿态数据处理流程示意图。
附图标记:101. 机械臂;1011. 机械爪壳体;10111. 热风进口;10112. 热风出口;1012. 机械爪连杆;1013. 机械爪;1021. 双目视觉单元;1022. RGB-D视觉单元;1031.加速度传感器;1032. 陀螺仪;104. 热风机;1041. 热风导管。
具体实施方式
下面将结合本发明实施例中的附图,对发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
为解决现有人工驾驶操纵船舶水面作业带来的响应慢、危险系数高、成本高的技术问题,本发明提出一种用于无人艇的智能机械臂以及无人艇,能够实现智能、准确、高效地通过智能机械臂系统进行水面作业的目的。
本实施例中,如图1、4所示,本发明公开了一种用于无人艇的智能机械臂系统,包括机械臂101、控制装置,其中,控制装置包括目标物体信息获取装置,目标物体信息获取装置用于获得水面上的目标物体的信息,控制装置能够基于目标物体的信息输出控制量来控制机械臂操纵目标物体。
如图1所示,目标物体信息获取装置包括双目视觉单元1021、 RGB-D视觉单元1022。双目视觉单元1021、 RGB-D视觉单元1022可以安装在无人艇上,也可以安装在适宜的位置,在本实施例中,双目视觉单元1021、 RGB-D视觉单元1022被安装在机械臂101上。其中,双目视觉单元1021、 RGB-D视觉单元1022还具有图中未示出的调整装置,调整装置能够控制双目视觉单元1021、 RGB-D视觉单元1022转动或者俯仰,使得双目视觉单元1021、RGB-D视觉单元1022能够扫描大范围的水面区域,用以搜寻目标物体。
其中,双目视觉单元1021包括两个间隔布置的相机或摄像机,其模仿人眼识别物体的原理,由双摄像机从不同角度同时获得被测物的两幅数字图像,并基于视差原理恢复出物体的位置、距离及三维几何信息,重建物体三维轮廓及位置。RGB-D视觉单元1022包括RGB-D相机,能够获取视场内的深度图像,深度图像包括视场内物体的彩色信息和深度信息,能够规避纯视觉技术所带来的缺乏纹理、信息量不足的问题,能够提供更丰富、更立体的视觉数据。
控制装置还包括目标物体信息处理模块、控制模块,目标物体信息处理模块与目标物体信息获取装置相连并且获取目标物体信息获取装置的信息,用以分析、判断目标物体的相关信息。在本实施例中,目标物体信息处理模块分别与双目视觉单元1021、 RGB-D视觉单元1022相连,并对接收到的双目视觉单元1021、 RGB-D视觉单元1022的数据进行处理。
目标物体信息处理模块包括一个二维视觉分析器,二维视觉分析器与双目视觉单元1021相连,双目视觉单元1021拍摄到的图像输入二维视觉分析器中进行分析和处理。其中,二维视觉分析器包括基于深度卷积神经网络的物体识别模型,可以采用离线训练学习的方式,对二维视觉分析器进行样本训练,使得二维视觉分析器具备对目标物体进行物体类型识别的能力,使得当双目视觉单元1021拍摄到目标物体时,二维视觉分析器通过其基于深度卷积神经网络的物体识别模型能够准确识别目标物体的类型,以方便后续控制机械臂对目标物体的操纵,比如夹取、推拉等。同时,二维视觉分析器还能够识别目标物体的轮廓、距离、方位,标示出目标物体的轮廓边界,使得控制装置能够获知目标物体的相关信息,并发送至载具,例如无人艇,使得无人艇能够基于目标物体的位置信息,航行至预定位置,以便后续的机械臂的操纵。
进一步地,对于目标物体的搜寻,双目视觉单元1021优选地被配置为在大于10米的范围内使用,也即在相对较远的距离范围内使用;通过双目视觉单元1021,在大范围与远距离空间对无标物体进行搜寻、类别识别、与位置识别,而双目视觉分析器的输出结论数据用于指挥艇的运动控制,使艇能按可靠的路线驶近目标物。
进一步地,二维视觉分析器接收到双目视觉单元1021的图像信号,通过综合使用经典图像处理算法,例如平滑滤波、灰度分析、边缘检测、双目校准、3D深度计算等,与基于深度学习的人工智能算法,例如深度卷积神经网络、目标分类模型与算法,对目标物体的进行类别识别、位置计算、姿态计算。通过图像处理算法、分析双目视觉单元1021中两个相机之间的视差,并结合已知的相机参数和几何关系,二维视觉分析器可以计算出目标物体与双目视觉单元1021之间的物理距离(Z坐标)以及平面位置坐标(X坐标、Y坐标)。同时,通过二维视觉分析器中的基于深度卷积神经网络的人工智能模块,通过深度学习网络训练,具备对目标物体的类型进行识别的能力,并可以识别目标物体的姿态参数,为控制器控制水面机械爪对物体实施抓取提供切入方位的决策信息。
目标物体信息处理模块还包括一个三维视觉分析器,RGB-D视觉单元1022的图像输入到三维视觉分析器。其中,三维视觉分析器包括深度生成式3D神经网络模型,可以利用CAD模型、RGB图像数据、深度点云数据的样本进行离线训练学习,使得三维视觉分析器具备对目标物体进行方位姿态参数进行识别的能力。进一步地,基于三维视觉分析器具备对目标物体进行方位姿态参数进行识别的能力,能够获取目标物体更详细的信息,RGB-D视觉单元1022被配置为在近距离上识别目标物体,优选地被配置为在小于10米的范围内使用,用于近距离控制机械臂对目标物进行抓取,机械臂按照目标物体的具体位置、方位姿态,采用相应的动作步骤,对目标物体进行操纵。
本实施例通过配置双目视觉单元1021与 RGB-D视觉单元1022执行不同的功能、作用于不同的距离范围,使得既可以适应大空间范围对目标物体的搜寻与定位,便于无人艇驶向目标物体的位置,又适于近距离对目标物体的姿态识别以及便于控制机械臂依据目标物体的实时姿态对目标物体进行操纵,有效地提高无人艇与机械臂的控制精度和效率。
在一些实施方式中,由于机械臂在执行任务过程中,可能会受到外部环境的变化影响,比如因为风浪干扰,无人艇在各个方向产生姿态摇晃与位置漂移,导致机械臂位置与姿态瞬时变化而不稳定。为了解决这个问题,本发明的智能机械臂还配备了实时姿态智能补偿功能,可以根据外部环境的变化自动计算机械臂自由度坐标的补偿值,实时调整机械臂的位置与姿态,保证机械臂作用过程中的稳定性和准确性。
如图2、4所示,控制装置还包括姿态补偿模块,姿态补偿模块包括加速度传感器和陀螺仪;其中,加速度传感器能够检测三个正交方向上的加速度数据,用于获取机械臂在横向、纵向和垂向方向上的加速度数据;陀螺仪能够检测绕三个正交方向上的角度数据,用于获取机械臂在围绕横向、纵向和垂向方向上的角度数据,控制装置基于机械臂的加速度数据和角度数据,控制机械臂以补偿机械臂的姿态变化。由于机械臂安装在艇体上,本实施例中,优选地,加速度传感器1031和陀螺仪1032也被安装在艇体上,用以检测艇体的姿态变化,进而能够获知机械臂收到外界扰动所产生的姿态变化。在此,横向、纵向和垂向方向优选为世界坐标系中的X轴、Y轴、Z轴。
本实施例中,控制装置包括四个加速度传感器1031,四个加速度传感器1031被布置在艇体的四个角部区域,如图3所示,用于获取艇体在横向、纵向和垂向方向上的加速度数据,进而获取机械臂底座在横向、纵向和垂向方向上的加速度数据。当然,在其他实施方式中,加速度传感器1031的数量和具体布置位置可以根据需要任意调整。控制装置包括一个陀螺仪1032,陀螺仪1032被布置在艇体的中心位置,用于获取艇体在围绕横向、纵向和垂向方向上的角度数据,进而获取机械臂底座在围绕横向、纵向和垂向方向上的角度数据。
控制装置接收加速度传感器1031和陀螺仪1032的数据,以预定的采样率对加速度传感器1031和陀螺仪1032的数据进行采样。进一步,控制装置包括机械臂运动学模型,机械臂101包括多个关节,本实施例中为6个关节;机械臂运动学模型接收目标物体的距离、方位、姿态数据以及姿态补偿模块获取的机械臂的加速度数据和角度数据,输出多个关节中每个关节对应的运动量。具体地,控制装置接收到目标物体信息处理模块得到的目标物体的信息,进而通过机械臂运动学模型输出针对目标物体的控制量。另外,控制装置能够融合加速度传感器1031和陀螺仪1032的数据,经过数字滤波、积分等运算过程,准确地计算出无人艇艇体的6自由度的运动速度与位移参数,再进一步基于机械臂运动学模型计算艇体的6自由度运动量分解到针对机械臂多个关节中每个关节的运动量,得到用于对机械臂的运动进行补偿控制的补偿量。通过叠加针对目标物体的控制量以及针对机械臂姿态变化的补偿控制的补偿量,能够实时地执行对于机械臂的姿态变化的智能补偿,保持机械臂101在操纵过程中的稳定和准确。
如图5所示,其中,姿态补偿模块用于对加速度传感器1031获取的无人艇在横向、纵向和垂向方向上的加速度数据进行滤波处理以去除噪音;然后对加速度数据进行积分处理,进而得到无人艇在横向、纵向和垂向方向上的速度数据;然后对速度数据进行积分处理,进而得到无人艇在横向、纵向和垂向方向上的位移量。其中,滤波处理的滤波算法、积分处理的积分算法都具有调整因子。而由于机械臂101的基座是固定在无人艇上,因而由此获得机械臂101的基座或者机械臂101整体在横向、纵向和垂向方向上的速度数据以及横向、纵向和垂向方向上的位移量。
在一些实施方式中,利用陀螺仪信号来对加速度传感器信号获得的数据进行动态修正,以保证结果的准确性。具体地,姿态补偿模块可以获取陀螺仪1032所得到的无人艇艇体在纵摇和横摇方向的运动量,进一步得到无人艇在纵摇方向上的纵摇速度以及在横摇方向上的横摇速度。通过比较加速度传感器获得的纵向速度与陀螺仪获得的纵摇速度在纵向的分量,以验证滤波处理和积分处理获得的纵向速度的准确性;并进一步地可以基于两者的差值,对加速度数据进行处理的滤波算法以及积分算法中的调整因子进行修正,进而保证对加速度传感器获取的数据进行处理的准确性。通过比较加速度传感器获得的横向速度与陀螺仪获得的横摇速度在横向的分量,以验证滤波处理和积分处理获得的纵向速度的准确性;并进一步地可以基于两者的差值,对加速度数据进行处理的滤波算法以及积分算法中的调整因子进行修正,进而保证对加速度传感器获取的数据进行处理的准确性。由此,达到利用陀螺仪数据对加速度传感器的数据的处理算法的动态修正,达到自适应控制的目的,进而提高了数据处理的准确性。
在执行姿态补偿时,进一步地,控制装置还可以通过目标物体信息处理模块获取目标物体的姿态变化,并结合机械臂的姿态变化,得到综合考虑目标物体及机械臂的姿态变化的情况下,机械臂相对于目标物体的姿态变化量,然后再基于机械臂运动学模型计算艇体的6自由度运动量分解到针对机械臂多个关节中每个关节的运动量,得到用于对机械臂的运动进行补偿控制的补偿量。通过叠加针对目标物体的控制量以及针对机械臂和目标物体的姿态变化的补偿控制的补偿量,能够实时地执行对于机械臂及目标物体的姿态变化的智能补偿,保持机械臂101在操纵过程中的稳定和准确。
本实施方式采用加速度传感器1031与陀螺仪1032相结合的方式获取艇体的6自由度运动量。4个位置点布置加速度传感器,加速度传感器感知3个正交方向上的加速度数据,控制装置对加速度传感器的数据进行实时采集,并经过数字滤波、积分、平均等运算步骤,获得各位置点的3个方向的速度与位移量,再根据加速度传感器位置点与艇体质心之间的空间关系,计算艇体的3个方向的速度与位移量。陀螺仪1032可以实时准确地获取艇体的旋转自由度运动量。控制装置可以按照一定的时间间隔,利用陀螺仪信号对基于加速度传感器信号的运动量求解结果进行差异比较,并利用差异值对数字滤波、积分算法的因子量进行动态修正,即增加自适应控制,保证运动量求解结果的准确性。通过综合使用陀螺仪信号与加速度传感器信号,采用卡尔曼滤波、数字积分微分算法,求解机械臂基座的实时6自由度位置姿态。然后,控制装置根据图像识别的目标物体的坐标参数以及机械臂基座的坐标参数,根据控制算法,决定机械臂的6自由度运动指令及水面机械爪的动作指令。
而考虑到智能机械臂需要工作在寒冷天气或者极寒环境中,机械臂有一定的风险会出现结冰的情况,进而导致机械臂工作的不正常。因而,在一些实施方式中,智能机械臂系统还包括加热装置,如图1-2所示,加热装置包括温度传感器(图中未示出)、热风机104及热风导管1041。其中,温度传感器安装在机械臂101上用于获取机械臂101的环境温度或者工作温度,热风机104经由热风导管1041与机械臂101相连,用以将产生的热风输送至机械臂,使得机械臂的工作温度提高,防止机械臂的关节部分结冰或者使得关节部分的结冰融化,保证机械臂的正常工作。
具体地,如图1-2所示,机械臂101包括机械爪连杆1012、机械爪1013、机械爪壳体1011,机械爪1013包括爪体和执行部件(图中未示出),执行部件位于机械爪壳体1011中。机械爪采用了三爪式结构。控制装置根据运动控制发出机械爪运动指令,控制其伺服电机运动,电机的运动通过滚珠丝杆转化为驱动顶杆的直线运动,最终驱动三爪的开合动作。爪的顶杆的一端装有力传感器,通过力反馈控制器可以控制机械爪的抓合力度。三爪采用平面对称式布置,以实现对类似绳索物体的更好的抓取效果。三爪的内表面镶有软体材料,以实现对目标物体的防护,并增加防滑效果。
为了机械臂的防冻,机械爪壳体1011具有热风进口10111和热风出口10112,热风进口10111与热风导管1041连接,用于接收热风机104输出的热风。在此,机械爪壳体1011提供了一个相对封闭的空间,既能够隔绝外界的异物以防止损伤执行部件,又能够为执行装置的防冻提供一个合适的空间。进一步,热风出口10112设置在机械爪壳体1011的与爪体相对的侧壁上,热风在机械爪壳体1011中加热执行部件后,可以通过热风出口10112排出机械爪壳体1011,并且排出的热风可以吹到机械爪连杆1012、机械爪1013区域,达到机械爪连杆1012、机械爪1013防冻的效果。
进一步地,机械爪壳体1011、热风导管1041采用绝热材料制成。热风导管1041与热风进口10111通过金属卡箍与机械爪推杆腔体外接风口连接,结构简单方便维护。
如图4所示,温度传感器、热风机104与控制装置相连,控制装置接收温度传感器的数据,并基于温度传感器的数据控制热风机104的开启或停止,和/或热风机104的输出功率,由此能够根据机械臂的实际工作环境,自动地、适应性地调整热风机104的状态和输出,使得能够以合适的输出功率应对机械臂的工作条件。
本发明还公开了一种无人艇,包括如上所述的智能机械臂系统,机械臂安装于无人艇的艇体。通过本发明的智能机械臂系统,为无人艇的任务执行提供了强有力的支持。这种高度自动化的操作系统不仅提高了工作效率,还确保了操作的准确性和安全性。无人艇能够在复杂的海洋环境中执行各种任务,为海洋勘测、水下设备维护和救援等工作提供了可靠保障。
实施本发明,具有如下有益效果:通过本发明的智能机械臂系统、无人艇,通过双目视觉单元和RGB-D视觉单元的相互配合,能够准确获知目标物体的类型、距离、方位、姿态等信息,使得无人艇能够准确航行至指定位置;在机械臂系统操纵目标物体时,通过实时智能姿态补偿控制,对无人艇的姿态变化及目标物体的姿态变化进行补偿,从而能够使得机械臂准确操纵目标物体,达到智能化、准确、高效地执行操作作业的效果。
以上所揭露的仅为本发明的几个较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (10)

1.一种用于无人艇的智能机械臂系统,包括机械臂、控制装置,控制装置包括目标物体信息获取装置,目标物体信息获取装置用于获得目标物体的信息,控制装置能够基于目标物体的信息输出控制量来控制机械臂操纵目标物体;
其中,目标物体信息获取装置包括双目视觉单元和RGB-D视觉单元;双目视觉单元包括第一相机和第二相机,双目视觉单元用于获取位于第一距离的目标物体的第一信息,第一信息包括目标物体的类型、距离、方位;RGB-D视觉单元用于获取位于第二距离的目标物体的第二信息,第二信息包括目标物体的姿态,第一距离大于第二距离;控制装置还包括目标物体信息处理模块,目标物体信息处理模块包括二维视觉分析器和三维视觉分析器;其中,二维视觉分析器包括目标物体识别模型,目标物体识别模型基于接收的双目视觉单元获取的目标物体的信息,能够识别目标物体的类型、轮廓、距离、方位;
三维视觉分析器包括3D神经网络模型,基于接收的RGB-D视觉单元获取的目标物体的RGB图像数据、深度点云数据,能够识别目标物体的姿态。
2.根据权利要求1所述的用于无人艇的智能机械臂系统,其特征在于,控制装置还包括姿态补偿模块,姿态补偿模块包括加速度传感器和陀螺仪,其中,加速度传感器用于获取机械臂在横向、纵向和垂向方向上的加速度数据,陀螺仪用于获取机械臂在围绕横向、纵向和垂向方向上的角度数据,控制装置基于机械臂的加速度数据和角度数据,控制机械臂以补偿机械臂的姿态变化。
3.根据权利要求2所述的用于无人艇的智能机械臂系统,其特征在于,姿态补偿模块用于对加速度传感器获取的机械臂在横向、纵向和垂向方向上的加速度数据进行滤波处理和积分处理,得到机械臂在横向、纵向和垂向方向上的速度以及位移量,并分别利用纵向速度与自陀螺仪获取的纵摇速度的差值,和/或,利用横向速度与自陀螺仪获取的横摇速度的差值,对所述滤波处理和积分处理进行修正。
4.根据权利要求3所述的用于无人艇的智能机械臂系统,其特征在于,控制装置基于目标物体信息处理模块获取的目标物体的距离、方位、姿态,以及姿态补偿模块获取的机械臂的加速度数据和角度数据,得到补偿目标物体的姿态变化和机械臂的姿态变化的补偿量,机械臂接收控制量和补偿量。
5.根据权利要求4所述的用于无人艇的智能机械臂系统,其特征在于,控制装置包括机械臂运动学模型,机械臂包括多个关节,机械臂运动学模型接收目标物体的距离、方位、姿态数据以及姿态补偿模块获取的机械臂的加速度数据和角度数据,输出多个关节中每个关节对应的运动量。
6.根据权利要求1至5中任一项所述的用于无人艇的智能机械臂系统,其特征在于,智能机械臂系统还包括加热装置,加热装置包括温度传感器、热风机及热风导管,其中,温度传感器安装在机械臂上用于获取机械臂的环境温度,热风机经由热风导管与机械臂相连。
7.根据权利要求6所述的用于无人艇的智能机械臂系统,其特征在于,机械臂包括机械爪和机械爪壳体,机械爪包括爪体和执行部件,执行部件位于机械爪壳体中,机械爪壳体具有热风进口和热风出口,热风进口与热风导管连接,热风出口与爪体相对设置。
8.根据权利要求7所述的用于无人艇的智能机械臂系统,其特征在于,温度传感器、热风机与控制装置相连,控制装置接收温度传感器的数据,并基于温度传感器的数据控制热风机的开启或停止,和/或热风机的输出功率。
9.一种无人艇,包括如权利要求1至8中任一项所述的智能机械臂系统,机械臂安装于无人艇的艇体。
10.根据权利要求9所述的无人艇,其特征在于,姿态补偿模块包括四个加速度传感器和一个陀螺仪,四个加速度传感器间隔地安装于无人艇的四个角,陀螺仪安装于无人艇的艇体中部。
CN202410324158.8A 2024-03-21 2024-03-21 一种用于无人艇的智能机械臂系统 Active CN117921639B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410324158.8A CN117921639B (zh) 2024-03-21 2024-03-21 一种用于无人艇的智能机械臂系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410324158.8A CN117921639B (zh) 2024-03-21 2024-03-21 一种用于无人艇的智能机械臂系统

Publications (2)

Publication Number Publication Date
CN117921639A true CN117921639A (zh) 2024-04-26
CN117921639B CN117921639B (zh) 2024-05-28

Family

ID=90750877

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410324158.8A Active CN117921639B (zh) 2024-03-21 2024-03-21 一种用于无人艇的智能机械臂系统

Country Status (1)

Country Link
CN (1) CN117921639B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050104902A (ko) * 2004-04-30 2005-11-03 한국과학기술원 비전 센서를 이용한 우주 비행체 도킹 로봇 시스템
CN107186752A (zh) * 2017-03-28 2017-09-22 江苏科技大学 一种波浪补偿打捞机器人系统
CN109398688A (zh) * 2018-11-16 2019-03-01 湖南大学 一种旋翼飞行双机械臂目标定位抓取系统及方法
US20190246858A1 (en) * 2018-02-13 2019-08-15 Nir Karasikov Cleaning robot with arm and tool receptacles
CN110605724A (zh) * 2019-07-01 2019-12-24 青岛联合创智科技有限公司 一种智能养老陪伴机器人
CN110696979A (zh) * 2019-09-26 2020-01-17 江苏科技大学 一种基于双目视觉的太阳能智能清洁艇
US20200039076A1 (en) * 2016-03-04 2020-02-06 Ge Global Sourcing Llc Robotic system and method for control and manipulation
CN112518748A (zh) * 2020-11-30 2021-03-19 广东工业大学 面向运动物品的视觉机械臂自动抓取方法与系统
CN112991400A (zh) * 2021-04-07 2021-06-18 广东工业大学 一种无人艇的多传感器辅助定位方法
CN114923477A (zh) * 2022-05-19 2022-08-19 南京航空航天大学 基于视觉与激光slam技术的多维度空地协同建图系统和方法
CN117124302A (zh) * 2023-10-24 2023-11-28 季华实验室 一种零件分拣方法、装置、电子设备及存储介质
CN117237414A (zh) * 2023-09-22 2023-12-15 山东中科先进技术有限公司 移动机器人平台下基于双目图像的抓取引导方法及系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050104902A (ko) * 2004-04-30 2005-11-03 한국과학기술원 비전 센서를 이용한 우주 비행체 도킹 로봇 시스템
US20200039076A1 (en) * 2016-03-04 2020-02-06 Ge Global Sourcing Llc Robotic system and method for control and manipulation
CN107186752A (zh) * 2017-03-28 2017-09-22 江苏科技大学 一种波浪补偿打捞机器人系统
US20190246858A1 (en) * 2018-02-13 2019-08-15 Nir Karasikov Cleaning robot with arm and tool receptacles
CN109398688A (zh) * 2018-11-16 2019-03-01 湖南大学 一种旋翼飞行双机械臂目标定位抓取系统及方法
CN110605724A (zh) * 2019-07-01 2019-12-24 青岛联合创智科技有限公司 一种智能养老陪伴机器人
CN110696979A (zh) * 2019-09-26 2020-01-17 江苏科技大学 一种基于双目视觉的太阳能智能清洁艇
CN112518748A (zh) * 2020-11-30 2021-03-19 广东工业大学 面向运动物品的视觉机械臂自动抓取方法与系统
CN112991400A (zh) * 2021-04-07 2021-06-18 广东工业大学 一种无人艇的多传感器辅助定位方法
CN114923477A (zh) * 2022-05-19 2022-08-19 南京航空航天大学 基于视觉与激光slam技术的多维度空地协同建图系统和方法
CN117237414A (zh) * 2023-09-22 2023-12-15 山东中科先进技术有限公司 移动机器人平台下基于双目图像的抓取引导方法及系统
CN117124302A (zh) * 2023-10-24 2023-11-28 季华实验室 一种零件分拣方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘和祥;王宏健;王君;: "基于双目视觉的AUV避障模拟研究", 武汉理工大学学报(交通科学与工程版), no. 03, 15 June 2010 (2010-06-15) *

Also Published As

Publication number Publication date
CN117921639B (zh) 2024-05-28

Similar Documents

Publication Publication Date Title
Xu et al. Autonomous rendezvous and robotic capturing of non-cooperative target in space
CN105652891B (zh) 一种旋翼无人机移动目标自主跟踪装置及其控制方法
US20090208094A1 (en) Robot apparatus and method of controlling same
CN108499054A (zh) 一种基于slam的车载机械臂捡球系统及其捡球方法
Hui et al. A novel autonomous navigation approach for UAV power line inspection
Prats et al. An approach for semi-autonomous recovery of unknown objects in underwater environments
Zhang et al. Research on autonomous grasping control of underwater manipulator based on visual servo
CN117921639B (zh) 一种用于无人艇的智能机械臂系统
CN113721639A (zh) 一种用于小型水下机器人入坞的路径规划方法及控制方法
Kanellakis et al. Guidance for autonomous aerial manipulator using stereo vision
CN108170160A (zh) 一种利用单目视觉和机载传感器旋翼无人机自主抓取方法
Long et al. Robotic cutting of soft materials using force control & image moments
Faria et al. A methodology for autonomous robotic manipulation of valves using visual sensing
CN110722547B (zh) 模型未知动态场景下移动机器人视觉镇定
Srivastava et al. Range estimation and visual servoing of a dynamic target using a monocular camera
Huang et al. Underwater vehicle visual servo and target grasp control
CN107363831B (zh) 基于视觉的遥操作机器人控制系统及方法
Venna et al. Application of image-based visual servoing on autonomous drones
Nakhaeinia et al. Adaptive robotic contour following from low accuracy RGB-D surface profiling and visual servoing
CN109542094B (zh) 无期望图像的移动机器人视觉镇定控制
CN114554030B (zh) 设备检测系统以及设备检测方法
Hamamatsu et al. Short range tracking method of underwater vehicles based on vision
Hong et al. Development of a hover-capable AUV system for automated visual ship-hull inspection and mapping
Lee et al. A docking and control system for an autonomous underwater vehicle
Tribou et al. Relative position-based visual servoing control for quadrotors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant