CN116277048A - 一种基于双阶段识别定位技术的自主抓取排爆机器人 - Google Patents

Abstract

本发明公开了一种基于双阶段识别定位技术的自主抓取排爆机器人，具体涉及排爆机器人技术领域，包括地面机器人移动平台、五自由度排爆机械臂、单目视觉传感器、激光测距传感器、数据处理与控制模块和操控终端，抓取作业包括初级定位与接近目标阶段、精细定位与抓取目标阶段，排爆机器人移动平台上集成数据处理与控制模块，进行图像识别数据的实时处理与运算，同时也运行机器人平台和机械臂运动控制算法，采用单目视觉传感器、激光测距传感器双阶段识别定位，并设计针对该识别定位方法的控制算法，在弱光照条件下，能够精确定位目标且实现自主精确抓取。

Description

一种基于双阶段识别定位技术的自主抓取排爆机器人

技术领域

本发明涉及排爆机器人领域，具体为一种基于双阶段识别定位技术的自主抓取排爆机器人。

背景技术

遥操作的排爆机器人在处置危险爆炸物时，操作手往往因观察视角限制或临场身心压力问题易出现抓取失误现象。提高机械臂抓取危险目标的准确性和可靠性、发展能准确感知抓取对象空间位姿、引导机械臂自主精准移动接近目标并实现抓取的自主抓取技术一直是排爆机器人努力发展的方面。现有排爆机器人自主抓取系统大都是基于双目视觉或RGBD深度相机来实现对抓取目标空间位置判断与对机械臂末端运动的引导。

如专利号为CN103271784B的申请文件公开了一种基于双目视觉的人机交互式机械手控制系统和控制方法，它由以下四部分组成：实时图像采集装置、激光引导装置、可编程的控制器以及驱动装置；所述的可编程控制器由双目立体视觉模块、三维坐标系变换模块、逆向反解机械手关节角模块和控制模块组成。采用提取实时图像采集装置双目图像中的色彩特征作为控制机械手的信号源，通过双目立体视觉系统和三维坐标系转换计算得出视野实时图像中红色特征激光点的三维信息，来控制机械手进行人机交互式的跟踪目标的操作。本发明可非常有效地对运动中的目标物体进行实时跟踪抓取，应用领域十分宽广，如智能上假肢、排爆机器人、助老助残机械手等等。

再如专利号为CN110238840B的申请文件公开了一种基于视觉的机械臂自主抓取方法。提出了基于对抗抓取规则的纠正抓取策略，利用该策略可以实现在仿真平台进行试错抓取得到符合该规则的抓取样本。利用该方法采集的样本清晰的表达了对抗抓取规则的抓取模式，有利于模型的学习。整个数据采集过程无需人工干预，也无需任何真实数据，避免了真实数据采集可能带来的问题。只需要少量该方法采集的仿真数据，训练后的模型可以直接应用到不同的真实的抓取场景中。整个训练过程无需域自适应和域随机化操作，且准确率和鲁棒性高。

但是现有视觉传感器受光照条件影响较大，在弱光照环境且无可见光辅助照明时，则无法发挥作用，导致自主抓取系统在实际排爆应用中受到较大限制。

发明内容

本发明的目的在于提供一种基于双阶段识别定位技术的自主抓取排爆机器人，以解决上述背景技术中提出弱光照环境下的自主隐蔽排爆处置的技术问题。

为实现上述目的，本发明提供如下技术方案：

一种基于双阶段识别定位技术的自主抓取排爆机器人，包括地面机器人移动平台、五自由度排爆机械臂、单目视觉传感器、激光测距传感器、数据处理与控制模块和操控终端，抓取作业包括初级定位与接近目标阶段、精细定位与抓取目标阶段，排爆机器人移动平台上集成数据处理与控制模块，进行图像识别数据的实时处理与运算，同时也运行机器人平台和机械臂运动控制算法。

优选的，初级定位采用yolov4检测算法对目标检测，推理部署利用opencv dnn模块调用训练好的yolov4深度模型进行推理，实时输出目标类型、置信度、检测框边长、检测框底边中心位置，目标与平台间距离信息采用基于单目视觉的相机内参几何标定测距法来实时获取。

优选的，移动平台运动控制算法控制移动平台对准目标移动直到接近到设定距离，从而实现初始定位阶段排爆机器人移动平台自主识别定位和接近目标。

优选的，精细定位与抓取目标阶段采用Bisenet轻量级实时分割算法结合激光测距手段来实现目标检测与定位，Bisenet分割算法用于检测并分割出弹药目标图像。

优选的，抓取过程包括收臂姿态展开至抓取姿态、抓取姿态下探完成抓取、恢复收臂姿态三个环节，抓取姿态下探完成抓取运动终止位姿由视觉实时反馈，通过三次多项式函数“内插”将机械臂末端手爪的初始和末端位置的路径慢慢靠近给定的路径，并随时间生成一系列可供数据处理与控制模块使用和控制的点。

优选的，运动控制模块在ROS环境下接收指定的角度信息、视觉反馈的目标位姿信息和角度传感器反馈的各关节信息，并区分三类控制消息类型发送至机械臂运动控制应用程序以启动对应的控制模式，并由PID控制算法驱动各关节电机运动。

与现有技术相比，本发明的有益效果是：

采用单目视觉传感器、激光测距传感器双阶段识别定位，并设计针对该识别定位方法的控制算法，在弱光照条件下，能够精确定位目标从而实现精确抓取。

附图说明

图1为本发明的结构框图；

图2为本发明抓取目标原理图；

图3为本发明yolov4检测网络结构框图；

图4为本发明机械臂末端摄像头带下倾角时的成像几何关系示意图；

图5为本发明Bisenet分割网络结构结构框图；

图6为本发明机械臂自主抓取运动控制算法流程图。

具体实施方式

自主抓取排爆机器人系统组成如图1所示，包括地面机器人移动平台、五自由度排爆机械臂、单目视觉传感器、激光测距传感器、数据处理与控制模块和操控终端，如图1所示。

其中视觉传感器采用具有近红外补光功能的DS-2CD3346DWD日夜型高清摄像头，用于实现对一定距离范围内的未爆弹药(或其它危险目标)的探测识别；激光测距传感器采用KLH-03T-20hz型毫米级工业测距模块，用于精准测量被识别目标距离机械臂手爪距离；二者集成设置在排爆机械臂末端手爪附近。数据处理与控制模块采用Jetson Xavier agx套件，主要进行图像识别数据的实时处理与运算，同时也运行机器人平台和机械臂运动控制算法，该模块集成在排爆机器人移动平台上。操控终端在自主抓取目标过程中主要起任务启动和过程监视作用。

排爆机器人自主抓取工作机制为如图2所示的双阶段识别定位与运动导引控制机制，即完成一次自主抓取作业过程包括初级定位接近目标和精细定位抓取目标两个阶段：初级定位阶段机械臂处于初始收拢状态，安装在机械臂末端的摄像头以前向视角对进入视场内的典型目标物图像进行检测定位，并以目标定位信息导引机器人平台移动至典型目标物附近待抓取位置。精细定位阶段移动平台到达目标附近后，机械臂展开至设定姿态，摄像头以下向视角对进入视场的典型目标近距离图像进行检测定位，然后反馈目标的位姿给机械臂进行抓取规划。上述抓取过程所有控制算法均是基于ubuntu 18.04和ROS(Melodic)环境实现。

实施例

操控人员在后端通过操控终端启动排爆机器人自主抓取程序，机械臂自动调整为自主抓取初始姿态，即机械臂各关节处于收缩状态，末端手爪张开，手爪处单目摄像头处于前向视角，对视角范围内的典型弹药目标进行探测识别。此时，自主抓取排爆机器人进入双阶段识别定位抓取过程中的初级定位与接近目标阶段。

初级定位与接近目标阶段

初级定位阶段采用如图3所示的yolov4检测算法来实现对典型弹药目标的检测。推理部署阶段利用opencv dnn模块调用训练好的yolov4深度模型进行推理，实时输出目标类型、置信度、检测框边长、检测框底边中心位置等信息，弹药目标与平台间距离信息采用基于单目视觉的相机内参几何标定测距法来实时获取。依小孔成像模型，检测目标上某特征点p(检测框底边中点)的像素坐标与世界坐标之间存在如下转换关系：

在上述公式中，f_x＝f/dx，f_y＝f/dy，f是相机的焦距，dx和dy代表成像坐标系中x轴和y轴上单位像素的长度；u₀，v₀是像素坐标系中成像坐标系原点的坐标值；R是正交的3×3旋转矩阵，T是1×3平移矩阵；

利用上式，设置相机与世界坐标系特定的相对姿态关系简化外参M2后，可以标定出相机内参矩阵M1，获取摄像头焦距、像素等参数，机械臂收拢状态摄像头前向视角带有下倾角(俯仰角)时，特征点p在成像过程中存在如图4所示的几何关系。由图4可推导得到典型目标检测框底边中点与相机之间的距离公式如式(2)所示：

上式中，摄像机焦距f和像素平面中心点O'的像素纵坐标v₀可以通过摄像机标定获得；从检测到的图像中获得P点像素纵坐标值y；摄像机安装高度H、俯仰角α可以提前测量；

依据上述方式获取目标检测框底边中心点像素坐标和距离信息后，即可通过移动平台运动控制算法控制移动平台对准目标移动直到接近到设定距离，从而实现初始定位阶段排爆机器人移动平台自主识别定位和接近目标。

排爆机器人接近目标到设定距离后，机械臂由收缩状态自主展开至预设的待抓取姿态，即摄像头由前向视角调整为后下向视角。此时双阶段识别定位自主抓取过程进入精细定位与抓取目标阶段：

精细定位与抓取目标阶段

此阶段采用Bisenet轻量级实时分割算法结合激光测距手段来实现目标检测与定位。Bisenet分割算法用于检测并分割出弹药目标图像，其网络结构如图5所示：含一个小步长的空间路径(Spatial Path)和一个带有快速下采样率的语义路径(Context Path)以及一个特征融合模块(Feature Fusion Module)来融合二者特征图，实现分割算法速度与精度的平衡。在实际部署阶段采用tensorrt进行加速推理识别，每张图像识别时间不超过100ms。

数据处理与控制模块通过运行上述Bisenet轻量级实时分割算法并结合激光测距手段实时获取待抓取目标抓取点三维位置信息后，随即启动机械臂运动控制算法驱动机械臂进行抓取运动，整个机械臂自主抓取运动控制实现过程如下：

机械臂自主抓取运动控制实现过程

一次完整目标抓取过程机械臂需在运动控制算法驱动下完成：①收臂姿态展开至抓取姿态、②抓取姿态下探完成抓取、③恢复收臂姿态三个环节。其中①、③环节终止位姿是确定的，程序可预先设定，第②环节运动终止位姿则是由视觉实时反馈。机械臂三个运动环节控制信息来源、类型与对应的控制模式如下表所示：

①、③环节是控制机械臂各关节运动至已知角度位置，只需规划好关节运动时序、速度等，保证各关节无碰撞干涉达到期望角度位置即可，采用关节空间控制实现。

②环节运动终止期望位姿为视觉反馈结果，需通过三次多项式函数“内插”将机械臂末端手爪的初始和末端位置的路径慢慢靠近给定的路径，并随时间生成一系列可供数据处理与控制模块使用和控制的点，以实现基于末端位置的机械臂运动路径规划与控制。

ROS环境下实现机械臂自主抓取运动规划与控制算法流程如图6所示；

运动控制模块在ROS环境下接收指定的角度信息、视觉反馈的目标位姿信息和角度传感器反馈的各关节信息，并区分三类控制消息类型发送至机械臂运动控制应用程序以启动对应的控制模式，并由PID控制算法驱动各关节电机运动，最终实现机械臂关节空间或末端位置的高精度控制。

机械臂末端手爪在上述运动控制算法驱动精确到达待抓取目标抓取点位置后，自动由张开状态开始收拢，直到抓紧目标，完成抓取任务。

Claims (6)

1.一种基于双阶段识别定位技术的自主抓取排爆机器人，其特征在于，包括地面机器人移动平台、五自由度排爆机械臂、单目视觉传感器、激光测距传感器、数据处理与控制模块和操控终端，抓取作业包括初级定位与接近目标阶段、精细定位与抓取目标阶段，排爆机器人移动平台上集成数据处理与控制模块，进行图像识别数据的实时处理与运算，同时也运行机器人平台和机械臂运动控制算法。

2.根据权利要求1所述的一种基于双阶段识别定位技术的自主抓取排爆机器人，其特征在于，初级定位采用yolov4检测算法对目标检测，推理部署利用opencv dnn模块调用训练好的yolov4深度模型进行推理，实时输出目标类型、置信度、检测框边长、检测框底边中心位置，目标与平台间距离信息采用基于单目视觉的相机内参几何标定测距法来实时获取。

3.根据权利要求2所述的一种基于双阶段识别定位技术的自主抓取排爆机器人，其特征在于，移动平台运动控制算法控制移动平台对准目标移动直到接近到设定距离，从而实现初始定位阶段排爆机器人移动平台自主识别定位和接近目标。

4.根据权利要求1所述的一种基于双阶段识别定位技术的自主抓取排爆机器人，其特征在于，精细定位与抓取目标阶段采用Bisenet轻量级实时分割算法结合激光测距手段来实现目标检测与定位，Bisenet分割算法用于检测并分割出弹药目标图像。

5.根据权利要求1所述的一种基于双阶段识别定位技术的自主抓取排爆机器人，其特征在于，抓取过程包括收臂姿态展开至抓取姿态、抓取姿态下探完成抓取、恢复收臂姿态三个环节，抓取姿态下探完成抓取运动终止位姿由视觉实时反馈，通过三次多项式函数“内插”将机械臂末端手爪的初始和末端位置的路径慢慢靠近给定的路径，并随时间生成一系列可供数据处理与控制模块使用和控制的点。

6.根据权利要求5所述的一种基于双阶段识别定位技术的自主抓取排爆机器人，其特征在于，运动控制模块在ROS环境下接收指定的角度信息、视觉反馈的目标位姿信息和角度传感器反馈的各关节信息，并区分三类控制消息类型发送至机械臂运动控制应用程序以启动对应的控制模式，并由PID控制算法驱动各关节电机运动。

Images