CN106960440B - 基于物体图像特征点像素空间位置组合控制方法 - Google Patents
基于物体图像特征点像素空间位置组合控制方法 Download PDFInfo
- Publication number
- CN106960440B CN106960440B CN201710260416.0A CN201710260416A CN106960440B CN 106960440 B CN106960440 B CN 106960440B CN 201710260416 A CN201710260416 A CN 201710260416A CN 106960440 B CN106960440 B CN 106960440B
- Authority
- CN
- China
- Prior art keywords
- error
- speed
- characteristic point
- optical flow
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000003287 optical effect Effects 0.000 claims abstract description 48
- 238000006073 displacement reaction Methods 0.000 claims abstract description 14
- 238000001514 detection method Methods 0.000 claims abstract description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 229910000673 Indium arsenide Inorganic materials 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 claims description 4
- RPQDHPTXJYYUPQ-UHFFFAOYSA-N indium arsenide Chemical compound [In]#[As] RPQDHPTXJYYUPQ-UHFFFAOYSA-N 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Image Processing (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于物体图像特征点像素空间位置组合控制方法，该方法是安装2D视觉系统摄像头进行机械人末端轴抓取物体特征的图像采集，然后采用ORB特征点检测法测出图像中特征点的坐标集，计算坐标集对应点之间的几何距离，将几何距离大于其均值的点剔除；然后以机器人空间运动坐标系计算物体水平方向的速度、图像坐标系下的特征点的速度和位移，采用Lk光流计算各个特征点光流的角误差，以机械人动作控制信息求解的特征点位移作为光流的理想特征值，将角误差较大的点剔除；最后计算出特征点在像素坐标系下的动作速度误差并作为控制量进行控制。本发明不仅能够抑制机械人动作误差，还能够提高控制信息精度。
Description
技术领域
本发明涉及一种7轴串联机械人(6轴机械人+滑轨(龙门))位置控制方法，特别是一种基于物体图像特征点像素空间位置组合控制方法。
背景技术
现有的7轴串联机械人，一般由6轴机械人和滑轨(龙门)构成；其中的6轴机械人自带控制，6轴机械人的控制在与滑轨(龙门)动作电机控制配合时会出现精度失锁及回程误差情况，而且该误差会随着时间和往返累积加大，导致动作误差发散严重，进而导致控制信息精度较低。因此，现有的7轴串联机械人控制时存在着动作误差发散严重和控制信息精度较低的问题。
发明内容
本发明的目的在于，提供一种基于物体图像特征点像素空间位置组合控制方法。本发明不仅能够抑制机械人动作误差，还能够提高控制信息精度。
本发明的技术方案：基于物体图像特征点像素空间位置组合控制方法，其特征在于，包括以下步骤：
a、安装2D视觉系统摄像头，使2D视觉系统摄像头的坐标系的x轴、y轴、z轴分别与机械人机体系的前后、左右、上下三个坐标轴相重合；
b、通过2D视觉系统摄像头进行机械人末端轴抓取物体特征的图像采集，在T0时刻采集到的图像为I0，在Tn时刻采集到的图像为In；
c、采用ORB特征点检测法检测出I0中的特征点的坐标集P0；
d、将I0、P0、In作为输入量，通过LK光流金字塔法得出I0中的特征点在In中的坐标集
e、将In、I0作为输入量，通过LK光流金字塔法得出特征点集Pn在图I中的坐标集
f、计算和对应点之间的几何距离d0，然后求d0的均值，将几何距离d0大于d0的均值的点剔除；
g、将机器人空间运动坐标系(即机械人机体系)定义为x、y、z、b坐标系，计算物体水平方向的速度，得A速度；
h、使用A速度计算图像坐标系下的特征点速度，得B速度；
i、使用B速度计算图像坐标系下的特征点位移；
j、采用Lk光流计算公式计算各个特征点光流的角误差，其中的n0个特征点光流的理想特征值，第ni个特征点使用LK金字塔光流算法所估计的光流变化值，k为两幅图像之间相隔的帧数；以机械人动作控制信息求解的特征点位移作为光流的理想特征值，将角误差较大的点剔除；
k、选取机械人动作控制系统的数学平台误差[σn、σe、σd]，三个方向速度误差xyz三个方向的位置误差[σX、σY、σZ]及空间旋转b的误差[bwx、bwy、bwz]构成12维状量，
系统的噪声矩阵W设置为，
其中，为机械人伺服电机反馈编码的测量的白噪声，为运动加速度测量的白噪声；
计算特征点在像素坐标系下的动作速度误差，将特征点在像素坐标系下的动作速度误差作为控制量；通过DSP控制系统根据控制量进行控制。
前述的基于物体图像特征点像素空间位置组合控制方法中，所述步骤g中的物体水平方向的速度为，其中，[vbx,vby]T为机械人末端轴在空间坐标系下水平方向速度的真实值，[δvbx,δvby]T为速度动作误差。
前述的基于物体图像特征点像素空间位置组合控制方法中，所述步骤h中的图像坐标系下的特征点速度为，其中，f为2D视觉系统摄像头的焦距对焦值，Z为2D视觉系统摄像头离地面的高度值。
前述的基于物体图像特征点像素空间位置组合控制方法中，所述步骤i中的特征点位移为
前述的基于物体图像特征点像素空间位置组合控制方法中，所述步骤k中的特征点在像素坐标系下的动作速度误差为
与现有技术相比，本发明使用2D视觉系统摄像头将机械人动作控制的速度信息转换到图像坐标系下，采用ORB特征点检测法将图像特征点的像素速度作为量测量对光流和DSP的信息进行深度融合，从而利用光流的信息对机械人动作控制的误差进行修正，同时通过计算特征点光流的角误差，利用机械人动作控制的信息提升光流的可靠性；最后计算特征点在像素坐标系下的动作速度误差，以该动作速度误差作为控制量，输出给7轴串联机械人进行空间位置补偿调整；利用光流算法的速度信息来抑制机械人动作控制信息的发散，同时也可以利用机械人动作控制输出的信息来提升光流信息求解的精度，从而能够抑制机械人动作误差，还能够提高控制信息精度。本发明采用计算特征点作为与之间距离d0的方式来剔除光流算法跟踪出错的点，能够有效的提升光流算法的准确性；同时，利用推出的特征点像素速度来修正光流速度信息，有效的增强光流算法抵抗图像局部干扰的能力；从而最大程度地提高了控制信息精度，提高了7轴串联机械人在无人控制情况下的自主补偿调整能力和补偿调节精度。因此，本发明不仅能够抑制机械人动作误差，还能够提高控制信息精度，提高7轴串联机械人在无人控制情况下的自主补偿调整能力和补偿调节精度。
附图说明
图1是本发明的结构示意图；
图2是ORB特征点光流检测流程图。
具体实施方式
下面结合实施例对本发明作进一步的说明，但并不作为对本发明限制的依据。
实施例一。基于物体图像特征点像素空间位置组合控制方法，如图1所示，包括以下步骤：
a、安装2D视觉系统摄像头，使2D视觉系统摄像头的坐标系的x轴、y轴、z轴分别与机械人机体系的前后、左右、上下三个坐标轴相重合；
b、通过2D视觉系统摄像头进行机械人末端轴抓取物体特征的图像采集，在T0时刻采集到的图像为I0，在Tn时刻采集到的图像为In；
c、采用ORB特征点检测法检测出I0中的特征点的坐标集P0；
d、将I0、P0、In作为输入量，通过LK光流金字塔法得出I0中的特征点在In中的坐标集
e、将In、I0作为输入量，通过LK光流金字塔法得出特征点集Pn在图I中的坐标集
f、计算和对应点之间的几何距离d0，然后求d0的均值，将几何距离d0大于d0的均值的点剔除；
g、将机器人空间运动坐标系定义为x、y、z、b坐标系，计算物体水平方向的速度，得A速度；
h、使用A速度计算图像坐标系下的特征点速度，得B速度；
i、使用B速度计算图像坐标系下的特征点位移；
j、采用Lk光流计算公式计算各个特征点光流的角误差，其中的n0个特征点光流的理想特征值，第ni个特征点使用LK金字塔光流算法所估计的光流变化值，k为两幅图像之间相隔的帧数；以机械人动作控制信息求解的特征点位移作为光流的理想特征值，将角误差较大的点剔除；
k、选取机械人动作控制系统的数学平台误差[σn、σe、σd]，三个方向速度误差xyz三个方向的位置误差[σX、σY、σZ]及空间旋转b的误差[bwx、bwy、bwz]构成12维状量，
系统的噪声矩阵W设置为，
其中，为机械人伺服电机反馈编码的测量的白噪声，为运动加速度测量的白噪声；
计算特征点在像素坐标系下的动作速度误差，将特征点在像素坐标系下的动作速度误差作为控制量；通过DSP控制系统根据控制量进行控制。
所述步骤g中的物体水平方向的速度为，其中，[vbx,vby]T为机械人末端轴在空间坐标系下水平方向速度的真实值，[δvbx,δvby]T为速度动作误差。所述步骤h中的图像坐标系下的特征点速度为，其中，f为2D视觉系统摄像头的焦距对焦值，Z为2D视觉系统摄像头离地面的高度值。所述步骤i中的步骤i中的特征点位移为
所述步骤k中的特征点在像素坐标系下的动作速度误差为
实施例二。基于物体图像特征点像素空间位置组合控制方法，如图1所示，包括以下步骤：
a、安装2D视觉系统摄像头，使2D视觉系统摄像头的坐标系的x轴、y轴、z轴分别与机械人机体系的前后、左右、上下三个坐标轴相重合；
b、通过2D视觉系统摄像头进行机械人末端轴抓取物体特征的图像采集，在T0时刻采集到的图像为I0，在Tn时刻采集到的图像为In；
c、采用ORB特征点检测法检测出I0中的特征点的坐标集P0；
d、将I0、P0、In作为输入量，通过LK光流金字塔法得出I0中的特征点在In中的坐标集
e、将In、I0作为输入量，通过LK光流金字塔法得出特征点集Pn在图I中的坐标集
f、计算和对应点之间的几何距离d0，然后求d0的均值，将几何距离d0大于d0的均值的点剔除；
g、将机器人空间运动坐标系定义为x、y、z、b坐标系，计算物体水平方向的速度为
其中，[vbx,vby]T为机械人末端轴在空间坐标系下水平方向速度的真实值，[δvbx,δvby]T为速度动作误差；得A速度；
h、使用A速度计算图像坐标系下的特征点速度为
其中，f为2D视觉系统摄像头的焦距对焦值，Z为2D视觉系统摄像头离地面的高度值；得B速度；
i、使用B速度计算图像坐标系下的特征点位移为
j、采用Lk光流计算公式(Lk光流算法的光流特征及角误差计算，在百度文库中有详细论述，本发明直接套用其Lk光流计算公式：LK＝Lucaskanade，翻译为：卢卡斯-卡纳德算法)计算各个特征点光流的角误差，其中的n0个特征点光流的理想特征值，第ni个特征点使用LK金字塔光流算法所估计的光流变化值，k为两幅图像之间相隔的帧数；以机械人动作控制信息求解的特征点位移作为光流的理想特征值，将角误差较大的点剔除；由于2D视觉系统摄像头两帧之间的间隔很短，机械人动作控制信息的误差较小，以机械人动作控制信息求解的特征点位移作为光流的理想特征值，将角误差较大的点剔除，可以有效的降低图像出现局部干扰造成的光流估算误差。
k、选取机械人动作控制系统的数学平台误差[σn、σe、σd]，三个方向速度误差xyz三个方向的位置误差[σX、σY、σZ]及空间旋转b的误差[bwx、bwy、bwz]构成12维状量，
系统的噪声矩阵W设置为，
其中，为机械人伺服电机反馈编码的测量的白噪声，为运动加速度测量的白噪声；
计算特征点在像素坐标系下的动作速度误差，将特征点在像素坐标系下的动作速度误差作为控制量；通过DSP控制系统根据控制量进行控制。
其中ORB特征点光流算法流程的主要步骤为(如图2所示)：
1、2D视觉系统摄像头在t0时刻图像It0，并将其进行灰度变换得到灰度图
2、利用ORB特征点检测算法，获取的局部特征点坐标
3、采集ti时刻图像进行灰度转换后得到灰度图
4、将作为输入，采用金字塔LK光流算法估算图像上特征点坐标
5、将作为输入，利用(4)中步骤，计算出Gt图像特征点坐标
6、计算与之间的距离d并对其求均值，将大于均值的点认为是跟踪误差较大的点，进行剔除；
7、求解准确光流。
Claims (5)
1.基于物体图像特征点像素空间位置组合控制方法，其特征在于，包括以下步骤：
a、安装2D视觉系统摄像头，使2D视觉系统摄像头的坐标系的x轴、y轴、z轴分别与机械人机体系的前后、左右、上下三个坐标轴相重合；
b、通过2D视觉系统摄像头进行机械人末端轴抓取物体特征的图像采集，在T0时刻采集到的图像为I0，在Tn时刻采集到的图像为In；
c、采用ORB特征点检测法检测出I0中的特征点的坐标集P0；
d、将I0、P0、In作为输入量，通过LK光流金字塔法得出I0中的特征点在In中的坐标集pIn；
e、将In、pIn、I0作为输入量，通过LK光流金字塔法得出特征点集Pn在图I中的坐标集pI0；
f、计算pI0和pIn对应点之间的几何距离d0，然后求d0的均值，将几何距离d0大于d0的均值的点剔除；
g、将机器人空间运动坐标系定义为x、y、z、b坐标系，计算物体水平方向的速度，得A速度；
h、使用A速度计算图像坐标系下的特征点速度，得B速度；
i、使用B速度计算图像坐标系下的特征点位移；
j、采用Lk光流计算公式计算各个特征点光流的角误差，其中的n0个特征点光流的理想特征值，第ni个特征点使用LK金字塔光流算法所估计的光流变化值，k为两幅图像之间相隔的帧数；以机械人动作控制信息求解的特征点位移作为光流的理想特征值，将角误差较大的点剔除；
k、选取机械人动作控制系统的数学平台误差[σn、σe、σd]，三个方向速度误差[φVn、φVe、φVd]，xyz三个方向的位置误差[σX、σY、σZ]及空间旋转b的误差[bwx、bwy、bwz]构成12维状量，
X＝[σnσeσdφVnφVeφVdσxσYσZbwx bwy bwz]T；
系统的噪声矩阵W设置为，
其中，为机械人伺服电机反馈编码的测量的白噪声，为运动加速度测量的白噪声；
计算特征点在像素坐标系下的动作速度误差，将特征点在像素坐标系下的动作速度误差作为控制量；通过DSP控制系统根据控制量进行控制。
2.根据权利要求1所述的基于物体图像特征点像素空间位置组合控制方法，其特征在于：所述步骤g中的物体水平方向的速度为，其中，[vbx,vby]T为机械人末端轴在空间坐标系下水平方向速度的真实值，[δvbx,δvby]T为速度动作误差。
3.根据权利要求2所述的基于物体图像特征点像素空间位置组合控制方法，其特征在于：所述步骤h中的图像坐标系下的特征点速度为，
其中，f为2D视觉系统摄像头的焦距对焦值，Z为2D视觉系统摄像头离地面的高度值。
4.根据权利要求3所述的基于物体图像特征点像素空间位置组合控制方法，其特征在于：所述步骤i中的特征点位移为
5.根据权利要求4所述的基于物体图像特征点像素空间位置组合控制方法，其特征在于：所述步骤k中的特征点在像素坐标系下的动作速度误差为
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710260416.0A CN106960440B (zh) | 2017-04-20 | 2017-04-20 | 基于物体图像特征点像素空间位置组合控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710260416.0A CN106960440B (zh) | 2017-04-20 | 2017-04-20 | 基于物体图像特征点像素空间位置组合控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106960440A CN106960440A (zh) | 2017-07-18 |
| CN106960440B true CN106960440B (zh) | 2019-12-03 |
Family
ID=59483739
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710260416.0A Active CN106960440B (zh) | 2017-04-20 | 2017-04-20 | 基于物体图像特征点像素空间位置组合控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106960440B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107330924A (zh) * | 2017-07-07 | 2017-11-07 | 郑州仁峰软件开发有限公司 | 一种基于单目摄像头识别运动物体的方法 |
| CN107932514A (zh) * | 2017-12-15 | 2018-04-20 | 天津津航计算技术研究所 | 基于机器人视觉伺服控制的机载设备挂装方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5486416B2 (ja) * | 2010-06-18 | 2014-05-07 | 株式会社ミツトヨ | 産業機械 |
| CN102059589B (zh) * | 2010-10-21 | 2013-04-17 | 大连理工大学 | 激光位移传感器倾斜角误差的检测装置及方法 |
| CN103129752B (zh) * | 2013-02-28 | 2015-07-08 | 中国资源卫星应用中心 | 一种基于地面导航的光学遥感卫星姿态角误差动态补偿方法 |
| CN104978728B (zh) * | 2014-04-08 | 2017-11-14 | 南京理工大学 | 一种光流法的图像匹配系统 |
| CN106199039B (zh) * | 2016-07-06 | 2019-04-26 | 深圳市高巨创新科技开发有限公司 | 一种无人机速度监测方法及系统 |
-
2017
- 2017-04-20 CN CN201710260416.0A patent/CN106960440B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN106960440A (zh) | 2017-07-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107239076B (zh) | 基于虚拟扫描与测距匹配的agv激光slam方法 | |
| CN110880189B (zh) | 联合标定方法及其联合标定装置和电子设备 | |
| JP7339029B2 (ja) | モーション認識モデルを用いた自体運動推定装置及び方法並びにモーション認識モデルトレーニング装置及び方法 | |
| CN104180818B (zh) | 一种单目视觉里程计算装置 | |
| CN110570449B (zh) | 一种基于毫米波雷达与视觉slam的定位与建图方法 | |
| CN109828588A (zh) | 一种基于多传感器融合的机器人室内路径规划方法 | |
| JP5023186B2 (ja) | ３ｄワーピング手法と固有対象物運動（ｐｏｍ）の検出の組み合わせに基づく対象物の動き検出システム | |
| CN112698302A (zh) | 一种颠簸路况下的传感器融合目标检测方法 | |
| CN107750364A (zh) | 使用稳定的坐标系的道路垂直轮廓检测 | |
| CN113674399A (zh) | 一种移动机器人室内三维点云地图构建方法及系统 | |
| CN112837352B (zh) | 基于图像的数据处理方法、装置及设备、汽车、存储介质 | |
| CN109631911B (zh) | 一种基于深度学习目标识别算法的卫星姿态转动信息确定方法 | |
| CN115731268A (zh) | 基于视觉/毫米波雷达信息融合的无人机多目标跟踪方法 | |
| CN113627473A (zh) | 基于多模态传感器的水面无人艇环境信息融合感知方法 | |
| CN103413352A (zh) | 基于rgbd多传感器融合的场景三维重建方法 | |
| CN110109343B (zh) | 一种光电跟踪系统视觉测量时滞补偿方法 | |
| CN106525049A (zh) | 一种基于计算机视觉的四足机器人本体位姿跟踪方法 | |
| CN114526745A (zh) | 一种紧耦合激光雷达和惯性里程计的建图方法及系统 | |
| CN107941212B (zh) | 一种视觉与惯性联合定位方法 | |
| JP7173471B2 (ja) | ３次元位置推定装置及びプログラム | |
| CN106960440B (zh) | 基于物体图像特征点像素空间位置组合控制方法 | |
| CN114119763B (zh) | 一种用于自动驾驶车辆的Lidar标定方法及装置 | |
| CN114219852B (zh) | 一种用于自动驾驶车辆的多传感器标定方法及装置 | |
| CN113031002A (zh) | 基于Kinect3和激光雷达的SLAM陪跑小车 | |
| CN111983632A (zh) | 基于双一线激光雷达自导航定位方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 550018 No.1, 2nd Floor, Building 102, Beiya Village, Xintianzhai, Wudang District, Guiyang City, Guizhou Province Patentee after: Guizhou Anfei Precision Manufacturing Co.,Ltd. Address before: No. 501 Beiya Road, Wudang District, Guiyang City, Guizhou Province, 550018 Patentee before: LIYUAN HYDRAULIC SYSTEM (GUIYANG) Co.,Ltd. |
|
| CP03 | Change of name, title or address |