CN107680136A - 一种辅助遥操作执行空间任务的三维目标跟踪方法 - Google Patents

一种辅助遥操作执行空间任务的三维目标跟踪方法 Download PDF

Info

Publication number
CN107680136A
CN107680136A CN201710873651.5A CN201710873651A CN107680136A CN 107680136 A CN107680136 A CN 107680136A CN 201710873651 A CN201710873651 A CN 201710873651A CN 107680136 A CN107680136 A CN 107680136A
Authority
CN
China
Prior art keywords
mrow
msubsup
msub
mtd
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710873651.5A
Other languages
English (en)
Other versions
CN107680136B (zh
Inventor
黄攀峰
齐志刚
刘正雄
孟中杰
张夷斋
张帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN201710873651.5A priority Critical patent/CN107680136B/zh
Publication of CN107680136A publication Critical patent/CN107680136A/zh
Application granted granted Critical
Publication of CN107680136B publication Critical patent/CN107680136B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种辅助遥操作执行空间任务的三维目标跟踪方法，首先将获取的RGB‑D信息的图像分成两部分；将RGB信息的图像转化为灰度图像；将处理后的灰度图像带入粒子滤波方法中进行处理后转化为RGB信息，同时融合D信息，一起带入似然估计方法中求出使当前状态的

Description

一种辅助遥操作执行空间任务的三维目标跟踪方法
技术领域
本发明属于计算机科学和遥操作技术领域，涉及一种辅助遥操作执行空间任务的三维目标跟踪方法。
背景技术
从21世纪开始，人类已经积极的开始开阔外太空领域。利用外太空资源和开发太空的能力已经成为衡量一个国家综合国力的重要标志。而空间机器人已逐步成为人类探索外太空的一种重要手段。遥操作作为一种控制空间机器人的重要控制方式，代替宇航员执行舱外作业，提高了外太空探索的安全性和经济性。现在空间机器人的使用逐渐由结构化环境向非结构化环境过度，这样对于空间机器人而言，与空间环境进行交互显得越来越重要。视觉信息作为空间机器人获取外界信息的重要方式之一，利用其辅助遥操作开展空间任务已经变得越来越重要，其中三维视觉追踪可以充分利用机器视觉的相关知识，辅助遥操作顺利进行空间任务，并且精细遥操作的开展需要三维视觉追踪的辅助，从而可以很好地为操作者反馈合适的远端环境信息。
在早期的空间机器人目标感知研究中，主要利用已知的三维目标模型解决此问题，但是这样的方法暴露出一个重要的问题：建立模型的精度决定了识别的精度。
发明内容
要解决的技术问题
为了避免现有技术的不足之处，本发明提出一种辅助遥操作执行空间任务的三维目标跟踪方法，利用RGB-D信息，结合粒子滤波方法，使空间机器人更好的适应非结构化环境，完成指定任务。
技术方案
一种辅助遥操作执行空间任务的三维目标跟踪方法，其特征在于步骤如下：
步骤1：三维传感器安装在空间机器人上，获取三维传感器的RGB-D信息的图像；所述RGB-D信息的图像包括RGB信息和表示空间目标的深度信息的D信息，即三维视觉传感器的镜头光心距离空间目标的长度；
转换为灰度信息，目标姿态p(Xt|Z1:t)
步骤2：将RGB信息的图像转化为灰度图像，得到目标姿态p(Xt|Z1:t)信息；
步骤3：将处理后的灰度图像带入粒子滤波方法中，过程如下：
在粒子滤波框架下，目标姿态p(Xt|Z1:t)在时间t的后验概率密度函数被表示为一权重粒子集合St：
式(1)中，粒子表示在时间t的第n张灰度图像，表示与似然函数对应成比例的归一化权重，N表示获取RGB-D图像的总数；
当前状态χt能通过下式估计：
估计χt时的旋转向量Rt∈SO(3)通过式(3)得到：
V和U通过对奇异分解得到：
步骤4：将处理后的灰度信息转化为RGB信息，同时融合D信息，一起带入似然估计方法中：
对于空间目标当前状态的测量点p表示为：
式(4)中，表示RGB图像中某点对应的D信息，即该点的三维坐标值，表示该点的法向量，表示x的RGB值；
对p相关处理如下：
姿态和补偿的目标模型Mt，在t时刻，场景Zt的似然性被定义为式(8)：
式(8)中，表示空间目标模型Mt和场景Zt中点的并集；和分别对应场景和空间目标模型的点；proj(·)通过标定得出的相机内参将点的三维坐标值转换为了二维坐标值；
每个(i,j)的似然性被定义为式(9)：
式(9)中，de(x1,x2)，dn(n1,n2)和dc(c1,c2)通过式(10)～(12)计算得到，λe，λn和λc决定了似然性对距离的敏感程度；
式(10)中，τ表示一个阈值；
式(11)中，是同类点的法向量；
dc(c1,c2)＝||c1-c2|| (12)
被求出的为当前状态的最大的二维坐标值，即为跟踪的空间目标位置。
有益效果
本发明提出的一种辅助遥操作执行空间任务的三维目标跟踪方法，首先通过安装在空间机器人上的三维视觉传感器获取带有RGB-D信息的图像；将获取的RGB-D信息的图像分成两部分；将RGB信息的图像转化为灰度图像；将处理后的灰度图像带入粒子滤波方法中进行处理后转化为RGB信息，同时融合D信息，一起带入似然估计方法中求出使当前状态的最大的二维坐标值，即为跟踪的空间目标位置。
与现有技术相比，本发明基于RGB-D信息，通过粒子滤波方法，估计了每个粒子状态的似然性，具有以下有益效果：
(1)比起传统特征提取方法依赖边或者强度变化计算粒子权重，本发明效率更高。
(2)比起传统的PCL跟踪，不但速度更加快，而且跟踪精度更高。
(3)比起传统利用RGB信息辅助遥操作跟踪目标，本发明进一步利用了深度信息，使得跟踪效果更加理想，提高了遥操作系统的可操作性和操作效率。
具体实施方式
现结合实施例对本发明作进一步描述：
本发明利用RGB-D信息，结合粒子滤波方法，使空间机器人更好的适应非结构化环境，完成指定任务。步骤如下：
步骤1：对于跟踪的空间目标，首先通过安装在空间机器人上的三维视觉传感器获取带有RGB-D信息的图像。
步骤2：将获取的RGB-D信息的图像分成两部分，分别为RGB信息和D信息，这里的D信息为空间目标的深度信息，即三维视觉传感器的镜头光心距离空间目标的长度。
步骤3：将RGB信息的图像转化为灰度图像；
步骤4：将处理后的灰度图像带入粒子滤波方法中：
在粒子滤波框架下，目标姿态p(Xt|Z1:t)在时间t的后验概率密度函数被表示为一权重粒子集合St:
式(1)中，粒子表示在时间t的第n张灰度图像，表示与似然函数对应成比例的归一化权重，N表示获取RGB-D图像的总数，当前状态χt能通过式(2)估计：
当估计χt时，需要获取一个有效的旋转向量Rt∈SO(3)，然而针对此问题，通过式(3)得到符合要求的Rt：
式(3)中，V和U通过对奇异分解得到(例如：),
步骤5：将处理后的灰度信息转化为RGB信息，同时融合D信息，一起带入似然估计方法中：
对于空间目标当前状态的测量点p表示为：
式(4)中，表示RGB图像中某点对应的D信息，即该点的三维坐标值，表示该点的法向量，表示x的RGB值。
对p相关处理如下：
本发明选择式(5)～(7)作为测量点p的三种测量方法，是为了直接将指定的RGB-D场景与来自计算机图形通道的补偿结果进行比较，这样可以计算大量图像信息的似然性。
鉴于当前假设的姿态和补偿的目标模型Mt，在t时刻，场景Zt的似然性被定义为式(8)：
式(8)中，表示空间目标模型Mt和场景Zt中点的并集。和分别对应场景和空间目标模型的点。proj(·)通过标定得出的相机内参将点的三维坐标值转换为了二维坐标值。然后，每个(i,j)的似然性被定义为式(9)：
式(9)中，de(x1,x2)，dn(n1,n2)和dc(c1,c2)通过式(10)～(12)计算得到，λe，λn和λc决定了似然性对距离的敏感程度，
式(10)中，τ表示一个阈值。
式(11)中，注意是同类点的法向量。
dc(c1,c2)＝||c1-c2|| (24)
求出使当前状态的最大的二维坐标值，即为跟踪的空间目标位置。

Claims (1)

1.一种辅助遥操作执行空间任务的三维目标跟踪方法，其特征在于步骤如下：
步骤1：三维传感器安装在空间机器人上，获取三维传感器的RGB-D信息的图像；所述RGB-D信息的图像包括RGB信息和表示空间目标的深度信息的D信息，即三维视觉传感器的镜头光心距离空间目标的长度；
转换为灰度信息，目标姿态p(Xt|Z1:t)
步骤2：将RGB信息的图像转化为灰度图像，得到目标姿态p(Xt|Z1:t)信息；
步骤3：将处理后的灰度图像带入粒子滤波方法中，过程如下：
在粒子滤波框架下，目标姿态p(Xt|Z1:t)在时间t的后验概率密度函数被表示为一权重粒子集合St：
<mrow> <msub> <mi>S</mi> <mi>t</mi> </msub> <mo>=</mo> <mo>{</mo> <mrow> <mo>(</mo> <msubsup> <mi>X</mi> <mi>t</mi> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>&amp;pi;</mi> <mi>t</mi> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> </mrow> <mo>,</mo> <mo>...</mo> <mo>,</mo> <mrow> <mo>(</mo> <msubsup> <mi>X</mi> <mi>t</mi> <mrow> <mo>(</mo> <mi>N</mi> <mo>)</mo> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>&amp;pi;</mi> <mi>t</mi> <mrow> <mo>(</mo> <mi>N</mi> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> </mrow> <mo>}</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
式(1)中，粒子表示在时间t的第n张灰度图像，表示与似然函数对应成比例的归一化权重，N表示获取RGB-D图像的总数；
当前状态χt能通过下式估计：
<mrow> <msub> <mi>&amp;chi;</mi> <mi>t</mi> </msub> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>n</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msubsup> <mi>&amp;pi;</mi> <mi>t</mi> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> </msubsup> <msubsup> <mi>X</mi> <mi>t</mi> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> </msubsup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>
估计χt时的旋转向量Rt∈SO(3)通过式(3)得到：
<mrow> <mi>H</mi> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mn>1</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mn>1</mn> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow>
V和U通过对奇异分解得到：
步骤4：将处理后的灰度信息转化为RGB信息，同时融合D信息，一起带入似然估计方法中：
对于空间目标当前状态的测量点p表示为：
式(4)中，表示RGB图像中某点对应的D信息，即该点的三维坐标值，表示该点的法向量，表示x的RGB值；
对p相关处理如下：
姿态和补偿的目标模型Mt，在t时刻，场景Zt的似然性被定义为式(8)：
<mrow> <mi>p</mi> <mrow> <mo>(</mo> <msub> <mi>Z</mi> <mi>t</mi> </msub> <mo>|</mo> <msubsup> <mi>X</mi> <mi>t</mi> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> </msubsup> <mo>,</mo> <msub> <mi>M</mi> <mi>t</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mo>&amp;Pi;</mo> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> <mo>&amp;Element;</mo> <mi>A</mi> </mrow> </munder> <mi>p</mi> <mrow> <mo>(</mo> <msubsup> <mi>z</mi> <mi>t</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </msubsup> <mo>|</mo> <msubsup> <mi>X</mi> <mi>t</mi> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>m</mi> <mi>t</mi> <mrow> <mo>(</mo> <mi>j</mi> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>8</mn> <mo>)</mo> </mrow> </mrow>
式(8)中，表示空间目标模型Mt和场景Zt中点的并集；和分别对应场景和空间目标模型的点；proj(·)通过标定得出的相机内参将点的三维坐标值转换为了二维坐标值；
每个(i,j)的似然性被定义为式(9)：
<mrow> <mtable> <mtr> <mtd> <mrow> <mi>p</mi> <mrow> <mo>(</mo> <msubsup> <mi>z</mi> <mi>t</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </msubsup> <mo>|</mo> <msubsup> <mi>X</mi> <mi>t</mi> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>m</mi> <mi>t</mi> <mrow> <mo>(</mo> <mi>j</mi> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> </mrow> <mo>=</mo> <msup> <mi>exp</mi> <mrow> <mo>-</mo> <msub> <mi>&amp;lambda;</mi> <mi>e</mi> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>d</mi> <mi>e</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>(</mo> <msubsup> <mi>z</mi> <mi>t</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> <mo>,</mo> <msubsup> <mi>X</mi> <mi>t</mi> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> </msubsup> <mo>&amp;CenterDot;</mo> <mi>x</mi> <mo>(</mo> <msubsup> <mi>m</mi> <mi>t</mi> <mrow> <mo>(</mo> <mi>j</mi> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> <mo>)</mo> </mrow> </mrow> </msup> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>&amp;CenterDot;</mo> <msup> <mi>exp</mi> <mrow> <mo>-</mo> <msub> <mi>&amp;lambda;</mi> <mi>n</mi> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>d</mi> <mi>n</mi> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>(</mo> <msubsup> <mi>z</mi> <mi>t</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> <mo>,</mo> <msubsup> <mi>X</mi> <mi>t</mi> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> </msubsup> <mo>&amp;CenterDot;</mo> <mi>n</mi> <mo>(</mo> <msubsup> <mi>m</mi> <mi>t</mi> <mrow> <mo>(</mo> <mi>j</mi> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> <mo>)</mo> </mrow> </mrow> </msup> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>&amp;CenterDot;</mo> <msup> <mi>exp</mi> <mrow> <mo>-</mo> <msub> <mi>&amp;lambda;</mi> <mi>c</mi> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>d</mi> <mi>c</mi> </msub> <mrow> <mo>(</mo> <mi>c</mi> <mo>(</mo> <msubsup> <mi>z</mi> <mi>t</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> <mo>,</mo> <mi>c</mi> <mo>(</mo> <msubsup> <mi>m</mi> <mi>t</mi> <mrow> <mo>(</mo> <mi>j</mi> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> <mo>)</mo> </mrow> </mrow> </msup> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>9</mn> <mo>)</mo> </mrow> </mrow>
式(9)中，de(x1,x2)，dn(n1,n2)和dc(c1,c2)通过式(10)～(12)计算得到，λe，λn和λc决定了似然性对距离的敏感程度；
<mrow> <msub> <mi>d</mi> <mi>e</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mn>1</mn> </msub> <mo>,</mo> <msub> <mi>x</mi> <mn>2</mn> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mo>|</mo> <mo>|</mo> <msub> <mi>x</mi> <mn>1</mn> </msub> <mo>-</mo> <msub> <mi>x</mi> <mn>2</mn> </msub> <mo>|</mo> <mo>|</mo> </mrow> </mtd> <mtd> <mrow> <mi>i</mi> <mi>f</mi> <mo>|</mo> <mo>|</mo> <msub> <mi>x</mi> <mn>1</mn> </msub> <mo>-</mo> <msub> <mi>x</mi> <mn>2</mn> </msub> <mo>|</mo> <mo>|</mo> <mo>&amp;le;</mo> <mi>&amp;tau;</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> <mtd> <mrow> <mi>o</mi> <mi>t</mi> <mi>h</mi> <mi>e</mi> <mi>r</mi> <mi>w</mi> <mi>i</mi> <mi>s</mi> <mi>e</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>10</mn> <mo>)</mo> </mrow> </mrow>
式(10)中，τ表示一个阈值；
<mrow> <msub> <mi>d</mi> <mi>n</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>n</mi> <mn>1</mn> </msub> <mo>,</mo> <msub> <mi>n</mi> <mn>2</mn> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <msup> <mi>cos</mi> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mrow> <mo>(</mo> <msubsup> <mi>n</mi> <mn>1</mn> <mi>T</mi> </msubsup> <msub> <mi>n</mi> <mn>2</mn> </msub> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow> <mi>&amp;pi;</mi> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>11</mn> <mo>)</mo> </mrow> </mrow>
式(11)中，是同类点的法向量；
dc(c1,c2)＝||c1-c2|| (12)
被求出的为当前状态的最大的二维坐标值，即为跟踪的空间目标位置。
CN201710873651.5A 2017-09-25 2017-09-25 一种辅助遥操作执行空间任务的三维目标跟踪方法 Active CN107680136B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710873651.5A CN107680136B (zh) 2017-09-25 2017-09-25 一种辅助遥操作执行空间任务的三维目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710873651.5A CN107680136B (zh) 2017-09-25 2017-09-25 一种辅助遥操作执行空间任务的三维目标跟踪方法

Publications (2)

Publication Number Publication Date
CN107680136A true CN107680136A (zh) 2018-02-09
CN107680136B CN107680136B (zh) 2020-09-22

Family

ID=61137283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710873651.5A Active CN107680136B (zh) 2017-09-25 2017-09-25 一种辅助遥操作执行空间任务的三维目标跟踪方法

Country Status (1)

Country Link
CN (1) CN107680136B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109389621A (zh) * 2018-09-11 2019-02-26 淮阴工学院 基于多模式深度特征融合的rgb-d目标跟踪方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104732559A (zh) * 2015-02-02 2015-06-24 大连民族学院 一种基于rgb-d数据的多目标检测与跟踪方法
CN106679634A (zh) * 2016-06-20 2017-05-17 山东航天电子技术研究所 一种基于立体视觉的空间非合作目标位姿测量方法
CN107038714A (zh) * 2017-04-17 2017-08-11 西安理工大学 多型视觉传感协同目标跟踪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104732559A (zh) * 2015-02-02 2015-06-24 大连民族学院 一种基于rgb-d数据的多目标检测与跟踪方法
CN106679634A (zh) * 2016-06-20 2017-05-17 山东航天电子技术研究所 一种基于立体视觉的空间非合作目标位姿测量方法
CN107038714A (zh) * 2017-04-17 2017-08-11 西安理工大学 多型视觉传感协同目标跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄攀峰 等: "空间绳系机器人目标抓捕鲁棒自适应控制器设计", 《自动化学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109389621A (zh) * 2018-09-11 2019-02-26 淮阴工学院 基于多模式深度特征融合的rgb-d目标跟踪方法
CN109389621B (zh) * 2018-09-11 2021-04-06 淮阴工学院 基于多模式深度特征融合的rgb-d目标跟踪方法

Also Published As

Publication number Publication date
CN107680136B (zh) 2020-09-22

Similar Documents

Publication Publication Date Title
CN109255813B (zh) 一种面向人机协作的手持物体位姿实时检测方法
CN106826833B (zh) 基于3d立体感知技术的自主导航机器人系统
CN102982557B (zh) 基于深度相机的空间手势姿态指令处理方法
CN103049912B (zh) 一种基于任意三面体的雷达-相机系统外部参数标定方法
CN110555412B (zh) 基于rgb和点云相结合的端到端人体姿态识别方法
CN104881029B (zh) 基于一点ransac和fast算法的移动机器人导航方法
CN103413352A (zh) 基于rgbd多传感器融合的场景三维重建方法
CN103236064A (zh) 一种基于法向量的点云自动配准方法
Liu et al. Target localization in local dense mapping using RGBD SLAM and object detection
CN110533716B (zh) 一种基于3d约束的语义slam系统及方法
Jia et al. A Survey of simultaneous localization and mapping for robot
CN108235725A (zh) 基于云端的轨迹地图生成方法、装置、设备及应用程序
CN110509273A (zh) 基于视觉深度学习特征的机器人机械手检测及抓取方法
Xu et al. GraspCNN: Real-time grasp detection using a new oriented diameter circle representation
CN103714547A (zh) 一种结合边缘区域和互相关的图像配准方法
CN104318588A (zh) 一种基于位置感知判别外观模型的多摄像机目标跟踪方法
CN110135277B (zh) 一种基于卷积神经网络的人体行为识别方法
Wei et al. A survey of UAV visual navigation based on monocular SLAM
CN115578460A (zh) 基于多模态特征提取与稠密预测的机器人抓取方法与系统
CN107680136A (zh) 一种辅助遥操作执行空间任务的三维目标跟踪方法
Priya et al. 3dyolo: Real-time 3d object detection in 3d point clouds for autonomous driving
Zhao et al. POSITIONING AND GRABBING TECHNOLOGY OF INDUSTRIAL ROBOT BASED ON VISION.
CN107589743B (zh) 基于二值化环境信息的欠驱动机器人自组织聚集方法
Hou et al. Obstacle Detection in the surrounding Environment of manipulators based on Point Cloud data
Zhang et al. Low-cost Mars terrain classification system based on coarse-grained annotation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant