CN106570904B - 一种基于Xtion摄像头的多目标相对位姿识别方法 - Google Patents

一种基于Xtion摄像头的多目标相对位姿识别方法 Download PDF

Info

Publication number
CN106570904B
CN106570904B CN201610938132.8A CN201610938132A CN106570904B CN 106570904 B CN106570904 B CN 106570904B CN 201610938132 A CN201610938132 A CN 201610938132A CN 106570904 B CN106570904 B CN 106570904B
Authority
CN
China
Prior art keywords
camera
target
robot
image
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610938132.8A
Other languages
English (en)
Other versions
CN106570904A (zh
Inventor
连捷
栾天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN201610938132.8A priority Critical patent/CN106570904B/zh
Publication of CN106570904A publication Critical patent/CN106570904A/zh
Application granted granted Critical
Publication of CN106570904B publication Critical patent/CN106570904B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

本发明涉及计算机视觉技术领域，一种基于Xtion摄像头的多目标相对位姿识别方法，包括以下步骤：1、安装机载Xtion摄像头，2、制作并安装靶标作为被观测机器人的位姿标志，3、逐次识别多个被观测机器人并计算识别目标的相对坐标，4、逐次计算步骤3中识别到的被观测机器人的相对偏航角。本发明具有以下优点：一是，价格低廉，采用造价低的Xtion摄像头，配合简单的靶标充分利用了单目视觉处理速度快的优点，距离测量上使用了Xtion摄像头的深度信息，比单目视觉的测距方法更为准确；二是，在面对光照变化更稳定的HSV颜色空间中使用阈值分割不同颜色，简单有效；三是，采用机载摄像头的测量方式，不必局限在固定的场景中。

Description

一种基于Xtion摄像头的多目标相对位姿识别方法
技术领域
本发明涉及一种基于Xtion摄像头的多目标相对位姿识别方法，属于计算机视觉技术领域。
背景技术
多目标位姿识别的方法主要包括：应用于室外的卫星定位，定位范围广但精度低，达不到小型机器人协作的要求，精度好的基站式差分定位方式价格昂贵；室内红外摄像机组定位，需要在室内固定安装多台红外摄像机构成识别区，通过不同摄像机识别同一红外反射点的偏差计算位置，搭建过程耗时费力，昂贵的价格却对应着有限的使用范围；无线网络(或无线蓝牙)定位，需要搭建覆盖定位区域的无线收发节点，需要提前建立无线信号强度与位置的映射关系表，需要定位目标具有收发信号的能力，因此定位缺乏灵活性且成本较高；三维激光定位，三维激光获取的点云信息矫正后精度高，但矫正和处理点云是复杂的，三维激光价格非常昂贵；计算机视觉的方法应用广泛，包括全景视觉、单目视觉、双目视觉等，其中，全景视觉具有360度全方位视角，视野广阔信息丰富，但是图像畸变较大非线性强，信息量过多也增加了算法复杂度，降低了实时性，单目视觉结构简单，标定容易，灵活性高，研究成果较多，缺点是缺乏对距离信息的有效感知，双目视觉优点是可以通过视差图像计算获得场景的深度信息，而双目中对深度的计算是复杂的，双目的标定也是复杂的。
发明内容
为了克服已有技术存在的问题，本发明目的是提供一种基于Xtion摄像头的多目标相对位姿识别方法。该方法旨在不改变机器人所在环境的前提下，使用机载的摄像头配合低成本靶标达到对移动机器人位姿识别的目的。
为了实现上述发明目的，解决已有技术中所存在的问题，本发明采取的技术方案是：一种基于Xtion摄像头的多目标相对位姿识别方法，包括以下步骤：
步骤1、安装机载Xtion摄像头，将Xtion摄像头以俯角在20至60度之间调整并安装在观测机器人的上方，同时还要高出被观测机器人顶部50至70厘米，高度越高对应俯角就越大，调整摄像头安装高度和俯角直到使视野底部贴近观测机器人正前方底盘，并确保视野足够容纳被观测机器人；然后建立以观测机器人中心为原点的三维直角坐标系W，该坐标系以竖直向上为y轴正方向，机器人正前方为z轴正方向，x轴正方向指向机器人左边；
步骤2、制作并安装靶标作为被观测机器人的位姿标志，靶标能够提供易于区分的颜色、形状两种附加信息，靶标的特征是由外正方形和内矩形构成，外正方形大小与被观测机器人俯视图大小相近且颜色单一，内矩形作为被观测机器人的姿态标志，使用另外一种颜色，并沿外正方形一边中点到正方形中心一线贴于外正方形上；将靶标水平安置在被观测机器人顶部，可令内矩形指示被观测机器人的正前方；对于多个被观测机器人需要使用不同底色的靶标，只需将外正方形底色相互区分即可；
步骤3、逐次识别多个被观测机器人并计算识别目标的相对坐标，具体包括以下子步骤：
(1)、矫正Xtion摄像头内参，Xtion摄像头的两种镜头都有默认内参，一种是彩色图像成像镜头，另一种是深度图像成像镜头，深度摄像头内参矩阵为
其中，fx为深度图像横轴方向上以像素为单位的焦距，fy为深度图像纵轴方向上以像素为单位的焦距，cx为光轴与深度图像中心在横轴方向上以像素为单位的差距，cy为光轴与深度图像中心在纵轴方向上以像素为单位的差距，彩色摄像头内参矩阵为，
其中，Fx为彩色图像横轴方向上以像素为单位的焦距，Fy为彩色图像纵轴方向上以像素为单位的焦距，Cx为光轴与彩色图像中心在横轴方向上以像素为单位的差距，Cy为光轴与彩色图像中心在纵轴方向上以像素为单位的差距，Xtion摄像头彩色图像与深度图像之间在横轴方向有一个以像素为单位的偏移距离d，为了对齐彩色图像与深度图像需要矫正彩色摄像头的内参，计算新的彩色摄像头内参矩阵如下，
其中，为矫正后彩色图像横轴方向上以像素为单位的焦距，为矫正后彩色图像纵轴方向上以像素为单位的焦距，为矫正后光轴与彩色图像中心在横轴方向上以像素为单位的差距，为矫正后光轴与彩色图像中心在纵轴方向上以像素为单位的差距；
(2)、图像预处理，将每帧彩色图像从RGB颜色空间变换为HSV颜色空间；
(3)、根据靶标阈值分割，主要根据不同靶标的外正方形颜色的色调区间和饱和度区间做简单阈值分割，得到二值化图像；
(4)、形态学处理与边缘提取，经过形态学开运算滤除小的明亮区域，然后提取二值化图像的明亮区域的最大外边缘和该边缘轮廓的外接矩形，用该外接矩形代表被观测机器人的位置；
(5)、利用摄像机内参计算外接矩形的中心在摄像头坐标系C中的坐标，摄像头坐标系C是以深度摄像头为中心的三维直角坐标系，该坐标系以深度摄像头为参考，摄像头正上方为y轴正方向，摄像头正前方为z轴正方向，x轴正方向指向摄像头左边；经过子步骤(1)，彩色图像与深度图像对齐、成像一致，所以可以利用深度图像计算子步骤(4)中外接矩形中心的位置坐标，根据Xtion摄像头成像特点，深度图中每一点的深度代表该点到成像平面的最小距离，计算外接矩形的平均深度Z'作为矩形中心的深度，在深度图像中矩形中心的位置坐标为[x y]T，深度图像视野中心坐标为[x0 y0]T，根据小孔成像模型和深度摄像头内参，摄像头坐标系C中矩形中心位置坐标为，
其中，fx为深度图像横轴方向上以像素为单位的焦距，fy为深度图像纵轴方向上以像素为单位的焦距，X、Y、Z分别代表了摄像头坐标系中观测机器人目标的坐标位置；
(6)、坐标变换，根据摄像头安装的相对高度h和俯角α，将坐标系C中的坐标点通过旋转平移矩阵M变换到坐标系W中，
其中，T为平移矩阵，R为旋转矩阵，h代表摄像头到观测机器人中心的高度，α代表摄像头俯角；用M矩阵乘以C坐标系下点的齐次坐标可得到其该点在W坐标系下的位置；
(7)、依次根据被观测机器人目标的不同靶标，重复步骤3的子步骤(3)到(6)，计算不同目标的相对位置；
步骤4、逐次计算步骤3中识别到的被观测机器人的相对偏航角，具体包括以下子步骤：
(1)、获取透视变换矩阵，将已知大小的黑白棋盘标定板水平放置，使标定板的一边与彩色图像底边共线，标定板中心在彩色图像纵轴方向的对称轴上；在彩色图像中提取黑白棋盘标定板的所有角点及其坐标，此时距离棋盘4角最近的4个角点构成了等腰梯形的顶点；该等腰梯形的映射目标为与棋盘标定板相同长宽比例的矩形，该矩形的位置关于彩色图像纵轴方向的对称轴对称，矩形的一边与图像中等腰梯形下底边共线且该边与等腰梯形下底边的比可选在0.3到0.8之间；只要利用等腰梯形顶点坐标以及对应的矩形顶点坐标，通过4对坐标的映射关系可以求取透视变换矩阵，
其中，T为透视变换矩阵，[u v]T为待映射顶点的坐标，[u v 1]T为对应的齐次坐标，为顶点经透视变换映射后的齐次坐标，a11到a32为透视变换矩阵的参数，则顶点映射后的实际坐标[x y]T由如下公式(5)计算得到，
可见已知4个不共线的顶点坐标，并且已知它们映射后的位置坐标，可以计算出a11到a32这8个参数，从而得到透视变换矩阵；
(2)、分割映射图像中目标的最大可能区域，利用变换矩阵可以将彩色图像的斜视视角透视变换为鸟瞰视角，将步骤3子步骤(4)中的目标外接矩形的4个顶点坐标乘以透视变换矩阵可以得到它们映射后的位置，据此在俯视图中分割出包含目标的最大可能区域，若目标外接矩形的4个顶点经透视变换矩阵映射后为[x1 y1]T、[x2 y2]T、[x3 y3]T、[x4 y4]T，则包含目标的最大可能区域在横轴方向范围为min(x1,x2,x3,x4)到max(x1,x2,x3,x4)，在纵轴方向范围为min(y1,y2,y3,y4)到max(y1,y2,y3,y4)，其中max，min分别为求集合中的最大值、最小值；
(3)、求偏航角，在此分割出的区域中重复步骤3中子步骤(3)的方法，用与步骤3中子步骤(4)相同的形态学处理方法，提取目标最大外边缘的旋转外接矩形的中心；识别并提取该分割区域中靶标的外正方形对应的旋转外接矩形的中心坐标[x y]T、内矩形对应的旋转外接矩形的中心坐标[m n]T，并采用如下公式(6)即可求得偏航角θ，
(4)、根据步骤3中检测到的目标，重复步骤4中子步骤(2)至(3)，依次计算不同目标的相对偏航角。
本发明有益效果是：一种基于Xtion摄像头的多目标相对位姿识别方法，包括以下步骤：1、安装机载Xtion摄像头，2、制作并安装靶标作为被观测机器人的位姿标志，3、逐次识别多个被观测机器人并计算识别目标的相对坐标，4、逐次计算步骤3中识别到的被观测机器人的相对偏航角。与已有技术相比，本发明具有以下优点：一是，价格低廉，采用造价低的Xtion摄像头，配合简单的靶标充分利用了单目视觉处理速度快的优点，距离测量上使用了Xtion摄像头的深度信息，比单目视觉的测距方法更为准确；二是，在面对光照变化更稳定的HSV颜色空间中使用阈值分割不同颜色，简单有效；三是，采用机载摄像头的测量方式，不必局限在固定的场景中，整个系统随着观测者机器人的位置的变化依然有效。
附图说明
图1是本发明方法步骤流程图。
图2是观测机器人安装示意图。
图3是被观测机器人安装示意图。
图4是靶标结构示意图。
图5是阈值分割靶标外正方形得到二值化图像的效果图。
图6是提取靶标外正方形的最大外边缘和该边缘轮廓的外接矩形图。
图7是黑白棋盘标定板的摆放位置和提取到的角点图。
图8是棋盘标定板映射后的目标位置图(其中交叉线的中心为原彩色图像中心的映射位置)。
图9是提取场景中一个已知靶标的外正方形最大外边缘及其外接矩形图。
图10是逐次提取到的图9场景中另一个已知靶标的外正方形最大外边缘及其外接矩形图。
图11是图9中提取的外接矩形顶点透视变换后的顶点位置图。
图12是图10中提取的外接矩形顶点透视变换后的顶点位置图。
图13是图11中顶点位置对应的目标最大可能区域和在该区域中提取靶标外正方形对应的旋转外接矩形及其中心、内矩形对应的旋转外接矩形及其中心图。
图14是图12中顶点位置对应的目标最大可能区域和在该区域中提取靶标外正方形对应的旋转外接矩形及其中心、内矩形对应的旋转外接矩形及其中心图。
图15是在点云中用坐标系实时发布被观测机器人与观测机器人的相对位置图(图中(1)是摄像头坐标系C，(2)是观测机器人中心坐标系W，(3)和(4)坐标系的原点描述了被观测机器人靶标中心的位置，(3)和(4)坐标系的姿态描述了被观测机器人的姿态)。
具体实施方式
下面结合附图对本发明作进一步说明。
如图1所示，一种基于Xtion摄像头的多目标相对位姿识别方法，包括以下步骤：
步骤1、安装机载Xtion摄像头，如图2所示，将Xtion摄像头以俯角35度安装在观测机器人的上方，并高出被观测机器人顶部60厘米，该摄像头的高度和角度可以使视野底部接近观察机器人正前方底盘，并确保被观测机器人能够被观测到；然后建立以观测机器人中心为原点的三维直角坐标系W，该坐标系以竖直向上为y轴正方向，机器人正前方为z轴正方向，x轴正方向指向机器人左边；
步骤2、制作并安装靶标作为被观测机器人的位姿标志，靶标能够提供易于区分的颜色、形状两种附加信息，如图4所示，靶标的特征是由外正方形和内矩形构成，外正方形大小与被观测机器人俯视图大小相近且颜色单一，内矩形作为被观测机器人的姿态标志，使用另外一种颜色，并沿外正方形一边中点到正方形中心一线贴于外正方形上；将靶标如图3所示水平安置在被观测机器人顶部，可令靶标的内矩形指示被观测机器人的正前方；对于多个被观测机器人需要使用不同底色的靶标，只需将外正方形底色相互区分即可；
步骤3、逐次识别多个被观测机器人并计算识别目标的相对坐标，具体包括以下子步骤：
(1)、矫正Xtion摄像头内参，Xtion摄像头的两种镜头都有默认内参，一种是彩色图像成像镜头，另一种是深度图像成像镜头，深度摄像头内参矩阵为，
其中，fx为深度图像横轴方向上以像素为单位的焦距，fy为深度图像纵轴方向上以像素为单位的焦距，cx为光轴与深度图像中心在横轴方向上以像素为单位的差距，cy为光轴与深度图像中心在纵轴方向上以像素为单位的差距，彩色摄像头内参矩阵为，
其中，Fx为彩色图像横轴方向上以像素为单位的焦距，Fy为彩色图像纵轴方向上以像素为单位的焦距，Cx为光轴与彩色图像中心在横轴方向上以像素为单位的差距，Cy为光轴与彩色图像中心在纵轴方向上以像素为单位的差距，Xtion摄像头彩色图像与深度图像之间在横轴方向有一个以像素为单位的偏移距离d，为了对齐彩色图像与深度图像需要矫正彩色摄像头的内参，计算新的彩色摄像头内参矩阵如下，
其中，为矫正后彩色图像横轴方向上以像素为单位的焦距，为矫正后彩色图像纵轴方向上以像素为单位的焦距，为矫正后光轴与彩色图像中心在横轴方向上以像素为单位的差距，为矫正后光轴与彩色图像中心在纵轴方向上以像素为单位的差距；
(2)、图像预处理，将每帧彩色图像从RGB颜色空间变换为HSV颜色空间；利用OpenCV库提供的cvtColor函数可以将得到的彩色图像从RGB颜色空间转换为HSV颜色空间；
(3)、根据靶标阈值分割，主要根据不同靶标的外正方形颜色的色调区间和饱和度区间做简单阈值分割，如图5所示，经子步骤(2)图像预处理后可根据靶标外正方形的颜色特征做阈值分割提取出靶标外正方形的二值化图像；
(4)、形态学处理与边缘提取，经过形态学开运算滤除小的明亮区域，然后提取二值化图像的明亮区域的最大外边缘和该边缘轮廓的外接矩形；利用OpenCV库，使用findContours函数即可提取二值化图像所有外边缘轮廓，遍历轮廓找到包含面积最大的边缘轮廓即为最大外边缘，使用boundingRect函数提取最大外边缘的外接矩形；如图6所示，经形态学运算后，提取该二值化图像的最大外边缘轮廓和该轮廓的外接矩形，并显示到原图像中；
(5)、利用摄像机内参计算外接矩形的中心在摄像头坐标系C中的坐标，摄像头坐标系C是以深度摄像头为中心的三维直角坐标系，该坐标系以深度摄像头为参考，摄像头正上方为y轴正方向，摄像头正前方为z轴正方向，x轴正方向指向摄像头左边；经过子步骤(1)，彩色图像与深度图像对齐、成像一致，所以可以利用深度图像计算子步骤(4)中外接矩形中心的位置坐标，根据Xtion摄像头成像特点，深度图像中每一点的深度代表该点到成像平面的最小距离，计算外接矩形的平均深度Z'作为矩形中心的深度，在深度图像中矩形中心的位置坐标为[x y]T，深度图像视野中心坐标为[x0 y0]T，根据小孔成像模型和深度摄像头内参，摄像头坐标系C中矩形中心位置坐标为，
其中，fx为深度图像横轴方向上以像素为单位的焦距，fy为深度图像纵轴方向上以像素为单位的焦距，X、Y、Z分别代表了摄像头坐标系中观测机器人目标的坐标位置；
(6)、坐标变换，根据摄像头安装的相对高度h和俯角α，将坐标系C中的坐标点通过旋转平移矩阵M变换到坐标系W中，
其中，T为平移矩阵，R为旋转矩阵，h代表摄像头到观测机器人中心的高度，α代表摄像头俯角；用M矩阵乘以C坐标系下点的齐次坐标可得到其该点在W坐标系下的位置，本实验中h为60厘米，α为35度；
(7)、依次根据被观测机器人目标的不同靶标，重复步骤3的子步骤(3)到(6)，计算不同目标的相对位置，如图9、图10所示依次测量场景中所有已知靶标的位置信息；
步骤4、逐次计算步骤3中识别到的被观测机器人的相对偏航角，具体包括以下子步骤：
(1)、获取透视变换矩阵，如图7所示，将已知大小的黑白棋盘标定板水平放置，使标定板的一边与彩色图像底边共线，标定板中心在彩色图像纵轴方向的对称轴上；利用OpenCV库中findChessboardCorners函数，在彩色图像中提取黑白棋盘标定板的所有角点及其坐标，此时距离棋盘4角最近的4个角点构成了等腰梯形的顶点；该等腰梯形的映射目标为与棋盘标定板相同长宽比例的矩形，如图8所示，该矩形的位置关于彩色图像纵轴方向的对称轴对称，矩形的一边与图像中等腰梯形下底边共线且该边与等腰梯形下底边的比可选在0.3到0.8之间，本实验中取该比例为0.5；只要利用等腰梯形顶点坐标以及对应的矩形顶点坐标，通过4对坐标的映射关系可以求取透视变换矩阵，
其中，T为透视变换矩阵，[u v]T为待映射顶点的坐标，[u v 1]T为对应的齐次坐标，为顶点经透视变换映射后的齐次坐标，a11到a32为透视变换矩阵的参数，则顶点映射后的实际坐标[x y]T由如下公式(5)计算得到，
可见已知4个不共线的顶点坐标，并且已知它们映射后的位置坐标，可以计算出a11到a32这8个参数，从而得到透视变换矩阵；
(2)、分割映射图像中目标的最大可能区域，利用变换矩阵可以将彩色图像的斜视视角透视变换为鸟瞰视角，将步骤3子步骤(4)中的目标外接矩形的4个顶点坐标乘以透视变换矩阵可以得到它们映射后的位置，实验中图9、图10中提取到的外接矩形的顶点分别被映射到图11、图12中圆圈顶点的位置上，据此在俯视图中分割出包含目标的最大可能区域，若目标外接矩形的4个顶点经透视变换矩阵映射后为[x1 y1]T、[x2 y2]T、[x3 y3]T、[x4 y4]T，则包含目标的最大可能区域在横轴方向范围为min(x1,x2,x3,x4)到max(x1,x2,x3,x4)，在纵轴方向范围为min(y1,y2,y3,y4)到max(y1,y2,y3,y4)，其中max，min分别为求集合中的最大值、最小值，图11、图12分割出的最大可能区域分别如图13、图14所示；
(3)、求偏航角，在此分割出的区域中重复步骤3中子步骤(3)的方法，用与步骤3中子步骤(4)相同的形态学处理方法，并利用OpenCV库中minAreaRect函数，提取目标最大外边缘的旋转外接矩形的中心；识别并提取该分割区域中靶标的外正方形对应的旋转外接矩形的中心坐标[x y]T、内矩形对应的旋转外接矩形的中心坐标[m n]T，如图13和图14所示提取各自的目标最大可能区域中的旋转矩形及其中心的坐标位置，并采用如下公式(6)即可求得偏航角θ，
(4)、根据步骤3中检测到的目标，重复步骤4中子步骤(2)至(3)，依次计算不同目标的相对偏航角，如图15所示，在点云中用坐标系实时发布被观测机器人与观测机器人的相对位置，图15中(1)是摄像头坐标系C，(2)是观测机器人中心坐标系W，(3)和(4)坐标系的原点描述了被观测机器人靶标中心的位置，(3)和(4)坐标系的姿态描述了被观测机器人的姿态。

Claims (1)

1.一种基于Xtion摄像头的多目标相对位姿识别方法，其特征在于包括以下步骤：
步骤1、安装机载Xtion摄像头，将Xtion摄像头以俯角在20至60度之间调整并安装在观测机器人的上方，同时还要高出被观测机器人顶部50至70厘米，高度越高对应俯角就越大，调整摄像头安装高度和俯角直到使视野底部贴近观测机器人正前方底盘，并确保视野足够容纳被观测机器人；然后建立以观测机器人中心为原点的三维直角坐标系W，该坐标系以竖直向上为y轴正方向，机器人正前方为z轴正方向，x轴正方向指向机器人左边；
步骤2、制作并安装靶标作为被观测机器人的位姿标志，靶标能够提供易于区分的颜色、形状两种附加信息，靶标的特征是由外正方形和内矩形构成，外正方形大小与被观测机器人俯视图大小相近且颜色单一，内矩形作为被观测机器人的姿态标志，使用另外一种颜色，并沿外正方形一边中点到正方形中心一线贴于外正方形上；将靶标水平安置在被观测机器人顶部，可令内矩形指示被观测机器人的正前方；对于多个被观测机器人需要使用不同底色的靶标，只需将外正方形底色相互区分即可；
步骤3、逐次识别多个被观测机器人并计算识别目标的相对坐标，具体包括以下子步骤：
(1)、矫正Xtion摄像头内参，Xtion摄像头的两种镜头都有默认内参，一种是彩色图像成像镜头，另一种是深度图像成像镜头，深度摄像头内参矩阵为
其中，fx为深度图像横轴方向上以像素为单位的焦距，fy为深度图像纵轴方向上以像素为单位的焦距，cx为光轴与深度图像中心在横轴方向上以像素为单位的差距，cy为光轴与深度图像中心在纵轴方向上以像素为单位的差距，彩色摄像头内参矩阵为，
其中，Fx为彩色图像横轴方向上以像素为单位的焦距，Fy为彩色图像纵轴方向上以像素为单位的焦距，Cx为光轴与彩色图像中心在横轴方向上以像素为单位的差距，Cy为光轴与彩色图像中心在纵轴方向上以像素为单位的差距，Xtion摄像头彩色图像与深度图像之间在横轴方向有一个以像素为单位的偏移距离d，为了对齐彩色图像与深度图像需要矫正彩色摄像头的内参，计算新的彩色摄像头内参矩阵如下，
其中，为矫正后彩色图像横轴方向上以像素为单位的焦距，为矫正后彩色图像纵轴方向上以像素为单位的焦距，为矫正后光轴与彩色图像中心在横轴方向上以像素为单位的差距，为矫正后光轴与彩色图像中心在纵轴方向上以像素为单位的差距；
(2)、图像预处理，将每帧彩色图像从RGB颜色空间变换为HSV颜色空间；
(3)、根据靶标阈值分割，主要根据不同靶标的外正方形颜色的色调区间和饱和度区间做阈值分割，得到二值化图像；
(4)、形态学处理与边缘提取，经过形态学开运算滤除小的明亮区域，然后提取二值化图像的明亮区域的最大外边缘和该边缘轮廓的外接矩形，用该外接矩形代表被观测机器人的位置；
(5)、利用摄像机内参计算外接矩形的中心在摄像头坐标系C中的坐标，摄像头坐标系C是以深度摄像头为中心的三维直角坐标系，该坐标系以深度摄像头为参考，摄像头正上方为y轴正方向，摄像头正前方为z轴正方向，x轴正方向指向摄像头左边；经过子步骤(1)，彩色图像与深度图像对齐、成像一致，所以可以利用深度图像计算子步骤(4)中外接矩形中心的位置坐标，根据Xtion摄像头成像特点，深度图中每一点的深度代表该点到成像平面的最小距离，计算外接矩形的平均深度Z'作为矩形中心的深度，在深度图像中矩形中心的位置坐标为[x y]T，深度图像视野中心坐标为[x0 y0]T，根据小孔成像模型和深度摄像头内参，摄像头坐标系C中矩形中心位置坐标为，
其中，fx为深度图像横轴方向上以像素为单位的焦距，fy为深度图像纵轴方向上以像素为单位的焦距，X、Y、Z分别代表了摄像头坐标系中观测机器人目标的坐标位置；
(6)、坐标变换，根据摄像头安装的相对高度h和俯角α，将坐标系C中的坐标点通过旋转平移矩阵M变换到坐标系W中，
其中，T为平移矩阵，R为旋转矩阵，h代表摄像头到观测机器人中心的高度，α代表摄像头俯角；用M矩阵乘以C坐标系下点的齐次坐标可得到其该点在W坐标系下的位置；
(7)、依次根据被观测机器人目标的不同靶标，重复步骤3的子步骤(3)到(6)，计算不同目标的相对位置；
步骤4、逐次计算步骤3中识别到的被观测机器人的相对偏航角，具体包括以下子步骤：
(1)、获取透视变换矩阵，将已知大小的黑白棋盘标定板水平放置，使标定板的一边与彩色图像底边共线，标定板中心在彩色图像纵轴方向的对称轴上；在彩色图像中提取黑白棋盘标定板的所有角点及其坐标，此时距离棋盘4角最近的4个角点构成了等腰梯形的顶点；该等腰梯形的映射目标为与棋盘标定板相同长宽比例的矩形，该矩形的位置关于彩色图像纵轴方向的对称轴对称，矩形的一边与图像中等腰梯形下底边共线且该边与等腰梯形下底边的比可选在0.3到0.8之间；只要利用等腰梯形顶点坐标以及对应的矩形顶点坐标，通过4对坐标的映射关系可以求取透视变换矩阵，
其中，T为透视变换矩阵，[u v]T为待映射顶点的坐标，[u v 1]T为对应的齐次坐标，为顶点经透视变换映射后的齐次坐标，a11到a32为透视变换矩阵的参数，则顶点映射后的实际坐标[x y]T由如下公式(5)计算得到，
可见已知4个不共线的顶点坐标，并且已知它们映射后的位置坐标，可以计算出a11到a32这8个参数，从而得到透视变换矩阵；
(2)、分割映射图像中目标的最大可能区域，利用变换矩阵可以将彩色图像的斜视视角透视变换为鸟瞰视角，将步骤3子步骤(4)中的目标外接矩形的4个顶点坐标乘以透视变换矩阵可以得到它们映射后的位置，据此在俯视图中分割出包含目标的最大可能区域，若目标外接矩形的4个顶点经透视变换矩阵映射后为[x1 y1]T、[x2 y2]T、[x3 y3]T、[x4 y4]T，则包含目标的最大可能区域在横轴方向范围为min(x1,x2,x3,x4)到max(x1,x2,x3,x4)，在纵轴方向范围为min(y1,y2,y3,y4)到max(y1,y2,y3,y4)，其中max，min分别为求集合中的最大值、最小值；
(3)、求偏航角，在此分割出的区域中重复步骤3中子步骤(3)的方法，用与步骤3中子步骤(4)相同的形态学处理方法，提取目标最大外边缘的旋转外接矩形的中心；识别并提取该分割区域中靶标的外正方形对应的旋转外接矩形的中心坐标[x y]T、内矩形对应的旋转外接矩形的中心坐标[m n]T，并采用如下公式(6)即可求得偏航角θ，
(4)、根据步骤3中检测到的目标，重复步骤4中子步骤(2)至(3)，依次计算不同目标的相对偏航角。
CN201610938132.8A 2016-10-25 2016-10-25 一种基于Xtion摄像头的多目标相对位姿识别方法 Active CN106570904B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610938132.8A CN106570904B (zh) 2016-10-25 2016-10-25 一种基于Xtion摄像头的多目标相对位姿识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610938132.8A CN106570904B (zh) 2016-10-25 2016-10-25 一种基于Xtion摄像头的多目标相对位姿识别方法

Publications (2)

Publication Number Publication Date
CN106570904A CN106570904A (zh) 2017-04-19
CN106570904B true CN106570904B (zh) 2019-04-09

Family

ID=58534763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610938132.8A Active CN106570904B (zh) 2016-10-25 2016-10-25 一种基于Xtion摄像头的多目标相对位姿识别方法

Country Status (1)

Country Link
CN (1) CN106570904B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107608392A (zh) * 2017-09-19 2018-01-19 浙江大华技术股份有限公司 一种目标跟随的方法及设备
CN107767423B (zh) * 2017-10-10 2019-12-06 大连理工大学 一种基于双目视觉的机械臂目标定位抓取方法
CN108675142B (zh) * 2018-03-18 2020-01-14 武汉理工大学 多高度标定测量方法及起重机防斜拉和精确定位方法
CN109242809B (zh) * 2018-10-31 2023-06-13 安徽中科智链信息科技有限公司 一种基于rgb-d信息的点云滤波系统及滤波方法
CN109635682B (zh) * 2018-11-26 2021-09-14 上海集成电路研发中心有限公司 一种人脸识别装置和方法
CN110211183B (zh) * 2019-06-13 2022-10-21 广州番禺职业技术学院 基于单次成像大视场led透镜贴装的多目标定位系统
CN111028227B (zh) * 2019-12-17 2023-07-21 江西洪都航空工业集团有限责任公司 一种数控机床快速找正方法
CN111504255B (zh) * 2020-04-28 2022-06-21 湖北三江航天万峰科技发展有限公司 一种基于机器视觉的三维对准精度自动测量装置及方法
CN112258633B (zh) * 2020-10-23 2023-02-28 华中科技大学鄂州工业技术研究院 一种基于slam技术的场景高精度重建方法及装置
CN112614181B (zh) * 2020-12-01 2024-03-22 深圳乐动机器人股份有限公司 一种基于高亮目标的机器人定位方法及装置
CN113470103B (zh) * 2021-06-29 2023-11-24 阿波罗智联(北京)科技有限公司 车路协同中相机作用距离确定方法、装置和路侧设备
CN114049399B (zh) * 2022-01-13 2022-04-12 上海景吾智能科技有限公司 一种结合rgbd图像的镜面定位方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008309595A (ja) * 2007-06-13 2008-12-25 Horiba Ltd オブジェクト認識装置及びそれに用いられるプログラム
CN102314682B (zh) * 2011-07-11 2014-07-02 深圳超多维光电子有限公司 一种标定摄像头的方法、装置和系统
CN102446355B (zh) * 2011-09-05 2013-11-06 西安理工大学 一种基于双视场的无标定平面突起目标检测方法
CN102521822B (zh) * 2011-10-25 2013-11-06 南京大学 一种用于机器视觉自动标定的主动发光式标靶及其标定方法
CN104732518B (zh) * 2015-01-19 2017-09-01 北京工业大学 一种基于智能机器人地面特征的ptam改进方法

Also Published As

Publication number Publication date
CN106570904A (zh) 2017-04-19

Similar Documents

Publication Publication Date Title
CN106570904B (zh) 一种基于Xtion摄像头的多目标相对位姿识别方法
CN106168853B (zh) 一种自由空间头戴式视线跟踪系统
CN106197422B (zh) 一种基于二维标签的无人机定位及目标跟踪方法
CN106643699B (zh) 一种虚拟现实系统中的空间定位装置和定位方法
US8619248B2 (en) System and method for calibrating ultra wide-angle lenses
CN110009682A (zh) 一种基于单目视觉的目标识别定位方法
CN107239748A (zh) 基于棋盘格标定技术的机器人目标识别与定位方法
CN109308718B (zh) 一种基于多深度相机的空间人员定位装置及方法
CN110174088A (zh) 一种基于单目视觉的目标测距方法
CN109211207B (zh) 一种基于机器视觉的螺钉识别与定位装置
CN106017458B (zh) 移动机器人组合式导航方法及装置
US9881377B2 (en) Apparatus and method for determining the distinct location of an image-recording camera
CN111274959B (zh) 一种基于可变视场角的加油锥套位姿精确测量方法
CN110120099A (zh) 定位方法、装置、识别跟踪系统及计算机可读介质
CN108805910A (zh) 多目车载记录仪、目标检测方法、智能驾驶系统及汽车
CN108694741A (zh) 一种三维重建方法及装置
CN109443206A (zh) 基于彩色球形光源靶标的机械臂末端位姿测量系统及方法
CN110889829A (zh) 一种基于鱼眼镜头的单目测距方法
CN210225419U (zh) 光通信装置
CN110119190A (zh) 定位方法、装置、识别跟踪系统及计算机可读介质
CN206460515U (zh) 一种基于立体标定靶的多路鱼眼相机标定装置
CN109345587A (zh) 一种基于全景与单目视觉的混合视觉定位方法
CN105513074B (zh) 一种羽毛球机器人相机以及车身到世界坐标系的标定方法
CN110909571B (zh) 一种高精度面部识别空间定位方法
CN109801336A (zh) 基于可见光及红外光视觉的机载目标定位系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant