CN112381880A - 一种基于圆特征的双目视觉位姿估计方法 - Google Patents

Abstract

本公开提供一种基于圆特征的双目视觉位姿估计方法，包括：通过相机获取目标物体的左、右图像；对左、右图像中的目标物体进行边缘检测和椭圆匹配，分别获取两幅图像中，目标物体边缘投射在平面上的椭圆轮廓线；基于椭圆轮廓线和相机光心，分别获取左、右图像中每条椭圆轮廓线对应的椭圆锥；分别获取每个椭圆锥的两个圆截面所对应的法线；对左、右图像中来自同一边缘对应的椭圆轮廓线所形成的椭圆锥的法线进行相互印证，筛选出椭圆锥的唯一法线；基于椭圆锥及唯一法线，获取空间圆；基于空间圆的特征获取位姿特征。本公开通过双目匹配环节，消除了空间圆的方向歧义，可以更稳定的在复杂的环境中找到具有圆形边缘的玻璃杯等物体。

Description

一种基于圆特征的双目视觉位姿估计方法

技术领域

本发明涉及视觉位姿估计方法，尤其涉及一种基于圆特征的双目视觉位姿估计方法。

背景技术

机器人在抓取玻璃杯等物体时，因为玻璃制品对于激光为镜面反射，因此传统的深度相机效果不佳，而玻璃烧杯等物体因为表面纹理不丰富，提取不出足够的特征点，因此，通过点特征匹配方式定位也存在难度。而通过手摇控操作时，对于物体的位置和姿态容易引起误判，导致抓取失败或者碰到其他物体。

发明内容

为了解决上述技术问题的至少一个，本发明提供了一种基于圆特征的双目视觉位姿估计方法。

本发明的技术方案是这样实现的：

一种基于圆特征的双目视觉位姿估计方法，包括：

获取目标物体的左、右图像；

对左、右图像中的目标物体进行边缘检测和椭圆匹配，分别获取两幅图像中，所述目标物体边缘投射在平面上的椭圆轮廓线；

基于所述椭圆轮廓线和相机光心，分别获取左、右图像中每条椭圆轮廓线对应的椭圆锥；

分别获取每个所述椭圆锥的两个圆截面所对应的法线；

对左、右图像中同一边缘对应的椭圆轮廓线所形成的椭圆锥的法线进行相互印证，筛选出每个椭圆锥的唯一法线；

基于所述椭圆锥及所述唯一法线，获取各椭圆锥对应的空间圆；

基于所述空间圆的特征获取位姿特征。

进一步地，对左、右图像中的目标物体进行边缘检测和椭圆匹配，为对左、右图像中的目标物体的圆形边缘进行边缘检测和椭圆匹配。

进一步地，所述对左、右图像中的目标物体进行边缘检测和椭圆匹配，分别获取两幅图像中，所述目标物体边缘投射在平面上的椭圆轮廓线；包括：

对左、右图像进行边缘检测，分别获取两幅所述图像中目标物体的轮廓曲线；

基于椭圆的参数，分别对两幅所述图像的每条轮廓曲线进行匹配，并将不满足椭圆参数的轮廓曲线筛去，分别获得左、右图像中，所述目标物体边缘投射在平面上的椭圆轮廓线。

进一步地，所述对两幅所述图像的每条轮廓曲线进行匹配，将不满足椭圆参数的轮廓曲线筛去，包括：

对每条所述轮廓曲线进行最小二乘法拟合，拟合参数由以下公式确定：

f(x，y)＝ax²+bxy+cy²+dx+ey+1＝0

其中，a、b、c、d、e为需要拟合的五个参数，x、y为坐标值；

基于判别式筛去所述轮廓曲线上非椭圆轮廓线的点集；所述判别式如下：

ac＞b²。

进一步地，所述基于判别式筛去所述轮廓曲线上非椭圆轮廓线的点集的方法，包括：

令W＝[a，b，c，d，e，1]；

其中，i为所述轮廓曲线上的所有点；

通过对W求导∑_imin‖W^TX_i‖，获得满足∑_imin‖W^TX_i‖的W值，得出每条所述轮廓曲线的参数，筛去不满足ac＞b²的轮廓曲线。

进一步地，获取每个所述椭圆锥的两个圆截面所对应的法线，包括：

获取相机内参K；并将所述椭圆转化为如下矩阵形式：

f(x，y)＝p^tQp

其中p＝[x，y，1]，

通过正交变换将所述椭圆锥转换为标准椭圆锥，所述标准椭圆锥的短轴位于x₁轴，长轴位于y₁轴；

获取所述标准圆锥的圆截面的法线向量

所述法线向量

由以下等式确定：

其中，λ₁，λ₂，λ₃为K^t*Q*K的特征值；p为椭圆点的齐次坐标。

进一步地，所述正交变换由以下等式确定：

p_c＝K*p；

p₁＝[α₁,α₂,α₃]*p_c；

p₁＝[x₁,y₁,z₁]；

λ₁*x₁ ²+λ₂*y₁ ²+λ₃*z₁ ²＝0；

其中，K为摄像头内参，α₁,α₂,α₃为K^t*Q*K特征向量。

进一步地，所述筛选出每个图像的所述法线中的唯一法线；包括：

对左、右图像的法线向量：

进行对比，获取正确的一组法线向量

进一步地，所述对左、右图像的法线向量：

进行对比，获取正确的一组法线向量

包括：

将所有所述法线向量通过坐标变换，表示为左相机坐标系下的方向；

在左图像的两条法线向量中，若存在一条法线向量，其与右图像的两条法线向量中任意一条法线向量的方向相同，则将左、右图像中这两条方向相同的法线向量确定为正确的一组法线向量。

进一步地，获取各椭圆锥对应的空间圆的方法，包括：

S1.针对左、右图像中的任一图像，获取椭圆锥在x₁Oz₁坐标系下的投影直线；所述投影直线共三条，并相交于两个点p₁,p₂；

S2.获取两个相交点p₁,p₂的连接线的中点作为第一圆心；

S3.获取第一圆心到光心所在的第一直线；

重复S1-S3，获取另一图像对应的第一圆心到光心所在的第一直线；

S4.以两条所述第一直线的交点P_O＝[x_o,y_o,z_o]为空间圆圆心；以‖p₁-p₂‖为空间圆半径，获得所述空间圆。

进一步地，所述椭圆锥在x₁Oz₁坐标系下的投影直线满足以下等式：

一种基于圆特征的双目视觉位姿估计装置，包括：

双目相机，用于获取目标物体的左、右图像；

边缘检测及椭圆匹配模块，用于对左、右图像中的目标物体进行边缘检测和椭圆匹配，分别获取两幅图像中，所述目标物体边缘投射在平面上的椭圆轮廓线；

处理模块，用于根据所述椭圆轮廓线和相机光心，分别获取左、右图像中每条椭圆轮廓线对应的椭圆锥；生成椭圆锥的圆截面的法线，并根据左、右图像的相互印证，筛选出每个椭圆锥的唯一法线；

空间圆生成模块，用于根据所述椭圆锥及所述唯一法线，生成各椭圆锥对应的空间圆。

附图说明

附图示出了本发明的示例性实施方式，并与其说明一起用于解释本发明的原理，其中包括了这些附图以提供对本发明的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分。

图1是本公开的基于圆特征的双目视觉位姿估计方法的流程示意图；

具体实施方式

下面结合附图和实施方式对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施方式仅用于解释相关内容，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分。

需要说明的是，在不冲突的情况下，本发明中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本发明。其中，执行主体可以根据具体案例进行调整，如服务器、电子设备、计算机等。

需要说明的是，文中的步骤编号，仅为了方便具体实施例的解释，不作为限定步骤执行先后顺序的作用。本实施例提供的方法可以由相关的服务器执行，且下文均以服务器作为执行主体为例进行说明。

实施例一

参照图1，本实施例提供了一种基于圆特征的双目视觉位姿估计方法，包括：

获取目标物体的左、右图像；

对左、右图像中的目标物体进行边缘检测和椭圆匹配，分别获取两幅图像中，所述目标物体边缘投射在平面上的椭圆轮廓线；

基于所述椭圆轮廓线和相机光心，分别获取左、右图像中每条椭圆轮廓线对应的椭圆锥；

分别获取每个所述椭圆锥的两个圆截面所对应的法线；

对左、右图像中同一边缘对应的椭圆轮廓线所形成的椭圆锥的法线进行相互印证，筛选出每个椭圆锥的唯一法线；

基于所述椭圆锥及所述唯一法线，获取各椭圆锥对应的空间圆；

基于所述空间圆的特征获取位姿特征。

本公开通过相机采集目标物体的左、右图像，优选的，相机为双目相机，构成双目视觉识别，通过边缘检测和椭圆性质的匹配，获取图像中的椭圆轮廓线，并根据椭圆和焦点可形成椭圆锥，已知，椭圆锥存在两个平面能够截取椭圆锥并获得两个圆截面，基于该特点，可以获得两个圆截面所在平面的法线，并通过双目图像相互印证，获得唯一一组正确的法线，再利用唯一法线和椭圆锥的获得空间圆的圆心和半径，从而作为目标物体的位姿参数，以供机器人抓取。

作为上述实施例的可选实施方式，对左、右图像中的目标物体进行边缘检测和椭圆匹配，分别获取两幅图像中，目标物体边缘投射在平面上的椭圆轮廓线；包括：

对左、右图像进行边缘检测，分别获取两幅图像中目标物体的轮廓曲线；

基于椭圆的参数，对两幅图像的每条轮廓曲线进行匹配，将不满足椭圆参数的轮廓曲线筛去，分别获得左、右图像中，目标物体边缘投射在平面上的椭圆轮廓线。

通过相机获取目标物体的左、右图像；应获得目标物体的圆形特征，如目标物体为玻璃杯，则以玻璃杯顶部或底部的圆形边缘作为提取特征，本公开以玻璃杯等目标物体的圆形边缘的圆曲线作为特征，可以更加稳定高效的作为位姿估计的特征。

作为上述实施例的可选实施方式，对两幅图像的每条轮廓曲线进行匹配，将不满足椭圆参数的轮廓曲线筛去，包括：

首先，对每条轮廓曲线进行最小二乘法拟合，

标准椭圆公式为：

考虑旋转和平移后的一般椭圆公式为：

其中，(x₀,y₀)为椭圆圆心，θ为椭圆旋转角度。

将该方程展开为一般形式，所以拟合参数由以下公式确定：

f(x，y)＝ax²+bxy+cy²+dx+ey+1＝0

其中，a、b、c、d、e为需要拟合的五个参数，x、y为坐标值；

其次，通过判别式去掉轮廓曲线上非椭圆轮廓线的点集；判别式如下：ac＞b²。

本实施例中，对每幅图像进行边缘提取，以获取每幅图像的每条轮廓曲线，轮廓曲线实际为点集，即每一条轮廓曲线上所有像素点的集合，根据最小二乘法拟合，共五个需要拟合的参数，因此只要像素点的数量＞5个，即可确定一个椭圆轮廓线。

作为上述实施例的可选实施方式，通过判别式去掉轮廓曲线上非椭圆轮廓线的点集的方法，包括：

首先，令W＝[a，b，c，d，e，1]；

其中，i为轮廓曲线上的所有点；

其次，通过对W求导∑_imin‖W^TX_i‖，获得满足∑_imin‖W^TX_i‖的W值，得出每条所述轮廓曲线的参数，筛去不满足ac＞b²的轮廓曲线。

作为上述实施例的可选实施方式，获取每个椭圆锥的两个圆截面所对应的法线的方法，包括：

获取相机内参K；并将椭圆转化为如下矩阵形式：

f(x，y)＝p^tQp

其中p＝[x，y，1]，

通过正交变换将椭圆锥转换为标准椭圆锥，标准椭圆锥的短轴位于x₁轴，长轴位于y₁轴；

获取标准圆锥的圆截面的法线向量

法线向量

由以下等式确定：

其中，λ₁，λ₂，λ₃为K^t*Q*K的特征值；p为椭圆点的齐次坐标。

进一步地，正交变换由以下等式确定：

p_c＝K*p；

p₁＝[α₁,α₂,α₃]*p_c；

p₁＝[x₁,y₁,z₁]；

λ₁*x₁ ²+λ₂*y₁ ²+λ₃*z₁ ²＝0；

其中，K为摄像头内参，α₁,α₂,α₃为K^t*Q*K特征向量。

正交变换等式的确定方式包括：

对每一幅图片，求出每一条椭圆线与光心O形成的椭圆锥，通过

f(x,y)＝p^t*Q*p

p_c＝K*p

得到

其中p_c＝[x,y,z,1]为相机坐标系下的坐标。K为相机内参。λ₁，λ₂，λ₃为K^t*Q*K的特征值，如果该二次曲面为椭圆锥，则满足λ₁>λ₂>0>λ₃，不满足则跳过这条曲线。

存在p₁＝[α₁,α₂,α₃]*p_c使得

即λ₁*x₁ ²+λ₂*y₁ ²+λ₃*z₁ ²＝0，其中，α₁，α₂，α₃为对应的特征向量。

作为上述实施例的可选实施方式，筛选出每个图像的法线中的唯一法线；包括：

对左、右图像的法线向量：

进行对比，获取正确的一组法线向量

包括：

将所有所述法线向量通过坐标变换，表示为左相机坐标系下的方向；

在左图像的两条法线向量中，若存在一条法线向量，其与右图像的两条法线向量中任意一条法线向量的方向相同，则将左、右图像中这两条方向相同的法线向量确定为正确的一组法线向量。

作为上述实施例的可选实施方式，获取空间圆的方法，包括：

S1.针对任一图像，获取椭圆锥在x₁Oz₁坐标系下的投影直线；投影直线共三条，并相交于两个点p₁,p₂；

S2.获取两个相交点p₁,p₂的连接线的中点作为第一圆心；

S3.获取第一圆心到光心所在的第一直线；

重复S1-S3，获取另一图像对应的第一圆心到光心所在的第一直线；

S4.以两条第一直线的交点P_O＝[x_o,y_o,z_o]为空间圆圆心；以‖p₁-p₂‖为空间圆半径，获得空间圆。

椭圆锥在x₁Oz₁坐标系下的投影直线满足以下等式：

其中，p₁,p₂的算法如下：

设圆截面所在的平面投影为

因为圆截面距离相机的距离位置，所以k未知，三条直线在两个点p₁,p₂相交，两个相交点的连线的中点为圆心，圆心到光心的直线的方向与k无关，通过左右相机得出两条直线，其交点就是圆心的三维坐标P_O＝[x_o,y_o,z_o]。

将P_O代入

求出k的值，进而求出p₁,p₂的值。

通过本实施例的上述方法，可求出每一条椭圆轮廓线对应的空间圆，并以空间圆的参数作为机器抓取的位姿参数。

本公开通过以上方法，对椭圆轮廓线进行重建，并基于椭圆锥圆截面的进行空间圆重建。通过双目匹配环节，本公开消除了空间圆的方向歧义，可以更稳定的在复杂的环境中找到具有圆形边缘的玻璃杯等物体。

实施例二

一种基于圆特征的双目视觉位姿估计装置，包括：

双目相机，用于获取目标物体的左、右图像；

边缘检测及椭圆匹配模块，用于对左、右图像中的目标物体进行边缘检测和椭圆匹配，分别获取两幅图像中，所述目标物体边缘投射在平面上的椭圆轮廓线；

处理模块，用于根据所述椭圆轮廓线和相机光心，分别获取左、右图像中每条椭圆轮廓线对应的椭圆锥；生成椭圆锥的圆截面的法线，并根据左、右图像的相互印证，筛选出每个椭圆锥的唯一法线；

空间圆生成模块，用于根据所述椭圆锥及所述唯一法线，生成各椭圆锥对应的空间圆。

本实施例的原理和效果与实施例一中的一致，本实施例不再重复描述。

本领域的技术人员应当理解，上述实施方式仅仅是为了清楚地说明本发明，而并非是对本发明的范围进行限定。对于所属领域的技术人员而言，在上述发明的基础上还可以做出其它变化或变型，并且这些变化或变型仍处于本发明的范围内。

Claims (10)

1.一种基于圆特征的双目视觉位姿估计方法，其特征在于，包括：

获取目标物体的左、右图像；

对左、右图像中的目标物体进行边缘检测和椭圆匹配，分别获取两幅图像中，所述目标物体边缘投射在平面上的椭圆轮廓线；

基于所述椭圆轮廓线和相机光心，分别获取左、右图像中每条椭圆轮廓线对应的椭圆锥；

分别获取每个所述椭圆锥的两个圆截面所对应的法线；

对左、右图像中同一边缘对应的椭圆轮廓线所形成的椭圆锥的法线进行相互印证，筛选出每个椭圆锥的唯一法线；

基于基于各图像对应的所述椭圆锥和所述唯一法线，获取各椭圆锥对应的空间圆；

基于所述空间圆的特征获取位姿特征。

2.如权利要求1所述的方法，其特征在于，所述对左、右图像中的目标物体进行边缘检测和椭圆匹配，分别获取两幅图像中，所述目标物体边缘投射在平面上的椭圆轮廓线；包括：

对左、右图像进行边缘检测，分别获取两幅所述图像中目标物体的轮廓曲线；

基于椭圆的参数，分别对两幅所述图像的每条轮廓曲线进行匹配，并将不满足椭圆参数的轮廓曲线筛去，分别获得左、右图像中，所述目标物体边缘投射在平面上的椭圆轮廓线。

3.如权利要求2所述的方法，其特征在于，所述对两幅所述图像的每条轮廓曲线进行匹配，将不满足椭圆参数的轮廓曲线筛去，包括：

对每条所述轮廓曲线进行最小二乘法拟合，

拟合参数由以下公式确定：

f(x，y)＝ax²+bxy+cy²+dx+ey+1＝0

其中，a、b、c、d、e为需要拟合的五个参数，x、y为坐标值；

基于判别式筛去所述轮廓曲线上非椭圆轮廓线的点集；所述判别式如下：

ac＞b²。

4.如权利要求3所述的方法，其特征在于，所述基于判别式筛去所述轮廓曲线上非椭圆轮廓线的点集的方法，包括：

令W＝[a，b，c，d，e，1]；

其中，i为所述轮廓曲线上的所有点；

通过对W求导∑_imin‖W^TX_i‖，获得满足∑_imin‖W^TX_i‖的W值，得出每条所述轮廓曲线的参数，筛去不满足ac＞b²的轮廓曲线。

5.如权利要求3所述的方法，其特征在于，获取每个所述椭圆锥的两个圆截面所对应的法线，包括：

获取相机内参K；并将所述椭圆转化为如下矩阵形式：

f(x，y)＝p^tQp

其中p＝[x，y，1]，，

通过正交变换将所述椭圆锥转换为标准椭圆锥，所述标准椭圆锥的短轴位于x₁轴，长轴位于y₁轴；

获取所述标准圆锥的圆截面的法线向量

所述法线向量

由以下等式确定：

其中，λ₁，λ₂，λ₃为K^t*Q*K的特征值；p为椭圆点的齐次坐标。

6.如权利要求5所述的方法，其特征在于，所述正交变换由以下等式确定：

p_c＝K*p；

p₁＝[α₁,α₂,α₃]*p_c；

p₁＝[x₁,y₁,z₁]；

λ₁*x₁ ²+λ₂*y₁ ²+λ₃*z₁ ²＝0；

其中，K为摄像头内参，α₁,α₂,α₃为K^t*Q*K特征向量。

7.如权利要求5所述的方法，其特征在于，所述筛选出每个图像的所述法线中的唯一法线；包括：

对左、右图像的法线向量：

进行对比，获取正确的一组法线向量

8.如权利要求5所述的方法，其特征在于，获取各椭圆锥对应的空间圆的方法，包括：

S1.针对左、右图像中的任一图像，获取椭圆锥在x₁Oz₁坐标系下的投影直线；所述投影直线共三条，并相交于两个点p₁,p₂；

S2.获取两个相交点p₁,p₂的连接线的中点作为第一圆心；

S3.获取第一圆心到光心所在的第一直线；

重复S1-S3，获取另一图像对应的第一圆心到光心所在的第一直线；

S4.以两条所述第一直线的交点P_O＝[x_o,y_o,z_o]为空间圆圆心；以‖p₁-p₂‖为空间圆半径，获得所述空间圆。

9.如权利要求8所述的方法，其特征在于，所述椭圆锥在x₁Oz₁坐标系下的投影直线满足以下等式：

10.一种基于圆特征的双目视觉位姿估计装置，其特征在于，包括：

双目相机，用于获取目标物体的左、右图像；

边缘检测及椭圆匹配模块，用于对左、右图像中的目标物体进行边缘检测和椭圆匹配，分别获取两幅图像中，所述目标物体边缘投射在平面上的椭圆轮廓线；

处理模块，用于根据所述椭圆轮廓线和相机光心，分别获取左、右图像中每条椭圆轮廓线对应的椭圆锥；生成椭圆锥的圆截面的法线，并根据左、右图像的相互印证，筛选出每个椭圆锥的唯一法线；

空间圆生成模块，用于根据所述椭圆锥及所述唯一法线，生成各椭圆锥对应的空间圆。

Images