CN113160315A - 一种基于对偶二次曲面数学模型的语义环境地图表征方法 - Google Patents

Abstract

本发明公开了一种基于对偶二次曲面数学模型的语义环境地图表征方法，利用单目视觉估计及优化相机位姿，利用物体检测算法提供物体检测框，最后结合多帧位姿以及相机视图下的物体检测框实现物体对偶椭球求解，并得到物体三维包络椭球的几何参数。而物体包络椭球作为一种机器人环境感知的环境几何表征，包含物体的重要信息，包括该物体的尺寸、位置、姿态以及语义标签，并且椭球间的几何关系共同构成环境的关联特征。区别传统基于视觉特征点的表征方式，丰富地图中的语义信息，在光照不变性、视角不变性等方面性能更好，能更极大地促进语义地图的定位鲁棒性能，能极大减小地图的数据量，而同时维护关键的信息，能极大增加地图的可维护性和易用性。

Description

一种基于对偶二次曲面数学模型的语义环境地图表征方法

技术领域

本发明涉及机器人环境感知的技术领域，尤其涉及到一种基于对偶二次曲面数学模型的语义环境地图表征方法。

背景技术

视觉传感由于成本低、信息密度大被广泛应用在机器人技术领域用于环境感知。在大多数环境感知应用任务中，都包含两部分：图像信息的处理、提取及解析；信息的表征、存储及检索。自主移动操作机器人的自主性功能主要包含命令解析、环境构建与定位、规划与避障及面向任务的操作等，在这些功能之中，除了命令解析，其他的大多数任务本质上是围绕机器人本体与外界动态/静态物体的空间几何关系展开不同层次的应用，因此对环境进行合理的表征有利于移动操作机器人对外界环境几何模型的快速判别、索引和处理。

现有的基于视觉传感器的环境表征主要有两大类，一类是在图像空间中进行数据储存，即在不同状态、情况下对图像像素强度值进行储存，通过全局或者局部像素梯度生成特征描述符向量，并同时将此刻的机器人状态(位置、姿态、速度等)与特征描述向量建立关联；另一类是在几何空间中进行环境表征与储存，对图像进行点、线或面等几何图元提取，通过多视图几何对几何图元进行三维重构，通过数学模型对空间几何图元进行表征刻画。第一类表征没有包含环境几何信息，仅适用于视图重定位、场景识别等与环境没有交互的应用场景。第二类表征中，现有主要以稀疏特征点、特征线段、稠密像素点三者见多，特征点、线优势在于通过环境纹理信息筛选实现信息降维的效果，但是无法真实体现环境、物体的几何连通性，适用于机器人定位，不适用于操作、避障等对环境连通性性有要求的场合。稠密像素点重建保留环境、物体所有表面稠密点集合，能良好刻画几何连通性，适用于操作、避障等任务，但是稠密像素点重建涉及的跟踪、三维估计具有很高的计算量，重建效果、精度也往往不好，往往需要借助于具备像素深度测量的传感器，此外，稠密像素点地图表达也具备带后期地图优化、匹配、索取等技术劣势。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于对偶二次曲面数学模型的语义环境地图表征方法，其区别传统基于视觉特征点的表征方式，丰富地图中的语义信息，在光照不变性、视角不变性等方面性能更好，能更极大地促进语义地图的定位鲁棒性能，能极大减小地图的数据量，而同时维护关键的信息：物体的位置、姿态以及语义信息，能极大增加地图的可维护性和易用性。

为实现上述目的，本发明所提供的技术方案为：

一种基于对偶二次曲面数学模型的语义环境地图表征方法，包括如下步骤：

S1、通过视觉里程计对图像进行ORB特征点提取与描述符向量生成，估计相机的运动姿态；

S2、对通过相机采集到的图像中的物体进行物体检测及内切椭圆提取；

S3、对不同帧图像之间的物体检测框进行数据关联，构建多个语义物体的多视图几何关系；

S4、初始化物体对偶二次曲面及提取参数；

S5、创建物体语义地图；

S6、优化语义地图表征参数。

进一步地，所述步骤S1中，估计相机的运动姿态的具体过程如下：

通过视觉里程计对图像进行ORB特征点提取与描述符向量生成，实现图像间的特征点匹配，对于已经匹配上的图像，利用其齐次像素坐标下的特征对

构建对极几何约束方程：

x^TEx'＝0 (1)

式(1)中，E为本质矩阵，通过对本质矩阵E的元素向量化，转成向量点乘形式：

联立所有匹配点对构建形同方程(2)的形式，构成线性方程组，解出本质矩阵E；

本质矩阵E中隐含着两帧图像的相机坐标系的变换，对E进行SVD分解为：

E＝U∑V^T

其中U，V为正交阵，∑为奇异值矩阵；根据E的内在性质，对于任意一个E，存在两个可能的平移分量t，旋转分量R与它对应：

其中.^符号表示将向量变换成反对称矩阵，其中R_z(·)表示沿Z轴转动的旋转矩阵，同时由于-E和E等价，对任意t取负号，也会得到同样的结果，所以从E分解到t，R时，一共存在4个可能的解；通过对特征点空间位置与相机视野的关系可判别哪个解为真实解，作为两帧的图像间的运动姿态。

进一步地，所述步骤S2对通过相机采集到的图像中的物体进行物体检测及内切椭圆提取的具体过程如下：

采用预训练卷积深度神经网络在目标物体数据集上进行训练、微调，得到一个目标物体检测网络模块，该模块将从输入图像中提取目标物体，输出目标物体语义标签、2D包络框的坐标及尺寸信息；

其中，设物体检测框左上角坐标为(x₁,y₁)，检测框右下角坐标为(x₂,y₂)，记物体检测框中心点坐标为(t_x,t_y)，则该物体检测框的内切椭圆的参数为：长半轴

短板轴

中心点x坐标

中心点y坐标

则该椭圆的对偶二次型C^*表示为：

其中6个独立元素的向量表示为：

进一步地，所述步骤S3中，进行数据关联的具体过程如下：

采用区域语义类别与局部特征点描述符的数据关联方法，首先在图像层面上，利用语义标签实现帧间的物体检测框区域关联；其次对步骤S1步中提取到的落在检测框内的特征点，将其多个描述符视为检测框的区域像素描述符，以解决同类别多个物体产生的语义匹配歧义问题。

进一步地，所述步骤S4采用对偶二次曲面作为物体检测框的三维几何表征，即利用对偶椭球面和多个视图下的检测框内切椭圆对偶形式的投影方程；

在对偶形式下，椭球Q^*及其在第i帧图像中的投影对偶椭圆

由该帧图像的投影矩阵P_i＝K[R_i t_i]建立：

其中K是相机内参矩阵，[R_i t_i]是该图像的相机位姿，将P_i进行二次型表达得

则方程写成向量形式：

联立多个视图中的物体检测框，将方程(4)联立成方程组，为：

Mv＝0

即：

式(5)中，

表示一个物体的第n个视图的对偶椭圆形式，从自由度而言只需要三个视图即可联立求解，对M进行SVD分解，则其最小奇异值所对应的奇异向量的前10个元素即为所求对偶椭球的10个独立元素，再整理成其矩阵形式：

则Q^*为语义物体三维最小包络椭球的对偶形式，从方程中可得到其重要的几何参数：

a.椭球中心位置：

b.令

记

对

的左上角3×3矩阵进行特征值分解，得其特征值矩阵D及其对应的特征向量矩阵R；

c.椭球姿态：特征向量矩阵R即为椭球姿态的旋转矩阵；

d.椭球半轴长：对特征值矩阵D中的三个特征值λ₁，λ₂，λ₃进行开方，得到椭球的三个半轴长。

进一步地，所述步骤S6优化语义地图表征参数的具体过程如下：

对于物体地图中的一个椭球i，投影至与其相关联的视图j中，建立重投影几何误差：

其中，b_ij表示j图中的关于物体i的物体检测框的左上角和右下角两个点的像素坐标，BBox(·)函数表示投影椭圆的2D包络框提取，e_ij表示椭球i在视图j中原先的物体检测框和投影后拟合的物体检测框的两个角点的欧氏距离，最终椭球参数化地图的优化方程如下：

对方程优化求解可以得到一个优化后的语义地图几何表征。

与现有技术相比，本方案原理及优点如下：

本方案利用单目视觉估计及优化相机位姿，利用物体检测算法提供物体检测框，最后结合多帧位姿以及相机视图下的物体检测框实现物体对偶椭球求解，并得到物体三维包络椭球的几何参数。而物体包络椭球作为一种机器人环境感知的环境几何表征，包含物体的重要信息，包括该物体的尺寸、位置、姿态以及语义标签，并且椭球间的几何关系共同构成环境的关联特征，以上信息结合起来功能形成环境的物体地图。

本方案区别传统基于视觉特征点的表征方式，丰富地图中的语义信息，在光照不变性、视角不变性等方面性能更好，能更极大地促进语义地图的定位鲁棒性能，能极大减小地图的数据量，而同时维护关键的信息：物体的位置、姿态以及语义信息，能极大增加地图的可维护性和易用性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的服务作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种基于对偶二次曲面数学模型的语义环境地图表征方法的原理流程图；

图2为视觉里程计的原理示意图；

图3为实施例中物体检测及其检测框内切椭圆提取示意图；

图4为实施例中基于二次曲面的物体地图表征示意图。

具体实施方式

下面结合具体实施例对本发明作进一步说明：

本实施例所述的一种基于对偶二次曲面数学模型的语义环境地图表征方法，仅涉及单目相机提供RGB图像流作为传感数据，不需要借助其他传感器就可完成语义感知及其三维几何表征。

如图1所示，本实施例包括以下步骤：

S1、通过视觉里程计对图像进行ORB特征点提取与描述符向量生成，估计相机的运动姿态；

通过视觉里程计对图像进行ORB特征点提取与描述符向量生成，实现图像间的特征点匹配，对于已经匹配上的图像，利用其齐次像素坐标下的特征对

构建对极几何约束方程：

x^TEx'＝0 (1)

式(1)中，E为3×3的本质矩阵(Essential Matrix)，通过对本质矩阵E的元素向量化，转成向量点乘形式：

联立所有匹配点对构建形同方程(2)的形式，构成线性方程组，解出本质矩阵E；

本质矩阵E中隐含着两帧图像的相机坐标系的变换，对E进行SVD分解为：

E＝U∑V^T

其中U，V为正交阵，∑为奇异值矩阵；根据E的内在性质，对于任意一个E，存在两个可能的平移分量t，旋转分量R与它对应：

其中·^符号表示将向量变换成反对称矩阵，其中R_z(·)表示沿Z轴转动的旋转矩阵，同时由于-E和E等价，对任意t取负号，也会得到同样的结果，所以从E分解到t，R时，一共存在4个可能的解；通过对特征点空间位置与相机视野的关系可判别哪个解为真实解，作为两帧的图像间的运动姿态。

S2、对通过相机采集到的图像中的物体进行物体检测及内切椭圆提取；

本步骤中，采用预训练卷积深度神经网络在目标物体数据集上进行训练、微调，得到一个目标物体检测网络模块，该模块将从输入图像中提取目标物体，输出目标物体语义标签、2D包络框的坐标及尺寸信息，具体信息记号如图3所示；

其中，设物体检测框左上角坐标为(x₁,y₁)，检测框右下角坐标为(x₂,y₂)，记物体检测框中心点坐标为(t_x,t_y)，则该物体检测框的内切椭圆的参数为：长半轴

短板轴

中心点x坐标

中心点y坐标

则该椭圆的对偶二次型C^*表示为：

其中6个独立元素的向量表示为：

S3、对不同帧图像之间的物体检测框进行数据关联，构建多个语义物体的多视图几何关系；

本步骤采用区域语义类别与局部特征点描述符的数据关联方法，首先在图像层面上，利用语义标签实现帧间的物体检测框区域关联；其次对步骤S1步中提取到的落在检测框内的特征点，将其多个描述符视为检测框的区域像素描述符，以解决同类别多个物体产生的语义匹配歧义问题。

S4、初始化物体对偶二次曲面及提取参数；

本步骤采用对偶二次曲面作为语义检测框的三维几何表征，更具体而言是利用对偶椭球面和多个视图下的检测框内切椭圆对偶形式的投影方程；

在对偶形式下，椭球Q^*及其在第i帧图像中的投影对偶椭圆

由该帧图像的投影矩阵P_i＝K[R_i t_i]建立：

其中K是相机内参矩阵，[R_i t_i]是该图像的相机位姿，将P_i进行二次型表达得

则方程写成向量形式：

联立多个视图中的物体检测框，将方程(4)联立成方程组，为：

Mv＝0

即：

式(5)中，

表示一个物体的第n个视图的对偶椭圆形式，从自由度而言只需要三个视图即可联立求解，对M进行SVD分解，则其最小奇异值所对应的奇异向量的前10个元素即为所求对偶椭球的10个独立元素，再整理成其矩阵形式：

则Q^*为语义物体三维最小包络椭球的对偶形式，从方程中可得到其重要的几何参数：

a.椭球中心位置：

b.令

记

对

的左上角3×3矩阵进行特征值分解，得其特征值矩阵D及其对应的特征向量矩阵R；

c.椭球姿态：特征向量矩阵R即为椭球姿态的旋转矩阵；

d.椭球半轴长：对特征值矩阵D中的三个特征值λ₁，λ₂，λ₃进行开方，得到椭球的三个半轴长。

S5、创建物体的语义地图及优化语义地图表征参数；

重复上述步骤S1-S4可以实现对物体的二次曲面表征初始化，随着观测数据和视图角度增加，可以对初始化数据进行融合优化，得到更准确的表征参数。

对于物体地图中的一个椭球i，投影至与其相关联的视图j中，建立重投影几何误差：

其中，b_ij表示j图中的关于物体i的物体检测框的左上角和右下角两个点的像素坐标，BBox(·)函数表示投影椭圆的2D包络框提取，e_ij表示椭球i在视图j中原先的物体检测框和投影后拟合的物体检测框的两个角点的欧氏距离，最终椭球参数化地图的优化方程如下：

对方程优化求解可以得到一个优化后的语义地图几何表征，如图4所示意，其中虚线表示相机的运动轨迹，坐标系C_j表示关键帧图像的位姿，而其中椭球面是多视图构建的对物体的最小包络曲面，该曲面可视为是对物体的抽象模型的描述。物体精细化刻画存储物体表面纹理信息和表面精细形状，需要占据大量的存储空间，基于此刻画方式不利于后续地图应用中涉及的存储、读取、检索和优化等。区别于此，本实施例采用的基于二次曲面的地图表征仅维护必要的物体信息，每一个椭球都有之相对应的语义标签，此外还刻画了该物体的三维位置、姿态和尺寸，保留了环境中的物体之间的几何关系。利用这种表征方式，可以更好表现出环境中各个元素的几何关系、可以实现避障、物体操作规划、定位等功能。

以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (6)

1.一种基于对偶二次曲面数学模型的语义环境地图表征方法，其特征在于，包括如下步骤：

S1、通过视觉里程计对图像进行ORB特征点提取与描述符向量生成，估计相机的运动姿态；

S2、对通过相机采集到的图像中的物体进行物体检测及内切椭圆提取；

S3、对不同帧图像之间的物体检测框进行数据关联，构建多个语义物体的多视图几何关系；

S4、初始化物体对偶二次曲面及提取参数；

S5、创建物体的语义地图；

S6、优化语义地图表征参数。

2.根据权利要求1所述的一种基于对偶二次曲面数学模型的语义环境地图表征方法，其特征在于，所述步骤S1中，估计相机的运动姿态的具体过程如下：

通过视觉里程计对图像进行ORB特征点提取与描述符向量生成，实现图像间的特征点匹配，对于已经匹配上的图像，利用其齐次像素坐标下的特征对

构建对极几何约束方程：

x^TEx'＝0 (1)

式(1)中，E为本质矩阵，通过对本质矩阵E的元素向量化，转成向量点乘形式：

联立所有匹配点对构建形同方程(2)的形式，构成线性方程组，解出本质矩阵E；

本质矩阵E中隐含着两帧图像的相机坐标系的变换，对E进行SVD分解为：

E＝U∑V^T

其中U，V为正交阵，∑为奇异值矩阵；根据E的内在性质，对于任意一个E，存在两个可能的平移分量t，旋转分量R与它对应：

其中·^符号表示将向量变换成反对称矩阵，R_z(·)表示沿Z轴转动的旋转矩阵，同时由于-E和E等价，对任意t取负号，也会得到同样的结果，所以从E分解到t，R时，一共存在4个可能的解；通过对特征点空间位置与相机视野的关系可判别哪个解为真实解，作为两帧的图像间的运动姿态。

3.根据权利要求1所述的一种基于对偶二次曲面数学模型的语义环境地图表征方法，其特征在于，所述步骤S2对通过相机采集到的图像中的物体进行物体检测及内切椭圆提取的具体过程如下：

采用预训练卷积深度神经网络在目标物体数据集上进行训练、微调，得到一个目标物体检测网络模块，该模块将从输入图像中提取目标物体，输出目标物体语义标签、2D包络框的坐标及尺寸信息；

其中，设物体检测框左上角坐标为(x₁,y₁)，检测框右下角坐标为(x₂,y₂)，记物体检测框中心点坐标为(t_x,t_y)，则该物体检测框的内切椭圆的参数为：长半轴

短板轴

中心点x坐标

中心点y坐标

则该椭圆的对偶二次型C^*表示为：

其中6个独立元素的向量表示为：

4.根据权利要求1所述的一种基于对偶二次曲面数学模型的语义环境地图表征方法，其特征在于，所述步骤S3中，进行数据关联的具体过程如下：

采用区域语义类别与局部特征点描述符的数据关联方法，首先在图像层面上，利用语义标签实现帧间的物体检测框区域关联；其次对步骤S1步中提取到的落在检测框内的特征点，将其多个描述符视为检测框的区域像素描述符，以解决同类别多个物体产生的语义匹配歧义问题。

5.根据权利要求1所述的一种基于对偶二次曲面数学模型的语义环境地图表征方法，其特征在于，所述步骤S4采用对偶二次曲面作为物体检测框的三维几何表征，即利用对偶椭球面和多个视图下的检测框内切椭圆对偶形式的投影方程；

在对偶形式下，椭球Q^*及其在第i帧图像中的投影对偶椭圆

由该帧图像的投影矩阵P_i＝K[R_i t_i]建立：

其中K是相机内参矩阵，[R_i t_i]是该图像的相机位姿，将P_i进行二次型表达得

则方程写成向量形式：

联立多个视图中的物体检测框，将方程(4)联立成方程组，为：

Mv＝0

即：

式(5)中，

表示一个物体在第n个视图的投影椭圆轮廓的对偶形式，从自由度而言只需要三个视图即可联立求解，对M进行SVD分解，则其最小奇异值所对应的奇异向量的前10个元素即为所求对偶椭球的10个独立元素，再整理成其矩阵形式：

则Q^*为语义物体三维最小包络椭球的对偶形式，从方程中可得到其重要的几何参数：

a.椭球中心位置：

b.令

记

对

的左上角3×3矩阵进行特征值分解，得其特征值矩阵D及其对应的特征向量矩阵R；

c.椭球姿态：特征向量矩阵R即为椭球姿态的旋转矩阵；

d.椭球半轴长：对特征值矩阵D中的三个特征值λ₁，λ₂，λ₃进行开方，得到椭球的三个半轴长。

6.根据权利要求1所述的一种基于对偶二次曲面数学模型的语义环境地图表征方法，其特征在于，所述步骤S6优化语义地图表征参数的具体过程如下：

对于物体地图中的一个椭球i，投影至与其相关联的视图j中，建立重投影几何误差：

其中，b_ij表示j图中的关于物体i的物体检测框的左上角和右下角两个点的像素坐标，BBox(·)函数表示投影椭圆的2D包络框提取，e_ij表示椭球i在视图j中原先的物体检测框和投影后拟合的物体检测框的两个角点的欧氏距离，最终椭球参数化地图的优化方程如下：

对方程优化求解可以得到一个优化后的语义地图几何表征。

Images