CN115880334B - 一种自动机器学习图谱融合的视频物体跟踪方法 - Google Patents

Abstract

本发明提出一种自动机器学习图谱融合的视频物体跟踪方法，属于3D计算机视觉与视觉机器人技术领域。本发明采用视频目标运动构建目标点云结构用以学习2D映射到6D（包括三维平移和三个旋转自由度）的特征匹配图自动机器学习的新方法，通过图谱融合技术生成匹配预测算子提升了操控精准性的同时达到最优的物体跟踪实时性，无需依赖事先计算机辅助设计模型就可以对实例级和类别级目标物体外观信息进行了更好的泛化，实现了现有最优的视频目标物体动态跟踪，从而实现视觉智能机器人最优自主动作规划和目标最优精准操控。

Description

一种自动机器学习图谱融合的视频物体跟踪方法

技术领域

本发明涉及一种基于视频的运动物体跟踪方法，涉及3D计算机视觉与视觉机器人技术领域。

背景技术

在智慧工厂的智能制造场景中视觉智能机器人应用广泛，跟踪视频序列中物体的6D位姿对于视觉智能机器人的精准操作很重要，针对被操控目标物体的运动跟踪是完成机器人后续连贯操作成功的重要环节。

目前现有其他技术方法适用条件是必须事先具有目标物体实例级或类别级的计算机辅助设计模型，才可以用于离线训练和在线推理。有采用单图像6D位姿估计方法为每个新帧重新估计位姿，这类方法效率较低，导致对连续帧的连贯性估计变差，对规划和控制产生消极影响。

有方法采用归一化物体坐标在图像上的像素和同类别目标之间建立映射，该方法在推理阶段可以部分消除对事先计算机辅助设计模型的依赖。但存在的问题是实例或类别级目标形状外观差异很大情况下算法泛化性能急剧变差。也有采用数据驱动不依赖事先计算机辅助设计模型的方法，对类别级投影框角的像素坐标通过机器学习进行回归，该方法算力成本极高，且局限于少数类别目标，只能获得无尺度位姿以及模型泛化受限。

总体来说，现有大多数方法需要具备目标物体的计算机辅助设计模型，才能达到基本的精准性；有采用数据驱动可以不依赖事先准备计算机辅助设计模型的方法，精准性较好但是因为算力成本极高，导致实时性不理想；且现有方法都只能在有限少数目标种类的情况下模型运行有效，对于具有明显不同的外观或形状的新实例或类别目标时，现有方法未能够体现良好的泛化性能。

发明内容

本发明所要解决的技术问题是：采用自动机器学习图谱融合技术，无需依赖事先计算机辅助设计模型就可以对实例级和类别级目标物体外观信息进行了更好的泛化，实现了现有最优的视频目标物体动态跟踪，从而实现视觉智能机器人最优自主动作规划和目标最优精准操控。

本发明为解决上述技术问题采用以下技术方案：

本发明提出一种自动机器学习图谱融合的视频物体跟踪方法，包括步骤：

S1、数据采集：对于待跟踪的每个目标物体，通过视频扫描获得视频帧和对应相机位姿，得到视频数据集；

S2、数据标注：基于已采集的视频数据集，进行6D目标物体边界框的标注；具体为：

采用6D标注工具，对图像帧中对应的目标物体进行3D目标边界框BOX_3d的标注以及旋转位姿标注，其中BOX_3d包括信息：目标物体的中心位置坐标、目标尺度比例以及和相对于竖直轴的旋转角度；

S3、根据视频序列的图像帧用以恢复运动目标物体三维结构，从包含目标物体运动信息的一系列二维图像序列中估计物体三维结构，实现3D重建目标物体的稀疏点云其中/>是关键点，g是关键点索引，/>的集合/>构成物体点云；输入是一段运动中的视频或者一串时间序列的2D图像集，通过2D图之间的时序匹配关系推断出相机的位姿参数；

S4、构建2D-6D映射关联图谱用于表示构建映射图中的2D-6D对应关系，同时在每一帧图像中标定目标对象框架中相机定位；2D描述算子/>通过图谱融合层聚合到6D描述算子/>其中2D描述算子/>中的h是2D特征点索引；

S5、实时视频在线物体跟踪阶段，即推理阶段，6D描述算子随后与来自查询图像的2D描述算子/>匹配以生成2D-6D匹配预测算子/>通过图谱融合技术，最后通过使用匹配预测算子/>解决透视关键点问题来计算目标物体位姿实现视频在线物体跟踪。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

本发明充分利用了自动机器学习图注意力网络的优势，利用图卷积注意力层基于卷积来计算注意力分数，构造了可学习的图卷积注意力网络，是一种图神经网络架构，通过添加两个标量参数，自动在每一层的图卷积网络和图注意力层之间进行插值。结果表明，本发明能够沿着网络有效地组合不同的图神经网络层，在广泛的数据集中优于现有其他SOTA方法，同时能够产生更强大的注意力模型，减少算法在线推理耗时。采用特征匹配图自动机器学习的新结构，生成匹配预测算子提升了操控精准性的同时达到最优的物体跟踪实时性。使得视觉智能机器人目标物体精准运动跟踪与操控实时性需求的问题得到有效解决。

附图说明

图1是本发明的整体方法流程图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

本发明解决了视觉智能机器人自主动作规划以及对目标物体进行实时精准运动跟踪的问题。视觉智能机器人通过视觉智能感知实现对运动物体的跟踪，进一步实现机器手臂的自主动作规划，通常还需要确定与下游任务适配的合适抓握。因此需要解决视频物体跟踪的精准性与实时性问题。本发明采用一种自动机器学习图谱融合技术，无需依赖事先准备的计算机辅助设计模型，解决了对这样要求的限定。

本发明采用视频目标运动构建目标点云结构用以学习2D映射到6D(包括三维平移和三个旋转自由度)的特征匹配图自动机器学习的新方法，通过图谱融合技术生成匹配预测算子提升了操控精准性的同时达到最优的物体跟踪实时性。使得在智能制造场景中，视觉智能机器人目标物体精准运动跟踪与操控实时性的问题得到有效解决。

如图1所示，本发明的总体方法实施步骤如下：

S1、数据采集，对于待跟踪的每个目标物体，通过视频扫描获得视频帧和对应相机位姿(Pose)。

S2、数据标注，基于已采集的视频数据集，进行6D目标物体边界框的标注。

(Step1)针对已经采集的视频数据集，采用6D标注工具(比如3D-BAT)，对图像帧中对应的目标物体进行3D目标边界框BOX_3d的标注以及旋转位姿标注。

(Step2)标注的6D目标边界框BOX_3d包括信息：目标物体的中心位置坐标、目标尺度比例以及和相对于竖直轴的旋转角度。

S3、根据视频序列的图像帧用以恢复运动目标物体三维结构，从包含目标物体运动信息的一系列二维图像序列中估计物体三维结构，实现3D重建目标物体的稀疏点云其中/>是关键点，g(g＝1,2,…,50)是关键点索引，/>的集合/>构成物体点云。输入是一段运动中的视频或者一串时间序列的2D图像集，并且不需要任何相机的信息，而是接着通过2D图之间的时序匹配关系推断出相机的位姿参数。

S4、构建2D-6D映射关联图谱用于表示构建映射图中的2D-6D对应关系，同时在每一帧图像中标定目标对象框架中相机定位。2D描述算子/>通过图谱融合层聚合到6D描述算子/>其中2D描述算子/>中的h(h＝1，2，…，500)是2D特征点索引。

S5、实时视频在线物体跟踪阶段，也就是推理阶段，6D描述算子随后与来自查询图像的2D描述算了/>匹配以生成2D-6D匹配预测算子/>其中的t(t＝1，2，…，500)。通过图谱融合技术，最后通过使用匹配预测算子解决透视关键点问题来计算目标物体位姿/>实现视频在线物体跟踪。

上述总体步骤S1具体包括：

步骤一、针对目标物体的视频扫描采用的移动设备，是具有位姿(Pose)传感器的智能摄像移动终端(比如目前主流旗舰智能手机)，进行视频扫描获得视频RGB帧和每幅RGB帧图像对应的相机位姿/>

步骤二、数据采集过程中，目标物体被设置在一个平坦表面上保持静止状态，移动摄像设备采集过程中围绕目标物体运动环绕进行视频扫描。

步骤三、给定视频扫描RGB帧和测试图像序列/>物体姿态估计需达到的目的是估计定义在像机坐标系中的物体位姿/>其中/>代表特殊欧氏群，包括旋转加位移，也称欧式氏变换或刚体变换，下标t是视频图像序列中的关键帧索引。

上述总体步骤S4具体包括：

步骤一、构建2D-6D映射关联图谱其中g是稀疏点云/>中的关键点索引，图谱/>中每一个/>代表一组(10个)2D描述算子/>映射到稀疏点云/>中的一个关键点/>并且这个关键点/>的三维特征描述算子表示为/>用于表示构建映射关联图谱/>中的2D-6D对应关系。

步骤二、由于BOX_3d是有标注的，点云可以在物体坐标系中被定义。首先从每个图像中提取二维关键点和描述算子/>并在图像之间进行匹配，以产生二维到二维的对应关系。

步骤三、每个重建的关键点都对应于一组(10个)匹配的二维特征点和二维描述算子/>其中h是特征点索引，d是二维描述算子的矢量维数(d＝128)。对应的2D-3D映射关联图谱/>由用于/>的关键点索引形成，其中/>d是三维描述算子的矢量维数(d＝128)。

上述总体步骤S5具体包括：

步骤一、实时视频在线物体跟踪阶段，一连串的查询图像被实时捕获。根据对查询图像的相机位姿/>进行定位，产生在相机坐标中定义的物体位姿对于每个输入图像/>二维关键点和描述算子/>被提取出来用于匹配，其中/>代表跟踪阶段实时视频帧的图像/>中二维描述算子。

步骤二、关于匹配预测算子的生成，我们提出使用一种自动机器学习图谱融合卷积层来实现自主聚合。我们将其命名为自动机器学习-图谱融合层。自动机器学习-图谱融合层对每个单独的/>进行操作。对于每个/>权重矩阵表示为/>自动机器学习-图谱融合层/>为如下形式：

其中PReLU(Parametric Rectified Linear Unit)为参数整流线性单元，是一种激活函数，其表达式为

PReLU(x)＝max(0，x)+α·min(0，x)

式中α，θ₁，θ₂∈(0，1)为可学习参数，是自动机器学习图谱融合矢量，T表示转置运算，N＝{1，2，…，10}。

步骤三、根据来自查询图像的2D描述算子匹配/>计算匹配预测算子：

其中激活函数Swish＝x·sigmoid(x)＝x/(1+e^-x)。根据计算目标物体位姿/>实现视频在线物体跟踪。

在现有其他主流视频在线物体跟踪方法中，一个图像检索网络被用来提取图像级别的全局特征，这些特征可以被用来从运动中构建物体结构的数据库中检索出候选图像，可以用于二维到二维的图像匹配。如果单纯增加需要匹配的图像对的数量将可能很大程度降低视频在线物体跟踪的效率和速度，尤其对于基于一般机器学习的二维特征匹配器。另一方面，如果减少需要检索的图像数据集规模，就会降低视频在线物体跟踪的准确率，所以事实上需要在算法在线物体跟踪时间和位姿估计准确率两者之间进行折中。为了很好地解决这个问题，本发明直接在查询图像和运动重建结构点云之间进行二维到6D的匹配。直接的2D-6D匹配避免了对二维图像数据集检索模块的算法依赖，所以本发明的方法在实时超低时延的前提下保持视频在线物体跟踪的极高准确率。

本实施例以视频物体跟踪数据集举例。本发明的数据集收集的数据包括摄像机围绕物体移动并从不同角度观察物体时的视频记录，通过采集软件工具ARCore捕获相机姿势、点云和表观平面。增强现实解决方案通过视频跟踪一组特征，并在设备上实时估计目标物体3D坐标。同时使用束调整和过滤来估计相机姿势。本发明实施例中创建的数据集中报告的所有平移和比例均采用公制比例。数据集包含视频记录和增强现实元数据。物体跟踪数据集视频均使用旗舰手机的后置摄像头以30fps的1920×1080分辨率录制。视频长度保持在6秒。总共有6031个对象实例出现在来自5726个带标注视频的图像中。

下表是本发明的方法与其他主流SOTA方法的性能对比。

将本发明的方法与Objectron、NOCS、MobilePose在chair类别中所有对象上的指标进行比较。其中Objectron具有姿势注释的广泛对象为中心的视频跟踪方法。NOCS是标准化物体坐标空间方法，一个类别中所有可能的物体实例的共享规范表示，然后训练基于区域的神经网络，推断从观察像素到NOCS的对应关系，预测可以与深度图相结合，共同估计杂乱场景中多个物体的度量6D位姿和尺寸。MobilePose是具有弱形状监督的不可见物体的实时姿态估计方法。对于二维投影的平均像素误差，在自研数据集上，将缩放和中心对齐操作应用于Objectron的预测，该算法性能虽然得到提升，但本发明创新方法的平均精度方面性能显著优于它们。特别是对于形状和外观在实例之间可能有很大差异的chair类别的目标物体。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.一种自动机器学习图谱融合的视频物体跟踪方法，其特征在于，包括步骤：

S1、数据采集：对于待跟踪的每个目标物体，通过视频扫描获得视频帧和对应相机位姿，得到视频数据集；

S2、数据标注：基于已采集的视频数据集，进行6D目标物体边界框的标注；具体为：

采用6D标注工具，对图像帧中对应的目标物体进行3D目标边界框BOX_3d的标注以及旋转位姿标注，其中BOX_3d包括信息：目标物体的中心位置坐标、目标尺度比例以及和相对于竖直轴的旋转角度；

S3、根据视频序列的图像帧用以恢复运动目标物体三维结构，从包含目标物体运动信息的一系列二维图像序列中估计物体三维结构，实现3D重建目标物体的稀疏点云其中/>是关键点，g是关键点索引，/>的集合/>构成物体点云；输入是一段运动中的视频或者一串时间序列的2D图像集，通过2D图之间的时序匹配关系推断出相机的位姿参数；

S4、构建2D-6D映射关联图谱用于表示构建映射图中的2D-6D对应关系，同时在每一帧图像中标定目标对象框架中相机定位；2D描述算子/>通过图谱融合层聚合到6D描述算子/>其中2D描述算子/>中的h是2D特征点索引；

S5、实时视频在线物体跟踪阶段，即推理阶段，6D描述算子随后与来自查询图像的2D描述算子/>匹配以生成2D-6D匹配预测算子/>通过图谱融合技术，最后通过使用匹配预测算子/>解决透视关键点问题来计算目标物体位姿/>实现视频在线物体跟踪。

2.根据权利要求1所述的一种自动机器学习图谱融合的视频物体跟踪方法，其特征在于，步骤S1具体包括：

步骤101、采用具有位姿传感器的智能摄像移动终端，围绕目标物体运动环绕进行视频扫描获得视频RGB帧和每幅RGB帧图像对应的相机位姿/>

步骤102、给定视频扫描RGB帧{P_h}和测试图像序列{P_t}，估计定义在像机坐标系中的物体位姿其中SE(3)代表特殊欧氏群，包括旋转加位移，也称欧式氏变换或刚体变换，下标t是视频图像序列中的关键帧索引。

3.根据权利要求1所述的一种自动机器学习图谱融合的视频物体跟踪方法，其特征在于，步骤S4具体包括：

步骤401、构建2D-6D映射关联图谱其中g是稀疏点云/>中的关键点索引，图谱/>中每一个/>代表一组2D描述算子/>映射到稀疏点云/>中的一个关键点/>并且这个关键点/>的三维特征描述算子表示为用于表示构建映射关联图谱/>中的2D-6D对应关系；

步骤402、首先从每个图像中提取二维关键点和描述算子并在图像之间进行匹配，以产生二维到二维的对应关系；

步骤403、每个重建的关键点都对应于一组匹配的二维特征点和二维描述算子其中h是特征点索引，d是二维描述算子的矢量维数；对应的2D-3D映射关联图谱/>由用于/>的关键点索引形成，其中d是三维描述算子的矢量维数。

4.根据权利要求1所述的一种自动机器学习图谱融合的视频物体跟踪方法，其特征在于，步骤S5具体包括：

步骤501、实时视频在线物体跟踪阶段，一连串的查询图像被实时捕获；根据关键点集合/>对查询图像的相机位姿/>进行定位，产生在相机坐标中定义的物体位姿/>对于每个输入图像/>二维关键点和描述算子/>被提取出来用于匹配，其中/>代表跟踪阶段实时视频帧的图像/>中二维描述算子；

步骤502、匹配预测算子的生成：使用一种自动机器学习图谱融合卷积层来实现自主聚合，将其命名为自动机器学习-图谱融合层，自动机器学习-图谱融合层对每个单独的进行操作；对于每个/>权重矩阵表示为/>自动机器学习-图谱融合层/>为如下形式：

其中PReLU为参数整流线性单元，是一种激活函数，其表达式为

PReLU(x)＝max(0，x)+α·min(0，x)

式中为可学习参数，/>是自动机器学习图谱融合矢量，T表示转置运算，N＝{1，2，…，10}；

步骤503、根据来自查询图像的2D描述算子匹配/>计算匹配预测算子：

其中激活函数Swish＝χ·sigmoid(χ)＝χ/(1+e^-χ)，根据计算目标物体位姿实现视频在线物体跟踪。