CN114092561A - 一种基于多目相机的无纹理三维物体跟踪方法及装置 - Google Patents

一种基于多目相机的无纹理三维物体跟踪方法及装置 Download PDF

Info

Publication number
CN114092561A
CN114092561A CN202210076234.9A CN202210076234A CN114092561A CN 114092561 A CN114092561 A CN 114092561A CN 202210076234 A CN202210076234 A CN 202210076234A CN 114092561 A CN114092561 A CN 114092561A
Authority
CN
China
Prior art keywords
coordinate system
pose
camera
under
energy function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210076234.9A
Other languages
English (en)
Inventor
李特
李佳宸
陈文轩
王彬
曹昕
钟凡
秦学英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202210076234.9A priority Critical patent/CN114092561A/zh
Publication of CN114092561A publication Critical patent/CN114092561A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多目相机的无纹理三维物体跟踪方法及装置，该方法包括：获取第一位姿，其中所述第一位姿为目标物体上一帧在各相机坐标系下的位姿；将所述第一位姿转换到物体中心坐标系下，得到第二位姿；建立所述物体中心坐标系下的相机投影模型；根据所述第二位姿和相机投影模型，建立物体中心坐标系下的联合能量函数；将所述联合能量函数最小化，得到所述物体中心坐标系下的位姿变换增量；将所述位姿变换增量转换到各相机坐标系下并对所述第一位姿进行更新，从而实现物体跟踪。本发明采用多目跟踪的方法，将各个相机的图像信息与坐标系信息建立在同一框架下，得到更加准确的跟踪结果。

Description

一种基于多目相机的无纹理三维物体跟踪方法及装置
技术领域
本申请涉及计算机视觉技术领域，尤其涉及一种基于多目相机的无纹理三维物体跟踪方法及装置。
背景技术
三维物体跟踪可以在连续视频帧中估计三维物体与相机之间的相对位姿(即位置与姿态)。目前三维跟踪在计算机视觉和增强现实领域中有着广泛的应用场景，例如医学、制造业、机器人和游戏娱乐等领域。
单目无纹理物体跟踪仅使用2D图像中的物体轮廓或轮廓周围的区域信息，缺乏相机视线方向的信息，因此优化结果会在相机视线方向产生较大误差，不能满足高精度跟踪要求。
在实现本发明的过程中，发明人发现现有技术中至少存在如下问题：
现有解决方案中，一种是使用深度相机获取深度信息，在相机视线方向产生约束，并使用深度数据迭代优化至最优位姿。但深度相机往往受限于实际的应用场景，例如使用距离受限、不能在室外使用等，并且深度数据在采集时会有数据缺失现象进而影响跟踪精度；另一种解决方案是使用多视角相机提高跟踪精度。多视角相机通过获得各视角下的高质量RGB图像弥补各相机视线方向信息。一些基于特征点的方法使用多视角几何模型提取SIFT（Scale-invariant feature transform，尺度不变特征变换）特征点，然后在多视角相机下建立2D-3D点对应关系优化得到最优位姿，但不适用于无纹理物体。对于多目无纹理物体跟踪，由于无法在物体内部提取稳定的特征点，因此无法使用多视角几何模型直接建立各个相机坐标系之间的联系。目前的解决方案往往使用两步优化策略，首先估计各个相机下的物体位姿，然后在一个统一的世界坐标系下建立并最小化重投影损失误差得到最优位姿。该策略仅在第二步使用了多视角信息，并且该步骤没有使用图像特征，这使得优化过程不能统一坐标系与图像特征信息，限制了优化精度。另外，如果第一步得到的各个单目相机位姿不准确，也会影响二次优化的最终结果。综上所述，深度相机的使用场景受限，现有多目跟踪方法的跟踪精度仍然不足，均不能满足高精度跟踪的要求。
发明内容
本申请实施例的目的是提供一种基于多目相机的无纹理三维物体跟踪方法及装置，以解决相关技术中存在的单目三维物体跟踪精度不足的技术问题。
根据本申请实施例的第一方面，提供一种基于多目相机的无纹理三维物体跟踪方法，包括：
获取第一位姿，其中所述第一位姿为目标物体上一帧在各相机坐标系下的位姿；
将所述第一位姿转换到物体中心坐标系下，得到第二位姿；
建立所述物体中心坐标系下的相机投影模型；
根据所述第二位姿和相机投影模型，建立物体中心坐标系下的联合能量函数；
将所述联合能量函数最小化，得到所述物体中心坐标系下的位姿变换增量；
将所述位姿变换增量转换到各相机坐标系下并对所述第一位姿进行更新，从而实现物体跟踪。
进一步地，获取第一位姿之前，还包括：
根据目标物体的遮挡情况，确定相机的数量；
标定各相机之间的相对位姿关系，其中所述相对位姿关系用于所述联合能量函数的建立过程中。
进一步地，根据所述第二位姿和相机投影模型，建立物体中心坐标系下的联合能量函数，包括：
根据所述第二位姿和相机投影模型，建立物体中心坐标系下各相机的能量函数；
对所述各相机的能量函数进行求和，得到物体中心坐标系下的联合能量函数。
进一步地，将所述联合能量函数最小化，得到所述物体中心坐标系下的位姿变换增量，包括：
根据所述相机投影模型和各相机的能量函数，计算各相机的拍摄图像中各点的雅可比矩阵；
根据所述各点的雅克比矩阵，计算所述联合能量函数的雅克比矩阵和海森矩阵；
根据所述联合能量函数的雅克比矩阵和海森矩阵，计算物体中心坐标系下的位姿变换增量。
进一步地，将所述位姿变换增量转换到各相机坐标系下并对目标物体在各相机坐标系下的上一帧位姿进行更新，包括：
获取所述物体中心坐标系与各相机坐标系之间的变换关系；
将所述位姿变换增量转换到各相机坐标系下；
将转换后的位姿变换增量乘以所述第一位姿，作为所述目标物体在各相机坐标系下的当前帧位姿，实现所述第一位姿的更新。
根据本申请实施例的第二方面，提供一种基于多目相机的无纹理三维物体跟踪装置，包括：
获取模块，用于获取第一位姿，其中所述第一位姿为目标物体上一帧在各相机坐标系下的位姿；
转换模块，用于将所述第一位姿转换到物体中心坐标系下，得到第二位姿；
建模模块，用于建立所述物体中心坐标系下的相机投影模型；
建立模块，用于根据所述第二位姿和相机投影模型，建立物体中心坐标系下的联合能量函数；
最小化模块，用于将所述联合能量函数最小化，得到所述物体中心坐标系下的位姿变
更新模块，用于将所述位姿变换增量转换到各相机坐标系下并对所述第一位姿进行更新，从而实现物体跟踪。
进一步地，所述建立模块包括：
建立子模块，用于根据所述第二位姿和相机投影模型，建立物体中心坐标系下各相机的能量函数；
求和模块，用于对所述各相机的能量函数进行求和，得到物体中心坐标系下的联合能量函数。
进一步地，所述最小化模块包括：
第一计算子模块，用于根据所述相机投影模型和建立所述联合能量函数过程中涉及的单目三维物体跟踪方法，计算各相机的拍摄图像中各点的雅可比矩阵；
第二计算子模块，用于根据所述各点的雅克比矩阵，计算所述联合能量函数的雅克比矩阵和海森矩阵；
第三计算子模块，用于根据所述联合能量函数的雅克比矩阵和海森矩阵，计算物体中心坐标系下的位姿变换增量。
根据本申请实施例的第三方面，提供一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的方法。
根据本申请实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如第一方面所述方法的步骤。
本申请的实施例提供的技术方案可以包括以下有益效果：
由上述实施例可知，本申请建立以物体中心坐标系为基础坐标系的优化框架，修改相机投影模型、建立联合能量函数并对所述联合能量函数进行最小化，为多目跟踪提供基础；根据物体中心坐标系下的第二位姿和相机投影模型，建立物体中心坐标系下的联合能量函数，将各个相机的图像信息与坐标系信息建立在同一框架下，得到更加准确的跟踪结果；此外，本申请建立的物体中心坐标系与基础跟踪算法无关，可以应用到所有基础跟踪算法中，使任意跟踪算法都可以根据实际需要转换基础坐标系；且本申请不使用深度相机，避免了使用场景受限的问题。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是根据一示例性实施例示出的一种基于多目相机的无纹理三维物体跟踪方法的流程图。
图2是根据一示例性实施例示出的步骤S21-步骤S22的流程图。
图3是根据一示例性实施例示出的步骤S14的流程图。
图4是根据一示例性实施例示出的步骤S15的流程图。
图5是根据一示例性实施例示出的步骤S16的流程图。
图6是根据一示例性实施例示出的一种基于多目相机的无纹理三维物体跟踪装置的框图。
图7是根据一示例性实施例示出的模块24的框图。
图8是根据一示例性实施例示出的模块25的框图。
图9是根据一示例性实施例示出的电子设备的示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
名词解释：
三维模型：三维模型是物体的几何表示，储存了物体的顶点信息和面信息，描述物体的顶点和面在物体坐标系下的空间位置。
物体坐标系：根据物体三维模型中的顶点坐标建立的坐标系，使用
Figure 436716DEST_PATH_IMAGE001
表示。所述物体坐标系由模型本身确定，相机投影模型要从物体坐标系出发。对三维物体跟踪，物体坐标系等价于世界坐标系。
相机坐标系：以相机中心建立的坐标系，物体坐标系下的三维点乘以相机位姿矩阵即得到相机坐标系下的三维点，使用
Figure 409483DEST_PATH_IMAGE002
表示。
物体中心坐标系：以物体的三维模型中心为坐标原点建立坐标系，即将物体坐标系中的物体三维点进行归一化，使用
Figure 962955DEST_PATH_IMAGE003
表示。若物体坐标系的中心点在三维模型中心，则物体坐标系与物体中心坐标系重合。
图1是根据一示例性实施例示出的一种基于多目相机的无纹理三维物体跟踪方法的流程图，如图1所示，该方法应用于终端中，可以包括以下步骤：
步骤S11：获取第一位姿，其中所述第一位姿为目标物体上一帧在各相机坐标系下的位姿；
步骤S12：将所述第一位姿转换到物体中心坐标系下，得到第二位姿；
步骤S13：建立所述物体中心坐标系下的相机投影模型；
步骤S14：根据所述第二位姿和相机投影模型，建立物体中心坐标系下的联合能量函数；
步骤S15：将所述联合能量函数最小化，得到所述物体中心坐标系下的位姿变换增量；
步骤S16：将所述位姿变换增量转换到各相机坐标系下并对所述第一位姿进行更新，从而实现物体跟踪。
由上述实施例可知，本申请建立以物体中心坐标系为基础坐标系的优化框架，修改相机投影模型、建立联合能量函数并对所述联合能量函数进行最小化，为多目跟踪提供基础；根据物体中心坐标系下的第二位姿和相机投影模型，建立物体中心坐标系下的联合能量函数，将各个相机的图像信息与坐标系信息建立在同一框架下，得到更加准确的跟踪结果；此外，本申请建立的物体中心坐标系与基础跟踪算法无关，可以应用到所有基础跟踪算法中，使任意跟踪算法都可以根据实际需要转换基础坐标系。
在步骤S11的具体实施中，获取第一位姿，其中所述第一位姿为目标物体上一帧在各相机坐标系下的位姿；
具体地，在各个相机坐标系中，将上一帧跟踪结果位姿作为当前帧的第一位姿，并将其作为当前帧的初始位姿。
具体地，如图2所示，在步骤S11之前，还可以包括：
步骤S21：根据目标物体的遮挡情况，确定相机的数量；
具体地，根据具体应用场景确定使用相机的数量，物体在无遮挡条件下使用两个相机即可；在物体有遮挡时，可摆放多个相机从无遮挡视角下拍摄物体。相机间的夹角在条件允许的条件下越大越好，相机间夹角为90°时效果最优。
步骤S22：标定各相机之间的相对位姿关系，其中所述相对位姿关系用于所述联合能量函数的建立过程中；
具体地，如果相机间的位置固定，则可通过人工标志物预先标定相机间的位置关系，并在之后的跟踪过程中使用该相对位置关系；如果相机间的位置不固定，则需要实时标定相机间的位置关系。例如使用人工标志物进行实时标定，或使用图像背景的稳定特征点标定。相机间的位姿关系表示为：
Figure 912325DEST_PATH_IMAGE004
其中，
Figure 297170DEST_PATH_IMAGE005
表示三维点
Figure 464275DEST_PATH_IMAGE006
的齐次坐标，
Figure 301781DEST_PATH_IMAGE007
和
Figure 54842DEST_PATH_IMAGE008
表示第
Figure 28615DEST_PATH_IMAGE009
个和第
Figure 77604DEST_PATH_IMAGE010
个相机坐标系下的空间坐标，
Figure 402407DEST_PATH_IMAGE011
表示将第
Figure 490317DEST_PATH_IMAGE009
个相机的相机坐标系
Figure 318596DEST_PATH_IMAGE012
转换至第
Figure 850071DEST_PATH_IMAGE013
个相机的相机坐标系
Figure 881743DEST_PATH_IMAGE014
的变换矩阵。
在步骤S12的具体实施中，将所述第一位姿转换到物体中心坐标系下，得到第二位姿；
具体地，建立物体中心坐标系
Figure 992919DEST_PATH_IMAGE015
并将第
Figure 987289DEST_PATH_IMAGE010
个相机坐标系
Figure 627349DEST_PATH_IMAGE014
转换至物体中心坐
Figure 457901DEST_PATH_IMAGE015
标系。物体中心坐标系和第
Figure 326762DEST_PATH_IMAGE010
个相机坐标系的变换关系如下：
Figure 926371DEST_PATH_IMAGE016
其中，
Figure 799649DEST_PATH_IMAGE017
，
Figure 304449DEST_PATH_IMAGE018
和
Figure 288585DEST_PATH_IMAGE019
分别表示物体三维点在物体坐标系
Figure 696695DEST_PATH_IMAGE020
，相机坐标系
Figure 740874DEST_PATH_IMAGE021
和物体中心坐标系
Figure 483702DEST_PATH_IMAGE015
下的空间坐标，
Figure 520797DEST_PATH_IMAGE022
表示第
Figure 829419DEST_PATH_IMAGE010
个相机坐标系
Figure 982183DEST_PATH_IMAGE014
下的空间坐标。
Figure 759777DEST_PATH_IMAGE023
表示将物体坐标系
Figure 288979DEST_PATH_IMAGE020
变换至第
Figure 717686DEST_PATH_IMAGE010
个相机坐标系
Figure 290619DEST_PATH_IMAGE014
，即第
Figure 70356DEST_PATH_IMAGE010
个相机的相机外参。
Figure 888401DEST_PATH_IMAGE024
表示将第
Figure 906036DEST_PATH_IMAGE010
个相机坐标系
Figure 728498DEST_PATH_IMAGE014
变换至物体中心坐标系
Figure 916903DEST_PATH_IMAGE015
。
在步骤S13的具体实施中，建立所述物体中心坐标系下的相机投影模型；
具体地，建立第
Figure 584645DEST_PATH_IMAGE010
个相机在物体中心坐标系下的相机投影模型，所述相机投影模型可为针孔相机模型，所述相机投影模型上点
Figure 925627DEST_PATH_IMAGE017
与相机
Figure 669724DEST_PATH_IMAGE010
的拍摄图像中目标物体轮廓周围的区域中的采样点
Figure 830578DEST_PATH_IMAGE025
的转换关系如下式所示：
Figure 567590DEST_PATH_IMAGE026
其中，
Figure 12346DEST_PATH_IMAGE027
为相机内参，通过预先标定得到，
Figure 911032DEST_PATH_IMAGE028
表示将齐次坐标映射至非齐次坐标，
Figure 621499DEST_PATH_IMAGE029
表示
Figure 850617DEST_PATH_IMAGE030
的逆，即
Figure 900613DEST_PATH_IMAGE031
表示第
Figure 219468DEST_PATH_IMAGE010
个相机坐标系
Figure 417231DEST_PATH_IMAGE014
与物体中心坐标系
Figure 433728DEST_PATH_IMAGE015
的转换关系
Figure 416859DEST_PATH_IMAGE024
的逆。
在步骤S14的具体实施中，根据所述第二位姿和相机投影模型，建立物体中心坐标系下的联合能量函数；
具体地，如图3所示，此步骤可以包括以下子步骤：
步骤S31：根据所述第二位姿和相机投影模型，建立物体中心坐标系下各相机的能量函数；
具体地，物体中心坐标系下相机i的能量函数的表达式为
Figure 595031DEST_PATH_IMAGE032
其中，
Figure 545669DEST_PATH_IMAGE033
表示相机序号，
Figure 349546DEST_PATH_IMAGE034
表示相机
Figure 436451DEST_PATH_IMAGE010
的拍摄图像中目标物体轮廓周围的区域，
Figure 536256DEST_PATH_IMAGE025
表示区域
Figure 443032DEST_PATH_IMAGE034
的采样点，
Figure 863649DEST_PATH_IMAGE035
表示物体中心坐标系
Figure 992011DEST_PATH_IMAGE015
下的更新位姿，
Figure 839881DEST_PATH_IMAGE036
表示相机
Figure 437216DEST_PATH_IMAGE010
坐标系
Figure 146677DEST_PATH_IMAGE014
下的第一位姿，并使用
Figure 145857DEST_PATH_IMAGE024
转换至物体中心坐标系
Figure 899049DEST_PATH_IMAGE015
，即为第二位姿。
在具体实施中，可采用多种单目三维跟踪方法作为基础跟踪算法，通过所述算法建立物体中心坐标系下各相机的能量函数。
步骤S32：对所述各相机的能量函数进行求和，得到物体中心坐标系下的联合能量函数；
具体地，物体中心坐标系下的联合能量函数的表达式为：
Figure 29685DEST_PATH_IMAGE037
步骤S22中标定的所述相对位姿关系用于所述联合能量函数的建立过程中。具体地说，各个相机坐标系与物体中心坐标系各自产生关联，在其基础上使用相机间的相对位姿关系约束住各个相机坐标系间的相互关系，可以完成物体坐标系与各个相机间的关系约束。
在步骤S15的具体实施中，将所述联合能量函数最小化，得到所述物体中心坐标系下的位姿变换增量；
具体地，将所述联合能量函数最小化的方法包括高斯牛顿法、梯度下降法和L-M方法（Levenberg-Marquardt方法），由于高斯牛顿法收敛较快，本实施例中通过高斯牛顿法进行联合能量函数的最小化，如图4所示，此步骤可以包括以下子步骤：
步骤S41：根据所述相机投影模型和各相机的能量函数，计算各相机的拍摄图像中各点的雅可比矩阵；
具体地，相机
Figure 729788DEST_PATH_IMAGE010
拍摄图像中点
Figure 645791DEST_PATH_IMAGE025
处的雅克比矩阵
Figure 523880DEST_PATH_IMAGE038
的表达式为
Figure 158124DEST_PATH_IMAGE039
其中，
Figure 645606DEST_PATH_IMAGE040
表示点
Figure 150536DEST_PATH_IMAGE025
处能量函数
Figure 511110DEST_PATH_IMAGE041
在点
Figure 55487DEST_PATH_IMAGE025
处的导数，与各相机的能量函数有关。
Figure 894130DEST_PATH_IMAGE042
表示点
Figure 987987DEST_PATH_IMAGE025
关于所述第二位姿的导数，仅与相机投影模型有关。
步骤S42：根据所述各点的雅克比矩阵，计算所述联合能量函数的雅克比矩阵和海森矩阵；
具体地，根据所述各点的雅克比矩阵，可计算各相机的雅克比矩阵和海森矩阵，其中相机
Figure 768731DEST_PATH_IMAGE010
的雅克比矩阵
Figure 846408DEST_PATH_IMAGE043
和海森矩阵
Figure 426425DEST_PATH_IMAGE044
分别表示为：
Figure 922260DEST_PATH_IMAGE045
Figure 562319DEST_PATH_IMAGE046
根据各相机的雅克比矩阵和海森矩阵，如下式所示，计算所述联合能量函数的雅克比矩阵
Figure 127293DEST_PATH_IMAGE047
和海森矩阵
Figure 822585DEST_PATH_IMAGE048
。
Figure 625456DEST_PATH_IMAGE049
Figure 498734DEST_PATH_IMAGE050
步骤S43：根据所述联合能量函数的雅克比矩阵和海森矩阵，计算物体中心坐标系下的位姿变换增量；
具体地，根据下式计算计算物体中心坐标系下的位姿变换增量
Figure 239420DEST_PATH_IMAGE051
：
Figure 489135DEST_PATH_IMAGE052
在步骤S16的具体实施中，将所述位姿变换增量转换到各相机坐标系下并对所述第一位姿进行更新，从而实现物体跟踪。
具体地，如图5所示，此步骤可以包括以下子步骤：
步骤S51：获取所述物体中心坐标系与各相机坐标系之间的变换关系；
步骤S52：将所述位姿变换增量转换到各相机坐标系下；
步骤S53：将转换后的位姿变换增量乘以所述第一位姿，作为所述目标物体在各相机坐标系下的当前帧位姿，实现所述第一位姿的更新。
具体地，步骤S51-步骤S53的具体实施中，目标物体在第i相机坐标系下的当前帧坐标
Figure 395780DEST_PATH_IMAGE053
的计算公式为：
Figure 439960DEST_PATH_IMAGE054
其中，
Figure 378924DEST_PATH_IMAGE055
为相机i坐标系下的第一位姿，
Figure 104435DEST_PATH_IMAGE056
，其中，
Figure 678636DEST_PATH_IMAGE057
表示将位姿变换增量从李代数空间映射到矩阵空间，得到优化结果。
针对本申请提供的一种基于多目相机的无纹理三维物体跟踪方法进行测试时，实验采用的基础跟踪方法为RBOT方法[ H. Tjaden, U. Schwanecke, E. Schomer, and D.Cremers. A region-based gauss-newton approach to real-time monocular multipleobject tracking. IEEE transactions on pattern analysis and machineintelligence, 2019]本发明通过结合多视角信息，能够大幅提升无纹理三维物体跟踪的精度；其跟踪速度约为20帧每秒，满足实时性要求。本发明在渲染数据集上进行测试跟踪精度，分别测试双目跟踪结果和多目跟踪结果，相机间的夹角从小到大渐变，以评估算法的跟踪能力。
表1
Figure 80667DEST_PATH_IMAGE059
表1为双目跟踪结果精度表，角度误差单位是°，平移误差单位是mm，tx、tx和tx分别表示x轴、y轴和z轴的平移误差。单目表示RBOT算法，其z轴的平移误差大于2cm。本发明的双目跟踪算法跟踪精度高于RBOT算法，在相机夹角逐渐增加时，跟踪精度也逐渐增加。当相机夹角为90°时精度最高，角度误差小于1°，每个轴的平移误差都小于0.3mm，远远高于单目跟踪算法。
表2
Figure 841950DEST_PATH_IMAGE061
表2为三目跟踪结果精度表，跟踪精度随相机间的夹角增大而提高，与表1得到的结论一致。
以下为测试本发明基于多目相机的无纹理三维物体跟踪方法中以物体中心坐标系为基础坐标系的有效性的结果。
使用两种方法进行比较，分别用方法1 [Wang B, Zhong F, Qin X. Robustedge-based 3D object tracking with direction-based pose validation.Multimedia Tools and Applications, 2019, 78(9): 12307-12331]和方法2 [H.Tjaden, U. Schwanecke, E. Schomer, and D. Cremers. A region-based gauss-newton approach to real-time monocular multiple object tracking. IEEEtransactions on pattern analysis and machine intelligence, 2019]表示。表3为比较结果，比较数据集为RBOT数据集[H. Tjaden, U. Schwanecke, E. Schomer, and D.Cremers. A region-based gauss-newton approach to real-time monocular multipleobject tracking. IEEE transactions on pattern analysis and machineintelligence, 2019]。
表3
Figure 653042DEST_PATH_IMAGE063
表3中方法1和方法2都是以相机坐标系进行优化，其对应行的数值为测试准确率(%)，+O o 表示将基础坐标系转化为本发明提出的物体中心坐标系，对应行的数值为准确率提升的值。通过将基础坐标系转化为物体中心坐标系，两种单目无纹理跟踪方法的准确率都得到了提升。
以下为测试本发明基于多目相机的无纹理三维物体跟踪方法中使用多目相机的有效性的结果。
采用RBOT方法[H. Tjaden, U. Schwanecke, E. Schomer, and D. Cremers. Aregion-based gauss-newton approach to real-time monocular multiple objecttracking. IEEE transactions on pattern analysis and machine intelligence,2019]，在实拍数据上进行对比， RBOT方法在第一相机视角下能得到很好的视觉结果，但转换至第二相机视角下，在相机实现方向会出现很大的平移误差，这是由于RBOT算法仅使用单目信息，缺少相机实现方向的约束导致的优化误差。本发明的方法同时使用多个相机的信息，得到的是准确的位姿，可以在各个相机视角下得到准确的视觉效果。
与前述的基于多目相机的无纹理三维物体跟踪方法的实施例相对应，本申请还提供了基于多目相机的无纹理三维物体跟踪装置的实施例。
图6是根据一示例性实施例示出的一种基于多目相机的无纹理三维物体跟踪装置框图。参照图2，该装置可以包括：
获取模块21，用于获取第一位姿，其中所述第一位姿为目标物体上一帧在各相机坐标系下的位姿；
转换模块22，用于将所述第一位姿转换到物体中心坐标系下，得到第二位姿；
建模模块23，用于建立所述物体中心坐标系下的相机投影模型；
建立模块24，用于根据所述第二位姿和相机投影模型，建立物体中心坐标系下的联合能量函数；
具体地，如图7所示，此模块包括以下子模块：
建立子模块31，用于根据所述第二位姿和相机投影模型，建立物体中心坐标系下各相机的能量函数；
求和模块32，用于对所述各相机的能量函数进行求和，得到物体中心坐标系下的联合能量函数。
最小化模块25，用于将所述联合能量函数最小化，得到所述物体中心坐标系下的位姿变换增量；
具体地，如图8所示，此模块包括以下子模块：
第一计算子模块41，用于根据所述相机投影模型和建立所述联合能量函数过程中涉及的单目三维物体跟踪方法，计算各相机的拍摄图像中各点的雅可比矩阵；
第二计算子模块42，用于根据所述各点的雅克比矩阵，计算所述联合能量函数的雅克比矩阵和海森矩阵；
第三计算子模块43，用于根据所述联合能量函数的雅克比矩阵和海森矩阵，计算物体中心坐标系下的位姿变换增量。
更新模块26，用于将所述位姿变换增量转换到各相机坐标系下并对所述第一位姿进行更新，从而实现物体跟踪。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
相应的，本申请还提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的基于多目相机的无纹理三维物体跟踪方法。如图9所示，为本发明实施例提供的一种基于多目相机的无纹理三维物体跟踪方法所在任意具备数据处理能力的设备的一种硬件结构图，除了图9所示的处理器以及内存之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
相应的，本申请还提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如上述的基于多目相机的无纹理三维物体跟踪方法。所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是风力发电机的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（FlashCard）等。进一步的，所述计算机可读存储介还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种基于多目相机的无纹理三维物体跟踪方法，其特征在于，包括：
获取第一位姿，其中所述第一位姿为目标物体上一帧在各相机坐标系下的位姿；
将所述第一位姿转换到物体中心坐标系下，得到第二位姿；
建立所述物体中心坐标系下的相机投影模型；
根据所述第二位姿和相机投影模型，建立物体中心坐标系下的联合能量函数；
将所述联合能量函数最小化，得到所述物体中心坐标系下的位姿变换增量；
将所述位姿变换增量转换到各相机坐标系下并对所述第一位姿进行更新，从而实现物体跟踪。
2.根据权利要求1所述的方法，其特征在于，获取第一位姿之前，还包括：
根据目标物体的遮挡情况，确定相机的数量；
标定各相机之间的相对位姿关系，其中所述相对位姿关系用于所述联合能量函数的建立过程中。
3.根据权利要求1所述的方法，其特征在于，根据所述第二位姿和相机投影模型，建立物体中心坐标系下的联合能量函数，包括：
根据所述第二位姿和相机投影模型，建立物体中心坐标系下各相机的能量函数；
对所述各相机的能量函数进行求和，得到物体中心坐标系下的联合能量函数。
4.根据权利要求1所述的方法，其特征在于，将所述联合能量函数最小化，得到所述物体中心坐标系下的位姿变换增量，包括：
根据所述相机投影模型和各相机的能量函数，计算各相机的拍摄图像中各点的雅可比矩阵；
根据所述各点的雅克比矩阵，计算所述联合能量函数的雅克比矩阵和海森矩阵；
根据所述联合能量函数的雅克比矩阵和海森矩阵，计算物体中心坐标系下的位姿变换增量。
5.根据权利要求1所述的方法，其特征在于，将所述位姿变换增量转换到各相机坐标系下并对目标物体在各相机坐标系下的上一帧位姿进行更新，包括：
获取所述物体中心坐标系与各相机坐标系之间的变换关系；
将所述位姿变换增量转换到各相机坐标系下；
将转换后的位姿变换增量乘以所述第一位姿，作为所述目标物体在各相机坐标系下的当前帧位姿，实现所述第一位姿的更新。
6.一种基于多目相机的无纹理三维物体跟踪装置，其特征在于，包括：
获取模块，用于获取第一位姿，其中所述第一位姿为目标物体上一帧在各相机坐标系下的位姿；
转换模块，用于将所述第一位姿转换到物体中心坐标系下，得到第二位姿；
建模模块，用于建立所述物体中心坐标系下的相机投影模型；
建立模块，用于根据所述第二位姿和相机投影模型，建立物体中心坐标系下的联合能量函数；
最小化模块，用于将所述联合能量函数最小化，得到所述物体中心坐标系下的位姿变换增量；
更新模块，用于将所述位姿变换增量转换到各相机坐标系下并对所述第一位姿进行更新，从而实现物体跟踪。
7.根据权利要求6所述的装置，其特征在于，所述建立模块包括：
建立子模块，用于根据所述第二位姿和相机投影模型，建立物体中心坐标系下各相机的能量函数；
求和模块，用于对所述各相机的能量函数进行求和，得到物体中心坐标系下的联合能量函数。
8.根据权利要求6所述的装置，其特征在于，所述最小化模块包括：
第一计算子模块，用于根据所述相机投影模型和建立所述联合能量函数过程中涉及的单目三维物体跟踪方法，计算各相机的拍摄图像中各点的雅可比矩阵；
第二计算子模块，用于根据所述各点的雅克比矩阵，计算所述联合能量函数的雅克比矩阵和海森矩阵；
第三计算子模块，用于根据所述联合能量函数的雅克比矩阵和海森矩阵，计算物体中心坐标系下的位姿变换增量。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如权利要求1-5中任一项所述的基于多目相机的无纹理三维物体跟踪方法的步骤。
CN202210076234.9A 2022-01-24 2022-01-24 一种基于多目相机的无纹理三维物体跟踪方法及装置 Pending CN114092561A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210076234.9A CN114092561A (zh) 2022-01-24 2022-01-24 一种基于多目相机的无纹理三维物体跟踪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210076234.9A CN114092561A (zh) 2022-01-24 2022-01-24 一种基于多目相机的无纹理三维物体跟踪方法及装置

Publications (1)

Publication Number Publication Date
CN114092561A true CN114092561A (zh) 2022-02-25

Family

ID=80309154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210076234.9A Pending CN114092561A (zh) 2022-01-24 2022-01-24 一种基于多目相机的无纹理三维物体跟踪方法及装置

Country Status (1)

Country Link
CN (1) CN114092561A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109544629A (zh) * 2018-11-29 2019-03-29 南京人工智能高等研究院有限公司 摄像头位姿确定方法和装置以及电子设备
CN112525145A (zh) * 2020-11-30 2021-03-19 北京航空航天大学 一种飞机降落相对姿态动态视觉测量方法及系统
WO2021063127A1 (zh) * 2019-09-30 2021-04-08 深圳市瑞立视多媒体科技有限公司 多相机环境中主动式刚体的位姿定位方法及相关设备
CN112700505A (zh) * 2020-12-31 2021-04-23 山东大学 一种基于双目三维跟踪的手眼标定方法、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109544629A (zh) * 2018-11-29 2019-03-29 南京人工智能高等研究院有限公司 摄像头位姿确定方法和装置以及电子设备
WO2021063127A1 (zh) * 2019-09-30 2021-04-08 深圳市瑞立视多媒体科技有限公司 多相机环境中主动式刚体的位姿定位方法及相关设备
CN112525145A (zh) * 2020-11-30 2021-03-19 北京航空航天大学 一种飞机降落相对姿态动态视觉测量方法及系统
CN112700505A (zh) * 2020-12-31 2021-04-23 山东大学 一种基于双目三维跟踪的手眼标定方法、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LIANG LI等: "Globally Optimal Fetoscopic Mosaicking Based on Pose Graph Optimisation With Affine Constraints", 《IEEE ROBOTICS AND AUTOMATION LETTERS》 *

Similar Documents

Publication Publication Date Title
CN103106688B (zh) 基于双层配准方法的室内三维场景重建方法
Stein Lens distortion calibration using point correspondences
CN108629810B (zh) 双目相机的标定方法、装置及终端
US6137491A (en) Method and apparatus for reconstructing geometry using geometrically constrained structure from motion with points on planes
CN108288294A (zh) 一种3d相机群的外参标定方法
CN106705849B (zh) 线结构光传感器标定方法
US10771776B2 (en) Apparatus and method for generating a camera model for an imaging system
CN112015275A (zh) 基于数字孪生ar交互方法和系统
CN111862299A (zh) 人体三维模型构建方法、装置、机器人和存储介质
CN110706332B (zh) 一种基于噪声点云的场景重建方法
CN113469886B (zh) 一种基于三维重构的图像拼接方法
CN113920191B (zh) 一种基于深度相机的6d数据集构建方法
CN118247429A (zh) 一种空地协同快速三维建模方法及系统
CN109389645A (zh) 相机自校准方法、系统、相机、机器人及云端服务器
Chatterjee et al. A nonlinear Gauss–Seidel algorithm for noncoplanar and coplanar camera calibration with convergence analysis
CN113642397A (zh) 一种基于手机视频的物体长度测量方法
CN110555880B (zh) 一种焦距未知的p6p相机位姿估计方法
Köser et al. Differential spatial resection-pose estimation using a single local image feature
JP3476710B2 (ja) ユークリッド的な３次元情報の復元方法、および３次元情報復元装置
Guillemaut et al. Using points at infinity for parameter decoupling in camera calibration
CN114255279A (zh) 一种基于高精度定位和深度学习的双目视觉三维重建方法
CN115937002B (zh) 用于估算视频旋转的方法、装置、电子设备和存储介质
CN116801115A (zh) 一种稀疏阵列相机部署方法
CN116597020A (zh) 外参数标定方法、计算设备、图像采集系统和存储介质
CN114092561A (zh) 一种基于多目相机的无纹理三维物体跟踪方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20220225

WD01 Invention patent application deemed withdrawn after publication