CN113920160A - 初始位姿的估计方法、设备、计算机可读介质和程序产品 - Google Patents

初始位姿的估计方法、设备、计算机可读介质和程序产品 Download PDF

Info

Publication number
CN113920160A
CN113920160A CN202111093882.7A CN202111093882A CN113920160A CN 113920160 A CN113920160 A CN 113920160A CN 202111093882 A CN202111093882 A CN 202111093882A CN 113920160 A CN113920160 A CN 113920160A
Authority
CN
China
Prior art keywords
line segment
dimensional model
control line
dimensional
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111093882.7A
Other languages
English (en)
Inventor
韩鹏飞
赵罡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202111093882.7A priority Critical patent/CN113920160A/zh
Publication of CN113920160A publication Critical patent/CN113920160A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computational Mathematics (AREA)
  • Multimedia (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种初始位姿的估计方法、设备、计算机可读介质和程序产品。该方法包括：采集待跟踪物体的实际图像；基于实际图像，对预先建立的待跟踪物体的三维模型进行位姿调整；基于位姿调整后的三维模型，提取三维模型的特征控制线段，基于特征控制线段，在实际图像中搜索相匹配的对应线段；根据对应线段确定待跟踪物体的初始位姿。本申请的方法，提高了二维图像与三维场景之间对应关系的准确性，从而提升了初始位姿估计的准确率。

Description

初始位姿的估计方法、设备、计算机可读介质和程序产品
技术领域
本申请实施例涉及初始位姿估计方法，尤其涉及一种初始位姿的估计方法、设备、计算机可读介质和程序产品。
背景技术
从二维图像中恢复目标物体的三维信息(6-DOF位姿)进行实时跟踪，一直是计算机视觉领域的研究热点。而目前的跟踪算法主要基于图像帧间的细微差异，即假设前帧位姿已知时，由于两帧间差异很小，所以可利用前帧信息当作先验信息只进行增量更新获得当前帧位姿，从而实现实时跟踪。可以看出，跟踪算法是强烈依赖前帧信息来进行位姿实时跟踪的，而对于初始帧，需要在没有前帧信息的情况下计算获得物体位姿，那么准确获得初始帧就显得尤为重要，即初始位姿估计问题。初始位姿估计，是跟踪算法得以运行的前提与基础。现有技术中，初始位姿的估计通常采用建立二维图像与三维场景之间的对应关系，然后联立方程求解确定。
然而，现有技术通常将图像中的所有线条都纳入建立二维图像与三维场景之间的对应关系中，无法保证对应关系的准确性，造成建立的对应关系精确度低，从而导致初始位姿估计的准确率低。
发明内容
本申请提供一种初始位姿的估计方法、设备、计算机可读介质和程序产品。用以解决现有技术中由于建立的二维图像与三维场景间不准确的对应关系，而导致初始位姿估计准确率低的问题。
一方面，本申请提供一种初始位姿的估计方法，包括：
采集待跟踪物体的实际图像；
基于实际图像，对预先建立的待跟踪物体的三维模型进行位姿调整；
基于位姿调整后的三维模型，提取三维模型的特征控制线段；
基于特征控制线段，在实际图像中搜索相匹配的对应线段；
根据对应线段确定待跟踪物体的初始位姿。
第二方面，本申请实施例提供一种初始位姿的估计装置，包括：
采集模块，用于采集待跟踪物体的实际图像；
调整模块，用于基于实际图像，对预先建立的待跟踪物体的三维模型进行位姿调整；
提取模块，基于所述位姿调整后的三维模型，提取三维模型的特征控制线段；基于特征控制线段，在实际图像中搜索相匹配的对应线段；
确定模块,根据对应线段确定待跟踪物体的初始位姿。
第三方面，本申请实施例提供一种初始位姿的估计设备，
包括：存储器，处理器；
其中，存储器用于存储可执行指令；
处理器被配置为运行存储器中存储的指令以执行第一方面任一项初始位姿的估计方法。
第四方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现第一方面任一项初始位姿的估计方法。
第五方面，本申请实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面任一项初始位姿的估计方法。
本申请提供的一种初始位姿的估计方法、设备、计算机可读介质和程序产品。通过采集待跟踪物体的实际图像；基于实际图像，对预先建立的待跟踪物体的三维模型进行位姿调整；基于位姿调整后的三维模型，提取三维模型的特征控制线段；基于特征控制线段，在实际图像中搜索相匹配的对应线段；根据对应线段确定待跟踪物体的初始位姿。本申请的方法，提高了二维图像与三维场景之间对应关系的准确性，从而提升了初始位姿估计的准确率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种初始位姿的估计方法流程图；
图2为本申请实施例提供的又一种初始位姿的估计方法流程图；
图3为本申请实施例提供的再一种初始位姿的估计方法流程图；
图4为本申请实施例提供的再再一种初始位姿的估计方法流程图；
图5为本申请实施例在邻域内搜索对应直线段示意图；
图6为本申请实施例提供的一种初始位姿的估计装置示意图；
图7为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本发明的技术方案更加清晰明了的呈现，下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。显然，所描述的实施例仅仅是一部分的实施例，而不是全部的实施例，故并不用于限定此发明。对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
首先对本申请所涉及的名词进行解释：
LSD：Line Segment Detector一种直线段检测算法。该算法能在较短的时间内获得较高精度的直线段检测结果。LSD直线检测算法首先计算图像中所有点的梯度大小和方向，然后将梯度方向变化小且相邻的点作为一个连通域，接着根据每一个域的矩形度判断是否需要按照规则将其断开以形成多个矩形度较大的域，最后对生成的所有的域做改善和筛选，保留其中满足条件的域，即为最后的直线检测结果。该算法的优点在于检测速度快，而且无需参数调节，利用错误控制的方法，提高直线检测的准确度。
GL环境：Open Graphics Library译名：开放图形库或者“开放式图形库”用于渲染2D、3D矢量图形的跨语言、跨平台的应用程序编程接口(API)。这个接口用来绘制从简单的图形到复杂的三维景象。
CAD：Computer Aided Design计算机辅助设计，指利用计算机及其图形设备帮助设计人员进行设计工作。
像素：像素是由图像的小方格组成，这些小方块都有一个明确的位置和被分配的色彩数值，小方格颜色和位置就决定该图像所呈现出来的样子。
灰度：灰度数字图像是每个像素只有一个采样颜色的图像。这类图像通常显示为从最暗黑色到最亮的白色的灰度，灰度图像与黑白图像不同，在计算机图像领域中黑白图像只有黑白两种颜色，灰度图像在黑色与白色之间还有许多级的颜色深度。
最小二乘：最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。此外它简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。
本申请实施例应用场景适用于任何需要对目标物体进行跟踪的场景，例如：可以应用于增强现实技术，通过实时地计算摄像机影像的位置，实现真实世界信息和虚拟世界信息“无缝”衔接。又例如：还可以应用于机器人视觉领域，通过对障碍物以及路标进行位置识别和状态分析，实现移动机器人的视觉导航。可以理解的是，这仅仅是作为两种具体的使用场景举例说明，但不因此作为对本申请的限制。
位姿初始化是对目标物体位姿进行实时跟踪的前提，本申请提供了一种初始位姿的估计方法，该方法通过对三维模型进行姿态预调整和邻域搜索对应线段的方式，提高了二维图像与三维场景之间对应关系的准确性，从而提升了初始位姿估计的准确率。进而能够更精确的对目标物体实现实时跟踪。
下面将结合附图，对本申请的实施例进行描述。
图1为本发明实施例提供的一种初始位姿的估计方法流程图，如图1所示，包括：
S101、采集待跟踪物体的实际图像。
通过图像采集装置，例如摄像头等，采集待跟踪物体的实际图像，使待跟踪物体出现在画面中，摄像机所采集的图像为动态二维图像。
S102、基于实际图像，对预先建立的待跟踪物体的三维模型进行位姿调整。
通过调整三维模型的呈现姿态，使其与摄像头拍摄的待跟踪物体姿态近似。本实施例中三维模型为三维CAD模型，可以理解的是，本申请中预先建立的CAD模型还可以是其他类型的三维模型，因此不能将CAD模型作为对本申请的限制。位姿调整的具体操作可以是平移或旋转等，位姿调整的具体方式可以是在移动设备触屏上利用旋转、缩放等手势进行，也可以是在PC端上利用鼠标等外设进行。
S103、基于位姿调整后的三维模型，提取三维模型的特征控制线段。
确认三维CAD模型姿态调整结束后，提取调整后三维CAD模型的特征控制线段。在提取三维CAD模型的特征控制线段之前，以某种可选的方式对三维CAD模型投影，在投影图中提取其投影直线段，进一步的，通过投影直线段确定三维CAD模型的特征控制线段。需要说明的是，此时所得到的投影直线段为二维线段，根据投影直线段得到的特征控制线段为三维空间线段。
其中，提取投影直线段的方式可以利用各种现有算法，例如，可以利用LSD算法检测三维CAD模型投影图中的直线段。LSD算法的目标在于检测图像中局部的直的轮廓，轮廓是图像中的某些特殊区域，在这些区域，图像的灰度从黑到白的或者从白到黑的剧烈变化，通过利用LSD算法，达到快速检测图像中直线段的目的。
S104、基于特征控制线段，在实际图像中搜索相匹配的对应线段。
得到三维CAD模型的控制直线段之后，同样的，利用LSD算法提取摄像头采集的实际图像中的直线段，并在这些直线段中进行邻域搜索，从而得到与控制直线段相匹配的对应直线段。
S105、根据对应线段确定待跟踪物体的初始位姿。
如果相匹配的控制直线段-对应直线段满足设定数量阈值，根据与控制直线段相匹配的对应直线段确定初始位姿。可选的，可以利用非线性优化方法，求解最小化控制直线段的投影与其对应直线段之间的欧氏距离。由于优化过程中涉及迭代位姿求解，迭代初始值采用S102步骤中三维模型调整后的位姿参数。该位姿参数包括旋转与平移，共6个自由度。
本申请实施例提供的一种初始位姿的估计方法，通过采集待跟踪物体的实际图像；基于实际图像，对预先建立的待跟踪物体的三维模型进行位姿调整；基于位姿调整后的三维模型，提取三维模型的特征控制线段；基于特征控制线段，在实际图像中搜索相匹配的对应线段；根据对应线段确定待跟踪物体的初始位姿。本实施例的方法，提高了二维图像与三维场景之间对应关系的准确性，从而提升了初始位姿估计的准确率。
图2为本发明实施例提供的一种初始位姿的估计方法又一个实施例的流程图，如图2所示，在图1所示实施例的基础之上，对于基于待测物体的实际图像，对预先建立的待跟踪物体的三维模型进行位姿调整可以通过以下步骤实现，包括：
S1021、设置待跟踪物体三维模型的渲染图层背景为透明，置为顶层图层，将三维模型的渲染图层与实际图像叠加对齐。
S1022、以待跟踪物体的实际图像为基准，对三维模型的姿态进行调整。
基于已有目标物体的CAD模型，将CAD模型加载并叠加渲染至画面顶层。此处类似于图像处理中图层的应用，一个图层可以理解为一张完全透明的纸，每张纸上可以存放不同的内容。在本申请中，可以理解为CAD模型占据一个图层，在该图层中，通过渲染CAD模型的图层背景，将其设置为透明，摄像头拍摄的图片在另一个图层，通过对不同的图层进行合并即叠加可以使CAD模型与摄像头拍摄的图像同时显示在同一画面中。将CAD模型的渲染图层加载至画面顶层，从而把摄像头拍摄的图片作为环境背景，便于实现对三维模型的姿态调整，在调整过程中需要注意的是以待跟踪物体的实际图像为基准进行调整。
进一步的，如图3所示，提取位姿调整后三维模型的特征控制线段，基于控制线段，在实际图像中搜索相匹配的对应线段。
其中，
S103中提取三维模型特征控制线段可以具体通过以下步骤实现，包括：
S1031、对三维模型进行离屏渲染，得到模型投影图，提取模型投影图中所有投影线段并获得线段端点的像素坐标。
确认CAD模型姿态调整结束后，自动将CAD模型以当前姿态离屏渲染至一幅空白图像中，得到一张灰度图像，此时图像中只有模型的投影，从该图像中利用LSD算法提取出图像中(即模型的投影上)的所有投影直线段，可以记为{l}，需要说明的是，此时提取的投影直线段为二维线段，同时获得线段端点的像素坐标。
离屏渲染的目的主要是为了获得一副空白背景的图像，此图像只有CAD模型没有环境背景(即摄像头捕捉的图像)，这样在提取线条时才能保证提取到的都是CAD模型的线条而不包含其它外界环境干扰线条。其次也是为了把该过程放到后台执行，不影响交互体验。
S1032、根据线段端点的像素坐标反向投影到三维模型，获得三维模型坐标系下的空间点坐标。
根据在S1031中得到的投影直线段像素坐标，在GL环境中以线段端点的像素坐标向CAD模型进行反向投影，通过计算投影直线段与三维模型的交点，获得三维模型坐标系下的空间点坐标。
其中，GL是指OpenGL，专业的3D程序接口，用于调用底层3D图形库，可以通过搭建一个窗口环境来使用OpenGL最终得到控制直线段。S1033、根据三维模型坐标系下的空间点坐标，连接空间两端点确定三维模型的特征控制线段。
连接三维模型空间两端点确定一条三维线段，通过本步骤自动提取并生成了目标物体表面的三维线段，称之为控制直线段，得到控制直线段集，记为{L}，需要说明的是该控制直线段为三维空间线段。
相应的，S104中基于控制线段，在实际图像中确定相匹配的对应线段，也可以具体通过以下步骤实现，包括：
S1041、调整实际图像采集装置的姿态，以使三维模型朝实际图像中的待跟踪物体靠近。
用户调整图像采集装置，可以是某种设备或相机，或摄像头等。用户通过调整摄像头姿态，使摄像头拍摄画面中的待跟踪物体进一步的与CAD模型靠近。只有姿态接近时，在领域搜索到的线条才更有可能是正确的对应线条，从而降低了误匹配率。由于在S102中已经将CAD模型的姿态调整至与目标物体近似，所以在本步骤实际调整过程中只需要进行少量移动即可。
S1042、提取实际图像中待跟踪物体的所有线段并获得线段端点的像素坐标。
同样的，利用LSD算法提取出摄像头拍摄图像中的所有直线段，记为{limage}，同时获得端点坐标。
S1043、基于每一条特征控制线段，利用其在模型投影图中的二维控制线段，在实际图像中搜索相匹配的对应线段。
如上所述，通过CAD模型投影得到的投影直线段与根据投影直线段得到的控制直线段相对应，即投影直线段也可以理解为二维控制直线段。
针对上述S1031中通过提取CAD模型离屏渲染后得到的投影直线段{l}，对于其中的每一条直线段li，即控制直线段Li在图像中的投影，在摄像头拍摄实际图像的所有直线段{limage}中搜索对应直线段li。
需要说明的是，邻域搜索的对应直线段li′，应满足如下条件：
具体的：
条件1：li和li′的平行度在预设阈值(20°)范围内；
条件2：li和li′的距离dist(li的中点到li′的距离)在预设阈值(图像宽度的15％)范围内；
条件3：把li′的两端点沿垂向投影至li或其延长线上时，对应线段与li有重叠；
条件4：li与li′的长度比例在预设阈值(0.67＜li∶li′＜1.5)范围内；
条件5：若{limage}中多条直线段满足上述条件，则选取条件1中平行度最高的。
其中，条件5可以是对条件1的进一步补充，即，如果有多条直线段li′均满足条件1，则可以从中选取平行度最高的。此外，上述条件中括号内容，仅是举例说明可能的角度、距离或长度，在不同的应用条件下可以有不同的设定，并不因此作为对本申请的限制。
更进一步的，图4为本发明实施例提供的一种初始位姿的估计方法再一个实施例的流程图，如图4所示，S105中根据对应线段确定待跟踪物体的初始位姿，包括：
若与特征控制线段相匹配的对应直线段满足设定数量，则将使得控制直线段的投影线段与相匹配的对应直线段的距离满足最小二乘的位姿作为初始位姿。
具体来说：
若投影直线段{l}中找到对应直线段的数量比例高于预设阈值(例如，50％)且投影直线段-对应直线段≥6对，则与特征控制线段相匹配的对应直线段满足设定数量，求解位姿，否则跳过此帧，回到S1042。
位姿求解过程：由于投影直线段-对应直线段满足设定数量，所以使得在此位姿下控制直线段{L}的投影直线段{l[R|t]}与S106中的对应直线段的欧氏距离满足最小二乘，即
Figure BDA0003268345400000081
所以将此位姿作为待跟踪物体的初始位姿。其中，dist为投影直线段Proj(Li,[R|t])的中点到li′的距离。
如图5所示。该式可由非线性优化方法(如Levenberg-Marquardt)求解，优化过程中涉及迭代位姿求解，通过在S102对CAD模型进行姿态预调整，已经得到了一个更接近最优解的初值，因此迭代初值采用S102中调整后的位姿参数，从而使优化能够收敛到全局最优解。
本申请通过对三维模型进行姿态预调整和邻域搜索对应线段的方式，提高了二维图像与三维场景之间对应关系的准确性，从而提升了初始位姿估计的准确率。求解得到目标物体的初始位姿后，相当于获得了前帧信息，利用前帧信息当作先验信息只需要进行增量更新即可获得当前帧位姿，从而实现目标物体的实时跟踪。至于增量更新的具体实施方式，不是本申请研究重点。故不在此进行详细阐述。
图6为本申请提供的初始位姿的估计装置实施例的示意图，该装置包括：
采集模块61，用于采集待跟踪物体的实际图像；
调整模块62，用于基于实际图像，对预先建立的待跟踪物体的三维模型进行位姿调整；
提取模块63，基于位姿调整后的三维模型，提取三维模型的特征控制线段；基于特征控制线段，在实际图像中搜索相匹配的对应线段；
确定模块64,根据对应线段确定待跟踪物体的初始位姿。
图7为本申请提供的初始位姿的估计设备的结构示意图。如7所示，该电子设备可以包括：至少一个处理器71和存储器72。图7示出的是以一个处理器为例的电子设备。
存储器72，用于存放程序。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。
存储器72可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。
处理器71用于执行存储器72存储的计算机执行指令，以实现上述初始位姿的估计方法；
其中，处理器71可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路，处理器71通过运行存储器72中存储的指令以确定初始位姿。
可选的，在具体实现上，如果通信接口、存储器72和处理器71独立实现，则通信接口、存储器72和处理器71可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(Peripheral Component，简称为PCI)总线或扩展工业标准体系结构(Extended IndustryStandard Architecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果通信接口、存储器72和处理器71集成在一块芯片上实现，则通信接口、存储器72和处理器71可以通过内部接口完成通信。
本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁盘或者光盘等各种可以存储程序代码的介质，具体的，该计算机可读存储介质中存储有程序信息，程序信息用于上述初始位姿的估计方法。
本申请实施例还提供一种程序，该程序在被处理器执行时用于执行以上方法实施例提供的初始位姿的估计方法。
本申请实施例还提供一种程序产品，例如计算机可读存储介质，该程序产品中存储有指令，当其在计算机上运行时，使得计算机执行上述方法实施例提供的初始位姿的估计方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种初始位姿的估计方法，其特征在于，包括：
采集待跟踪物体的实际图像；
基于所述实际图像，对预先建立的所述待跟踪物体的三维模型进行位姿调整；
基于所述位姿调整后的三维模型，提取三维模型的特征控制线段；
基于所述特征控制线段，在所述实际图像中搜索相匹配的对应线段；
根据所述对应线段确定所述待跟踪物体的初始位姿。
2.根据权利要求1所述的方法，其特征在于，所述基于所述实际图像，对预先建立的所述待跟踪物体的三维模型进行位姿调整，包括：
设置所述待跟踪物体三维模型的渲染图层背景为透明，置为顶层图层，将所述三维模型的渲染图层与实际图像叠加对齐；
以所述待跟踪物体的实际图像为基准，对所述三维模型的姿态进行调整。
3.根据权利要求1所述的方法，其特征在于，所述基于位姿调整后的三维模型，提取三维模型的特征控制线段，包括：
对所述三维模型进行离屏渲染，得到模型投影图，提取所述模型投影图中所有投影线段并获得线段端点的像素坐标；
根据所述线段端点的像素坐标反向投影到三维模型，获得三维模型坐标系下的空间点坐标；
根据所述三维模型坐标系下的空间点坐标，连接空间两端点确定所述三维模型的特征控制线段，所述三维模型的特征控制线段表示三维控制线段。
4.根据权利要求3所述的方法，其特征在于，所述基于所述特征控制线段，在所述实际图像中搜索相匹配的对应线段，包括：
调整所述实际图像采集装置的姿态，以使所述三维模型朝所述实际图像中的待跟踪物体靠近；
提取所述实际图像中待跟踪物体的所有线段并获得线段端点的像素坐标；
基于每一条所述特征控制线段，利用其在所述模型投影图中的二维控制线段，在所述实际图像中搜索相匹配的对应线段。
5.根据权利要求4所述的方法，其特征在于，所述基于每一条所述特征控制线段，利用其在所述模型投影图中的二维控制线段，在所述实际图像中搜索相匹配的对应线段，包括，
所述二维控制线段与相匹配的对应线段满足以下条件：
所述二维控制线段与对应线段的平行度在预设平行度阈值范围内；
所述二维控制线段与对应线段的在预设图像宽度的阈值范围内；
将对应线段的两端点沿垂向投影至相匹配的二维控制线段或其延长线上时，对应线段与所述二维控制线段有重叠；
所述二维控制线段与对应线段的长度比例在预设阈值范围内。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述根据所述对应线段确定所述待跟踪物体的初始位姿，包括：
若与所述特征控制线段相匹配的对应线段满足设定数量，则将使得所述控制线段的投影线段与相匹配的对应线段的距离满足最小二乘的位姿作为所述初始位姿。
7.一种初始位姿的估计装置，包括：
采集模块，用于采集待跟踪物体的实际图像；
调整模块，用于基于所述实际图像，对预先建立的所述待跟踪物体的三维模型进行位姿调整；
提取模块，基于所述位姿调整后的三维模型，提取三维模型的特征控制线段；基于所述特征控制线段，在所述实际图像中搜索相匹配的对应线段；
确定模块,根据所述对应线段确定所述待跟踪物体的初始位姿。
8.一种初始位姿的估计设备，包括：存储器，处理器；
其中，所述存储器用于存储可执行指令；
所述处理器被配置为：运行所述存储器中存储的指令以执行如权利要求1-6所述的初始位姿的估计方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-6任一项所述的初始位姿的估计方法。
10.一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现权利要求1-6中任一项所述的初始位姿的估计方法。
CN202111093882.7A 2021-09-17 2021-09-17 初始位姿的估计方法、设备、计算机可读介质和程序产品 Pending CN113920160A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111093882.7A CN113920160A (zh) 2021-09-17 2021-09-17 初始位姿的估计方法、设备、计算机可读介质和程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111093882.7A CN113920160A (zh) 2021-09-17 2021-09-17 初始位姿的估计方法、设备、计算机可读介质和程序产品

Publications (1)

Publication Number Publication Date
CN113920160A true CN113920160A (zh) 2022-01-11

Family

ID=79235194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111093882.7A Pending CN113920160A (zh) 2021-09-17 2021-09-17 初始位姿的估计方法、设备、计算机可读介质和程序产品

Country Status (1)

Country Link
CN (1) CN113920160A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015111128A (ja) * 2014-12-19 2015-06-18 キヤノン株式会社 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
JP2019105992A (ja) * 2017-12-12 2019-06-27 富士通株式会社 画像処理装置、画像処理プログラム及び画像処理方法
CN111325796A (zh) * 2020-02-28 2020-06-23 北京百度网讯科技有限公司 用于确定视觉设备的位姿的方法和装置
CN113052954A (zh) * 2019-12-28 2021-06-29 深圳先进技术研究院 基于线段匹配的三维重建方法、装置、终端及存储介质
CN113298870A (zh) * 2021-05-07 2021-08-24 中国科学院深圳先进技术研究院 一种物体的姿态跟踪方法、装置、终端设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015111128A (ja) * 2014-12-19 2015-06-18 キヤノン株式会社 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
JP2019105992A (ja) * 2017-12-12 2019-06-27 富士通株式会社 画像処理装置、画像処理プログラム及び画像処理方法
CN113052954A (zh) * 2019-12-28 2021-06-29 深圳先进技术研究院 基于线段匹配的三维重建方法、装置、终端及存储介质
CN111325796A (zh) * 2020-02-28 2020-06-23 北京百度网讯科技有限公司 用于确定视觉设备的位姿的方法和装置
CN113298870A (zh) * 2021-05-07 2021-08-24 中国科学院深圳先进技术研究院 一种物体的姿态跟踪方法、装置、终端设备和存储介质

Similar Documents

Publication Publication Date Title
CN110322500B (zh) 即时定位与地图构建的优化方法及装置、介质和电子设备
CN111325796B (zh) 用于确定视觉设备的位姿的方法和装置
US10373380B2 (en) 3-dimensional scene analysis for augmented reality operations
US9990726B2 (en) Method of determining a position and orientation of a device associated with a capturing device for capturing at least one image
US10204423B2 (en) Visual odometry using object priors
CN110070564B (zh) 一种特征点匹配方法、装置、设备及存储介质
CN108381549B (zh) 一种双目视觉引导机器人快速抓取方法、装置及存储介质
US10810718B2 (en) Method and device for three-dimensional reconstruction
CN109472828B (zh) 一种定位方法、装置、电子设备及计算机可读存储介质
CN110660098B (zh) 基于单目视觉的定位方法和装置
JP6860620B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN110349212B (zh) 即时定位与地图构建的优化方法及装置、介质和电子设备
CN108648194A (zh) 基于cad模型三维目标识别分割和位姿测量方法及装置
CN111382613A (zh) 图像处理方法、装置、设备和介质
CN110070578B (zh) 一种回环检测方法
EP4058874A1 (en) Method and system for associating device coordinate systems in a multi-person ar system
CN114494150A (zh) 一种基于半直接法的单目视觉里程计的设计方法
CN105809664A (zh) 生成三维图像的方法和装置
US20220405968A1 (en) Method, apparatus and system for image processing
CN109785444A (zh) 图像中现实平面的识别方法、装置及移动终端
CN111192308A (zh) 图像处理方法及装置、电子设备和计算机存储介质
CN113012298B (zh) 一种基于区域检测的弯曲mark三维注册增强现实方法
JP7003617B2 (ja) 推定装置、推定方法、及び推定プログラム
CN117870716A (zh) 地图兴趣点的显示方法、装置、电子设备及存储介质
US20230005172A1 (en) Method and System for Implementing Adaptive Feature Detection for VSLAM Systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination