CN113160309A - 基于地面线的全景图定位定姿方法、系统、设备及介质 - Google Patents

基于地面线的全景图定位定姿方法、系统、设备及介质 Download PDF

Info

Publication number
CN113160309A
CN113160309A CN202110400741.9A CN202110400741A CN113160309A CN 113160309 A CN113160309 A CN 113160309A CN 202110400741 A CN202110400741 A CN 202110400741A CN 113160309 A CN113160309 A CN 113160309A
Authority
CN
China
Prior art keywords
panoramic
reference frame
current frame
ground line
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110400741.9A
Other languages
English (en)
Other versions
CN113160309B (zh
Inventor
张小虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jietu Tianxia Network Technology Co ltd
Original Assignee
Shanghai Jietu Tianxia Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jietu Tianxia Network Technology Co ltd filed Critical Shanghai Jietu Tianxia Network Technology Co ltd
Priority to CN202110400741.9A priority Critical patent/CN113160309B/zh
Publication of CN113160309A publication Critical patent/CN113160309A/zh
Application granted granted Critical
Publication of CN113160309B publication Critical patent/CN113160309B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了基于地面线的全景图定位定姿方法、系统、设备及介质，所述方法包括步骤：在一待定位全景图组中选取基准帧以及当前帧，将基准帧作为当前帧的参考帧；分别在参考帧和当前帧中确定至少一同名地面线；依据同名地面线的端点分别在参考帧以及当前帧中的像素坐标，获取当前帧相对参考帧的旋转角度和平移向量，并依据旋转角度和平移向量，对当前帧的局部坐标系进行坐标系变换；以当前帧为新的参考帧，从待定位全景图组中剩余的全景图选取一张作为新的当前帧，重复执行上述步骤，直至完成待定位全景图组中所有全景图的坐标系变换；本申请降低了对全景序列数据实现空间定位定向的难度，灵活性更好。

Description

基于地面线的全景图定位定姿方法、系统、设备及介质
技术领域
本发明涉及地图处理技术领域，具体地说，涉及一种基于地面线的全景图定位定姿方法、系统、设备及介质。
背景技术
缺少空间定位定向的全景序列数据，在动态漫游和空间关系上无法有效复原空间方位关系，导致以机械性的固定视线作漫游缺少空间感，所以导致场景虚拟现实的效果不尽人意。
现有技术中，对于全景序列数据的空间定位定向，一般需要很多限制条件。比如，会要求全景序列数据之间的连续性、全景序列数据之间的采集距离和方向、拍摄的间隔，或者要求场景有足够稳定纹理特征用于特征匹配与跟踪等等，约束条件较多，这给全景序列数据的空间定位定向带来了较高的技术难度和实际应用的极大不便。
发明内容
针对现有技术中的问题，本发明的目的在于提供一种基于地面线的全景图定位定姿方法、系统、设备及介质，降低了对全景序列数据实现空间定位定向的难度，利于提高空间定位定向的适应性。
为实现上述目的，本发明提供了一种基于地面线的全景图定位定姿方法，所述方法包括以下步骤：
S110，在一待定位全景图组中选取基准帧以及当前帧，将所述基准帧作为所述当前帧的参考帧；所述当前帧对应的空间区域与所述参考帧对应的空间区域具有重合的空间区域；所述重合的空间区域内存在至少一条实际地面线；
S120，分别在所述参考帧和所述当前帧中确定至少一同名地面线；所述同名地面线为所述实际地面线在所述参考帧或所述当前帧中的投影；
S130，依据所述同名地面线的端点分别在参考帧以及当前帧中的像素坐标，获取所述当前帧相对所述参考帧的旋转角度和平移向量，并依据所述旋转角度和平移向量，对所述当前帧的局部坐标系进行坐标系变换；
S140，以当前帧为新的参考帧，从待定位全景图组中剩余的全景图选取一张作为新的当前帧，重复执行步骤S110至S130，直至完成待定位全景图组中所有全景图的坐标系变换。
可选地，所述步骤S130包括：
S131，依据所述同名地面线的端点分别在参考帧以及当前帧中的像素坐标，获取参考帧和当前帧各自的视点高度，以及所述端点分别在参考帧以及当前帧中的全景坐标；
S132，依据所述参考帧和当前帧各自的视点高度，以及所述端点分别在参考帧以及当前帧中的全景坐标，获取所述当前帧相对所述参考帧的旋转角度和平移向量。
可选地，所述像素坐标包括第一像素坐标和第二像素坐标；所述同名地面线为基于所述实际地面线在所述参考帧中的投影生成的第一地面线，或所述实际地面线在所述当前帧中的投影生成的第二地面线；
所述步骤S131包括：
依据所述第一地面线的两个端点在所述参考帧中的第一像素坐标和第二像素坐标，获取所述参考帧对应的视点高度以及第一地面线的两个端点在所述参考帧的局部坐标系下的全景坐标；
依据所述第二地面线的两个端点在所述当前帧中的第一像素坐标和第二像素坐标，获取所述当前帧对应的视点高度以及第二地面线的两个端点在所述当前帧的局部坐标系下的全景坐标；
所述步骤S132包括：
依据所述参考帧对应的视点高度、所述当前帧对应的视点高度、第一地面线的两个端点在所述参考帧的局部坐标系下的全景坐标，以及第二地面线的两个端点在所述当前帧的局部坐标系下的全景坐标，获取所述当前帧相对所述参考帧的旋转角度和平移向量。
可选地，待定位全景图组中的全景图为基于视点采集的球型全景图或根据所述球型全景图获得的平面展开图，所述待定位全景图组中的全景图的像素坐标与生成所述全景图时的全景视线方向相关联；所述像素坐标包括第一像素坐标和第二像素坐标；所述步骤S131包括：
根据所述同名地面线的端点在全景图中的第一像素坐标，获得其在全景图中对应的第一全景视线方向；所述全景图为所述参考帧或当前帧；
根据所述同名地面线的端点在全景图中的第二像素坐标，获得其在全景图中对应的第二全景视线方向；
根据所述同名地面线的端点对应的第一全景视线方向之间的差值、所述同名地面线的预设长度以及端点对应的第二全景视线方向，分别获取参考帧和当前帧的视点高度。
可选地，所述步骤S131包括：
根据所述同名地面线的端点在全景图中对应的第一全景视线方向以及第二全景视线方向，确定由全景图的视点指向所述同名地面线的端点的单位向量；
以全景图的视点作为参考帧或当前帧各自对应的局部坐标系的原点，依据所述单位向量，获取所述同名地面线的端点分别在参考帧以及当前帧中的全景坐标。
可选地，所述同名地面线为基于所述实际地面线在所述参考帧中的投影生成的第一地面线，或所述实际地面线在所述当前帧中的投影生成的第二地面线；所述步骤S132中，当前帧相对所述参考帧的旋转角度和平移向量通过以下公式(1)和公式(2)计算得到：
Figure BDA0003020284220000031
Figure BDA0003020284220000032
其中，Yaw表示旋转角度，(x11,y11,z11)表示第一地面线的第一端点的全景坐标，(x12,y12,z12)表示第一地面线的第二端点的全景坐标，(x21,y21,z21)表示第二地面线的第一端点的全景坐标，(x22,y22,z22)表示第二地面线的第二端点的全景坐标，(Tx,Ty,Tz)表示平移向量；
Figure BDA0003020284220000041
是全景坐标(x21,y21,z21)对应的矩阵表示形式，
Figure BDA0003020284220000042
是全景坐标(x22,y22,z22)对应的矩阵表示形式，
Figure BDA0003020284220000043
是全景坐标(x11,y11,z11)对应的矩阵表示形式，
Figure BDA0003020284220000044
是全景坐标(x12,y12,z12)对应的矩阵表示形式。
Figure BDA0003020284220000045
是平移向量(Tx,Ty,Tz)对应的矩阵表示形式。
可选地，所述步骤S110包括：
在一预设空间中基于不同的视点采集多张全景图，构成一全景图库；每一张全景图对应一个视点；
对所述全景图库进行遍历，以所述全景图库的每一张全景图分别作为帧链的起始帧，生成多个帧链；所述帧链的个数与全景图库中全景图的个数相同；所述帧链中的相邻两张全景图具有重合的空间区域；
获取包含的全景图个数最多的帧链作为目标帧链，采用目标帧链中的所有全景图构建形成待定位全景图组。
可选地，所述单位向量为(p,q,r)，其中p＝sinA*cosB，q＝＝cosA*cosB，r＝sinB；
A为同名地面线的端点在全景图中对应的第一全景视线方向，B为同名地面线的端点在全景图中对应的第二全景视线方向。
本发明还提供了一种基于地面线的全景图定位定姿系统，用于实现上述基于地面线的全景图定位定姿方法，所述系统包括：
参考帧确定模块，用于在一待定位全景图组中选取基准帧以及当前帧，将所述基准帧作为所述当前帧的参考帧；所述当前帧对应的空间区域与所述参考帧对应的空间区域具有重合的空间区域；所述重合的空间区域内存在至少一条实际地面线；
同名地面线确定模块，用于分别在所述参考帧和所述当前帧中确定至少一同名地面线；所述同名地面线为所述实际地面线在所述参考帧或所述当前帧中的投影；
坐标系变换模块，用于依据所述同名地面线的端点分别在参考帧以及当前帧中的像素坐标，获取所述当前帧相对所述参考帧的旋转角度和平移向量，并依据所述旋转角度和平移向量，对所述当前帧的局部坐标系进行坐标系变换；
批处理变换模块，用于以当前帧为新的参考帧，从待定位全景图组中剩余的全景图选取一张作为新的当前帧，重复执行参考帧确定模块、同名地面线确定模块以及坐标系变换模块，直至完成待定位全景图组中所有全景图的坐标系变换。
本发明还提供了一种基于地面线的全景图定位定姿设备，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项基于地面线的全景图定位定姿方法的步骤。
本发明还提供了一种计算机可读存储介质，用于存储程序，所述程序被处理器执行时实现上述任意一项基于地面线的全景图定位定姿方法的步骤。
本发明与现有技术相比，具有以下优点及突出性效果：
本发明提供的基于地面线的全景图定位定姿方法、系统、设备及介质基于可量测的同名地面线建立全景图之间同名地面线的关联，以及全景图的像素坐标，即可实现全景序列数据的空间定位定向，约束条件较少，降低了对全景序列数据实现空间定位定向的难度，灵活性更好。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。
图1为本发明一实施例公开的一种基于地面线的全景图定位定姿方法的示意图；
图2是参考帧对应的空间区域和当前帧对应的空间区域之间重合的空间区域的局部示意图；
图3为本发明一实施例公开的参考帧的局部示意图；
图4为本发明一实施例公开的当前帧的局部示意图；
图5为参考帧对应的视点高度的求解过程中的图解示意图；
图6为本发明一实施例公开的基于地面线的全景图定位定姿方法中步骤S140的求解过程图解示意图；
图7为本发明一实施例公开的一种基于地面线的全景图定位定姿系统的结构示意图；
图8为本发明一实施例公开的一种基于地面线的全景图定位定姿设备的结构示意图；
图9为本发明一实施例公开的一种计算机可读存储介质的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式。相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。
如图1所示，本发明一实施例公开了一种基于地面线的全景图定位定姿方法，该方法包括以下步骤：
S110，在一待定位全景图组中选取基准帧以及当前帧，将上述基准帧作为上述当前帧的参考帧。具体来说，上述待定位全景图组中的全景图为基于视点采集到的球型全景图或根据上述球型全景图展开获得的平面展开图。比如，视点可以为一相机，可利用该相机架设于一固定支架上，相机可以在固定支架上转动，这样可以采集拍摄形成一球型全景图。本实施例中，球型全景图是360°x180°的球型全景图。本申请不以此为限。需要说明的是，上述球型全景图是球面全景，并不是平面全景。并且，上述球型全景图可以直接拍摄生成，也可以由多张图拼接生成。上述视点即为球型全景图的拍摄点。
上述基于球型全景图展开得到的平面展开图可以为2:1的比例，也即平面展开图的宽度和高度的比例为2:1。
基准帧和当前帧均为待定位全景图组中的全景图。并且，基准帧(也即当前帧的参考帧)对应的空间区域和当前帧对应的空间区域之间具有重合的空间区域。该重合的空间区域内存在至少一条实际地面线，以便在后续步骤中需要在参考帧和当前帧中确定同名地面线。
上述待定位全景图组中的每一个全景图对应一个局部坐标系，即每一个全景图均有一个自己的局部坐标系。每一个全景图对应的局部坐标系可以是以该全景图对应的视点为原点建立的。本申请要实现的就是，实现所有局部坐标系在一作为基准(即基准帧)的局部坐标系下的坐标统一。
在本申请的其他实施例中，上述步骤S110还可以包括：
对所有上述待定位全景图组中的全景图进行预处理，使上述全景图的水平视线方向和全景图中的地面所在平面平行。这样可以便于后续步骤中可以快速地确定同名地面线，减小后续步骤的计算量，也即利于减小本申请的计算量，提高系统性能。
S120，分别在上述参考帧和上述当前帧中确定至少一同名地面线。所述同名地面线为所述实际地面线在所述参考帧或所述当前帧中的投影。具体来说，参考帧和当前帧之间也具有重合区域，重合区域内具有至少一条同名地面线。上述同名地面线是指向位于参考帧和当前帧的重合区域内的地面上同一对象的线段。因此，所述同名地面线为基于所述实际地面线在所述参考帧中的投影生成的第一地面线，或基于所述实际地面线在所述当前帧中的投影生成的第二地面线。
比如，参考图2，图2是上述参考帧和上述当前帧之间重合的空间区域的局部示意图。也即，待定位全景图组中的全景图采集时的空间区域包含图2所示的空间区域。实际地面线MN就是位于重合的空间区域内地面上的一条线段。参考图3，图3是参考帧301的示意图。第一地面线M1N1就是实际地面线MN在参考帧301中的投影。参考图4，图4是当前帧401的示意图。第二地面线M2N2就是实际地面线MN在当前帧401中的投影。第一地面线M1N1和第二地面线M2N2属于同名地面线。第一地面线M1N1和第二地面线M2N2属可以是一扇门与地面相交形成的线段，也可以是桌子的两个桌腿与地面相交形成的线段。
对于位于参考帧和当前帧的重合的空间区域内的实际地面线的确定，可以利用计算机自动完成，也可以由人工选中完成。比如，基于机器视觉技术经过学习训练模型，将重合的空间区域内不同线段与地面相交形成的端点之间的线段作为实际地面线。
需要说明的是，上述同名地面线是指位于地面上的一条线。上述同名地面线也可以为参考帧和当前帧中的指向同一地面对象的在球型全景展开图上的曲线线段。本申请对同名地面线的形状不作限定。
S130，依据上述同名地面线的端点分别在参考帧以及当前帧中的像素坐标，获取上述当前帧相对上述参考帧的旋转角度和平移向量；并依据上述旋转角度和平移向量，对上述当前帧的局部坐标系进行坐标系变换。也即，依据同名地面线的两个端点在参考帧中的像素坐标，以及同名地面线的两个端点在当前帧中的像素坐标，得到上述旋转角度和平移向量。
本实施例中，上述步骤S130包括：
S131，依据上述同名地面线的端点分别在参考帧以及当前帧中的像素坐标，获取参考帧和当前帧各自的视点高度，以及上述端点分别在参考帧以及当前帧中的全景坐标。以及
S132，依据上述参考帧和当前帧各自的视点高度，以及上述端点分别在参考帧以及当前帧中的全景坐标，获取当前帧相对参考帧的旋转角度和平移向量。其中，上述像素坐标包括第一像素坐标和第二像素坐标。比如，第一像素坐标可以为X轴坐标，第二像素坐标可以为Y轴坐标。或者，第一像素坐标可以为水平像素坐标，第二像素坐标可以为纵向像素坐标。上述像素坐标可以为二维坐标，全景坐标可以为三维坐标。
本实施例中，待定位全景图组中的全景图的像素坐标与生成上述全景图时的全景视线方向相关联。也即，全景图的每一个第一像素坐标或者第二像素坐标对应一个相应方向的全景视线方向。需要说明的是，全景视线方向为角度值，每一个全景视线方向以一角度值进行表示。比如，以平面展开图的宽度方向(即水平方向)为例，全景视线方向可以以平面展开图的最左侧表示为0°，至最右侧表示为360°，此时每一个水平像素坐标即对应一个水平方向的全景视线方向的值(可以通过水平像素坐标与总的水平像素坐标的比值与360°的乘积计算得到)。以球型全景图为例，可以通过第一像素坐标与总的像素坐标的比值与360°的乘积计算得到一第一全景视线方向，或者通过第二像素坐标与总的像素坐标的比值与180°的乘积计算得到一第二全景视线方向。
具体来说，上述步骤S131包括：
S1311，依据上述第一地面线202的两个端点在上述参考帧中的第一像素坐标和第二像素坐标，获取上述参考帧对应的视点高度以及第一地面线202的两个端点在上述参考帧对应的局部坐标系下的全景坐标。也即，依据第一地面线202的两个端点在上述参考帧中的第一像素坐标，以及第一地面线202的两个端点在上述参考帧中的第二像素坐标，获取上述参考帧对应的视点高度以及上述全景坐标。
以及S1312，依据上述第二地面线302的两个端点在上述当前帧中的第一像素坐标和第二像素坐标，获取上述当前帧对应的视点高度以及第二地面线302的两个端点在上述当前帧对应的局部坐标系下的全景坐标。类似地，也即，依据上述第二地面线302的两个端点在上述当前帧中的第一像素坐标，以及上述第二地面线302的两个端点在上述当前帧中的第二像素坐标，获取上述当前帧对应的视点高度以及上述全景坐标。
进一步来说，步骤S131中包含有以下步骤：
根据上述同名地面线的端点在全景图中的第一像素坐标，获得其在全景图中对应的第一全景视线方向。该全景图为上述参考帧或当前帧。
根据上述同名地面线的端点在全景图中的第二像素坐标，获得其在全景图中对应的第二全景视线方向。
根据上述同名地面线的端点对应的第一全景视线方向之间的差值、上述同名地面线的预设长度以及端点对应的第二全景视线方向，分别获取参考帧和当前帧的视点高度。
根据上述同名地面线的端点在全景图中对应的第一全景视线方向以及第二全景视线方向，确定由全景图的视点指向上述同名地面线的端点的单位向量。以及
依据上述单位向量，获取上述同名地面线的端点分别在参考帧以及当前帧中的全景坐标。
其中，上述单位向量为(p,q,r)，其中p＝sinA*cosB，q＝＝cosA*cosB，r＝sinB。上述A为同名地面线的端点在全景图中对应的第一全景视线方向，上述B为同名地面线的端点在全景图中对应的第二全景视线方向。
需要说明的是，本申请只是给出了单位向量(p,q,r)的一种表现形式，单位向量(p,q,r)也可以根据需要和角度A、角度B以其他的形式进行表示，本申请对此不作限制，均在本申请的保护范围之内。
下面参考图5，以上述参考帧对应的视点高度，以及第一地面线的两个端点在上述参考帧对应的局部坐标系下的全景坐标依据上述步骤的计算过程进行示例性说明，当前帧对应的视点高度以及相应的全景坐标可参考该过程实现：
设第一地面线的两个端点为M(第一端点)和N(第二端点)，该参考帧对应的视点为O，O点在该参考帧的地面上的投影点为C。参考帧对应的视点高度即为线段OC的长度。依据M(第一端点)点在参考帧中的第一像素坐标，得到其第一全景视线方向对应为140°。依据N(第二端点)点在参考帧中的第一像素坐标，得到其第一全景视线方向对应为170°。那么角度∠MCN的值为170°与140°的差值，即为30°。
依据M点在参考帧中的第二像素坐标，得到其第二全景视线方向为45°。依据N点在参考帧中的第二像素坐标，得到的其第二全景视线方向为75°。
依据上述差值30°、M点对应的第二全景视线方向45°、N点对应的第二全景视线方向75°以及同名地面线MN的预设长度，依据以下公式计算得到参考帧的视点O的高度h1：
Figure BDA0003020284220000101
其中，d表示同名地面线MN的预设长度，
Figure BDA0003020284220000102
h1表示参考帧的视点O的高度，θN表示N点对应的第二全景视线方向，θM表示M点对应的第二全景视线方向。m为线段CN的长度，n为线段CM的长度。
在参考帧的视点O的高度h1计算得到后，参考帧中第一地面线的端点M和N在局部坐标系中的Z轴坐标均为-h1(前提是局部坐标系以视点为原点建立的)。设置参考帧中的地面所在平面的初始方程，该方程中的Z＝-h1，利用上述单位向量(p,q,r)与参考帧中的地面所在平面相交即可得到第一地面线的端点M和N的全景坐标。该计算过程可利用现有技术中的射线与平面相交的求解方法计算得到。
其中，上述同名地面线MN的预设长度为预设生成，比如可以为1.5米。该预设长度可以根据实际测量得到，也可以人工估计得到。本申请对此不作限制。
需要说明的是，上述参考帧和当前帧各自对应的视点高度也可以根据采集上述待定位全景图组中的全景图时记录得到。本申请对此不作限制。
上述步骤S132包括：
依据上述参考帧对应的视点高度、上述当前帧对应的视点高度、第一地面线的两个端点在上述参考帧对应的局部坐标系下的全景坐标，以及第二地面线的两个端点在上述当前帧对应的局部坐标系下的全景坐标，获取上述当前帧相对上述参考帧的旋转角度和平移向量。
上述步骤S132中，当前帧相对上述参考帧的旋转角度和平移向量通过以下公式(1)和公式(2)计算得到：
Figure BDA0003020284220000111
Figure BDA0003020284220000112
其中，Yaw表示旋转角度，(x11,y11,z11)表示参考帧中的第一地面线的第一端点的全景坐标，(x12,y12,z12)表示第一地面线的第二端点的全景坐标，(x21,y21,z21)表示当前帧中的第二地面线的第一端点的全景坐标，(x22,y22,z22)表示第二地面线的第二端点的全景坐标，(Tx,Ty,Tz)表示平移向量。
上述公式中，
Figure BDA0003020284220000113
是全景坐标(x21,y21,z21)对应的矩阵表示形式，
Figure BDA0003020284220000114
是全景坐标(x22,y22,z22)对应的矩阵表示形式，
Figure BDA0003020284220000115
是全景坐标(x11,y11,z11)对应的矩阵表示形式，
Figure BDA0003020284220000116
是全景坐标(x12,y12,z12)对应的矩阵表示形式。
Figure BDA0003020284220000117
是平移向量(Tx,Ty,Tz)对应的矩阵表示形式，
Figure BDA0003020284220000118
是旋转角度Yaw对应的旋转矩阵。
其中，z11＝-h1，z21＝-h2，z12＝-h1，z22＝-h2，h1表示参考帧的视点O的高度，h2表示当前帧对应的视点的高度。根据矩阵运算规则，Tz＝h1-h2。可以计算出Tx、Ty以及Yaw。也就可以得到上述平移向量。
S140，以当前帧为新的参考帧，从待定位全景图组中剩余的全景图选取一张作为新的当前帧，利用新的当前帧和新的参考帧重复执行步骤S110至S130，直至完成待定位全景图组中所有全景图的坐标系变换。参考图6，集合61是已完成定位的全景图集合，集合61中包含有基准帧62、新的参考帧63，新的当前帧64属于未完成定位的全景图。新的当前帧64将以新的参考帧63作为参考帧，完成定位。
本申请的另一个实施例在上述实施例的基础上，公开了另一种基于地面线的全景图定位定姿方法，该实施例中，步骤S110包括：
在一预设空间中基于不同的视点采集多张全景图，构成一全景图库。每一张全景图对应一个视点。
对上述全景图库进行遍历，以上述全景图库的每一张全景图分别作为帧链的起始帧，生成多个帧链。上述帧链的个数与全景图库中全景图的个数相同。上述帧链中的相邻两张全景图具有重合的空间区域。
获取包含的全景图个数最多的帧链作为目标帧链，采用目标帧链中的所有全景图构建形成待定位全景图组。
这样可以提高待定位全景图组的获取效率，利于提高整个系统的计算效率。
如图7所示，本发明一实施例还公开了一种基于地面线的全景图定位定姿系统7，该系统包括：
参考帧确定模块71，用于在一待定位全景图组中选取基准帧以及当前帧，将所述基准帧作为所述当前帧的参考帧；所述当前帧对应的空间区域与所述参考帧对应的空间区域具有重合的空间区域；所述重合的空间区域内存在至少一条实际地面线。
同名地面线确定模块72，用于分别在所述参考帧和所述当前帧中确定至少一同名地面线；所述同名地面线为所述实际地面线在所述参考帧或所述当前帧中的投影。
坐标系变换模块73，用于依据所述同名地面线的端点分别在参考帧以及当前帧中的像素坐标，获取所述当前帧相对所述参考帧的旋转角度和平移向量，并依据所述旋转角度和平移向量，对所述当前帧的局部坐标系进行坐标系变换。
批处理变换模块74，用于以当前帧为新的参考帧，从待定位全景图组中剩余的全景图选取一张作为新的当前帧，重复执行参考帧确定模块、同名地面线确定模块以及坐标系变换模块，直至完成待定位全景图组中所有全景图的坐标系变换。
可以理解的是，本发明的基于地面线的全景图定位定姿系统还包括其他支持基于地面线的全景图定位定姿系统运行的现有功能模块。图7显示的基于地面线的全景图定位定姿系统仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
本实施例中的基于地面线的全景图定位定姿系统用于实现上述的基于地面线的全景图定位定姿的方法，因此对于基于地面线的全景图定位定姿系统的具体实施步骤可以参照上述对基于地面线的全景图定位定姿的方法的描述，此处不再赘述。
本发明一实施例还公开了一种基于地面线的全景图定位定姿设备，包括处理器和存储器，其中存储器存储有所述处理器的可执行指令；处理器配置为经由执行可执行指令来执行上述基于地面线的全景图定位定姿方法中的步骤。图8是本发明公开的基于地面线的全景图定位定姿设备的结构示意图。下面参照图8来描述根据本发明的这种实施方式的电子设备600。图8显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述基于地面线的全景图定位定姿方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
本发明还公开了一种计算机可读存储介质，用于存储程序，所述程序被执行时实现上述基于地面线的全景图定位定姿方法中的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述基于地面线的全景图定位定姿方法中描述的根据本发明各种示例性实施方式的步骤。
如上所示，该实施例的计算机可读存储介质的程序在执行时，基于可量测的同名地面线建立全景图之间同名地面线的关联，以及全景图的像素坐标，即可实现全景序列数据的空间定位定向，约束条件较少，降低了对全景序列数据实现空间定位定向的难度，灵活性更好。
图9是本发明的计算机可读存储介质的结构示意图。参考图9所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本发明实施例提供的基于地面线的全景图定位定姿方法、系统、设备及介质基于可量测的同名地面线建立全景图之间同名地面线的关联，以及全景图的像素坐标，即可实现全景序列数据的空间定位定向，约束条件较少，降低了对全景序列数据实现空间定位定向的难度，灵活性更好。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (11)

1.一种基于地面线的全景图定位定姿方法，其特征在于，包括以下步骤：
S110，在一待定位全景图组中选取基准帧以及当前帧，将所述基准帧作为所述当前帧的参考帧；所述当前帧对应的空间区域与所述参考帧对应的空间区域具有重合的空间区域；所述重合的空间区域内存在至少一条实际地面线；
S120，分别在所述参考帧和所述当前帧中确定至少一同名地面线；所述同名地面线为所述实际地面线在所述参考帧或所述当前帧中的投影；
S130，依据所述同名地面线的端点分别在参考帧以及当前帧中的像素坐标，获取所述当前帧相对所述参考帧的旋转角度和平移向量，并依据所述旋转角度和平移向量，对所述当前帧的局部坐标系进行坐标系变换；
S140，以当前帧为新的参考帧，从待定位全景图组中剩余的全景图选取一张作为新的当前帧，重复执行步骤S110至S130，直至完成待定位全景图组中所有全景图的坐标系变换。
2.如权利要求1所述的基于地面线的全景图定位定姿方法，其特征在于，所述步骤S130包括：
S131，依据所述同名地面线的端点分别在参考帧以及当前帧中的像素坐标，获取参考帧和当前帧各自的视点高度，以及所述端点分别在参考帧以及当前帧中的全景坐标；
S132，依据所述参考帧和当前帧各自的视点高度，以及所述端点分别在参考帧以及当前帧中的全景坐标，获取所述当前帧相对所述参考帧的旋转角度和平移向量。
3.如权利要求2所述的基于地面线的全景图定位定姿方法，其特征在于，所述像素坐标包括第一像素坐标和第二像素坐标；所述同名地面线为基于所述实际地面线在所述参考帧中的投影生成的第一地面线，或所述实际地面线在所述当前帧中的投影生成的第二地面线；
所述步骤S131包括：
依据所述第一地面线的两个端点在所述参考帧中的第一像素坐标和第二像素坐标，获取所述参考帧对应的视点高度以及第一地面线的两个端点在所述参考帧的局部坐标系下的全景坐标；
依据所述第二地面线的两个端点在所述当前帧中的第一像素坐标和第二像素坐标，获取所述当前帧对应的视点高度以及第二地面线的两个端点在所述当前帧的局部坐标系下的全景坐标；
所述步骤S132包括：
依据所述参考帧对应的视点高度、所述当前帧对应的视点高度、第一地面线的两个端点在所述参考帧的局部坐标系下的全景坐标，以及第二地面线的两个端点在所述当前帧的局部坐标系下的全景坐标，获取所述当前帧相对所述参考帧的旋转角度和平移向量。
4.如权利要求2所述的基于地面线的全景图定位定姿方法，其特征在于，待定位全景图组中的全景图为基于视点采集的球型全景图或根据所述球型全景图获得的平面展开图，所述待定位全景图组中的全景图的像素坐标与生成所述全景图时的全景视线方向相关联；所述像素坐标包括第一像素坐标和第二像素坐标；所述步骤S131包括：
根据所述同名地面线的端点在全景图中的第一像素坐标，获得其在全景图中对应的第一全景视线方向；所述全景图为所述参考帧或当前帧；
根据所述同名地面线的端点在全景图中的第二像素坐标，获得其在全景图中对应的第二全景视线方向；
根据所述同名地面线的端点对应的第一全景视线方向之间的差值、所述同名地面线的预设长度以及端点对应的第二全景视线方向，分别获取参考帧和当前帧的视点高度。
5.如权利要求4所述的基于地面线的全景图定位定姿方法，其特征在于，所述步骤S131包括：
根据所述同名地面线的端点在全景图中对应的第一全景视线方向以及第二全景视线方向，确定由全景图的视点指向所述同名地面线的端点的单位向量；
以全景图的视点作为参考帧或当前帧各自对应的局部坐标系的原点，依据所述单位向量，获取所述同名地面线的端点分别在参考帧以及当前帧中的全景坐标。
6.如权利要求2所述的基于地面线的全景图定位定姿方法，其特征在于，所述同名地面线为基于所述实际地面线在所述参考帧中的投影生成的第一地面线，或所述实际地面线在所述当前帧中的投影生成的第二地面线；所述步骤S132中，当前帧相对所述参考帧的旋转角度和平移向量通过以下公式(1)和公式(2)计算得到：
Figure FDA0003020284210000031
Figure FDA0003020284210000032
其中，Yaw表示旋转角度，(x11,y11,z11)表示第一地面线的第一端点的全景坐标，(x12,y12,z12)表示第一地面线的第二端点的全景坐标，(x21,y21,z21)表示第二地面线的第一端点的全景坐标，(x22,y22,z22)表示第二地面线的第二端点的全景坐标，(Tx,Ty,Tz)表示平移向量；
Figure FDA0003020284210000033
是全景坐标(x21,y21,z21)对应的矩阵表示形式，
Figure FDA0003020284210000034
是全景坐标(x22,y22,z22)对应的矩阵表示形式，
Figure FDA0003020284210000035
是全景坐标(x11,y11,z11)对应的矩阵表示形式，
Figure FDA0003020284210000036
是全景坐标(x12,y12,z12)对应的矩阵表示形式。
Figure FDA0003020284210000037
是平移向量(Tx,Ty,Tz)对应的矩阵表示形式。
7.如权利要求1所述的基于地面线的全景图定位定姿方法，其特征在于，所述步骤S110包括：
在一预设空间中基于不同的视点采集多张全景图，构成一全景图库；每一张全景图对应一个视点；
对所述全景图库进行遍历，以所述全景图库的每一张全景图分别作为帧链的起始帧，生成多个帧链；所述帧链的个数与全景图库中全景图的个数相同；所述帧链中的相邻两张全景图具有重合的空间区域；
获取包含的全景图个数最多的帧链作为目标帧链，采用目标帧链中的所有全景图构建形成待定位全景图组。
8.如权利要求5所述的基于地面线的全景图定位定姿方法，其特征在于，所述单位向量为(p,q,r)，其中p＝sinA*cosB，q＝＝cosA*cosB，r＝sinB；
A为同名地面线的端点在全景图中对应的第一全景视线方向，B为同名地面线的端点在全景图中对应的第二全景视线方向。
9.一种基于地面线的全景图定位定姿系统，用于实现如权利要求1所述的基于地面线的全景图定位定姿方法，其特征在于，所述系统包括：
参考帧确定模块，用于在一待定位全景图组中选取基准帧以及当前帧，将所述基准帧作为所述当前帧的参考帧；所述当前帧对应的空间区域与所述参考帧对应的空间区域具有重合的空间区域；所述重合的空间区域内存在至少一条实际地面线；
同名地面线确定模块，用于分别在所述参考帧和所述当前帧中确定至少一同名地面线；所述同名地面线为所述实际地面线在所述参考帧或所述当前帧中的投影；
坐标系变换模块，用于依据所述同名地面线的端点分别在参考帧以及当前帧中的像素坐标，获取所述当前帧相对所述参考帧的旋转角度和平移向量，并依据所述旋转角度和平移向量，对所述当前帧的局部坐标系进行坐标系变换；
批处理变换模块，用于以当前帧为新的参考帧，从待定位全景图组中剩余的全景图选取一张作为新的当前帧，重复执行参考帧确定模块、同名地面线确定模块以及坐标系变换模块，直至完成待定位全景图组中所有全景图的坐标系变换。
10.一种基于地面线的全景图定位定姿设备，其特征在于，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至8中任意一项所述基于地面线的全景图定位定姿方法的步骤。
11.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被处理器执行时实现权利要求1至8中任意一项所述基于地面线的全景图定位定姿方法的步骤。
CN202110400741.9A 2021-04-14 2021-04-14 基于地面线的全景图定位定姿方法、系统、设备及介质 Active CN113160309B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110400741.9A CN113160309B (zh) 2021-04-14 2021-04-14 基于地面线的全景图定位定姿方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110400741.9A CN113160309B (zh) 2021-04-14 2021-04-14 基于地面线的全景图定位定姿方法、系统、设备及介质

Publications (2)

Publication Number Publication Date
CN113160309A true CN113160309A (zh) 2021-07-23
CN113160309B CN113160309B (zh) 2024-04-30

Family

ID=76890414

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110400741.9A Active CN113160309B (zh) 2021-04-14 2021-04-14 基于地面线的全景图定位定姿方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN113160309B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116934857A (zh) * 2023-07-17 2023-10-24 北京理工大学 一种基于全景图片的视觉定位方法、装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130250036A1 (en) * 2012-03-23 2013-09-26 Polycom, Inc. Method and System for Determining Reference Points in Video Image Frames
US20190197709A1 (en) * 2017-12-21 2019-06-27 Microsoft Technology Licensing, Llc Graphical coordinate system transform for video frames
US20200145694A1 (en) * 2017-07-05 2020-05-07 Huawei Technologies Co., Ltd. Apparatus and method for decoding a panoramic video
CN111161173A (zh) * 2019-12-18 2020-05-15 北京城市网邻信息技术有限公司 图像的校正信息获取、模型构建方法和装置、介质
CN111899179A (zh) * 2019-12-04 2020-11-06 华南农业大学 基于Harris-SURF的无人机影像拼接方法及装置
CN111951201A (zh) * 2019-05-16 2020-11-17 杭州海康机器人技术有限公司 一种无人机航拍图像拼接方法、装置和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130250036A1 (en) * 2012-03-23 2013-09-26 Polycom, Inc. Method and System for Determining Reference Points in Video Image Frames
US20200145694A1 (en) * 2017-07-05 2020-05-07 Huawei Technologies Co., Ltd. Apparatus and method for decoding a panoramic video
US20190197709A1 (en) * 2017-12-21 2019-06-27 Microsoft Technology Licensing, Llc Graphical coordinate system transform for video frames
CN111951201A (zh) * 2019-05-16 2020-11-17 杭州海康机器人技术有限公司 一种无人机航拍图像拼接方法、装置和存储介质
CN111899179A (zh) * 2019-12-04 2020-11-06 华南农业大学 基于Harris-SURF的无人机影像拼接方法及装置
CN111161173A (zh) * 2019-12-18 2020-05-15 北京城市网邻信息技术有限公司 图像的校正信息获取、模型构建方法和装置、介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116934857A (zh) * 2023-07-17 2023-10-24 北京理工大学 一种基于全景图片的视觉定位方法、装置、设备及介质

Also Published As

Publication number Publication date
CN113160309B (zh) 2024-04-30

Similar Documents

Publication Publication Date Title
US11270460B2 (en) Method and apparatus for determining pose of image capturing device, and storage medium
JP7328366B2 (ja) 情報処理方法、測位方法及び装置、電子機器並びに記憶媒体
CN108335353B (zh) 动态场景的三维重建方法、装置和系统、服务器、介质
CN111127655B (zh) 房屋户型图的构建方法及构建装置、存储介质
JP6057298B2 (ja) 迅速な３ｄモデリング
CN110163064B (zh) 一种道路标志物的识别方法、装置及存储介质
US20230360330A1 (en) Method and system for displaying and navigating an optimal multi-dimensional building model
CN108805917B (zh) 空间定位的方法、介质、装置和计算设备
CN110111388B (zh) 三维物体位姿参数估计方法及视觉设备
US11557083B2 (en) Photography-based 3D modeling system and method, and automatic 3D modeling apparatus and method
CN109191554B (zh) 一种超分辨图像重建方法、装置、终端和存储介质
US8947423B2 (en) Direct 3-D drawing by employing camera view constraints
JP7277548B2 (ja) サンプル画像生成方法、装置及び電子機器
US20240013484A1 (en) Method for generating roof outlines from lateral images
CN108597034B (zh) 用于生成信息的方法和装置
CN111161398A (zh) 一种图像生成方法、装置、设备及存储介质
JP2020009447A (ja) 拡張現実方法及び装置
CN113160309B (zh) 基于地面线的全景图定位定姿方法、系统、设备及介质
CN113409444B (zh) 三维重建方法、装置、电子设备及存储介质
US20120093393A1 (en) Camera translation using rotation from device
CN113077500A (zh) 基于平面图的全景视点定位定姿方法、系统、设备及介质
CN113763478B (zh) 无人车相机标定方法、装置、设备、存储介质及系统
CN113496503B (zh) 点云数据的生成及实时显示方法、装置、设备及介质
CN112085842B (zh) 深度值确定方法及装置、电子设备和存储介质
Cheng et al. Texture mapping 3d planar models of indoor environments with noisy camera poses

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant