CN116518961A - 大规模固定视觉传感器全局位姿的确定方法和装置 - Google Patents
大规模固定视觉传感器全局位姿的确定方法和装置 Download PDFInfo
- Publication number
- CN116518961A CN116518961A CN202310779656.7A CN202310779656A CN116518961A CN 116518961 A CN116518961 A CN 116518961A CN 202310779656 A CN202310779656 A CN 202310779656A CN 116518961 A CN116518961 A CN 116518961A
- Authority
- CN
- China
- Prior art keywords
- dimensional marker
- pose
- fixed
- global
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 239000003550 marker Substances 0.000 claims abstract description 258
- 230000000007 visual effect Effects 0.000 claims abstract description 107
- 239000011159 matrix material Substances 0.000 claims description 88
- 230000006870 function Effects 0.000 claims description 44
- 238000013519 translation Methods 0.000 claims description 43
- 238000005457 optimization Methods 0.000 claims description 17
- 239000004973 liquid crystal related substance Substances 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 13
- 238000012544 monitoring process Methods 0.000 abstract description 3
- 238000012800 visualization Methods 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 239000003245 coal Substances 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- ISEUFVQQFVOBCY-UHFFFAOYSA-N prometon Chemical compound COC1=NC(NC(C)C)=NC(NC(C)C)=N1 ISEUFVQQFVOBCY-UHFFFAOYSA-N 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
- H04W64/006—Locating users or terminals or network equipment for network management purposes, e.g. mobility management with additional information processing, e.g. for direction or speed determination
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请提供了一种大规模固定视觉传感器全局位姿的确定方法和装置，方法包括：在固定视觉传感器的可视范围区域内设置二维标记码，确定固定视觉传感器与二维标记码之间的相对姿态；根据全景图像序列和超宽带UWB数据序列，获取移动设备的全局初始位姿和二维标记码的全局初始位姿；根据固定视觉传感器与二维标记码之间的相对姿态和二维标记码的全局初始位姿，确定固定视觉传感器的全局初始位姿；对固定视觉传感器的全局初始位姿进行优化，确定固定视觉传感器的全局目标位姿，可以准确且高效地确定固定视觉传感器位姿，解决了固定视觉传感器相对孤立，没有足够的视场重叠区域等问题，同时，可以为井下场景提供可视化、监测、定位等空间服务。
Description
技术领域
本申请涉及计算机视觉技术领域，尤其涉及一种大规模固定视觉传感器全局位姿的确定方法和装置。
背景技术
目前，煤矿井下采掘运等场景中部署了大量固定视觉传感器（摄像机），固定视觉传感器部署范围往往非常大，同时，固定视觉传感器之间的视场重叠范围非常小，甚至没有重叠，固定视觉传感器相对孤立，缺少公共可视区域，无法直接级联标定。
相关技术中，固定视觉传感器的位置可以通过超宽带技术（Ultra Wide band，简称UWB）来提供，但是存在误差较大的问题，固定视觉传感器的位置还可以通过全站仪精确测量固定视觉传感器的位置，但测量过程往往需要人工全程参与，非常耗时，并且上述方法均不能有效获取固定视觉传感器的朝向，很大程度上限制了固定视觉传感器的应用范围，因此，如何准确且高效地确定固定视觉传感在矿井下三维空间中的位姿（三维位置和朝向），以提供有效的井下场景可视化、监测、定位等空间服务，已成为亟待解决的问题。
发明内容
本申请的目的旨在至少在一定程度上解决上述技术中的技术问题之一。
本申请第一方面提供了一种大规模固定视觉传感器全局位姿的确定方法，包括：在固定视觉传感器的可视范围区域内设置二维标记码；根据固定视觉传感器采集的二维标记码图像，确定所述固定视觉传感器与所述二维标记码之间的相对姿态；获取移动设备采集的设置二维标记码区域内的全景图像序列、多个图像序列和超宽带UWB数据序列，根据所述全景图像序列和所述超宽带UWB数据序列，获取所述移动设备的全局初始位姿和所述二维标记码的全局初始位姿；根据所述固定视觉传感器与所述二维标记码之间的相对姿态和所述二维标记码的全局初始位姿，确定所述固定视觉传感器的全局初始位姿；根据所述多个图像序列和所述固定视觉传感器采集的二维标记码图像，对所述固定视觉传感器的全局初始位姿进行优化，确定所述固定视觉传感器的全局目标位姿。
本申请第一方面提供的大规模固定视觉传感器全局位姿的确定方法，还具备如下技术特征，包括：
根据本申请一个实施例，所述根据所述全景图像序列和所述超宽带UWB数据序列，获取所述移动设备的全局初始位姿和所述二维标记码的全局初始位姿，包括：从每帧全景图像序列中提取ORB特征和二维标记码特征，并从所述UWB数据序列中获取对应时刻UWB的距离信息；对相邻两帧之间的所述ORB特征和所述二维标记码特征进行匹配，从匹配结果中获取当前帧的位姿；确定所述当前帧为关键帧，将所述关键帧插入地图中，对插入的关键帧进行闭环检测，根据闭环检测结果和第一代价函数进行局部优化所述关键帧位姿和所述地图；获取所有关键帧位姿，根据所述第一代价函数进行全局优化所有关键帧位姿和所述地图，以获取所述移动设备的全局初始位姿和所述二维标记码的全局初始位姿。
根据本申请一个实施例，所述方法，还包括：基于UWB距离约束、轨迹平滑约束、三维点重投影误差约束和二维标记码顶点投影误差约束构建第一代价函数。
根据本申请一个实施例，所述根据所述固定视觉传感器采集的二维标记码图像，确定所述固定视觉传感器与所述二维标记码之间的相对姿态，包括：根据所述二维标记码图像，确定所述二维标记码四个顶点的空间坐标和所述二维标记码四个顶点的像素坐标；获取所述固定视觉传感器的内参矩阵；基于所述二维标记码四个顶点的空间坐标、所述二维标记码四个顶点的像素坐标和所述内参矩阵，确定单应矩阵；对所述单应矩阵进行分解，得到所述固定视觉传感器与所述二维标记码之间的相对旋转矩阵和相对平移向量，由所述相对旋转矩阵和所述相对平移向量，得到所述固定视觉传感器与所述二维标记码之间的相对姿态。
根据本申请一个实施例，所述根据所述二维标记码图像，确定所述二维标记码四个顶点的空间坐标，包括：获取所述二维标记码的边长，以所述二维标记码的中心为所述二维标记码坐标系的原点；根据所述边长和所述二维标记码坐标系的原点，确定所述二维标记码四个顶点的空间坐标。
根据本申请一个实施例，所述根据所述固定视觉传感器与所述二维标记码之间的相对姿态和所述二维标记码的全局初始位姿，确定所述固定视觉传感器的全局初始位姿，包括：根据所述二维标记码的全局初始位姿，获取所述二维标记码在世界坐标系中的平移向量；获取相对旋转矩阵和所述二维标记码在世界坐标系中的旋转矩阵之间的乘积，将所述乘积作为固定传感器的旋转矩阵；获取所述相对旋转矩阵和平移向量之间的乘积，并获取所述乘积与所述相对平移向量之和，将和值作为所述固定传感器的平移向量；由所述固定传感器的旋转矩阵和所述固定传感器的平移向量，确定所述固定视觉传感器的全局初始位姿。
根据本申请一个实施例，所述根据所述多个图像序列和所述固定视觉传感器采集的二维标记码图像，对所述固定视觉传感器的全局初始位姿进行优化，确定所述固定视觉传感器的全局目标位姿，包括：获取预先标定的移动设备与移动设备上各个视觉传感器之间的位姿变换关系；根据所述移动设备的全局初始位姿和所述位姿变换关系，获取所述多个图像序列中每幅图像对应所述移动设备上各个视觉传感器的全局初始位姿；获取所述多个图像序列中每幅图像的特征点以及所述多个图像序列中每幅图像之间的重叠关系；根据所述重叠关系对所述每幅图像的特征点进行匹配，根据匹配结果构建稀疏点云地图；利用三维点重投影误差约束和二维标记码顶点投影误差约束构建第二代价函数；根据所述每幅图像对应所述移动装备上各个视觉传感器的全局初始位姿、所述二维标记码的全局初始位姿、所述固定视觉传感器的全局初始位姿和所述稀疏点云地图，对所述第二代价函数进行优化求解，以确定所述固定视觉传感器的全局目标位姿。
本申请第二方面提供了一种大规模固定视觉传感器全局位姿的确定装置，包括：设置模块，用于在固定视觉传感器的可视范围区域内设置二维标记码；第一确定模块，用于根据所述固定视觉传感器采集的二维标记码图像，确定所述固定视觉传感器与所述二维标记码之间的相对姿态；获取模块，用于获取移动设备采集的设置二维标记码区域内的全景图像序列、多个图像序列和超宽带UWB数据序列，根据所述全景图像序列和所述超宽带UWB数据序列，获取所述移动设备的全局初始位姿和所述二维标记码的全局初始位姿；第二确定模块，用于根据所述固定视觉传感器与所述二维标记码之间的相对姿态和所述二维标记码的全局初始位姿，确定所述固定视觉传感器的全局初始位姿；第三确定模块，用于根据所述多个图像序列和所述固定视觉传感器采集的二维标记码图像，对所述固定视觉传感器的全局初始位姿进行优化，确定所述固定视觉传感器的全局目标位姿。
本申请第二方面提供的一种大规模固定视觉传感器全局位姿的确定装置，还具备如下技术特征，包括：
根据本申请一个实施例，所述获取模块，还用于：从每帧全景图像序列中提取ORB特征和二维标记码特征，并从所述UWB数据序列中获取对应时刻UWB的距离信息；对相邻两帧之间的所述ORB特征和所述二维标记码特征进行匹配，从匹配结果中获取当前帧的位姿；确定所述当前帧为关键帧，将所述关键帧插入地图中，对插入的关键帧进行闭环检测，根据闭环检测结果和第一代价函数进行局部优化所述关键帧位姿和所述地图；获取所有关键帧位姿，根据所述第一代价函数进行全局优化所有关键帧位姿和所述地图，以获取所述移动设备的全局初始位姿和所述二维标记码的全局初始位姿。
根据本申请一个实施例，所述装置，还用于：基于UWB距离约束、轨迹平滑约束、三维点重投影误差约束和二维标记码顶点投影误差约束构建第一代价函数。
根据本申请一个实施例，所述第一确定模块，还用于：根据所述二维标记码图像，确定所述二维标记码四个顶点的空间坐标和所述二维标记码四个顶点的像素坐标；获取所述固定视觉传感器的内参矩阵；基于所述二维标记码四个顶点的空间坐标、所述二维标记码四个顶点的像素坐标和所述内参矩阵，确定单应矩阵；对所述单应矩阵进行分解，得到所述固定视觉传感器与所述二维标记码之间的相对旋转矩阵和相对平移向量，由所述相对旋转矩阵和所述相对平移向量，得到所述固定视觉传感器与所述二维标记码之间的相对姿态。
根据本申请一个实施例，所述第一确定模块，还用于：获取所述二维标记码的边长，以所述二维标记码的中心为所述二维标记码坐标系的原点；根据所述边长和所述二维标记码坐标系的原点，确定所述二维标记码四个顶点的空间坐标。
根据本申请一个实施例，所述第二确定模块，还用于：根据所述二维标记码的全局初始位姿，获取所述二维标记码在世界坐标系中的平移向量；获取相对旋转矩阵和所述二维标记码在世界坐标系中的旋转矩阵之间的乘积，将所述乘积作为所述固定传感器的旋转矩阵；获取所述相对旋转矩阵和平移向量之间的乘积，并获取所述乘积与所述相对平移向量之和，将和值作为固定传感器的平移向量；由所述固定传感器的旋转矩阵和所述固定传感器的平移向量，确定所述固定视觉传感器的全局初始位姿。
根据本申请一个实施例，所述第三确定模块，还用于：获取预先标定的移动设备与移动设备上各个视觉传感器之间的位姿变换关系；根据所述移动设备的全局初始位姿和所述位姿变换关系，获取所述多个图像序列中每幅图像对应所述移动设备上各个视觉传感器的全局初始位姿；获取所述多个图像序列中每幅图像的特征点以及所述多个图像序列中每幅图像之间的重叠关系；根据所述重叠关系对所述每幅图像的特征点进行匹配，根据匹配结果构建稀疏点云地图；利用三维点重投影误差约束和二维标记码顶点投影误差约束构建第二代价函数；根据所述每幅图像对应所述移动装备上各个视觉传感器的全局初始位姿、所述二维标记码的全局初始位姿、所述固定视觉传感器的全局初始位姿和所述稀疏点云地图，对所述第二代价函数进行优化求解，以确定所述固定视觉传感器的全局目标位姿。
本申请第三方面实施例提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请第一方面提供的大规模固定视觉传感器全局位姿的确定方法。
本申请第四方面实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请第一方面提供的大规模固定视觉传感器全局位姿的确定方法。
本申请第五方面实施例提供了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，执行本申请第一方面提供的大规模固定视觉传感器全局位姿的确定方法。
本申请提供的大规模固定视觉传感器全局位姿的确定方法及装置，通过在固定视觉传感器的可视范围区域内设置二维标记码，根据固定视觉传感器采集的二维标记码图像，确定固定视觉传感器与二维标记码之间的相对姿态，获取移动设备采集的设置二维标记码区域内的全景图像序列、多个图像序列和超宽带UWB数据序列，根据全景图像序列和超宽带UWB数据序列，获取移动设备的全局初始位姿和二维标记码的全局初始位姿，根据固定视觉传感器与二维标记码之间的相对姿态和二维标记码的全局初始位姿，确定固定视觉传感器的全局初始位姿，根据多个图像序列和固定视觉传感器采集的二维标记码图像，对固定视觉传感器的全局初始位姿进行优化，确定固定视觉传感器的全局目标位姿，本申请可以准确且高效地确定固定视觉传感在矿井下三维空间中的位姿，解决了固定视觉传感器相对孤立，没有足够的视场重叠区域等问题，可以提供有效的井下场景可视化、监测、定位等空间服务。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请一实施例的大规模固定视觉传感器全局位姿的确定方法的流程示意图；
图2为本申请另一实施例的大规模固定视觉传感器全局位姿的确定方法的流程示意图；
图3为本申请另一实施例的大规模固定视觉传感器全局位姿的确定方法的流程示意图；
图4为本申请另一实施例的大规模固定视觉传感器全局位姿的确定方法的流程示意图；
图5为本申请一实施例的大规模固定视觉传感器全局位姿的确定装置的结构示意图；
图6是本申请一实施例的电子设备的框图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的大规模固定视觉传感器全局位姿的确定方法、装置、电子设备和介质。
图1为本申请一实施例的大规模固定视觉传感器全局位姿的确定方法的流程示意图，如图1所示，该方法包括：
S101，在固定视觉传感器的可视范围区域内设置二维标记码。
需要说明的是，可以基于固定视觉传感器的参数，进行计算固定传感器的可视范围区域。
可选地，固定视觉传感器可以为固定相机。
需要说明的是，本申请提出的大规模固定视觉传感器全局位姿的确定方法可以应用于煤矿井下等场景中。
在本申请实施例中，二维标记码为ArUco码，其中，ArUco码是由黑白相间的正方形组成，每个正方形的边缘上都有一个唯一的编码，可以用来识别标记的位置和方向。
需要说明的是，本申请对于在固定视觉传感器的可视范围区域内设置二维标记码的数量不作限定。
可选地，可以在固定视觉传感器的可视范围区域内设置2个或2个以上的二维标记码。
S102，根据固定视觉传感器采集的二维标记码图像，确定固定视觉传感器与二维标记码之间的相对姿态。
在本申请实施例中，在固定视觉传感器的可视范围区域内设置二维标记码后，可以基于固定视觉传感器采集二维标记码图像，根据固定视觉传感器采集的二维标记码图像，确定固定视觉传感器与二维标记码之间的相对姿态。
需要说明的是，在确定固定视觉传感器与二维标记码之间的相对姿态时，通过确定固定视觉传感器与二维标记码之间的相对旋转矩阵和相对平移向量/>即可。
可选地，可以根据二维标记码图像，确定二维标记码四个顶点的空间坐标和四个顶点的像素坐标，并获取固定视觉传感器的内参矩阵，基于二维标记码四个顶点的空间坐标、二维标记码四个顶点的像素坐标和内参矩阵，确定单应矩阵，对单应矩阵进行分解，得到固定视觉传感器与二维标记码之间的相对旋转矩阵和相对平移向量，以得到固定视觉传感器与二维标记码之间的相对姿态。
S103，获取移动设备采集的设置二维标记码区域内的全景图像序列、多个图像序列和超宽带UWB数据序列，根据全景图像序列和超宽带UWB数据序列，获取移动设备的全局初始位姿和二维标记码的全局初始位姿。
需要说明的是，移动设备的数据采集过程覆盖固定视觉传感器对应的所有二维码区域，采集的数据包括：一个全景图像序列、6个图像序列（每个序列由不同的相机采集）、UWB数据序列。
可选地，移动设备可以包括多个视觉传感器（全景相机和单目相机）和UWB硬件设备。
需要说明的是，数据采集过程形成闭环，即：采集数据的首尾在采集位置方面具有一定重叠。
需要说明的是，为了加快处理速度，可以基于全景图像序列和超宽带UWB数据序列融合的同步定位与建图（Simultaneous localization and mapping，简称SLAM），进而基于SLAM获取移动装置的全局初始位姿（，（/>），T表示对应的时刻集合）和二维标记码的全局初始位姿（/>（/>），N表示二维标记码集合）。
S104，根据固定视觉传感器与二维标记码之间的相对姿态和二维标记码的全局初始位姿，确定固定视觉传感器的全局初始位姿。
在本申请实施例中，由步骤S102可以确定固定视觉传感器与二维标记码之间的相对姿态（相对旋转矩阵和相对平移向量/>），由步骤S103可以确定二维标记码的全局初始位姿（在世界坐标系中的位置/>和旋转矩阵/>）。
进一步地，二维标记码在世界坐标系中的平移向量为，确定固定视觉传感器的全局初始姿态即确定固定相机的旋转矩阵和平移向量，其中，固定视觉传感器的旋转矩阵为/>，平移向量为/>，则固定视觉传感器的全局初始姿态（旋转矩阵为/>和平移向量/>）。
S105，根据多个图像序列和固定视觉传感器采集的二维标记码图像，对固定视觉传感器的全局初始位姿进行优化，确定固定视觉传感器的全局目标位姿。
在本申请实施例中，在获取到固定视觉传感器的全局初始位姿后，可以根据多个图像序列和固定视觉传感器采集的二维标记码图像，对全局初始位姿进行优化，以确定固定视觉传感器的全局目标位姿。
本申请提供的大规模固定视觉传感器全局位姿的确定方法，通过在固定视觉传感器的可视范围区域内设置二维标记码，根据固定视觉传感器采集的二维标记码图像，确定固定视觉传感器与二维标记码之间的相对姿态，获取移动设备采集的设置二维标记码区域内的全景图像序列、多个图像序列和超宽带UWB数据序列，根据全景图像序列和超宽带UWB数据序列，获取移动设备的全局初始位姿和二维标记码的全局初始位姿，根据固定视觉传感器与二维标记码之间的相对姿态和二维标记码的全局初始位姿，确定固定视觉传感器的全局初始位姿，根据多个图像序列和固定视觉传感器采集的二维标记码图像，对固定视觉传感器的全局初始位姿进行优化，确定固定视觉传感器的全局目标位姿，本申请可以准确且高效地确定固定视觉传感在矿井下三维空间中的位姿，解决了固定视觉传感器相对孤立，没有足够的视场重叠区域等问题，可以提供有效的井下场景可视化、监测、定位等空间服务。
上述实施例中，关于根据固定视觉传感器采集的二维标记码图像，确定固定视觉传感器与二维标记码之间的相对姿态的具体过程，可结合图2进一步理解，图2为本申请另一实施例的大规模固定视觉传感器全局位姿的确定方法的流程示意图，如图2所示，该方法包括：
S201，根据二维标记码图像，确定二维标记码四个顶点的空间坐标和二维标记码四个顶点的像素坐标。
可选地，在获取到二维标记码图像后，可以基于二维标记码图像，获取二维标记码的边长，以二维标记码的中心为二维标记码坐标系的原点，根据边长和二维标记码坐标系的原点，确定二维标记码四个顶点的空间坐标。
举例而言，若二维标记码的边长为L，以二维标记码的中心为二维码坐标系的原点，二维标记码四个顶点的坐标为、/>、/>、。
可选地，在获取到二维标记码图像后，可以基于二维标记码图像确定二维标记码四个顶点的像素坐标、/>、/>、/>。
S202，获取固定视觉传感器的内参矩阵。
需要说明的是，在本申请实施例中，在确定固定视觉传感器后，可以预先获固定视觉传感器的内参矩阵。
其中，固定视觉传感器的内参矩阵是相机成像的重要参数之一，描述了固定传感器的内部结构和成像特性。
其中，固定视觉传感器的内参矩阵K包括固定视觉传感器的焦距、主点和尺度因子。
S203，基于二维标记码四个顶点的空间坐标、二维标记码四个顶点的像素坐标和内参矩阵，确定单应矩阵。
其中，单应矩阵（Homography matrix）描述的是共面的点从一个视角的拍摄图像转化为另一个视角所拍摄图像的变换关系。
需要说明的是，在获取到二维标记码四个顶点的空间坐标、四个顶点的像素坐标和内参数矩阵后，可以通过以下公式求解单应矩阵：
，/>（1）
其中，K为内参矩阵、为二维标记码四个顶点的像素坐标、/>为二维标记码四个顶点的空间坐标、/>为单应矩阵。
需要说明的是，由于单应矩阵H为3×3矩阵，有8个自由度，每对对应点（二维标记码四个顶点的空间坐标和二维标记码四个顶点的像素坐标）可以提供2个约束，因此，根据式（1）联立4个方程，可以求解出单应矩阵H。
S204，对单应矩阵进行分解，得到固定视觉传感器与二维标记码之间的相对旋转矩阵和相对平移向量，由相对旋转矩阵和相对平移向量，得到固定视觉传感器与二维标记码之间的相对姿态。
在本申请实施例中，在获取到单应矩阵H后，可以对单应矩阵H进行分解，以得到固定视觉传感器与二维标记码之间的相对旋转矩阵和相对平移向量/>，则固定视觉传感器和二维标记码之间的相对姿态为（/>，/>）。
可选地，可以基于奇异值分解（Singular Value Decomposition，简称SVD）,对单应矩阵进行分解，以得到固定视觉传感器与二维标记码之间的相对旋转矩阵和相对平移向量/>。
需要说明的是，固定视觉传感器的可视范围区域内存在多个二维标记码时，均可以通过上述方法，获取固定视觉传感器与每个二维标记码之间的相对姿态。
本申请提出的大规模固定视觉传感器全局位姿的确定方法，根据二维标记码图像，确定二维标记码四个顶点的空间坐标和二维标记码四个顶点的像素坐标，获取固定视觉传感器的内参矩阵，基于二维标记码四个顶点的空间坐标二维标记码四个顶点的像素坐标和内参矩阵，确定单应矩阵，对单应矩阵进行分解，得到固定视觉传感器与二维标记码之间的相对旋转矩阵和相对平移向量，由相对旋转矩阵和相对平移向量，得到固定视觉传感器与二维标记码之间的相对姿态，本申请根据二维标记码图像和固定视觉传感器的内参矩阵，可以求解出单应矩阵，并对单应矩阵进行分解以得到相对姿态，可以为后续准确地确定固定传感器的全局目标位姿奠定了基础。
上述实施例中，关于根据全景图像序列和超宽带UWB数据序列，获取移动设备的全局初始位姿和二维标记码的全局初始位姿的具体过程，可结合图3进一步理解，图3为本申请另一实施例的大规模固定视觉传感器全局位姿的确定方法的流程示意图，如图3所示，该方法包括：
S301，从每帧全景图像序列中提取ORB特征和二维标记码特征，并从UWB数据序列中获取对应时刻UWB的距离信息。
可选地，可以基于快速特征点提取和描述的算法（Oriented FAST and RotatedBRIEF，简称ORB）从每帧全景图像序列中提取ORB特征和二维标记码特征。
可选地，二维标记码特征可以包括二维标记码的类别、二维标记码四个顶点的像素坐标。
S302，对相邻两帧之间的ORB特征和二维标记码特征进行匹配，从匹配结果中获取当前帧的位姿。
举例而言，可以对相邻两帧之间的ORB特征和二维标记码特征进行匹配，即ORB特征和二维码标记码四个顶点的像素坐标进行匹配，根据匹配结果和八点法确定当前帧的位姿。
S303，确定当前帧为关键帧，将关键帧插入地图中，对插入的关键帧进行闭环检测，根据闭环检测结果和第一代价函数进行局部优化关键帧位姿和地图。
可选地，可以判断从上一个关键帧到当前帧的帧数以及当前帧与前一帧匹配对数量是否同时满足阈值要求，如果满足阈值要求，则确定当前帧为关键帧，并将关键帧插入地图中，进行SLAM创建初始地图。
需要说明的是，对插入的关键帧进行闭环检测，如果检测到闭环，基于第一代价函数优化闭环内各关键帧位姿和地图（包括二维标记码的全局初始位姿），如果没有检测到闭环，基于第一代价函数优化当前关键帧局部区域内各关键帧的位姿及地图（包括二维标记码的全局初始位姿）。
在本申请实施例中，可以基于UWB距离约束、轨迹平滑约束/>、三维点重投影误差约束/>和二维标记码顶点投影误差约束/>构建第一代价函数，则构建的第一代价函数为：
（2）
其中，为UWB距离约束、/>为轨迹平滑约束、/>为三维点重投影误差约束、/>为二维标记码顶点投影误差约束。
需要说明的是，UWB距离约束可以表示为：
（3）
其中，为对应的时刻集合，/>为对应UWB距离约束的权重，/>为t时刻UWB获取的离第b个UWB基站的距离，/>为第b个UWB基站的位置，/>为t时刻移动设备的位置，/>为误差因子，/>表示Huber函数。
需要说明的是，轨迹平滑约束可以表示为：
（4）
其中，为对应轨迹平滑约束的权重、/>为t时刻移动设备的位置、/>为t＋1时刻移动设备的位置。
需要说明的是，三维点重投影误差约束可以表示为：
（5）
其中，为对应三维点重投影误差约束的权重、/>为三维点投影函数、/>为t时刻移动装置的位置、/>为移动装置的旋转矩阵、/>为对应的二维标记码图像顶点、/>为Huber函数、/>为空间三维点坐标、/>为固定视觉传感器内参矩阵。
需要说明的是，二维码顶点投影误差约束可以表示为：
（6）
其中，为二维标记码图像顶点投影误差约束的权重、/>为Huber函数、/>为三维点投影函数、/>分别为二维标记码在世界坐标系中的位置和旋转矩阵、/>为二维标记码的其中一个顶点i在二维码坐标系下的三维坐标。
S304，获取所有关键帧位姿，根据第一代价函数进行全局优化所有关键帧位姿和地图，以获取移动设备的全局初始位姿和二维标记码的全局初始位姿。
在本申请实施例中，在获取到所有关键帧位姿后，可以根据第一代价函数，即式（2）进行全局优化所有关键帧位姿和地图，以得到各个关键帧的位姿，即移动设备的全局初始位姿和二维标记码的全局初始位姿。
可选地，本申请可以基于列文伯格-马夸尔特法（Levenberg-Marquardt，简称L-M）优化算法，对第一代价函数进行优化求解，以全局优化所有关键帧位姿和地图，以得到各个关键帧的位姿。
本申请提出的大规模固定视觉传感器全局位姿的确定方法，通过从每帧全景图像序列中提取ORB特征和二维标记码特征，并从UWB数据序列中获取对应时刻UWB的距离信息，对相邻两帧之间的ORB特征和二维标记码特征进行匹配，从匹配结果中获取当前帧的位姿，确定当前帧为关键帧，将关键帧插入地图中，对插入的关键帧进行闭环检测，根据闭环检测结果和第一代价函数进行局部优化关键帧位姿和地图，获取所有关键帧位姿，根据第一代价函数进行全局优化所有关键帧位姿和地图，以获取移动设备的全局初始位姿和二维标记码的全局初始位姿，本申请根据第一代价函数进行局部优化和全局优化，关键帧位姿和地图，可以更加精确地获取移动设备的全局初始位姿和二维标记码的全局初始位姿，同时能够避免在固定视觉传感器中集成提供位置的UWB相关硬件，节省了成本。
上述实施例中，关于根据多个图像序列和固定视觉传感器采集的二维标记码图像，对固定视觉传感器的全局初始位姿进行优化，确定固定视觉传感器的全局目标位姿的具体过程，可结合图4进一步理解，图4为本申请另一实施例的大规模固定视觉传感器全局位姿的确定方法的流程示意图，如图4所示，该方法包括：
S401，获取预先标定的移动设备与移动设备上各个视觉传感器之间的位姿变换关系。
举例而言，预先标定的移动设备上的视觉传感器A和移动设备之间的位姿变换关系为相对旋转矩阵和相对平移向量/>。
S402，根据移动设备的全局初始位姿和位姿变换关系，获取多个图像序列中每幅图像对应移动设备上各个视觉传感器的全局初始位姿。
举例而言，位姿变换关系为相对旋转矩阵和相对平移向量/>，由上述步骤获取得到的移动设备的局初始位姿（/>，（/>），T表示对应的时刻集合），则移动设备的全局初始移动向量为/>，因此，可以获取对应视觉传感器A的全局初始位姿为旋转矩阵/>和平移向量/>。
S403，获取多个图像序列中每幅图像的特征点以及多个图像序列中每幅图像之间的重叠关系。
可选地，可以根据尺度不变特征转换（Scale-invariant feature transform，简称SIFT），提取每幅图像的特征点，根据多个图像序列中每幅图像对应移动设备上各个视觉传感器的全局初始位姿确定每幅图像之间的重叠关系。
S404，根据重叠关系对每幅图像的特征点进行匹配，根据匹配结果构建稀疏点云地图。
S405，利用三维点重投影误差约束和二维标记码顶点投影误差约束构建第二代价函数。
在本申请实施例中，可以基于三维点重投影误差约束和二维标记码顶点投影误差约束构建第二代价函数：
（7）
其中，为三维点重投影误差约束、/>为二维标记码顶点投影误差约束。
S406，根据每幅图像对应移动装备上各个视觉传感器的全局初始位姿、二维标记码的全局初始位姿、固定视觉传感器的全局初始位姿和稀疏点云地图，对第二代价函数进行优化求解，以确定固定视觉传感器的全局目标位姿。
可选地，本申请可以基于列文伯格-马夸尔特法（Levenberg-Marquardt，简称L-M）优化算法，对第二代价函数进行优化求解，以确定固定视觉传感器的全局目标位姿。
本申请提出的大规模固定视觉传感器全局位姿的确定方法，根据多个图像序列和固定视觉传感器采集的二维标记码图像，对固定视觉传感器的全局初始位姿进行优化，确定固定视觉传感器的全局目标位姿，可以准确且高效地确定固定视觉传感在矿井下三维空间中的位姿，解决了固定视觉传感器相对孤立，没有足够的视场重叠区域等问题，可以提供有效的井下场景可视化、监测、定位等空间服务。
与上述几种实施例提出的大规模固定视觉传感器全局位姿的确定方法相对应，本申请的一个实施例还提出了一种大规模固定视觉传感器全局位姿的确定装置，由于本申请实施例提出的大规模固定视觉传感器全局位姿的确定装置与上述几种实施例提出的大规模固定视觉传感器全局位姿的确定方法相对应，因此上述大规模固定视觉传感器全局位姿的确定方法的实施方式也适用于本申请实施例提出的大规模固定视觉传感器全局位姿的确定装置，在下述实施例中不再详细描述。
图5为本申请一实施例的大规模固定视觉传感器全局位姿的确定装置的结构示意图，如图所示，大规模固定视觉传感器全局位姿的确定装置500，包括设置模块51、第一确定模块52、获取模块53、第二确定模块54和第二确定模块55，其中：
设置模块51，用于在固定视觉传感器的可视范围区域内设置二维标记码；
第一确定模块52，用于根据所述固定视觉传感器采集的二维标记码图像，确定所述固定视觉传感器与所述二维标记码之间的相对姿态；
获取模块53，用于获取移动设备采集的设置二维标记码区域内的全景图像序列、多个图像序列和超宽带UWB数据序列，根据所述全景图像序列和所述超宽带UWB数据序列，获取所述移动设备的全局初始位姿和所述二维标记码的全局初始位姿；
第二确定模块54，用于根据所述固定视觉传感器与所述二维标记码之间的相对姿态和所述二维标记码的全局初始位姿，确定所述固定视觉传感器的全局初始位姿；
第三确定模块55，用于根据所述多个图像序列和所述固定视觉传感器采集的二维标记码图像，对所述固定视觉传感器的全局初始位姿进行优化，确定所述固定视觉传感器的全局目标位姿。
本申请第二方面提供的一种大规模固定视觉传感器全局位姿的确定装置，还具备如下技术特征，包括：
根据本申请一个实施例，所述获取模块53，还用于：从每帧全景图像序列中提取ORB特征和二维标记码特征，并从所述UWB数据序列中获取对应时刻UWB的距离信息；对相邻两帧之间的所述ORB特征和所述二维标记码特征进行匹配，从匹配结果中获取当前帧的位姿；确定所述当前帧为关键帧，将所述关键帧插入地图中，对插入的关键帧进行闭环检测，根据闭环检测结果和第一代价函数进行局部优化所述关键帧位姿和所述地图；获取所有关键帧位姿，根据所述第一代价函数进行全局优化所有关键帧位姿和所述地图，以获取所述移动设备的全局初始位姿和所述二维标记码的全局初始位姿。
根据本申请一个实施例，所述装置500，还用于：基于UWB距离约束、轨迹平滑约束、三维点重投影误差约束和二维标记码顶点投影误差约束构建第一代价函数。
根据本申请一个实施例，所述第一确定模块52，还用于：根据所述二维标记码图像，确定所述二维标记码四个顶点的空间坐标和所述二维标记码四个顶点的像素坐标；获取所述固定视觉传感器的内参矩阵；基于所述二维标记码四个顶点的空间坐标、所述二维标记码四个顶点的像素坐标和所述内参矩阵，确定单应矩阵；对所述单应矩阵进行分解，得到所述固定视觉传感器与所述二维标记码之间的相对旋转矩阵和相对平移向量，由所述相对旋转矩阵和所述相对平移向量，得到所述固定视觉传感器与所述二维标记码之间的相对姿态。
根据本申请一个实施例，所述第一确定模块52，还用于：获取所述二维标记码的边长，以所述二维标记码的中心为所述二维标记码坐标系的原点；根据所述边长和所述二维标记码坐标系的原点，确定所述二维标记码四个顶点的空间坐标。
根据本申请一个实施例，所述第二确定模块54，还用于：根据所述二维标记码的全局初始位姿，获取所述二维标记码在世界坐标系中的平移向量；获取所述相对旋转矩阵和所述二维标记码在世界坐标系中的旋转矩阵之间的乘积，将所述乘积作为所述固定传感器的旋转矩阵；获取所述相对旋转矩阵和所述平移向量之间的乘积，并获取所述乘积与所述相对平移向量之和，将和值作为所述固定传感器的平移向量；由所述固定传感器的旋转矩阵和所述固定传感器的平移向量，确定所述固定视觉传感器的全局初始位姿。
根据本申请一个实施例，所述第三确定模块55，还用于：获取预先标定的移动设备与所述移动设备上各个视觉传感器之间的位姿变换关系；根据所述移动设备的全局初始位姿和所述位姿变换关系，获取所述多个图像序列中每幅图像对应所述移动设备上各个视觉传感器的全局初始位姿；获取所述多个图像序列中每幅图像的特征点以及所述多个图像序列中每幅图像之间的重叠关系；根据所述重叠关系对所述每幅图像的特征点进行匹配，根据匹配结果构建稀疏点云地图；利用三维点重投影误差约束和二维标记码顶点投影误差约束构建第二代价函数；根据所述每幅图像对应所述移动装备上各个视觉传感器的全局初始位姿、所述二维标记码的全局初始位姿、所述固定视觉传感器的全局初始位姿和所述稀疏点云地图，对所述第二代价函数进行优化求解，以确定所述固定视觉传感器的全局目标位姿。
本申请提出的大规模固定视觉传感器全局位姿的确定装置，通过在固定视觉传感器的可视范围区域内设置二维标记码，根据固定视觉传感器采集的二维标记码图像，确定固定视觉传感器与二维标记码之间的相对姿态，获取移动设备采集的设置二维标记码区域内的全景图像序列、多个图像序列和超宽带UWB数据序列，根据全景图像序列和超宽带UWB数据序列，获取移动设备的全局初始位姿和二维标记码的全局初始位姿，根据固定视觉传感器与二维标记码之间的相对姿态和二维标记码的全局初始位姿，确定固定视觉传感器的全局初始位姿，根据多个图像序列和固定视觉传感器采集的二维标记码图像，对固定视觉传感器的全局初始位姿进行优化，确定固定视觉传感器的全局目标位姿，本申请可以准确且高效地确定固定视觉传感在矿井下三维空间中的位姿，解决了固定视觉传感器相对孤立，没有足够的视场重叠区域等问题，可以提供有效的井下场景可视化、监测、定位等空间服务。
为达到上述实施例，本申请还提供了一种电子设备、一种计算机可读存储介质和一种计算机程序产品。
图6为本申请一实施例的电子设备的框图，如图6所示，设备600包括存储器61、处理器62及存储在存储61上并可在处理器62上运行的计算机程序，处理器62执行程序指令时，实现执行图1至图4的实施例的大规模固定视觉传感器全局位姿的确定方法。
为了实现上述实施例，本申请还提供一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行图1至图4的实施例的大规模固定视觉传感器全局位姿的确定方法。
为了实现上述实施例，本申请还提供一种计算机程序产品，当计算机程序产品中的指令处理器执行时，执行图1至图4的实施例的大规模固定视觉传感器全局位姿的确定方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种大规模固定视觉传感器全局位姿的确定方法，其特征在于，所述方法，包括：
在固定视觉传感器的可视范围区域内设置二维标记码；
根据固定视觉传感器采集的二维标记码图像，确定所述固定视觉传感器与所述二维标记码之间的相对姿态；
获取移动设备采集的设置二维标记码区域内的全景图像序列、多个图像序列和超宽带UWB数据序列，根据所述全景图像序列和所述超宽带UWB数据序列，获取所述移动设备的全局初始位姿和所述二维标记码的全局初始位姿；
根据所述固定视觉传感器与所述二维标记码之间的相对姿态和所述二维标记码的全局初始位姿，确定所述固定视觉传感器的全局初始位姿；
根据所述多个图像序列和所述固定视觉传感器采集的二维标记码图像，对所述固定视觉传感器的全局初始位姿进行优化，确定所述固定视觉传感器的全局目标位姿。
2.根据权利要求1所述的方法，其特征在于，所述根据所述全景图像序列和所述超宽带UWB数据序列，获取所述移动设备的全局初始位姿和所述二维标记码的全局初始位姿，包括：
从每帧全景图像序列中提取ORB特征和二维标记码特征，并从所述UWB数据序列中获取对应时刻UWB的距离信息；
对相邻两帧之间的所述ORB特征和所述二维标记码特征进行匹配，从匹配结果中获取当前帧的位姿；
确定所述当前帧为关键帧，将所述关键帧插入地图中，对插入的关键帧进行闭环检测，根据闭环检测结果和第一代价函数进行局部优化所述关键帧位姿和所述地图；
获取所有关键帧位姿，根据所述第一代价函数进行全局优化所有关键帧位姿和所述地图，以获取所述移动设备的全局初始位姿和所述二维标记码的全局初始位姿。
3.根据权利要求2所述的方法，其特征在于，所述方法，还包括：
基于UWB距离约束、轨迹平滑约束、三维点重投影误差约束和二维标记码顶点投影误差约束构建第一代价函数。
4.根据权利要求1所述的方法，其特征在于，所述根据所述固定视觉传感器采集的二维标记码图像，确定所述固定视觉传感器与所述二维标记码之间的相对姿态，包括：
根据所述二维标记码图像，确定所述二维标记码四个顶点的空间坐标和所述二维标记码四个顶点的像素坐标；获取所述固定视觉传感器的内参矩阵；基于所述二维标记码四个顶点的空间坐标、所述二维标记码四个顶点的像素坐标和所述内参矩阵，确定单应矩阵；对所述单应矩阵进行分解，得到所述固定视觉传感器与所述二维标记码之间的相对旋转矩阵和相对平移向量，由所述相对旋转矩阵和所述相对平移向量，得到所述固定视觉传感器与所述二维标记码之间的相对姿态。
5.根据权利要求4所述的方法，其特征在于，所述根据所述二维标记码图像，确定所述二维标记码四个顶点的空间坐标，包括：
获取所述二维标记码的边长，以所述二维标记码的中心为所述二维标记码坐标系的原点；
根据所述边长和所述二维标记码坐标系的原点，确定所述二维标记码四个顶点的空间坐标。
6.根据权利要求1-5中任一项所述的方法，其特征在于，所述根据所述固定视觉传感器与所述二维标记码之间的相对姿态和所述二维标记码的全局初始位姿，确定所述固定视觉传感器的全局初始位姿，包括：
根据所述二维标记码的全局初始位姿，获取所述二维标记码在世界坐标系中的平移向量；
获取相对旋转矩阵和所述二维标记码在世界坐标系中的旋转矩阵之间的乘积，将所述乘积作为所述固定传感器的旋转矩阵；
获取所述相对旋转矩阵和平移向量之间的乘积，并获取所述乘积与所述相对平移向量之和，将和值作为固定传感器的平移向量；
由所述固定传感器的旋转矩阵和所述固定传感器的平移向量，确定所述固定视觉传感器的全局初始位姿。
7.根据权利要求6所述的方法，其特征在于，所述根据所述多个图像序列和所述固定视觉传感器采集的二维标记码图像，对所述固定视觉传感器的全局初始位姿进行优化，确定所述固定视觉传感器的全局目标位姿，包括：
获取预先标定的移动设备与移动设备上各个视觉传感器之间的位姿变换关系；
根据所述移动设备的全局初始位姿和所述位姿变换关系，获取所述多个图像序列中每幅图像对应所述移动设备上各个视觉传感器的全局初始位姿；
获取所述多个图像序列中每幅图像的特征点以及所述多个图像序列中每幅图像之间的重叠关系；
根据所述重叠关系对所述每幅图像的特征点进行匹配，根据匹配结果构建稀疏点云地图；
利用三维点重投影误差约束和二维标记码顶点投影误差约束构建第二代价函数；
根据所述每幅图像对应所述移动装备上各个视觉传感器的全局初始位姿、所述二维标记码的全局初始位姿、所述固定视觉传感器的全局初始位姿和所述稀疏点云地图，对所述第二代价函数进行优化求解，以确定所述固定视觉传感器的全局目标位姿。
8.一种大规模固定视觉传感器全局位姿的确定装置，其特征在于，所述装置，包括：
设置模块，用于在固定视觉传感器的可视范围区域内设置二维标记码；
第一确定模块，用于根据所述固定视觉传感器采集的二维标记码图像，确定所述固定视觉传感器与所述二维标记码之间的相对姿态；
获取模块，用于获取移动设备采集的设置二维标记码区域内的全景图像序列、多个图像序列和超宽带UWB数据序列，根据所述全景图像序列和所述超宽带UWB数据序列，获取所述移动设备的全局初始位姿和所述二维标记码的全局初始位姿；
第二确定模块，用于根据所述固定视觉传感器与所述二维标记码之间的相对姿态和所述二维标记码的全局初始位姿，确定所述固定视觉传感器的全局初始位姿；
第三确定模块，用于根据所述多个图像序列和所述固定视觉传感器采集的二维标记码图像，对所述固定视觉传感器的全局初始位姿进行优化，确定所述固定视觉传感器的全局目标位姿。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310779656.7A CN116518961B (zh) | 2023-06-29 | 2023-06-29 | 大规模固定视觉传感器全局位姿的确定方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310779656.7A CN116518961B (zh) | 2023-06-29 | 2023-06-29 | 大规模固定视觉传感器全局位姿的确定方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116518961A true CN116518961A (zh) | 2023-08-01 |
| CN116518961B CN116518961B (zh) | 2023-09-01 |
Family
ID=87390513
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310779656.7A Active CN116518961B (zh) | 2023-06-29 | 2023-06-29 | 大规模固定视觉传感器全局位姿的确定方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116518961B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110246182A (zh) * | 2019-05-29 | 2019-09-17 | 深圳前海达闼云端智能科技有限公司 | 基于视觉的全局地图定位方法、装置、存储介质和设备 |
| CN111156984A (zh) * | 2019-12-18 | 2020-05-15 | 东南大学 | 一种面向动态场景的单目视觉惯性slam方法 |
| CN111983635A (zh) * | 2020-08-17 | 2020-11-24 | 浙江商汤科技开发有限公司 | 位姿确定方法及装置、电子设备和存储介质 |
| CN114627253A (zh) * | 2022-02-24 | 2022-06-14 | 深圳市正浩创新科技股份有限公司 | 地图构建方法、装置与设备 |
| CN115638726A (zh) * | 2022-10-27 | 2023-01-24 | 天津大学 | 一种固定扫摆式多相机视觉测量方法 |
| US20230090757A1 (en) * | 2021-09-21 | 2023-03-23 | The Boeing Company | Method and apparatus for hand-off and tracking for pose estimation of a fiducial marker |
| CN116202511A (zh) * | 2023-05-06 | 2023-06-02 | 煤炭科学研究总院有限公司 | 长巷道超宽带一维约束下的移动装备位姿确定方法及装置 |
-
2023
- 2023-06-29 CN CN202310779656.7A patent/CN116518961B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110246182A (zh) * | 2019-05-29 | 2019-09-17 | 深圳前海达闼云端智能科技有限公司 | 基于视觉的全局地图定位方法、装置、存储介质和设备 |
| CN111156984A (zh) * | 2019-12-18 | 2020-05-15 | 东南大学 | 一种面向动态场景的单目视觉惯性slam方法 |
| CN111983635A (zh) * | 2020-08-17 | 2020-11-24 | 浙江商汤科技开发有限公司 | 位姿确定方法及装置、电子设备和存储介质 |
| CN114814872A (zh) * | 2020-08-17 | 2022-07-29 | 浙江商汤科技开发有限公司 | 位姿确定方法及装置、电子设备和存储介质 |
| US20230090757A1 (en) * | 2021-09-21 | 2023-03-23 | The Boeing Company | Method and apparatus for hand-off and tracking for pose estimation of a fiducial marker |
| CN114627253A (zh) * | 2022-02-24 | 2022-06-14 | 深圳市正浩创新科技股份有限公司 | 地图构建方法、装置与设备 |
| CN115638726A (zh) * | 2022-10-27 | 2023-01-24 | 天津大学 | 一种固定扫摆式多相机视觉测量方法 |
| CN116202511A (zh) * | 2023-05-06 | 2023-06-02 | 煤炭科学研究总院有限公司 | 长巷道超宽带一维约束下的移动装备位姿确定方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116518961B (zh) | 2023-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ma et al. | A review of 3D reconstruction techniques in civil engineering and their applications | |
| US10360247B2 (en) | System and method for telecom inventory management | |
| Bang et al. | UAV-based automatic generation of high-resolution panorama at a construction site with a focus on preprocessing for image stitching | |
| EP2208021B1 (en) | Method of and arrangement for mapping range sensor data on image sensor data | |
| CN104280036B (zh) | 一种交通信息的检测与定位方法、装置及电子设备 | |
| CN102917171B (zh) | 基于像素的小目标定位方法 | |
| Chen et al. | Real-time 3D crane workspace update using a hybrid visualization approach | |
| US20210274358A1 (en) | Method, apparatus and computer program for performing three dimensional radio model construction | |
| US8264537B2 (en) | Photogrammetric networks for positional accuracy | |
| Yeum et al. | Autonomous image localization for visual inspection of civil infrastructure | |
| Fang et al. | A point cloud-vision hybrid approach for 3D location tracking of mobile construction assets | |
| You et al. | An accurate and practical calibration method for roadside camera using two vanishing points | |
| CN104180814A (zh) | 移动终端上实景功能中的导航方法和电子地图客户端 | |
| JP2010117800A (ja) | 駐車場監視装置及び方法 | |
| Aeschliman et al. | Tracking vehicles through shadows and occlusions in wide-area aerial video | |
| JP2004265396A (ja) | 映像生成システム及び映像生成方法 | |
| US11423611B2 (en) | Techniques for creating, organizing, integrating, and using georeferenced data structures for civil infrastructure asset management | |
| Wang et al. | Automatic registration of point cloud and panoramic images in urban scenes based on pole matching | |
| Tang et al. | Content-based 3-D mosaics for representing videos of dynamic urban scenes | |
| CN116518961B (zh) | 大规模固定视觉传感器全局位姿的确定方法和装置 | |
| Ji et al. | Manhole cover detection using vehicle-based multi-sensor data | |
| Tian et al. | Application oriented quality evaluation of Gaofen-7 optical stereo satellite imagery | |
| Jiang et al. | 3D reconstruction of spherical images: a review of techniques, applications, and prospects | |
| Kim et al. | Automatic 3D city modeling using a digital map and panoramic images from a mobile mapping system | |
| Aliakbarpour et al. | Geometric exploration of virtual planes in a fusion-based 3D data registration framework |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |