CN114742967B - 一种基于建筑数字孪生语义图的视觉定位方法及装置 - Google Patents

一种基于建筑数字孪生语义图的视觉定位方法及装置 Download PDF

Info

Publication number
CN114742967B
CN114742967B CN202210516781.4A CN202210516781A CN114742967B CN 114742967 B CN114742967 B CN 114742967B CN 202210516781 A CN202210516781 A CN 202210516781A CN 114742967 B CN114742967 B CN 114742967B
Authority
CN
China
Prior art keywords
building
target
semantic graph
matched
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210516781.4A
Other languages
English (en)
Other versions
CN114742967A (zh
Inventor
周小平
王佳
陆一昕
任远
陈丹燕
宋有利
任秀秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Saab Weitong Technology Co.,Ltd.
Original Assignee
Bim Winner Shanghai Technology Co ltd
Foshan Yingjia Smart Space Technology Co ltd
Jiaxing Wuzhen Yingjia Qianzhen Technology Co ltd
Shandong Jiaying Internet Technology Co ltd
Shenzhen Bim Winner Technology Co ltd
Shenzhen Qianhai Yingjia Data Service Co ltd
Yingjia Internet Beijing Smart Technology Co ltd
Bim Winner Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bim Winner Shanghai Technology Co ltd, Foshan Yingjia Smart Space Technology Co ltd, Jiaxing Wuzhen Yingjia Qianzhen Technology Co ltd, Shandong Jiaying Internet Technology Co ltd, Shenzhen Bim Winner Technology Co ltd, Shenzhen Qianhai Yingjia Data Service Co ltd, Yingjia Internet Beijing Smart Technology Co ltd, Bim Winner Beijing Technology Co ltd filed Critical Bim Winner Shanghai Technology Co ltd
Priority to CN202210516781.4A priority Critical patent/CN114742967B/zh
Publication of CN114742967A publication Critical patent/CN114742967A/zh
Application granted granted Critical
Publication of CN114742967B publication Critical patent/CN114742967B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Geometry (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Algebra (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种基于建筑数字孪生语义图的视觉定位方法及装置，涉及视觉定位技术领域，包括：根据目标建筑的建筑数字孪生模型，创建目标建筑的目标全局建筑语义图，确定待定位图像的局部建筑语义图，从目标全局建筑语义图中查找与局部建筑语义图相匹配的目标匹配语义子图；根据局部建筑语义图和目标匹配语义子图，确定待定位图像在目标建筑中的拍摄位姿，完成对待定位图像的定位。本申请通过建筑语义图实现视觉定位，在保证定位精度的同时，简化视觉定位模型的计算过程。

Description

一种基于建筑数字孪生语义图的视觉定位方法及装置
技术领域
本申请涉及视觉定位技术领域，尤其涉及一种基于建筑数字孪生语义图的视觉定位方法及装置。
背景技术
视觉定位是一种相对低成本、广泛可得的室内定位方法，视觉定位的主要原理是利用视觉传感器（如智能手机的相机、监控摄像头等）拍摄的图像，估计拍摄点在某个坐标系下的位置和朝向，当前视觉定位方法包括基于三维模型的视觉定位。
现有技术中，基于三维模型的视觉定位首先采用SfM、SLAM等算法建立三维室内模型，而后建立待定位图像二维特征点和三维室内模型特征点的匹配，最后采用RANSAC+PNP等算法计算位置，此类方法计算复杂度高，定位稳定性较差。
发明内容
有鉴于此，本申请的目的在于至少提供一种基于建筑数字孪生语义图的视觉定位方法及装置，通过建筑语义图实现视觉定位，在保证定位精度的同时，简化视觉定位模型的计算过程。
本申请主要包括以下几个方面：
第一方面，本申请实施例提供一种基于建筑数字孪生语义图的视觉定位方法，视觉定位方法包括：根据目标建筑的建筑数字孪生模型，创建目标建筑的目标全局建筑语义图，目标全局建筑语义图包括多个节点和多条边，其中，每个节点表示目标建筑中的实体，通过边将节点与节点进行连接，表示相连接的两个节点之间存在实体关系；确定待定位图像的局部建筑语义图，待定位图像为所拍摄的目标建筑内的局部区域的图像，局部建筑语义图包括多个待匹配节点和多条待匹配边，其中，每个待匹配节点表示待定位图像中的实体，通过待匹配边将待匹配节点与待匹配节点进行连接，表示相连接的两个待匹配节点之间存在实体关系；从所述目标全局建筑语义图中查找与局部建筑语义图相匹配的目标匹配语义子图；根据局部建筑语义图和目标匹配语义子图，确定待定位图像在目标建筑中的拍摄位姿，完成对待定位图像的定位。
在一种可能的实施方式中，根据目标建筑的建筑数字孪生模型，创建目标建筑的目标全局建筑语义图的步骤包括：根据目标建筑的建筑数字孪生模型，创建目标建筑的初始全局建筑语义图，初始全局建筑语义图包括目标建筑内部所有实体对应的多个节点以及多条边；对初始全局建筑语义图进行近似频繁子图挖掘，排除初始全局建筑语义图中大于预设频度的节点以及边，确定经过近似频繁子图挖掘后的目标全局建筑语义图。
在一种可能的实施方式中，从目标全局建筑语义图中查找与局部建筑语义图相匹配的目标匹配语义子图的步骤包括：根据目标全局建筑语义图和局部建筑语义图，创建局部建筑语义图与目标全局建筑语义图之间的映射关系差异函数；根据待定位图像对应的约束集合，使用过滤法对映射关系差异函数进行最优化求解，确定目标全局建筑语义图与局部建筑语义图之间的目标映射关系矩阵，目标映射关系矩阵中的每个元素表示局部建筑语义图中的每个待匹配节点与目标全局建筑语义图中的每个节点之间的匹配关系；根据目标映射关系矩阵，确定局部建筑语义图在全局建筑语义图中的目标匹配语义子图。
在一种可能的实施方式中，不同实体对应的节点类型不同，不同类型的节点表示不同类型的实体，不同类型的边表示不同类型的实体关系，其中，通过以下公式表示目标建筑的局部建筑语义图与全局建筑语义图之间的映射关系差异函数：
Figure M_220721141617910_910285001
在该公式中，
Figure M_220721141618019_019665001
表示映射关系差异函数，
Figure M_220721141618050_050915002
表示目标全局建筑语义图，
Figure M_220721141618086_086555003
=（
Figure M_220721141618102_102167004
）表示局部建筑语义图，其中，
Figure M_220721141618133_133459005
表示局部建筑语义图中的待匹配节点集合，
Figure M_220721141618164_164679006
表示局部建筑语义图中的待匹配边集合，
Figure M_220721141618180_180298007
表示局部建筑语义图与目标全局建筑语义图之间的目标映射关系矩阵，
Figure M_220721141618211_211567008
表示局部建筑语义图中的第
Figure M_220721141618227_227180009
个待匹配节点对应的实体类型，
Figure M_220721141618258_258429010
表示局部建筑语义图中的第
Figure M_220721141618291_291636011
个待匹配节点对应的实体类型的影响权重，
Figure M_220721141618307_307265012
表示局部建筑语义图中的第i个待匹配节点与其在目标全局建筑语义图中对应的目标匹配节点之间的节点差异，
Figure M_220721141618338_338517013
表示局部建筑语义图中的第i个待匹配节点与第j个待匹配节点之间的边对应的实体关系所属的实体关系类型，
Figure M_220721141618369_369742014
表示实体关系类型
Figure M_220721141618401_401007015
的影响权重，
Figure M_220721141618432_432261016
表示局部建筑语义图中的待匹配边与其在全局建筑语义图中对应的目标匹配边之间的差异，
Figure M_220721141618480_480591017
，表示局部建筑语义图中存在实体关系k的第i个待匹配节点与第j个待匹配节点之间所形成的待匹配边，
Figure M_220721141618511_511878018
表示第i个待匹配节点与第j个待匹配节点之间所形成的实体关系。
在一种可能的实施方式中，约束集合包括节点约束集合、边约束集合和总约束集合，其中，节点约束集合包括对局部建筑语义图中的各待匹配节点的节点约束，边约束集合包括对局部建筑语义图中的各待匹配边的边约束，总约束集合包括对局部建筑语义图中待匹配节点和待匹配边之间的总约束。
在一种可能的实施方式中，根据待定位图像对应的约束集合，使用过滤法对映射关系差异函数进行最优化求解，确定目标全局建筑语义图与局部建筑语义图之间的目标映射关系矩阵的步骤包括：遍历待定位图像对应的节点约束集合，将目标全局建筑语义图与局部建筑语义图之间的初始映射关系矩阵中，满足节点约束的对应元素的值设置为1，不满足节点约束的对应元素的值设置为0；遍历待定位图像对应的边约束集合，迭代设置初始映射关系矩阵中，满足边约束的对应元素的值设置为1，不满足边约束的对应元素的值设置为0；遍历待定位图像对应的总约束集合，迭代设置初始映射关系矩阵中，满足总约束的对应元素的值设置为1，不满足总约束的对应元素的值设置为0 ，确定目标全局建筑语义图与局部建筑语义图之间的目标映射关系矩阵。
在一种可能的实施方式中，根据局部建筑语义图和目标匹配语义子图，确定待定位图像在目标建筑中的拍摄位姿，完成对待定位图像的定位的步骤包括：确定局部建筑语义图中各待匹配节点在待定位图像中的第一坐标；确定目标匹配语义子图中各目标匹配节点在目标建筑中的第二坐标；将每个待匹配节点对应的第一坐标和每个目标匹配节点对应的第二坐标输入RANSAC+PNP模型，确定待定位图像在目标建筑中的拍摄位姿，完成对待定位图像的定位。
第二方面，本申请实施例还提供一种基于建筑数字孪生语义图的视觉定位装置，视觉定位装置包括：创建模块，用于根据目标建筑的建筑数字孪生模型，创建目标建筑的目标全局建筑语义图，目标全局建筑语义图包括多个节点和多条边，其中，每个节点表示目标建筑中的实体，通过边将节点与节点进行连接，表示相连接的两个节点之间存在实体关系；第一确定模块，用于确定待定位图像的局部建筑语义图，待定位图像为所拍摄的目标建筑内的局部区域的图像，局部建筑语义图包括多个待匹配节点和多条待匹配边，其中，每个待匹配节点表示待定位图像中的实体，通过待匹配边将待匹配节点与待匹配节点进行连接，表示相连接的两个待匹配节点之间存在实体关系；第二确定模块，用于从目标全局建筑语义图中查找与局部建筑语义图相匹配的目标匹配语义子图；第三确定模块，用于根据局部建筑语义图和目标匹配语义子图，确定待定位图像在目标建筑中的拍摄位姿，完成对待定位图像的定位。
在一种可能的实施方式中，第二确定模块还用于：根据目标全局建筑语义图和局部建筑语义图，创建局部建筑语义图与目标全局建筑语义图之间的映射关系差异函数；根据待定位图像对应的约束集合，使用过滤法对映射关系差异函数进行最优化求解，确定目标全局建筑语义图与局部建筑语义图之间的目标映射关系矩阵，目标映射关系矩阵中的每个元素表示局部建筑语义图中的每个待匹配节点与目标全局建筑语义图中的每个节点之间的匹配关系；根据目标映射关系矩阵，确定局部建筑语义图在全局建筑语义图中的目标匹配语义子图。
在一种可能的实施方式中，第三确定模块还用于：确定局部建筑语义图中各待匹配节点在待定位图像中的第一坐标；确定目标匹配语义子图中各目标匹配节点在目标建筑中的第二坐标；将每个待匹配节点对应的第一坐标和每个目标匹配节点对应的第二坐标输入RANSAC+PNP模型，确定待定位图像在目标建筑中的拍摄位姿，完成对待定位图像的定位。
本申请实施例提供的基于建筑数字孪生语义图的视觉定位方法及装置，包括：根据目标建筑的建筑数字孪生模型，创建目标建筑的目标全局建筑语义图，目标全局建筑语义图包括多个节点和多条边，其中，每个节点表示目标建筑中的实体，通过边将节点与节点进行连接，表示相连接的两个节点之间存在实体关系；确定待定位图像的局部建筑语义图，待定位图像为所拍摄的目标建筑内的局部区域的图像，局部建筑语义图包括多个待匹配节点和多条待匹配边，其中，每个待匹配节点表示待定位图像中的实体，通过待匹配边将待匹配节点与待匹配节点进行连接，表示相连接的两个待匹配节点之间存在实体关系；从目标全局建筑语义图中查找与局部建筑语义图相匹配的目标匹配语义子图；根据局部建筑语义图和目标匹配语义子图，确定待定位图像在目标建筑中的拍摄位姿，完成对待定位图像的定位。通过建筑语义图实现视觉定位，在保证定位精度的同时，简化视觉定位模型的计算过程。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种视觉定位方法的流程图；
图2示出了本申请实施例所提供的建筑语义图的结构示意图；
图3示出了本申请实施例所提供的一种确定目标匹配语义子图的步骤的流程图；
图4示出了本申请实施例提供的一种视觉定位装置的结构示意图；
图5示出了本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中的附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应当理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的全部其他实施例，都属于本申请保护的范围。
现有的视觉定位技术，根据视觉传感器不同，视觉定位方法可分为RGB-D视觉定位、面向自主机器人等的连续视觉感知定位和单张或少量图像的单目视觉定位等，从室内场景表达进行区分，现有技术中的视觉定位方法可分为基于三维模型的视觉定位和基于图像检索的视觉定位两类。
基于三维模型的视觉定位采用SfM（Structure from Motion，运动结构）、SLAM（Simultaneous Location and Mapping，同时定位与地图构建）等算法建立三维室内模型，或通过CNN（Convolutional Neural Network，卷积神经网络）、随机森林等隐式表达三维室内模型，而后建立待定位图像的二维特征点和三维室内模型特征点的匹配，最后采用RANSAC（Random Sample Consensus）+PNP（Perspective N Points，多点透视成像）等算法计算最后定位位置，此类方法在特征点正确匹配下具备较高定位精度，然而，其计算复杂度高，且在新场景内的泛化能力弱，同时，在弱视觉室内场景中较难获取正确的二维特征点和三维室内模型特征点的匹配结果，造成感知混叠，且定位稳定性较差。
基于图像检索的视觉定位通过SfM、SLAM、BIM（Building InformationModelling，建筑信息模型）等方式建立“图像（特征）−位置”匹配数据库，而后建立图像检索方法查找与待定位图像最相似的匹配数据库图像（特征），实现室内定位，此类算法的性能取决于匹配数据库和图像检索算法，然而匹配数据库的建立需要大量的前期室内环境建模工作，耗时且成本高，另一方面，该方法中面向视觉定位的图像检索，大多采用图像的视觉特征，然而纯粹的图像视觉特征很难适用于弱视觉特征下的视觉定位。
基于此，本申请实施例提供了一种视觉定位方法，通过建筑语义图实现视觉定位，在保证定位精度的同时，简化视觉定位模型的计算过程，具体如下：
请参阅图1，图1示出了本申请实施例所提供的一种基于建筑数字孪生语义图的视觉定位方法的流程图。如图1所示，本申请实施例提供的视觉定位方法，包括以下步骤：
S100、根据目标建筑的建筑数字孪生模型，创建目标建筑的目标全局建筑语义图。
具体的，在目标建筑的各楼层的多个位置处，设置有对应的视觉传感器，视觉传感器可以为监控摄像头，根据设置在目标建筑内部各处的监控摄像头，实时捕捉目标建筑内部的图像以及记录目标建筑内部物体移动等的变化，目标建筑的建筑数字孪生模型，是根据设置在目标建筑内部各位置处的监控摄像头获取的监控视频以及目标建筑的BIM异质数据创建的，由此可见，建筑数字孪生模型能够描述建筑的室内动态场景。
其中，目标建筑的建筑数字孪生模型由目标建筑的实体以及实体关系组成，具体的，对目标建筑的建筑数字孪生模型进行形式化描述，目标建筑的建筑数字孪生模型
Figure M_220721141618543_543099001
，其中，
Figure M_220721141618574_574346002
表示目标建筑的建筑数字孪生模型
Figure M_220721141618589_589978003
中的实体集合，
Figure M_220721141618621_621216004
表示目标建筑的建筑数字孪生模型
Figure M_220721141618652_652480005
中的实体关系集合，T表示目标建筑的建筑数字孪生模型
Figure M_220721141618671_671957006
中的实体类型集合，
Figure M_220721141618688_688087007
表示目标建筑的建筑数字孪生模型
Figure M_220721141618735_735004008
中的实体关系类型集合，且对于建筑数字孪生模型
Figure M_220721141618766_766229009
中的任一实体
Figure M_220721141618797_797499010
，其包括该实体可用于视觉定位的属性特征，对于建筑数字孪生模型
Figure M_220721141618828_828750011
中的任意两个实体
Figure M_220721141618859_859991012
和
Figure M_220721141618894_894633013
，其可能存在多种不同类型的实体关系，优选地，可以通过
Figure M_220721141618910_910305014
表示建筑数字孪生模型
Figure M_220721141618941_941546015
中的任意两个实体
Figure M_220721141618972_972793016
和
Figure M_220721141618988_988415017
之间所有实体关系的集合，对于任一实体关系
Figure M_220721141619019_019657018
∈
Figure M_220721141619035_035303019
，其可描述为
Figure M_220721141619068_068453020
，其含义为实体
Figure M_220721141619100_100223021
以关系
Figure M_220721141619131_131487022
∈
Figure M_220721141619162_162732023
依赖于实体
Figure M_220721141619178_178361024
，因此，可通过
Figure M_220721141619209_209613025
表示实体
Figure M_220721141619256_256487026
以关系
Figure M_220721141619275_275970027
依赖的所有实体。
对目标建筑的建筑数字孪生模型进行形式化描述后，建筑数字孪生模型转化为目标建筑的目标全局建筑语义图，目标全局建筑语义图包括多个节点和多条边，其中，节点表示目标建筑中的实体，通过边将节点与节点进行连接，表示相连接的两个节点之间存在实体关系，其中，不同类型的节点表示不同类型的实体，不同类型的边表示不同的类型的实体关系，具体的，实体的类型包括但不限于桌子、椅子、窗户和墙，实体关系包括但不限于从属、遮挡和相交，实体关系类型包括但不限于位置、语义、组合等。
请参阅图2，图2示出了本申请实施例所提供的建筑语义图的结构示意图，如图2所示，B1、B2、B3、B4、B5、B6表示目标全局建筑语义图的建筑语义子图A中的节点，其中，不同形状的节点表示不同的实体类型，①、②、③表示不同类型的边，表示不同类型的实体关系。
在一优选实施例中，根据目标建筑的建筑数字孪生模型，创建目标建筑的目标全局建筑语义图的步骤包括：
根据目标建筑的建筑数字孪生模型，创建目标建筑的初始全局建筑语义图，初始全局建筑语义图包括目标建筑内部所有实体对应的多个节点以及多条边，对初始全局建筑语义图进行近似频繁子图挖掘，排除初始全局建筑语义图中大于预设频度的节点以及边，确定经过近似频繁子图挖掘后的目标全局建筑语义图。
在一优选实施例中，在视觉定位方法中，在根据目标建筑的建筑数字孪生模型创建初始全局建筑语义图后，在初始全局建筑语义图中，并非所有的实体、实体关系以及语义子图都对视觉定位的产生一定的作用，为了降低运算的复杂程度，需要确定初始全局建筑语义图中对视觉定位产生一定作用的可依赖要素，显然，语义子图频繁度越高，则该语义子图在视觉定位中的作用越小；反之，则该语义子图在视觉定位中作用越大。因此，这里通过近似频繁子图挖掘，找出初始语义图中许多频繁出现的节点、边和语义子图，最终确定具有最大室内定位效用的目标全局建筑语义图。
返回图1，S200、确定待定位图像的局部建筑语义图。
待定位图像为所拍摄的目标建筑内的局部区域的图像，具体的，可通过设置在目标建筑的各楼层的多个位置处的监控摄像头获取待定位图像，局部建筑语义图包括多个待匹配节点和多条待匹配边，其中，每个待匹配节点表示待定位图像中的实体，通过待匹配边将待匹配节点与待匹配节点进行连接，表示相连接的两个待匹配节点之间存在实体关系。
S300、从目标全局建筑语义图中查找与局部建筑语义图相匹配的目标匹配语义子图。
请参阅图3，图3示出了本申请实施例所提供的一种确定目标匹配语义子图的步骤的流程图，如图3所示，从目标全局建筑语义图中查找与局部建筑语义图相匹配的目标匹配语义子图的步骤包括：
S301、根据目标全局建筑语义图和局部建筑语义图，创建局部建筑语义图与目标全局建筑语义图之间的映射关系差异函数。
在一优选实施例中，通过以下公式表示目标建筑的局部建筑语义图与全局建筑语义图之间的映射关系差异函数：
Figure M_220721141619307_307804001
在该公式中，
Figure M_220721141619401_401482001
表示映射关系差异函数，
Figure M_220721141619432_432749002
表示目标全局建筑语义图，
Figure M_220721141619466_466400003
=（
Figure M_220721141619482_482535004
）表示局部建筑语义图，其中，
Figure M_220721141619513_513787005
表示局部建筑语义图中的待匹配节点集合，
Figure M_220721141619545_545036006
表示局部建筑语义图中的待匹配边集合，
Figure M_220721141619576_576297007
表示局部建筑语义图与目标全局建筑语义图之间的目标映射关系矩阵，
Figure M_220721141619591_591933008
表示局部建筑语义图中的第
Figure M_220721141619623_623185009
个待匹配节点对应的实体类型，
Figure M_220721141619638_638804010
表示局部建筑语义图中的第
Figure M_220721141619673_673428011
个待匹配节点对应的实体类型的影响权重，
Figure M_220721141619689_689557012
表示局部建筑语义图中的第i个待匹配节点与其在目标全局建筑语义图中对应的目标匹配节点之间的节点差异，
Figure M_220721141619720_720836013
表示局部建筑语义图中的第i个待匹配节点与第j个待匹配节点之间的边对应的实体关系所属的实体关系类型，
Figure M_220721141619752_752078014
表示实体关系类型
Figure M_220721141619783_783356015
的影响权重，
Figure M_220721141619814_814564016
表示局部建筑语义图中的待匹配边与其在全局建筑语义图中对应的目标匹配边之间的差异。
在具体实施中，通过映射关系差异函数的公式可知，映射关系差异函数
Figure M_220721141619845_845837001
的值越小，目标映射关系矩阵
Figure M_220721141619879_879031002
越准确，也就是说，通过目标映射关系矩阵
Figure M_220721141619894_894666003
从目标全局建筑语义图中找到的与局部建筑语义图相匹配的目标匹配语义子图越准确。
S302、根据待定位图像对应的约束集合，使用过滤法对映射关系差异函数进行最优化求解，确定目标全局建筑语义图与局部建筑语义图之间的目标映射关系矩阵。
在一种可能的实施方式中，可以通过
Figure M_220721141619925_925899001
确定目标全局建筑语义图与局部建筑语义图之间的目标映射关系矩阵，即求取使得映射关系差异函数
Figure M_220721141619957_957153002
最小或者满足预设阈值的目标映射关系矩阵，其中，目标映射关系矩阵中的每个元素表示局部建筑语义图中的每个待匹配节点与目标全局建筑语义图中的每个节点之间的匹配关系。
在一优选实施例中，约束集合包括节点约束集合、边约束集合和总约束集合，其中，节点约束集合包括对局部建筑语义图中的各待匹配节点的节点约束，边约束集合包括对局部建筑语义图中的各待匹配边的边约束，总约束集合包括对局部建筑语义图中待匹配节点和待匹配边之间的总约束，其中，例如节点约束可以对各待匹配节点对应的实体类型进行约束，边约束可以对各待匹配节点涉及到的实体关系以及实体关系类型进行约束。
在一优选实施例中，根据待定位图像对应的约束集合，使用过滤法对映射关系差异函数进行最优化求解，确定目标全局建筑语义图与局部建筑语义图之间的目标映射关系矩阵的步骤包括：遍历待定位图像对应的节点约束集合，将目标全局建筑语义图与局部建筑语义图之间的初始映射关系矩阵中，满足节点约束的对应元素的值设置为1，不满足节点约束的对应元素的值设置为0；遍历待定位图像对应的边约束集合，迭代设置初始映射关系矩阵中，满足边约束的对应元素的值设置为1，不满足边约束的对应元素的值设置为0；遍历待定位图像对应的总约束集合，迭代设置初始映射关系矩阵中，满足总约束的对应元素的值设置为1，不满足总约束的对应元素的值设置为0 ，确定目标全局建筑语义图与局部建筑语义图之间的目标映射关系矩阵。
一示例中，初始映射关系矩阵P∈
Figure M_220721141619988_988414001
，其中，
Figure M_220721141620019_019644002
表示局部建筑语义图
Figure M_220721141620035_035274003
中的待匹配节点数，
Figure M_220721141620068_068450004
表示目标全局建筑语义图
Figure M_220721141620084_084598005
中的节点数，若目标全局建筑语义图
Figure M_220721141620115_115836006
中的第j个节点是局部建筑语义图
Figure M_220721141620131_131465007
中第i个待匹配节点满足约束集合H中节点约束下的潜在匹配节点，则
Figure M_220721141620147_147109008
，若目标全局建筑语义图
Figure M_220721141620193_193997009
中的第j个节点不是局部建筑语义图
Figure M_220721141620209_209592010
中第i个待匹配节点满足约束集合H中节点约束下的潜在匹配节点，则
Figure M_220721141620225_225241011
，按照此方法，依次迭代遍历节点约束集合、边约束集合以及总约束集合，确定目标全局建筑语义图与局部建筑语义图之间的目标映射关系矩阵P。
S303、根据目标映射关系矩阵，确定局部建筑语义图在全局建筑语义图中的目标匹配语义子图。
返回图1，S400、根据局部建筑语义图和目标匹配语义子图，确定待定位图像在目标建筑中的拍摄位姿，完成对待定位图像的定位。
在一优选实施例中，根据局部建筑语义图和目标匹配语义子图，确定待定位图像在目标建筑中的拍摄位姿，完成对待定位图像的定位的步骤包括：
确定局部建筑语义图中各待匹配节点在待定位图像中的第一坐标；确定目标匹配语义子图中各目标匹配节点在目标建筑中的第二坐标；将每个待匹配节点对应的第一坐标和每个目标匹配节点对应的第二坐标输入RANSAC+PNP模型，确定待定位图像在目标建筑中的拍摄位姿，完成对待定位图像的定位。
基于同一申请构思，本申请实施例中还提供了与上述实施例提供的视觉定位方法对应的视觉定位装置，由于本申请实施例中的装置解决问题的原理与本申请上述实施例的视觉定位方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
请参阅图4，图4示出了本申请实施例提供的一种基于建筑数字孪生语义图的视觉定位装置的结构示意图，如图4所示，视觉定位装置包括：
创建模块510，用于根据目标建筑的建筑数字孪生模型，创建目标建筑的目标全局建筑语义图，目标全局建筑语义图包括多个节点和多条边，其中，每个节点表示目标建筑中的实体，通过边将节点与节点进行连接，表示相连接的两个节点之间存在实体关系；
第一确定模块520，用于确定待定位图像的局部建筑语义图，待定位图像为所拍摄的目标建筑内的局部区域的图像，局部建筑语义图包括多个待匹配节点和多条待匹配边，其中，每个待匹配节点表示待定位图像中的实体，通过待匹配边将待匹配节点与待匹配节点进行连接，表示相连接的两个待匹配节点之间存在实体关系；
第二确定模块530，用于从目标全局建筑语义图中查找与局部建筑语义图相匹配的目标匹配语义子图；
第三确定模块540，用于根据局部建筑语义图和目标匹配语义子图，确定待定位图像在目标建筑中的拍摄位姿，完成对待定位图像的定位。
优选地，第二确定模块530还用于：根据目标全局建筑语义图和局部建筑语义图，创建局部建筑语义图与目标全局建筑语义图之间的映射关系差异函数；根据待定位图像对应的约束集合，使用过滤法对映射关系差异函数进行最优化求解，确定目标全局建筑语义图与局部建筑语义图之间的目标映射关系矩阵，目标映射关系矩阵中的每个元素表示局部建筑语义图中的每个待匹配节点与目标全局建筑语义图中的每个节点之间的匹配关系；根据目标映射关系矩阵，确定局部建筑语义图在全局建筑语义图中的目标匹配语义子图。
优选地，第三确定模块540还用于： 确定局部建筑语义图中各待匹配节点在待定位图像中的第一坐标；确定目标匹配语义子图中各目标匹配节点在目标建筑中的第二坐标；将每个待匹配节点对应的第一坐标和每个目标匹配语义子图对应的第二坐标输入RANSAC+PNP模型，确定待定位图像在目标建筑中的拍摄位姿，完成对待定位图像的定位。
优选地，创建模块510还用于：根据目标建筑的建筑数字孪生模型，创建目标建筑的初始全局建筑语义图，初始全局建筑语义图包括目标建筑内部所有实体对应的多个节点以及多条边；对初始全局建筑语义图进行近似频繁子图挖掘，排除初始全局建筑语义图中大于预设频度的节点以及边，确定经过近似频繁子图挖掘后的目标全局建筑语义图。
优选地，不同类型的节点表示不同类型的实体，不同类型的边表示不同类型的实体关系，其中，第二确定模块530还用于通过以下公式表示目标建筑的局部建筑语义图与全局建筑语义图之间的映射关系差异函数：
Figure M_220721141620256_256478001
在该公式中，
Figure M_220721141620336_336559001
表示映射关系差异函数，
Figure M_220721141620367_367802002
表示目标全局建筑语义图，
Figure M_220721141620399_399060003
=（
Figure M_220721141620414_414684004
）表示局部建筑语义图，其中，
Figure M_220721141620445_445944005
表示局部建筑语义图中的待匹配节点集合，
Figure M_220721141620480_480096006
表示局部建筑语义图中的待匹配边集合，
Figure M_220721141620511_511365007
表示局部建筑语义图与目标全局建筑语义图之间的目标映射关系矩阵，
Figure M_220721141620526_526995008
表示局部建筑语义图中的第
Figure M_220721141620558_558220009
个待匹配节点对应的实体类型，
Figure M_220721141620573_573846010
表示局部建筑语义图中的第
Figure M_220721141620605_605119011
个待匹配节点对应的实体类型的影响权重，
Figure M_220721141620620_620764012
表示局部建筑语义图中的第i个待匹配节点与其在目标全局建筑语义图中对应的目标匹配节点之间的节点差异，
Figure M_220721141620651_651990013
表示局部建筑语义图中的第i个待匹配节点与第j个待匹配节点之间的边对应的实体关系所属的实体关系类型，
Figure M_220721141620686_686655014
表示实体关系类型
Figure M_220721141620717_717906015
的影响权重，
Figure M_220721141620749_749145016
表示局部建筑语义图中的待匹配边与其在全局建筑语义图中对应的目标匹配边之间的差异。
优选地，约束集合包括节点约束集合、边约束集合和总约束集合，其中，节点约束集合包括对局部建筑语义图中的各待匹配节点的节点约束，边约束集合包括对局部建筑语义图中的各待匹配边的边约束，总约束集合包括对局部建筑语义图中待匹配节点和待匹配边之间的总约束。
优选地，第二确定模块530还用于：遍历待定位图像对应的节点约束集合，将目标全局建筑语义图与局部建筑语义图之间的初始映射关系矩阵中，满足节点约束的对应元素的值设置为1，不满足节点约束的对应元素的值设置为0； 遍历待定位图像对应的边约束集合，迭代设置初始映射关系矩阵中，满足边约束的对应元素的值设置为1，不满足边约束的对应元素的值设置为0；遍历待定位图像对应的总约束集合，迭代设置初始映射关系矩阵中，满足总约束的对应元素的值设置为1，不满足总约束的对应元素的值设置为0 ，确定目标全局建筑语义图与局部建筑语义图之间的目标映射关系矩阵。
基于同一申请构思，请参阅图5，图5示出了本申请实施例提供的一种电子设备的结构示意图，电子设备600包括：处理器610、存储器620和总线630，所述存储器620存储有所述处理器610可执行的机器可读指令，当电子设备600运行时，所述处理器610与所述存储器620之间通过所述总线630进行通信，所述机器可读指令被所述处理器610运行时执行如上述实施例中任一所述的视觉定位方法的步骤。
基于同一申请构思，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述实施例提供的视觉定位方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本申请所提供的几个实施例中，应所述理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者所述技术方案的部分可以以软件产品的形式体现出来，所述计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种基于建筑数字孪生语义图的视觉定位方法，其特征在于，所述视觉定位方法包括：
根据目标建筑的建筑数字孪生模型，创建所述目标建筑的目标全局建筑语义图，所述目标全局建筑语义图包括多个节点和多条边，其中，每个节点表示所述目标建筑中的实体，通过边将节点与节点进行连接，表示相连接的两个节点之间存在实体关系；
确定待定位图像的局部建筑语义图，所述待定位图像为所拍摄的所述目标建筑内的局部区域的图像，所述局部建筑语义图包括多个待匹配节点和多条待匹配边，其中，每个待匹配节点表示所述待定位图像中的实体，通过待匹配边将待匹配节点与待匹配节点进行连接，表示相连接的两个待匹配节点之间存在实体关系；
从所述目标全局建筑语义图中查找与所述局部建筑语义图相匹配的目标匹配语义子图；
根据所述局部建筑语义图和所述目标匹配语义子图，确定所述待定位图像在所述目标建筑中的拍摄位姿，完成对待定位图像的定位;
其中，从所述目标全局建筑语义图中查找与所述局部建筑语义图相匹配的目标匹配语义子图的步骤包括：
根据所述目标全局建筑语义图和所述局部建筑语义图，创建所述局部建筑语义图与所述目标全局建筑语义图之间的映射关系差异函数；
根据待定位图像对应的约束集合，使用过滤法对所述映射关系差异函数进行最优化求解，确定目标全局建筑语义图与局部建筑语义图之间的目标映射关系矩阵，所述目标映射关系矩阵中的每个元素表示局部建筑语义图中的每个待匹配节点与目标全局建筑语义图中的每个节点之间的匹配关系；
根据所述目标映射关系矩阵，确定局部建筑语义图在所述全局建筑语义图中的目标匹配语义子图。
2.根据权利要求1所述的视觉定位方法，其特征在于，根据目标建筑的建筑数字孪生模型，创建所述目标建筑的目标全局建筑语义图的步骤包括：
根据目标建筑的建筑数字孪生模型，创建所述目标建筑的初始全局建筑语义图，所述初始全局建筑语义图包括目标建筑内部所有实体对应的多个节点以及多条边；
对所述初始全局建筑语义图进行近似频繁子图挖掘，排除所述初始全局建筑语义图中大于预设频度的节点以及边，确定经过近似频繁子图挖掘后的目标全局建筑语义图。
3.根据权利要求1所述的视觉定位方法，其特征在于，不同类型的节点表示不同类型的实体，不同类型的边表示不同类型的实体关系，
其中，通过以下公式表示目标建筑的局部建筑语义图与全局建筑语义图之间的映射关系差异函数：
Figure 125531DEST_PATH_IMAGE001
在该公式中，
Figure 856726DEST_PATH_IMAGE002
表示映射关系差异函数，
Figure 850090DEST_PATH_IMAGE004
表示目标全局建筑语义图，
Figure 604420DEST_PATH_IMAGE005
表示局部建筑语义图，其中，
Figure 905213DEST_PATH_IMAGE006
表示局部建筑语义图中的待匹配节点集合，
Figure 428598DEST_PATH_IMAGE007
表示局部建筑语义图中的待匹配边集合，
Figure 858443DEST_PATH_IMAGE009
表示局部建筑语义图与目标全局建筑语义图之间的目标映射关系矩阵，
Figure 100068DEST_PATH_IMAGE010
表示局部建筑语义图中的第
Figure 437509DEST_PATH_IMAGE012
个待匹配节点对应的实体类型，
Figure 80980DEST_PATH_IMAGE013
表示局部建筑语义图中的第
Figure 416146DEST_PATH_IMAGE012
个待匹配节点对应的实体类型的影响权重，
Figure 207384DEST_PATH_IMAGE014
表示局部建筑语义图中的第i个待匹配节点与其在目标全局建筑语义图中对应的目标匹配节点之间的节点差异，
Figure 286199DEST_PATH_IMAGE015
表示局部建筑语义图中的第i个待匹配节点与第j个待匹配节点之间的边对应的实体关系所属的实体关系类型，
Figure 784176DEST_PATH_IMAGE016
表示实体关系类型
Figure 618140DEST_PATH_IMAGE015
的影响权重，
Figure 568779DEST_PATH_IMAGE017
表示局部建筑语义图中的待匹配边与其在全局建筑语义图中对应的目标匹配边之间的差异，
Figure 451284DEST_PATH_IMAGE018
，表示局部建筑语义图中存在实体关系k的第i个待匹配节点与第j个待匹配节点之间所形成的待匹配边，
Figure 803768DEST_PATH_IMAGE020
表示第i个待匹配节点与第j个待匹配节点之间所形成的实体关系。
4.根据权利要求1所述的视觉定位方法，其特征在于，所述约束集合包括节点约束集合、边约束集合和总约束集合，其中，节点约束集合包括对局部建筑语义图中的各待匹配节点的节点约束，边约束集合包括对局部建筑语义图中的各待匹配边的边约束，总约束集合包括对所述局部建筑语义图中待匹配节点和待匹配边之间的总约束。
5.根据权利要求3所述的视觉定位方法，其特征在于，根据待定位图像对应的约束集合，使用过滤法对所述映射关系差异函数进行最优化求解，确定目标全局建筑语义图与局部建筑语义图之间的目标映射关系矩阵的步骤包括：
遍历待定位图像对应的节点约束集合，将目标全局建筑语义图与局部建筑语义图之间的初始映射关系矩阵中，满足节点约束的对应元素的值设置为1，不满足节点约束的对应元素的值设置为0；
遍历待定位图像对应的边约束集合，迭代设置初始映射关系矩阵中，满足边约束的对应元素的值设置为1，不满足边约束的对应元素的值设置为0；
遍历待定位图像对应的总约束集合，迭代设置初始映射关系矩阵中，满足总约束的对应元素的值设置为1，不满足总约束的对应元素的值设置为0，确定目标全局建筑语义图与局部建筑语义图之间的目标映射关系矩阵。
6.根据权利要求1所述的视觉定位方法，其特征在于，根据所述局部建筑语义图和所述目标匹配语义子图，确定所述待定位图像在所述目标建筑中的拍摄位姿，完成对待定位图像的定位的步骤包括：
确定所述局部建筑语义图中各待匹配节点在所述待定位图像中的第一坐标；
确定所述目标匹配语义子图中各目标匹配节点在所述目标建筑中的第二坐标；
将每个待匹配节点对应的第一坐标和每个目标匹配节点对应的第二坐标输入RANSAC+PNP模型，确定所述待定位图像在所述目标建筑中的拍摄位姿，完成对待定位图像的定位。
7.一种基于建筑数字孪生语义图的视觉定位装置，其特征在于，所述视觉定位装置包括：
创建模块，用于根据目标建筑的建筑数字孪生模型，创建所述目标建筑的目标全局建筑语义图，所述目标全局建筑语义图包括多个节点和多条边，其中，每个节点表示所述目标建筑中的实体，通过边将节点与节点进行连接，表示相连接的两个节点之间存在实体关系；
第一确定模块，用于确定待定位图像的局部建筑语义图，所述待定位图像为所拍摄的所述目标建筑内的局部区域的图像，所述局部建筑语义图包括多个待匹配节点和多条待匹配边，其中，每个待匹配节点表示所述待定位图像中的实体，通过待匹配边将待匹配节点与待匹配节点进行连接，表示相连接的两个待匹配节点之间存在实体关系；
第二确定模块，用于从所述目标全局建筑语义图中查找与所述局部建筑语义图相匹配的目标匹配语义子图；
第三确定模块，用于根据所述局部建筑语义图和所述目标匹配语义子图，确定所述待定位图像在所述目标建筑中的拍摄位姿，完成对待定位图像的定位；
其中，所述第二确定模块还用于：
根据所述目标全局建筑语义图和所述局部建筑语义图，创建所述局部建筑语义图与所述目标全局建筑语义图之间的映射关系差异函数；
根据待定位图像对应的约束集合，使用过滤法对所述映射关系差异函数进行最优化求解，确定目标全局建筑语义图与局部建筑语义图之间的目标映射关系矩阵，所述目标映射关系矩阵中的每个元素表示局部建筑语义图中的每个待匹配节点与目标全局建筑语义图中的每个节点之间的匹配关系；
根据所述目标映射关系矩阵，确定局部建筑语义图在所述全局建筑语义图中的目标匹配语义子图。
8.根据权利要求7所述的视觉定位装置，其特征在于，所述第三确定模块还用于：
确定所述局部建筑语义图中各待匹配节点在所述待定位图像中的第一坐标；
确定所述目标匹配语义子图中各目标匹配节点在所述目标建筑中的第二坐标；
将每个待匹配节点对应的第一坐标和每个目标匹配节点对应的第二坐标输入RANSAC+PNP模型，确定所述待定位图像在所述目标建筑中的拍摄位姿，完成对待定位图像的定位。
CN202210516781.4A 2022-05-13 2022-05-13 一种基于建筑数字孪生语义图的视觉定位方法及装置 Active CN114742967B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210516781.4A CN114742967B (zh) 2022-05-13 2022-05-13 一种基于建筑数字孪生语义图的视觉定位方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210516781.4A CN114742967B (zh) 2022-05-13 2022-05-13 一种基于建筑数字孪生语义图的视觉定位方法及装置

Publications (2)

Publication Number Publication Date
CN114742967A CN114742967A (zh) 2022-07-12
CN114742967B true CN114742967B (zh) 2022-09-20

Family

ID=82284977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210516781.4A Active CN114742967B (zh) 2022-05-13 2022-05-13 一种基于建筑数字孪生语义图的视觉定位方法及装置

Country Status (1)

Country Link
CN (1) CN114742967B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117095300B (zh) * 2023-10-19 2024-02-06 腾讯科技（深圳）有限公司 建筑图像处理方法、装置、计算机设备和存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102542302B (zh) * 2010-12-21 2013-08-14 中国科学院电子学研究所 基于分等级对象语义图的复杂目标自动识别方法
WO2019185170A1 (en) * 2018-03-30 2019-10-03 Toyota Motor Europe Electronic device, robotic system and method for localizing a robotic system
CN108596974B (zh) * 2018-04-04 2020-08-04 清华大学 动态场景机器人定位建图系统及方法

Also Published As

Publication number Publication date
CN114742967A (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
US11668571B2 (en) Simultaneous localization and mapping (SLAM) using dual event cameras
US10444021B2 (en) Methods for simultaneous localization and mapping (SLAM) and related apparatus and systems
Yousif et al. An overview to visual odometry and visual SLAM: Applications to mobile robotics
Baak et al. A data-driven approach for real-time full body pose reconstruction from a depth camera
CN109461208B (zh) 三维地图处理方法、装置、介质和计算设备
EP3326156B1 (en) Consistent tessellation via topology-aware surface tracking
CN111161412B (zh) 三维激光建图方法及系统
CN111833447A (zh) 三维地图构建方法、三维地图构建装置及终端设备
Wei et al. Understanding of indoor scenes based on projection of spatial rectangles
GB2566443A (en) Cross-source point cloud registration
TWI768776B (zh) 室內定位系統及室內定位方法
WO2023024441A1 (zh) 模型重建方法及相关装置、电子设备和存储介质
US20240029301A1 (en) Efficient localization based on multiple feature types
CN114742967B (zh) 一种基于建筑数字孪生语义图的视觉定位方法及装置
Zhang et al. Research on 3D architectural scenes construction technology based on augmented reality
CN113516750B (zh) 三维点云地图构建方法、系统、电子设备及存储介质
US11188787B1 (en) End-to-end room layout estimation
Chang et al. Using line consistency to estimate 3D indoor Manhattan scene layout from a single image
CN114812540B (zh) 一种建图方法、装置和计算机设备
Wang et al. EFRNet-VL: An end-to-end feature refinement network for monocular visual localization in dynamic environments
WO2022193180A1 (zh) 视频帧处理方法和装置
WO2023202335A1 (zh) 目标跟踪方法、机器人、计算机设备和存储介质
Pastor et al. An agent-based paradigm for the reconstruction of conical perspectives
Masher Accurately scaled 3-D scene reconstruction using a moving monocular camera and a single-point depth sensor
US10021364B2 (en) Method of building stereoscopic model with kalman filtering

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231027

Address after: Building 5, Niujiahou River, 100 meters east of Bijia Village, Beizhai Street, Laoshan District, Qingdao City, Shandong Province, 266000

Patentee after: Qingdao Saab Weitong Technology Co.,Ltd.

Address before: Room 1008, 10th floor, building 16, yard 30, Shixing street, Shijingshan District, Beijing 100049

Patentee before: BIM WINNER (BEIJING) TECHNOLOGY CO.,LTD.

Patentee before: BIM WINNER (SHANGHAI) TECHNOLOGY Co.,Ltd.

Patentee before: SHENZHEN BIM WINNER TECHNOLOGY Co.,Ltd.

Patentee before: Yingjia Internet (Beijing) Smart Technology Co.,Ltd.

Patentee before: Foshan Yingjia Smart Space Technology Co.,Ltd.

Patentee before: SHENZHEN QIANHAI YINGJIA DATA SERVICE Co.,Ltd.

Patentee before: JIAXING WUZHEN YINGJIA QIANZHEN TECHNOLOGY Co.,Ltd.

Patentee before: Shandong Jiaying Internet Technology Co.,Ltd.