CN114742967A - 一种基于建筑数字孪生语义图的视觉定位方法及装置 - Google Patents

一种基于建筑数字孪生语义图的视觉定位方法及装置 Download PDF

Info

Publication number
CN114742967A
CN114742967A CN202210516781.4A CN202210516781A CN114742967A CN 114742967 A CN114742967 A CN 114742967A CN 202210516781 A CN202210516781 A CN 202210516781A CN 114742967 A CN114742967 A CN 114742967A
Authority
CN
China
Prior art keywords
building
target
semantic graph
matched
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210516781.4A
Other languages
English (en)
Other versions
CN114742967B (zh
Inventor
周小平
王佳
陆一昕
任远
陈丹燕
宋有利
任秀秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bim Winner Beijing Technology Co ltd
Original Assignee
Bim Winner Shanghai Technology Co ltd
Foshan Yingjia Smart Space Technology Co ltd
Jiaxing Wuzhen Yingjia Qianzhen Technology Co ltd
Shandong Jiaying Internet Technology Co ltd
Shenzhen Bim Winner Technology Co ltd
Shenzhen Qianhai Yingjia Data Service Co ltd
Yingjia Internet Beijing Smart Technology Co ltd
Bim Winner Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bim Winner Shanghai Technology Co ltd, Foshan Yingjia Smart Space Technology Co ltd, Jiaxing Wuzhen Yingjia Qianzhen Technology Co ltd, Shandong Jiaying Internet Technology Co ltd, Shenzhen Bim Winner Technology Co ltd, Shenzhen Qianhai Yingjia Data Service Co ltd, Yingjia Internet Beijing Smart Technology Co ltd, Bim Winner Beijing Technology Co ltd filed Critical Bim Winner Shanghai Technology Co ltd
Priority to CN202210516781.4A priority Critical patent/CN114742967B/zh
Publication of CN114742967A publication Critical patent/CN114742967A/zh
Application granted granted Critical
Publication of CN114742967B publication Critical patent/CN114742967B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Geometry (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Algebra (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种基于建筑数字孪生语义图的视觉定位方法及装置，涉及视觉定位技术领域，包括：根据目标建筑的建筑数字孪生模型，创建目标建筑的目标全局建筑语义图，确定待定位图像的局部建筑语义图，从目标全局建筑语义图中查找与局部建筑语义图相匹配的目标匹配语义子图；根据局部建筑语义图和目标匹配语义子图，确定待定位图像在目标建筑中的拍摄位姿，完成对待定位图像的定位。本申请通过建筑语义图实现视觉定位，在保证定位精度的同时，简化视觉定位模型的计算过程。

Description

一种基于建筑数字孪生语义图的视觉定位方法及装置
技术领域
本申请涉及视觉定位技术领域，尤其涉及一种基于建筑数字孪生语义图的视觉定位方法及装置。
背景技术
视觉定位是一种相对低成本、广泛可得的室内定位方法，视觉定位的主要原理是利用视觉传感器（如智能手机的相机、监控摄像头等）拍摄的图像，估计拍摄点在某个坐标系下的位置和朝向，当前视觉定位方法包括基于三维模型的视觉定位。
现有技术中，基于三维模型的视觉定位首先采用SfM、SLAM等算法建立三维室内模型，而后建立待定位图像二维特征点和三维室内模型特征点的匹配，最后采用RANSAC+PNP等算法计算位置，此类方法计算复杂度高，定位稳定性较差。
发明内容
有鉴于此，本申请的目的在于至少提供一种基于建筑数字孪生语义图的视觉定位方法及装置，通过建筑语义图实现视觉定位，在保证定位精度的同时，简化视觉定位模型的计算过程。
本申请主要包括以下几个方面：
第一方面，本申请实施例提供一种基于建筑数字孪生语义图的视觉定位方法，视觉定位方法包括：根据目标建筑的建筑数字孪生模型，创建目标建筑的目标全局建筑语义图，目标全局建筑语义图包括多个节点和多条边，其中，每个节点表示目标建筑中的实体，通过边将节点与节点进行连接，表示相连接的两个节点之间存在实体关系；确定待定位图像的局部建筑语义图，待定位图像为所拍摄的目标建筑内的局部区域的图像，局部建筑语义图包括多个待匹配节点和多条待匹配边，其中，每个待匹配节点表示待定位图像中的实体，通过待匹配边将待匹配节点与待匹配节点进行连接，表示相连接的两个待匹配节点之间存在实体关系；从所述目标全局建筑语义图中查找与局部建筑语义图相匹配的目标匹配语义子图；根据局部建筑语义图和目标匹配语义子图，确定待定位图像在目标建筑中的拍摄位姿，完成对待定位图像的定位。
在一种可能的实施方式中，根据目标建筑的建筑数字孪生模型，创建目标建筑的目标全局建筑语义图的步骤包括：根据目标建筑的建筑数字孪生模型，创建目标建筑的初始全局建筑语义图，初始全局建筑语义图包括目标建筑内部所有实体对应的多个节点以及多条边；对初始全局建筑语义图进行近似频繁子图挖掘，排除初始全局建筑语义图中大于预设频度的节点以及边，确定经过近似频繁子图挖掘后的目标全局建筑语义图。
在一种可能的实施方式中，从目标全局建筑语义图中查找与局部建筑语义图相匹配的目标匹配语义子图的步骤包括：根据目标全局建筑语义图和局部建筑语义图，创建局部建筑语义图与目标全局建筑语义图之间的映射关系差异函数；根据待定位图像对应的约束集合，使用过滤法对映射关系差异函数进行最优化求解，确定目标全局建筑语义图与局部建筑语义图之间的目标映射关系矩阵，目标映射关系矩阵中的每个元素表示局部建筑语义图中的每个待匹配节点与目标全局建筑语义图中的每个节点之间的匹配关系；根据目标映射关系矩阵，确定局部建筑语义图在全局建筑语义图中的目标匹配语义子图。
在一种可能的实施方式中，不同实体对应的节点类型不同，不同类型的节点表示不同类型的实体，不同类型的边表示不同类型的实体关系，其中，通过以下公式表示目标建筑的局部建筑语义图与全局建筑语义图之间的映射关系差异函数：
Figure M_220506171108714_714150001
在该公式中，
Figure M_220506171108801_801532001
表示映射关系差异函数，
Figure M_220506171108832_832813002
表示目标全局建筑语义图，
Figure M_220506171108864_864077003
=（
Figure M_220506171108879_879663004
）表示局部建筑语义图，其中，
Figure M_220506171108910_910903005
表示局部建筑语义图中的待匹配节点集合，
Figure M_220506171108943_943149006
表示局部建筑语义图中的待匹配边集合，
Figure M_220506171108959_959249007
表示局部建筑语义图与目标全局建筑语义图之间的目标映射关系矩阵，
Figure M_220506171108990_990508008
表示局部建筑语义图中的第
Figure M_220506171109006_006130009
个待匹配节点对应的实体类型，
Figure M_220506171109021_021743010
表示局部建筑语义图中的第
Figure M_220506171109053_053034011
个待匹配节点对应的实体类型的影响权重，
Figure M_220506171109084_084270012
表示局部建筑语义图中的第i个待匹配节点与其在目标全局建筑语义图中对应的目标匹配节点之间的节点差异，
Figure M_220506171109115_115491013
表示局部建筑语义图中的第i个待匹配节点与第j个待匹配节点之间的边对应的实体关系所属的实体关系类型，
Figure M_220506171109147_147780014
表示实体关系类型
Figure M_220506171109179_179476015
的影响权重，
Figure M_220506171109210_210713016
表示局部建筑语义图中的待匹配边与其在全局建筑语义图中对应的目标匹配边之间的差异。
在一种可能的实施方式中，约束集合包括节点约束集合、边约束集合和总约束集合，其中，节点约束集合包括对局部建筑语义图中的各待匹配节点的节点约束，边约束集合包括对局部建筑语义图中的各待匹配边的边约束，总约束集合包括对局部建筑语义图中待匹配节点和待匹配边之间的总约束。
在一种可能的实施方式中，根据待定位图像对应的约束集合，使用过滤法对映射关系差异函数进行最优化求解，确定目标全局建筑语义图与局部建筑语义图之间的目标映射关系矩阵的步骤包括：遍历待定位图像对应的节点约束集合，将目标全局建筑语义图与局部建筑语义图之间的初始映射关系矩阵中，满足节点约束的对应元素的值设置为1，不满足节点约束的对应元素的值设置为0；遍历待定位图像对应的边约束集合，迭代设置初始映射关系矩阵中，满足边约束的对应元素的值设置为1，不满足边约束的对应元素的值设置为0；遍历待定位图像对应的总约束集合，迭代设置初始映射关系矩阵中，满足总约束的对应元素的值设置为1，不满足总约束的对应元素的值设置为0 ，确定目标全局建筑语义图与局部建筑语义图之间的目标映射关系矩阵。
在一种可能的实施方式中，根据局部建筑语义图和目标匹配语义子图，确定待定位图像在目标建筑中的拍摄位姿，完成对待定位图像的定位的步骤包括：确定局部建筑语义图中各待匹配节点在待定位图像中的第一坐标；确定目标匹配语义子图中各目标匹配节点在目标建筑中的第二坐标；将每个带匹配节点对应的第一坐标和每个目标匹配节点对应的第二坐标输入RANSAC+PNP模型，确定待定位图像在目标建筑中的拍摄位姿，完成对待定位图像的定位。
第二方面，本申请实施例还提供一种基于建筑数字孪生语义图的视觉定位装置，视觉定位装置包括：创建模块，用于根据目标建筑的建筑数字孪生模型，创建目标建筑的目标全局建筑语义图，目标全局建筑语义图包括多个节点和多条边，其中，每个节点表示目标建筑中的实体，通过边将节点与节点进行连接，表示相连接的两个节点之间存在实体关系；第一确定模块，用于确定待定位图像的局部建筑语义图，待定位图像为所拍摄的目标建筑内的局部区域的图像，局部建筑语义图包括多个待匹配节点和多条待匹配边，其中，每个待匹配节点表示待定位图像中的实体，通过待匹配边将待匹配节点与待匹配节点进行连接，表示相连接的两个待匹配节点之间存在实体关系；第二确定模块，用于从目标全局建筑语义图中查找与局部建筑语义图相匹配的目标匹配语义子图；第三确定模块，用于根据局部建筑语义图和目标匹配语义子图，确定待定位图像在目标建筑中的拍摄位姿，完成对待定位图像的定位。
在一种可能的实施方式中，第二确定模块还用于：根据目标全局建筑语义图和局部建筑语义图，创建局部建筑语义图与目标全局建筑语义图之间的映射关系差异函数；根据待定位图像对应的约束集合，使用过滤法对映射关系差异函数进行最优化求解，确定目标全局建筑语义图与局部建筑语义图之间的目标映射关系矩阵，目标映射关系矩阵中的每个元素表示局部建筑语义图中的每个待匹配节点与目标全局建筑语义图中的每个节点之间的匹配关系；根据目标映射关系矩阵，确定局部建筑语义图在全局建筑语义图中的目标匹配语义子图。
在一种可能的实施方式中，第三确定模块还用于：确定局部建筑语义图中各待匹配节点在待定位图像中的第一坐标；确定目标匹配语义子图中各目标匹配节点在目标建筑中的第二坐标；将每个待匹配节点对应的第一坐标和每个目标匹配语义子图对应的第二坐标输入RANSAC+PNP模型，确定待定位图像在目标建筑中的拍摄位姿，完成对待定位图像的定位。
本申请实施例提供的基于建筑数字孪生语义图的视觉定位方法及装置，包括：根据目标建筑的建筑数字孪生模型，创建目标建筑的目标全局建筑语义图，目标全局建筑语义图包括多个节点和多条边，其中，每个节点表示目标建筑中的实体，通过边将节点与节点进行连接，表示相连接的两个节点之间存在实体关系；确定待定位图像的局部建筑语义图，待定位图像为所拍摄的目标建筑内的局部区域的图像，局部建筑语义图包括多个待匹配节点和多条待匹配边，其中，每个待匹配节点表示待定位图像中的实体，通过待匹配边将待匹配节点与待匹配节点进行连接，表示相连接的两个待匹配节点之间存在实体关系；从目标全局建筑语义图中查找与局部建筑语义图相匹配的目标匹配语义子图；根据局部建筑语义图和目标匹配语义子图，确定待定位图像在目标建筑中的拍摄位姿，完成对待定位图像的定位。通过建筑语义图实现视觉定位，在保证定位精度的同时，简化视觉定位模型的计算过程。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种视觉定位方法的流程图；
图2示出了本申请实施例所提供的建筑语义图的结构示意图；
图3示出了本申请实施例所提供的一种确定目标匹配语义子图的步骤的流程图；
图4示出了本申请实施例提供的一种视觉定位装置的结构示意图；
图5示出了本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中的附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应当理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的全部其他实施例，都属于本申请保护的范围。
现有的视觉定位技术，根据视觉传感器不同，视觉定位方法可分为RGB-D视觉定位、面向自主机器人等的连续视觉感知定位和单张或少量图像的单目视觉定位等，从室内场景表达进行区分，现有技术中的视觉定位方法可分为基于三维模型的视觉定位和基于图像检索的视觉定位两类。
基于三维模型的视觉定位采用SfM（Structure from Motion，运动结构）、SLAM（Simultaneous Location and Mapping，同时定位与地图构建）等算法建立三维室内模型，或通过CNN（Convolutional Neural Network，卷积神经网络）、随机森林等隐式表达三维室内模型，而后建立待定位图像的二维特征点和三维室内模型特征点的匹配，最后采用RANSAC（Random Sample Consensus）+PNP（Perspective N Points，多点透视成像）等算法计算最后定位位置，此类方法在特征点正确匹配下具备较高定位精度，然而，其计算复杂度高，且在新场景内的泛化能力弱，同时，在弱视觉室内场景中较难获取正确的二维特征点和三维室内模型特征点的匹配结果，造成感知混叠，且定位稳定性较差。
基于图像检索的视觉定位通过SfM、SLAM、BIM（Building InformationModelling，建筑信息模型）等方式建立“图像（特征）−位置”匹配数据库，而后建立图像检索方法查找与待定位图像最相似的匹配数据库图像（特征），实现室内定位，此类算法的性能取决于匹配数据库和图像检索算法，然而匹配数据库的建立需要大量的前期室内环境建模工作，耗时且成本高，另一方面，该方法中面向视觉定位的图像检索，大多采用图像的视觉特征，然而纯粹的图像视觉特征很难适用于弱视觉特征下的视觉定位。
基于此，本申请实施例提供了一种视觉定位方法，通过建筑语义图实现视觉定位，在保证定位精度的同时，简化视觉定位模型的计算过程，具体如下：
请参阅图1，图1示出了本申请实施例所提供的一种基于建筑数字孪生语义图的视觉定位方法的流程图。如图1所示，本申请实施例提供的视觉定位方法，包括以下步骤：
S100、根据目标建筑的建筑数字孪生模型，创建目标建筑的目标全局建筑语义图。
具体的，在目标建筑的各楼层的多个位置处，设置有对应的视觉传感器，视觉传感器可以为监控摄像头，根据设置在目标建筑内部各处的监控摄像头，实时捕捉目标建筑内部的图像以及记录目标建筑内部物体移动等的变化，目标建筑的建筑数字孪生模型，是根据设置在目标建筑内部各位置处的监控摄像头获取的监控视频以及目标建筑的BIM异质数据创建的，由此可见，建筑数字孪生模型能够描述建筑的室内动态场景。
其中，目标建筑的建筑数字孪生模型由目标建筑的实体以及实体关系组成，具体的，对目标建筑的建筑数字孪生模型进行形式化描述，目标建筑的建筑数字孪生模型
Figure M_220506171109257_257601001
，其中，
Figure M_220506171109288_288834002
表示目标建筑的建筑数字孪生模型
Figure M_220506171109304_304455003
中的实体集合，
Figure M_220506171109337_337152004
表示目标建筑的建筑数字孪生模型
Figure M_220506171109353_353298005
中的实体关系集合，T表示目标建筑的建筑数字孪生模型
Figure M_220506171109384_384559006
中的实体类型集合，
Figure M_220506171109415_415842007
表示目标建筑的建筑数字孪生模型
Figure M_220506171109447_447059008
中的实体关系类型集合，且对于建筑数字孪生模型
Figure M_220506171109478_478320009
中的任一实体
Figure M_220506171109493_493951010
，其包括该实体可用于视觉定位的属性特征，对于建筑数字孪生模型
Figure M_220506171109525_525203011
中的任意两个实体
Figure M_220506171109541_541752012
和
Figure M_220506171109573_573537013
，其可能存在多种不同类型的实体关系，优选地，可以通过
Figure M_220506171109589_589176014
表示建筑数字孪生模型
Figure M_220506171109620_620429015
中的任意两个实体
Figure M_220506171109651_651617016
和
Figure M_220506171109682_682880017
之间所有实体关系的集合，对于任一实体关系
Figure M_220506171109698_698518018
∈
Figure M_220506171109729_729783019
，其可描述为
Figure M_220506171109747_747284020
，其含义为实体
Figure M_220506171109778_778622021
以关系
Figure M_220506171109810_810304022
∈
Figure M_220506171109825_825984023
依赖于实体
Figure M_220506171109856_856738024
，因此，可通过
Figure M_220506171109872_872344025
表示实体
Figure M_220506171109904_904066026
以关系
Figure M_220506171109936_936018027
依赖的所有实体。
对目标建筑的建筑数字孪生模型进行形式化描述后，建筑数字孪生模型转化为目标建筑的目标全局建筑语义图，目标全局建筑语义图包括多个节点和多条边，其中，节点表示目标建筑中的实体，通过边将节点与节点进行连接，表示相连接的两个节点之间存在实体关系，其中，不同类型的节点表示不同类型的实体，不同类型的边表示不同的类型的实体关系，具体的，实体的类型包括但不限于桌子、椅子、窗户和墙，实体关系包括但不限于从属、遮挡和相交，实体关系类型包括但不限于位置、语义、组合等。
请参阅图2，图2示出了本申请实施例所提供的建筑语义图的结构示意图，如图2所示，B1、B2、B3、B4、B5、B6表示目标全局建筑语义图的建筑语义子图A中的节点，其中，不同形状的节点表示不同的实体类型，①、②、③表示不同类型的边，表示不同类型的实体关系。
在一优选实施例中，根据目标建筑的建筑数字孪生模型，创建目标建筑的目标全局建筑语义图的步骤包括：
根据目标建筑的建筑数字孪生模型，创建目标建筑的初始全局建筑语义图，初始全局建筑语义图包括目标建筑内部所有实体对应的多个节点以及多条边，对初始全局建筑语义图进行近似频繁子图挖掘，排除初始全局建筑语义图中大于预设频度的节点以及边，确定经过近似频繁子图挖掘后的目标全局建筑语义图。
在一优选实施例中，在视觉定位方法中，在根据目标建筑的建筑数字孪生模型创建初始全局建筑语义图后，在初始全局建筑语义图中，并非所有的实体、实体关系以及语义子图都对视觉定位的产生一定的作用，为了降低运算的复杂程度，需要确定初始全局建筑语义图中对视觉定位产生一定作用的可依赖要素，显然，语义子图频繁度越高，则该语义子图在视觉定位中的作用越小；反之，则该语义子图在视觉定位中作用越大。因此，这里通过近似频繁子图挖掘，找出初始语义图中许多频繁出现的节点、边和语义子图，最终确定具有最大室内定位效用的目标全局建筑语义图。
返回图1，S200、确定待定位图像的局部建筑语义图。
待定位图像为所拍摄的目标建筑内的局部区域的图像，具体的，可通过设置在目标建筑的各楼层的多个位置处的监控摄像头获取待定位图像，局部建筑语义图包括多个待匹配节点和多条待匹配边，其中，每个待匹配节点表示待定位图像中的实体，通过待匹配边将待匹配节点与待匹配节点进行连接，表示相连接的两个待匹配节点之间存在实体关系。
S300、从目标全局建筑语义图中查找与局部建筑语义图相匹配的目标匹配语义子图。
请参阅图3，图3示出了本申请实施例所提供的一种确定目标匹配语义子图的步骤的流程图，如图3所示，从目标全局建筑语义图中查找与局部建筑语义图相匹配的目标匹配语义子图的步骤包括：
S301、根据目标全局建筑语义图和局部建筑语义图，创建局部建筑语义图与目标全局建筑语义图之间的映射关系差异函数。
在一优选实施例中，通过以下公式表示目标建筑的局部建筑语义图与全局建筑语义图之间的映射关系差异函数：
Figure M_220506171109952_952895001
在该公式中，
Figure M_220506171110031_031042001
表示映射关系差异函数，
Figure M_220506171110062_062266002
表示目标全局建筑语义图，
Figure M_220506171110109_109145003
=（
Figure M_220506171110143_143384004
）表示局部建筑语义图，其中，
Figure M_220506171110160_160478005
表示局部建筑语义图中的待匹配节点集合，
Figure M_220506171110191_191680006
表示局部建筑语义图中的待匹配边集合，
Figure M_220506171110222_222973007
表示局部建筑语义图与目标全局建筑语义图之间的目标映射关系矩阵，
Figure M_220506171110238_238530008
表示局部建筑语义图中的第
Figure M_220506171110269_269789009
个待匹配节点对应的实体类型，
Figure M_220506171110301_301043010
表示局部建筑语义图中的第
Figure M_220506171110316_316699011
个待匹配节点对应的实体类型的影响权重，
Figure M_220506171110333_333233012
表示局部建筑语义图中的第i个待匹配节点与其在目标全局建筑语义图中对应的目标匹配节点之间的节点差异，
Figure M_220506171110365_365014013
表示局部建筑语义图中的第i个待匹配节点与第j个待匹配节点之间的边对应的实体关系所属的实体关系类型，
Figure M_220506171110396_396312014
表示实体关系类型
Figure M_220506171110427_427519015
的影响权重，
Figure M_220506171110443_443149016
表示局部建筑语义图中的待匹配边与其在全局建筑语义图中对应的目标匹配边之间的差异。
在具体实施中，通过映射关系差异函数的公式可知，映射关系差异函数
Figure M_220506171110490_490024001
的值越小，目标映射关系矩阵
Figure M_220506171110505_505636002
越准确，也就是说，通过目标映射关系矩阵
Figure M_220506171110537_537838003
从目标全局建筑语义图中找到的与局部建筑语义图相匹配的目标匹配语义子图越准确。
S302、根据待定位图像对应的约束集合，使用过滤法对映射关系差异函数进行最优化求解，确定目标全局建筑语义图与局部建筑语义图之间的目标映射关系矩阵。
在一种可能的实施方式中，可以通过
Figure M_220506171110553_553973001
确定目标全局建筑语义图与局部建筑语义图之间的目标映射关系矩阵，即求取使得映射关系差异函数
Figure M_220506171110585_585239002
最小或者满足预设阈值的目标映射关系矩阵，其中，目标映射关系矩阵中的每个元素表示局部建筑语义图中的每个待匹配节点与目标全局建筑语义图中的每个节点之间的匹配关系。
在一优选实施例中，约束集合包括节点约束集合、边约束集合和总约束集合，其中，节点约束集合包括对局部建筑语义图中的各待匹配节点的节点约束，边约束集合包括对局部建筑语义图中的各待匹配边的边约束，总约束集合包括对局部建筑语义图中待匹配节点和待匹配边之间的总约束，其中，例如节点约束可以对各待匹配节点对应的实体类型进行约束，边约束可以对各待匹配节点涉及到的实体关系以及实体关系类型进行约束。
在一优选实施例中，根据待定位图像对应的约束集合，使用过滤法对映射关系差异函数进行最优化求解，确定目标全局建筑语义图与局部建筑语义图之间的目标映射关系矩阵的步骤包括：遍历待定位图像对应的节点约束集合，将目标全局建筑语义图与局部建筑语义图之间的初始映射关系矩阵中，满足节点约束的对应元素的值设置为1，不满足节点约束的对应元素的值设置为0；遍历待定位图像对应的边约束集合，迭代设置初始映射关系矩阵中，满足边约束的对应元素的值设置为1，不满足边约束的对应元素的值设置为0；遍历待定位图像对应的总约束集合，迭代设置初始映射关系矩阵中，满足总约束的对应元素的值设置为1，不满足总约束的对应元素的值设置为0 ，确定目标全局建筑语义图与局部建筑语义图之间的目标映射关系矩阵。
一示例中，初始映射关系矩阵P∈
Figure M_220506171110600_600856001
，其中，
Figure M_220506171110632_632103002
表示局部建筑语义图
Figure M_220506171110663_663353003
中的待匹配节点数，
Figure M_220506171110679_679059004
表示目标全局建筑语义图
Figure M_220506171110710_710224005
中的节点数，若目标全局建筑语义图
Figure M_220506171110725_725884006
中的第j个节点是局部建筑语义图
Figure M_220506171110750_750736007
中第i个待匹配节点满足约束集合H中节点约束下的潜在匹配节点，则
Figure M_220506171110782_782520008
，若目标全局建筑语义图
Figure M_220506171110813_813795009
中的第j个节点不是局部建筑语义图
Figure M_220506171110829_829406010
中第i个待匹配节点满足约束集合H中节点约束下的潜在匹配节点，则
Figure M_220506171110860_860650011
，按照此方法，依次迭代遍历节点约束集合、边约束集合以及总约束集合，确定目标全局建筑语义图与局部建筑语义图之间的目标映射关系矩阵P。
S303、根据目标映射关系矩阵，确定局部建筑语义图在全局建筑语义图中的目标匹配语义子图。
返回图1，S400、根据局部建筑语义图和目标匹配语义子图，确定待定位图像在目标建筑中的拍摄位姿，完成对待定位图像的定位。
在一优选实施例中，根据局部建筑语义图和目标匹配语义子图，确定待定位图像在目标建筑中的拍摄位姿，完成对待定位图像的定位的步骤包括：
确定局部建筑语义图中各待匹配节点在待定位图像中的第一坐标；确定目标匹配语义子图中各目标匹配节点在目标建筑中的第二坐标；将每个带匹配节点对应的第一坐标和每个目标匹配节点对应的第二坐标输入RANSAC+PNP模型，确定待定位图像在目标建筑中的拍摄位姿，完成对待定位图像的定位。
基于同一申请构思，本申请实施例中还提供了与上述实施例提供的视觉定位方法对应的视觉定位装置，由于本申请实施例中的装置解决问题的原理与本申请上述实施例的视觉定位方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
请参阅图4，图4示出了本申请实施例提供的一种基于建筑数字孪生语义图的视觉定位装置的结构示意图，如图4所示，视觉定位装置包括：
创建模块510，用于根据目标建筑的建筑数字孪生模型，创建目标建筑的目标全局建筑语义图，目标全局建筑语义图包括多个节点和多条边，其中，每个节点表示目标建筑中的实体，通过边将节点与节点进行连接，表示相连接的两个节点之间存在实体关系；
第一确定模块520，用于确定待定位图像的局部建筑语义图，待定位图像为所拍摄的目标建筑内的局部区域的图像，局部建筑语义图包括多个待匹配节点和多条待匹配边，其中，每个待匹配节点表示待定位图像中的实体，通过待匹配边将待匹配节点与待匹配节点进行连接，表示相连接的两个待匹配节点之间存在实体关系；
第二确定模块530，用于从目标全局建筑语义图中查找与局部建筑语义图相匹配的目标匹配语义子图；
第三确定模块540，用于根据局部建筑语义图和目标匹配语义子图，确定待定位图像在目标建筑中的拍摄位姿，完成对待定位图像的定位。
优选地，第二确定模块530还用于：根据目标全局建筑语义图和局部建筑语义图，创建局部建筑语义图与目标全局建筑语义图之间的映射关系差异函数；根据待定位图像对应的约束集合，使用过滤法对映射关系差异函数进行最优化求解，确定目标全局建筑语义图与局部建筑语义图之间的目标映射关系矩阵，目标映射关系矩阵中的每个元素表示局部建筑语义图中的每个待匹配节点与目标全局建筑语义图中的每个节点之间的匹配关系；根据目标映射关系矩阵，确定局部建筑语义图在全局建筑语义图中的目标匹配语义子图。
优选地，第三确定模块540还用于： 确定局部建筑语义图中各待匹配节点在待定位图像中的第一坐标；确定目标匹配语义子图中各目标匹配节点在目标建筑中的第二坐标；将每个待匹配节点对应的第一坐标和每个目标匹配语义子图对应的第二坐标输入RANSAC+PNP模型，确定待定位图像在目标建筑中的拍摄位姿，完成对待定位图像的定位。
优选地，创建模块510还用于：根据目标建筑的建筑数字孪生模型，创建目标建筑的初始全局建筑语义图，初始全局建筑语义图包括目标建筑内部所有实体对应的多个节点以及多条边；对初始全局建筑语义图进行近似频繁子图挖掘，排除初始全局建筑语义图中大于预设频度的节点以及边，确定经过近似频繁子图挖掘后的目标全局建筑语义图。
优选地，不同类型的节点表示不同类型的实体，不同类型的边表示不同类型的实体关系，其中，第二确定模块530还用于通过以下公式表示目标建筑的局部建筑语义图与全局建筑语义图之间的映射关系差异函数：
Figure M_220506171110876_876266001
在该公式中，
Figure M_220506171110971_971495001
表示映射关系差异函数，
Figure M_220506171111002_002743002
表示目标全局建筑语义图，
Figure M_220506171111018_018355003
=（
Figure M_220506171111049_049625004
）表示局部建筑语义图，其中，
Figure M_220506171111080_080858005
表示局部建筑语义图中的待匹配节点集合，
Figure M_220506171111112_112114006
表示局部建筑语义图中的待匹配边集合，
Figure M_220506171111127_127743007
表示局部建筑语义图与目标全局建筑语义图之间的目标映射关系矩阵，
Figure M_220506171111160_160460008
表示局部建筑语义图中的第
Figure M_220506171111176_176097009
个待匹配节点对应的实体类型，
Figure M_220506171111207_207327010
表示局部建筑语义图中的第
Figure M_220506171111238_238584011
个待匹配节点对应的实体类型的影响权重，
Figure M_220506171111254_254173012
表示局部建筑语义图中的第i个待匹配节点与其在目标全局建筑语义图中对应的目标匹配节点之间的节点差异，
Figure M_220506171111285_285434013
表示局部建筑语义图中的第i个待匹配节点与第j个待匹配节点之间的边对应的实体关系所属的实体关系类型，
Figure M_220506171111332_332464014
表示实体关系类型
Figure M_220506171111365_365055015
的影响权重，
Figure M_220506171111396_396290016
表示局部建筑语义图中的待匹配边与其在全局建筑语义图中对应的目标匹配边之间的差异。
优选地，约束集合包括节点约束集合、边约束集合和总约束集合，其中，节点约束集合包括对局部建筑语义图中的各待匹配节点的节点约束，边约束集合包括对局部建筑语义图中的各待匹配边的边约束，总约束集合包括对局部建筑语义图中待匹配节点和待匹配边之间的总约束。
优选地，第二确定模块530还用于：遍历待定位图像对应的节点约束集合，将目标全局建筑语义图与局部建筑语义图之间的初始映射关系矩阵中，满足节点约束的对应元素的值设置为1，不满足节点约束的对应元素的值设置为0； 遍历待定位图像对应的边约束集合，迭代设置初始映射关系矩阵中，满足边约束的对应元素的值设置为1，不满足边约束的对应元素的值设置为0；遍历待定位图像对应的总约束集合，迭代设置初始映射关系矩阵中，满足总约束的对应元素的值设置为1，不满足总约束的对应元素的值设置为0 ，确定目标全局建筑语义图与局部建筑语义图之间的目标映射关系矩阵。
基于同一申请构思，请参阅图5，图5示出了本申请实施例提供的一种电子设备的结构示意图，电子设备600包括：处理器610、存储器620和总线630，所述存储器620存储有所述处理器610可执行的机器可读指令，当电子设备600运行时，所述处理器610与所述存储器620之间通过所述总线630进行通信，所述机器可读指令被所述处理器610运行时执行如上述实施例中任一所述的视觉定位方法的步骤。
基于同一申请构思，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述实施例提供的视觉定位方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本申请所提供的几个实施例中，应所述理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者所述技术方案的部分可以以软件产品的形式体现出来，所述计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于建筑数字孪生语义图的视觉定位方法，其特征在于，所述视觉定位方法包括：
根据目标建筑的建筑数字孪生模型，创建所述目标建筑的目标全局建筑语义图，所述目标全局建筑语义图包括多个节点和多条边，其中，每个节点表示所述目标建筑中的实体，通过边将节点与节点进行连接，表示相连接的两个节点之间存在实体关系；
确定待定位图像的局部建筑语义图，所述待定位图像为所拍摄的所述目标建筑内的局部区域的图像，所述局部建筑语义图包括多个待匹配节点和多条待匹配边，其中，每个待匹配节点表示所述待定位图像中的实体，通过待匹配边将待匹配节点与待匹配节点进行连接，表示相连接的两个待匹配节点之间存在实体关系；
从所述目标全局建筑语义图中查找与所述局部建筑语义图相匹配的目标匹配语义子图；
根据所述局部建筑语义图和所述目标匹配语义子图，确定所述待定位图像在所述目标建筑中的拍摄位姿，完成对待定位图像的定位。
2.根据权利要求1所述的视觉定位方法，其特征在于，根据目标建筑的建筑数字孪生模型，创建所述目标建筑的目标全局建筑语义图的步骤包括：
根据目标建筑的建筑数字孪生模型，创建所述目标建筑的初始全局建筑语义图，所述初始全局建筑语义图包括目标建筑内部所有实体对应的多个节点以及多条边；
对所述初始全局建筑语义图进行近似频繁子图挖掘，排除所述初始全局建筑语义图中大于预设频度的节点以及边，确定经过近似频繁子图挖掘后的目标全局建筑语义图。
3.根据权利要求1所述的视觉定位方法，其特征在于，从所述目标全局建筑语义图中查找与所述局部建筑语义图相匹配的目标匹配语义子图的步骤包括：
根据所述目标全局建筑语义图和所述局部建筑语义图，创建所述局部建筑语义图与所述目标全局建筑语义图之间的映射关系差异函数；
根据待定位图像对应的约束集合，使用过滤法对所述映射关系差异函数进行最优化求解，确定目标全局建筑语义图与局部建筑语义图之间的目标映射关系矩阵，所述目标映射关系矩阵中的每个元素表示局部建筑语义图中的每个待匹配节点与目标全局建筑语义图中的每个节点之间的匹配关系；
根据所述目标映射关系矩阵，确定局部建筑语义图在所述全局建筑语义图中的目标匹配语义子图。
4.根据权利要求3所述的视觉定位方法，其特征在于，不同类型的节点表示不同类型的实体，不同类型的边表示不同类型的实体关系，
其中，通过以下公式表示目标建筑的局部建筑语义图与全局建筑语义图之间的映射关系差异函数：
Figure M_220506171105145_145244001
在该公式中，
Figure M_220506171105255_255145001
表示映射关系差异函数，
Figure M_220506171105302_302088002
表示目标全局建筑语义图，
Figure M_220506171105334_334243003
=（
Figure M_220506171105366_366005004
）表示局部建筑语义图，其中，
Figure M_220506171105412_412863005
表示局部建筑语义图中的待匹配节点集合，
Figure M_220506171105459_459740006
表示局部建筑语义图中的待匹配边集合，
Figure M_220506171105490_490995007
表示局部建筑语义图与目标全局建筑语义图之间的目标映射关系矩阵，
Figure M_220506171105522_522231008
表示局部建筑语义图中的第
Figure M_220506171105570_570098009
个待匹配节点对应的实体类型，
Figure M_220506171105601_601820010
表示局部建筑语义图中的第
Figure M_220506171105663_663867011
个待匹配节点对应的实体类型的影响权重，
Figure M_220506171105695_695159012
表示局部建筑语义图中的第i个待匹配节点与其在目标全局建筑语义图中对应的目标匹配节点之间的节点差异，
Figure M_220506171105752_752683013
表示局部建筑语义图中的第i个待匹配节点与第j个待匹配节点之间的边对应的实体关系所属的实体关系类型，
Figure M_220506171105800_800075014
表示实体关系类型
Figure M_220506171105862_862585015
的影响权重，
Figure M_220506171105925_925076016
表示局部建筑语义图中的待匹配边与其在全局建筑语义图中对应的目标匹配边之间的差异。
5.根据权利要求3所述的视觉定位方法，其特征在于，所述约束集合包括节点约束集合、边约束集合和总约束集合，其中，节点约束集合包括对局部建筑语义图中的各待匹配节点的节点约束，边约束集合包括对局部建筑语义图中的各待匹配边的边约束，总约束集合包括对所述局部建筑语义图中待匹配节点和待匹配边之间的总约束。
6.根据权利要求4所述的视觉定位方法，其特征在于，根据待定位图像对应的约束集合，使用过滤法对所述映射关系差异函数进行最优化求解，确定目标全局建筑语义图与局部建筑语义图之间的目标映射关系矩阵的步骤包括：
遍历待定位图像对应的节点约束集合，将目标全局建筑语义图与局部建筑语义图之间的初始映射关系矩阵中，满足节点约束的对应元素的值设置为1，不满足节点约束的对应元素的值设置为0；
遍历待定位图像对应的边约束集合，迭代设置初始映射关系矩阵中，满足边约束的对应元素的值设置为1，不满足边约束的对应元素的值设置为0；
遍历待定位图像对应的总约束集合，迭代设置初始映射关系矩阵中，满足总约束的对应元素的值设置为1，不满足总约束的对应元素的值设置为0 ，确定目标全局建筑语义图与局部建筑语义图之间的目标映射关系矩阵。
7.根据权利要求1所述的视觉定位方法，其特征在于，根据所述局部建筑语义图和所述目标匹配语义子图，确定所述待定位图像在所述目标建筑中的拍摄位姿，完成对待定位图像的定位的步骤包括：
确定所述局部建筑语义图中各待匹配节点在所述待定位图像中的第一坐标；
确定所述目标匹配语义子图中各目标匹配节点在所述目标建筑中的第二坐标；
将每个带匹配节点对应的第一坐标和每个目标匹配节点对应的第二坐标输入RANSAC+PNP模型，确定所述待定位图像在所述目标建筑中的拍摄位姿，完成对待定位图像的定位。
8.一种基于建筑数字孪生语义图的视觉定位装置，其特征在于，所述视觉定位装置包括：
创建模块，用于根据目标建筑的建筑数字孪生模型，创建所述目标建筑的目标全局建筑语义图，所述目标全局建筑语义图包括多个节点和多条边，其中，每个节点表示所述目标建筑中的实体，通过边将节点与节点进行连接，表示相连接的两个节点之间存在实体关系；
第一确定模块，用于确定待定位图像的局部建筑语义图，所述待定位图像为所拍摄的所述目标建筑内的局部区域的图像，所述局部建筑语义图包括多个待匹配节点和多条待匹配边，其中，每个待匹配节点表示所述待定位图像中的实体，通过待匹配边将待匹配节点与待匹配节点进行连接，表示相连接的两个待匹配节点之间存在实体关系；
第二确定模块，用于从所述目标全局建筑语义图中查找与所述局部建筑语义图相匹配的目标匹配语义子图；
第三确定模块，用于根据所述局部建筑语义图和所述目标匹配语义子图，确定所述待定位图像在所述目标建筑中的拍摄位姿，完成对待定位图像的定位。
9.根据权利要求8所述的视觉定位装置，其特征在于，所述第二确定模块还用于：
根据所述目标全局建筑语义图和所述局部建筑语义图，创建所述局部建筑语义图与所述目标全局建筑语义图之间的映射关系差异函数；
根据待定位图像对应的约束集合，使用过滤法对所述映射关系差异函数进行最优化求解，确定目标全局建筑语义图与局部建筑语义图之间的目标映射关系矩阵，所述目标映射关系矩阵中的每个元素表示局部建筑语义图中的每个待匹配节点与目标全局建筑语义图中的每个节点之间的匹配关系；
根据所述目标映射关系矩阵，确定局部建筑语义图在所述全局建筑语义图中的目标匹配语义子图。
10.根据权利要求9所述的视觉定位装置，其特征在于，所述第三确定模块还用于：
确定所述局部建筑语义图中各待匹配节点在所述待定位图像中的第一坐标；
确定所述目标匹配语义子图中各目标匹配节点在所述目标建筑中的第二坐标；
将每个待匹配节点对应的第一坐标和每个目标匹配语义子图对应的第二坐标输入RANSAC+PNP模型，确定所述待定位图像在所述目标建筑中的拍摄位姿，完成对待定位图像的定位。
CN202210516781.4A 2022-05-13 2022-05-13 一种基于建筑数字孪生语义图的视觉定位方法及装置 Active CN114742967B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210516781.4A CN114742967B (zh) 2022-05-13 2022-05-13 一种基于建筑数字孪生语义图的视觉定位方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210516781.4A CN114742967B (zh) 2022-05-13 2022-05-13 一种基于建筑数字孪生语义图的视觉定位方法及装置

Publications (2)

Publication Number Publication Date
CN114742967A true CN114742967A (zh) 2022-07-12
CN114742967B CN114742967B (zh) 2022-09-20

Family

ID=82284977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210516781.4A Active CN114742967B (zh) 2022-05-13 2022-05-13 一种基于建筑数字孪生语义图的视觉定位方法及装置

Country Status (1)

Country Link
CN (1) CN114742967B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117095300A (zh) * 2023-10-19 2023-11-21 腾讯科技（深圳）有限公司 建筑图像处理方法、装置、计算机设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102542302A (zh) * 2010-12-21 2012-07-04 中国科学院电子学研究所 基于分等级对象语义图的复杂目标自动识别方法
CN108596974A (zh) * 2018-04-04 2018-09-28 清华大学 动态场景机器人定位建图系统及方法
WO2019185170A1 (en) * 2018-03-30 2019-10-03 Toyota Motor Europe Electronic device, robotic system and method for localizing a robotic system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102542302A (zh) * 2010-12-21 2012-07-04 中国科学院电子学研究所 基于分等级对象语义图的复杂目标自动识别方法
WO2019185170A1 (en) * 2018-03-30 2019-10-03 Toyota Motor Europe Electronic device, robotic system and method for localizing a robotic system
CN108596974A (zh) * 2018-04-04 2018-09-28 清华大学 动态场景机器人定位建图系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117095300A (zh) * 2023-10-19 2023-11-21 腾讯科技（深圳）有限公司 建筑图像处理方法、装置、计算机设备和存储介质
CN117095300B (zh) * 2023-10-19 2024-02-06 腾讯科技（深圳）有限公司 建筑图像处理方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN114742967B (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
US11668571B2 (en) Simultaneous localization and mapping (SLAM) using dual event cameras
Yousif et al. An overview to visual odometry and visual SLAM: Applications to mobile robotics
EP3471057B1 (en) Image processing method and apparatus using depth value estimation
WO2020206903A1 (zh) 影像匹配方法、装置及计算机可读存储介质
Baak et al. A data-driven approach for real-time full body pose reconstruction from a depth camera
WO2019169540A1 (zh) 紧耦合视觉slam的方法、终端及计算机可读存储介质
EP3326156B1 (en) Consistent tessellation via topology-aware surface tracking
US20110274343A1 (en) System and method for extraction of features from a 3-d point cloud
Jellal et al. LS-ELAS: Line segment based efficient large scale stereo matching
CN111833447A (zh) 三维地图构建方法、三维地图构建装置及终端设备
CN110648363A (zh) 相机姿态确定方法、装置、存储介质及电子设备
US12106514B2 (en) Efficient localization based on multiple feature types
CN112784873A (zh) 一种语义地图的构建方法及设备
GB2566443A (en) Cross-source point cloud registration
CN113516750B (zh) 三维点云地图构建方法、系统、电子设备及存储介质
TWI768776B (zh) 室內定位系統及室內定位方法
Zhang et al. Research on 3D architectural scenes construction technology based on augmented reality
CN114742967B (zh) 一种基于建筑数字孪生语义图的视觉定位方法及装置
US11188787B1 (en) End-to-end room layout estimation
US20210327160A1 (en) Authoring device, authoring method, and storage medium storing authoring program
Zhang et al. Recent Advances in Robot Visual SLAM
CN114812540B (zh) 一种建图方法、装置和计算机设备
Fallon et al. Mapping the MIT stata center: Large-scale integrated visual and RGB-D SLAM
WO2022193180A1 (zh) 视频帧处理方法和装置
WO2023202335A1 (zh) 目标跟踪方法、机器人、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231027

Address after: Building 5, Niujiahou River, 100 meters east of Bijia Village, Beizhai Street, Laoshan District, Qingdao City, Shandong Province, 266000

Patentee after: Qingdao Saab Weitong Technology Co.,Ltd.

Address before: Room 1008, 10th floor, building 16, yard 30, Shixing street, Shijingshan District, Beijing 100049

Patentee before: BIM WINNER (BEIJING) TECHNOLOGY CO.,LTD.

Patentee before: BIM WINNER (SHANGHAI) TECHNOLOGY Co.,Ltd.

Patentee before: SHENZHEN BIM WINNER TECHNOLOGY Co.,Ltd.

Patentee before: Yingjia Internet (Beijing) Smart Technology Co.,Ltd.

Patentee before: Foshan Yingjia Smart Space Technology Co.,Ltd.

Patentee before: SHENZHEN QIANHAI YINGJIA DATA SERVICE Co.,Ltd.

Patentee before: JIAXING WUZHEN YINGJIA QIANZHEN TECHNOLOGY Co.,Ltd.

Patentee before: Shandong Jiaying Internet Technology Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240930

Address after: 100000 1308, 13th floor, Shougang sports building, No. 6, jinyuanzhuang Road, Shijingshan District, Beijing

Patentee after: BIM WINNER (BEIJING) TECHNOLOGY CO.,LTD.

Country or region after: China

Address before: Building 5, Niujiahou River, 100 meters east of Bijia Village, Beizhai Street, Laoshan District, Qingdao City, Shandong Province, 266000

Patentee before: Qingdao Saab Weitong Technology Co.,Ltd.

Country or region before: China