CN114663618B - 三维重建及校正方法、装置、设备及存储介质 - Google Patents

三维重建及校正方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114663618B
CN114663618B CN202210204441.8A CN202210204441A CN114663618B CN 114663618 B CN114663618 B CN 114663618B CN 202210204441 A CN202210204441 A CN 202210204441A CN 114663618 B CN114663618 B CN 114663618B
Authority
CN
China
Prior art keywords
target
wall corner
panoramic
camera
panoramic camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210204441.8A
Other languages
English (en)
Other versions
CN114663618A (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Chengshi Wanglin Information Technology Co Ltd
Original Assignee
Beijing Chengshi Wanglin Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Chengshi Wanglin Information Technology Co Ltd filed Critical Beijing Chengshi Wanglin Information Technology Co Ltd
Priority to CN202210204441.8A priority Critical patent/CN114663618B/zh
Publication of CN114663618A publication Critical patent/CN114663618A/zh
Application granted granted Critical
Publication of CN114663618B publication Critical patent/CN114663618B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/04—Architectural design, interior design

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例提供一种三维重建及校正方法、装置、设备及存储介质。根据全景相机在任一位置针对目标房屋空间拍摄的全景图，可以获取全景图中各墙角点的像素坐标及其对应的经纬度信息；基于全景相机与各墙角点之间的平面几何关系、全景相机的拍摄高度以及各墙角点对应的经纬度信息，可以确定全景相机在拍摄位置的位姿数据以及目标房屋空间的长、宽、高等信息；结合世界坐标系与相机坐标系之间的坐标转换关系、相机坐标与经纬之间的转换关系、像素坐标与经纬度的转换关系以及全景相机在每个拍摄位置对应的位姿数据，可以得到全景图中的准确墙线；根据墙线对全景图进行分割，可以基于分割后的全景图构建将目标房屋空间对应的三维实景空间模型。

Description

三维重建及校正方法、装置、设备及存储介质
技术领域
本申请涉及图像处理技术领域，尤其涉及一种三维重建及校正方法、装置、设备及存储介质。
背景技术
在现有房间的三维模型构建方案中，通常是采用深度学习模型检测该房间对应全景图中的墙线，基于检测到的墙线构建房间对应的三维模型。然而，在现有房间的三维重建方案中，基于深度学习模型检测出的墙线在墙角处并非呈现直角状态，而且在全景图中左右边缘是不连续的，进而基于墙线构建出的三维模型与真实房间的差异较大，准确度不够。
发明内容
本申请的多个方面提供一种基于全景图的三维重建及校正方法、装置、设备及存储介质，用以在根据全景图构建房间三维实景空间模型时，先对全景图中的墙线进行校正得到准确的墙线，进而根据校正墙线后的全景图构建正确的三维实景空间模型。本申请实施例提供一种基于全景图的三维重建方法，应用于电子设备，所述方法包括：获取全景相机在目标房屋空间内多个位置拍摄的全景图，所述目标房屋空间包括多个目标墙角点，从所述全景图中识别所述多个目标墙角点的像素坐标；基于像素坐标与经纬度信息之间的转换关系，将所述多个目标墙角点的像素坐标转换为所述多个目标墙角点对应的经纬度信息；基于所述多个目标墙角点的经纬度信息，结合所述全景相机在所述目标房屋空间内任一拍摄位置与所述多个目标墙角点之间存在的平面几何关系，确定所述全景相机在所述拍摄位置的位姿数据以及所述目标房屋空间尺寸信息；基于所述全景相机在每个拍摄位置的位姿数据和所述目标房屋空间的尺寸信息，确定所述全景图中的墙线；根据所述全景图中的墙线对所述全景图的分割结果，构建所述目标房屋空间对应的三维实景空间模型。
在一可选实施例中，确定所述全景相机在所述拍摄位置的位姿数据以及所述目标房屋空间尺寸信息之前，还包括：基于所述目标房屋空间任一墙角点为原点，构建所述目标房屋空间在世界坐标系下的长方体模型。
在一可选实施例中，基于所述多个目标墙角点的经纬度信息，结合所述全景相机在所述目标房屋空间内任一拍摄位置与所述多个目标墙角点之间存在的平面几何关系，确定所述全景相机在所述拍摄位置的位姿数据以及所述目标房屋空间的尺寸信息，包括：从所述多个目标墙角点中，获取位于所述长方体模型中同一水平面上的第一墙角点和位于同一垂直面上的第二墙角点；基于对所述全景相机在所述水平面和所述垂直面上的投影信息，分别得到所述全景相机与所述第一墙角点之间的水平面几何关系，以及所述全景相机与所述第二墙角点之间的垂直面几何关系；基于所述第一墙角点的经度信息，结合所述水平面几何关系，确定所述全景相机在所述水平面内的平移坐标和所述长方体模型的长宽比；基于所述第二墙角点的纬度信息，结合所述全景相机的拍摄高度和所述垂直面几何关系，确定所述长方体模型的高度信息；根据任一目标墙角点的经度信息，结合所述全景相机的成像模型，确定所述全景相机在所述拍摄位置的旋转角度，并将所述平移坐标和所述旋转角度作为所述全景相机在所述拍摄位置的位姿数据。
在一可选实施例中，基于所述第一墙角点的经度信息，结合所述水平面几何关系，确定所述全景相机在所述水平面内的平移坐标和所述长方体模型的长宽比，包括：针对任意相邻的两个第一墙角点，计算所述两个第一墙角点的经度信息之差，作为所述全景相机在所述两个第一墙角点之间的视角；以所述全景相机的平移坐标和所述长方体模型的长宽比为待求量，构建所述全景相机与任一第一墙角点之间的视线向量方程；基于所述全景相机在任意相邻的两个第一墙角点之间的视角，对所述视线向量方程进行联立求解，得到所述全景相机在所述水平面内的平移坐标和所述长方体模型的长宽比。
在一可选实施例中，基于所述第二墙角点的纬度信息，结合所述全景相机的拍摄高度和所述垂直面几何关系，确定所述长方体模型的高度信息，包括：基于任意相邻的两个第二墙角点的纬度信息和所述全景相机的平移坐标以及所述全景相机的拍摄高度，结合所述垂直面几何关系，确定所述长方体模型的高度信息。
在一可选实施例中，基于所述全景相机在每个拍摄位置的位姿数据和所述目标房屋空间的尺寸信息，得到所述全景图中的墙线，包括：基于所述全景相机在每个拍摄位置的位姿数据和世界坐标系与相机坐标系之间的坐标转换关系，将所述长方体模型中各条边上点对应的世界坐标转换为其在相机坐标系下的像素坐标；将所述长方体模型中各条边的点在相机坐标系下的像素坐标映射到所述全景图中，得到所述全景图中的墙线。
在一可选实施例中，从所述全景图中识别所述多个目标墙角点的像素坐标，包括：将所述全景图输入图像识别模型，利用特征提取层对所述全景图进行特征提取；将提取到的图像特征输入墙角点检测层进行墙角点检测，得到多个墙角点；利用所述图像识别模型的墙角点选择层从所述多个墙角点中选择多个目标墙角点。
本申请实施例还提供一种全景图中墙线校正方法，包括：获取全景相机在目标房屋空间内多个位置拍摄的全景图，所述目标房屋空间包括多个目标墙角点，从所述全景图中识别所述多个目标墙角点的像素坐标；基于像素坐标与经纬度信息之间的转换关系，将所述多个目标墙角点的像素坐标转换为所述多个目标墙角点对应的经纬度信息；基于所述多个目标墙角点的经纬度信息，结合所述全景相机在所述目标房屋空间内任一拍摄位置与所述多个目标墙角点之间存在的平面几何关系，确定所述全景相机在所述拍摄位置的位姿数据以及所述目标房屋空间的尺寸信息；基于所述全景相机在每个拍摄位置的位姿数据和所述目标房屋空间的尺寸信息，确定所述全景图中的墙线。
本申请实施例还提供一种三维重建装置，包括：获取模块，用于获取全景相机在目标房屋空间内多个位置拍摄的全景图，所述目标房屋空间包括多个目标墙角点，从所述全景图中识别所述多个目标墙角点的像素坐标；第一处理模块，用于基于像素坐标与经纬度信息之间的转换关系，将所述多个目标墙角点的像素坐标转换为所述多个目标墙角点的经纬度信息；第二处理模块，用于基于所述多个目标墙角点的经纬度信息，结合所述全景相机在所述目标房屋空间内任一拍摄位置与所述多个目标墙角点之间存在的平面几何关系，确定所述全景相机在所述拍摄位置的位姿数据以及所述目标房屋空间的尺寸信息；第三处理模块，用于基于所述全景相机在每个拍摄位置的位姿数据和所述目标房屋空间的尺寸信息，确定所述全景图中的墙线；第四处理模块，用于根据所述全景图中的墙线对所述全景图的分割结果，构建所述目标房屋空间对应的三维实景空间模型。
本申请实施例还提供一种电子设备，包括：处理器和存储器，在所述处理器执行计算机程序时，用于实现所述方法中的任一项步骤。
本申请实施例还提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行所述方法中的任一项步骤。
在本申请实例中，根据全景相机在任一位置针对目标房屋空间拍摄的全景图，可以获取全景图中对应各墙角点的像素坐标；基于像素坐标与相机坐标系下经纬度的转换关系，可以确定各墙角点在相机坐标系下对应的经纬度信息。进一步，在根据目标房屋空间在世界坐标系下构建的长方体模型中，基于全景相机与各墙角点之间的平面几何关系、全景相机的拍摄高度以及各墙角点在相机坐标系下对应的经纬度信息，可以确定全景相机在拍摄位置的平移坐标和旋转角即全景相机的位姿数据，以及长方体模型的长度、宽度、高度等信息。
进一步，根据世界坐标系与相机坐标系之间的坐标转换关系以及相机坐标系下相机坐标与经纬之间的转换关系、像素坐标与相机坐标系下经纬度的转换关系，结合全景相机在每个拍摄位置对应的位姿数据，可以得到长方体模型中各条边上点对应的像素坐标；进而，将长方体模型中各条边上点对应的像素坐标投影到目标房屋空间对应的全景图，可以得到目标房屋空间在全景图中的准确墙线。基于此，根据墙线对全景图进行分割，可以基于分割后的全景图构建将目标房屋空间对应的三维实景空间模型，通过这种方式构建的三维实景空间模型更加准确。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1a为本申请实施例提供的一种基于全景图的三维重构方法的流程图；
图1b为本申请实施例提供的一种全景图中墙线校正方法的流程图；
图2a为本申请实施例提供的根据目标房屋空间构建的长方体模型结构图；
图2b为本申请实施例提供的根据目标房屋空间构建的长方体模型结构图；
图3为本身请实施例提供的一种三维重构装置的结构示意图；
图4为本身请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在现有方案中，在构建房间的三维模型时通常是采用深度学习模型检测该房间对应全景图中的墙线；基于检测到的墙线分割房间的天花板、地板和竖直墙面等房间结构，将墙线投影至水平面，得到房间轮廓，基于该房间轮廓确定房间的长宽比；进一步，结合全景相机拍摄全景图时的高度信息，确定房间的长度、宽度和高度信息，结合分割出的房间结构，构建房间对应的三维模型。但是，采用深度学习模型对房间全景图中墙线进行检测的方法并不准确，因而构建的三维房间模型可能存在墙角非直角以及边缘不连续的情况。为此，本申请实施例提供了一种基于全景图的三维重建方法，该方法可应用于电子设备，用以在根据全景图构建房间三维模型时对全景图中的墙线进行校验，得到准确的墙线，进而构建正确的三维模型。在本申请实施例中，不限定电子设备的具体实现形态，可选地，电子设备可以是智能手机、平板电脑等移动终端，也可以是独立的计算机设备等等。
图1a为本申请实施例提供的基于全景图的三维重建方法的流程图，如图1a所示，方法包括：
S1、获取全景相机在目标房屋空间内多个位置拍摄的全景图，目标房屋空间包括多个目标墙角点，从全景图中识别多个目标墙角点的像素坐标；
S2、基于像素坐标与经纬度信息之间的转换关系，将多个目标墙角点的像素坐标转换为多个目标墙角点对应的经纬度信息；
S3、基于多个目标墙角点的经纬度信息，结合全景相机在目标房屋空间内任一拍摄位置与多个目标墙角点之间存在的平面几何关系，确定全景相机在拍摄位置的位姿数据以及目标房屋空间尺寸信息；
S4、基于全景相机在每个拍摄位置的位姿数据和目标房屋空间的尺寸信息，确定全景图中的墙线；
S5、根据全景图中的墙线对全景图的分割结果，构建目标房屋空间对应的三维实景空间模型。
在本申请实施例中，为了构建房目标屋空间对应的三维实景空间模型，首先会采用全景相机在目标房屋空间中的不同位置对目标房屋空间拍摄全景图；其中，目标房屋空间中包括多个目标墙角点。由于全景图中的每个像素点与目标房屋空间中的每个空间位置具有一一对应关系，因此，每个目标墙角点在全景图中有对应的像素坐标。基于此，在本申请实施例中，可以从全景图中识别多个目标墙角点分别对应的像素坐标。
在本申请实施例中，不限定从全景图中识别多个目标墙角点分别对应的像素坐标的方式。例如，可以使用全景图的像素坐标提取工具，根据全景图中各像素点的颜色将符合墙角颜色的像素点对应的坐标提出出来。又例如，还可以将全景图输入图像识别模型，利用图像识别模型的特征提取层对全景图进行特征提取，并将提取到的图像特征输入图像识别模型的墙角点检测层进行墙角点检测，以得到多个墙角点；进而，利用图像识别模型的墙角点选择层，可以从多个墙角点中选择多个目标墙角点。
进一步，根据相机模型的成像原理，可以基于像素坐标与经纬度信息之间的转换关系，将提取到的多个目标墙角点分别对应的像素坐标转换为多个目标墙角点在相机坐标系下分别对应的经纬度信息。可选地，可以利用如下公式(1)将多个目标墙角点分别对应的像素坐标转换为在相机坐标系下分别对应的经纬度信息；其中，IW和IH分别表示全景图中像素点的行数和列数，r和c分别表示一个像素点在全景图中的横纵坐标，
Figure BDA0003530875140000072
和ψ分别表示一个像素点在相机坐标系下分别对应的经度和纬度。
Figure BDA0003530875140000071
通常，房屋空间都是长方体，在本申请可选实施例中，可以按照目标房屋空间包含8个墙角点为例，构建与目标房屋空间对应的长方体模型。例如，图2a为基于目标房屋空间构建的长方体模型。进一步，为了确定目标房屋空间的真实尺寸信息，需要确定长方体模型的长度、宽度以及高度等信息。在本申请实施例中，不限定确定长方体模型的长度、宽度以及高度等信息的具体方式，可选地，如图2a所示，可以以长方体模型中的1号墙角点为原点建立世界坐标系，并以1号墙角点到0号墙角点的方向为x轴正方向，以1号墙角点到2号墙角点的方向为z轴正方向，以及以1号墙角点到5号墙角点的方向为y负方向；其中，点S对应全景相机在目标房屋空间中拍摄全景图时的位置，全景相机的拍摄高度为预设高度。需要说明的是，构建目标房屋空间的长方体模型的方式并不限于此，可根据实际需求灵活选择。
如图2a所示，在长方体模型中，点S分别与水平面(xoz平面)和垂直平面(xoy平面或zoy平面)上的各墙角点之间构成平面几何关系。基于此，在得到多个目标墙角点在相机坐标系下分别对应的经纬度信息的情况下，可以基于多个目标墙角点的经纬度信息，结合全景相机对应的坐标点S与多个目标墙角点之间存在的几何关系，确定全景相机在拍摄全景图时的位姿数据以及长方体模型长宽比和高度信息。
可选地，在确定长方体模型长宽比和高度信息时，可以从多个目标墙角点中，获取位于同一水平面上的多个第一墙角点和位于同一垂直面上的多个第二墙角点与坐标点S构成平面几何关系，根据该平面几个关系以及全景相机的拍摄高度确定长方体模型长宽比和高度信息。例如，多个第一墙角点可为图2a中的0号墙角点、1号墙角点、2号墙角点和3号墙角点；多个第二墙角点可以为图2a中的1号墙角点和5号墙角点；当然，并不限于此。进一步可选地，可以将0号墙角点、1号墙角点、2号墙角点和3号墙角点共同所在的水平面称为目标水平面；进一步，将全景相机对应的坐标点S映射到目标水平面上m点，可以得到全景相机在目标水平面上投影坐标点m与各第一墙角点之间的水平面几何关系；将1号墙角点、5号墙角点和全景相机对应的坐标点S共同所在的垂直面称为目标垂直平面，可以得到全景相机在目标垂直面上与各第二墙角点之间的垂直面几何关系。
由于需要在目标房屋空间内不同位置拍摄目标房屋空间对应的全景图，基于此，可将全景相机每次拍摄的位置对应的坐标点投影在水平面内对应的二维坐标称为全景相机的平移坐标；又因为各墙角点在相机坐标系下的经度信息反映了位于同一水平面上各墙角之间的夹角关系，各墙角点在相机坐标系下的纬度信息反映了位于同一垂直平面上各墙角与全景相机之间的俯仰角关系。基于此，针对全景相机在目标房屋空间内的拍摄位置，可以根据全景相机在目标水平面上与各第一墙角点之间的水平面几何关系以及各第一墙角点的经度信息，确定长方体模型的长宽比以及全景相机在拍摄位置对应的平移坐标；进一步，基于各第二墙角点的纬度信息，结合全景相机的拍摄高度和全景相机在目标垂直面上与两个第二墙角点之间的垂直面几何关系，可以确定目标房屋空间的高度信息。
在本申请实施例中，在确定全景相机在目标房屋空间中拍摄位置在目标水平面内的平移坐标和长方体模型的长宽比时，针对任意相邻的两个第一墙角点，可以计算两个第一墙角点的经度信息之差，作为全景相机在两个第一墙角点之间的视角，并以全景相机在目标水平面内的平移坐标和长方体模型的长宽比为待求量，构建全景相机与任一第一墙角点之间的视线向量方程；进而，基于全景相机在任意相邻的两个第一墙角点之间的视角，对视线向量方程进行联立求解，可以得到全景相机在目标水平面内的平移坐标和目标房屋空间的长宽比。
可选地，可以结合图2b所示的目标水平面的俯视图，首先确定在目标水平面中全景相机在0号墙角点和1号墙角点之间的视角α0、全景相机在1号墙角点和2号墙角点之间的视角α1以及全景相机在2号墙角点和3号墙角点之间的视角α2。假设通过公式(1)计算得到0号墙角点、1号墙角点、2号墙角点和3号墙角点分别对应的经度信息为：
Figure BDA0003530875140000091
基于此，可以得到α0、α1、α2的表达式分别为：
Figure BDA0003530875140000092
进一步，假设目标水平面的宽度为1，长度为l，结合点m在目标水平面内的坐标(x，z)以及点m与各第一墙角点之间的水平面几何关系，可以确定点m分别与0号墙角点、1号墙角点、2号墙角点和3号墙角点之间的视线向量
Figure BDA0003530875140000093
的表达式分别为：
Figure BDA0003530875140000094
Figure BDA0003530875140000095
基于此，联立α0、α1、α2对应的表达式和视线向量
Figure BDA0003530875140000096
对应的表达式，可以得到各第一墙角点之间的视角和点m与各第一墙角点之间的视线向量之间的关系为：
Figure BDA0003530875140000097
Figure BDA0003530875140000098
由此，可以确定目标水平面对应的长宽比以及点m对应的平移坐标。
由于在任意两个平行平面(假设两个平面与竖直方向垂直)之间的任一点k分别与两个平面上的点c和点f之间的俯仰角均满足如下关系：
Figure BDA0003530875140000101
其中，θc为位于上平面上的点c与点k之间的俯角；θf为位于下平面上的点f与点k之间的仰角；hc为点k与上水平面之间的距离；hf为点k与下水平面之间的距离。基于此，在确定目标房屋空间的高度信息时，可以根据任意相邻的两个第二墙角点的纬度信息和全景相机在目标水平面内的平移坐标以及全景相机的拍摄高度，结合全景相机在目标垂直面上与两个第二墙角点之间满足上述公式(2)的垂直面几何关系，确定目标房屋空间的高度信息。
在本申请实施例中，由于全景相机在拍摄全景图时架在三脚架上进行360°旋转拍摄，因此，全景相机所在位置的高度为固定的已知高度，假设为h；又因为目标垂直面上的1号墙角点和5号墙角点的纬度信息即为1号墙角点和5号墙角点分别与全景相机所在位置之间的俯仰角，假设通过上述公式(1)计算分别为1号墙角点的纬度信息为ψf，5号墙角点的纬度信息为ψc；因此，则结合上述公式(2)以及全景相机在目标水平面上的投影点m的坐标(x，z)，可以得到目标房屋空间的高度信息H和宽度信息W分别为：
Figure BDA0003530875140000102
由此，可以确定长方体模型的长度、宽度和高度等信息。
进一步，为了构建准确的三维实景空间模型，需要确定目标房屋空间在全景图中的准确墙线，以根据墙线分割全景图并构建三维实景空间模型。可选地，可以结合全景相机在每个位置拍摄全景图时的位姿数据，确定长方体模型各条边上点在全景图中的像素坐标，并根据确定的像素坐标将长方体模型的各条边映射到全景图中，以得到目标房屋空间在全景图中的准确墙线；进而，基于墙线对全景图的分割结果，可以构建目标房屋空间对应的三维实景空间模型。可选地，在确定长方体模型各条边上点在全景图中的像素坐标时，可以先根据任一目标墙角点的经度信息，结合全景相机的成像模型，确定全景相机在拍摄位置拍摄全景图时的旋转角度；进一步，结合全景相机在拍摄位置的平移坐标，可得到全景相机在拍摄位置拍摄全景图时的位姿数据。例如，以图2a中的1号墙角点为例，假设旋转角度为θ，通过上述公式(1)计算得到1号墙角点的经度信息为
Figure BDA0003530875140000115
进一步，结合全景相机的成像模型
Figure BDA0003530875140000111
在确定全景相机在拍摄位置的旋转角度时，根据全景相机的拍摄特性，可以得到1号墙角点的旋转角度和经度信息满足如下关系：
Figure BDA0003530875140000112
Figure BDA0003530875140000113
联立上述两式可以确定全景相机在拍摄位置拍摄全景图时的旋转角度θ。
需要说明的是，在上述实施例中，是以根据全景相机在某一位置拍摄的全景图确定目标房屋空间的长度、宽度、高度以及全景相机的旋转角度和平移坐标为例进行说明，然而，在拍摄目标房屋空间对应全景图时，需要将全景相机放在目标房屋空间内的不同位置拍摄的多张全景图，针对每一张全景图的处理方式相同，具体可参见上述实施例，在此不做赘述。
基于上述，针对全景相机在任一位置的位姿数据以及世界坐标系下三维坐标与相机坐标系下坐标之间的坐标转换关系：Rcw·Pw+tcw＝(Pcx，Pcy，Pcz)，可以将长方体模型中在世界坐标系下的每个三维坐标转化为相机坐标系下的相机坐标(Pcx，Pcy，Pcz)，以将长方体模型中各条边映射到全景图中可以得到准确的墙线；其中，Pw是世界坐标系中的三维点，(Pcx，Pcy，Pcz)是相机坐标系下的点坐标，RCW代表全景相机的旋转角度，tCW代表全景相机的平移坐标。
进一步，基于相机坐标系下的坐标与全景图中各像素点的经纬度之间的转换关系
Figure BDA0003530875140000114
并联立公式(1)中全景图中的像素坐标与经纬度之间的转换关系，可以将长方体模型中各条边上点在世界坐标系下的三维坐标转换为其在相机坐标系下对应的像素坐标；其中，Pc代表相机系下的点。
基于上述，在确定长方体模型的长度、高度和宽度等信息以及长方体模型中各条边上的点在相机坐标系下的像素坐标的情况下，可以根据长方体模型的长度、高度和宽度，将长方体模型中各条边上的点对应的像素坐标映射到目标房屋空间对应的全景图中，得到目标房屋空间在全景图中的准确墙线；进一步，根据得到的墙线对全景图进行分割，可以根据分割后的全景图构建目标房屋空间对应的三维实景空间模型，结果更加准确。
相应地，基于上述实施例，本申请实施例还提供一种全景图中墙线校正方法。图1b为该方法的流程图，如图1b所示，方法包括：
P1、获取全景相机在目标房屋空间内多个位置拍摄的全景图，目标房屋空间包括多个目标墙角点，从全景图中识别所述多个目标墙角点的像素坐标；
P2、基于像素坐标与经纬度信息之间的转换关系，将多个目标墙角点的像素坐标转换为多个目标墙角点对应的经纬度信息；
P3、基于多个目标墙角点的经纬度信息，结合全景相机在目标房屋空间内任一拍摄位置与多个目标墙角点之间存在的平面几何关系，确定全景相机在拍摄位置的位姿数据以及目标房屋空间的尺寸信息；
P4、基于全景相机在每个拍摄位置的位姿数据和目标房屋空间的尺寸信息，确定全景图中的墙线。
关于如何校正全景图中墙线的具体实现细节，可以参见上述全景图的三维重建方法实施例中对应部分的说明，在此不再赘述。
在本申请实例中，根据全景相机在任一位置针对目标房屋空间拍摄的全景图，可以获取全景图中对应各墙角点的像素坐标；基于像素坐标与相机坐标系下经纬度的转换关系，可以确定各墙角点在相机坐标系下对应的经纬度信息。进一步，在根据目标房屋空间在世界坐标系下构建的长方体模型中，基于全景相机与各墙角点之间的平面几何关系、全景相机的拍摄高度以及各墙角点在相机坐标系下对应的经纬度信息，可以确定全景相机在拍摄位置的平移坐标和旋转角即全景相机的位姿数据，以及长方体模型的长度、宽度、高度等信息。
进一步，根据世界坐标系与相机坐标系之间的坐标转换关系以及相机坐标系下相机坐标与经纬之间的转换关系、像素坐标与相机坐标系下经纬度的转换关系，结合全景相机在每个拍摄位置对应的位姿数据，可以得到长方体模型中各条边上点对应的像素坐标；进而，将长方体模型中各条边上点对应的像素坐标投影到目标房屋空间对应的全景图，可以得到目标房屋空间在全景图中的准确墙线。基于此，根据墙线对全景图进行分割，可以基于分割后的全景图构建将目标房屋空间对应的三维实景空间模型，通过这种方式构建的三维实景空间模型更加准确。
需要说明的是，所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤S1至步骤S5以及P1至步骤P4的执行主体可以为设备A；又比如，步骤S1或P1的执行主体可以为设备A，步骤S2至步骤S5以及步骤P2至步骤P4的执行主体可以为设备B；等等。
另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如S1、S2以及P1、P2等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
本申请实施例还提供一种三维重建装置。例如三维重建装置可实现为通信控制器(Communication Control Unit，CCU)中的虚拟装置，例如应用程序。如图3所示，该三维重建装置包获取模块301、第一处理模块302、第二处理模块303、第三处理模块304和第四处理模块305；其中：
获取模块301，用于获取全景相机在目标房屋空间内多个位置拍摄的全景图，并从全景图中识别多个目标墙角点的像素坐标，目标房屋空间包括多个目标墙角点；
第一处理模块302，用于基于像素坐标与经纬度信息之间的转换关系，将多个目标墙角点的像素坐标转换为多个目标墙角点的经纬度信息；
第二处理模块303，用于基于多个目标墙角点的经纬度信息，结合全景相机在目标房屋空间内任一拍摄位置与多个目标墙角点之间存在的平面几何关系，确定全景相机在拍摄位置的位姿数据以及目标房屋空间的尺寸信息；
第三处理模块304，用于基于全景相机在每个拍摄位置的位姿数据和目标房屋空间的尺寸信息，确定全景图中的墙线；
第四处理模块305，用于根据全景图中的墙线对全景图的分割结果，构建目标房屋空间对应的三维实景空间模型。
关于上述装置中各模块的具体功能和实现过程，可参见上述方法实施例，在此不再赘述。
本申请实施例还提供一种电子设备，图4为电子设备的结构示意图，如图4所示，电子设备包括：处理器41以及存储有计算机程序的存储器42；其中，处理器41和存储器42可以是一个或多个。
存储器42，主要用于存储计算机程序，这些计算机程序可被处理器41执行，致使处理器41控制电子设备实现相应功能、完成相应动作或任务。除了存储计算机程序之外，存储器42还可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令。
存储器42，可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
在本申请实施例中，并不限定处理器41的实现形态，例如可以是但不限于CPU、GPU或MCU等。处理器41可以看作是电子设备的控制系统，可用于执行存储器42中存储的计算机程序，以控制电子设备实现相应功能、完成相应动作或任务。值得说明的是，根据电子设备实现形态以及所处于场景的不同，其所需实现的功能、完成的动作或任务会有所不同；相应地，存储器42中存储的计算机程序也会有所不同，而处理器21执行不同计算机程序可控制电子设备实现不同的功能、完成不同的动作或任务。
在一些可选实施例中，如图4所示，电子设备还可包括：显示器43、电源组件44以及通信组件45等其它组件。图4中仅示意性给出部分组件，并不意味着电子设备只包括图4所示组件，针对不同的应用需求，电子设备还可以包括其他组件，例如，在存在语音交互需求的情况下，如图4所示，电子设备还可以包括音频组件46。关于电子设备可包含的组件，具体可视电子设备的产品形态而定，在此不做限定。
在本申请实施例中，当处理器41执行存储器42中的计算机程序时，以用于：获取全景相机在目标房屋空间内多个位置拍摄的全景图，目标房屋空间包括多个目标墙角点，从全景图中识别多个目标墙角点的像素坐标；基于像素坐标与经纬度信息之间的转换关系，将多个目标墙角点的像素坐标转换为多个目标墙角点对应的经纬度信息；基于多个目标墙角点的经纬度信息，结合全景相机在目标房屋空间内任一拍摄位置与多个目标墙角点之间存在的平面几何关系，确定全景相机在拍摄位置的位姿数据以及目标房屋空间尺寸信息；基于全景相机在每个拍摄位置的位姿数据和目标房屋空间的尺寸信息，确定全景图中的墙线；根据全景图中的墙线对全景图的分割结果，构建目标房屋空间对应的三维实景空间模型。
关于上述电子设备中处理器的具体功能，可参见上述方法实施例，在此不再赘述。
相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被执行时能够实现上述方法实施例中可由电子设备执行的各步骤。
上述实施例中的通信组件被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络，如WiFi，2G、3G、4G/LTE、5G等移动通信网络，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
上述实施例中的显示器包括屏幕，其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
上述实施例中的电源组件，为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。
上述实施例中的音频组件，可被配置为输出和/或输入音频信号。例如，音频组件包括一个麦克风(MIC)，当音频组件所在设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或经由通信组件发送。在一些实施例中，音频组件还包括一个扬声器，用于输出音频信号。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于全景图的三维重建方法，应用于电子设备，其特征在于，所述方法包括：
获取全景相机在目标房屋空间内多个位置拍摄的全景图，所述目标房屋空间包括多个目标墙角点，从所述全景图中识别所述多个目标墙角点的像素坐标；
基于像素坐标与经纬度信息之间的转换关系，将所述多个目标墙角点的像素坐标转换为所述多个目标墙角点对应的经纬度信息；
基于所述多个目标墙角点的经纬度信息，结合所述全景相机在所述目标房屋空间内任一拍摄位置与所述多个目标墙角点之间存在的平面几何关系，确定所述全景相机在所述拍摄位置的位姿数据以及所述目标房屋空间尺寸信息；
基于所述全景相机在每个拍摄位置的位姿数据和世界坐标系与相机坐标系之间的坐标转换关系，将所述目标房屋空间对应各条墙线上的点对应的世界坐标转换为其在相机坐标系下的像素坐标；
将所述目标房屋空间对应各条墙线上的点在相机坐标系下的像素坐标映射到所述全景图中，得到所述全景图中的墙线；
根据所述全景图中的墙线对所述全景图的分割结果，构建所述目标房屋空间对应的三维实景空间模型。
2.根据权利要求1所述的方法，其特征在于，确定所述全景相机在所述拍摄位置的位姿数据以及所述目标房屋空间尺寸信息之前，还包括：
基于所述目标房屋空间任一墙角点为原点，构建所述目标房屋空间在世界坐标系下的长方体模型。
3.根据权利要求2所述的方法，其特征在于，基于所述多个目标墙角点的经纬度信息，结合所述全景相机在所述目标房屋空间内任一拍摄位置与所述多个目标墙角点之间存在的平面几何关系，确定所述全景相机在所述拍摄位置的位姿数据以及所述目标房屋空间的尺寸信息，包括：
从所述多个目标墙角点中，获取位于所述长方体模型中同一水平面上的第一墙角点和位于同一垂直面上的第二墙角点；
基于对所述全景相机在所述水平面和所述垂直面上的投影信息，分别得到所述全景相机与所述第一墙角点之间的水平面几何关系，以及所述全景相机与所述第二墙角点之间的垂直面几何关系；
基于所述第一墙角点的经度信息，结合所述水平面几何关系，确定所述全景相机在所述水平面内的平移坐标和所述长方体模型的长宽比；
基于所述第二墙角点的纬度信息，结合所述全景相机的拍摄高度和所述垂直面几何关系，确定所述长方体模型的高度信息；
根据任一目标墙角点的经度信息，结合所述全景相机的成像模型，确定所述全景相机在所述拍摄位置的旋转角度，并将所述平移坐标和所述旋转角度作为所述全景相机在所述拍摄位置的位姿数据。
4.根据权利要求3所述的方法，其特征在于，基于所述第一墙角点的经度信息，结合所述水平面几何关系，确定所述全景相机在所述水平面内的平移坐标和所述长方体模型的长宽比，包括：
针对任意相邻的两个第一墙角点，计算所述两个第一墙角点的经度信息之差，作为所述全景相机在所述两个第一墙角点之间的视角；
以所述全景相机的平移坐标和所述长方体模型的长宽比为待求量，构建所述全景相机与任一第一墙角点之间的视线向量方程；
基于所述全景相机在任意相邻的两个第一墙角点之间的视角，对所述视线向量方程进行联立求解，得到所述全景相机在所述水平面内的平移坐标和所述长方体模型的长宽比。
5.根据权利要求3所述的方法，其特征在于，基于所述第二墙角点的纬度信息，结合所述全景相机的拍摄高度和所述垂直面几何关系，确定所述长方体模型的高度信息，包括：
基于任意相邻的两个第二墙角点的纬度信息和所述全景相机的平移坐标以及所述全景相机的拍摄高度，结合所述垂直面几何关系，确定所述长方体模型的高度信息。
6.根据权利要求1-5任一项所述的方法，其特征在于，从所述全景图中识别所述多个目标墙角点的像素坐标，包括：
将所述全景图输入图像识别模型，利用特征提取层对所述全景图进行特征提取；将提取到的图像特征输入墙角点检测层进行墙角点检测，得到多个墙角点；利用所述图像识别模型的墙角点选择层从所述多个墙角点中选择多个目标墙角点。
7.一种全景图中墙线校正方法，其特征在于，包括：
获取全景相机在目标房屋空间内多个位置拍摄的全景图，所述目标房屋空间包括多个目标墙角点，从所述全景图中识别所述多个目标墙角点的像素坐标；
基于像素坐标与经纬度信息之间的转换关系，将所述多个目标墙角点的像素坐标转换为所述多个目标墙角点对应的经纬度信息；
基于所述多个目标墙角点的经纬度信息，结合所述全景相机在所述目标房屋空间内任一拍摄位置与所述多个目标墙角点之间存在的平面几何关系，确定所述全景相机在所述拍摄位置的位姿数据以及所述目标房屋空间的尺寸信息；
基于所述全景相机在每个拍摄位置的位姿数据和世界坐标系与相机坐标系之间的坐标转换关系，将所述目标房屋空间对应各条墙线上的点对应的世界坐标转换为其在相机坐标系下的像素坐标；
将所述目标房屋空间对应各条墙线上的点在相机坐标系下的像素坐标映射到所述全景图中，得到所述全景图中的墙线。
8.一种三维重建装置，其特征在于，包括：
获取模块，用于获取全景相机在目标房屋空间内多个位置拍摄的全景图，所述目标房屋空间包括多个目标墙角点，从所述全景图中识别所述多个目标墙角点的像素坐标；
第一处理模块，用于基于像素坐标与经纬度信息之间的转换关系，将所述多个目标墙角点的像素坐标转换为所述多个目标墙角点的经纬度信息；
第二处理模块，用于基于所述多个目标墙角点的经纬度信息，结合所述全景相机在所述目标房屋空间内任一拍摄位置与所述多个目标墙角点之间存在的平面几何关系，确定所述全景相机在所述拍摄位置所的位姿数据以及所述目标房屋空间的尺寸信息；
第三处理模块，用于基于所述全景相机在每个拍摄位置的位姿数据和世界坐标系与相机坐标系之间的坐标转换关系，将所述目标房屋空间对应各条墙线上的点对应的世界坐标转换为其在相机坐标系下的像素坐标；以及将所述目标房屋空间对应各条墙线上的点在相机坐标系下的像素坐标映射到所述全景图中，得到所述全景图中的墙线；
第四处理模块，用于根据所述全景图中的墙线对所述全景图的分割结果，构建所述目标房屋空间对应的三维实景空间模型。
9.一种电子设备，其特征在于，包括：处理器和存储器，在所述处理器执行计算机程序时，用于实现如权利要求1-7中任一项所述方法中的步骤。
10.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1-7中任一项所述方法中的步骤。
CN202210204441.8A 2022-03-03 2022-03-03 三维重建及校正方法、装置、设备及存储介质 Active CN114663618B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210204441.8A CN114663618B (zh) 2022-03-03 2022-03-03 三维重建及校正方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210204441.8A CN114663618B (zh) 2022-03-03 2022-03-03 三维重建及校正方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114663618A CN114663618A (zh) 2022-06-24
CN114663618B true CN114663618B (zh) 2022-11-29

Family

ID=82027953

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210204441.8A Active CN114663618B (zh) 2022-03-03 2022-03-03 三维重建及校正方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114663618B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114926371B (zh) * 2022-06-27 2023-04-07 北京五八信息技术有限公司 一种全景图的垂直校正、灭点检测方法、设备及存储介质
CN114895796B (zh) * 2022-07-15 2022-11-11 杭州易绘科技有限公司 一种基于全景图的空间交互方法、装置及应用
CN115359114B (zh) * 2022-08-16 2023-07-25 中建一局集团第五建筑有限公司 一种定位方法、装置、电子设备和计算机可读存储介质
CN115713616B (zh) * 2022-11-18 2023-10-31 北京城市网邻信息技术有限公司 一种房源空间模型生成方法、装置、终端设备及存储介质
CN115761046B (zh) * 2022-11-21 2023-11-21 北京城市网邻信息技术有限公司 房屋信息的编辑方法、装置、电子设备及存储介质
CN115861039B (zh) * 2022-11-21 2023-07-25 北京城市网邻信息技术有限公司 信息展示方法、装置、设备及介质
CN116503562B (zh) * 2023-05-15 2024-03-08 贝壳找房(北京)科技有限公司 空间建筑信息模型的确定及三维空间模型图像融合方法
CN117537735B (zh) * 2023-10-20 2024-04-30 中国中建设计研究院有限公司 一种测量方法以及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110782524A (zh) * 2019-10-25 2020-02-11 重庆邮电大学 基于全景图的室内三维重建方法
CN111127655A (zh) * 2019-12-18 2020-05-08 北京城市网邻信息技术有限公司 房屋户型图的构建方法及构建装置、存储介质
CN111247561A (zh) * 2018-07-03 2020-06-05 上海亦我信息技术有限公司 一种基于拍照重建三维空间场景的方法
CN112712584A (zh) * 2019-10-25 2021-04-27 阿里巴巴集团控股有限公司 墙线确定方法以及空间建模方法、装置、设备
CN113140034A (zh) * 2021-04-27 2021-07-20 上海科技大学 基于房间布局的全景新视角生成方法、装置、设备和介质
CN113298928A (zh) * 2021-03-26 2021-08-24 阿里巴巴新加坡控股有限公司 房屋三维重建方法、装置、设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111402404B (zh) * 2020-03-16 2021-03-23 北京房江湖科技有限公司 全景图补全方法、装置、计算机可读存储介质及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111247561A (zh) * 2018-07-03 2020-06-05 上海亦我信息技术有限公司 一种基于拍照重建三维空间场景的方法
CN110782524A (zh) * 2019-10-25 2020-02-11 重庆邮电大学 基于全景图的室内三维重建方法
CN112712584A (zh) * 2019-10-25 2021-04-27 阿里巴巴集团控股有限公司 墙线确定方法以及空间建模方法、装置、设备
CN111127655A (zh) * 2019-12-18 2020-05-08 北京城市网邻信息技术有限公司 房屋户型图的构建方法及构建装置、存储介质
CN113298928A (zh) * 2021-03-26 2021-08-24 阿里巴巴新加坡控股有限公司 房屋三维重建方法、装置、设备和存储介质
CN113140034A (zh) * 2021-04-27 2021-07-20 上海科技大学 基于房间布局的全景新视角生成方法、装置、设备和介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
面向虚实融合的卧室箱体建模与布局算法;王超等;《计算机科学与探索》;20180209(第04期);第511-524页 *
面向视频序列的三维室内场景建模技术研究;韩红剑;《中国优秀硕士学位论文全文数据库 信息科技辑》;20210215(第02期);全文 *

Also Published As

Publication number Publication date
CN114663618A (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
CN114663618B (zh) 三维重建及校正方法、装置、设备及存储介质
CN111586360B (zh) 一种无人机投影方法、装置、设备及存储介质
US10593014B2 (en) Image processing apparatus, image processing system, image capturing system, image processing method
CN111436208B (zh) 一种测绘采样点的规划方法、装置、控制终端及存储介质
JP7223449B2 (ja) 撮影に基づく３ｄモデリングシステム
US20130271579A1 (en) Mobile Stereo Device: Stereo Imaging, Measurement and 3D Scene Reconstruction with Mobile Devices such as Tablet Computers and Smart Phones
US8155387B2 (en) Method and system for position determination using image deformation
CN110111388B (zh) 三维物体位姿参数估计方法及视觉设备
CN110703805B (zh) 立体物体测绘航线规划方法、装置、设备、无人机及介质
JP7220785B2 (ja) 測量用サンプリング点の計画方法、装置、制御端末及び記憶媒体
CN114549766B (zh) 一种实时ar可视化方法、装置、设备及存储介质
JP7220784B2 (ja) 測量用サンプリング点の計画方法、装置、制御端末及び記憶媒体
CN114640833A (zh) 投影画面调整方法、装置、电子设备和存储介质
CN114529621B (zh) 户型图生成方法、装置、电子设备及介质
CN113610702B (zh) 一种建图方法、装置、电子设备及存储介质
CN114283243A (zh) 数据处理方法、装置、计算机设备及存储介质
CN115174878B (zh) 投影画面校正方法、装置和存储介质
EP3882846B1 (en) Method and device for collecting images of a scene for generating virtual reality data
CN115393469A (zh) 房屋户型图生成方法、装置、设备及介质
US11770551B2 (en) Object pose estimation and tracking using machine learning
CN115439550A (zh) 一种相机标定方法、测距方法、设备及存储介质
CN108986183B (zh) 一种全景地图的制作方法
CN112956182A (zh) 相机控制方法、设备及计算机可读存储介质
CN115278184B (zh) 投影画面校正方法及装置
CN115222602B (zh) 图像拼接方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant