CN108961395A - 一种基于拍照重建三维空间场景的方法 - Google Patents

一种基于拍照重建三维空间场景的方法 Download PDF

Info

Publication number
CN108961395A
CN108961395A CN201810717163.XA CN201810717163A CN108961395A CN 108961395 A CN108961395 A CN 108961395A CN 201810717163 A CN201810717163 A CN 201810717163A CN 108961395 A CN108961395 A CN 108961395A
Authority
CN
China
Prior art keywords
room
plane
photo
point
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810717163.XA
Other languages
English (en)
Other versions
CN108961395B (zh
Inventor
黄孝敏
赵明
蔡锫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yi I Information Technology Co Ltd
Original Assignee
Shanghai Yi I Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN201810717163.XA priority Critical patent/CN108961395B/zh
Application filed by Shanghai Yi I Information Technology Co Ltd filed Critical Shanghai Yi I Information Technology Co Ltd
Priority to JP2021520260A priority patent/JP7162933B2/ja
Priority to KR1020207035296A priority patent/KR20210008400A/ko
Priority to CA3103844A priority patent/CA3103844C/en
Priority to CN201880066029.6A priority patent/CN111247561B/zh
Priority to PCT/CN2018/112554 priority patent/WO2020006941A1/zh
Priority to GB2018574.0A priority patent/GB2588030B/en
Publication of CN108961395A publication Critical patent/CN108961395A/zh
Application granted granted Critical
Publication of CN108961395B publication Critical patent/CN108961395B/zh
Priority to US16/588,111 priority patent/US11200734B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/60—Rotation of a whole image or part thereof
    • G06T3/608—Skewing or deskewing, e.g. by two-pass or three-pass rotation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/04—Architectural design, interior design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/21—Collision detection, intersection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/008—Cut plane or projection plane definition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/012—Dimensioning, tolerancing

Abstract

本发明公开了一种基于拍照重建三维空间场景的方法，包括以下步骤：S1：导入所有空间的照片，将照片按照拍摄时的方向和视角对应于三维空间，使得从三维空间的相机位置观看时，每个像素的观看方向与拍摄时一致；S2：将房间视为多个平面的集合，先确定一个平面，再通过平面间相互关系和平面间的交线，逐一确定所有平面；S3：通过标记系统标记房间空间结构，并获得尺寸信息；S4：通过S3收集到的点坐标信息建立房间的三维空间模型。本发明既能还原场景的三维空间模型，同时包含尺寸信息和纹理信息且不丢失细节，同时能够快速方便地对三维空间场景进行编辑修改，又能同时生成带尺寸信息且不失真的二维平面图。

Description

一种基于拍照重建三维空间场景的方法
技术领域
本发明涉及一种三维建模方法，尤其涉及一种基于拍照重建三维空间场景的方法。
背景技术
三维空间的建模是近年来得到快速发展和应用的一项技术，在虚拟现实、房屋装修、室内设计等领域都得到广泛的应用，现有的三维空间场景建模一般采用以下方案：
1、采用双目立体视觉(Binocular Stereo Vision)系统。基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。融合两只眼睛获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来。该方法虽然拍摄设备简单，但若要用于三维空间的重建，所需拍摄的照片数量极多，非常耗时，而且后期需要大量的时间来计算模型，一旦模型出现问题，修复方法又非常繁琐，非专业人员无法操作，因此，双目立体视觉系统虽然已出现多年但却无法做到大面积推广。
2、激光点云技术，是使用TOF或者结构光测距原理，获取物体表面每个采样点的空间坐标，得到的是一系列表达目标空间分布和目标表面特性的海量点的集合，这个点集合就称之为“点云”(Point Cloud)。点云的属性包括：空间分辨率，点位精度，表面法向量等。但是激光点云技术一方面需要用户额外采购体积庞大、价格昂贵、操作复杂的点云设备，另一方面会产生海量的数据不利于存储和处理，当需要拼接多组数据时，由于数据量巨大，花费时间会很长，效果不尽如人意。因此，点云技术虽然已出现多年但推广起来却困难重重。
由上可见，目前还缺乏一种简单易用、成本较低但效果较好的方法来解决上述问题。
发明内容
本发明所要解决的技术问题是提供一种基于拍照重建三维空间场景的方法，既能还原场景的三维空间模型，同时包含纹理信息和尺寸信息且不丢失细节，同时能够快速方便地对三维空间场景进行编辑修改，又能同时生成带尺寸信息且不失真的二维平面图。
本发明为解决上述技术问题而采用的技术方案是提供基于拍照重建三维空间场景的方法，包括以下步骤：S1：导入所有空间的照片，对每个空间导入在同一个拍摄点拍摄的包含空间主要特征的一组照片，将照片按照拍摄时的方向和视角对应于三维空间，使得从三维空间的相机位置观看时，每个像素的观看方向与拍摄时一致；S2：将房间视为多个平面的集合，先确定第一个平面，再通过平面间相互关系和平面间的交线，逐一确定所有平面；S3：通过标记系统标记房间空间结构，并获得尺寸信息；S4：通过S3收集到的点坐标信息建立房间的三维空间模型。
上述的基于拍照重建三维空间场景的方法，其中，所述步骤S1还包括，将每个空间的照片合成360度全景图，然后将全景图对应于三维空间，使得从三维空间的相机位置观看时，每个像素的观看方向与拍摄时一致。
上述的基于拍照重建三维空间场景的方法，其中，所述步骤S2中，确定第一个平面方法包括：通过查找平面上的三条垂直相交墙线来确定一个平面或者查找平面四个墙角来确定一个平面。
上述的基于拍照重建三维空间场景的方法，其中，所述步骤S2中，确定第一个平面方法还包括：通过记录相机镜头在平面的投影点来确定平面的位置或者记录相关点推算出相机镜头在平面的投影点来确定平面的位置。
上述的基于拍照重建三维空间场景的方法，其中，所述步骤S2之前还包括：在照片上标记垂直矫正线，矫正照片拍摄时拍摄设备歪斜导致的图像倾斜；在照片中寻找垂直于照片地面的线作为垂直矫正线，或者寻找照片的水平线，画一条与照片中的水平线垂直的线作为垂直矫正线；以垂直矫正线为参照，旋转照片直到垂直矫正线与实际水平面垂直；获取不同方位的多条垂直线矫正线，完成垂直矫正。
上述的基于拍照重建三维空间场景的方法，其中，所述步骤S3包括以下步骤：S31：将照片放置于一个高精度球体内，将相机的镜头位置设置在球体中央，然后在球体中心还原照片拍摄视角；S32：在球体中预置四个框架点，每个框架点包含上点和下点，拖动框架点使得每个点对应于实际房间空间中的墙角位置，形成房间的主体框架结构；或者依次标记各个下墙角的位置，形成地面轮廓，再结合垂直的墙线，找到对应的上墙角，标记出上墙角的位置，得到整个房间的基本轮廓；S33：通过已知的相机拍摄高度计算得到房间的高度，推算房间的轮廓尺寸；或者通过摆放已知长度的标尺，定位平面的轮廓尺寸，再推算房间的轮廓尺寸。
上述的基于拍照重建三维空间场景的方法，其中，步骤S32中，需要标记的墙角被遮挡时，如果墙线可见，通过垂直与水平相交的两个墙线的交点来确定墙角的位置；如果墙的下墙角与墙线均被遮挡，而上墙角或墙线可见，先确定上平面和上墙角，然后将上墙角和下墙角的位置进行等比缩放，并保持下墙角的点在下平面上，从而确定墙角位置。
上述的基于拍照重建三维空间场景的方法，其中，步骤S32还包括，对房间内物体添加标点，并将两个标点组成一条标线，对房间墙体进行扩展并添加房间的基本物体结构，所述基本物体包括门、开放空间、普通窗、飘窗、楼梯；对于非矩形的房间，添加凹凸墙结构的标点扩展房间结构，通过调节凹凸墙的位置和深度来确定扩展的空间结构；对于任意自由结构的墙体，添加自由标点来任意扩展墙体结构；对于复式结构，添加楼梯和楼梯口结构的标点，并连接两个楼层的楼梯口来串联上下楼层，扩展楼梯结构；步骤S33还包括，已知相机镜头高度或者摆放已知长度的标尺，通过对房间内物体的标记，得到真实世界中的尺寸和在模型中的尺寸的计算比例，然后对整个模型进行等比缩放，计算得到房间内物体真实尺寸。
上述的基于拍照重建三维空间场景的方法，其中，还包括步骤S5：通过对比不同房间照片中门或者开放空间图像信息，对各个房间进行连接，得到的各个房间的空间位置及朝向信息；通过标记了的门或者开放空间，对比照片中透过门或者开放空间的画面，在彼此的照片中获取相匹配的画面，找到相同的门或者开放空间，将具有相同的门或者开放空间的房间连接起来；将所有房间互相串联起来后，计算连接房间的位置和朝向，选取一个房间设为已连接房间，遍历该房间的门，寻找未连接的房间，通过当前已连接房间的位置和朝向，结合连接两个房间的门或开放空间的位置和朝向，计算出未连接的房间的位置和朝向，然后将未连接房间标记为已连接房间；继续寻找未连接的房间，直到没有未连接房间为止，完成所有房间的连接。
上述的基于拍照重建三维空间场景的方法，其中，还包括步骤S6：通过S3收集到的点坐标信息对照片进行分割，获得房间纹理贴图获得房间纹理：先将每个面设定为一个多边形，顶点信息为一组三维坐标，通过顶点坐标的外包矩形来计算贴图的大小；遍历图片像素点，获取每个像素点对应在多边形上的空间坐标点位置；遍历所有像素点，完成单个面纹理贴图；依次完成房间所有面的纹理贴图。
上述的基于拍照重建三维空间场景的方法，其中，还包括步骤S7：通过步骤S3中标记系统获取的房间的模型，忽略高度信息，得到单个房间的二维轮廓；根据在步骤S5中得到的各个房间的位置坐标和朝向信息，设置每个房间轮廓的位置和朝向，完成二维平面图的生成。
上述的基于拍照重建三维空间场景的方法，其中，所述照片的拍摄设备包括带鱼眼镜头的手机、全景相机、带鱼眼镜头的相机、普通手机和普通数码相机。
本发明对比现有技术有如下的有益效果：本发明提出的基于拍照重建三维空间场景的方法，还原场景的三维空间模型，同时包含纹理信息和尺寸信息且不丢失细节，不会因为扫描不全导致模型破洞，不会因为家具、内饰等对模型产生严重干扰；能够快速方便地对三维空间场景进行编辑修改，又能同时生成带尺寸信息且不失真的二维平面图；支持拍摄方式广泛，包括但不限于手机鱼眼镜头、全景相机、带鱼眼镜头的相机，以及普通手机和普通数码相机，成本低廉。
附图说明
图1是本发明实施例中的基于拍照重建三维空间场景的方法的流程图；
图2是本发明实施例中确定平面的示意图；
图3是本发明实施例中的查找平面上的三条垂直相交墙线来确定第一个平面的示意图；
图4是本发明实施例中的极坐标到直角坐标的转换示意图；
图5是本发明实施例中的查找平面四个墙角来确定第一个平面的示意图；
图6是本发明实施例中的记录相关点推算出相机镜头在平面的投影点来确定第一个平面的示意图；
图7是本发明实施例中垂直矫正的示意图；
图8是本发明实施例中的标记房间空间结构添加凹凸墙结构的示意图；
图9是本发明实施例中的标记房间空间结构添加自由标点来任意扩展墙体的示意图；
图10a是本发明实施例中的由相机看向墙角的侧视图；
图10b是本发明实施例中的由相机看向墙角的顶视图；
图11是本发明实施例中的在地面上摆放已知长度的标尺推算轮廓尺寸的示意图；
图12是本发明实施例中的与地面成一定角度摆放已知长度的标尺推算轮廓尺寸的示意图。
具体实施方式
为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
图1是本发明的基于拍照重建三维空间场景的方法的流程图。
请参见图1，本发明提供的基于拍照重建三维空间场景的方法，包括以下步骤：S1：导入所有空间的照片，对每个空间导入在同一个拍摄点拍摄的包含空间主要特征的一组照片，将照片按照拍摄时的方向和视角对应于三维空间，使得从三维空间的相机位置观看时，每个像素的观看方向与拍摄时一致；S2：将房间视为多个平面的集合，先确定第一个平面，再通过平面间相互关系和平面间的交线，逐一确定所有平面；S3：通过标记系统标记房间空间结构，并获得尺寸信息；S4：通过S3收集到的点坐标信息建立房间的三维空间模型。
优选的，步骤S1还包括，将每个空间的照片合成360度全景图，然后将全景图对应于三维空间，使得从三维空间的相机位置观看时，每个像素的观看方向与拍摄时一致。
本发明提供的基于拍照重建三维空间场景的方法，步骤S2中，确定第一个平面方法包括：通过查找平面上的三条垂直相交墙线来确定一个平面或者查找平面四个墙角来确定一个平面。确定第一个平面方法还包括；通过记录相机镜头在平面的投影点来确定平面的位置或者记录相关点推算出相机镜头在平面的投影点来确定平面的位置。
由于照片对应于三维空间的原则，是维持每个像素与拍摄时方向一致，并未记录或提供一个像素到拍摄点(拍摄时镜头的位置)距离信息。建模的基本原理是把室内模型视为多个平面(包括地面，墙面和天花板)的集合，下墙角是三个平面的交点(地面和两个墙面)，上墙角是三个平面的交点(天花板和两个墙面)，墙线是两个平面(墙面)的交线。如果我们能够首先定位一个平面的位置，依靠在该平面上的墙角和线就能依次确定其他平面，直到复原所有平面完成建模。
请参见图2，如果能先确定地面S1，则可以通过已知墙面S2与地面S1垂直的关系，以及S1和S2的交线(墙线)L1，确定墙面S2。同理，可以继续通过墙线L2确定墙面S3以及空间内所有相互垂直墙面的位置。
具体的，方法a(相邻直角法)：通过平面上的三条垂直相交线来确定平面，相邻直角法的前提是室内的墙面多数是由矩形构成。
请参见图3，P为相机镜头位置，P1P2P3及P2P3P4构成的角均为直角，则P1P2P3P4所在平面即可确定。图3中在照片中观测到一堵墙，P1、P2、P3和P4均在此墙面上。其中P2P3为该墙与地面垂直的边，P1P2为该墙与天花板的交线，P3P4为该墙与地面的交线。P1为墙与天花板交线上不同于P2的一点，P4为墙与地板交线上不同于P3的一点。四个点相对于观察点的坐标用极坐标表示为(rn，θn)，显然半径rn是未知数，另两个值可由观察得到。
请参见图4，由极坐标到直角坐标的转换定义为：
定义
则点Pn＝Mn·rn (3)
设线段向量Vmn＝Pn-Pm (4)
请参见图3，由于P1P2与P2P3垂直，可知两线段向量的点积为0：
V21·V32＝0 (5)
同理，由于P3P4与P2P3垂直可得
V43·V32＝0 (6)
又P1P2与P3P4平行，所以两向量的点积等于两向量的模的乘积
V21·V43＝||V21||·||V43|| (7)
将(5)(6)(7)展开，可得
V21·V32＝(P2-P1)·(P3-P2)＝(M2·r2-M1·r1)·(M3·r3-M2·r2)＝0 (8)
V32·V43＝(P3-P2)·(P4-P3)＝(M3·r3-M2·r2)·(M4·r4-M3·r3)＝0 (9)
我们有三个方程，但有4个未知数，故不能直接解上述方程组；但可假设r2为1，并求得其他三个点的r与r2的比值。这样求出的平面与相机位置
将r2＝1带入(8)，得到
定义Mn·Mm＝Wnm (12)
则可得
同理可得
将(12)(13)带入(10)，得到
将(14)两边同时平方再除以可以得到
这是一个关于r3的四次方程，解这个方程，可以求得r3的4个值。一元四次方程求根公式可以参考百度百科，在此不再详细展开。
https：//baike.baidu.com/item/％E4％B8％80％E5％85％83％E5％9B％9B％E6％AC％A1％E6％96％B9％E7％A8％8B％E6％B1％82％E6％A0％B9％E5％85％AC％E5％BC％8F/10721996？fr＝aladdin四次方程可以参考维基百科，在此不再详细展开。https://zh.wikipedia.org/wiki/％E5％9B％9B％E6％AC％A1％E6％96％B9％E7％A8％8B
r3的4个值中，只有正实数才有意义，但是可能存在多个正实数值。
确定其他平面也可以使用以上同样方法。为了在每个平面的多个可能性中找到正确的解，使用以下方法：使用相邻直角法确定第一个平面S1；使用以上平面的一个正实数解，可以确定平面S1的位置；选择一个相邻平面S2，使用相邻直角法确定该平面，并使用一个正实数解确定平面S2的位置；重复前一步骤逐次确定其它平面的位置，直至全部完成；如果某个平面找不到正实数解，或者与相邻平面的交线错误，则回溯到前一平面使用下一个正实数解，重复前面的步骤，确定所有平面。由于所有平面在空间中真实存在，所以通过以上方法能够确定所有平面的位置。以上假定每个平面均可找到两个相邻的直角。如果个别平面不满足两个相邻直角的条件，可以通过已确定位置的相邻平面以及与该相邻平面的交线来确定。如图2，假设S2垂直于S1，则S2可以根据S1的位置以及S1与S2的交线L1唯一确定。
具体的，方法b(矩形法)：通过假设一面墙是矩形，查找平面四个墙角来确定一个平面。在房间中，绝大多数墙面是矩形，所以很自然地使用矩形的4个顶点来确定墙面的位置。矩形法是相邻直角法的特例。
请参见图5，在矩形法中，线段P1P4必须与线段P2P3平行，而在相邻直角法中，P1可以是P1P2所在直线上任意一点；同样，P4也可以是P3P4所在直线上任意一点，矩形法的求解方式与相邻直角法类似，这里就不再描述。
具体的，方法c(投影法)：通过相机到平面的投影来确定平面。如果拍摄时，相机镜头到某个平面的投影被记录下来，就可以依此唯一地确定该平面的位置(已知或假设相机到该平面的距离)。
如图2中所示，相机位置与投影的连线垂直于地面S1。如果已知或假设相机高度，则地面位置得以确定。实际操作中，获取/记录投影点的方法有：把相机放在三脚架或支架上拍摄，三脚架/支架垂直与地面。三脚架/支架落在地面上的中心点即是投影点。或者把三脚架/支架抵住并垂直于墙面；三脚架/支架落在墙面上的中心点即是投影点；或者在投影点上做标记。确定其他平面时，使用投影法确定第一个平面S1，选择一个相邻平面S2，假设S2垂直于S1，则S2可以根据S1的位置以及S1与S2的交线L1唯一确定，使用同样方法依次确定所有平面。实际操作中，由于几乎所有墙面都与地面或天花板垂直，所以如果第一个平面是墙面，在以上步骤中选择地面或天花板作为第一个相邻平面，然后再依次确定所有墙面。
具体的，方法d(倾角投影法)：记录相关点推算出相机镜头在平面的投影点来确定平面的位置。该方法与投影法类似，不同的是记录的不是投影点，但是通过记录的点能够推算出投影点的位置。方法有：三脚架/支架放于地面(底座贴在地面)，但是并不垂直于地面；三脚架/支架抵住墙面(底座贴在墙面)，但是并不垂直于墙面。当三脚架/支架不垂直于平面时，在平面上的投影是一条线段。
请参见图6，P为相机镜头位置，P1为相机支架底座中心点，P2为平面上的投影点，支架P1P3在平面上的投影线为P1P2。如果已知：投影线相对于底座的方向(通过镜头方向与底座的相对关系，或者底座上与支架位置固定且预知关系的标记来确定)P1P2，根据已知支架的倾角P3P1P2，以及已知支架的高度或一个假设高度，可以计算出投影点P2的位置：由投影点P2，可以使用投影法确定所有平面。
优选的，进行步骤S2之前还包括：在照片上标记垂直矫正线，矫正照片拍摄时拍摄设备歪斜导致的图像倾斜；在照片中寻找垂直于照片地面的线作为垂直矫正线，或者寻找照片的水平线，画一条与照片中的水平线垂直的线作为垂直矫正线；以垂直矫正线为参照，旋转照片直到垂直矫正线与实际水平面垂直；获取不同方位的多条垂直线矫正线，完成垂直矫正。
请参见图7，垂直矫正时，将找到的线段的两个端点(包括通过水平线转化出来的垂直线段)投影到球面上，得到P1，P2，由于相机有倾斜，故球心O与P1，P2组成的平面与水平面H的夹角不是直角；取P1P2的中点为P，将P投影到H上得到P’,以球心O和P’的连线为轴，旋转照片，直到平面OP1P2与平面H垂直。
本发明提供的基于拍照重建三维空间场景的方法，步骤S3包括以下步骤：S31：将照片放置于一个高精度球体内，将相机的镜头位置设置在球体中央，然后在球体中心还原照片拍摄视角；S32：在球体中预置四个框架点，每个框架点包含上点和下点，拖动框架点使得每个点对应于实际房间空间中的墙角位置，形成房间的主体框架结构；或者依次标记各个下墙角的位置，形成地面轮廓，再结合垂直的墙线，找到对应的上墙角，标记出上墙角的位置，得到整个房间的基本轮廓；S33：通过已知的相机拍摄高度计算得到房间的高度，推算房间的轮廓尺寸；或者通过摆放已知长度的标尺，定位平面的轮廓尺寸，再推算房间的轮廓尺寸。
具体实施中，步骤S32可以采用多种方式标记房间空间结构及物体，其中一种标记方式(框架法)步骤如下：
请参见图8和图9，场景内预置在平面S1上设置4个框架点(P1,P2,P3和P4)构成一个矩形，可以改变矩形的长宽，但是必须维持矩形关系。每个框架点分别对应一个上框架点(P1a,P2a，P3a和P4a)，每对上下框架点的连线(如P1P1a)垂直于平面S1。移动每个下框架点到空间中的墙角位置。当房间形状为规则的长方体时，上下8个框架点就完全描述了长方体的所有平面，完成空间建模。
对于非长方体的房间，可通过添加凹凸墙结构的4个标点来快速扩展房间结构，如图8中P5,P6,P7和P8，通过调节凹凸墙的位置和深度来确定扩展的空间结构。由于多数墙体的凹凸结构仍然成矩形或直角关系(如图8中P5P6与P2P5垂直，P6P7分别与P5P6及P7P8垂直，P7P8与P8P3垂直)，这个方法可以有效地建模。
对于任意自由结构的墙体，可通过添加自由标点来任意扩展墙体结构。如图9中P7可以是平面S1上任意一点，P5P7与P2P5可以不垂直，P5P7与P7P8可以不垂直，P7P8与P8P3可以不垂直。
对于有墙角被物体遮挡的情况，一般会露出墙线当作参照物，可通过框架点与框架点之间的连线，来确定墙线的位置，对于一个墙角，当确定该墙角的垂直墙线与水平墙线时，即可确认该墙角的位置。如图8中，如果P4被遮挡，但是P1P4和P3P4部分可见，则仍然可以通过两线交点得出P4的位置。
两个标点之间组成一条标线，通过点击标线来对房间墙体进行扩展并添加各类房间的基本物体结构，比如门、开放空间、普通窗、飘窗、楼梯等。也可在墙面上添加基本物体结构。
对于复式结构，可通过添加楼梯和楼梯口，并连接两个楼层的楼梯口来串联上下楼层，多个楼层以此类推扩展。
通过上述标记步骤可得到一套基于标点的数据结构，该标点结构记录了房间墙体结构及主要房间物体(比如门、门洞、开放空间、普通窗、飘窗、楼梯)的空间信息，并以文本形式存储在本地。
具体实施中，步骤S32还可以通过在某一平面上标记出每个墙角的位置来形成该平面的轮廓，其他平面通过墙线和墙角再逐步确认，直到标记出所有平面形成房间轮廓(逐一标注墙角法)。以先标记地面为例，具体步骤如下：
依次在图中标记各个墙角的位置，使其形成一个完整的地面轮廓。因为地面已经给出了各个墙面的下墙角信息，且天花板平面轮廓一般与地面轮廓相同，再结合垂直的墙线，只要确认房间高度即可还原房间轮廓。选择其中一个下墙角，找到其对应的上墙角，标记出上墙角的位置，得到房间高度，最终得到整个房间的基本轮廓。如图8中在平面S1上标出P1,P2,P3,P4,P5,P6,P7和P8，就描述了S1的轮廓。然后从每个点拉出与S1的垂线，继而得出S2,S3及其他平面。
具体实施中，步骤S33确定尺寸的方法一：通过已知的相机拍摄高度计算得到房间的高度，推算房间的轮廓尺寸；
请参见图10a和图10b，墙角位置和房间高度的基本计算方法如下：
墙角的位置：已知相机高度h1，以及相机看向墙角P1的俯仰角φ1，则d＝tanφ1*h1，已知相机看向下墙角的方向角θ，通过顶视图可计算出墙角P1坐标(x,y,z)＝(d*sinθ，-h1，d*cosθ)。
房间高度：已知相机看向上墙角的俯仰角φ2，相机高度h1，上墙角P2与下墙角P1在同一垂线上，则h2＝d/tan(180–φ2)，房间高度h＝h1+h2。
具体实施中，步骤S33确定尺寸的方法二：通过摆放已知长度的标尺，定位某个平面(地面/墙面)的轮廓尺寸，再由此推断其他平面的轮廓尺寸。
请参见图11，在地面上放置标尺，由已知的标尺长度可以计算相机高度(到地面的距离)，后续与方法一相同。相机高度未知，假设相机高度为h，地面标尺R已知真实长度为Lr，而在坐标系中测量的长度为Lr’，且h，Lr’在同一坐标系内，单位相同，则相机真实高度h’＝Lr/Lr’*h。也可以紧贴某墙面放置标尺，可以计算相机到墙面距离，再由下墙角确定地面位置，后续与方法以相同；如图11，标尺R放在墙面s2上，其共同点在于，在知道定位的第一个平面的相对大小(大小为事先设定的任意默认正值)后，因为标尺在该平面上，所以能通过标尺在坐标系中测量到的长度Lr’与标尺在真实世界中的实际长度Lr计算比例，即比例r＝Lr/Lr’，表示坐标系中单位长度对应真实世界中的长度，若该平面中任意一条边在坐标系中的长度为L’，则真实长度L＝L’*r，因此可以知道坐标系中所有边的真实长度。
请参见图12，标尺不一定要紧贴地面或墙面。只要与某个平面形成固定的角度，也可以通过三角函数计算平面投影的长度，以此再确定该平面的位置。以地面为例，标尺为Pr1Pr2，已知Pr1Pr2真实长度，以及已知标尺与平面的固定夹角为θ，即∠Pr1，则先根据θ角以及标尺在地面的投影，确定Pr1Pr2’的真实长度为Lr；通过在坐标系中测量投影Pr1Pr2’的长度为Lr’，后续计算和上一方法相同，通过比例r＝Lr/Lr’来确定其他所有边的真实长度。
具体的，步骤S32中，需要标记的墙角被遮挡时，如果墙线可见，通过垂直与水平相交的两个墙线的交点来确定墙角的位置；如果墙的下墙角与墙线均被遮挡，而上墙角或墙线可见，先确定上平面和上墙角，然后将上墙角和下墙角的位置进行等比缩放，并保持下墙角的点在下平面上，从而确定墙角位置。
本发明提供的基于拍照重建三维空间场景的方法，还包括步骤S5：通过对比不同房间照片中门或者开放空间图像信息，对各个房间进行连接，得到的各个房间的空间位置及朝向信息；通过标记了的门或者开放空间，对比照片中透过门或者开放空间的画面，在彼此的照片中获取相匹配的画面，找到相同的门或者开放空间，将具有相同的门或者开放空间的房间连接起来；将所有房间互相串联起来后，计算连接房间的位置和朝向，选取一个房间设为已连接房间，遍历该房间的门，寻找未连接的房间，通过当前已连接房间的位置和朝向，结合连接两个房间的门或开放空间的位置和朝向，计算出未连接的房间的位置和朝向，然后将未连接房间标记为已连接房间；继续寻找未连接的房间，直到没有未连接房间为止，完成所有房间的连接。
本发明提供的基于拍照重建三维空间场景的方法，还包括步骤S6：通过S3收集到的点坐标信息对照片进行分割，获得房间纹理贴图获得房间纹理：先将每个面设定为一个多边形，顶点信息为一组三维坐标，通过顶点坐标的外包矩形来计算贴图的大小；遍历图片像素点，获取每个像素点对应在多边形上的空间坐标点位置；遍历所有像素点，完成单个面纹理贴图；依次完成房间所有面的纹理贴图。
本发明提供的基于拍照重建三维空间场景的方法，还包括步骤S7：通过步骤S3中标记系统获取的房间的模型，忽略高度信息，得到单个房间的二维轮廓；根据在步骤S5中得到的各个房间的位置坐标和朝向信息，设置每个房间轮廓的位置和朝向，完成二维平面图的生成。
具体的，所述照片的拍摄设备包括鱼眼镜头的手机、全景相机、带鱼眼镜头的相机，以及普通手机和普通数码相机。
综上所述，本发明提出的基于拍照重建三维空间场景的方法，还原场景的三维空间模型，同时包含纹理信息和尺寸信息且不丢失细节，不会因为扫描不全导致模型破洞，不会因为家具、内饰等对模型产生严重干扰；能够快速方便地对三维空间场景进行编辑修改，又能同时生成带尺寸信息且不失真的二维平面图；支持拍摄方式广泛，包括但不限于手机鱼眼镜头、全景相机、带鱼眼镜头的相机，以及普通手机和普通数码相机，成本低廉。
虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的修改和完善，因此本发明的保护范围当以权利要求书所界定的为准。

Claims (12)

1.一种基于拍照重建三维空间场景的方法，其特征在于，包括以下步骤：
S1：导入所有空间的照片，对每个空间导入在同一个拍摄点拍摄的包含空间主要特征的一组照片，将照片按照拍摄时的方向和视角对应于三维空间，使得从三维空间的相机位置观看时，每个像素的观看方向与拍摄时一致；
S2：将房间视为多个平面的集合，先确定第一个平面，再通过平面间相互关系和平面间的交线，逐一确定所有平面；
S3：通过标记系统标记房间空间结构，并获得尺寸信息；
S4：通过S3收集到的点坐标信息建立房间的三维空间模型。
2.根据权利要求1所述的基于拍照重建三维空间场景的方法，其特征在于，所述步骤S1还包括，将每个空间的照片合成360度全景图，然后将全景图对应于三维空间，使得从三维空间的相机位置观看时，每个像素的观看方向与拍摄时一致。
3.根据权利要求1所述的基于拍照重建三维空间场景的方法，其特征在于，所述步骤S2中，确定第一个平面方法包括：通过查找平面上的三条垂直相交墙线来确定一个平面或者查找平面四个墙角来确定一个平面。
4.根据权利要求1所述的基于拍照重建三维空间场景的方法，其特征在于，所述步骤S2中，确定第一个平面方法还包括：通过记录相机镜头在平面的投影点来确定平面的位置或者记录相关点推算出相机镜头在平面的投影点来确定平面的位置。
5.根据权利要求1所述的基于拍照重建三维空间场景的方法，其特征在于，所述步骤S2之前还包括：在照片上标记垂直矫正线，矫正照片拍摄时拍摄设备歪斜导致的图像倾斜；在照片中寻找垂直于照片地面的线作为垂直矫正线，或者寻找照片的水平线，画一条与照片中的水平线垂直的线作为垂直矫正线；以垂直矫正线为参照，旋转照片直到垂直矫正线与实际水平面垂直；获取不同方位的多条垂直线矫正线，完成垂直矫正。
6.根据权利要求1所述的基于拍照重建三维空间场景的方法，其特征在于，所述步骤S3包括以下步骤：
S31：将照片放置于一个高精度球体内，将相机的镜头位置设置在球体中央，然后在球体中心还原照片拍摄视角；
S32：在球体中预置四个框架点，每个框架点包含上点和下点，拖动框架点使得每个点对应于实际房间空间中的墙角位置，形成房间的主体框架结构；或者依次标记各个下墙角的位置，形成地面轮廓，再结合垂直的墙线，找到对应的上墙角，标记出上墙角的位置，得到整个房间的基本轮廓；
S33：通过已知的相机拍摄高度计算得到房间的高度，推算房间的轮廓尺寸；或者通过摆放已知长度的标尺，定位平面的轮廓尺寸，再推算房间的轮廓尺寸。
7.根据权利要求6所述的基于拍照重建三维空间场景的方法，其特征在于，步骤S32中，需要标记的墙角被遮挡时，如果墙线可见，通过垂直与水平相交的两个墙线的交点来确定墙角的位置；如果墙的下墙角与墙线均被遮挡，而上墙角或墙线可见，先确定上平面和上墙角，然后将上墙角和下墙角的位置进行等比缩放，并保持下墙角的点在下平面上，从而确定墙角位置。
8.根据权利要求6所述的基于拍照重建三维空间场景的方法，其特征在于，步骤S32还包括，对房间内物体添加标点，并将两个标点组成一条标线，对房间墙体进行扩展并添加房间的基本物体结构，所述基本物体包括门、开放空间、普通窗、飘窗、楼梯；对于非矩形的房间，添加凹凸墙结构的标点扩展房间结构，通过调节凹凸墙的位置和深度来确定扩展的空间结构；对于任意自由结构的墙体，添加自由标点来任意扩展墙体结构；对于复式结构，添加楼梯和楼梯口结构的标点，并连接两个楼层的楼梯口来串联上下楼层，扩展楼梯结构；步骤S33还包括，已知相机镜头高度或者摆放已知长度的标尺，通过对房间内物体的标记，得到真实世界中的尺寸和在模型中的尺寸的计算比例，然后对整个模型进行等比缩放，计算得到房间内物体真实尺寸。
9.根据权利要求8所述的基于拍照重建三维空间场景的方法，其特征在于，还包括步骤S5：通过对比不同房间照片中门或者开放空间图像信息，对各个房间进行连接，得到的各个房间的空间位置及朝向信息；通过标记了的门或者开放空间，对比照片中透过门或者开放空间的画面，在彼此的照片中获取相匹配的画面，找到相同的门或者开放空间，将具有相同的门或者开放空间的房间连接起来；将所有房间互相串联起来后，计算连接房间的位置和朝向，选取一个房间设为已连接房间，遍历该房间的门，寻找未连接的房间，通过当前已连接房间的位置和朝向，结合连接两个房间的门或开放空间的位置和朝向，计算出未连接的房间的位置和朝向，然后将未连接房间标记为已连接房间；继续寻找未连接的房间，直到没有未连接房间为止，完成所有房间的连接。
10.根据权利要求1所述的基于拍照重建三维空间场景的方法，其特征在于，还包括步骤S6：通过S3收集到的点坐标信息对照片进行分割，获得房间纹理贴图获得房间纹理：先将每个面设定为一个多边形，顶点信息为一组三维坐标，通过顶点坐标的外包矩形来计算贴图的大小；遍历图片像素点，获取每个像素点对应在多边形上的空间坐标点位置；遍历所有像素点，完成单个面纹理贴图；依次完成房间所有面的纹理贴图。
11.根据权利要求9所述的基于拍照重建三维空间场景的方法，其特征在于，还包括步骤S7：通过步骤S3中标记系统获取的房间的模型，忽略高度信息，得到单个房间的二维轮廓；根据在步骤S5中得到的各个房间的位置坐标和朝向信息，设置每个房间轮廓的位置和朝向，完成二维平面图的生成。
12.根据权利要求1所述的基于拍照重建三维空间场景的方法，其特征在于，所述照片的拍摄设备包括带鱼眼镜头的手机、全景相机、带鱼眼镜头的相机、普通手机和普通数码相机。
CN201810717163.XA 2018-07-03 2018-07-03 一种基于拍照重建三维空间场景的方法 Active CN108961395B (zh)

Priority Applications (8)

Application Number Priority Date Filing Date Title
CN201810717163.XA CN108961395B (zh) 2018-07-03 2018-07-03 一种基于拍照重建三维空间场景的方法
KR1020207035296A KR20210008400A (ko) 2018-07-03 2018-10-30 촬영을 기반으로 3차원 공간 장면을 재구성하는 방법
CA3103844A CA3103844C (en) 2018-07-03 2018-10-30 Method for reconstructing three-dimensional space scene based on photographing
CN201880066029.6A CN111247561B (zh) 2018-07-03 2018-10-30 一种基于拍照重建三维空间场景的方法
JP2021520260A JP7162933B2 (ja) 2018-07-03 2018-10-30 オブジェクトの内部空間モデルを確立するための方法、装置及びシステム、並びに、コンピュータ装置及びコンピュータ可読記憶媒体
PCT/CN2018/112554 WO2020006941A1 (zh) 2018-07-03 2018-10-30 一种基于拍照重建三维空间场景的方法
GB2018574.0A GB2588030B (en) 2018-07-03 2018-10-30 Method for reconstructing three-dimensional space scene based on photographing
US16/588,111 US11200734B2 (en) 2018-07-03 2019-09-30 Method for reconstructing three-dimensional space scene based on photographing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810717163.XA CN108961395B (zh) 2018-07-03 2018-07-03 一种基于拍照重建三维空间场景的方法

Publications (2)

Publication Number Publication Date
CN108961395A true CN108961395A (zh) 2018-12-07
CN108961395B CN108961395B (zh) 2019-07-30

Family

ID=64485147

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810717163.XA Active CN108961395B (zh) 2018-07-03 2018-07-03 一种基于拍照重建三维空间场景的方法
CN201880066029.6A Active CN111247561B (zh) 2018-07-03 2018-10-30 一种基于拍照重建三维空间场景的方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201880066029.6A Active CN111247561B (zh) 2018-07-03 2018-10-30 一种基于拍照重建三维空间场景的方法

Country Status (7)

Country Link
US (1) US11200734B2 (zh)
JP (1) JP7162933B2 (zh)
KR (1) KR20210008400A (zh)
CN (2) CN108961395B (zh)
CA (1) CA3103844C (zh)
GB (1) GB2588030B (zh)
WO (1) WO2020006941A1 (zh)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109698951A (zh) * 2018-12-13 2019-04-30 潍坊歌尔电子有限公司 立体图像重现方法、装置、设备和存储介质
CN110209864A (zh) * 2019-05-22 2019-09-06 刘鹏 三维立体模型测量改尺标注重新建模的网络平台系统
CN110209001A (zh) * 2019-06-04 2019-09-06 上海亦我信息技术有限公司 一种用于3d建模的三脚支架及相机拍摄姿态识别方法
CN110490967A (zh) * 2019-04-12 2019-11-22 北京城市网邻信息技术有限公司 图像处理和对象建模方法与设备、图像处理装置及介质
CN110633628A (zh) * 2019-08-02 2019-12-31 杭州电子科技大学 基于人工神经网络的rgb图像场景三维模型重建方法
CN110769240A (zh) * 2019-08-23 2020-02-07 上海亦我信息技术有限公司 基于拍照的3d建模系统及方法、自动3d建模装置及方法
CN111079619A (zh) * 2019-12-10 2020-04-28 北京百度网讯科技有限公司 用于检测图像中的目标对象的方法和装置
CN111127655A (zh) * 2019-12-18 2020-05-08 北京城市网邻信息技术有限公司 房屋户型图的构建方法及构建装置、存储介质
CN111145294A (zh) * 2019-12-18 2020-05-12 北京城市网邻信息技术有限公司 二维户型图构建方法及装置、存储介质
CN111210512A (zh) * 2020-04-17 2020-05-29 中联重科股份有限公司 物体的三维抽象模型建立方法、装置、存储介质和处理器
CN111207672A (zh) * 2019-12-31 2020-05-29 上海简家信息技术有限公司 一种ar量房方法
CN111210028A (zh) * 2019-12-05 2020-05-29 万翼科技有限公司 房间模型核查方法、装置、计算机设备和存储介质
CN111223177A (zh) * 2019-12-18 2020-06-02 北京城市网邻信息技术有限公司 三维空间的三维模型的构建方法和装置、存储介质
CN111325662A (zh) * 2020-02-21 2020-06-23 广州引力波信息科技有限公司 一种基于球面投影全景图生成3d空间户型模型的方法
CN111433809A (zh) * 2020-01-17 2020-07-17 上海亦我信息技术有限公司 行进路线及空间模型生成方法、装置、系统
CN111583417A (zh) * 2020-05-12 2020-08-25 北京航空航天大学 一种图像语义和场景几何联合约束的室内vr场景构建的方法、装置、电子设备和介质
CN111698424A (zh) * 2020-06-22 2020-09-22 四川易热科技有限公司 一种通过普通相机补全实景漫游3d信息的方法
WO2020207512A1 (zh) * 2019-04-12 2020-10-15 北京城市网邻信息技术有限公司 三维对象建模方法、图像处理方法、图像处理装置
CN111830966A (zh) * 2020-06-04 2020-10-27 深圳市无限动力发展有限公司 角落识别和清扫方法、装置及存储介质
CN111861882A (zh) * 2019-04-12 2020-10-30 北京城市网邻信息技术有限公司 图像处理和三维对象建模方法与设备、图像处理装置及介质
CN111951388A (zh) * 2020-08-14 2020-11-17 广东申义实业投资有限公司 室内装修设计用图像拍摄处理装置及图像拍摄处理方法
CN112365569A (zh) * 2020-10-22 2021-02-12 北京五八信息技术有限公司 房源三维场景的展示方法、装置、电子设备和存储介质
CN112712584A (zh) * 2019-10-25 2021-04-27 阿里巴巴集团控股有限公司 墙线确定方法以及空间建模方法、装置、设备
CN112950759A (zh) * 2021-01-28 2021-06-11 北京房江湖科技有限公司 基于房屋全景图的三维房屋模型构建方法及装置
GB2591857A (en) * 2019-08-23 2021-08-11 Shang Hai Yiwo Information Tech Co Ltd Photographing-based 3D modeling system and method, and automatic 3D modeling apparatus and method
CN113324473A (zh) * 2021-04-30 2021-08-31 螳螂慧视科技有限公司 房屋测量方法与测量设备
CN113920144A (zh) * 2021-09-30 2022-01-11 广东省国土资源测绘院 一种实景照片地面视域分析方法及系统
CN114092642A (zh) * 2021-11-18 2022-02-25 北京字节跳动网络技术有限公司 一种三维户型模型生成方法、装置及设备
CN114494487A (zh) * 2021-12-30 2022-05-13 北京城市网邻信息技术有限公司 基于全景图语义拼接的户型图生成方法、设备及存储介质
CN114792357A (zh) * 2022-03-23 2022-07-26 北京城市网邻信息技术有限公司 全景图资源生成方法、装置、电子设备及存储介质

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020102772A1 (en) * 2018-11-15 2020-05-22 Qualcomm Incorporated Coordinate estimation on n-spheres with spherical regression
JP2022539160A (ja) * 2019-07-03 2022-09-07 マジック リープ， インコーポレイテッド 平面抽出を使用した単純環境ソルバ
CN111508067B (zh) * 2020-04-15 2024-01-30 中国人民解放军国防科技大学 一种基于垂直平面和垂直线的轻量级室内建模方法
CN111859510A (zh) * 2020-07-28 2020-10-30 苏州金螳螂三维软件有限公司 房间快速换装方法、智能终端
CN112055192B (zh) * 2020-08-04 2022-10-11 北京城市网邻信息技术有限公司 图像处理方法、图像处理装置、电子设备及存储介质
US11699001B2 (en) * 2020-10-13 2023-07-11 Flyreel, Inc. Generating measurements of physical structures and environments through automated analysis of sensor data
CN112493228B (zh) * 2020-10-28 2021-12-14 河海大学 一种基于三维信息估算的激光驱鸟方法及系统
CN112233229B (zh) * 2020-10-29 2023-07-28 字节跳动有限公司 地标数据的采集方法及地标建筑的建模方法
CN112270758B (zh) * 2020-10-29 2022-10-14 山东科技大学 一种基于天花板点云分割的建筑物房间轮廓线提取方法
CN112465947B (zh) * 2020-11-18 2024-04-23 李刚 影像的虚拟空间建立方法及系统
CN112683221B (zh) * 2020-12-21 2022-05-17 深圳集智数字科技有限公司 一种建筑检测方法和相关装置
KR102321704B1 (ko) * 2020-12-29 2021-11-05 고려대학교 산학협력단 인접 평면 정보를 이용한 3차원 공간 모델 생성 방법 및 장치
TWI784754B (zh) * 2021-04-16 2022-11-21 威盛電子股份有限公司 電子裝置以及物件偵測方法
US11670045B2 (en) * 2021-05-07 2023-06-06 Tencent America LLC Method and apparatus for constructing a 3D geometry
CN113487723B (zh) * 2021-06-23 2023-04-18 武汉微景易绘科技有限公司 基于可量测全景三维模型的房屋在线展示方法及系统
CN113379901A (zh) * 2021-06-23 2021-09-10 武汉大学 利用大众自拍全景数据建立房屋实景三维的方法及系统
CN113593052B (zh) * 2021-08-06 2022-04-29 贝壳找房(北京)科技有限公司 场景朝向确定方法及标记方法
US11961181B2 (en) * 2021-09-23 2024-04-16 Msg Entertainment Group, Llc Three-dimensional image space transformation
CN113689482B (zh) * 2021-10-20 2021-12-21 贝壳技术有限公司 拍摄点推荐方法、装置及存储介质
CN113822994B (zh) * 2021-11-24 2022-02-15 深圳普罗米修斯视觉技术有限公司 三维模型构建方法、装置及存储介质
WO2023163500A1 (en) * 2022-02-28 2023-08-31 Samsung Electronics Co., Ltd. Floorplan-aware camera pose refinement method and system
CN114663618B (zh) * 2022-03-03 2022-11-29 北京城市网邻信息技术有限公司 三维重建及校正方法、装置、设备及存储介质
CN114529686B (zh) * 2022-04-21 2022-08-02 三一筑工科技股份有限公司 建筑模型的生成方法、装置、设备及介质
EP4300410A1 (en) * 2022-06-29 2024-01-03 Axis AB Self-learning image geometrical distortion correction
CN115330943B (zh) * 2022-08-11 2023-03-28 北京城市网邻信息技术有限公司 多层空间三维建模方法、装置、设备和存储介质
CN116071490B (zh) * 2022-10-25 2023-06-23 杭州华橙软件技术有限公司 室内空间布局的重构方法及重构装置、电子设备和介质
CN117689846B (zh) * 2024-02-02 2024-04-12 武汉大学 线状目标的无人机摄影重建多交向视点生成方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955960A (zh) * 2014-03-21 2014-07-30 南京大学 一种基于单幅输入图像的图像视点变换方法
CN105279787A (zh) * 2015-04-03 2016-01-27 北京明兰网络科技有限公司 基于拍照的户型图识别生成三维房型的方法
US20160042521A1 (en) * 2013-03-15 2016-02-11 URC Ventures, Inc. Determining object volume from mobile device images
CN107248193A (zh) * 2017-05-22 2017-10-13 北京红马传媒文化发展有限公司 二维平面与虚拟现实场景进行切换的方法、系统及装置
CN107798725A (zh) * 2017-09-04 2018-03-13 华南理工大学 基于Android的二维住房户型识别和三维呈现方法
CN108053473A (zh) * 2017-12-29 2018-05-18 北京领航视觉科技有限公司 一种室内三维模型数据的处理方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4119529B2 (ja) 1998-06-17 2008-07-16 オリンパス株式会社 仮想環境生成方法および装置、並びに仮想環境生成プログラムを記録した記録媒体
JP2000076453A (ja) 1998-08-28 2000-03-14 Kazuhiro Shiina 立体データ作成方法及び装置
FR2787612B1 (fr) * 1998-12-21 2001-03-09 Eastman Kodak Co Procede de construction d'un modele a faces pratiquement planes
JP2003006680A (ja) * 2001-06-20 2003-01-10 Zenrin Co Ltd ３次元電子地図データの生成方法
WO2009006605A2 (en) * 2007-07-03 2009-01-08 Pivotal Vision, Llc Motion-validating remote monitoring system
US8350850B2 (en) * 2008-03-31 2013-01-08 Microsoft Corporation Using photo collections for three dimensional modeling
US8737721B2 (en) * 2008-05-07 2014-05-27 Microsoft Corporation Procedural authoring
CN100580371C (zh) * 2008-05-16 2010-01-13 南京师范大学 基于空间直角关系的建筑物单影像三维测量方法
US9025861B2 (en) * 2013-04-09 2015-05-05 Google Inc. System and method for floorplan reconstruction and three-dimensional modeling
US9595134B2 (en) * 2013-05-11 2017-03-14 Mitsubishi Electric Research Laboratories, Inc. Method for reconstructing 3D scenes from 2D images
EP3007129A4 (en) * 2013-05-31 2016-07-27 Panasonic Ip Man Co Ltd MODELING DEVICE, THREE-DIMENSIONAL MODEL GENERATION DEVICE, MODELING METHOD, PROGRAM AND LAYOUT SIMULATOR
US9830681B2 (en) * 2014-01-31 2017-11-28 Hover Inc. Multi-dimensional model dimensioning and scale error correction
CA2938973A1 (en) * 2014-02-08 2015-08-13 Pictometry International Corp. Method and system for displaying room interiors on a floor plan
CN104240289B (zh) * 2014-07-16 2017-05-03 崔岩 一种基于单个相机的三维数字化重建方法及系统
CN104202890B (zh) * 2014-09-24 2016-10-05 北京极澈远技术有限公司 照明设备的待机电路和照明设备的工作电路
CN104851127B (zh) * 2015-05-15 2017-07-04 北京理工大学深圳研究院 一种基于交互的建筑物点云模型纹理映射方法及装置
CN105205858B (zh) * 2015-09-18 2018-04-13 天津理工大学 一种基于单个深度视觉传感器的室内场景三维重建方法
WO2017203709A1 (ja) 2016-05-27 2017-11-30 楽天株式会社 ３次元モデル生成システム、３次元モデル生成方法、及びプログラム
CN106485785B (zh) * 2016-09-30 2023-09-26 李娜 一种基于室内三维建模和定位的场景生成方法及系统
CN106780421A (zh) * 2016-12-15 2017-05-31 苏州酷外文化传媒有限公司 基于全景平台的装修效果展示方法
US10572970B2 (en) * 2017-04-28 2020-02-25 Google Llc Extracting 2D floor plan from 3D GRID representation of interior space
CN107393003B (zh) * 2017-08-07 2020-12-04 苍穹数码技术股份有限公司 一种基于云计算的三维房屋自动建模的方法与实现
CN107978017B (zh) * 2017-10-17 2020-05-12 厦门大学 基于框线提取的室内结构快速建模方法
US10445913B2 (en) * 2018-03-05 2019-10-15 Faro Technologies, Inc. System and method of scanning and editing two dimensional floorplans
US11055532B2 (en) * 2018-05-02 2021-07-06 Faro Technologies, Inc. System and method of representing and tracking time-based information in two-dimensional building documentation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160042521A1 (en) * 2013-03-15 2016-02-11 URC Ventures, Inc. Determining object volume from mobile device images
CN103955960A (zh) * 2014-03-21 2014-07-30 南京大学 一种基于单幅输入图像的图像视点变换方法
CN105279787A (zh) * 2015-04-03 2016-01-27 北京明兰网络科技有限公司 基于拍照的户型图识别生成三维房型的方法
CN107248193A (zh) * 2017-05-22 2017-10-13 北京红马传媒文化发展有限公司 二维平面与虚拟现实场景进行切换的方法、系统及装置
CN107798725A (zh) * 2017-09-04 2018-03-13 华南理工大学 基于Android的二维住房户型识别和三维呈现方法
CN108053473A (zh) * 2017-12-29 2018-05-18 北京领航视觉科技有限公司 一种室内三维模型数据的处理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YUEQI ZHONG: "A photo based 3D garment making system for educational purpose in style reconstruction and evaluation", 《2011 6TH INTERNATIONAL CONFERENCE ON COMPUTER SCIENCE & EDUCATION (ICCSE) IN IEEE》 *
马骁: "基于机器视觉的拍照式三维扫描系统", 《中国优秀硕士论文全文数据库 信息科技辑》 *

Cited By (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109698951B (zh) * 2018-12-13 2021-08-24 歌尔光学科技有限公司 立体图像重现方法、装置、设备和存储介质
CN109698951A (zh) * 2018-12-13 2019-04-30 潍坊歌尔电子有限公司 立体图像重现方法、装置、设备和存储介质
WO2020207512A1 (zh) * 2019-04-12 2020-10-15 北京城市网邻信息技术有限公司 三维对象建模方法、图像处理方法、图像处理装置
US11869148B2 (en) 2019-04-12 2024-01-09 Beijing Chengshi Wanglin Information Technology Co., Ltd. Three-dimensional object modeling method, image processing method, image processing device
CN110490967B (zh) * 2019-04-12 2020-07-17 北京城市网邻信息技术有限公司 图像处理和对象建模方法与设备、图像处理装置及介质
JP2022527143A (ja) * 2019-04-12 2022-05-30 ベイジン チェンシ ワングリン インフォメーション テクノロジー カンパニー リミテッド ３次元オブジェクトモデリング方法、画像処理方法、画像処理装置
CN111861882B (zh) * 2019-04-12 2021-10-19 北京城市网邻信息技术有限公司 图像处理和三维对象建模方法与设备、图像处理装置及介质
EP3955213A4 (en) * 2019-04-12 2023-09-27 Beijing Chengshi Wanglin Information Technology Co., Ltd. METHOD FOR MODELING A THREE-DIMENSIONAL OBJECT, IMAGE PROCESSING METHOD AND IMAGE PROCESSING DEVICE
AU2020256662B2 (en) * 2019-04-12 2023-05-18 Beijing Chengshi Wanglin Information Technology Co., Ltd. Three-dimensional object modeling method, image processing method, and image processing device
CN110490967A (zh) * 2019-04-12 2019-11-22 北京城市网邻信息技术有限公司 图像处理和对象建模方法与设备、图像处理装置及介质
CN111861882A (zh) * 2019-04-12 2020-10-30 北京城市网邻信息技术有限公司 图像处理和三维对象建模方法与设备、图像处理装置及介质
JP7311204B2 (ja) 2019-04-12 2023-07-19 ベイジン チェンシ ワングリン インフォメーション テクノロジー カンパニー リミテッド ３次元オブジェクトモデリング方法、画像処理方法、画像処理装置
CN110209864A (zh) * 2019-05-22 2019-09-06 刘鹏 三维立体模型测量改尺标注重新建模的网络平台系统
CN110209864B (zh) * 2019-05-22 2023-10-27 刘鹏 三维立体模型测量改尺标注重新建模的网络平台系统
CN110209001A (zh) * 2019-06-04 2019-09-06 上海亦我信息技术有限公司 一种用于3d建模的三脚支架及相机拍摄姿态识别方法
CN110633628B (zh) * 2019-08-02 2022-05-06 杭州电子科技大学 基于人工神经网络的rgb图像场景三维模型重建方法
CN110633628A (zh) * 2019-08-02 2019-12-31 杭州电子科技大学 基于人工神经网络的rgb图像场景三维模型重建方法
KR102580961B1 (ko) * 2019-08-23 2023-09-20 상 하이 이워 인포메이션 테크놀로지 컴퍼니 리미티드 촬영을 기반으로 하는 3d 모델링 시스템 및 방법, 자동 3d 모델링 장치 및 방법
US11557083B2 (en) * 2019-08-23 2023-01-17 Shanghai Yiwo Information Technology Co., Ltd. Photography-based 3D modeling system and method, and automatic 3D modeling apparatus and method
CN110769240A (zh) * 2019-08-23 2020-02-07 上海亦我信息技术有限公司 基于拍照的3d建模系统及方法、自动3d建模装置及方法
JP2022501684A (ja) * 2019-08-23 2022-01-06 上海亦我信息技術有限公司 撮影に基づく３ｄモデリングシステムおよび方法、自動３ｄモデリング装置および方法
GB2591857B (en) * 2019-08-23 2023-12-06 Shang Hai Yiwo Information Tech Co Ltd Photography-based 3D modeling system and method, and automatic 3D modeling apparatus and method
GB2591857A (en) * 2019-08-23 2021-08-11 Shang Hai Yiwo Information Tech Co Ltd Photographing-based 3D modeling system and method, and automatic 3D modeling apparatus and method
JP7223449B2 (ja) 2019-08-23 2023-02-16 上海亦我信息技術有限公司 撮影に基づく３ｄモデリングシステム
KR20210064115A (ko) * 2019-08-23 2021-06-02 상 하이 이워 인포메이션 테크놀로지 컴퍼니 리미티드 촬영을 기반으로 하는 3d 모델링 시스템 및 방법, 자동 3d 모델링 장치 및 방법
WO2021036353A1 (zh) * 2019-08-23 2021-03-04 上海亦我信息技术有限公司 基于拍照的3d建模系统及方法、自动3d建模装置及方法
CN112712584A (zh) * 2019-10-25 2021-04-27 阿里巴巴集团控股有限公司 墙线确定方法以及空间建模方法、装置、设备
CN111210028B (zh) * 2019-12-05 2022-12-02 万翼科技有限公司 房间模型核查方法、装置、计算机设备和存储介质
CN111210028A (zh) * 2019-12-05 2020-05-29 万翼科技有限公司 房间模型核查方法、装置、计算机设备和存储介质
CN111079619A (zh) * 2019-12-10 2020-04-28 北京百度网讯科技有限公司 用于检测图像中的目标对象的方法和装置
CN111079619B (zh) * 2019-12-10 2023-04-18 北京百度网讯科技有限公司 用于检测图像中的目标对象的方法和装置
CN113240769A (zh) * 2019-12-18 2021-08-10 北京城市网邻信息技术有限公司 空间链接关系识别方法及装置、存储介质
CN111127655A (zh) * 2019-12-18 2020-05-08 北京城市网邻信息技术有限公司 房屋户型图的构建方法及构建装置、存储介质
CN111145294A (zh) * 2019-12-18 2020-05-12 北京城市网邻信息技术有限公司 二维户型图构建方法及装置、存储介质
CN111223177B (zh) * 2019-12-18 2020-12-04 北京城市网邻信息技术有限公司 三维空间的三维模型的构建方法和装置、存储介质
CN111223177A (zh) * 2019-12-18 2020-06-02 北京城市网邻信息技术有限公司 三维空间的三维模型的构建方法和装置、存储介质
CN113240769B (zh) * 2019-12-18 2022-05-10 北京城市网邻信息技术有限公司 空间链接关系识别方法及装置、存储介质
CN111207672A (zh) * 2019-12-31 2020-05-29 上海简家信息技术有限公司 一种ar量房方法
CN111207672B (zh) * 2019-12-31 2021-08-17 上海简家信息技术有限公司 一种ar量房方法
CN111433809A (zh) * 2020-01-17 2020-07-17 上海亦我信息技术有限公司 行进路线及空间模型生成方法、装置、系统
CN111325662A (zh) * 2020-02-21 2020-06-23 广州引力波信息科技有限公司 一种基于球面投影全景图生成3d空间户型模型的方法
CN111210512A (zh) * 2020-04-17 2020-05-29 中联重科股份有限公司 物体的三维抽象模型建立方法、装置、存储介质和处理器
CN111210512B (zh) * 2020-04-17 2020-07-21 中联重科股份有限公司 物体的三维抽象模型建立方法、装置、存储介质和处理器
CN111583417B (zh) * 2020-05-12 2022-05-03 北京航空航天大学 一种图像语义和场景几何联合约束的室内vr场景构建的方法、装置、电子设备和介质
CN111583417A (zh) * 2020-05-12 2020-08-25 北京航空航天大学 一种图像语义和场景几何联合约束的室内vr场景构建的方法、装置、电子设备和介质
CN111830966B (zh) * 2020-06-04 2023-12-19 深圳市无限动力发展有限公司 角落识别和清扫方法、装置及存储介质
CN111830966A (zh) * 2020-06-04 2020-10-27 深圳市无限动力发展有限公司 角落识别和清扫方法、装置及存储介质
CN111698424A (zh) * 2020-06-22 2020-09-22 四川易热科技有限公司 一种通过普通相机补全实景漫游3d信息的方法
CN111951388A (zh) * 2020-08-14 2020-11-17 广东申义实业投资有限公司 室内装修设计用图像拍摄处理装置及图像拍摄处理方法
CN112365569A (zh) * 2020-10-22 2021-02-12 北京五八信息技术有限公司 房源三维场景的展示方法、装置、电子设备和存储介质
CN112950759A (zh) * 2021-01-28 2021-06-11 北京房江湖科技有限公司 基于房屋全景图的三维房屋模型构建方法及装置
CN113324473B (zh) * 2021-04-30 2023-09-15 螳螂慧视科技有限公司 房屋测量方法与测量设备
CN113324473A (zh) * 2021-04-30 2021-08-31 螳螂慧视科技有限公司 房屋测量方法与测量设备
CN113920144A (zh) * 2021-09-30 2022-01-11 广东省国土资源测绘院 一种实景照片地面视域分析方法及系统
CN114092642A (zh) * 2021-11-18 2022-02-25 北京字节跳动网络技术有限公司 一种三维户型模型生成方法、装置及设备
CN114092642B (zh) * 2021-11-18 2024-01-26 抖音视界有限公司 一种三维户型模型生成方法、装置及设备
CN114494487A (zh) * 2021-12-30 2022-05-13 北京城市网邻信息技术有限公司 基于全景图语义拼接的户型图生成方法、设备及存储介质
CN114792357A (zh) * 2022-03-23 2022-07-26 北京城市网邻信息技术有限公司 全景图资源生成方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
GB2588030B (en) 2023-03-29
US20200111250A1 (en) 2020-04-09
CN111247561A (zh) 2020-06-05
CN108961395B (zh) 2019-07-30
CA3103844A1 (en) 2020-01-09
US11200734B2 (en) 2021-12-14
WO2020006941A1 (zh) 2020-01-09
CN111247561B (zh) 2021-06-08
JP2021528794A (ja) 2021-10-21
JP7162933B2 (ja) 2022-10-31
GB2588030A (en) 2021-04-14
KR20210008400A (ko) 2021-01-21
GB202018574D0 (en) 2021-01-06
CA3103844C (en) 2023-10-31

Similar Documents

Publication Publication Date Title
CN108961395B (zh) 一种基于拍照重建三维空间场景的方法
Debevec et al. Modeling and rendering architecture from photographs: A hybrid geometry-and image-based approach
JP4804256B2 (ja) 情報処理方法
AU2011312140B2 (en) Rapid 3D modeling
CN110505463A (zh) 基于拍照的实时自动3d建模方法
JP5093053B2 (ja) 電子カメラ
JP2017227975A (ja) 複合現実環境を作成するためのシステム等
CN108629829B (zh) 一种球幕相机与深度相机结合的三维建模方法和系统
US20180182163A1 (en) 3d model generating system, 3d model generating method, and program
CN106920276A (zh) 一种三维重建方法和系统
CN113379901A (zh) 利用大众自拍全景数据建立房屋实景三维的方法及系统
CN106683163A (zh) 一种视频监控的成像方法及系统
WO2021238070A1 (zh) 三维图像的生成方法、装置及计算机设备
CN109685879A (zh) 多视影像纹理分布的确定方法、装置、设备和存储介质
CN107918948A (zh) 4d视频渲染方法
Gomez-Lahoz et al. Recovering traditions in the digital era: the use of blimps for modelling the archaeological cultural heritage
CN117237565A (zh) 基于高分辨率卫星立体影像的建筑物白模制作方法
CN106604016A (zh) 立体视频采集系统
CN108205820B (zh) 平面的重建方法、融合方法、装置、设备及存储介质
CN109064550A (zh) 一种人体扫描建模方法
KR101189167B1 (ko) 메타정보 없는 단일 영상에서 3차원 개체정보 추출방법
KR101421442B1 (ko) 입체카메라 촬영위치 추적방법 및 그 시스템
Louis et al. Rendering stereoscopic augmented reality scenes with occlusions using depth from stereo and texture mapping
Lai et al. Projective reconstruction of building shape from silhouette images acquired from uncalibrated cameras
Lhuillier From photogrammetric reconstruction to immersive VR environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant