CN111223177A - 三维空间的三维模型的构建方法和装置、存储介质 - Google Patents
三维空间的三维模型的构建方法和装置、存储介质 Download PDFInfo
- Publication number
- CN111223177A CN111223177A CN201911311608.5A CN201911311608A CN111223177A CN 111223177 A CN111223177 A CN 111223177A CN 201911311608 A CN201911311608 A CN 201911311608A CN 111223177 A CN111223177 A CN 111223177A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- projection
- space
- vertices
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
一种三维空间的三维模型的构建方法和装置、非暂时性存储介质。该构建方法包括:获取三维空间的二维全景图像以及三维空间的第一表面的四个顶点在二维全景图像的坐标系中的坐标;基于第一表面的四个顶点在二维全景图像的坐标系中的坐标将第一表面的四个顶点投影到三维投影空间中,以获得第一表面的四个顶点在三维投影空间中的四个第一投影点;对四个第一投影点进行共面校正,以基于四个第一投影点获得第一表面的四个顶点在三维投影空间中的四个第二投影点;基于四个第二投影点获取三维模型的第一表面的四个顶点;基于三维模型的第一表面的四个顶点以及三维空间在三维投影空间中投影的沿第一坐标轴的高度获取三维模型的第二表面的四个顶点。
Description
技术领域
本公开的实施例涉及一种三维空间的三维模型的构建方法、三维空间的三维模型的构建装置、非暂时性存储介质。
背景技术
随着显示技术和图像处理技术的快速发展,对使用显示器件显示场景 (三维空间)的三维空间图像的需求日益增长。可以使用三维空间的三维模型的构建方法基于三维空间的二维全景图像获取三维空间的三维模型,并在显示阶段,基于获取的三维空间的三维模型渲染场景的三维空间图像。
发明内容
本公开的至少一个实施例提供了一种三维空间的三维模型的构建方法,其包括:获取所述三维空间的二维全景图像以及所述三维空间的第一表面的四个顶点在所述二维全景图像的坐标系中的坐标,其中,所述第一表面为所述三维空间的平行于所述三维空间所在空间的水平面的两个表面中的一个;基于所述第一表面的四个顶点在所述二维全景图像的坐标系中的坐标将所述第一表面的四个顶点投影到三维投影空间中,以获得所述第一表面的四个顶点在所述三维投影空间中的四个第一投影点,其中,所述三维投影空间的坐标系的第一坐标轴对应于所述三维空间在所述三维投影空间中投影的高度方向;对所述四个第一投影点进行共面校正,以基于所述四个第一投影点获得所述第一表面的四个顶点在所述三维投影空间中的四个第二投影点,其中,所述四个第二投影点共面,所述四个第二投影点所在的平面与所述第一坐标轴垂直,且与所述三维投影空间的坐标系的坐标原点彼此间隔;基于所述四个第二投影点获取所述三维模型的第一表面的四个顶点,其中,所述三维模型的第一表面垂直于所述第一坐标轴;以及基于所述三维模型的第一表面的四个顶点以及所述三维空间在所述三维投影空间中投影的沿所述第一坐标轴的高度获取所述三维模型的第二表面的四个顶点,其中,所述三维模型的第一表面对应于所述三维空间的第一表面,所述三维模型的第二表面平行于所述三维模型的第一表面。
例如,在所述构建方法的至少一个示例中,将所述第一表面的四个顶点投影到所述三维投影空间中包括:将所述第一表面的四个顶点投影到位于所述三维投影空间中的投影参考面上。所述三维投影空间的坐标系的坐标原点与所述投影参考面形成的结构的中心重合。
例如,在所述构建方法的至少一个示例中,将所述第一表面的四个顶点投影到位于所述三维投影空间中的投影参考面上包括:基于等距柱状投影的逆过程将所述第一表面的四个顶点投影到位于所述三维投影空间中的投影参考面上;所述投影参考面为球面,所述三维投影空间的坐标系的坐标原点与所述球面形成的球体的球心重合;以及所述球面包括第一极和第二极,所述球面的经线以及所述第一坐标轴所在的直线均经过所述第一极和所述第二极。
例如,在所述构建方法的至少一个示例中,所述对所述四个第一投影点进行共面校正,以基于所述四个第一投影点获得所述第一表面的四个顶点在所述三维投影空间中的四个第二投影点包括:设定第一投影面;将所述四个第一投影点与所述三维投影空间的坐标系的坐标原点的连线与所述第一投影面的四个交点作为所述四个第二投影点。所述第一投影面平行于所述三维投影空间的坐标系的第一坐标面,所述第一坐标面垂直于所述第一坐标轴;以及所述第一投影面与所述三维投影空间的坐标系的坐标原点彼此间隔,且位于所述第一坐标面的靠近所述四个第一投影点的一侧。
例如,在所述构建方法的至少一个示例中,所述四个第二投影点形成的四边形为矩形;所述基于所述四个第二投影点获取所述三维模型的第一表面的四个顶点包括:将所述四个第二投影点作为所述三维模型的第一表面的四个顶点。
例如,在所述构建方法的至少一个示例中,所述三维模型的第一表面的四个顶点形成的四边形为矩形;所述基于所述四个第二投影点获取所述三维模型的第一表面的四个顶点包括:通过对所述四个第二投影点形成的四边形进行直角校正获取所述三维模型的第一表面的四个顶点。
例如,在所述构建方法的至少一个示例中,所述通过对所述四个第二投影点形成的四边形进行直角校正获取所述三维模型的第一表面的四个顶点包括:选取所述四个第二投影点中三个第二投影点;以及基于所述三个第二投影点获取所述三维模型的第一表面的四个顶点。
例如,在所述构建方法的至少一个示例中,所述选取所述四个第二投影点中三个第二投影点包括:获取所述第一表面的四个顶点在所述二维全景图像的坐标系中的坐标的置信度;至少基于所述第一表面的四个顶点在所述二维全景图像的坐标系中的坐标的置信度确定所述四个第二投影点的置信度;以及基于所述四个第二投影点的可信度选取所述四个第二投影点中可信度最高的三个第二投影点作为所述三个第二投影点。
例如,在所述构建方法的至少一个示例中,所述基于所述三个第二投影点获取所述三维模型的第一表面的四个顶点包括:基于所述三个第二投影点中获取第一校正点和第二校正点,并将所述置信度最高的两个第二投影点、所述第一校正点和所述第二校正点作为所述三维模型的第一表面的四个顶点。如果所述置信度最高的两个第二投影点对应于所述第一表面的一条对角线,则所述第一校正点和所述第二校正点的连线对应于所述第一表面的另一条对角线;如果所述置信度最高的两个第二投影点对应于所述第一表面的一条边,则所述第一校正点和所述第二校正点的连线对应于所述第一表面的另一条边,且平行于所述置信度最高的两个第二投影点的连线,所述三个第二投影点中除所述置信度最高的两个第二投影点之外的投影点位于所述第一校正点和所述第二校正点的连线所在的直线上。
例如,在所述构建方法的至少一个示例中,所述三维模型的第二表面和所述三维模型的第一表面在所述第一坐标轴的延伸方向上完全重合;所述基于所述三维模型的第一表面的四个顶点以及所述三维空间在所述三维投影空间中投影的沿所述第一坐标轴的高度获取所述三维模型的第二表面的四个顶点包括:将所述三维模型的第一表面的四个顶点沿所述第一坐标轴、朝向所述第一投影面的靠近所述第一坐标面的一侧平移第一距离得到的四个点作为所述三维模型的第二表面的四个顶点。所述第一距离等于所述三维空间在所述三维投影空间中投影的沿所述第一坐标轴的高度。
例如,在所述构建方法的至少一个示例中,所述构建方法还包括:获取所述三维空间的第二表面的四个顶点在所述二维全景图像的坐标系中的坐标;基于所述第二表面的四个顶点在所述二维全景图像的坐标系中的坐标将所述第二表面的四个顶点投影到所述三维投影空间中,以获得所述第二表面的四个顶点位于所述三维投影空间中的四个第三投影点;以及将所述四个第一投影点和所述四个第三投影点中对应的投影点在所述第一坐标轴上的坐标值的差值的绝对值的平均值作为所述三维空间在所述三维投影空间中投影的沿所述第一坐标轴的高度。所述第二表面为所述三维空间的平行于所述三维空间所在空间的水平面的两个表面中的另一个;
例如,在所述构建方法的至少一个示例中,所述构建方法还包括:将所述二维全景图像的各个像素投影到所述三维空间的三维模型的对应面上,以获取所述三维空间的三维模型的各个面对应的图像数据。
例如,在所述构建方法的至少一个示例中,所述将所述二维全景图像的每个像素投影到所述三维空间的三维模型的对应面上包括:将所述二维全景图像的每个像素投影到所述三维投影空间中以获得所述每个像素投影在所述三维投影空间中的像素投影点;将所述像素投影点与所述三维投影空间的坐标系的坐标原点的连线与所述三维空间的三维模型的表面的交点作为所述每个像素在所述三维空间的三维模型的对应面上投影点。
例如,在所述构建方法的至少一个示例中,所述构建方法还包括:输出所述三维模型的第一表面的四个顶点和所述三维模型的第二表面的四个顶点在所述三维投影空间的坐标系中的坐标以及所述三维空间的三维模型的各个面对应的图像数据。
本公开的至少一个实施例还提供了一种三维空间的三维模型的构建装置,其包括:投影装置、共面校正装置、第一表面获取装置和模型重建装置。所述投影装置被配置为获取所述三维空间的二维全景图像以及所述三维空间的第一表面的四个顶点在所述二维全景图像的坐标系中的坐标,以及基于所述第一表面的四个顶点在所述二维全景图像的坐标系中的坐标将所述第一表面的四个顶点投影到三维投影空间中,以获得所述第一表面的四个顶点在所述三维投影空间中的四个第一投影点;所述第一表面为所述三维空间的平行于所述三维空间所在空间的水平面的两个表面中的一个;所述三维投影空间的坐标系的第一坐标轴对应于所述三维空间在所述三维投影空间中投影的高度方向;所述共面校正装置被配置为对所述四个第一投影点进行共面校正,以基于所述四个第一投影点获得所述第一表面的四个顶点在所述三维投影空间中的四个第二投影点;所述四个第二投影点共面,所述四个第二投影点所在的平面与所述第一坐标轴垂直,且与所述三维投影空间的坐标系的坐标原点彼此间隔;所述第一表面获取装置被配置为基于所述四个第二投影点获取所述三维模型的第一表面的四个顶点,其中,所述三维模型的第一表面垂直于所述第一坐标轴;所述模型重建装置被配置为基于所述三维模型的第一表面的四个顶点以及所述三维空间在所述三维投影空间中投影的沿所述第一坐标轴的高度获取所述三维模型的第二表面的四个顶点,其中,所述三维模型的第一表面对应于所述三维空间的第一表面,所述三维模型的第二表面平行于所述三维模型的第一表面。
本公开的至少一个实施例还提供了另一种三维空间的三维模型的构建装置,其包括处理器和存储器。所述存储器中存储有适于所述处理器执行的计算机程序指令,所述计算机程序指令被所述处理器运行时使得所述处理器执行本公开的至少一个实施例提供的任一构建方法。
本公开的至少一个实施例还提供了一种非暂时性存储介质,其包括存储其上的计算机程序指令。所述计算机程序指令被处理器运行时使得计算机执行本公开的至少一个实施例提供的任一构建方法。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例的附图作简单地介绍,显而易见地,下面描述中的附图仅仅涉及本公开的一些实施例,而非对本公开的限制。
图1示出了等距柱状投影过程的一个示例;
图2是本公开的至少一个实施例提供的三维空间的三维模型的构建方法的示例性流程图;
图3A示出了在执行本公开的实施例提供的三维空间的三维模型的构建方法中获取的二维全景图像的一个示例;
图3B是本公开的至少一个实施例提供的二维全景图像的坐标系以及二维全景图像中像素点的坐标的一个示例;
图4是本公开的至少一个实施例提供的三维投影空间、三维投影空间的坐标系以及投影参考面的一个示例;
图5是本公开的至少一个实施例提供的三维投影空间以及用于描述三维投影空间中投影点的球坐标的一个示例;
图6示出了本公开的至少一个实施例提供的对四个第一投影点进行共面校正的方法的一个示例;
图7是本公开的至少一个实施例提供的基于三个第二投影点获取三维模型的第一表面的四个顶点的第一个示例;
图8是本公开的至少一个实施例提供的基于三个第二投影点获取三维模型的第一表面的四个顶点的第二个示例;
图9是本公开的至少一个实施例提供的获取三维模型的第二表面的四个顶点的方法的一个示例;
图10是是本公开的至少一个实施例提供的获取三维空间在三维投影空间中投影的沿第一坐标轴的高度的方法的一个示例;
图11是是本公开的至少一个实施例提供的将二维全景图像的各个像素投影到三维空间的三维模型的对应面上的方法的一个示例;
图12A是本公开的至少一个实施例提供的一种三维空间的三维模型的构建装置的示例性框图;
图12B是本公开的至少一个实施例提供的另一种三维空间的三维模型的构建装置的示例性框图;
图13是本公开的至少一个实施例提供的一种非暂时性存储介质的示例性框图;
图14示出了本公开的至少一个实施例提供的三维空间的三维模型的构建装置的示例性的场景图;以及
图15示出了本公开的至少一个实施例提供的计算设备架构。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例的附图,对本公开实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例是本公开的一部分实施例,而不是全部的实施例。基于所描述的本公开的实施例,本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
除非另作定义,此处使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。同样,“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系,当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。
等距柱状投影(Equirectangular projection)可以将球面的经线映射为平面上恒定间距的垂直线,将球面的纬线映射为平面上恒定间距的水平线。下面结合图1对等距柱状投影的过程进行示例性说明。
图1示出了等距柱状投影的过程的一个示例。如图1所示,首先,可以使用等距柱状投影将球面上的各个点投影到圆柱面(例如,圆柱面与球面相切于球面的赤道)上,然后沿圆柱面的一条母线将圆柱面展开为平面。如图 1所示,通过等距柱状投影可以将球面的经线映射为平面上恒定间距的垂直线(也即,沿平面的宽度方向延伸的线条),将球面的纬线映射为平面上恒定间距的水平线(也即,沿平面的长度方向延伸的线条)。例如,上述平面的长度与宽度的比值为2:1。
例如,在等距柱状投影中,球面上的经线λ和纬线α与平面上点的坐标 (u,v)满足以下的表达式(1)。
α=v+α1
此处,α0为标准纬线,λ0为中心子午线,u是平面上的像素点在平面的长度方向上的坐标值,v是平面上的像素点在平面的宽度方向上的坐标值。
一种三维空间的三维模型的构建方法包括以下的步骤S501-步骤S503。
步骤S501:人工在三维空间对应的二维全景图片中确定三条垂直相交的直线(或者四个墙角),以获取对应于三维空间的一个表面的第一个平面。
步骤S502:人工根据三维空间的各个表面的相互关系以及交线依次在二维全景图片中获取对应于三维空间的其它表面的其余平面。
例如,在第一个平面是二维全景图片的对应于三维空间的地面的图像区域的情况下,可以依次获取二维全景图片的对应于三维空间的四个墙面的图像区域(另外四个平面),最后,获取二维全景图片的对应于三维空间的天花板的图像区域(再一个平面)。
步骤S503:在定制的标记系统中利用在步骤S501和步骤S502标记的各个平面依次标记四个下墙角的位置,以获取三维空间的地面轮廓;然后结合垂直于三维空间的地面轮廓的四条墙线找到并标记三维空间的四个上墙角,由此获取三维空间模型的轮廓。
本公开的发明人在研究中注意到上述的三维空间的三维模型的构建方法涉及在图形用户界面下进行较多的人工操作,由此使得在基于上述三维空间的三维模型的构建方法构建三维空间的三维模型时需要使用运行在特定操作系统上的专用的编辑软件,并且构建三维空间的三维模型所需的时间较长,效率较低。
本公开的至少一个实施例提供了一种三维空间的三维模型的构建方法、三维空间的三维模型的构建装置、非暂时性存储介质。该三维空间的三维模型的构建方法包括:获取三维空间的二维全景图像以及三维空间的第一表面的四个顶点在二维全景图像的坐标系中的坐标;基于第一表面的四个顶点在二维全景图像的坐标系中的坐标将第一表面的四个顶点投影到三维投影空间中,以获得第一表面的四个顶点在三维投影空间中的四个第一投影点;对四个第一投影点进行共面校正,以基于四个第一投影点获得第一表面的四个顶点在三维投影空间中的四个第二投影点;基于四个第二投影点获取三维模型的第一表面的四个顶点;基于三维模型的第一表面的四个顶点以及三维空间在三维投影空间中投影的沿第一坐标轴的高度获取三维模型的第二表面的四个顶点。第一表面为三维空间的平行于三维空间所在空间的水平面的两个表面中的一个;三维投影空间的坐标系的第一坐标轴对应于三维空间在三维投影空间中投影的高度方向;四个第二投影点共面,四个第二投影点所在的平面与第一坐标轴垂直,且与坐标系的坐标原点彼此间隔;三维模型的第一表面垂直于第一坐标轴;三维模型的第二表面平行于三维模型的第一表面。
例如,三维模型的第一表面的四个顶点形成的四边形为矩形。例如,三维模型的第二表面和三维模型的第一表面在第一坐标轴的延伸方向上完全重合。
本公开的至少一个实施例提供的三维空间的三维模型的构建方法、构建装置和非暂时性存储介质可以基于三维空间的二维全景图像以及三维空间的第一表面的四个顶点在二维全景图像中的位置信息自动构建三维空间的三维模型,由此提升了构建三维空间的三维模型的效率。
例如,本公开的至少一个实施例提供的三维空间的三维模型的构建方法在不借助用户图形界面的情况下即可执行,由此使得基于本公开的至少一个实施例提供的三维空间的三维模型的构建方法的三维空间的三维模型的构建装置或程序模块可以运行在各种操作系统(例如,操作系统可以为IOS、 Android、Linux、Windows等),由此提升了本公开的至少一个实施例提供的三维空间的三维模型的构建方法、构建装置和非暂时性存储介质的应用范围。
例如,本公开的至少一个实施例提供的三维空间的三维模型的构建方法、构建装置和非暂时性存储介质通过对四个第一投影点进行共面校正获取第一表面的四个顶点在三维投影空间中的四个第二投影点以及三维模型的第一表面的四个顶点,并基于三维模型的第一表面的四个顶点以及三维空间在三维投影空间中投影的沿第一坐标轴的高度获取三维模型的第二表面的四个顶点以及三维空间的三维模型,而无需确定三维模型的第一表面和三维模型的第二表面的所有点,由此可以在使得获取的三维空间的三维模型具有较高精度的情况下省略确定三维模型的第一表面和三维模型的第二表面的所有点涉及的人工操作以及定制的用户界面,由此可以提升本公开的至少一个实施例提供的三维空间的三维模型的构建方法、构建装置和非暂时性存储介质的应用范围以及构建三维空间的三维模型的效率。
例如,本公开的至少一个实施例提供的三维空间的三维模型的构建方法可以由服务器(例如,后端)或者本地端实现。例如,上述本地端可以为网络端、移动端和桌面端的至少一个。
下面通过几个示例和实施例对根据本公开实施例提供的三维空间的三维模型的构建方法进行非限制性的说明,如下面所描述的,在不相互抵触的情况下这些具体示例和实施例中不同特征可以相互组合,从而得到新的示例和实施例,这些新的示例和实施例也都属于本公开保护的范围。
图2是本公开的至少一个实施例提供的三维空间的三维模型的构建方法的示例性流程图。
如图2所示,该三维空间的三维模型的构建方法包括以下的步骤S110- 步骤S150。例如,步骤S110-步骤S150可以按照步骤S110、步骤S120、步骤S130、步骤S140和步骤S150的顺序顺次执行。
步骤S110:获取三维空间的二维全景图像以及三维空间的第一表面的四个顶点在二维全景图像的坐标系中的坐标。
例如,获取三维空间的二维全景图像以及三维空间的第一表面的四个顶点在二维全景图像的坐标系中的坐标包括以下的步骤S111和步骤S112。例如,步骤S111和步骤S112可以同时执行或者按照步骤S111和步骤S112的顺序顺次执行。
步骤S111:获取三维空间的二维全景图像。
例如,此处的三维空间的二维全景图像是单个三维空间(例如,单个客厅或者单个卧室)的二维全景图像。例如,二维全景图像的长度和宽度的比值可以为2:1。图3A示出了在执行本公开的实施例提供的三维空间的三维模型的构建方法中获取的二维全景图像的一个示例。
例如,三维空间可以为居住空间、办公空间(例如,办公室)、销售空间(例如,卖场)、展览空间(例如,展厅)或其它适用的空间。例如,居住空间可以为卧室、客厅、厨房、酒店或民宿房间等。
例如,获取三维空间的二维全景图像的具体方法可以根据实际应用需求进行设定,本公开的至少一个实施例对此不作具体限定。
在一个示例中,三维空间的二维全景图像可以预先通过采用具有全景拍摄功能的相机对三维空间进行图像采集获得,并存储到存储器或者服务器中。例如,可以采用具有全景拍摄功能的相机采集三维空间的720度全景。在另一个示例中,可以通过拼接多张平面视角图像获取三维空间的二维全景图像,并将拼接获得的二维全景图像预先存储到存储器或者服务器中。例如,多张平面视角图像包括在三维空间中朝向不同的方位(例如,前方、后方、左方、右方、上方和下方)进行图像采集获得的普通照片。在再一个示例中,还可以通过拼接三维空间的两张180度广角照片获得三维空间的二维全景图像。
在一个示例中,获取二维全景图像可以包括从本地存储器中获取(读取) 预先存储在本地存储器中的二维全景图像。在另一个示例中,获取二维全景图像可以包括远程获取二维全景图像,例如,使用信息发送和接收装置接收二维全景图像。例如,信息发送和接收装置可以从服务器接收二维全景图像并传递给本地端。又例如,信息发送和接收装置可以从本地端接收二维全景图像并传递给服务器。
步骤S112:获取三维空间的第一表面的四个顶点在二维全景图像的坐标系中的坐标。
例如,第一表面为三维空间的平行于三维空间所在空间的水平面的两个表面中的一个。例如,第一表面可以为三维空间的地面或顶面(例如,天花板)。例如,第一表面分别具有四个顶点。例如,第一表面的四个顶点对应于三维空间的地面或顶面(例如,天花板)与三维空间的四条墙线的交点,也即,第一表面的四个顶点为四个墙角点。例如,墙线是三维空间的相邻的墙面的交线。
例如,获取三维空间的第一表面的四个顶点在二维全景图像的坐标系中的坐标的具体方法可以根据实际应用需求进行设定,本公开的至少一个实施例对此不作具体限定。
在一个示例中,获取三维空间的第一表面的四个顶点在二维全景图像的坐标系中的坐标包括:从本地存储器或远程存储器(例如,与服务器关联的存储器)中获取预先存储的三维空间的第一表面的四个顶点在二维全景图像的坐标系中的坐标。
在另一个示例中,获取三维空间的第一表面的四个顶点在二维全景图像的坐标系中的坐标包括以下的步骤S1121和步骤S1122。例如,步骤S1121 和步骤S1122可以按照步骤S1121和步骤S1122的顺序顺次执行。
步骤S1121:获取二维全景图像的对应于三维空间的第一表面的四个顶点的四个像素点的位置信息。
例如,四个像素点的位置信息可以为四个像素点的每个相对于二维全景图像的左上角的距离;四个像素点的每个的位置信息可以使用t0表示。又例如,四个像素点的位置信息可以为四个像素点的每个相对于二维全景图像的上边界和左边界的垂直距离;此种情况下,四个像素点的位置信息的每个像素的位置信息可以使用(t1,t2)表示。
例如,可以使用墙角标注端(例如,基于神经网络)自动在二维全景图像中标注对应于三维空间的第一表面的四个顶点的像素点;又例如,还可以使用人工在二维全景图像中标注对应于三维空间的第一表面的四个顶点的像素点;例如,在用户图形界面中人工标注二维全景图像中对应于三维空间的第一表面的四个顶点的像素点。对应地,在标注二维全景图像中对应于三维空间的第一表面的四个顶点的像素点之后,可以获得二维全景图像的对应于三维空间的第一表面的四个顶点的四个像素点的位置信息。
例如,通过上述方法获得的二维全景图像的对应于三维空间的第一表面的四个顶点的四个像素点的位置信息可以预先存储在本地存储器或远程存储器中;此种情况下,在执行步骤S1121时,可以直接从本地存储器或远程存储器中获取二维全景图像的对应于三维空间的第一表面的四个顶点的四个像素点的位置信息,而无需执行在二维全景图像中标注对应于三维空间的第一表面的四个顶点的像素点的步骤。
例如,在获取二维全景图像的对应于三维空间的第一表面的四个顶点的四个像素点的位置信息时,还可以获取二维全景图像的对应于三维空间的第一表面的四个顶点的四个像素点的位置信息的置信度。
例如,在二维全景图像中标注对应于三维空间的第一表面的四个顶点的像素点时,还可以确定标注的像素点的置信度,并将标注的像素点的置信度作为第一表面的四个顶点在二维全景图像的坐标系中的坐标的置信度。
例如,确定标注的像素点的置信度的方法可以根据实际应用需求进行设定,本公开的至少一个实施例对此不作具体限定。例如,可以至少基于二维全景图像对应于第一表面的顶点(也即,墙角点)的图像区域的遮挡情况确定标注的像素点的置信度。例如,在二维全景图像对应于第一表面的顶点(也即,墙角点)的图像区域未被遮挡的情况下,可以确定对应于该顶点的标注的像素点具有较高的置信度;在二维全景图像对应于第一表面的顶点(也即,墙角点)的图像区域被遮挡的情况下,可以确定对应于该顶点的标注的像素点具有较低的置信度。
例如,可以将第一表面的四个顶点在二维全景图像的坐标系中的坐标的置信度预先存储在本地存储器或远程存储器中;此种情况下,在执行步骤 S1121时,还可以直接从本地存储器或远程存储器中获取第一表面的四个顶点在二维全景图像的坐标系中的坐标的置信度。
步骤S1122:基于二维全景图像的对应于三维空间的第一表面的四个顶点的四个像素点的位置信息获取三维空间的第一表面的四个顶点在二维全景图像的坐标系中的坐标。
例如,下面结合图3B对基于二维全景图像的对应于三维空间的第一表面的四个顶点的四个像素点的位置信息获取三维空间的第一表面的四个顶点在二维全景图像的坐标系中的坐标进行示例性说明。
图3B是本公开的至少一个实施例提供的二维全景图像的坐标系以及二维全景图像中像素点的坐标的一个示例。
例如,二维全景图像101的宽度和长度分别为W和H。例如,二维全景图像101的宽度和长度的单位可以是二维全景图像在宽度方向和长度方向像素的数目。例如,W和H可以分别为1000像素和500像素。
例如,如图3B所示,可以使用二维直角坐标系作为二维全景图像101 的坐标系。如图3B所示,二维直角坐标系由两个互相垂直并相交的坐标轴 U和V组成,坐标轴U和V的交点为二维直角坐标系的坐标原点o1,坐标原点o1设置在二维全景图像101的左上角;此种情况下,二维全景图像101 的像素点T的坐标可以由(u,v)表示,此处,u和v分别为上述标注的像素点T对应于坐标轴U和V的坐标值。
例如,在二维全景图像101中的像素点T与坐标轴V的垂直距离为t1 像素、且与坐标轴U的垂直距离为t2像素的情况下,u=t1/W,v=t2/H,也即,像素点T的坐标可以由(t1/W,t2/H)表示,由此可以基于二维全景图像的对应于三维空间的第一表面的四个顶点的四个像素点的位置信息得到第一表面的四个顶点在二维全景图像的坐标系中的坐标。
例如,在像素点T与坐标轴V的垂直距离为500像素、且与坐标轴U 的垂直距离为250像素的情况下,可以得到像素点T的坐标为(0.5,0.5)。又例如,在像素点T与坐标轴V的垂直距离为1000像素、且与坐标轴U的垂直距离为500像素的情况下,可以得到像素点T的坐标为(1,1)。
需要说明的是,二维直角坐标系的原点o1不限于设置在二维全景图像 101的左上角,根据实际应用需求,二维直角坐标系的原点o1还可以设置在二维全景图像101的左下角,右下角或者中心;对应地,标注的像素点T在二维全景图像的坐标系中的坐标以及获取的像素点的位置信息将适应性变化。
步骤S120:基于第一表面的四个顶点在二维全景图像的坐标系中的坐标将第一表面的四个顶点投影到三维投影空间中,以获得第一表面的四个顶点在三维投影空间中的四个第一投影点。
需要说明的是,为描述方便,在本公开的至少一个实施例中,将二维全景图像的对应于第一表面的四个顶点的像素点投影到三维投影空间中描述为第一表面的四个顶点投影到三维投影空间中;对应地,将二维全景图像的对应于第一表面的四个顶点的像素点在三维投影空间中的投影点描述为第一表面的四个顶点在三维投影空间中的投影点。然而,本领域技术人员可以理解,三维空间的表面上的点在三维投影空间中的投影点与二维全景图像的对应于上述三维空间的表面上的点的像素点在三维投影空间中的投影点具有相同的含义。
例如,三维投影空间的坐标系的第一坐标轴对应于三维空间在三维投影空间中投影的高度方向。例如,将第一表面的四个顶点投影到三维投影空间中包括:将第一表面的四个顶点投影到位于三维投影空间中的投影参考面上,此处,三维投影空间的坐标系的坐标原点与投影参考面形成的结构的中心重合。例如,将第一表面的四个顶点投影到位于三维投影空间中的投影参考面上包括:基于等距柱状投影的逆过程将第一表面的四个顶点投影到位于三维投影空间中的投影参考面上。
例如,在利用等距柱状投影的逆过程、并基于第一表面的四个顶点在二维全景图像的坐标系中的坐标将第一表面的四个顶点投影到三维投影空间中时,可以基于上述的表达式(1)获取四个第一投影点的每个在球面上的经线和纬线;然后,可以基于四个第一投影点的每个在球面上的经线和纬线获取四个第一投影点的每个的球坐标,并基于三维球坐标与三维直角坐标之间的转换关系获取四个第一投影点在三维投影空间中的三维直角坐标。
例如,不仅可以基于等距柱状投影的逆过程将第一表面的四个顶点投影到位于三维投影空间中的投影参考面上,还可以基于等距柱状投影的逆过程将三维空间表面的各个点(也即,二维全景图像的各个像素点)投影到位于三维投影空间中的投影参考面上。
下面结合图4和图5对二维全景图像上的像素点的坐标与二维全景图像上的像素点在三维投影空间中的投影点的坐标之间的关系进行示例性说明。
图4是本公开的至少一个实施例提供的三维投影空间、三维投影空间的坐标系以及投影参考面的一个示例。
例如,如图4所示,三维投影空间的坐标系可以为三维直角坐标系,该三维直角坐标系由三个互相垂直并相交的坐标轴X、Y和Z组成,坐标轴X、 Y和Z的交点为坐标系的坐标原点O;此种情况下,三维投影空间中投影点的坐标可以由(Wx,Wy,Wz)表示,Wx、Wy和Wz分别为上述点对应于坐标轴X、Y和Z的坐标值。例如,三维直角坐标系可以实现为左手坐标系或右手坐标系。
例如,如图4所示,投影参考面可以为球面,三维投影空间的坐标系的坐标原点与球面形成的球体的球心重合;球面包括第一极102和第二极103,球面的经线(图中未示出)以及第一坐标轴所在的直线均经过第一极102和第二极103。
例如,如图4所示,三维投影空间的坐标系的第一坐标轴为Y轴;将第一表面的四个顶点投影到三维投影空间中包括:将第一表面的四个顶点投影到位于三维投影空间中的球面上,以获得第一表面的四个顶点在三维投影空间中的四个第一投影点,也即,B1、B2、B3和B4。
例如,四个第一投影点可以共面(也即,位于同一平面)或者不共面。例如,四个第一投影点不共面是指四个第一投影点不位于同一平面或者位于同一曲面。例如,在四个第一投影点不共面的情况下,四个第一投影点的三个第一投影点位于同一平面,剩余的一个第一投影点不位于上述同一平面。
下面结合图5对三维投影空间中投影点的坐标以及三维空间的表面上的点在二维全景图像的坐标系中的坐标之间的关系进行示例性说明。
图5是本公开的至少一个实施例提供的三维投影空间以及用于描述三维投影空间中投影点的球坐标的一个示例。
如图5所示,投影点(例如,第一投影点)在三维投影空间中的坐标不仅可以使用三维直角坐标(Wx,Wy,Wz)进行表示,还可以使用球坐标(r,θ,ф)进行表示。例如,在假设投影点到三维投影空间的坐标系的坐标原点的距离为1的情况下,投影点(例如,第一投影点)在三维投影空间中的坐标可以使用俯仰角θ和旋转角(或者方位角)ф进行表示。俯仰角θ是指投影点与三维投影空间的坐标系的坐标原点O的连线与XOZ平面的夹角;旋转角ф是指投影点与三维投影空间的坐标系的坐标原点O的连线在XOZ平面内的正投影与坐标轴X的正向的夹角。例如,在俯仰角θ和旋转角ф均为0的情况下,表示投影点位于坐标轴X的正半轴;在俯仰角θ和旋转角ф分别为0和π(或-π)的情况下,表示投影点位于坐标轴X的负半轴。又例如,在俯仰角θ和旋转角ф分别为0和π/2的情况下,表示投影点位于坐标轴Z的正半轴;在俯仰角θ和旋转角ф分别为0和-π/2的情况下,表示投影点位于坐标轴Z的负半轴。再例如,在俯仰角θ和旋转角ф分别为-π/2 和π的情况下,表示投影点位于坐标轴Y的负半轴;在俯仰角θ为π/2的情况下,表示投影点位于坐标轴Y的正半轴。
例如,二维全景图像的像素点(例如,第一表面的顶点)在二维全景图像的坐标系中的坐标(u,v)与二维全景图像的像素点在三维投影空间中的投影点(例如,第一表面的顶点在三维投影空间中的第一投影点)在三维投影空间中的坐标(θ,ф)满足以下的表达式。
θ=(0.5-v)×π;
ф=(u-0.5)×(2×π)。
例如,可以利用上述的表达式获得二维全景图像的像素点在三维投影空间中的投影点的球坐标,并利用球坐标与直角坐标之间的转换关系获取二维全景图像的像素点在三维投影空间中的投影点的三维直角坐标。例如,可以通过上述表达式获得第一表面的顶点(二维全景图像的对应于第一表面的顶点的像素点)在三维投影空间中的第一投影点的三维直角坐标。
需要说明的是,在三维直角坐标系的具体形式以及俯仰角θ和旋转角ф的定义变化的情况下,坐标(u,v)和坐标(θ,ф)满足的表达式将对应变化,在此不做赘述。
步骤S130:对四个第一投影点进行共面校正,以基于四个第一投影点获得第一表面的四个顶点在三维投影空间中的四个第二投影点。
例如,四个第二投影点共面,四个第二投影点所在的平面与第一坐标轴垂直,且与坐标系的坐标原点彼此间隔。
下面结合图4和图6示例性说明对四个第一投影点进行共面校正的方法。
图6示出了本公开的至少一个实施例提供的对四个第一投影点进行共面校正的方法的一个示例。如图4和图6所示,对四个第一投影点进行共面校正包括以下的步骤S131和步骤S132。例如,步骤S131-步骤S132可以按照步骤S131和步骤S132的顺序顺次执行。
步骤S131:设定第一投影面。
例如,如图6所示,第一投影面104平行于坐标系的第一坐标面,第一坐标面为三维投影空间的坐标系中垂直于第一坐标轴(例如,Y轴)的坐标面;第一投影面与坐标原点彼此间隔,且位于第一坐标面的靠近四个第一投影点的一侧。例如,在第一坐标轴为Y轴的情况下,第一坐标面为XOZ面。由于第一坐标面为垂直于第一坐标轴,且第一投影面104平行于第一坐标面,因此,第一投影面104垂直于第一坐标轴。
例如,在第一表面为三维空间的地面的情况下,v的值大于0.5,θ的值为负,四个第一投影点对应于第一坐标轴的坐标值为负值,第一投影面与第一坐标轴的相交于第一坐标轴的负半轴。又例如,在第一表面为三维空间的顶面(例如,天花板)的情况下,v的值小于0.5,θ的值为正,四个第一投影点对应于第一坐标轴的坐标值为正值,第一投影面与第一坐标轴相交于第一坐标轴的正半轴。
步骤S132:将四个第一投影点与坐标原点的连线与第一投影面的四个交点作为四个第二投影点。
例如,如图6所示,四个第一投影点(也即,B1、B2、B3和B4,图6 中未示出,参见图4)与坐标原点O的连线(也即,OB1、OB2、OB3和 OB4)与第一投影面104的四个交点分别为P1、P2、P3和P4,将交点P1、 P2、P3和P4分别作为第一表面的四个顶点在三维投影空间中的四个第二投影点。
例如,如图6所示,可以将四个第一投影点的每个沿其向量方向投影到第一投影面。例如,四个第一投影点的每个的向量方向是指四个第一投影点的每个与坐标原点O的连线的延伸方向。
例如,由于四个第二投影点P1、P2、P3和P4均位于第一投影面104 上,因此,四个第二投影点P1、P2、P3和P4共面;且四个第二投影点P1、 P2、P3和P4形成的四边形平行于第一坐标面。例如,四个第二投影点P1、 P2、P3和P4形成的四边形可以为矩形或者非矩形。例如,在获取的第一表面的四个顶点在二维全景图像的坐标系中的坐标存在误差或/和运算存在误差(例如,浮点数计算引起的误差)的情况下,四个第二投影点P1、P2、 P3和P4形成的四边形可以为非矩形。
步骤S140:基于四个第二投影点获取三维模型的第一表面的四个顶点。
例如,三维模型的第一表面对应于三维空间的第一表面。例如,三维模型的第一表面的四个顶点形成的四边形为矩形。
在一个示例中,四个第二投影点形成的四边形为矩形,基于四个第二投影点获取三维模型的第一表面的四个顶点包括:将四个第二投影点P1、P2、 P3和P4分别作为三维模型的第一表面的四个顶点S1、S2、S3和S4。
在另一个示例中,四个第二投影点形成的四边形为非矩形,基于四个第二投影点获取三维模型的第一表面的四个顶点包括:通过对四个第二投影点形成的四边形进行直角校正获取三维模型的第一表面的四个顶点。
例如,通过对四个第二投影点形成的四边形进行直角校正获取三维模型的第一表面的四个顶点包括以下的步骤S141和步骤S142。例如,步骤S141- 步骤S142可以按照步骤S141和步骤S142的顺序顺次执行。
步骤S141:选取四个第二投影点中三个第二投影点。
步骤S142:基于上述三个第二投影点获取三维模型的第一表面的四个顶点。
在一个示例中,选取四个第二投影点中三个第二投影点包括:选取四个第二投影点中的任意三个第二投影点或者在存储器中排列在最前列的三个第二投影点。
在另一个示例中,选取四个第二投影点中三个第二投影点包括:选取四个第二投影点中的可信度最高的三个第二投影点。例如,选取四个第二投影点中的可信度最高的三个第二投影点包括以下的步骤S1411-步骤S1413。例如,步骤S1411-步骤S1413可以按照步骤S1411、步骤S1412和步骤S1413 的顺序顺次执行。
步骤S1411:获取第一表面的四个顶点在二维全景图像的坐标系中的坐标的置信度。
例如,可以从本地存储器或远程存储器中获取预先存储的第一表面的四个顶点在二维全景图像的坐标系中的坐标的置信度。
步骤S1412:至少基于第一表面的四个顶点在二维全景图像的坐标系中的坐标的置信度确定四个第二投影点的置信度。
在一个示例中,可以将第一表面的四个顶点在二维全景图像的坐标系中的坐标的置信度作为对应的第二投影点的置信度。在另一个示例中,可以结合第一表面的四个第一投影点的共面情况以及第一表面的四个顶点在二维全景图像的坐标系中的坐标的置信度确定四个第二投影点的置信度。
步骤S1413:基于四个第二投影点的可信度选取四个第二投影点中可信度最高的三个第二投影点。
例如,可信度最高的三个第二投影点作为用于获取三维模型的第一表面的四个顶点的三个第二投影点。
例如,在步骤S142中,基于三个第二投影点P1、P2和P3(例如,可信度最高的三个第二投影点)获取三维模型的第一表面的四个顶点S1、S2、S3和S4包括:基于三个第二投影点P1、P2和P3中获取第一校正点P1’和第二校正点P2’,并将置信度最高的两个第二投影点P1和P2、第一校正点 P1’和第二校正点P2’作为三维模型的第一表面的四个顶点S1、S2、S3和S4。例如,三维模型的第一表面的四个顶点S1、S2、S3和S4形成的四边形为矩形。
例如,如果置信度最高的两个第二投影点对应于第一表面的一条对角线,则第一校正点P1’和第二校正点P2’的连线对应于第一表面的另一条对角线;如果置信度最高的两个第二投影点对应于第一表面的一条边,则第一校正点P1’和第二校正点P2’对应于第一表面的另一条边,且平行于置信度最高的两个第二投影点的连线,三个第二投影点中除置信度最高的两个第二投影点之外的投影点位于第一校正点P1’和第二校正点P2’的连线所在的直线上。
下面结合图7和图8对基于三个第二投影点(例如,可信度最高的三个第二投影点)获取三维模型的第一表面的四个顶点的方法做示例性说明。
图7是本公开的至少一个实施例提供的基于三个第二投影点获取三维模型的第一表面的四个顶点的第一个示例。图8是本公开的至少一个实施例提供的基于三个第二投影点获取三维模型的第一表面的四个顶点的第二个示例。需要说明的是,为方便说明,图7和图8夸大了四个第二投影点形成的四边形的相邻边之间的角度。
例如,在图7和图8中,将置信度最高的两个第二投影点记为P1和P2,并将三个第二投影点中除置信度最高的两个第二投影点之外的第二投影点记为P3。
如图7所示,在置信度最高的两个第二投影点(记为P1和P2)对应于第一表面的一条对角线的情况下,基于第一垂线、第二垂线和第一平行线获取第一校正点P2’和第二校正点P2’。此处,第一垂线和第二垂线分别为过置信度最高的两个第二投影点中第一点(P1)和第二点(P2)且垂直于置信度最高的两个第二投影点中的一个(例如,P2)与除置信度最高的两个第二投影点之外的第二投影点(第三点P3)的连线(该连线对应于第一表面的一条边);第一平行线为过置信度最高的两个第二投影点中的另一个(例如, P1)且平行于置信度最高的两个第二投影点中的一个(例如,P2)与除置信度最高的两个第二投影点之外的第二投影点(第三点P3)的连线的直线;第一校正点为第一垂线与置信度最高的两个第二投影点中的一个(例如,P2) 与除置信度最高的两个第二投影点之外的第二投影点(第三点P3)的连线的直线的交点,第二校正点为第一平行线与第二垂线的交点。
如图8所示,在置信度最高的两个第二投影点对应于第一表面的一条边的情况下,基于第一垂线、第二垂线和第一平行线获取第一校正点和第二校正点。此处,第一垂线和第二垂线分别为过置信度最高的两个第二投影点且垂直于置信度最高的两个第二投影点的连线的线段;第一平行线为过三个第二投影点中除置信度最高的两个第二投影点之外的第二投影点(也即,P3) 且平行于置信度最高的两个第二投影点的连线的直线;第一校正点和第二校正点分别为第一平行线与第一垂线和第二垂线的交点。
例如,在置信度最高的两个第二投影点对应于第一表面的一条边的情况下,可以通过以下的步骤获取第一校正点和第二校正点。
首先,获取P3点到P1点和P2点的连线的垂线;其次,将上述垂线段沿P1和P2的连线的延伸方向平移,并使得垂线段过P1点,由此可以获得第一垂线和第一校正点P1’,第一校正点为第一垂线不与P1点和P2点的连线相接触的端点;然后,将上述垂线段沿P1和P2的连线的延伸方向平移,并使得垂线段过P2点,由此可以获得第二垂线和第二校正点P2’,第二校正点为第二垂线不与P1点和P2点的连线相接触的端点。
步骤S150:基于三维模型的第一表面的四个顶点以及三维空间在三维投影空间中投影的沿第一坐标轴的高度获取三维模型的第二表面的四个顶点。
例如,三维模型的第二表面平行于三维模型的第一表面。例如,三维模型的第二表面和三维模型的第一表面在第一坐标轴延伸的方向上完全重叠。例如,三维模型的第二表面对应于三维空间的第二表面。
例如,三维模型的第二表面和三维模型的第一表面的对应边形成的四边形为三维空间的三维模型的侧表面,该侧表面对应于三维空间的墙面。例如,由于三维模型的第二表面和三维模型的第一表面在第一坐标轴延伸的方向上完全重叠,因此,三维模型的第二表面和三维模型的第一表面的对应边形成的四边形(三维模型的侧表面)垂直于三维模型的第一表面。例如,由于三维模型的第一表面的四个顶点形成的四边形为矩形,且三维模型的侧表面垂直于三维模型的第一表面,因此,三维模型的相邻的侧表面垂直。
下面结合图9对基于三维模型的第一表面的四个顶点以及三维空间在三维投影空间中投影的沿第一坐标轴的高度获取三维模型的第二表面的四个顶点的方法做示例性说明。图9是本公开的至少一个实施例提供的获取三维模型的第二表面的四个顶点的方法的一个示例。
例如,如图9所示,基于三维模型的第一表面的四个顶点S1、S2、S3 和S4以及三维空间在三维投影空间中投影的沿第一坐标轴的高度获取三维模型的第二表面的四个顶点Q1、Q2、Q3和Q4包括:将三维模型的第一表面的四个顶点S1、S2、S3和S4沿第一坐标轴Y、朝向第一投影面104的靠近第一坐标面XOZ的一侧平移第一距离DH得到的四个点作为三维模型的第二表面的顶点Q1、Q2、Q3和Q4,其中,第一距离DH等于三维空间在三维投影空间中投影的沿第一坐标轴Y的高度。
例如,在实际应用中,可以通过将三维模型的第一表面的四个顶点在三维投影空间中的坐标中对应于第一坐标轴的坐标值增加或减小第一距离来描述上述三维模型的第一表面的平移过程。例如,在第一表面为三维空间的地面时,三维模型的第一表面的四个顶点(第一投影面)对应于第一坐标轴的坐标值为负值,可以通过将三维模型的第一表面的四个顶点在三维投影空间中的坐标中对应于第一坐标轴的坐标值增加第一距离获得四个坐标,并将获得的四个坐标对应的点作为三维模型的第二表面的顶点。例如,在第一表面为三维空间的顶面(例如,天花板)时,三维模型的第一表面的四个顶点 (第一投影面)对应于第一坐标轴的坐标值为正值,可以通过将三维模型的第一表面的四个顶点在三维投影空间中的坐标中对应于第一坐标轴的坐标值减去第一距离获得四个坐标,并将获得的四个坐标对应的点作为三维模型的第二表面的四个顶点。
例如,本公开的至少一个实施例提供的三维空间的三维模型的构建方法通过对四个第一投影点进行共面校正获取第一表面的四个顶点在三维投影空间中的四个第二投影点以及三维模型的第一表面的四个顶点,并基于三维模型的第一表面的四个顶点以及三维空间在三维投影空间中投影的沿第一坐标轴的高度获取三维模型的第二表面的四个顶点以及三维空间的三维模型,而无需确定三维模型的第一表面和三维模型的第二表面的所有点,由此可以在使得三维空间的三维模型具有较高精度的情况下省略确定三维模型的第一表面和三维模型的第二表面的所有点涉及的人工操作以及定制的用户界面,由此可以提升本公开的至少一个实施例提供的三维空间的三维模型的构建方法的应用范围以及构建三维空间的三维模型的效率。
例如,三维空间的三维模型的构建方法还包括步骤S160。
步骤S160:获取三维空间在三维投影空间中投影的沿第一坐标轴的高度。例如,步骤S160可以在执行步骤S150之前的任意时间执行。
例如,获取三维空间在三维投影空间中投影的沿第一坐标轴的高度的具体方法可以根据实际应用需求进行设定,本公开的至少一个实施例对此不作具体限定。
在一个示例中,三维空间在三维投影空间中投影的沿第一坐标轴的高度可以预先存储在存储器中,获取三维空间在三维投影空间中投影的沿第一坐标轴的高度包括:从存储器中获取三维空间在三维投影空间中投影的沿第一坐标轴的高度。此种情况下,例如,步骤S160可以与步骤S110同时执行。
在另一个示例中,可以基于三维空间的八个顶点在三维投影空间中的投影点的坐标获取三维空间在三维投影空间中投影的沿第一坐标轴的高度。
下面结合图10对基于三维空间的八个顶点在三维投影空间中的投影点的坐标获取三维空间在三维投影空间中投影的沿第一坐标轴的高度的方法做示例性说明。图10是是本公开的至少一个实施例提供的获取三维空间在三维投影空间中投影的沿第一坐标轴的高度的方法的一个示例。
例如,获取三维空间在三维投影空间中投影的沿第一坐标轴的高度可以包括以下的步骤S161-步骤S163。例如,步骤S161-步骤S163可以按照步骤 S161、步骤S162和步骤S163的顺序执行。例如,步骤S161可以与步骤S110 同时执行,步骤S162可以与步骤S120同时执行。
步骤S161:获取三维空间的第二表面的四个顶点在二维全景图像的坐标系中的坐标。
此处,第二表面为三维空间的平行于三维空间所在空间的水平面的两个表面中的另一个,也即,第二表面为三维空间的与第一表面对置的表面。
例如,获取三维空间的第二表面的四个顶点在二维全景图像的坐标系中的坐标的方法与获取三维空间的第一表面的四个顶点在二维全景图像的坐标系中的坐标的方法相似,在此不做赘述。
步骤S162:基于第二表面的四个顶点在二维全景图像的坐标系中的坐标将第二表面的四个顶点投影到三维投影空间中,以获得第二表面的四个顶点位于三维投影空间中的四个第三投影点。
例如,基于第二表面的四个顶点在二维全景图像的坐标系中的坐标将第二表面的四个顶点投影到三维投影空间中以获得第二表面的四个顶点位于三维投影空间中的四个第三投影点C1、C2、C3和C4的方法与基于第一表面的四个顶点在二维全景图像的坐标系中的坐标将第一表面的四个顶点投影到三维投影空间中以获得第一表面的四个顶点位于三维投影空间中的四个第一投影点B1、B2、B3和B4的方法相似,在此不做赘述。
步骤S163:将四个第一投影点和四个第三投影点中对应的投影点在第一坐标轴上的坐标值的差值(例如,差值的绝对值)的平均值作为三维空间在三维投影空间中投影的沿第一坐标轴的高度。
例如,四个第一投影点和四个第三投影点中对应的投影点是指四个第一投影点和四个第三投影点中对应于三维空间的同一条墙线的第一投影点和第三投影点,因此,四个第一投影点和四个第三投影点包括四对对应的投影点。
例如,可以获取第三投影点C1在第一坐标轴上的坐标值与第一投影点 B1在第一坐标轴上的坐标值的差值,第三投影点C2在第一坐标轴上的坐标值与第一投影点B2在第一坐标轴上的坐标值的差值,第三投影点C3在第一坐标轴上的坐标值与第一投影点B3在第一坐标轴上的坐标值的差值,以及第三投影点C4在第一坐标轴上的坐标值与第一投影点B4在第一坐标轴上的坐标值的差值,并将上述四个差值的平均值作为三维空间在三维投影空间中投影的沿第一坐标轴的高度。
例如,三维空间的三维模型的构建方法还包括步骤S170。
步骤S170:将二维全景图像的各个像素投影到三维空间的三维模型的对应面上,以获取三维空间的三维模型的各个面对应的图像数据(例如,各个面的纹理数据)。例如,步骤S170可以在执行步骤S150之后执行。
下面结合图11对将二维全景图像的各个像素投影到三维空间的三维模型的对应面上的方法做示例性说明。图11是是本公开的至少一个实施例提供的将二维全景图像的各个像素投影到三维空间的三维模型的对应面上的方法的一个示例。
例如,将二维全景图像的各个像素投影到三维空间的三维模型的对应面上包括以下的步骤S171和步骤S172。
步骤S171:将二维全景图像的每个像素投影到三维投影空间以获得每个像素投影在三维投影空间中的像素投影点PX1。
例如,获得每个像素投影在三维投影空间中的像素投影点PX1包括:获得获得每个像素投影在三维投影空间中的像素投影点PX1的俯仰角和旋转角。
例如,基于二维全景图像的每个像素在二维全景图像的坐标系中的坐标将二维全景图像的每个像素投影到三维投影空间以获得每个像素投影在三维投影空间中的像素投影点PX1的方法与基于第一表面的顶点在二维全景图像的坐标系中的坐标将第一表面的顶点投影到三维投影空间中以获得第一表面的顶点位于三维投影空间中的第一投影点的方法相似,在此不做赘述。
步骤S172:将像素投影点PX1与坐标原点O的连线OPX1与三维空间的三维模型的表面的交点PX2作为每个像素在三维空间的三维模型的对应面上投影点(参见图11)。
例如,可以基于每个像素投影在三维投影空间中的像素投影点PX1的俯仰角θ和旋转角ф以及三维模型中与像素投影点PX1与坐标原点O的连线相交的面在三维投影空间的坐标获取交点PX2的坐标(例如,三维直角坐标)。
例如,将二维全景图像的各个像素投影到三维空间的三维模型的对应面上还包括以下的步骤S173。
步骤S173:将二维全景图像的每个像素的像素值与每个像素在三维空间的三维模型的对应面上投影点的坐标相关联。
例如,对于灰度图像,像素的像素值表征像素的灰度。例如,可以利用投影到三维模型的第一表面上投影点对应的二维全景图像的像素的像素值形成三维模型的第一表面对应的图像(例如,三维模型的第一表面的纹理) 的像素矩阵。例如,像素矩阵中每个元素的值对应于与二维全景图像的对应的像素的像素值,像素矩阵中每个元素在像素矩阵的位置对应于二维全景图像的对应的像素在三维模型的第一表面上投影点对应于X坐标轴和Z坐标轴的坐标。例如,上述各个面对应的图像的像素矩阵可以作为各个面对应的图像数据。
例如,三维空间的三维模型的构建方法还包括步骤S180。
步骤S180:输出三维模型的第一表面的四个顶点和三维模型的第二表面的四个顶点在三维投影空间的坐标系中的坐标以及三维空间的三维模型的各个面对应的图像数据。例如,步骤S180可以在执行步骤S170之后执行。
例如,在步骤S180中,可以输出三维模型的第一表面的四个顶点和三维模型的第二表面的四个顶点在坐标系中的坐标以及三维模型的六个面对应的图像(例如,六个面的纹理)的像素矩阵。
例如,输出三维模型的第一表面的四个顶点和三维模型的第二表面的四个顶点(也即,三维模型的八个顶点)在坐标系中的坐标以及三维空间的三维模型的各个面对应的图像数据可以预先存储在存储器(例如,与服务器相关的存储器)中,由此在本地端渲染三维空间图像时可以从存储器中获取三维模型的八个顶点在三维投影空间的坐标系中的坐标以及三维模型的六个面对应的图像数据,并基于上述坐标和图像数据渲染三维空间图像的至少部分。
本公开的至少一个实施例还提供了一种三维空间的三维模型的构建装置。图12A是本公开的至少一个实施例提供的一种三维空间的三维模型的构建装置的示例性框图。如图12A所示,该三维空间的三维模型的构建装置包括:投影装置、共面校正装置、第一表面获取装置和模型重建装置。
投影装置被配置为获取三维空间的二维全景图像以及三维空间的第一表面的四个顶点在二维全景图像的坐标系中的坐标,以及基于第一表面的四个顶点在二维全景图像的坐标系中的坐标将第一表面的四个顶点投影到三维投影空间中,以获得第一表面的四个顶点在三维投影空间中的四个第一投影点。此处,第一表面为三维空间的平行于三维空间所在空间的水平面的两个表面中的一个;三维投影空间的坐标系的第一坐标轴对应于三维空间在三维投影空间中投影的高度方向。
共面校正装置被配置为对四个第一投影点进行共面校正,以基于四个第一投影点获得第一表面的四个顶点在三维投影空间中的四个第二投影点。此处,四个第二投影点共面,四个第二投影点所在的平面与第一坐标轴垂直,且与坐标系的坐标原点彼此间隔。
第一表面获取装置被配置为基于四个第二投影点获取三维模型的第一表面的四个顶点。此处,三维模型的第一表面垂直于第一坐标轴。
模型重建装置被配置为基于三维模型的第一表面的四个顶点以及三维空间在三维投影空间中投影的沿第一坐标轴的高度获取三维模型的第二表面的四个顶点。此处,三维模型的第二表面平行于三维模型的第一表面。
例如,投影装置、共面校正装置、第一表面获取装置和模型重建装置可以通过软件、固件、硬件及其任意组合实现,例如,该硬件包括现场可编程门阵列(FieldProgrammable Gate Array,FPGA)等。
例如,投影装置、共面校正装置、第一表面获取装置和模型重建装置具体实现方法可以参考本公开的至少一个实施例提供的一种三维空间的三维模型构建方法的相关步骤,在此不再赘述。本公开的至少一个实施例提供的一种三维空间的三维模型构建装置的应用范围以及构建三维空间的三维模型的效率得到了提升。
本公开的至少一个实施例还提供了另一种三维空间的三维模型的构建装置。图12B是本公开的至少一个实施例提供的另一种三维空间的三维模型的构建装置的示例性框图。如图12B所示,该另一种三维空间的三维模型的构建装置包括:处理器和存储器。存储器中存储有适于处理器执行的计算机程序指令,计算机程序指令被处理器运行时使得处理器执行本公开的至少一个实施例提供的任一三维空间的三维模型的构建方法。
例如,该处理器例如是中央处理单元(CPU)、图形处理器GPU、张量处理器(TPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元,例如,该处理器可以实现为通用处理器,并且也可以为单片机、微处理器、数字信号处理器、专用的图像处理芯片、或现场可编程逻辑阵列等。例如,存储器可以包括易失性存储器和非易失性存储器的至少一种,例如存储器可以包括只读存储器(ROM)、硬盘、闪存等。相应地,该存储器可以实现为一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,在所述计算机可读存储介质上可以存储一个或多个计算机程序指令。处理器可以运行所述程序指令,以执行本公开的至少一个实施例提供的任一三维空间的三维模型的构建方法。该存储器还可以存储其他各种应用程序和各种数据,例如,所述应用程序使用和/或产生的各种数据等。
本公开的至少一个实施例提供的另一种三维空间的三维模型构建装置的应用范围以及构建三维空间的三维模型的效率得到了提升。
本公开的至少一个实施例还提供了一种非暂时性存储介质。图13是本公开的至少一个实施例提供的一种非暂时性存储介质的示例性框图。如图13 所示,该非暂时性存储介质包括存储其上的计算机程序指令。计算机程序指令被处理器运行时使得计算机执行本公开的至少一个实施例提供的任一三维空间的三维模型的构建方法。例如,本公开的至少一个实施例提供的非暂时性存储介质的应用范围以及构建三维空间的三维模型的效率得到了提升。
图14示出了本公开的至少一个实施例提供的三维空间的三维模型的构建装置的示例性的场景图。如图14所示,该三维空间的三维模型的构建装置300可以包括用户终端310、网络320、服务器330以及数据库340。
例如,用户终端310可以是图14中示出的电脑310-1、便携式终端310-2。可以理解的是,用户终端还可以是能够执行数据的接收、处理和显示的任何其他类型的电子设备,其可以包括但不限于台式电脑、笔记本电脑、平板电脑、智能家居设备、可穿戴设备、车载电子设备、医疗电子设备等。例如,上述用户终端310可以运行在不同操作系统,例如,操作系统可以为IOS、 Android、Linux、Windows等。
例如,所述网络320可以是单个网络,或至少两个不同网络的组合。例如,网络320可以包括但不限于局域网、广域网、公用网络、专用网络、因特网、移动通信网络等中的一种或几种的组合。
例如,该服务器可330以为一个单独的服务器,或者为一个服务器群组,服务器群组内的各个服务器通过有线网络或无线网络进行连接。有线网络例如可以采用双绞线、同轴电缆或光纤传输等方式进行通信,无线网络例如可以采用3G/4G/5G移动通信网络、蓝牙、Zigbee或者WiFi等通信方式。本公开对网络的类型和功能在此不作限制。该一个服务器群组可以是集中式的,例如数据中心,也可以是分布式的。服务器可以是本地的或远程的。例如,该服务器330可以为通用型服务器或专用型服务器,可以为虚拟服务器或云服务器等。
例如,数据库340可用于存储从用户终端310和服务器330工作中所利用、产生和输出的各种数据。数据库340可以经由网络320与服务器330或服务器330的一部分相互连接或通信,或直接与服务器330相互连接或通信,或者经由上述两种方式的结合实现与服务器330相互连接或通信。在一些实施例中,数据库340可以是独立的设备。在另一些实施例中,数据库340也可以集成在用户终端310和服务器340中的至少一个中。例如,数据库340 可以设置在用户终端310上,也可以设置在服务器340上。又例如,数据库 340也可以是分布式的,其一部分设置在用户终端310上,另一部分设置在服务器340上。
在一个示例中,可以利用服务器330执行本公开的至少一个实施例提供的任一三维空间的三维模型的构建方法,并将获得的三维模型的第一表面的四个顶点和三维模型的第二表面的四个顶点在坐标系中的坐标存储在服务器330或数据库340。
在一些实现方式中,服务器330可以经由网络320或其它技术(如,蓝牙通信、红外通信等)从用户终端310获取三维空间的二维全景图像以及三维空间的第一表面的四个顶点在二维全景图像的坐标系中的坐标(或者,三维空间的第一表面的四个顶点在二维全景图像中的位置信息)。在另一些实现方式中,服务器330可以获取预先存储在服务器330或数据库340中的三维空间的二维全景图像以及三维空间的第一表面的四个顶点在二维全景图像的坐标系中的坐标(或者,三维空间的第一表面的四个顶点在二维全景图像中的位置信息)。在再一些实现方式中,服务器330可以从用户终端310、服务器330或数据库340获取三维空间的二维全景图像,并利用相关应用程序获取三维空间的第一表面的四个顶点在二维全景图像的坐标系中的坐标。
在一些实现方式中,服务器330可以利用服务器内置的应用程序执行本公开的至少一个实施例提供的任一三维空间的三维模型的构建方法。在另一些实现方式中,服务器330可以通过调用服务器外部存储的应用程序执行本公开的至少一个实施例提供的任一三维空间的三维模型的构建方法。
在另一个示例中,可以利用用户终端310执行本公开的至少一个实施例提供的任一三维空间的三维模型的构建方法。
在一些实现方式中,用户终端310可以经由网络320或其它技术(如,蓝牙通信、红外通信等)从服务器330获取三维空间的二维全景图像以及三维空间的第一表面的四个顶点在二维全景图像的坐标系中的坐标(或者,三维空间的第一表面的四个顶点在二维全景图像中的位置信息)。在另一些实现方式中,用户终端310可以直接获取预先存储在用户终端310的存储器件中的二维全景图像以及三维空间的第一表面的四个顶点在二维全景图像的坐标系中的坐标(或者,三维空间的第一表面的四个顶点在二维全景图像中的位置信息)。在再一些实现方式中,用户终端310可以通过用户图形界面或人机用户界面获取用户提供的二维全景图像以及三维空间的第一表面的四个顶点在二维全景图像的坐标系中的坐标(或者,三维空间的第一表面的四个顶点在二维全景图像中的位置信息)。在又再一些实现方式中,用户终端310可以从用户终端310、用户图形界面、服务器330或数据库340获取三维空间的二维全景图像,并利用相关应用程序获取三维空间的第一表面的四个顶点在二维全景图像的坐标系中的坐标(或者,三维空间的第一表面的四个顶点在二维全景图像中的位置信息)。
在一些实现方式中,用户终端可以利用用户终端310内置的应用程序执行本公开的至少一个实施例提供的任一三维空间的三维模型的构建方法。在另一些实现方式中,用户终端可以通过调用用户终端310外部存储的应用程序执行本公开的至少一个实施例提供的任一三维空间的三维模型的构建方法。
根据本申请实施例的方法或装置也可以借助于图15所示的计算设备400 的架构来实现。
图15示出了本公开的至少一个实施例提供的计算设备400的架构。如图 15所示,计算设备400可以包括总线410、一个或至少两个CPU 420、只读存储器(ROM)430、随机存取存储器(RAM)440、连接到网络的通信端口 450、输入/输出组件460、硬盘470等。计算设备400中的存储设备(例如, ROM 430或硬盘470)可以存储本公开的至少一个实施例提供三维空间的三维模型的构建方法对应的指令以及各种相关的数据或文件。计算设备400还可以包括人机用户界面480。当然,图15所示的架构只是示例性的,在实现不同的设备时,根据实际需要,可以省略图15示出的计算设备中的一个或至少两个组件。
虽然上文中已经用一般性说明及具体实施方式,对本公开作了详尽的描述,但在本公开实施例基础上,可以对之作一些修改或改进,这对本领域技术人员而言是显而易见的。因此,在不偏离本公开精神的基础上所做的这些修改或改进,均属于本公开要求保护的范围。
以上所述仅是本公开的示范性实施方式,而非用于限制本公开的保护范围,本公开的保护范围由所附的权利要求确定。
Claims (17)
1.一种三维空间的三维模型的构建方法,包括:
获取所述三维空间的二维全景图像以及所述三维空间的第一表面的四个顶点在所述二维全景图像的坐标系中的坐标,其中,所述第一表面为所述三维空间的平行于所述三维空间所在空间的水平面的两个表面中的一个;
基于所述第一表面的四个顶点在所述二维全景图像的坐标系中的坐标将所述第一表面的四个顶点投影到三维投影空间中,以获得所述第一表面的四个顶点在所述三维投影空间中的四个第一投影点,其中,所述三维投影空间的坐标系的第一坐标轴对应于所述三维空间在所述三维投影空间中投影的高度方向;
对所述四个第一投影点进行共面校正,以基于所述四个第一投影点获得所述第一表面的四个顶点在所述三维投影空间中的四个第二投影点,其中,所述四个第二投影点共面,所述四个第二投影点所在的平面与所述第一坐标轴垂直,且与所述三维投影空间的坐标系的坐标原点彼此间隔;
基于所述四个第二投影点获取所述三维模型的第一表面的四个顶点,其中,所述三维模型的第一表面垂直于所述第一坐标轴;以及
基于所述三维模型的第一表面的四个顶点以及所述三维空间在所述三维投影空间中投影的沿所述第一坐标轴的高度获取所述三维模型的第二表面的四个顶点,其中,所述三维模型的第一表面对应于所述三维空间的第一表面,所述三维模型的第二表面平行于所述三维模型的第一表面。
2.根据权利要求1所述的构建方法,其中,将所述第一表面的四个顶点投影到所述三维投影空间中包括:
将所述第一表面的四个顶点投影到位于所述三维投影空间中的投影参考面上,
其中,所述三维投影空间的坐标系的坐标原点与所述投影参考面形成的结构的中心重合。
3.根据权利要求2所述的构建方法,其中,将所述第一表面的四个顶点投影到位于所述三维投影空间中的投影参考面上包括:基于等距柱状投影的逆过程将所述第一表面的四个顶点投影到位于所述三维投影空间中的投影参考面上;
所述投影参考面为球面,所述三维投影空间的坐标系的坐标原点与所述球面形成的球体的球心重合;以及
所述球面包括第一极和第二极,所述球面的经线以及所述第一坐标轴所在的直线均经过所述第一极和所述第二极。
4.根据权利要求3所述的构建方法,其中,所述对所述四个第一投影点进行共面校正,以基于所述四个第一投影点获得所述第一表面的四个顶点在所述三维投影空间中的四个第二投影点包括:
设定第一投影面,
其中,所述第一投影面平行于所述三维投影空间的坐标系的第一坐标面,所述第一坐标面垂直于所述第一坐标轴;以及
所述第一投影面与所述三维投影空间的坐标系的坐标原点彼此间隔,且位于所述第一坐标面的靠近所述四个第一投影点的一侧;以及
将所述四个第一投影点与所述三维投影空间的坐标系的坐标原点的连线与所述第一投影面的四个交点作为所述四个第二投影点。
5.根据权利要求1-4任一所述的构建方法,其中,所述四个第二投影点形成的四边形为矩形;以及
所述基于所述四个第二投影点获取所述三维模型的第一表面的四个顶点包括:将所述四个第二投影点作为所述三维模型的第一表面的四个顶点。
6.根据权利要求1-4任一所述的构建方法,其中,所述三维模型的第一表面的四个顶点形成的四边形为矩形;以及
所述基于所述四个第二投影点获取所述三维模型的第一表面的四个顶点包括:通过对所述四个第二投影点形成的四边形进行直角校正获取所述三维模型的第一表面的四个顶点。
7.根据权利要求6所述的构建方法,其中,所述通过对所述四个第二投影点形成的四边形进行直角校正获取所述三维模型的第一表面的四个顶点包括:
选取所述四个第二投影点中三个第二投影点;以及
基于所述三个第二投影点获取所述三维模型的第一表面的四个顶点。
8.根据权利要求7所述的构建方法,其中,所述选取所述四个第二投影点中三个第二投影点包括:
获取所述第一表面的四个顶点在所述二维全景图像的坐标系中的坐标的置信度;
至少基于所述第一表面的四个顶点在所述二维全景图像的坐标系中的坐标的置信度确定所述四个第二投影点的置信度;以及
基于所述四个第二投影点的可信度选取所述四个第二投影点中可信度最高的三个第二投影点作为所述三个第二投影点。
9.根据权利要求8所述的构建方法,其中,所述基于所述三个第二投影点获取所述三维模型的第一表面的四个顶点包括:
基于所述三个第二投影点中获取第一校正点和第二校正点,并将所述置信度最高的两个第二投影点、所述第一校正点和所述第二校正点作为所述三维模型的第一表面的四个顶点,
其中,如果所述置信度最高的两个第二投影点对应于所述第一表面的一条对角线,则所述第一校正点和所述第二校正点的连线对应于所述第一表面的另一条对角线;以及
如果所述置信度最高的两个第二投影点对应于所述第一表面的一条边,则所述第一校正点和所述第二校正点的连线对应于所述第一表面的另一条边,且平行于所述置信度最高的两个第二投影点的连线,所述三个第二投影点中除所述置信度最高的两个第二投影点之外的投影点位于所述第一校正点和所述第二校正点的连线所在的直线上。
10.根据权利要求1-4任一所述的构建方法,其中,所述三维模型的第二表面和所述三维模型的第一表面在所述第一坐标轴的延伸方向上完全重合;以及
所述基于所述三维模型的第一表面的四个顶点以及所述三维空间在所述三维投影空间中投影的沿所述第一坐标轴的高度获取所述三维模型的第二表面的四个顶点包括:
将所述三维模型的第一表面的四个顶点沿所述第一坐标轴、朝向所述第一投影面的靠近所述第一坐标面的一侧平移第一距离得到的四个点作为所述三维模型的第二表面的四个顶点,其中,所述第一距离等于所述三维空间在所述三维投影空间中投影的沿所述第一坐标轴的高度。
11.根据权利要求10所述的构建方法,还包括:
获取所述三维空间的第二表面的四个顶点在所述二维全景图像的坐标系中的坐标,其中,所述第二表面为所述三维空间的平行于所述三维空间所在空间的水平面的两个表面中的另一个;
基于所述第二表面的四个顶点在所述二维全景图像的坐标系中的坐标将所述第二表面的四个顶点投影到所述三维投影空间中,以获得所述第二表面的四个顶点位于所述三维投影空间中的四个第三投影点;以及
将所述四个第一投影点和所述四个第三投影点中对应的投影点在所述第一坐标轴上的坐标值的差值的绝对值的平均值作为所述三维空间在所述三维投影空间中投影的沿所述第一坐标轴的高度。
12.根据权利要求1-4任一所述的构建方法,还包括:将所述二维全景图像的各个像素投影到所述三维空间的三维模型的对应面上,以获取所述三维空间的三维模型的各个面对应的图像数据。
13.根据权利要求12所述的构建方法,其中,所述将所述二维全景图像的每个像素投影到所述三维空间的三维模型的对应面上包括:
将所述二维全景图像的每个像素投影到所述三维投影空间中以获得所述每个像素投影在所述三维投影空间中的像素投影点;
将所述像素投影点与所述三维投影空间的坐标系的坐标原点的连线与所述三维空间的三维模型的表面的交点作为所述每个像素在所述三维空间的三维模型的对应面上投影点。
14.根据权利要求13所述的构建方法,还包括:输出所述三维模型的第一表面的四个顶点和所述三维模型的第二表面的四个顶点在所述三维投影空间的坐标系中的坐标以及所述三维空间的三维模型的各个面对应的图像数据。
15.一种三维空间的三维模型的构建装置,包括:投影装置、共面校正装置、第一表面获取装置和模型重建装置,
其中,所述投影装置被配置为获取所述三维空间的二维全景图像以及所述三维空间的第一表面的四个顶点在所述二维全景图像的坐标系中的坐标,以及基于所述第一表面的四个顶点在所述二维全景图像的坐标系中的坐标将所述第一表面的四个顶点投影到三维投影空间中,以获得所述第一表面的四个顶点在所述三维投影空间中的四个第一投影点,
其中,所述第一表面为所述三维空间的平行于所述三维空间所在空间的水平面的两个表面中的一个;以及
所述三维投影空间的坐标系的第一坐标轴对应于所述三维空间在所述三维投影空间中投影的高度方向;
所述共面校正装置被配置为对所述四个第一投影点进行共面校正,以基于所述四个第一投影点获得所述第一表面的四个顶点在所述三维投影空间中的四个第二投影点,其中,所述四个第二投影点共面,所述四个第二投影点所在的平面与所述第一坐标轴垂直,且与所述三维投影空间的坐标系的坐标原点彼此间隔;
所述第一表面获取装置被配置为基于所述四个第二投影点获取所述三维模型的第一表面的四个顶点,其中,所述三维模型的第一表面垂直于所述第一坐标轴;以及
所述模型重建装置被配置为基于所述三维模型的第一表面的四个顶点以及所述三维空间在所述三维投影空间中投影的沿所述第一坐标轴的高度获取所述三维模型的第二表面的四个顶点,其中,所述三维模型的第一表面对应于所述三维空间的第一表面,所述三维模型的第二表面平行于所述三维模型的第一表面。
16.一种三维空间的三维模型的构建装置,包括:处理器和存储器,
其中,所述存储器中存储有适于所述处理器执行的计算机程序指令,所述计算机程序指令被所述处理器运行时使得所述处理器执行如权利要求1-14任一项所述的构建方法。
17.一种非暂时性存储介质,包括存储其上的计算机程序指令,
其中,所述计算机程序指令被处理器运行时使得计算机执行如权利要求1-14任一项所述的构建方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911311608.5A CN111223177B (zh) | 2019-12-18 | 2019-12-18 | 三维空间的三维模型的构建方法和装置、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911311608.5A CN111223177B (zh) | 2019-12-18 | 2019-12-18 | 三维空间的三维模型的构建方法和装置、存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111223177A true CN111223177A (zh) | 2020-06-02 |
CN111223177B CN111223177B (zh) | 2020-12-04 |
Family
ID=70832182
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911311608.5A Active CN111223177B (zh) | 2019-12-18 | 2019-12-18 | 三维空间的三维模型的构建方法和装置、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111223177B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111767594A (zh) * | 2020-06-08 | 2020-10-13 | 国网新疆电力有限公司建设分公司 | 临时建筑模型生成方法和装置、设备及存储介质 |
CN111784826A (zh) * | 2020-07-14 | 2020-10-16 | 深圳移动互联研究院有限公司 | 一种基于全景图像生成三维结构示意图的方法和系统 |
CN111984172A (zh) * | 2020-07-15 | 2020-11-24 | 北京城市网邻信息技术有限公司 | 一种家具移动方法及装置 |
CN112186351A (zh) * | 2020-09-16 | 2021-01-05 | 中国人民解放军海军工程大学 | 天线罩的球面等积比共形映射方法 |
CN112186353A (zh) * | 2020-09-16 | 2021-01-05 | 中国人民解放军海军工程大学 | 等径比共形映射的球面天线罩 |
CN112186350A (zh) * | 2020-09-16 | 2021-01-05 | 中国人民解放军海军工程大学 | 等周比共形映射的球面天线罩 |
CN112186352A (zh) * | 2020-09-16 | 2021-01-05 | 中国人民解放军海军工程大学 | 天线罩的球面等径比共形映射方法 |
CN112234352A (zh) * | 2020-09-16 | 2021-01-15 | 中国人民解放军海军工程大学 | 等积比共形映射的球面天线罩 |
CN114708383A (zh) * | 2022-03-22 | 2022-07-05 | 广州市圆方计算机软件工程有限公司 | 二维平面转三维立体场景的天花和地面构造方法及系统 |
WO2023061364A1 (zh) * | 2021-10-15 | 2023-04-20 | 华为技术有限公司 | 建立模型的方法和相关装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6639596B1 (en) * | 1999-09-20 | 2003-10-28 | Microsoft Corporation | Stereo reconstruction from multiperspective panoramas |
US20110234757A1 (en) * | 2010-03-23 | 2011-09-29 | California Institute Of Technology | Super resolution optofluidic microscopes for 2d and 3d imaging |
CN102881040A (zh) * | 2012-08-08 | 2013-01-16 | 浙江华震数字化工程有限公司 | 一种数码相机移动拍摄三维重建方法 |
CN105787951A (zh) * | 2016-03-24 | 2016-07-20 | 优势拓展(北京)科技有限公司 | 鱼眼镜头拍摄图像的3d特效全景显示方法和系统 |
CN106327532A (zh) * | 2016-08-31 | 2017-01-11 | 北京天睿空间科技股份有限公司 | 一种单幅图像的三维配准方法 |
CN106384346A (zh) * | 2016-09-05 | 2017-02-08 | 乐视控股(北京)有限公司 | 一种图像处理方法和装置 |
CN108961395A (zh) * | 2018-07-03 | 2018-12-07 | 上海亦我信息技术有限公司 | 一种基于拍照重建三维空间场景的方法 |
-
2019
- 2019-12-18 CN CN201911311608.5A patent/CN111223177B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6639596B1 (en) * | 1999-09-20 | 2003-10-28 | Microsoft Corporation | Stereo reconstruction from multiperspective panoramas |
US20110234757A1 (en) * | 2010-03-23 | 2011-09-29 | California Institute Of Technology | Super resolution optofluidic microscopes for 2d and 3d imaging |
CN102881040A (zh) * | 2012-08-08 | 2013-01-16 | 浙江华震数字化工程有限公司 | 一种数码相机移动拍摄三维重建方法 |
CN105787951A (zh) * | 2016-03-24 | 2016-07-20 | 优势拓展(北京)科技有限公司 | 鱼眼镜头拍摄图像的3d特效全景显示方法和系统 |
CN106327532A (zh) * | 2016-08-31 | 2017-01-11 | 北京天睿空间科技股份有限公司 | 一种单幅图像的三维配准方法 |
CN106384346A (zh) * | 2016-09-05 | 2017-02-08 | 乐视控股(北京)有限公司 | 一种图像处理方法和装置 |
CN108961395A (zh) * | 2018-07-03 | 2018-12-07 | 上海亦我信息技术有限公司 | 一种基于拍照重建三维空间场景的方法 |
Non-Patent Citations (1)
Title |
---|
庞晓磊: "基于多摄像机系统的全景三维重建", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111767594A (zh) * | 2020-06-08 | 2020-10-13 | 国网新疆电力有限公司建设分公司 | 临时建筑模型生成方法和装置、设备及存储介质 |
CN111767594B (zh) * | 2020-06-08 | 2024-03-12 | 国网新疆电力有限公司建设分公司 | 临时建筑模型生成方法和装置、设备及存储介质 |
CN111784826A (zh) * | 2020-07-14 | 2020-10-16 | 深圳移动互联研究院有限公司 | 一种基于全景图像生成三维结构示意图的方法和系统 |
CN111984172A (zh) * | 2020-07-15 | 2020-11-24 | 北京城市网邻信息技术有限公司 | 一种家具移动方法及装置 |
CN112186352B (zh) * | 2020-09-16 | 2022-05-17 | 中国人民解放军海军工程大学 | 天线罩的球面等径比共形映射方法 |
CN112186350A (zh) * | 2020-09-16 | 2021-01-05 | 中国人民解放军海军工程大学 | 等周比共形映射的球面天线罩 |
CN112186352A (zh) * | 2020-09-16 | 2021-01-05 | 中国人民解放军海军工程大学 | 天线罩的球面等径比共形映射方法 |
CN112234352A (zh) * | 2020-09-16 | 2021-01-15 | 中国人民解放军海军工程大学 | 等积比共形映射的球面天线罩 |
CN112186353A (zh) * | 2020-09-16 | 2021-01-05 | 中国人民解放军海军工程大学 | 等径比共形映射的球面天线罩 |
CN112186351B (zh) * | 2020-09-16 | 2022-05-17 | 中国人民解放军海军工程大学 | 天线罩的球面等积比共形映射方法 |
CN112186350B (zh) * | 2020-09-16 | 2022-05-17 | 中国人民解放军海军工程大学 | 等周比共形映射的球面天线罩 |
CN112186353B (zh) * | 2020-09-16 | 2022-05-17 | 中国人民解放军海军工程大学 | 等径比共形映射的球面天线罩 |
CN112234352B (zh) * | 2020-09-16 | 2022-05-17 | 中国人民解放军海军工程大学 | 等积比共形映射的球面天线罩 |
CN112186351A (zh) * | 2020-09-16 | 2021-01-05 | 中国人民解放军海军工程大学 | 天线罩的球面等积比共形映射方法 |
WO2023061364A1 (zh) * | 2021-10-15 | 2023-04-20 | 华为技术有限公司 | 建立模型的方法和相关装置 |
CN114708383A (zh) * | 2022-03-22 | 2022-07-05 | 广州市圆方计算机软件工程有限公司 | 二维平面转三维立体场景的天花和地面构造方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111223177B (zh) | 2020-12-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111223177B (zh) | 三维空间的三维模型的构建方法和装置、存储介质 | |
CN111161173B (zh) | 图像的校正信息获取、模型构建方法和装置、介质 | |
CN111127655B (zh) | 房屋户型图的构建方法及构建装置、存储介质 | |
CN111862179B (zh) | 三维对象建模方法与设备、图像处理装置及介质 | |
US10026218B1 (en) | Modeling indoor scenes based on digital images | |
US10846844B1 (en) | Collaborative disparity decomposition | |
US10515477B2 (en) | Photorealistic three dimensional texturing using canonical views and a two-stage approach | |
CN111862302B (zh) | 图像处理和对象建模方法与设备、图像处理装置及介质 | |
CN113240769B (zh) | 空间链接关系识别方法及装置、存储介质 | |
WO2020001039A1 (en) | System and method for multi-user augmented reality shopping | |
US20140085295A1 (en) | Direct environmental mapping method and system | |
US11380049B2 (en) | Finite aperture omni-directional stereo light transport | |
CN111091117B (zh) | 用于二维全景图像的目标检测方法、装置、设备、介质 | |
CN111161138B (zh) | 用于二维全景图像的目标检测方法、装置、设备、介质 | |
Budge et al. | Automatic registration of fused lidar/digital imagery (texel images) for three-dimensional image creation | |
Zaheer et al. | Shape from angle regularity | |
Tanács et al. | Collaborative mobile 3d reconstruction of urban scenes | |
Fredriksson et al. | Efficient algorithms for robust estimation of relative translation | |
CN114359456B (zh) | 贴图方法、装置、电子设备及可读存储介质 | |
US20220245890A1 (en) | Three-dimensional modelling from photographs in series | |
CN111178300B (zh) | 目标检测方法、装置、设备、介质 | |
WO2024087137A1 (zh) | 一种渲染方法及相关装置 | |
CN117788710A (zh) | 基于鱼眼图的三维空间融合方法、装置、电子设备和介质 | |
CN113706681A (zh) | 图像处理方法及电子设备 | |
Martins | Direct visual odometry and dense large-scale environment mapping from panoramic RGB-D images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40030785 Country of ref document: HK |