CN112802183A - 一种三维虚拟场景重建的方法、装置以及电子设备 - Google Patents

一种三维虚拟场景重建的方法、装置以及电子设备 Download PDF

Info

Publication number
CN112802183A
CN112802183A CN202110077430.3A CN202110077430A CN112802183A CN 112802183 A CN112802183 A CN 112802183A CN 202110077430 A CN202110077430 A CN 202110077430A CN 112802183 A CN112802183 A CN 112802183A
Authority
CN
China
Prior art keywords
virtual scene
camera
dimensional virtual
image
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110077430.3A
Other languages
English (en)
Inventor
梁权富
胡雪勤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sunrise Digital Technology Co ltd
Original Assignee
Shenzhen Sunrise Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sunrise Digital Technology Co ltd filed Critical Shenzhen Sunrise Digital Technology Co ltd
Priority to CN202110077430.3A priority Critical patent/CN112802183A/zh
Publication of CN112802183A publication Critical patent/CN112802183A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/61—Scene description
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例涉及三维重建技术领域，特别是涉及一种三维虚拟场景重建的方法、装置以及电子设备。该方法包括：在所述三维虚拟场景设置多个虚拟相机点位，并在每一所述虚拟相机点位设置虚拟相机；获取多个所述虚拟相机拍摄所述三维虚拟场景得到的图像；获取多个所述虚拟相机的相机参数；对所述图像和相机参数进行解算，生成彩色点云；根据所述彩色点云，使用预设算法，重建所述三维虚拟场景。通过上述方法可以实现对三维虚拟场景的重建，且重建的模型的文件大小小，重建的模型可方便的在网络上传播，所述三维虚拟场景重建的方法的使用范围广。

Description

一种三维虚拟场景重建的方法、装置以及电子设备
技术领域
本发明实施例涉及三维重建技术领域，特别是涉及一种三维虚拟场景重建的方法、装置以及电子设备。
背景技术
三维重建是指对三维物体建立适合计算机表示和处理的数学模型, 是在计算机环境下对其进行处理、操作和分析其性质的基础,也是在计算机中建立表达客观世界的虚拟现实的关键技术，简单地说，三维重建就是从输入数据中建立3D模型。
但是，在实现本发明实施例的过程中，发明人发现：目前，三维重建中使用的输入数据是用户实地拍摄的，实地拍摄需要拍摄设备且对拍摄环境有要求，因此使得三维重建技术的发展受到限制，因此，人们将研究目光转向对三维虚拟场景进行重建。
发明内容
鉴于上述问题，本发明实施例提供了一种三维虚拟场景重建的方法、装置以及电子设备，克服了上述问题或者至少部分地解决了上述问题。
根据本发明实施例的一个方面，提供了一种三维虚拟场景重建的方法，包括：在所述三维虚拟场景设置多个虚拟相机点位，并在每一所述虚拟相机点位设置虚拟相机；获取多个所述虚拟相机拍摄所述三维虚拟场景得到的图像；获取多个所述虚拟相机的相机参数；对所述图像和相机参数进行解算，生成彩色点云；根据所述彩色点云，使用预设算法，重建所述三维虚拟场景。
在一种可选的方式中，所述虚拟相机拍摄所述三维虚拟场景得到的图像包括所述虚拟相机朝前、朝后、朝左、朝右、朝上和朝下六个方向拍摄所述三维虚拟场景得到的图像。
在一种可选的方式中，所述多个所述虚拟相机拍摄的图像完全覆盖所述三维虚拟场景。
在一种可选的方式中，所述图像包括色彩图像和深度图像，所述相机参数包括相机外参矩阵；所述对所述图像和相机参数进行解算，生成彩色点云的步骤，进一步包括：将所述色彩图像、深度图像和相机外参矩阵带入点云库进行解算，得到彩色点云。
在一种可选的方式中，所述深度图的格式为EXR格式。
在一种可选的方式中，所述图像包括材质图像；所述方法还包括：根据所述彩色点云的拓扑结构，将所述材质图像生成贴图；将所述贴图加入重建的所述三维虚拟场景的模型中。
在一种可选的方式中，所述材质图像包括高光通道图、反射通道图、折射通道图和法线通道图中一种或者多种。
在一种可选的方式中，所述预设算法包括泊松重建法或者滚球法。
根据本发明实施例的一个方面，提供了一种三维虚拟场景重建的装置，包括：相机设置模块，用于在所述三维虚拟场景设置多个虚拟相机点位，并在每一所述虚拟相机点位设置虚拟相机；第一获取模块，用于获取多个所述虚拟相机拍摄所述三维虚拟场景得到的图像；第二获取模块，用于获取多个所述虚拟相机的相机参数；点云生成模块，用于对所述图像和相机参数进行解算，生成彩色点云；重建模块，用于根据所述彩色点云，使用预设算法，重建所述三维虚拟场景。
在一种可选的方式中，所述虚拟相机拍摄所述三维虚拟场景得到的图像包括所述虚拟相机朝前、朝后、朝左、朝右、朝上和朝下六个方向拍摄所述三维虚拟场景得到的图像。
在一种可选的方式中，所述多个所述虚拟相机拍摄的图像完全覆盖所述三维虚拟场景。
在一种可选的方式中，所述图像包括色彩图像和深度图像，所述相机参数包括相机外参矩阵；点云生成模块具体用于：将所述色彩图像、深度图像和相机外参矩阵带入点云库进行解算，得到彩色点云。
在一种可选的方式中，所述深度图的格式为EXR格式。
在一种可选的方式中，所述图像包括材质图像；所述装置还包括：贴图生成模块，用于根据所述彩色点云的拓扑结构，将所述材质图像生成贴图；贴图重建模块，用于将所述贴图加入重建的所述三维虚拟场景的模型中。
在一种可选的方式中，所述材质图像包括高光通道图、反射通道图、折射通道图和法线通道图中一种或者多种。
在一种可选的方式中，所述预设算法包括泊松重建法或者滚球法。
根据本发明实施例的一个方面，提供了一种电子设备，该电子设备包括：至少一个处理器，以及存储器，所述存储器与所述至少一个处理器通信连接，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。
本发明实施例的有益效果是：区别于现有的三维重建的方法，本申请通过对三维虚拟场景使用虚拟相机进行拍摄图像、根据所述图像生成彩色点云以及根据所述彩色点云，使用预设算法，重建所述三维虚拟场景，可以实现对三维虚拟场景的重建，且重建的模型的文件大小远小于所述三维虚拟场景，从而方便重建的模型在网络上进行传播。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是本发明实施例提供的一种三维虚拟场景重建的方法的流程示意图；
图2是本发明实施例提供的另一种三维虚拟场景重建的方法的流程示意图；
图3是本发明实施例提供的一种三维虚拟场景重建的装置的示意图；
图4是本发明实施例提供的执行三维虚拟场景重建的方法的电子设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，当元件被表述“固定于”另一个元件，它可以直接在另一个元件上、或者其间可以存在一个或多个居中的元件。当一个元件被表述“连接”另一个元件，它可以是直接连接到另一个元件、或者其间可以存在一个或多个居中的元件。本说明书所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
此外，下面所描述的本发明各个实施例中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例一
请参阅图1，图1是本发明实施例提供的一种三维虚拟场景重建的方法的流程示意图，该方法包括以下步骤：
步骤S10，在所述三维虚拟场景设置多个虚拟相机点位，并在每一所述虚拟相机点位设置虚拟相机。
其中，所述三维虚拟场景包括人工建模形成的三维模型。为了追求建成的三维模型的真实性，人工建模时会建立的比较精细，三维模型的模型面数可达到千万级，是一种重量级的三维模型，人工建模形成的三维模型的运行需要特定的设备，换而言之，人工建模形成的三维模型不能在网络上传播，因此人工建模形成的三维模型使用受限。
其中，所述三维虚拟场景优选的是经过预渲染的三维模型，则通过本申请的三维虚拟场景重建的方法重建的三维模型的视觉效果好。
需要说明的是，本申请的三维虚拟场景重建的方法并不一定需要将三维虚拟场景的每个细节都进行重建，而只是对主要的地方，或者用户想要重建的地方进行重建，因此，所述虚拟相机点位设置于所述三维虚拟场景的主要的地方或者用户想要重建的地方。
当然，所述虚拟相机点位、所述虚拟相机的数量也可设置的足够多，从而使得所述虚拟相机的取景范围覆盖所述三维虚拟场景的各个方面，从而对所述三维虚拟场景进行完全的重建。
步骤S20，获取多个所述虚拟相机拍摄所述三维虚拟场景得到的图像。
其中，所述图像可完全覆盖所述三维虚拟场景，从而对所述三维虚拟场景进行完全的重建。
当然，所述图像也可只是覆盖所述三维虚拟场景的主要的地方，或者用户想要重建的地方。
例如，所述三维虚拟场景为一户型的模型，例如客厅的陈设是主要的地方，客厅内茶几下方的具体的是否还设置其他物品是次要关注的问题，即茶几下方是次要的地方，则可在所述客厅的中央设置一虚拟相机点位，而不需要在茶几下方设置所述虚拟相机点位，则所述图像包括所述虚拟相机从所述客厅中央拍摄的图像。
其中，所述虚拟相机拍摄所述三维虚拟场景得到的图像包括所述虚拟相机朝前、朝后、朝左、朝右、朝上和朝下六个方向拍摄所述三维虚拟场景得到的图像。
需要说明的是，所述虚拟相机为广角相机，所述广角相机的取景范围覆盖其前方90度范围，则所述虚拟相机朝前、朝后、朝左、朝右、朝上和朝下六个方向拍摄所述三维虚拟场景得到的图像包括所述虚拟相机所述所在空间范围内的景象。
值得说明的是，所述虚拟相机拍摄所述三维虚拟场景得到的图像也可以是所述虚拟相机所述在空间范围内的全景图、高动态范围图像和二进制图像数据等。
步骤S30，获取多个所述虚拟相机的相机参数。
其中，所述相机的相机参数包括相机外参矩阵。
步骤S40，对所述图像和相机参数进行解算，生成彩色点云。
所述图像包括色彩图像和深度图像，所述对所述图像和相机参数进行解算，生成彩色点云的步骤，具体的包括：将所述色彩图像、深度图像和相机外参矩阵带入点云库进行解算，得到彩色点云。
其中，所述色彩图像是RGB色彩图，采用jpg格式，所述色彩图的尺寸为2048x2048或者4096x4096。
其中，所述深度图像采用EXR格式，且是32位EXR格式的图像，使用EXR格式的图像的精度高。
其中，所述相机参数采用txt格式。
其中，所述相机外参矩阵是4x4格式的数学矩阵，记录所述虚拟相机在所述三维虚拟场景世界坐标体系中的位置、旋转角度、缩放大小的值。
其中，所述点云库包括pcl库或者open3d库。
需要说明的是，所述色彩图像的格式也可以是其他形式，例如tga、 tif和png等；所述深度图像的格式也可以是其他形式，例如png、tga、 tif或者其它二进制文件格式等。
步骤S50，根据所述彩色点云，使用预设算法，重建所述三维虚拟场景。
所述预设算法包括泊松重建法或者滚球法。
在重建所述三维虚拟场景时，模型面数可控制在几十万以内，或者模型面数可控制在10万以内，重建的模型的文件大小在3-5M范围内，可以很方便的互联网上进行传播。
需要说明的是，重建的模型的可采用国际通用的GLTF格式，从而使得重建的模型可以在任意的三维软件中再次的使用。
重建的模型也可以采用其他的格式，例如，obj、gltf或py格式等。
值得说明的是，所述三维虚拟场景优选的是经过预渲染的三维模型，则所述虚拟相机拍摄的图像是预渲染图像，则重建的模型的画面质量高、视觉效果好。换而言之，所述三维虚拟场景优选经过预渲染的三维模型，则重建的模型不需要渲染即可获得良好的视觉效果，用户体验良好。
在本发明实施例中，通过在所述三维虚拟场景设置多个虚拟相机点位，并在每一所述虚拟相机点位设置虚拟相机；获取多个所述虚拟相机拍摄所述三维虚拟场景得到的图像；获取多个所述虚拟相机的相机参数；对所述图像和相机参数进行解算，生成彩色点云；根据所述彩色点云，使用预设算法，重建所述三维虚拟场景，可以实现对三维虚拟场景的重建。通过对三维虚拟场景使用虚拟相机进行拍摄图像、根据所述图像生成彩色点云以及重建所述三维虚拟场景，则重建的模型的文件大小远小于所述三维虚拟场景，从而方便重建的模型在网络上进行传播。
由于对所述三维虚拟场景进行重建形成的模型的文件大小小，可方便的在网络上进行传播，则重建形成的模型的使用范围广，即本申请的三维虚拟场景重建的方法的使用范围广。例如，可应用于建筑行业大型建筑模型设计方案，如住宅、商业综合体、博物馆和音乐厅等大型三维虚拟场景中，从而方便对设计方案的评审，以提高设计效率、降低设计成本以及便于对设计方案进行宣传。例如，可应用于智慧社区、智慧园区、智慧楼宇、数字博物馆等数字空间的场景。例如，可应用于工业设计，如厂房等。
实施例二
当所述虚拟相机拍摄的所述图像包括所述三维虚拟场景的材质信息，即包括材质图像时，可将材质图像加入对三维虚拟场景进行重建的模型中，以便于进一步的增加三维虚拟场景的真实性和获得良好的视觉效果。
请参阅图2，图2是本发明实施例提供的另一种三维虚拟场景重建的方法的流程示意图，所述方法包括以下步骤：
步骤S10’，在所述三维虚拟场景设置多个虚拟相机点位，并在每一所述虚拟相机点位设置虚拟相机。
步骤S20’，获取多个所述虚拟相机拍摄所述三维虚拟场景得到的图像。
步骤S30’，获取多个所述虚拟相机的相机参数。
步骤S40’，对所述图像和相机参数进行解算，生成彩色点云。
步骤S50’，根据所述彩色点云，使用预设算法，重建所述三维虚拟场景。
步骤S60’，根据所述彩色点云的拓扑结构，将所述材质图像生成贴图。
拓扑结构是多边形网络网络模型的点线面布局、结构、连接情况。只有根据彩色点云的拓扑结构，将所述材质图像生成贴图，然后加入重建的三维虚拟场景的模型中，重建的带贴图的模型才能呈现好的效果。
所述材质图像反应所述三维虚拟场景的材质信息，例如镜子和桌面的材质。
其中，所述材质图像包括高光通道图、反射通道图、折射通道图和法线通道图中一种或者多种。
步骤S70’，将所述贴图加入重建的所述三维虚拟场景的模型中。
将所述贴图加入重加的所述三维虚拟场景的模型中，则重建的模型的视觉效果好，真实度高，例如可以看到镜子的反光效果或者可以看到桌子表面的纹理等，用户体验良好。
在本发明实施例中，通过在所述三维虚拟场景设置多个虚拟相机点位，并在每一所述虚拟相机点位设置虚拟相机；获取多个所述虚拟相机拍摄所述三维虚拟场景得到的图像；获取多个所述虚拟相机的相机参数；对所述图像和相机参数进行解算，生成彩色点云；根据所述彩色点云，使用预设算法，重建所述三维虚拟场景；根据所述彩色点云的拓扑结构，将所述材质图像生成贴图；将所述贴图加入重建的所述三维虚拟场景的模型中，可以实现对三维虚拟场景的重建且重建的模型的视觉效果好，真实度高，更为重要的是，将贴图加入重建的所述三维虚拟场景的模型中并不会过多的增加重建的模型的文件的大小，加入了贴图的重建的模型仍然可以方便的在网络上传播。
实施例三
请参阅图3，图3是本发明实施例提供的一种三维虚拟场景重建的装置的示意图，该装置400包括：1.一种三维虚拟场景重建的装置400，其特征在于，包括：相机设置模块401、第一获取模块402、第二获取模块403、点云生成模块404和重建模块405。其中，相机设置模块401，用于在所述三维虚拟场景设置多个虚拟相机点位，并在每一所述虚拟相机点位设置虚拟相机；第一获取模块402，用于获取多个所述虚拟相机拍摄所述三维虚拟场景得到的图像；第二获取模块403，用于获取多个所述虚拟相机的相机参数；点云生成模块404，用于对所述图像和相机参数进行解算，生成彩色点云；重建模块405，用于根据所述彩色点云，使用预设算法，重建所述三维虚拟场景。
在一些实施例中，所述虚拟相机拍摄所述三维虚拟场景得到的图像包括所述虚拟相机朝前、朝后、朝左、朝右、朝上和朝下六个方向拍摄所述三维虚拟场景得到的图像。
在一些实施例中，所述多个所述虚拟相机拍摄的图像完全覆盖所述三维虚拟场景。
在一些实施例中，所述图像包括色彩图像和深度图像，所述相机参数包括相机外参矩阵；点云生成模块404具体用于：将所述色彩图像、深度图像和相机外参矩阵带入点云库进行解算，得到彩色点云。
在一些实施例中，所述深度图的格式为EXR格式。
在一些实施例中，所述图像包括材质图像；所述装置400还包括：贴图生成模块406，用于根据所述彩色点云的拓扑结构，将所述材质图像生成贴图；贴图重建模块407，用于将所述贴图加入重建的所述三维虚拟场景的模型中。
在一些实施例中，所述材质图像包括高光通道图、反射通道图、折射通道图和法线通道图中一种或者多种。
在一些实施例中，所述预设算法包括泊松重建法或者滚球法。
在本发明实施例中，通过相机设置模块401在所述三维虚拟场景设置多个虚拟相机点位，并在每一所述虚拟相机点位设置虚拟相机；通过第一获取模块402获取多个所述虚拟相机拍摄所述三维虚拟场景得到的图像；通过第二获取模块403获取多个所述虚拟相机的相机参数；通过点云生成模块404对所述图像和相机参数进行解算，生成彩色点云；通过重建模块405根据所述彩色点云，使用预设算法，重建所述三维虚拟场景，可以实现对三维虚拟场景的重建。通过对三维虚拟场景使用虚拟相机进行拍摄图像、根据所述图像生成彩色点云以及重建所述三维虚拟场景，则重建的模型的文件大小远小于所述三维虚拟场景，从而方便重建的模型在网络上进行传播。
实施例四
请参阅图4，图4是是本发明实施例提供的执行三维虚拟场景重建的方法的电子设备的硬件结构示意图。该电子设备50包括：一个或多个处理器51以及存储器52，图4中以一个存储器为例。
处理器51和存储器52可以通过总线或者其他方式连接，本发明实施例中以通过总线连接为例。
存储器52作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的三维虚拟场景重建的方法对应的程序指令/模块(例如，附图3 所示的各个模块)。处理器51通过运行存储在存储器52中的非易失性软件程序、指令以及模块，从而执行三维虚拟场景重建的装置的各种功能应用以及数据处理，即实现上述方法实施例的三维虚拟场景重建的方法。
存储器52可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据三维虚拟场景重建的装置的使用所创建的数据等。此外，存储器52 可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器52可选包括相对于处理器51远程设置的存储器，这些远程存储器可以通过网络连接至三维虚拟场景重建装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器52中，当被所述一个或者多个处理器51执行时，执行上述任意方法实施例中的三维虚拟场景重建的方法。
上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。
本发明实施例提供了一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被电子设备执行上述任意方法实施例中的三维虚拟场景重建的方法。
本发明实施例提供了一种计算机程序产品，包括存储在非易失性计算机可读存储介质上的计算程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时时，使所述计算机执行上述任意方法实施例中的三维虚拟场景重建的方法。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件来实现。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种三维虚拟场景重建的方法，其特征在于，包括：
在所述三维虚拟场景设置多个虚拟相机点位，并在每一所述虚拟相机点位设置虚拟相机；
获取多个所述虚拟相机拍摄所述三维虚拟场景得到的图像；
获取多个所述虚拟相机的相机参数；
对所述图像和相机参数进行解算，生成彩色点云；
根据所述彩色点云，使用预设算法，重建所述三维虚拟场景。
2.根据权利要求1所述的方法，其特征在于，所述虚拟相机拍摄所述三维虚拟场景得到的图像包括所述虚拟相机朝前、朝后、朝左、朝右、朝上和朝下六个方向拍摄所述三维虚拟场景得到的图像。
3.根据权利要求1所述的方法，其特征在于，所述多个所述虚拟相机拍摄的图像完全覆盖所述三维虚拟场景。
4.根据权利要求1所述的方法，其特征在于，所述图像包括色彩图像和深度图像，所述相机参数包括相机外参矩阵；
所述对所述图像和相机参数进行解算，生成彩色点云的步骤，进一步包括：
将所述色彩图像、深度图像和相机外参矩阵带入点云库进行解算，得到彩色点云。
5.根据权利要求4所述的方法，其特征在于，所述深度图的格式为EXR格式。
6.根据权利要求1-5中任意一项所述的方法，其特征在于，所述图像包括材质图像；
所述方法还包括：
根据所述彩色点云的拓扑结构，将所述材质图像生成贴图；
将所述贴图加入重建的所述三维虚拟场景的模型中。
7.根据权利要求6所述的方法，其特征在于，所述材质图像包括高光通道图、反射通道图、折射通道图和法线通道图中一种或者多种。
8.根据权利要求1-5任意一项所述的方法，其特征在于，所述预设算法包括泊松重建法或者滚球法。
9.一种三维虚拟场景重建的方法，其特征在于，包括：
相机设置模块，用于在所述三维虚拟场景设置多个虚拟相机点位，并在每一所述虚拟相机点位设置虚拟相机；
第一获取模块，用于获取多个所述虚拟相机拍摄所述三维虚拟场景得到的图像；
第二获取模块，用于获取多个所述虚拟相机的相机参数；
点云生成模块，用于对所述图像和相机参数进行解算，生成彩色点云；
重建模块，用于根据所述彩色点云，使用预设算法，重建所述三维虚拟场景。
10.一种电子设备，其特征在于，包括：
至少一个处理器；以及
存储器，所述存储器与所述至少一个处理器通信连接，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。
CN202110077430.3A 2021-01-20 2021-01-20 一种三维虚拟场景重建的方法、装置以及电子设备 Pending CN112802183A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110077430.3A CN112802183A (zh) 2021-01-20 2021-01-20 一种三维虚拟场景重建的方法、装置以及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110077430.3A CN112802183A (zh) 2021-01-20 2021-01-20 一种三维虚拟场景重建的方法、装置以及电子设备

Publications (1)

Publication Number Publication Date
CN112802183A true CN112802183A (zh) 2021-05-14

Family

ID=75810864

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110077430.3A Pending CN112802183A (zh) 2021-01-20 2021-01-20 一种三维虚拟场景重建的方法、装置以及电子设备

Country Status (1)

Country Link
CN (1) CN112802183A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114205532A (zh) * 2022-02-21 2022-03-18 广州三七极创网络科技有限公司 一种虚拟摄像机的拍摄方法、装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678839A (zh) * 2015-12-30 2016-06-15 天津德勤和创科技发展有限公司 基于计算机三维场景模拟技术的安防设备分布设计方法
CN106875437A (zh) * 2016-12-27 2017-06-20 北京航空航天大学 一种面向rgbd三维重建的关键帧提取方法
CN107016704A (zh) * 2017-03-09 2017-08-04 杭州电子科技大学 一种基于增强现实的虚拟现实实现方法
CN108399634A (zh) * 2018-01-16 2018-08-14 达闼科技（北京）有限公司 基于云端计算的rgb-d数据生成方法及装置
CN109949413A (zh) * 2019-03-27 2019-06-28 武汉数文科技有限公司 模型展示方法、系统及电子设备
CN111241615A (zh) * 2019-12-31 2020-06-05 国网山西省电力公司晋中供电公司 一种高度真实感的变电站多源融合三维建模方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678839A (zh) * 2015-12-30 2016-06-15 天津德勤和创科技发展有限公司 基于计算机三维场景模拟技术的安防设备分布设计方法
CN106875437A (zh) * 2016-12-27 2017-06-20 北京航空航天大学 一种面向rgbd三维重建的关键帧提取方法
CN107016704A (zh) * 2017-03-09 2017-08-04 杭州电子科技大学 一种基于增强现实的虚拟现实实现方法
CN108399634A (zh) * 2018-01-16 2018-08-14 达闼科技（北京）有限公司 基于云端计算的rgb-d数据生成方法及装置
CN109949413A (zh) * 2019-03-27 2019-06-28 武汉数文科技有限公司 模型展示方法、系统及电子设备
CN111241615A (zh) * 2019-12-31 2020-06-05 国网山西省电力公司晋中供电公司 一种高度真实感的变电站多源融合三维建模方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114205532A (zh) * 2022-02-21 2022-03-18 广州三七极创网络科技有限公司 一种虚拟摄像机的拍摄方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN109658365B (zh) 图像处理方法、装置、系统和存储介质
CN114119849B (zh) 三维场景渲染方法、设备以及存储介质
CN109242961B (zh) 一种脸部建模方法、装置、电子设备和计算机可读介质
CN106375748B (zh) 立体虚拟现实全景视图拼接方法、装置及电子设备
CN109064542B (zh) 三维模型表面空洞填补方法和装置
CN108564527B (zh) 基于神经网络的全景图内容补全和修复的方法及装置
CN110874818B (zh) 图像处理和虚拟空间构建方法、装置、系统和存储介质
CN110728755B (zh) 场景间漫游、模型拓扑创建、场景切换方法及系统
CN108961417A (zh) 在三维房屋模型中自动生成空间尺寸的方法和装置
KR102467556B1 (ko) 실측 깊이정보를 이용한 정밀한 360 이미지 제작기법
CN113610981A (zh) 脸部模型生成方法、交互方法及相关装置
CN106326334A (zh) 一种电子地图的显示、生成方法和装置
CN116051747A (zh) 一种基于缺失点云数据的房屋三维模型重建方法及设备、介质
CN115439607A (zh) 一种三维重建方法、装置、电子设备及存储介质
CN108765270A (zh) 一种虚拟三维空间标签绑定方法及装置
CN115187729B (zh) 三维模型生成方法、装置、设备和存储介质
CN111653175B (zh) 一种虚拟沙盘展示方法及装置
CN111508033A (zh) 相机参数确定方法、图像处理方法、存储介质及电子装置
CN114549289A (zh) 图像处理方法、装置、电子设备和计算机存储介质
CN117456076A (zh) 一种材质贴图生成方法及相关设备
CN112802183A (zh) 一种三维虚拟场景重建的方法、装置以及电子设备
CN114452646A (zh) 虚拟对象透视处理方法、装置及计算机设备
CN110038302B (zh) 基于Unity3D的网格生成方法及装置
CN111932446A (zh) 三维全景地图的构建方法及装置
WO2023056879A1 (zh) 一种模型处理方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 518000 room 115, Weigu maker space, high tech Industrial Park, Bantian street, Longgang District, Shenzhen City, Guangdong Province

Applicant after: Shenzhen Mirror Image Digital Technology Co.,Ltd.

Address before: 518000 NO.115, Weigu Zhongchuang space, Beier Road, Bantian, Longgang District, Shenzhen City, Guangdong Province

Applicant before: Shenzhen sunrise Digital Technology Co.,Ltd.