CN116580163A - 三维场景重建方法、电子设备及存储介质 - Google Patents
三维场景重建方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116580163A CN116580163A CN202310864385.5A CN202310864385A CN116580163A CN 116580163 A CN116580163 A CN 116580163A CN 202310864385 A CN202310864385 A CN 202310864385A CN 116580163 A CN116580163 A CN 116580163A
- Authority
- CN
- China
- Prior art keywords
- data
- point cloud
- network
- image data
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 85
- 238000013528 artificial neural network Methods 0.000 claims abstract description 66
- 238000009877 rendering Methods 0.000 claims abstract description 21
- 238000005457 optimization Methods 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 36
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 abstract description 8
- 238000004458 analytical method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Geometry (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
Abstract
本申请提供一种三维场景重建方法、电子设备及存储介质，三维场景重建方法包括：利用预设神经网络对原始图像数据和原始点云数据进行预处理，得到预处理图像数据和预处理点云数据；利用原始图像数据与预处理图像数据之间的误差图像数据以及原始点云数据与预处理点云数据之间的误差点云数据，对预设神经网络进行优化处理，得到优化后的神经网络；利用优化后的神经网络，对原始图像数据和原始点云数据进行处理，得到目标图像数据和目标点云数据；对目标图像数据和目标点云数据进行渲染处理，得到三维场景数据；本申请通过将图像数据的特征与点云数据的特征进行融合，以对神经网络进行优化，提高神经网络的优化效果，增强三维场景的重建效果。
Description
技术领域
本申请涉及自动驾驶技术领域，特别是涉及一种三维场景重建方法、电子设备及存储介质。
背景技术
在自动驾驶技术领域中，三维场景的重建对自动驾驶车辆的研发及测试有着重要作用。目前，一些方案采用神经辐射场对三维场景进行重建，例如，将一些不同位置的图像输入至神经网络中，并结合图像的位姿和内参，对神经网络进行训练，以实现三维场景重建。
但是，由于输入的图像数据的特征较为单一，导致神经网络的训练效果较差，甚至影响三维场景的重建。
发明内容
本申请提供了一种三维场景重建方法、电子设备及存储介质，以解决上述问题。
本申请第一方面提供了一种三维场景重建方法，包括：获取用于三维场景重建的原始图像数据和原始点云数据；利用预设神经网络，对所述原始图像数据和所述原始点云数据进行预处理，得到预处理图像数据和预处理点云数据；利用所述原始图像数据与所述预处理图像数据之间的误差图像数据以及所述原始点云数据与所述预处理点云数据之间的误差点云数据，对所述预设神经网络进行优化处理，得到优化后的神经网络；利用所述优化后的神经网络，对所述原始图像数据和所述原始点云数据进行处理，得到目标图像数据和目标点云数据；对所述目标图像数据和所述目标点云数据进行渲染处理，得到三维场景数据，以实现三维场景的重建。
在一些实施例中，所述利用预设神经网络，对所述原始图像数据和所述原始点云数据进行预处理，步骤之前包括：对所述原始图像数据进行坐标系转换处理，以得到所述原始图像数据中每个像素点相应的第一坐标数据和第一方向数据；对所述原始点云数据进行坐标系转换处理，以得到所述原始点云数据中每个点相应的第二坐标数据和第二方向数据。
在一些实施例中，所述预设神经网络包括第一子网络、第二子网络、第三子网络以及第四子网络；利用所述原始图像数据中的像素点以及所述原始点云数据中的点所对应的三维场景中的点与相应的射线原点之间的距离和射线方向相关的位置函数，表征所述三维场景中的点的位置数据；所述第一子网络表征为以所述位置函数为变量；所述第二子网络表征为以所述射线方向为变量；所述第三子网络表征为以所述第一子网络和所述第二子网络为变量；所述第四子网络表征为以所述第一子网络和所述第二子网络为变量。
在一些实施例中，所述位置数据包括第一位置数据和第二位置数据；所述利用预设神经网络，对所述原始图像数据和所述原始点云数据进行预处理，得到预处理图像数据和预处理点云数据，包括：利用所述位置函数，对所述第一坐标数据和所述第一方向数据进行处理，得到相应的所述三维场景中的点的所述第一位置数据；利用所述位置函数，对所述第二坐标数据和所述第二方向数据进行处理，得到相应的所述三维场景中的点的所述第二位置数据；利用所述第一子网络，对所述第一位置数据进行处理，得到第一位置中间数据，并对所述第二位置数据进行处理，得到第二位置中间数据；利用所述第二子网络，对所述第一方向数据进行处理，得到第一方向中间数据，并对第二方向数据进行处理，得到第二方向中间数据；利用所述第三子网络，对所述第一位置中间数据和所述第一方向中间数据进行处理，以得到预处理图像数据；利用所述第四子网络，对所述第二位置中间数据和所述第二方向中间数据进行处理，以得到预处理点云数据。
在一些实施例中，所述预设神经网络还包括第五子网络，所述第五子网络表征为以所述第一子网络为变量；利用所述原始图像数据与所述预处理图像数据之间的误差图像数据以及所述原始点云数据与所述预处理点云数据之间的误差点云数据，对所述预设神经网络进行优化处理，得到优化后的神经网络，包括：利用所述误差图像数据和所述误差点云数据，对所述第一子网络、所述第二子网络、所述第三子网络、所述第四子网络以及所述第五子网络进行优化处理，得到优化后的第一子网络、优化后的第二子网络、优化后的第三子网络、优化后的第四子网络以及优化后的第五子网络。
在一些实施例中，所述利用所述优化后的神经网络，对所述原始图像数据和所述原始点云数据进行处理，得到目标图像数据和目标点云数据，包括：利用所述优化后的第一子网络，对所述第一位置数据进行处理，得到第一位置目标数据，并对所述第二位置数据进行处理，得到第二位置目标数据；利用所述优化后的第二子网络，对所述第一方向数据进行处理，得到第一方向目标数据；利用所述优化后的第三子网络，对所述第一位置目标数据和所述第一方向目标数据进行处理，以得到所述目标图像数据；利用所述优化后的第五子网络，对所述第二位置目标数据进行处理，以得到所述目标点云数据。
在一些实施例中，所述对所述目标图像数据和所述目标点云数据进行渲染处理，得到三维场景数据，包括：基于所述第二坐标数据，利用预设体渲染函数，对所述目标图像数据和所述目标点云数据进行渲染处理，以得到所述三维场景数据。
在一些实施例中，所述三维场景重建方法，还包括：所述第四子网络还表征为所述三维场景中的点与对应的射线原点之间的距离相关的估计函数。
本申请第二方面提供了一种电子设备，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现上述第一方面中的三维场景重建方法。
本申请第三方面提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质用于存储程序指令，所述程序指令在被处理器执行时，用于实现上述第一方面中的三维场景重建方法。
上述方案，利用预设神经网络对原始图像数据和原始点云数据进行预处理，得到预处理图像数据和预处理点云数据，利用原始图像数据与预处理图像数据之间的误差图像数据以及原始点云数据与预处理点云数据之间的误差点云数据，对预设神经网络进行优化处理，得到优化后的神经网络；利用优化后的神经网络对原始图像数据和原始点云数据进行处理，得到目标图像数据和目标点云数据；对目标图像数据和目标点云数据进行渲染处理，得到三维场景数据；本申请中的方案，通过将图像数据的特征与点云数据的特征进行融合，以对神经网络进行优化，提高神经网络的优化效果，增强三维场景的重建效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。
图1是本申请实施例中三维场景重建方法的流程示意图；
图2是本申请实施例中电子设备的结构示意图；
图3是本申请实施例中非易失性计算机可读存储介质的结构示意图。
具体实施方式
下面结合附图和实施例，对本申请作进一步的详细描述。特别指出的是，以下实施例仅用于说明本申请，但不对本申请的范围进行限定。同样的，以下实施例仅为本申请的部分实施例而非全部实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。另外，本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。
如上述，一些方案采用神经辐射场对三维场景进行重建，例如，将一些不同位置的图像输入至神经网络中，并结合图像的位姿和内参，对神经网络进行训练，以实现三维场景重建。但是，由于输入的图像数据的特征较为单一，导致神经网络的训练效果较差，甚至影响三维场景的重建。
为此，本申请提供一种三维场景重建方法、电子设备及存储介质，以解决上述问题。
请参阅图1，图1是本申请实施例中三维场景重建方法的流程示意图，需注意的是，若有实质上相同的结果，本申请的方法并不以图1所示的流程顺序为限。本方法可以应用于具有计算等功能的电子设备，电子设备可通过接收数据，执行本方法。其中，本申请的电子设备可以为服务器，也可以为由服务器和终端设备相互配合的系统。进一步地，上述服务器可以是硬件，也可以是软件，在此不做具体限定。在一些可能的实现方式中，本申请实施例的三维场景重建方法可以通过处理器调用存储器中存储的计算机程序指令的方式来实现。如图1所示，三维场景重建方法包括如下步骤：
S1、获取用于三维场景重建的原始图像数据和原始点云数据。
可以理解的，通过装备的传感器采集用于三维场景重建的原始图像数据和原始点云数据，传感器包括但不限于图像传感器和雷达传感器。可以利用图像传感器对原始图像数据进行采集，利用雷达传感器对原始点云数据进行采集。
例如，将传感器安装于一可移动的设备上。其中，该可移动的设备可以是自动移动设备，如机器人、自动驾驶车辆等。
在一些实施例中，图像传感器可以是相机，雷达传感器可以激光雷达传感器，如机械式激光雷达，雷达传感器还可以是毫米波雷达；在其他实施例中，能够实现相关数据采集功能的传感器均可，不作具体限定。
在一应用场景中，自动驾驶车辆在道路上行驶，通过装备于该自动驾驶车辆上的传感器获取原始图像数据和原始点云数据。
S2、利用预设神经网络，对原始图像数据和原始点云数据进行预处理，得到预处理图像数据和预处理点云数据。
将原始图像数据和原始点云数据输入至预设神经网络中，以利用预设神经网络对原始图像数据和原始点云数据进行预处理，能够得到预处理图像数据和预处理点云数据。
S3、利用原始图像数据与预处理图像数据之间的误差图像数据以及原始点云数据与预处理点云数据之间的误差点云数据，对预设神经网络进行优化处理，得到优化后的神经网络。
对预处理图像数据和原始图像数据进行误差分析处理，以得到原始图像与预处理图像之间的误差图像数据。对预处理点云数据和原始点云数据进行误差分析处理，以得到原始点云数据与预处理点云数据之间的误差点云数据。其中，相关的误差分析处理的方法根据实际使用需求选择即可，不作具体限定。
得到误差图像数据和误差点云数据后，利用误差图像数据和误差点云数据，对预设神经网络进行优化处理，得到优化后的神经网络。其中，具体的优化方法根据实际使用需求选择即可，不作具体限定。
S4、利用优化后的神经网络，对原始图像数据和原始点云数据进行处理，得到目标图像数据和目标点云数据。
得到优化后的神经网络后，利用优化后的神经网络，对原始图像数据和原始点云数据进行处理，能够得到目标图像数据和目标点云数据。
S5、对目标图像数据和目标点云数据进行渲染处理，得到三维场景数据，以实现三维场景的重建。
对得到的目标图像数据和目标点云数据进行渲染处理，能够得到三维场景数据，从而实现三维场景的重建。在一些实施例中，得到三维场景数据后，可以利用三维场景数据进行自动驾驶车辆的仿真测试，或实现其他功能均可，不作具体限定。
上述方案，利用预设神经网络对原始图像数据和原始点云数据进行预处理，得到预处理图像数据和预处理点云数据，利用原始图像数据与预处理图像数据之间的误差图像数据以及原始点云数据与预处理点云数据之间的误差点云数据，对预设神经网络进行优化处理，得到优化后的神经网络；利用优化后的神经网络对原始图像数据和原始点云数据进行处理，得到目标图像数据和目标点云数据；对目标图像数据和目标点云数据进行渲染处理，得到三维场景数据；本申请中的方案，通过将图像数据的特征与点云数据的特征进行融合，以对神经网络进行优化，提高神经网络的优化效果，增强三维场景的重建效果。
在本申请一实施例中，利用预设神经网络，对原始图像数据和原始点云数据进行预处理，步骤之前包括：对原始图像数据进行坐标系转换处理，以得到原始图像数据中每个像素点相应的第一坐标数据和第一方向数据；对原始点云数据进行坐标系转换处理，以得到原始点云数据中每个点相应的第二坐标数据和第二方向数据。
可以理解的，利用传感器采集到的原始图像数据和原始点云数据对应的坐标系为传感器坐标系，在将原始图像数据和原始点云数据输入预设神经网络之前，需要对原始图像数据和原始点云数据进行坐标系转换。例如，将传感器坐标系下的原始图像数据和原始点云数据转换至世界坐标系中。
对原始图像数据进行坐标系转换处理，如将传感器坐标系中的原始图像数据转换至世界坐标系，得到世界坐标系下的原始图像数据中每个像素点相应的第一坐标数据和第一方向数据。可以理解的，三维场景对应的坐标系为世界坐标系，原始图像数据中每个像素点均对应于三维场景中的一个点，像素点的第一方向数据表征为该像素点对应的三维场景中的点反射光线的方向。
对原始点云数据进行坐标系转换处理，如将传感器坐标系中的原始点云数据转换至世界坐标系，得到世界坐标系下的原始点云数据中每个点相应的第二坐标数据和第二方向数据。可以理解的，三维场景对应的坐标系为世界坐标系，原始点云数据中的每个点均对应于三维场景中的一个点，原始点云数据中的点的第二方向数据表征为该点对应的三维场景中的点反射光线的方向。
在本申请一实施例中，预设神经网络包括第一子网络、第二子网络、第三子网络以及第四子网络；利用所述原始图像数据中的像素点以及所述原始点云数据中的点所对应的三维场景中的点与相应的射线原点之间的距离和射线方向相关的位置函数，表征所述三维场景中的点的位置数据；第一子网络表征为以位置函数为变量；第二子网络表征为以射线方向为变量；第三子网络表征为以第一子网络和第二子网络为变量；第四子网络表征为以第一子网络和第二子网络为变量。
可以理解的，原始图像数据中的像素点可以是基于相应的三维场景中的点反射可见光线而采集得到的，如，传感器发射可见光线至三维场景，三维场景中的点反射相应的可见光线，从而使得传感器能够基于反射的可见光线采集得到原始图像数据。原始点云数据中的点可以是基于相应的三维场景中的点反射近红外光线而采集得到的，如，传感器发射近红外光线至三维场景，三维场景中的点反射相应的近红外光线，从而使得传感器能够基于反射的近红外光线采集得到原始点云数据。相应的，由传感器发射至三维场景中的光线可以理解为是射线，该射线包括射线原点和射线方向。
进而，可以利用原始图像数据中的像素点所对应的三维场景中的点与相应的射线原点之间的距离和射线方向相关的位置函数表征三维场景中的点的位置数据，可以利用原始点云数据中的点所对应的三维场景中的点与相应的射线原点之间的距离和射线方向相关的位置函数表征三维场景中的点的位置数据。
例如，位置函数可以表征为：
其中，o表示射线原点向量，d表示射线方向向量，t表示三维场景中的点与相应的射线原点之间的距离。
预设神经网络中包括第一子网络、第二子网络、第三子网络以及第四子网络，第一子网络表征为以位置函数为变量。例如，第一子网络可以表征为：
其中，t表示三维场景中的点与相应的射线原点之间的距离，r(t)表示位置函数，表示网络参数。
第二子网络表征为以射线方向为变量，例如，第二子网络可以表征为：
其中，d表示射线方向向量，表示网络参数。
第三子网络表征为以第一子网络和射线方向为变量，例如，第三子网络可以表征为：
其中，t表示三维场景中的点与相应的射线原点之间的距离，z(t)表示第一子网络，y表示第二子网络，表示网络参数。
第四子网络表征为以第一子网络和第二子网络为变量，例如，第四子网络可以表征为：
其中，t表示三维场景中的点与相应的射线原点之间的距离，z(t)表示第一子网络，y表示第二子网络，表示网络参数。
在本申请一实施例中，位置数据包括第一位置数据和第二位置数据；利用预设神经网络，对原始图像数据和原始点云数据进行预处理，得到预处理图像数据和预处理点云数据，包括：利用所述位置函数，对所述第一坐标数据和所述第一方向数据进行处理，得到相应的所述三维场景中的点的所述第一位置数据；利用所述位置函数，对所述第二坐标数据和所述第二方向数据进行处理，得到相应的所述三维场景中的点的所述第二位置数据；利用第一子网络，对第一位置数据进行处理，得到第一位置中间数据，并对第二位置数据进行处理，得到第二位置中间数据；利用第二子网络，对第一方向数据进行处理，得到第一方向中间数据，并对第二方向数据进行处理，得到第二方向中间数据；利用第三子网络，对第一位置中间数据和第一方向中间数据进行处理，以得到预处理图像数据；利用第四子网络，对第二位置中间数据和第二方向中间数据进行处理，以得到预处理点云数据。
可以理解的，可以利用原始图像数据中的像素点所对应的三维场景中的点与相应的射线原点之间的距离和射线方向相关的位置函数表征三维场景中的点的第一位置数据，具体的，利用位置函数，对第一坐标数据和第一方向数据进行处理，能够得到相应的三维场景中的点的第一位置数据。
可以利用原始点云数据中的点所对应的三维场景中的点与相应的射线原点之间的距离和射线方向相关的位置函数表征三维场景中的点的第二位置数据，具体的，利用位置函数，对第二坐标数据和第二方向数据进行处理，能够得到相应的三维场景中的点的第二位置数据。
利用第一子网络，对第一位置数据进行处理，能够得到第一位置中间数据；利用第二子网络，对第一方向数据进行处理，能够得到第一方向中间数据；利用第三子网络，对第一位置中间数据和第一方向中间数据进行处理，以得到预处理图像数据。其中，预处理图像数据可以表征为像素值，也即图像RGB值。
利用第一子网络，对第二位置数据进行处理，能够得到第二位置中间数据；利用第二子网络，对第二方向数据进行处理，能够得到第二方向中间数据；利用第四子网络，对第二位置中间数据和第二方向中间数据进行处理，以得到预处理点云数据。其中，预处理点云数据可以表征为点云的强度信息。
在本申请一实施例中，预设神经网络还包括第五子网络，第五子网络表征为以第一子网络为变量；利用原始图像数据与预处理图像数据之间的误差图像数据以及原始点云数据与预处理点云数据之间的误差点云数据，对预设神经网络进行优化处理，得到优化后的神经网络，包括：利用误差图像数据和误差点云数据，对第一子网络、第二子网络、第三子网络、第四子网络以及第五子网络进行优化处理，得到优化后的第一子网络、优化后的第二子网络、优化后的第三子网络、优化后的第四子网络以及优化后的第五子网络。
预设神经网络还包括第五子网络，第五子网络表征为以第一子网络为变量，例如，第五子网络可以表征为：
其中，z(t)表示第一子网络，表示网络参数。
对预处理图像数据和原始图像数据进行误差分析处理，以得到原始图像与预处理图像之间的误差图像数据。对预处理点云数据和原始点云数据进行误差分析处理，以得到原始点云数据与预处理点云数据之间的误差点云数据。
利用误差图像数据和误差点云数据，对第一子网络、第二子网络、第三子网络、第四子网络以及第五子网络进行优化处理，以得到优化后的第一子网络、优化后的第二子网络、优化后的第三子网络、优化后的第四子网络以及优化后的第五子网络。
例如，继续以前述实施例为例进行说明，对第一子网络、第二子网络、第三子网络、第四子网络以及第五子网络进行优化处理，可以是对第一子网络、第二子网络、第三子网络、第四子网络以及第五子网络中的网络参数进行优化处理，以得到优化后的第一子网络、优化后的第二子网络、优化后的第三子网络、优化后的第四子网络以及优化后的第五子网络。
在本申请一实施例中，利用优化后的神经网络，对原始图像数据和原始点云数据进行处理，得到目标图像数据和目标点云数据，包括：利用优化后的第一子网络，对第一位置数据进行处理，得到第一位置目标数据，并对第二位置数据进行处理，得到第二位置目标数据；利用优化后的第二子网络，对第一方向数据进行处理，得到第一方向目标数据；利用优化后的第三子网络，对第一位置目标数据和第一方向目标数据进行处理，以得到目标图像数据；利用优化后的第五子网络，对第二位置目标数据进行处理，以得到目标点云数据。
可以理解的，得到优化后的第一子网络、优化后的第二子网络、优化后的第三子网络、优化后的第四子网络以及优化后的第五子网络，对原始图像数据和原始点云数据进行处理，能够得到目标图像数据和目标点云数据。
具体的，利用优化后的第一子网络，对第一位置数据进行处理，能够得到第一位置目标数据；利用优化后的第二子网络，对第一方向数据进行处理，能够得到第一方向目标数据；利用优化后的第三子网络，对第一位置目标数据和第一方向目标数据进行处理，以得到目标图像数据。
利用优化后的第一子网络，对第二位置数据进行处理，能够得到第二位置目标数据；利用优化后的第五子网络，对第二位置目标数据进行处理，以得到目标点云数据。
在本申请一实施例中，对目标图像数据和目标点云数据进行渲染处理，得到三维场景数据，包括：基于第二坐标数据，利用预设体渲染函数，对目标图像数据和目标点云数据进行渲染处理，以得到三维场景数据。
得到目标图像数据和目标点云数据后，对目标图像数据和目标点云数据进行渲染处理，以得到三维场景数据。
可以理解的，原始点云数据相应的第二坐标数据可以提供点云深度信息。
具体的，基于第二坐标数据提供的点云深度信息，利用预设体渲染函数，对目标图像数据和目标点云数据进行渲染处理，从而得到三维场景数据；例如，基于第二坐标数据提供的点云深度信息得到预设体渲染函数的积分上限和积分下限，预设体渲染函数可以为：
其中，T表示射线从射线原点到当前位置r(t)的透射率，t表示三维场景中的点与相应的射线原点之间的距离，c(t)表示目标图像数据，表示目标点云数据。
在本申请一实施例中，三维场景重建方法，还包括：第四子网络还表征为三维场景中的点与对应的射线原点之间的距离相关的估计函数。
可以理解的，第四子网络还表征为三维场景中的点与对应的射线原点之间的距离相关的估计函数，其中，估计函数可以表征为：
其中，R表示三维场景中的点的反射率，表示射线相对于三维场景中的点所处表面的入射角，/>表示空气对射线的吸收率，t表示三维场景中的点与相应的射线原点之间的距离。在一些实施例中，空气对射线的吸收率/>为接近0的值。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
请参阅图2，图2是本申请实施例中电子设备的结构示意图。电子设备200包括相互耦接的存储器201和处理器202，处理器202用于执行存储器201中存储的程序指令，以实现上述的三维场景重建方法实施例中的步骤。在一个具体的实施场景中，电子设备200可以包括但不限于：微型计算机、服务器，在此不做限定。
具体而言，处理器202用于控制其自身以及存储器201以实现上述的三维场景重建方法实施例中的步骤。处理器202还可以称为CPU（Central Processing Unit，中央处理单元），处理器202可能是一种集成电路芯片，具有信号的处理能力。处理器202还可以是通用处理器、数字信号处理器（Digital Signal Processor, DSP）、专用集成电路（ApplicationSpecific Integrated Circuit, ASIC）、现场可编程门阵列（Field-Programmable GateArray, FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器202可以由集成电路芯片共同实现。
请参阅图3，图3是本申请实施例中非易失性计算机可读存储介质的结构示意图。计算机可读存储介质300用于存储程序指令301，程序指令301在被处理器202执行时，用于实现上述的三维场景重建方法实施例中的步骤。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和相关设备，可以通过其它的方式实现。例如，以上所描述的相关设备实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信断开连接可以是通过一些接口，装置或单元的间接耦合或通信断开连接，可以是电性、机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (10)
1.一种三维场景重建方法，其特征在于，包括：
获取用于三维场景重建的原始图像数据和原始点云数据；
利用预设神经网络，对所述原始图像数据和所述原始点云数据进行预处理，得到预处理图像数据和预处理点云数据；
利用所述原始图像数据与所述预处理图像数据之间的误差图像数据以及所述原始点云数据与所述预处理点云数据之间的误差点云数据，对所述预设神经网络进行优化处理，得到优化后的神经网络；
利用所述优化后的神经网络，对所述原始图像数据和所述原始点云数据进行处理，得到目标图像数据和目标点云数据；
对所述目标图像数据和所述目标点云数据进行渲染处理，得到三维场景数据，以实现三维场景的重建。
2.根据权利要求1所述的方法，其特征在于，所述利用预设神经网络，对所述原始图像数据和所述原始点云数据进行预处理，步骤之前包括：
对所述原始图像数据进行坐标系转换处理，以得到所述原始图像数据中每个像素点相应的第一坐标数据和第一方向数据；
对所述原始点云数据进行坐标系转换处理，以得到所述原始点云数据中每个点相应的第二坐标数据和第二方向数据。
3.根据权利要求2所述的方法，其特征在于，所述预设神经网络包括第一子网络、第二子网络、第三子网络以及第四子网络；
利用所述原始图像数据中的像素点以及所述原始点云数据中的点所对应的三维场景中的点与相应的射线原点之间的距离和射线方向相关的位置函数，表征所述三维场景中的点的位置数据；
所述第一子网络表征为以所述位置函数为变量；
所述第二子网络表征为以所述射线方向为变量；
所述第三子网络表征为以所述第一子网络和所述第二子网络为变量；
所述第四子网络表征为以所述第一子网络和所述第二子网络为变量。
4.根据权利要求3所述的方法，其特征在于，所述位置数据包括第一位置数据和第二位置数据；
所述利用预设神经网络，对所述原始图像数据和所述原始点云数据进行预处理，得到预处理图像数据和预处理点云数据，包括：
利用所述位置函数，对所述第一坐标数据和所述第一方向数据进行处理，得到相应的所述三维场景中的点的所述第一位置数据；
利用所述位置函数，对所述第二坐标数据和所述第二方向数据进行处理，得到相应的所述三维场景中的点的所述第二位置数据；
利用所述第一子网络，对所述第一位置数据进行处理，得到第一位置中间数据，并对所述第二位置数据进行处理，得到第二位置中间数据；
利用所述第二子网络，对所述第一方向数据进行处理，得到第一方向中间数据，并对第二方向数据进行处理，得到第二方向中间数据；
利用所述第三子网络，对所述第一位置中间数据和所述第一方向中间数据进行处理，以得到预处理图像数据；
利用所述第四子网络，对所述第二位置中间数据和所述第二方向中间数据进行处理，以得到预处理点云数据。
5.根据权利要求4所述的方法，其特征在于，所述预设神经网络还包括第五子网络，所述第五子网络表征为以所述第一子网络为变量；
利用所述原始图像数据与所述预处理图像数据之间的误差图像数据以及所述原始点云数据与所述预处理点云数据之间的误差点云数据，对所述预设神经网络进行优化处理，得到优化后的神经网络，包括：
利用所述误差图像数据和所述误差点云数据，对所述第一子网络、所述第二子网络、所述第三子网络、所述第四子网络以及所述第五子网络进行优化处理，得到优化后的第一子网络、优化后的第二子网络、优化后的第三子网络、优化后的第四子网络以及优化后的第五子网络。
6.根据权利要求5所述的方法，其特征在于，所述利用所述优化后的神经网络，对所述原始图像数据和所述原始点云数据进行处理，得到目标图像数据和目标点云数据，包括：
利用所述优化后的第一子网络，对所述第一位置数据进行处理，得到第一位置目标数据，并对所述第二位置数据进行处理，得到第二位置目标数据；
利用所述优化后的第二子网络，对所述第一方向数据进行处理，得到第一方向目标数据；
利用所述优化后的第三子网络，对所述第一位置目标数据和所述第一方向目标数据进行处理，以得到所述目标图像数据；
利用所述优化后的第五子网络，对所述第二位置目标数据进行处理，以得到所述目标点云数据。
7.根据权利要求6所述的方法，其特征在于，所述对所述目标图像数据和所述目标点云数据进行渲染处理，得到三维场景数据，包括：
基于所述第二坐标数据，利用预设体渲染函数，对所述目标图像数据和所述目标点云数据进行渲染处理，以得到所述三维场景数据。
8.根据权利要求3所述的方法，其特征在于，所述三维场景重建方法，还包括：
所述第四子网络还表征为所述三维场景中的点与对应的射线原点之间的距离相关的估计函数。
9.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现如权利要求1-8中任一项所述的三维场景重建方法。
10.一种非易失性计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序指令，所述程序指令在被处理器执行时，用于实现如权利要求1-8中任一项所述的三维场景重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310864385.5A CN116580163B (zh) | 2023-07-14 | 2023-07-14 | 三维场景重建方法、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310864385.5A CN116580163B (zh) | 2023-07-14 | 2023-07-14 | 三维场景重建方法、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116580163A true CN116580163A (zh) | 2023-08-11 |
| CN116580163B CN116580163B (zh) | 2023-12-22 |
Family
ID=87541775
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310864385.5A Active CN116580163B (zh) | 2023-07-14 | 2023-07-14 | 三维场景重建方法、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116580163B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111523600A (zh) * | 2020-04-26 | 2020-08-11 | 上海商汤临港智能科技有限公司 | 神经网络训练、目标检测、及智能设备控制的方法及装置 |
| CN112991515A (zh) * | 2021-02-26 | 2021-06-18 | 山东英信计算机技术有限公司 | 一种三维重建方法、装置及相关设备 |
| CN113610172A (zh) * | 2021-08-13 | 2021-11-05 | 北京地平线信息技术有限公司 | 神经网络模型训练方法和装置、传感数据融合方法和装置 |
| CN114742966A (zh) * | 2022-04-24 | 2022-07-12 | 浙江大学 | 一种基于图像的三维场景重建方法及装置 |
| US20220351463A1 (en) * | 2021-04-29 | 2022-11-03 | Shenzhen University | Method, computer device and storage medium for real-time urban scene reconstruction |
| US20220414911A1 (en) * | 2020-03-04 | 2022-12-29 | Huawei Technologies Co., Ltd. | Three-dimensional reconstruction method and three-dimensional reconstruction apparatus |
| CN115690305A (zh) * | 2021-07-30 | 2023-02-03 | 北京三快在线科技有限公司 | 三维场景重建方法、装置、介质及设备 |
| CN115965736A (zh) * | 2023-03-16 | 2023-04-14 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN116402914A (zh) * | 2023-04-11 | 2023-07-07 | 北京百度网讯科技有限公司 | 用于确定风格化图像生成模型的方法、装置及产品 |
-
2023
- 2023-07-14 CN CN202310864385.5A patent/CN116580163B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220414911A1 (en) * | 2020-03-04 | 2022-12-29 | Huawei Technologies Co., Ltd. | Three-dimensional reconstruction method and three-dimensional reconstruction apparatus |
| CN111523600A (zh) * | 2020-04-26 | 2020-08-11 | 上海商汤临港智能科技有限公司 | 神经网络训练、目标检测、及智能设备控制的方法及装置 |
| CN112991515A (zh) * | 2021-02-26 | 2021-06-18 | 山东英信计算机技术有限公司 | 一种三维重建方法、装置及相关设备 |
| US20220351463A1 (en) * | 2021-04-29 | 2022-11-03 | Shenzhen University | Method, computer device and storage medium for real-time urban scene reconstruction |
| CN115690305A (zh) * | 2021-07-30 | 2023-02-03 | 北京三快在线科技有限公司 | 三维场景重建方法、装置、介质及设备 |
| CN113610172A (zh) * | 2021-08-13 | 2021-11-05 | 北京地平线信息技术有限公司 | 神经网络模型训练方法和装置、传感数据融合方法和装置 |
| CN114742966A (zh) * | 2022-04-24 | 2022-07-12 | 浙江大学 | 一种基于图像的三维场景重建方法及装置 |
| CN115965736A (zh) * | 2023-03-16 | 2023-04-14 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN116402914A (zh) * | 2023-04-11 | 2023-07-07 | 北京百度网讯科技有限公司 | 用于确定风格化图像生成模型的方法、装置及产品 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116580163B (zh) | 2023-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11099275B1 (en) | LiDAR point cloud reflection intensity complementation method and system | |
| US9521391B2 (en) | Settings of a digital camera for depth map refinement | |
| CN111340864A (zh) | 基于单目估计的三维场景融合方法及装置 | |
| CN109640066B (zh) | 高精度稠密深度图像的生成方法和装置 | |
| EP3621041B1 (en) | Three-dimensional representation generating system | |
| CN113192182A (zh) | 一种基于多传感器的实景重建方法及系统 | |
| CN112069862A (zh) | 目标检测方法和装置 | |
| CN111144315A (zh) | 目标检测方法、装置、电子设备和可读存储介质 | |
| CN115147333A (zh) | 一种目标检测方法及装置 | |
| CN113420637A (zh) | 自动驾驶中多尺度鸟瞰视角下的激光雷达检测方法 | |
| CN113409376A (zh) | 一种基于相机的深度估计进行激光雷达点云过滤的方法 | |
| CN116968758B (zh) | 一种基于三维场景表示的车辆控制方法及装置 | |
| CN116612059B (zh) | 图像处理方法及装置、电子设备、存储介质 | |
| CN116580163B (zh) | 三维场景重建方法、电子设备及存储介质 | |
| CN115601275A (zh) | 点云增广方法及装置、计算机可读存储介质、终端设备 | |
| CN115761425A (zh) | 目标检测方法、装置、终端设备及计算机可读存储介质 | |
| CN115346184A (zh) | 一种车道信息检测方法、终端及计算机存储介质 | |
| CN117710931A (zh) | 环境信息感知方法、装置、系统、计算机设备及存储介质 | |
| CN112364693B (zh) | 基于双目视觉的障碍识别方法、装置、设备及存储介质 | |
| CN116863543A (zh) | 活体检测方法及装置、电子设备、计算机可读存储介质 | |
| CN115527074B (zh) | 一种车辆检测框的生成方法、生成装置及计算机设备 | |
| CN115836322A (zh) | 图像裁剪方法与装置、电子设备及存储介质 | |
| CN116343158B (zh) | 车道线检测模型的训练方法、装置、设备及存储介质 | |
| CN117392633B (zh) | 一种目标检测方法、计算机可读存储介质及智能设备 | |
| CN118366065B (zh) | 一种基于高度信息的无人机影像车辆检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |