CN117237544B - 一种训练数据的生成方法、装置、电子设备及存储介质 - Google Patents
一种训练数据的生成方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117237544B CN117237544B CN202311499874.1A CN202311499874A CN117237544B CN 117237544 B CN117237544 B CN 117237544B CN 202311499874 A CN202311499874 A CN 202311499874A CN 117237544 B CN117237544 B CN 117237544B
- Authority
- CN
- China
- Prior art keywords
- image data
- initial image
- dimensional
- optimized
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000012549 training Methods 0.000 title claims abstract description 62
- 238000005457 optimization Methods 0.000 claims description 26
- 238000000605 extraction Methods 0.000 claims description 15
- 239000013598 vector Substances 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 13
- 230000004438 eyesight Effects 0.000 claims description 11
- 238000010276 construction Methods 0.000 claims description 7
- 230000036544 posture Effects 0.000 description 16
- 230000008569 process Effects 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 206010033307 Overweight Diseases 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Processing (AREA)
Abstract
本申请实施例提供一种训练数据的生成方法、装置、电子设备及存储介质，该方法包括：获取多个相机在不同位置拍摄的多个初始图像数据；对多个初始图像数据进行三维重建，得到与初始图像数据对应的三维模型；对三维模型和相机姿态信息进行优化，得到优化后的三维模型和优化后的相机姿态信息；根据优化后的三维模型和优化后的相机姿态信息以及预设渲染软件，确定与初始图像数据对应的深度图；将初始图像数据和与初始图像数据对应的深度图，确定为训练模型的训练数据，采用多个相机获取图像，进行场景的三维重建，同时优化采集图像时相机的位姿，避免了相机位姿采集时的误差，解决了深度图对齐困难的问题。
Description
技术领域
本申请涉及数据处理技术领域，具体而言，涉及一种训练数据的生成方法、装置、电子设备及存储介质。
背景技术
随着网络技术不断发展，神经网络也应用在各个领域，对神经网络的训练需要大量高质量的样本数据，目前，是采用激光雷达来获取三维点云数据即原始图像，然后通过对激光雷达和相机进行标定来获取深度图，在具体的实现过程中，原始图像和该深度图无法对齐，深度存在错位，如何解决深度图和原始图像之间存在错位的问题，是目前急需解决的问题。
发明内容
本申请的目的在于提供一种训练数据的生成方法、装置、电子设备及存储介质，通过本申请的实施例的技术方案，通过获取多个相机在不同位置拍摄的多个初始图像数据，其中，所述初始图像数据至少包括被拍摄物体，与所述被拍摄物体对应的相机位置信息和相机姿态信息；对多个所述初始图像数据进行三维重建，得到与所述初始图像数据对应的三维模型；对所述三维模型和所述相机姿态信息进行优化，得到优化后的三维模型和优化后的相机姿态信息；根据所述优化后的三维模型和优化后的相机姿态信息以及预设渲染软件，确定与所述初始图像数据对应的深度图；将所述初始图像数据和与所述初始图像数据对应的深度图，确定为训练模型的训练数据，本申请代替了激光雷达作为场景数据来源，采用多个相机获取图像，进行场景的三维重建，同时优化采集图像时相机的位姿，避免了相机位姿采集时的误差，解决了深度图对齐困难的问题。
第一方面，本申请提供了一种训练数据的生成方法，包括：
获取多个相机在不同位置拍摄的多个初始图像数据，其中，所述初始图像数据至少包括被拍摄物体，与所述被拍摄物体对应的相机位置信息和相机姿态信息；
对多个所述初始图像数据进行三维重建，得到与所述初始图像数据对应的三维模型；
对所述三维模型和所述相机姿态信息进行优化，得到优化后的三维模型和优化后的相机姿态信息；
根据所述优化后的三维模型和优化后的相机姿态信息以及预设渲染软件，确定与所述初始图像数据对应的深度图；
将所述初始图像数据和与所述初始图像数据对应的深度图，确定为训练模型的训练数据。
本申请通过采用多个相机获取图像，进行场景的三维重建，同时优化采集图像时相机的位姿，避免了相机位姿采集时的误差，解决了深度图对齐困难的问题。
可选地，所述对多个所述初始图像数据进行三维重建，得到与所述初始图像数据对应的三维模型，包括：
采用特征点提取与匹配算法，对所述初始图像数据进行特征提取，得到与所述初始图像数据对应的特征点的特征向量；
根据所述特征点的特征向量，确定所述初始图像数据之间的对应关系；
采用立体视觉算法，将所述初始图像数据中的特征点映射为三维空间点；
对所述三维空间点进行三维重建，得到与所述初始图像数据对应的三维模型。
由于通常情况下采集数据时受到尺寸、重量、使用场景的限制，以及为了避免联合标定造成的误差，本申请通过采集图像数据，并使用基于图像数据的三维重建的方式获取场景模型，代替了激光雷达作为场景数据来源，采集过程不需要激光雷达等设备的参与，在保证高精度的同时避免了使用高重量、高成本的设备，做到了灵活、快速的数据采集。
可选地，所述对所述三维模型和所述相机姿态信息进行优化，得到优化后的三维模型和优化后的相机姿态信息，包括：
采用预设优化算法，对所述三维空间点进行优化处理，得到优化后的三维点云数据，并对所述相机位姿信息进行优化处理，得到优化后的相机位姿信息；
采用三角化算法，将所述优化后的三维点云数据转换三维网格；
将所述初始图像数据映射到所述三维网格上，得到所述优化后的三维网格。
可选地，所述采用预设优化算法，对所述三维空间点进行优化处理，得到优化后的三维点云数据，并对所述相机位姿信息进行优化处理，得到优化后的相机位姿信息，包括：
采用捆绑调整算法，分别对所述三维空间点和所述相机位姿信息进行优化，得到优化后的三维点云数据和优化后的相机位姿信息，其中，所述相机位姿信息至少包括相机位置信息和相机姿态信息。
本申请采用三维重建算法使用一系列相机照片和位置信息来创建三维模型，利用特征点提取与匹配算法，可以建立两两图像之间的对应关系，然后使用三角测量等方法确定相机的位置和姿态，再利用立体视觉算法，将特征点恢复为三维空间中的点，在该过程中可以使用优化算法，如捆绑调整，对相机位姿和恢复后的三维点云进行优化调整，使其更加精确，最后使用三角化技术将经过精化的点云转换成三维网格，再将拍摄的图像纹理映射到生成的三维网格上，以获得高精度的三维模型，同时输出捆绑调整优化后的相机位姿。
可选地，所述根据所述优化后的三维模型和优化后的相机姿态信息以及预设渲染软件，确定与所述初始图像数据对应的深度图，包括：
将所述优化后的三维模型和优化后的相机姿态信息，输入到所述预设渲染软件，生成与所述初始图像数据对应的深度图，其中，所述预设渲染软件至少包括UE或unity中的任一种。
本申请使用UE、unity等引擎渲染输出深度图，代替了激光雷达点云投影以及深度补全，减少了深度补全造成的深度图错误填充等问题。
第二方面，本申请提供了一种训练数据的生成装置，包括：
获取模块，用于获取多个相机在不同位置拍摄的多个初始图像数据，其中，所述初始图像数据至少包括被拍摄物体，与所述被拍摄物体对应的相机位置信息和相机姿态信息；
构建模块，用于对多个所述初始图像数据进行三维重建，得到与所述初始图像数据对应的三维模型；
优化模块，用于对所述三维模型和所述相机姿态信息进行优化，得到优化后的三维模型和优化后的相机姿态信息；
生成模块，用于根据所述优化后的三维模型和优化后的相机姿态信息以及预设渲染软件，确定与所述初始图像数据对应的深度图；
确定模块，用于将所述初始图像数据和与所述初始图像数据对应的深度图，确定为训练模型的训练数据。
本申请通过采用多个相机获取图像，进行场景的三维重建，同时优化采集图像时相机的位姿，避免了相机位姿采集时的误差，解决了深度图对齐困难的问题。
可选地，所述构建模块用于：
采用特征点提取与匹配算法，对所述初始图像数据进行特征提取，得到与所述初始图像数据对应的特征点的特征向量；
根据所述特征点的特征向量，确定所述初始图像数据之间的对应关系；
采用立体视觉算法，将所述初始图像数据中的特征点映射为三维空间点；
对所述三维空间点进行三维重建，得到与所述初始图像数据对应的三维模型。
通过由于通常情况下采集数据时受到尺寸、重量、使用场景的限制，以及为了避免联合标定造成的误差，本申请通过采集图像数据，并使用基于图像数据的三维重建的方式获取场景模型，代替了激光雷达作为场景数据来源，采集过程不需要激光雷达等设备的参与，在保证高精度的同时避免了使用高重量、高成本的设备，做到了灵活、快速的数据采集。
可选地，所述优化模块用于：
采用预设优化算法，对所述三维空间点进行优化处理，得到优化后的三维点云数据，并对所述相机位姿信息进行优化处理，得到优化后的相机位姿信息；
采用三角化算法，将所述优化后的三维点云数据转换三维网格；
将所述初始图像数据映射到所述三维网格上，得到所述优化后的三维网格。
可选地，所述优化模块用于：
采用捆绑调整算法，分别对所述三维空间点和所述相机位姿信息进行优化，得到优化后的三维点云数据和优化后的相机位姿信息，其中，所述相机位姿信息至少包括相机位置信息和相机姿态信息。
本申请采用三维重建算法使用一系列相机照片和位置信息来创建三维模型，利用特征点提取与匹配算法，可以建立两两图像之间的对应关系，然后使用三角测量等方法确定相机的位置和姿态，再利用立体视觉算法，将特征点恢复为三维空间中的点，在该过程中可以使用优化算法，如捆绑调整，对相机位姿和恢复后的三维点云进行优化调整，使其更加精确，最后使用三角化技术将经过精化的点云转换成三维网格，再将拍摄的图像纹理映射到生成的三维网格上，以获得高精度的三维模型，同时输出捆绑调整优化后的相机位姿，
可选地，所述生成模块用于：
将所述优化后的三维模型和优化后的相机姿态信息，输入到所述预设渲染软件，生成与所述初始图像数据对应的深度图，其中，所述预设渲染软件至少包括UE或unity中的任一种。
本申请使用UE、unity等引擎渲染输出深度图，代替了激光雷达点云投影以及深度补全，减少了深度补全造成的深度图错误填充等问题。
第三方面，本申请提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述程序时可实现如第一方面任一实施例所述的训练数据的生成方法。
第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时可实现如第一方面任一实施例所述的训练数据的生成方法。
第五方面，本申请提供一种计算机程序产品，所述的计算机程序产品包括计算机程序，其中，所述的计算机程序被处理器执行时可实现如第一方面任一实施例所述的训练数据的生成方法。
附图说明
为了更清楚地说明本申请的一些实施例的技术方案，下面将对本申请的一些实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种训练数据的生成方法的流程示意图；
图2为本申请实施例提供的又一种训练数据的生成方法的流程示意图；
图3为本申请实施例提供的深度未补全的示意图；
图4为本申请实施例提供的深度补全的示意图；
图5为本申请实施例提供的激光雷达采集点云和采集的图像的示意图；
图6为本申请实施例提供的深度示意图；
图7为本申请实施例提供的一种训练数据的生成装置的结构示意图；
图8为本申请实施例提供的一种电子设备示意图。
具体实施方式
下面将结合本申请的一些实施例中的附图，对本申请的一些实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
随着网络技术不断发展，神经网络也应用在各个领域，对神经网络的训练需要大量高质量的样本数据，目前，是采用激光雷达来获取三维点云数据即原始图像，然后通过对激光雷达和相机进行标定来获取深度图，在具体的实现过程中，原始图像和该深度图无法对齐，深度存在错位，鉴于此，本申请的一些实施例提供了一种训练数据的生成方法，该方法包括：获取多个相机在不同位置拍摄的多个初始图像数据，其中，初始图像数据至少包括被拍摄物体，与被拍摄物体对应的相机位置信息和相机姿态信息；对多个初始图像数据进行三维重建，得到与初始图像数据对应的三维模型；对三维模型和相机姿态信息进行优化，得到优化后的三维模型和优化后的相机姿态信息；根据优化后的三维模型和优化后的相机姿态信息以及预设渲染软件，确定与初始图像数据对应的深度图；将初始图像数据和与初始图像数据对应的深度图，确定为训练模型的训练数据，本申请代替了激光雷达作为场景数据来源，采用多个相机获取图像，进行场景的三维重建，同时优化采集图像时相机的位姿，避免了相机位姿采集时的误差，解决了深度图对齐困难的问题。
如图1所示，本申请实施例提供了一种训练数据的生成方法，该方法包括：
S101、获取多个相机在不同位置拍摄的多个初始图像数据，其中，初始图像数据至少包括被拍摄物体，与被拍摄物体对应的相机位置信息和相机姿态信息；
具体的，对于被拍摄物体来说，可以在被拍摄物体的周围放置多个相机，可以应用于无人机上安装多个相机，对被拍摄物体进行拍摄； 多个不同位置的相机在同一时刻，对被拍摄物体进行拍摄，得到不同位置的多个初始图像数据，其中，多个是指两个以及两个以上，每一个初始图像数据携带有相机位置信息和相机位姿信息。
S102、对多个初始图像数据进行三维重建，得到与初始图像数据对应的三维模型；
具体地，终端设备获取一系列相机照片即多个初始图像数据，并根据该初始图像数据和与初始图像数据对应的相机位姿信息，进行三维重建，得到与初始图像数据对应的三维模型，三维重建的方法可以采用SFM三维点云重建方法，或者可调用OpenCV SFMmodule实现三维模型的输出，在本申请实施例中不做具体限定。
S103、对三维模型和相机姿态信息进行优化，得到优化后的三维模型和优化后的相机姿态信息；
具体地，终端设备在建立好三维模型后，即将二维的图像结合空间内的相机位姿信息，生成三维空间内的点云数据，将三维空间内的点云数据转换成三维网格，再根据初始图像数据和三维网格，生成三维模型，然后采用优化算法，对相机位姿信息和三维模型进行优化调整，使其更加精确，得到优化后的相机位姿信息和优化后的三维模型。
S104、根据优化后的三维模型和优化后的相机姿态信息以及预设渲染软件，确定与初始图像数据对应的深度图；
具体的，终端设备上预先安装有渲染软件，例如，UE、unity，然后将优化后的三维模型和优化后的相机姿态信息输入到渲染软件中，生成与初始图像数据对应的深度图。
S105、将初始图像数据和与初始图像数据对应的深度图，确定为训练模型的训练数据。
终端设备将相机采集的初始图像数据和与初始图像数据对应的深度图，一起作为训练模型的训练数据，其中，训练模块可以是神经网络，也可以是其他的网络模型，在本申请中不做具体限定，代替了激光雷达作为场景数据来源，可以基于原始采集图像直接输出图像对应的深度图，将采集的RGB图像即初始图像数据进行场景的三维重建，同时优化采集图像时相机的位姿信息，避免了相机位姿采集时的误差，解决了深度图对齐困难的问题。
本申请又一实施例对上述实施例提供的训练数据的生成方法做进一步补充说明。
可选地，对多个初始图像数据进行三维重建，得到与初始图像数据对应的三维模型，包括：
采用特征点提取与匹配算法，对初始图像数据进行特征提取，得到与初始图像数据对应的特征点的特征向量；
根据特征点的特征向量，确定初始图像数据之间的对应关系；
采用立体视觉算法，将初始图像数据中的特征点映射为三维空间点；
对三维空间点进行三维重建，得到与初始图像数据对应的三维模型。
具体的，终端设备获取一系列相机照片和位姿信息；利用特征点提取与匹配算法，对初始图像数据进行特征提取，得到与初始图像数据对应的特征点的特征向量；根据特征点的特征向量，确定初始图像数据之间的对应关系，即建立两两初始图像数据之间的对应关系；然后使用三角测量等方法确定相机的位置和姿态，再利用立体视觉算法，将初始图像数据中的特征点恢复为三维空间中的点即得到点云数据；然后对得到的点云数据，进行三维重建，得到与初始图像数据对应的三维模型。
由于通常情况下采集数据时受到尺寸、重量、使用场景的限制，以及为了避免联合标定造成的误差，本申请实施例通过采集图像数据，并使用基于图像数据的三维重建的方式获取场景模型，代替了激光雷达作为场景数据来源，采集过程不需要激光雷达等设备的参与，在保证高精度的同时避免了使用高重量、高成本的设备，做到了灵活、快速的数据采集。
可选地，对三维模型和相机姿态信息进行优化，得到优化后的三维模型和优化后的相机姿态信息，包括：
采用预设优化算法，对三维空间点进行优化处理，得到优化后的三维点云数据，并对相机位姿信息进行优化处理，得到优化后的相机位姿信息；
采用三角化算法，将优化后的三维点云数据转换三维网格；
将初始图像数据映射到三维网格上，得到优化后的三维模型。
可选地，采用预设优化算法，对三维空间点进行优化处理，得到优化后的三维点云数据，并对相机位姿信息进行优化处理，得到优化后的相机位姿信息，包括：
采用捆绑调整算法，分别对三维空间点和相机位姿信息进行优化，得到优化后的三维点云数据和优化后的相机位姿信息，其中，相机位姿信息至少包括相机位置信息和相机姿态信息。
即相机位姿信息中的相机位置信息为相机的坐标信息即xyz值,相机姿态信息包括yaw（偏航角）参数、 pitch（俯仰角）参数和roll（翻滚角）参数。
具体地，终端设备采用预设优化算法，如捆绑调整（Bundle Adjustment），对相机位姿和恢复后的三维点云即点云数据进行优化调整，使其更加精确，更精准的相机位姿信息和点云数据，使用三角化算法将经过精化的点云转换成三维网格，再将拍摄的图像纹理映射到生成的三维网格上，以获得高精度的三维模型（OBJ文件），即优化后的三维模型。
本申请实施例采用三维重建算法使用一系列相机照片和位置信息来创建三维模型，利用特征点提取与匹配算法，可以建立两两图像之间的对应关系，然后使用三角测量等方法确定相机的位置和姿态，再利用立体视觉算法，将特征点恢复为三维空间中的点，在该过程中可以使用优化算法，如捆绑调整，对相机位姿和恢复后的三维点云进行优化调整，使其更加精确，最后使用三角化技术将经过精化的点云转换成三维网格，再将拍摄的图像纹理映射到生成的三维网格上，以获得高精度的三维模型，同时输出捆绑调整优化后的相机位姿。
可选地，根据优化后的三维模型和优化后的相机姿态信息以及预设渲染软件，确定与初始图像数据对应的深度图，包括：
将优化后的三维模型和优化后的相机姿态信息，输入到预设渲染软件，生成与初始图像数据对应的深度图，其中，预设渲染软件至少包括UE或unity中的任一种。
本申请实施例使用UE、unity等引擎渲染输出深度图，代替了激光雷达点云投影以及深度补全，减少了深度补全造成的深度图错误填充等问题。
本申请实施例中提供一种基于三维重建的训练数据生成方法，通用的视觉感知神经网络在训练过程中需要使用若干组相机采集的RGB图像以及对应的深度图像作为训练的结果真值groundtruth，通过有监督的训练实现在推理时输入场景的RGB图输出对应的深度图。但是不同于目标检测、分类任务，想要获取RGB图像对应的准确深度图，无法通过人类的手工标注完成，需要使用一些特殊手段生成RGB图像对应的深度图，如图2所示，本申请实施例提供的又一种训练数据的生成方法的流程示意图，该训练数据的生成方法包括：：
步骤1、采集同一个场景下多个位置和姿态下的多幅RGB图像，同时保存采集图像时相机的位姿参数，位姿参数包含相机位置和相机姿态（x，y，z，roll， pitch，yaw），位姿可以记录也可以通过多幅图像恢复得到位姿信息。
步骤2、对采集的若干组图像和相机位置信息进行三维重建，通过三维重建算法获取场景模型，同时获取优化后的高精度相机位姿和优化后的三维模型。
步骤3、 使用UE、unity等引擎导入相应的优化后的位姿信息和三维模型，渲染输出对应的深度图。
步骤4、将步骤3输出的深度图与原始采集的RGB图像组合形成训练数据组。
本申请实施例采集过程不需要激光雷达等设备的参与，在保证高精度的同时避免了使用高重量、高成本的设备，做到了灵活、快速的数据采集；使用UE、unity等软件通过三维重建输出的模型以及优化后的位姿直接渲染出深度图，避免了深度补全可能出现的潜在问题。
示例性地，图3中卡车的深度显然不连续，这是因为激光雷达点云较稀疏，深度补全效果较差造成的。房屋边沿也会因为激光点云扫描不到遮挡部分而存在深度缺失，而采用本申请实施例提供的方法可以避免这种情况。
图4使用本申请实施例提供的方法输出的深度图更精细，排除了深度补全造成的错误。
由于使用三维重建算法优化了相机位姿，因此本申请实施例提供的方法生成的深度图更加准确，减少了错位等情况发生。
图5左侧为RGB图像，右侧为使用激光雷达采集点云，用飞机RTK位姿转换到相机坐标系下投影成稀疏深度图，然后经过深度补全后生成的深度图，可以看到，对于近距离的物体（左下角的机库），深度图与RGB图不能很好的对齐。
图6是使用本文申请实施例提供的方法生成的深度图，可以看出对齐效果明显好于图5中的深度图。
需要说明的是，本实施例中各可实施的方式可以单独实施，也可以在不冲突的情况下以任意组合方式结合实施本申请不做限定。
本申请另一实施例提供一种训练数据的生成装置，用于执行上述实施例提供的训练数据的生成方法。
如图7所示，为本申请实施例提供的训练数据的生成装置的结构示意图。该训练数据的生成装置包括获取模块701、构建模块702、优化模块703、生成模块704和确定模块705，其中：
获取模块701用于获取多个相机在不同位置拍摄的多个初始图像数据，其中，初始图像数据至少包括被拍摄物体，与被拍摄物体对应的相机位置信息和相机姿态信息；
构建模块702用于对多个初始图像数据进行三维重建，得到与初始图像数据对应的三维模型；
优化模块703用于对三维模型和相机姿态信息进行优化，得到优化后的三维模型和优化后的相机姿态信息；
生成模块704用于根据优化后的三维模型和优化后的相机姿态信息以及预设渲染软件，确定与初始图像数据对应的深度图；
确定模块705用于将初始图像数据和与初始图像数据对应的深度图，确定为训练模型的训练数据。
本申请实施例通过采用多个相机获取图像，进行场景的三维重建，同时优化采集图像时相机的位姿，避免了相机位姿采集时的误差，解决了深度图对齐困难的问题。
关于本实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本申请又一实施例对上述实施例提供的训练数据的生成装置做进一步补充说明。
可选地，构建模块用于：
采用特征点提取与匹配算法，对初始图像数据进行特征提取，得到与初始图像数据对应的特征点的特征向量；
根据特征点的特征向量，确定初始图像数据之间的对应关系；
采用立体视觉算法，将初始图像数据中的特征点映射为三维空间点；
对三维空间点进行三维重建，得到与初始图像数据对应的三维模型。
通过由于通常情况下采集数据时受到尺寸、重量、使用场景的限制，以及为了避免联合标定造成的误差，本申请实施例通过采集图像数据，并使用基于图像数据的三维重建的方式获取场景模型，代替了激光雷达作为场景数据来源，采集过程不需要激光雷达等设备的参与，在保证高精度的同时避免了使用高重量、高成本的设备，做到了灵活、快速的数据采集。
可选地，优化模块用于：
采用预设优化算法，对三维空间点进行优化处理，得到优化后的三维点云数据，并对相机位姿信息进行优化处理，得到优化后的相机位姿信息；
采用三角化算法，将优化后的三维点云数据转换三维网格；
将初始图像数据映射到三维网格上，得到优化后的三维模型。
可选地，优化模块用于：
采用捆绑调整算法，分别对三维空间点和相机位姿信息进行优化，得到优化后的三维点云数据和优化后的相机位姿信息，其中，相机位姿信息至少包括相机位置信息和相机姿态信息。
本申请实施例采用三维重建算法使用一系列相机照片和位置信息来创建三维模型，利用特征点提取与匹配算法，可以建立两两图像之间的对应关系，然后使用三角测量等方法确定相机的位置和姿态，再利用立体视觉算法，将特征点恢复为三维空间中的点，在该过程中可以使用优化算法，如捆绑调整，对相机位姿和恢复后的三维点云进行优化调整，使其更加精确，最后使用三角化技术将经过精化的点云转换成三维网格，再将拍摄的图像纹理映射到生成的三维网格上，以获得高精度的三维模型，同时输出捆绑调整优化后的相机位姿，
可选地，生成模块用于：
将优化后的三维模型和优化后的相机姿态信息，输入到预设渲染软件，生成与初始图像数据对应的深度图，其中，预设渲染软件至少包括UE或unity中的任一种。
本申请实施例使用UE、unity等引擎渲染输出深度图，代替了激光雷达点云投影以及深度补全，减少了深度补全造成的深度图错误填充等问题。
关于本实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
需要说明的是，本实施例中各可实施的方式可以单独实施，也可以在不冲突的情况下以任意组合方式结合实施本申请不做限定。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时可实现如上述实施例提供的训练数据的生成方法中的任意实施例所对应方法的操作。
本申请实施例还提供了一种计算机程序产品，的计算机程序产品包括计算机程序，其中，的计算机程序被处理器执行时可实现如上述实施例提供的训练数据的生成方法中的任意实施例所对应方法的操作。
如图8所示，本申请的一些实施例提供一种电子设备800，该电子设备800包括：存储器810、处理器820以及存储在存储器810上并可在处理器820上运行的计算机程序，其中，处理器820通过总线830从存储器810读取程序并执行程序时可实现如上述训练数据的生成方法包括的任意实施例的方法。
处理器820可以处理数字信号，可以包括各种计算结构。例如复杂指令集计算机结构、结构精简指令集计算机结构或者一种实行多种指令集组合的结构。在一些示例中，处理器820可以是微处理器。
存储器810可以用于存储由处理器820执行的指令或指令执行过程中相关的数据。这些指令和/或数据可以包括代码，用于实现本申请实施例描述的一个或多个模块的一些功能或者全部功能。本公开实施例的处理器820可以用于执行存储器810中的指令以实现上述所示的方法。存储器810包括动态随机存取存储器、静态随机存取存储器、闪存、光存储器或其它本领域技术人员所熟知的存储器。
以上仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (8)
1.一种训练数据的生成方法，其特征在于，所述方法包括：
获取多个相机在不同位置拍摄的多个初始图像数据，其中，所述初始图像数据至少包括被拍摄物体，与所述被拍摄物体对应的相机位置信息和相机姿态信息；
对多个所述初始图像数据进行三维重建，得到与所述初始图像数据对应的三维模型；
对所述三维模型和所述相机姿态信息进行优化，得到优化后的三维模型和优化后的相机姿态信息；
将所述优化后的三维模型和优化后的相机姿态信息，输入到预设渲染软件，生成与所述初始图像数据对应的深度图；
将所述初始图像数据和与所述初始图像数据对应的深度图，确定为训练模型的训练数据：其中：
所述对所述三维模型和所述相机姿态信息进行优化，得到优化后的三维模型和优化后的相机姿态信息，包括：
采用预设优化算法，对所述三维空间点进行优化处理，得到优化后的三维点云数据，并对所述相机位姿信息进行优化处理，得到优化后的相机位姿信息；
采用三角化算法，将所述优化后的三维点云数据转换三维网格；
将所述初始图像数据映射到所述三维网格上，得到所述优化后的三维网格。
2.根据权利要求1所述的训练数据的生成方法，其特征在于，所述对多个所述初始图像数据进行三维重建，得到与所述初始图像数据对应的三维模型，包括：
采用特征点提取与匹配算法，对所述初始图像数据进行特征提取，得到与所述初始图像数据对应的特征点的特征向量；
根据所述特征点的特征向量，确定所述初始图像数据之间的对应关系；
采用立体视觉算法，将所述初始图像数据中的特征点映射为三维空间点；
对所述三维空间点进行三维重建，得到与所述初始图像数据对应的三维模型。
3.根据权利要求2所述的训练数据的生成方法，其特征在于，所述采用预设优化算法，对所述三维空间点进行优化处理，得到优化后的三维点云数据，并对所述相机位姿信息进行优化处理，得到优化后的相机位姿信息，包括：
采用捆绑调整算法，分别对所述三维空间点和所述相机位姿信息进行优化，得到优化后的三维点云数据和优化后的相机位姿信息，其中，所述相机位姿信息至少包括相机位置信息和相机姿态信息。
4.根据权利要求1所述的训练数据的生成方法，其特征在于，
所述预设渲染软件至少包括UE或unity中的任一种。
5.一种训练数据的生成装置，其特征在于，所述装置包括：
获取模块，用于获取多个相机在不同位置拍摄的多个初始图像数据，其中，所述初始图像数据至少包括被拍摄物体，与所述被拍摄物体对应的相机位置信息和相机姿态信息；
构建模块，用于对多个所述初始图像数据进行三维重建，得到与所述初始图像数据对应的三维模型；
优化模块，用于对所述三维模型和所述相机姿态信息进行优化，得到优化后的三维模型和优化后的相机姿态信息；
生成模块，用于将所述优化后的三维模型和优化后的相机姿态信息，输入到预设渲染软件，生成与所述初始图像数据对应的深度图；
确定模块，用于将所述初始图像数据和与所述初始图像数据对应的深度图，确定为训练模型的训练数据；
其中：
所述优化模块用于：
采用预设优化算法，对所述三维空间点进行优化处理，得到优化后的三维点云数据，并对所述相机位姿信息进行优化处理，得到优化后的相机位姿信息；
采用三角化算法，将所述优化后的三维点云数据转换三维网格；
将所述初始图像数据映射到所述三维网格上，得到所述优化后的三维网格。
6.根据权利要求5所述的训练数据的生成装置，其特征在于，所述构建模块用于：
采用特征点提取与匹配算法，对所述初始图像数据进行特征提取，得到与所述初始图像数据对应的特征点的特征向量；
根据所述特征点的特征向量，确定所述初始图像数据之间的对应关系；
采用立体视觉算法，将所述初始图像数据中的特征点映射为三维空间点；
对所述三维空间点进行三维重建，得到与所述初始图像数据对应的三维模型。
7.一种电子设备，其特征在于，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述程序时可实现权利要求1-4中任意一项权利要求所述的训练数据的生成方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述程序被处理器执行时可实现权利要求1-4中任意一项权利要求所述的训练数据的生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311499874.1A CN117237544B (zh) | 2023-11-13 | 2023-11-13 | 一种训练数据的生成方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311499874.1A CN117237544B (zh) | 2023-11-13 | 2023-11-13 | 一种训练数据的生成方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117237544A CN117237544A (zh) | 2023-12-15 |
| CN117237544B true CN117237544B (zh) | 2024-01-26 |
Family
ID=89082892
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311499874.1A Active CN117237544B (zh) | 2023-11-13 | 2023-11-13 | 一种训练数据的生成方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117237544B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108510578A (zh) * | 2018-03-13 | 2018-09-07 | 北京航空航天大学青岛研究院 | 三维模型搭建方法、装置及电子设备 |
| CN111968235A (zh) * | 2020-07-08 | 2020-11-20 | 杭州易现先进科技有限公司 | 一种物体姿态估计方法、装置、系统和计算机设备 |
| CN113724379A (zh) * | 2021-07-08 | 2021-11-30 | 中国科学院空天信息创新研究院 | 三维重建方法、装置、设备及存储介质 |
| CN113902847A (zh) * | 2021-10-11 | 2022-01-07 | 岱悟智能科技(上海)有限公司 | 基于三维特征约束的单目深度图像位姿优化方法 |
| CN114049464A (zh) * | 2021-11-15 | 2022-02-15 | 聚好看科技股份有限公司 | 一种三维模型的重建方法及设备 |
| CN116228974A (zh) * | 2023-02-13 | 2023-06-06 | 广东虚拟现实科技有限公司 | 三维模型构建方法、装置、计算机设备以及存储介质 |
| WO2023138471A1 (zh) * | 2022-01-24 | 2023-07-27 | 阿里巴巴（中国）有限公司 | 三维场景渲染方法、设备以及存储介质 |
| CN116563493A (zh) * | 2023-05-10 | 2023-08-08 | 北京达佳互联信息技术有限公司 | 基于三维重建的模型训练方法、三维重建方法及装置 |
| CN117036569A (zh) * | 2023-10-08 | 2023-11-10 | 北京渲光科技有限公司 | 三维模型颜色生成网络训练方法、颜色生成方法及装置 |
-
2023
- 2023-11-13 CN CN202311499874.1A patent/CN117237544B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108510578A (zh) * | 2018-03-13 | 2018-09-07 | 北京航空航天大学青岛研究院 | 三维模型搭建方法、装置及电子设备 |
| CN111968235A (zh) * | 2020-07-08 | 2020-11-20 | 杭州易现先进科技有限公司 | 一种物体姿态估计方法、装置、系统和计算机设备 |
| CN113724379A (zh) * | 2021-07-08 | 2021-11-30 | 中国科学院空天信息创新研究院 | 三维重建方法、装置、设备及存储介质 |
| CN113902847A (zh) * | 2021-10-11 | 2022-01-07 | 岱悟智能科技(上海)有限公司 | 基于三维特征约束的单目深度图像位姿优化方法 |
| CN114049464A (zh) * | 2021-11-15 | 2022-02-15 | 聚好看科技股份有限公司 | 一种三维模型的重建方法及设备 |
| WO2023138471A1 (zh) * | 2022-01-24 | 2023-07-27 | 阿里巴巴（中国）有限公司 | 三维场景渲染方法、设备以及存储介质 |
| CN116228974A (zh) * | 2023-02-13 | 2023-06-06 | 广东虚拟现实科技有限公司 | 三维模型构建方法、装置、计算机设备以及存储介质 |
| CN116563493A (zh) * | 2023-05-10 | 2023-08-08 | 北京达佳互联信息技术有限公司 | 基于三维重建的模型训练方法、三维重建方法及装置 |
| CN117036569A (zh) * | 2023-10-08 | 2023-11-10 | 北京渲光科技有限公司 | 三维模型颜色生成网络训练方法、颜色生成方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117237544A (zh) | 2023-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2018119889A1 (zh) | 三维场景定位方法和装置 | |
| CN111598993B (zh) | 基于多视角成像技术的三维数据重建方法、装置 | |
| CN110176032B (zh) | 一种三维重建方法及装置 | |
| CN111127422A (zh) | 图像标注方法、装置、系统及主机 | |
| CN102289803A (zh) | 图像处理设备、图像处理方法及程序 | |
| CN110517209B (zh) | 数据处理方法、装置、系统以及计算机可读存储介质 | |
| CN113689578B (zh) | 一种人体数据集生成方法及装置 | |
| CN114494388B (zh) | 一种大视场环境下图像三维重建方法、装置、设备及介质 | |
| WO2020092051A1 (en) | Rolling shutter rectification in images/videos using convolutional neural networks with applications to sfm/slam with rolling shutter images/videos | |
| KR102076494B1 (ko) | 3차원 데이터 처리 장치 및 방법 | |
| CN114677588A (zh) | 障碍物检测的方法、装置、机器人和存储介质 | |
| CN110738730A (zh) | 点云匹配方法、装置、计算机设备和存储介质 | |
| CN115457208A (zh) | Mep设备的三维建模方法、装置、存储介质及电子装置 | |
| CN113361365A (zh) | 定位方法和装置、设备及存储介质 | |
| CN117579753A (zh) | 三维扫描方法、装置、计算机设备以及存储介质 | |
| CN111742352B (zh) | 对三维对象进行建模的方法和电子设备 | |
| CN117237544B (zh) | 一种训练数据的生成方法、装置、电子设备及存储介质 | |
| JP2006195790A (ja) | レンズ歪推定装置、レンズ歪推定方法、及びレンズ歪推定プログラム | |
| CN116912417A (zh) | 基于人脸三维重建的纹理贴图方法、装置、设备和存储介质 | |
| CN109166176B (zh) | 三维人脸图像的生成方法与装置 | |
| JP2023100258A (ja) | 空中給油のための姿勢推定の修正 | |
| CN113706391B (zh) | 无人机航拍图像实时拼接方法、系统、设备及存储介质 | |
| CN113628265B (zh) | 车辆周视点云的生成方法、深度估计模型训练方法及装置 | |
| CN112634439B (zh) | 一种3d信息展示方法及装置 | |
| CN117252914A (zh) | 深度估计网络的训练方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |