CN114092646A - 模型生成方法、装置、计算机设备及存储介质 - Google Patents
模型生成方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN114092646A CN114092646A CN202111395078.4A CN202111395078A CN114092646A CN 114092646 A CN114092646 A CN 114092646A CN 202111395078 A CN202111395078 A CN 202111395078A CN 114092646 A CN114092646 A CN 114092646A
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- dimensional model
- world coordinate
- target
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000011218 segmentation Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 11
- 230000005484 gravity Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开提供了一种模型生成方法、装置、计算机设备及存储介质，其中，该方法包括：获取待处理的影像数据；所述影像数据包括对所述目标场景进行图像采集得到的至少一帧图像；基于所述影像数据，确定位于所述目标场景内的多个目标对象分别对应的三维模型；针对多个所述目标对象中的每个所述目标对象，确定该目标对象的三维模型在世界坐标系下的位姿信息；基于各所述目标对象的三维模型分别在所述世界坐标系下的位姿信息、以及多个所述目标对象分别对应的三维模型，生成所述目标场景的三维模型。
Description
技术领域
本公开涉及计算机技术领域，具体而言，涉及一种模型生成方法、装置、计算机设备及存储介质。
背景技术
对现实场景中的对象进行三维重建，得到各对象对应的三维模型，并对三维模型进行进一步处理，从而实现对现实场景中对象的深入管理，已经成为一种重要的手段；但是，当需要对现实场景中包含的大量对象进行建模时，可能存在建模得到的三维模型的位姿与实际情况存在较大的误差，造成一些对象的三维模型不符合真实物理世界的重力原则，造成三维重建后的三维模型无法真实地反映现实场景的情况。
发明内容
本公开实施例至少提供一种模型生成方法、装置、计算机设备及存储介质。
第一方面，本公开实施例提供了一种模型生成方法，包括：获取待处理的影像数据；所述影像数据包括对所述目标场景进行图像采集得到的至少一帧图像；基于所述影像数据，确定位于所述目标场景内的多个目标对象分别对应的三维模型；针对多个所述目标对象中的每个所述目标对象，确定该目标对象的三维模型在世界坐标系下的位姿信息；基于各所述目标对象的三维模型分别在所述世界坐标系下的位姿信息、以及多个所述目标对象分别对应的三维模型，生成所述目标场景的三维模型。
这样，通过构建的目标场景内的多个目标对象分别对应的三维模型，确定各目标对象的三维模型在世界坐标系下的位姿信息；利用各目标对象的三维模型分别在世界坐标系下的位姿信息，能够在至少一个位姿维度上，生成目标场景的三维模型，降低目标对象的三维模型的位姿误差，更符合真实物理世界的重力原则，能够真实反映目标场景的现实情况。
一种可选的实施方式中，所述基于所述影像数据，确定位于所述目标场景内的多个目标对象分别对应的三维模型，包括：基于所述影像数据对所述目标场景进行三维点云重建，得到所述目标场景的点云数据；所述点云数据包括多个点云点、以及各个所述点云点分别在所述目标场景中的位置信息；对所述点云数据进行语义分割处理，得到多个所述点云点分别对应的语义信息；基于所述点云数据、以及多个所述点云点分别对应的语义信息，确定位于所述目标场景内的多个所述目标对象分别对应的三维模型。
这样，基于影像数据，对目标场景进行三维点云重建，并对得到的点云数据进行语义分割，生成能够反映目标场景内各目标对象的真实空间结构、以及各目标对象分别对应的位姿信息的三维点云模型，为后续生成符合真实物理世界的重力原则的目标场景的三维模型的过程提供较为精确的输入数据。
一种可选的实施方式中，所述目标对象包括下述至少一种：位于所述目标场景内的建筑、部署在所述目标场景内的设备、以及位于所述目标场景内的植被。
一种可选的实施方式中，所述位姿信息包括下述至少一种：在世界坐标系下的位置坐标、经纬度、以及磁偏角。
一种可选的实施方式中，所述针对多个所述目标对象中的每个所述目标对象，确定该目标对象的三维模型在世界坐标系下的位姿信息，包括：针对多个所述目标对象中的每个所述目标对象，从该目标对象的三维模型中，确定属于该目标对象的多个位置点；基于多个所述位置点分别在所述世界坐标系下的位姿，确定该目标对象的三维模型在所述世界坐标系下的位姿信息。
这样，针对各目标对象的三维模型，通过该目标对象的三维模型中多个位置点分别在世界坐标系下的位姿信息，确定目标对象的三维模型在世界坐标系下的位姿信息，能够尽可能的消除由于有限数量的位置点在世界坐标系下的位姿信息不准确，造成的误差，从而提高了目标对象的三维模型在世界坐标系下的位姿信息的精准度，为后续基于各目标对象的三维模型在世界坐标系下的位姿信息，确定目标对象所在的目标场景的三维模型在世界坐标系下的位姿信息提供了较为精确的输入数据，从而提高后续确定的目标场景的三维模型在世界坐标系下的位姿信息的精准度。
一种可选的实施方式中，所述位姿信息包括在世界坐标系下的位置坐标；所述基于多个所述位置点分别在所述世界坐标系下的位姿，确定该目标对象的三维模型在所述世界坐标系下的位姿信息，包括：基于所述三维模型、以及所述图像采集设备采集所述影像数据时在世界坐标系下的位姿，确定多个所述位置点分别在所述世界坐标系下的位置坐标；确定多个所述位置点分别对应的位置坐标的平均位置坐标；将所述平均位置坐标，确定为该目标对象的三维模型在所述世界坐标系下的位置坐标。
这样，针对各目标对象的三维模型，通过计算该目标对象的三维模型中多个位置点分别在世界坐标系下的位置坐标平均值的方式，确定目标对象的三维模型在世界坐标系下的位置坐标，能够尽可能的消除由于有限数量的位置点在世界坐标系下的位置坐标不准确，造成的误差，从而提高了目标对象的三维模型在世界坐标系下的位置坐标的精准度，为后续基于各目标对象的三维模型在世界坐标系下的位置坐标，确定目标对象所在的目标场景的三维模型在世界坐标系下的位置坐标提供了较为精确的输入数据，从而提高后续确定的目标场景的三维模型在世界坐标系下的位置坐标的精准度。
一种可选的实施方式中，所述位姿信息包括经纬度；所述基于多个所述位置点分别在所述世界坐标系下的位姿，确定该目标对象的三维模型在所述世界坐标系下的位姿信息，包括：基于所述三维模型、以及所述图像采集设备采集所述影像数据时在世界坐标系下的位姿，确定多个所述位置点分别对应的经纬度；确定多个所述位置点分别对应的经纬度的平均经纬度；将所述平均经纬度，确定为该目标对象的三维模型在所述世界坐标系下的经纬度。
这样，针对各目标对象的三维模型，通过计算该目标对象的三维模型中多个位置点分别在世界坐标系下的经纬度平均值的方式，确定目标对象的三维模型在世界坐标系下的经纬度，能够尽可能的消除由于有限数量的位置点在世界坐标系下的经纬度不准确，造成的误差，从而提高了目标对象的三维模型在世界坐标系下的经纬度的精准度，为后续基于各目标对象的三维模型在世界坐标系下的经纬度，确定目标对象所在的目标场景的三维模型在世界坐标系下的经纬度提供了较为精确的输入数据，从而提高后续确定的目标场景的三维模型在世界坐标系下的经纬度的精准度。
一种可选的实施方式中，所述位姿信息包括磁偏角；所述基于多个所述位置点分别在所述世界坐标系下的位姿，确定该目标对象的三维模型在所述世界坐标系下的位姿信息，包括：基于所述三维模型、以及所述图像采集设备采集所述影像数据时在世界坐标系下的位姿，确定多个所述位置点分别对应的磁偏角；确定多个所述位置点分别对应的磁偏角的平均磁偏角；将所述平均磁偏角，确定为该目标对象的三维模型在所述世界坐标系下的磁偏角。
这样，针对各目标对象的三维模型，通过计算该目标对象的三维模型中多个位置点分别在世界坐标系下的磁偏角平均值的方式，确定目标对象的三维模型在世界坐标系下的磁偏角，能够尽可能的消除由于有限数量的位置点在世界坐标系下的磁偏角不准确，造成的误差，从而提高了目标对象的三维模型在世界坐标系下的磁偏角的精准度，为后续基于各目标对象的三维模型在世界坐标系下的磁偏角，确定目标对象所在的目标场景的三维模型在世界坐标系下的磁偏角提供了较为精确的输入数据，从而提高后续确定的目标场景的三维模型在世界坐标系下的磁偏角的精准度。
一种可选的实施方式中，所述基于各所述目标对象的三维模型分别在所述世界坐标系下的位姿信息、以及多个所述目标对象分别对应的三维模型，生成所述目标场景的三维模型，包括：确定所述目标场景内的多个所述目标对象的三维模型在所述世界坐标系下的位姿信息的平均位姿信息；将所述平均位姿信息，确定为所述目标场景的三维模型在所述世界坐标系下的位姿信息；基于所述目标场景的三维模型在所述世界坐标系下的位姿信息、以及多个所述目标对象分别对应的三维模型，生成所述目标场景的三维模型。
这样，针对目标场景的三维模型，通过将位于目标场景中的各目标对象的三维模型在世界坐标系下的位姿信息求平均值的方式，确定目标场景的三维模型在世界坐标系下的位姿信息，能够尽可能的消除由于有限数量的目标对象的三维模型在世界坐标系下的位姿信息不准确，造成的误差，从而提高了目标场景的三维模型在世界坐标系下的位姿信息的精准度。
一种可选的实施方式中，所述基于所述目标场景的三维模型在所述世界坐标系下的位姿信息、以及多个所述目标对象分别对应的三维模型，生成所述目标场景的三维模型，包括：基于所述目标场景的三维模型在所述世界坐标系下的位姿信息、以及各所述目标对象的三维模型分别在所述世界坐标系下的位姿信息，从多个所述目标对象中，确定待调整目标对象；基于所述目标场景的三维模型在所述世界坐标系下的位姿信息、以及所述待调整目标对象对应的三维模型在所述世界坐标系下的位姿信息，调整所述待调整目标对象的三维模型在所述目标场景中的位置和/或姿态，得到所述待调整目标对象的标准三维模型；基于所述待调整目标对象的标准三维模型、以及非待调整目标对象的三维模型，生成所述目标场景的三维模型。
这样，基于目标场景的三维模型在世界坐标系下的位姿信息，实现对目标场景中不符合真实物理世界重力原则的目标对象的三维模型进行位姿修正，从而提高生成的目标场景的三维模型的准确性，使得生成的目标场景的三维模型更加符合真实物理世界重力原则，能够更好的反映目标场景的现实情况。
第二方面，本公开实施例还提供一种模型生成装置，包括：获取模块，用于获取待处理的影像数据；所述影像数据包括对所述目标场景进行图像采集得到的至少一帧图像；第一确定模块，用于基于所述影像数据，确定位于所述目标场景内的多个目标对象分别对应的三维模型；第二确定模块，用于针对多个所述目标对象中的每个所述目标对象，确定该目标对象的三维模型在世界坐标系下的位姿信息；生成模块，用于基于各所述目标对象的三维模型分别在所述世界坐标系下的位姿信息、以及多个所述目标对象分别对应的三维模型，生成所述目标场景的三维模型。
一种可选的实施方式中，所述第一确定模块，在基于所述影像数据，确定位于所述目标场景内的多个目标对象分别对应的三维模型时，具体用于：基于所述影像数据对所述目标场景进行三维点云重建，得到所述目标场景的点云数据；所述点云数据包括多个点云点、以及各个所述点云点分别在所述目标场景中的位置信息；对所述点云数据进行语义分割处理，得到多个所述点云点分别对应的语义信息；基于所述点云数据、以及多个所述点云点分别对应的语义信息，确定位于所述目标场景内的多个所述目标对象分别对应的三维模型。
一种可选的实施方式中，所述目标对象包括下述至少一种：位于所述目标场景内的建筑、部署在所述目标场景内的设备、以及位于所述目标场景内的植被。
一种可选的实施方式中，所述位姿信息包括下述至少一种：在世界坐标系下的位置坐标、经纬度、以及磁偏角。
一种可选的实施方式中，所述第二确定模块，在所述针对多个所述目标对象中的每个所述目标对象，确定该目标对象的三维模型在世界坐标系下的位姿信息时，具体用于：针对多个所述目标对象中的每个所述目标对象，从该目标对象的三维模型中，确定属于该目标对象的多个位置点；基于多个所述位置点分别在所述世界坐标系下的位姿，确定该目标对象的三维模型在所述世界坐标系下的位姿信息。
一种可选的实施方式中，所述位姿信息包括在世界坐标系下的位置坐标；所述第二确定模块，在所述基于多个所述位置点分别在所述世界坐标系下的位姿，确定该目标对象的三维模型在所述世界坐标系下的位姿信息时，具体用于：基于所述三维模型、以及所述图像采集设备采集所述影像数据时在世界坐标系下的位姿，确定多个所述位置点分别在所述世界坐标系下的位置坐标；确定多个所述位置点分别对应的位置坐标的平均位置坐标；将所述平均位置坐标，确定为该目标对象的三维模型在所述世界坐标系下的位置坐标。
一种可选的实施方式中，所述位姿信息包括经纬度；所述第二确定模块在所述基于多个所述位置点分别在所述世界坐标系下的位姿，确定该目标对象的三维模型在所述世界坐标系下的位姿信息时，具体用于：基于所述三维模型、以及所述图像采集设备采集所述影像数据时在世界坐标系下的位姿，确定多个所述位置点分别对应的经纬度；确定多个所述位置点分别对应的经纬度的平均经纬度；将所述平均经纬度，确定为该目标对象的三维模型在所述世界坐标系下的经纬度。
一种可选的实施方式中，所述位姿信息包括磁偏角；所述第二确定模块在所述基于多个所述位置点分别在所述世界坐标系下的位姿，确定该目标对象的三维模型在所述世界坐标系下的位姿信息时，具体用于：基于所述三维模型、以及所述图像采集设备采集所述影像数据时在世界坐标系下的位姿，确定多个所述位置点分别对应的磁偏角；确定多个所述位置点分别对应的磁偏角的平均磁偏角；将所述平均磁偏角，确定为该目标对象的三维模型在所述世界坐标系下的磁偏角。
一种可选的实施方式中，所述生成模块，在所述基于各所述目标对象的三维模型分别在所述世界坐标系下的位姿信息、以及多个所述目标对象分别对应的三维模型，生成所述目标场景的三维模型时，具体用于：确定所述目标场景内的多个所述目标对象的三维模型在所述世界坐标系下的位姿信息的平均位姿信息；将所述平均位姿信息，确定为所述目标场景的三维模型在所述世界坐标系下的位姿信息；基于所述目标场景的三维模型在所述世界坐标系下的位姿信息、以及多个所述目标对象分别对应的三维模型，生成所述目标场景的三维模型。
一种可选的实施方式中，所述生成模块，在所述基于所述目标场景的三维模型在所述世界坐标系下的位姿信息、以及多个所述目标对象分别对应的三维模型，生成所述目标场景的三维模型时，具体用于：基于所述目标场景的三维模型在所述世界坐标系下的位姿信息、以及各所述目标对象的三维模型分别在所述世界坐标系下的位姿信息，从多个所述目标对象中，确定待调整目标对象；基于所述目标场景的三维模型在所述世界坐标系下的位姿信息、以及所述待调整目标对象对应的三维模型在所述世界坐标系下的位姿信息，调整所述待调整目标对象的三维模型在所述目标场景中的位置和/或姿态，得到所述待调整目标对象的标准三维模型；基于所述待调整目标对象的标准三维模型、以及非待调整目标对象的三维模型，生成所述目标场景的三维模型。
第三方面，本公开可选实现方式还提供一种计算机设备，处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
第四方面，本公开可选实现方式还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
关于上述模型生成装置、计算机设备、及计算机可读存储介质的效果描述参见上述模型生成方法的说明，这里不再赘述。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种模型生成方法的流程图；
图2示出了本公开实施例所提供的目标场景的三维模型的结构示意图；
图3示出了本公开实施例所提供的模型生成方法中，一种模型生成的具体方式的流程图；
图4示出了本公开实施例所提供的一种模型生成装置的示意图；
图5示出了本公开实施例所提供的一种计算机设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
经研究发现，当需要对现实场景中包含的大量对象进行建模时，建模得到的三维模型的位姿与实际情况存在较大的误差，造成一些对象的三维模型不符合真实物理世界的重力原则，造成三维重建后的三维模型无法真实地反映现实场景的情况。
基于上述研究，本公开提供了一种模型生成方法、装置、计算机设备及存储介质，通过构建的目标场景内的多个目标对象分别对应的三维模型，确定各目标对象的三维模型在世界坐标系下的位姿信息；利用各目标对象的三维模型分别在世界坐标系下的位姿信息，能够在至少一个位姿维度上，生成目标场景的三维模型，降低目标对象的三维模型的位姿误差，更符合真实物理世界的重力原则，能够真实反映目标场景的现实情况。
以上方案所存在的缺陷以及所提出的解决方案，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种模型生成方法进行详细介绍，本公开实施例所提供的模型生成方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该模型生成方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
下面对本公开实施例提供的模型生成方法加以说明。
参见图1所示，为本公开实施例提供的一种模型生成方法的流程图，所述方法包括步骤S101～S104，其中：
S101、获取待处理的影像数据。
其中，影像数据包括对目标场景进行图像采集得到的图像或者视频等，其中视频例如可以包括但不限于全景视频，图像可以包括一张或者多张，图像也可以为全景图像；图像采集设备例如可以包括但不限于手机、摄像头、摄像机、相机、全景相机、无人驾驶飞行器、无人机等中的至少一种。具体地，由于图像采集设备在对目标场景进行拍摄时可以获得影像数据或者多帧图像，因此其例如可以适用于如机房(或者站点)、厂房等空间较大的目标场景进行全方位的拍摄。以机房为例，其中例如可以存放有计算设备、数据存储设备、以及信号接收设备等；厂房例如可以存放有生产设备、装卸设备、以及运输设备等。机房和厂房等目标场景均为实体空间。
示例性的，目标场景例如可以包括占地面积较大的机房，例如占地20平方米、30平方米、或者50平方米的机房。在以机房作为目标场景的情况下，可以利用图像采集设备对其中的场景进行拍摄。
另外，目标场景也可以是室外的场景，例如，为了对用于通信或者用于传输电力的杆塔的周边环境进行监测，以防止杆塔周边的植被在生长过程中影响到杆塔的正常应用，因此，可以将杆塔及周边环境作为目标场景，获取影像数据，并对杆塔、杆塔附近的植被、以及杆塔附近可能存在的建筑等进行建模。
在一种可能的情况下，用于进行数据采集的目标场景可以包括多个区域，例如在一个大的目标场景内可以包括有多个机房。另外，在目标场景中还包括至少一个目标对象，目标对象例如可以包括但不限于：位于目标场景内的建筑、部署在目标场景内的设备、以及位于目标场景内的植被中的至少一种；比如，目标场景包括机房的情况下，位于目标场景内的建筑例如可以包括但不限于：机房天花板、机房地面、机房墙壁、机房柱子等中的至少一种；部署在目标场景内的设备例如可以包括但不限于：在机房天面上安装的杆塔和户外机柜、以及与杆塔连接的走线架、以及安装在机房内的室内机柜等中的至少一种。
具体地，在控制图像采集设备对目标场景进行影像数据采集时，可以通过控制搭载有图像采集设备的机器人在目标场景中行走，以获取目标场景对应的影像数据；或者，也可以通过查勘人员等工作人员持图像采集设备的方式，对目标场景进行图像采集，以获取目标场景对应的影像数据；或者，也可以通过控制搭载有图像采集设备的无人机在目标场景中飞行，以采集目标场景的影像数据。
此处，在对目标场景进行影像数据采集时，为了使目标场景的建模较为完整，可以控制图像采集设备在不同的位姿下进行图像采集，以构成目标场景对应的影像数据。
其中，由于利用图像采集设备采集到的影像数据需要应用于数据处理，例如会用于三维模型重建，因此需要确定图像采集设备在目标场景中的位姿。在该种情况下，例如还可以在利用图像采集设备对目标场景进行图像采集前，对图像采集设备的陀螺仪进行校准，以确定图像采集设备在目标场景中的位姿；示例性的，例如可以调整图像采集设备的光轴与目标场景的地面平行。
在对图像采集设备的陀螺仪进行校准后，可以通过选择图像采集设备的影像数据采集模式进行影像数据采集，并得到目标场景对应的影像数据。
承接上述S101，本公开实施例提供的模型生成方法还包括：
S102、基于所述影像数据，确定位于所述目标场景内的多个目标对象分别对应的三维模型。
在具体实施中，在基于影像数据，确定位于目标场景内的多个目标对象分别对应的三维模型时，例如可以采用下述方式：基于影像数据对目标场景进行三维点云重建，得到目标场景的点云数据；对点云数据进行语义分割处理，得到多个点云点分别对应的语义信息；基于点云数据、以及多个点云点分别对应的语义信息，确定位于目标场景内的多个目标对象分别对应的三维模型。
其中，点云数据包括多个点云点、以及各个点云点分别在目标场景中的位置信息。
示例性的，可以采用但不限于下述A1～A2中的至少一种，基于影像数据对目标场景进行三维点云重建，得到目标场景的点云数据：
A1、若图像采集设备包括手机，则获取到目标场景对应的影像数据中的图像中的各像素点不具有深度值。具体地，通过多张对目标场景的不同角度拍摄得到的图像，可以解算出目标场景中各个点在目标场景中的具体位置，从而可以构建目标场景对应的点云点，得到目标场景的点云数据。
A2、若图像采集设备包括全景相机，则获取到的目标场景对应的影像数据中的图像中的各像素点对应有深度值，则利用包含有深度值的图像，即可以确定目标场景中各个点在目标场景的位置坐标，也即确定目标场景的点云数据。
在确定目标场景的点云数据后，可以采用语义分割的方式确定各个点云点的语义信息。示例性的，由于在点云数据上执行语义分割时，会比在二维空间上的语义分割复杂，因此例如可以利用投影点云点合成二维图像的方式，将语义分割的问题转换为在二维图像上的语义分割问题进行处理。具体地，可以首先基于各点云点分别在目标场景中的位置信息，将点云点投影到虚拟二维图像中，然后采用预训练好的神经网络进行语义分割处理。其中，预训练好的神经网络例如可以包括但不限于下述至少一种：卷积神经网络(Convolutional Neural Networks，简称CNN)、自注意力神经网络Transformer。
在对虚拟二维图像进行语义分割处理后，可以得到虚拟语义分割图像；虚拟语义分割图像中的每个虚拟像素点均对应有不同类别下的分数，其中，不同类别下的分数表征该虚拟像素点属于对应分类的置信度，并可以相应的根据不同类别下的分数为该虚拟像素点确定对应的语义信息。
这样，即可以根据虚拟像素点与点云点之间的对应关系，将在虚拟二维图像中确定的语义信息映射至点云点上，也即完成对各个点云点的语义信息的确定。
在确定各个点云点的语义信息后，即可以根据各个点云点在目标场景中的位置信息、以及各个点云点对应的语义信息，确定目标场景内的多个目标对象分别对应的三维模型。
示例性的，在确定各个点云点分别对应的语义信息后，可以将位置相邻且语义信息相同的点云点，作为同一目标对象对应的点云点。在确定归至同一目标对象的点云点后，可以基于各目标对象分别对应的点云点，生成该目标对象对应的三维模型；这里，各目标对象对应的三维模型中可以携带有各点云点分别对应的语义信息。
在确定目标场景内的多个目标对象分别对应的三维模型后，可以采用下述S103所示的具体实施方式，确定目标场景内各目标对象的三维模型在世界坐标系下的位姿信息：
S103、针对多个所述目标对象中的每个所述目标对象，确定该目标对象的三维模型在世界坐标系下的位姿信息。
其中，位姿信息包括下述至少一种：在世界坐标系下的位置坐标、经纬度、以及磁偏角；位姿信息中包含的在世界坐标系下的位置坐标例如可以包括但不限于：目标对象的三维模型的坐标原点在世界坐标系下位置坐标；经纬度例如可以包括但不限于：目标对象的三维模型在世界坐标系下的地理位置坐标；磁偏角包括目标对象的三维模型在世界坐标系下的地磁角度朝向，比如，目标对象的三维模型的正北朝向。
在具体实施中，在针对多个目标对象中的每个目标对象，确定该目标对象的三维模型在世界坐标系下的位姿信息时，例如可以采用下述方法：针对多个目标对象中的每个目标对象，从该目标对象的三维模型中，确定属于该目标对象的多个位置点；基于多个位置点分别在所述世界坐标系下的位姿，确定该目标对象的三维模型在世界坐标系下的位姿信息。
在实施时，在位姿信息包括在世界坐标系下的位置坐标时，可以针对各目标对象，在该目标对象的三维模型中选取n个位置点；基于n个位置点分别在世界坐标系下的位置坐标，计算得到目标对象的三维模型的坐标原点在世界坐标系下位置坐标。
在位姿信息包括经纬度时，可以针对各目标对象，在该目标对象的三维模型中选取m个位置点；基于m个位置点分别在世界坐标系下的经纬度，计算得到目标对象的三维模型在世界坐标系下的经纬度。
在位姿信息包括磁偏角时，可以针对各目标对象，在该目标对象的三维模型中选取p个位置点；基于p个位置点分别对应的地磁的磁偏角，计算得到目标对象的三维模型在世界坐标系下的地磁角度朝向。
其中，在计算目标对象的三维模型的坐标原点在世界坐标系下位置坐标时，选取的位置点的数量n、以及在计算目标对象的三维模型在世界坐标系下经纬度时，选取的位置点的数量m、以及在计算目标对象的三维模型在世界坐标系下的地磁角度朝向，选取的位置点数量p可以相同，也可以不同；此外，在计算目标对象的三维模型的坐标原点在世界坐标系下位置坐标时，选取的位置点、以及在计算目标对象的三维模型在世界坐标系下经纬度时，选取的位置点、以及在计算目标对象的三维模型在世界坐标系下的地磁角度朝向，选取的位置点可以是相同的位置点，也可以是不相同的位置点。
示例性的，可以采用但不限于下述B1～B3中的至少一种，针对多个目标对象中的每个目标对象，确定该目标对象的三维模型在世界坐标系下的位姿信息：
B1、在位姿信息包括在世界坐标系下的位置坐标的情况下，可以基于三维模型、以及图像采集设备采集影像数据时在世界坐标系下的位姿，确定多个位置点分别在世界坐标系下的位置坐标；确定多个位置点分别对应的位置坐标的平均位置坐标；将平均位置坐标，确定为该目标对象的三维模型在世界坐标系下的位置坐标。
示例性的，基于本公开实施例S102所示的具体实施方式，生成的各目标对象的三维模型中的各点云点的位置信息包括各点云点在相机坐标系下的位置信息，本公开实施例中，为了使三维模型更加符合真实物理世界的重力原则，需要计算得到目标对象的三维模型的坐标原点在世界坐标系下的位置坐标，因此需要基于图像采集设备采集影像数据时在世界坐标系下的位姿，确定相机坐标系与世界坐标系之间的转换关系；基于三维模型中各位置点在相机坐标系下的位置信息、以及相机坐标系与世界坐标系之间的转换关系，确定多个位置点分别在世界坐标系下的位置坐标。
其中，可以根据图像采集设备在采集影像数据时惯性测量单元(InertialMeasurement Unit，简称IMU)的相关数据，确定目标图像采集设备在采集影像数据时在世界坐标系下的位姿。这里，在图像采集设备的惯性测量单元IMU中，例如可以包含有三个单轴的加速度计和三个单轴的陀螺仪，加速度计可以检测图像采集设备在目标场景中采集影像数据时的加速度，陀螺仪可以检测图像采集设备在目标场景中采集影像数据时的角速度。这样，通过对图像采集设备中惯性测量单元IMU的相关数据进行采集，可以准确地确定图像采集设备采集影像数据时在世界坐标系下的位姿。
示例性的，在图像采集设备为无人驾驶飞行器(例如无人机)的情况下，可以采用载波相位差分技术(Real-time kinematic，简称RTK)，通过接收基准站采集的载波相位，并进行求差解算坐标，可以高效准确的确定无人驾驶飞行器的位姿信息。具体的解算方法可以采用现有技术中的解算方法，在此不再赘述。
在确定多个位置点分别在世界坐标系下的位置坐标后，可以计算各位置点在世界坐标下的平均位置坐标，将该平均位置坐标，作为目标对象的三维模型的坐标原点在世界坐标系下的位置坐标。
B2、在位姿信息包括经纬度的情况下，可以基于三维模型、以及图像采集设备采集影像数据时在世界坐标系下的位姿，确定多个位置点分别对应的经纬度；确定多个位置点分别对应的经纬度的平均经纬度；将平均经纬度，确定为该目标对象的三维模型在世界坐标系下的经纬度。
示例性的，基于本公开实施例S102所示的具体实施方式，生成的各目标对象的三维模型中的各点云点的位置信息包括各点云点在相机坐标系下的经纬度，本公开实施例中，为了使三维模型更加符合真实物理世界的重力原则，需要计算得到目标对象的三维模型在世界坐标系下的经纬度，因此需要基于图像采集设备采集影像数据时在世界坐标系下的位姿，确定相机坐标系与世界坐标系之间的转换关系；基于三维模型中各位置点在相机坐标系下的经纬度、以及相机坐标系与世界坐标系之间的转换关系，确定多个位置点分别在世界坐标系下的经纬度。
其中，可以根据图像采集设备在采集影像数据时IMU的相关数据或RTK相数据，确定目标图像采集设备在采集影像数据时在世界坐标系下的位姿。具体描述可以参见B1所示的具体实施方式，重复之处不再赘述。
在确定多个位置点分别在世界坐标系下的经纬度后，可以计算各位置点在世界坐标下的平均经纬度，将该平均经纬度，作为目标对象的三维模型的坐标原点在世界坐标系下的经纬度。
B3、在位姿信息包括磁偏角的情况下，可以基于三维模型、以及图像采集设备采集影像数据时在世界坐标系下的位姿，确定多个位置点分别对应的磁偏角；确定多个位置点分别对应的磁偏角的平均磁偏角；将平均磁偏角，确定为该目标对象的三维模型在世界坐标系下的磁偏角。
示例性的，基于本公开实施例S102所示的具体实施方式，生成的各目标对象的三维模型中的各点云点的位置信息包括各点云点在相机坐标系下的磁偏角，本公开实施例中，为了使三维模型更加符合真实物理世界的重力原则，需要计算得到目标对象的三维模型在世界坐标系下的磁偏角，因此需要基于图像采集设备采集影像数据时在世界坐标系下的位姿，确定相机坐标系与世界坐标系之间的转换关系；基于三维模型中各位置点在相机坐标系下的磁偏角、以及相机坐标系与世界坐标系之间的转换关系，确定多个位置点分别在世界坐标系下的磁偏角。
其中，可以根据图像采集设备在采集影像数据时IMU的相关数据或RTK相数据，确定目标图像采集设备在采集影像数据时在世界坐标系下的位姿。具体描述可以参见B1所示的具体实施方式，重复之处不再赘述。
在确定多个位置点分别在世界坐标系下的磁偏角后，可以计算各位置点在世界坐标下的平均磁偏角，将该平均磁偏角，作为目标对象的三维模型的坐标原点在世界坐标系下的磁偏角，即目标对象的三维模型在世界坐标系下的地磁角度朝向，例如可以包括但不限于目标对象的三维模型的正北朝向。
本公开实施例中，针对各目标对象的三维模型，由于三维模型中的点云点是利用影像数据生成的，且图像采集设备在采集影像数据中的图像时，对应的位姿也不同，若位姿存在一定的误差，这种误差会被引入到三维模型的不同点云点中，这样，通过将该目标对象的三维模型中多个位置点分别在世界坐标系下的位姿信息求平均值的方式，确定目标对象的三维模型在世界坐标系下的位姿信息，能够尽可能的消除由于点云点的位姿误差，给目标场景的三维模型在世界坐标系下的三维模型的位姿造成的误差，从而提高了目标对象的三维模型在世界坐标系下的位姿信息的精准度，为后续基于各目标对象的三维模型在世界坐标系下的位姿信息，确定目标对象所在的目标场景的三维模型在世界坐标系下的位姿信息提供了较为精确的输入数据，从而提高后续确定的目标场景的三维模型在世界坐标系下的位姿信息的精准度。
承接上述S103，本公开实施例提供的模型生成方法还包括：
S104、基于各所述目标对象的三维模型分别在所述世界坐标系下的位姿信息、以及多个所述目标对象分别对应的三维模型，生成所述目标场景的三维模型。
在具体实施中，为了使重建后的三维模型更加符合真实物理世界的重力原则，则可以基于目标场景中各目标对象的三维模型分别在世界坐标系下的位姿信息，确定目标场景的三维模型在世界坐标系下的位姿信息。
具体的，可以确定目标场景内的多个目标对象的三维模型在世界坐标系下的位姿信息的平均位姿信息，将平均位姿信息，确定为目标场景的三维模型在世界坐标系下的位姿信息。
示例性的，可以根据但不限于下述C1～C3中的至少一种，确定目标场景的三维模型在世界坐标系下的位姿信息：
C1、在位姿信息包括在世界坐标系下的位置坐标的情况下，可以计算目标场景内的多个目标对象的三维模型在世界坐标系下的平均位置坐标；并将该平均位置坐标，作为目标场景的三维模型的坐标原点在世界坐标系下的位置坐标。
C2、在位姿信息包括在世界坐标系下的经纬度的情况下，可以计算目标场景内的多个目标对象的三维模型在世界坐标系下的平均经纬度；并将该平均经纬度，作为目标场景的三维模型的坐标原点在世界坐标系下的经纬度。
C3、在位姿信息包括在世界坐标系下的磁偏角的情况下，可以计算目标场景内的多个目标对象的三维模型在世界坐标系下的平均磁偏角；并将该平均磁偏角，作为目标场景的三维模型的坐标原点在世界坐标系下的磁偏角，即目标对象的三维模型在世界坐标系下的地磁角度朝向，例如可以包括但不限于目标对象的三维模型的正北朝向。
本公开实施例中，针对目标场景的三维模型，由于三维模型中的点云点是利用影像数据生成的，且图像采集设备在采集影像数据中的图像时，对应的位姿也不同，若位姿存在一定的误差，这种误差会被引入到三维模型的不同点云点中，这样，通过将位于目标场景中的各目标对象的三维模型在世界坐标系下的位姿信息求平均值的方式，确定目标场景的三维模型在世界坐标系下的位姿信息，能够尽可能的消除由于各个目标对象分别对应的三维模型的位姿误差，给目标场景的三维模型在世界坐标系下的位姿信息造成的误差，从而提高了目标场景的三维模型在世界坐标系下的位姿信息的精准度。
在具体实施中，在确定目标场景的三维模型在世界坐标系下的位姿信息后，可以基于目标场景的三维模型在世界坐标系下的位姿信息、以及多个目标对象分别对应的三维模型，生成目标场景的三维模型。
示例性的，为了使最终得到的目标场景的三维模型符合真实物理世界的重力原则，可以基于确定的目标场景的三维模型在世界坐标系下的位姿信息、以及各目标对象的三维模型分别在世界坐标系下的位姿信息，从多个目标对象中，确定待调整目标对象；基于目标场景的三维模型在世界坐标系下的位姿信息、以及待调整目标对象对应的三维模型在世界坐标系下的位姿信息，调整待调整目标对象的三维模型在目标场景中的位置和/或姿态，得到待调整目标对象的标准三维模型；基于待调整目标对象的标准三维模型、以及非待调整目标对象的三维模型，生成目标场景的三维模型；从而实现对目标场景中不符合真实物理世界重力原则的目标对象的三维模型进行位姿修正，从而提高生成的目标场景的三维模型的位姿的准确性。具体的生成的目标场景的三维模型可以如图2所示，该目标场景的三维模型中包括杆塔、以及机房分别对应的三维模型，以及该目标场景的三维模型在世界坐标系下的位姿信息，这里，目标场景的三维模型在世界坐标系下的位姿信息包括目标场景的三维模型的坐标原点在世界坐标系下的位置坐标、以及目标场景的三维模型在世界坐标系下的经纬度、以及目标场景的三维模型在实际坐标系下的正北朝向。
在本公开的另一实施例中，还提供了一种模型生成的具体方式，参见图3所示，为本公开实施例提供的一种模型生成的具体方式的流程图，其中：
S301、获取待处理的影像数据。
S302、基于影像数据，对目标场景进行三维点云重建，得到目标场景的点云数据；点云数据包括多个点云点、以及各个所述点云点分别在目标场景中的位置信息。
S303、对目标场景的点云数据进行语义分割处理，得到目标场景的点云数据中多个点云点分别对应的语义信息。
S304、基于多个点云点分别在目标场景中的位置信息、以及多个点云点分别对应的语义信息，确定目标场景内多个目标对象分别对应的三维模型。
S305、针对多个目标对象中的每个目标对象，从该目标对象的三维模型中，确定属于该目标对象的多个位置点。
S306、基于目标对象的三维模型、以及图像采集设备采集所述影像数据时在世界坐标系下的位姿，确定多个所述位置点分别在所述世界坐标系下的位姿信息；在确定多个位置点分别在世界坐标系下的位姿信息后，可以执行S307～S309中的任一步骤。
S307、在确定多个位置点分别在世界坐标系下的位姿信息包括位置坐标的情况下，确定多个位置点分别对应的位置坐标的平均位置坐标；将平均位置坐标，确定为目标对象的三维模型在世界坐标系下的位置坐标；在确定目标对象的三维模型在世界坐标系下的位置坐标后，执行S310。
S308、在确定多个位置点分别在世界坐标系下的位姿信息包括经纬度的情况下，确定多个位置点分别对应的位置坐标的平均经纬度；将平均位置坐标，确定为目标对象的三维模型在世界坐标系下的经纬度；在确定目标对象的三维模型在世界坐标系下的经纬度后，执行S311。
S309、在确定多个位置点分别在世界坐标系下的位姿信息包括磁偏角的情况下，确定多个位置点分别对应的位置坐标的平均磁偏角；将平均磁偏角，确定为目标对象的三维模型在世界坐标系下的磁偏角；在确定目标对象的三维模型在世界坐标系下的经纬度后，执行S312。
S310、基于各目标对象的三维模型在世界坐标系下的位置坐标，确定目标场景内多个目标对象的三维模型在世界坐标系下的位置坐标的平均位置坐标；将平均位置坐标，确定为目标场景的三维模型在世界坐标系下的位置坐标；在确定目标场景的三维模型在世界坐标系下的位置坐标后，执行S313。
S311、基于各目标对象的三维模型在世界坐标系下的经纬度，确定目标场景内多个目标对象的三维模型在世界坐标系下的经纬度的平均经纬度；将平均经纬度，确定为目标场景的三维模型在世界坐标系下的经纬度；在确定目标场景的三维模型在世界坐标系下的经纬度后，执行S313。
S312、基于各目标对象的三维模型在世界坐标系下的磁偏角，确定目标场景内的多个目标对象的三维模型在世界坐标系下的磁偏角的平均磁偏角；将平均磁偏角，确定为目标场景的三维模型在世界坐标系下的磁偏角；在确定目标场景的三维模型在世界坐标系下的磁偏角后，执行S313。
S313、基于目标场景的三维模型在世界坐标系下的位置坐标、以及目标场景的三维模型在世界坐标系下的经纬度、目标场景的三维模型在世界坐标系下的磁偏角、以及多个目标对象分别对应的三维模型，生成目标场景的三维模型。
在具体实施中，针对S301～S313的具体实施方式的描述可以参见本公开实施例中S101～S104所示的具体实施方式中的相关描述，重复之处不再赘述。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与模型生成方法对应的模型生成装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述模型生成方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图4所示，为本公开实施例提供的一种模型生成装置的示意图，所述装置包括：获取模块401、第一确定模块402、第二确定模块403、生成模块404；其中：
获取模块401，用于获取待处理的影像数据；所述影像数据包括对所述目标场景进行图像采集得到的至少一帧图像；第一确定模块402，用于基于所述影像数据，确定位于所述目标场景内的多个目标对象分别对应的三维模型；第二确定模块403，用于针对多个所述目标对象中的每个所述目标对象，确定该目标对象的三维模型在世界坐标系下的位姿信息；生成模块404，用于基于各所述目标对象的三维模型分别在所述世界坐标系下的位姿信息、以及多个所述目标对象分别对应的三维模型，生成所述目标场景的三维模型。
一种可选的实施方式中，第一确定模块402，在基于所述影像数据，确定位于所述目标场景内的多个目标对象分别对应的三维模型时，具体用于：基于所述影像数据对所述目标场景进行三维点云重建，得到所述目标场景的点云数据；所述点云数据包括多个点云点、以及各个所述点云点分别在所述目标场景中的位置信息；对所述点云数据进行语义分割处理，得到多个所述点云点分别对应的语义信息；基于所述点云数据、以及多个所述点云点分别对应的语义信息，确定位于所述目标场景内的多个所述目标对象分别对应的三维模型。
一种可选的实施方式中，所述目标对象包括下述至少一种：位于所述目标场景内的建筑、部署在所述目标场景内的设备、以及位于所述目标场景内的植被。
一种可选的实施方式中，所述位姿信息包括下述至少一种：在世界坐标系下的位置坐标、经纬度、以及磁偏角。
一种可选的实施方式中，第二确定模块403，在所述针对多个所述目标对象中的每个所述目标对象，确定该目标对象的三维模型在世界坐标系下的位姿信息时，具体用于：针对多个所述目标对象中的每个所述目标对象，从该目标对象的三维模型中，确定属于该目标对象的多个位置点；基于多个所述位置点分别在所述世界坐标系下的位姿，确定该目标对象的三维模型在所述世界坐标系下的位姿信息。
一种可选的实施方式中，所述位姿信息包括在世界坐标系下的位置坐标；第二确定模块403，在所述基于多个所述位置点分别在所述世界坐标系下的位姿，确定该目标对象的三维模型在所述世界坐标系下的位姿信息时，具体用于：基于所述三维模型、以及所述图像采集设备采集所述影像数据时在世界坐标系下的位姿，确定多个所述位置点分别在所述世界坐标系下的位置坐标；确定多个所述位置点分别对应的位置坐标的平均位置坐标；将所述平均位置坐标，确定为该目标对象的三维模型在所述世界坐标系下的位置坐标。
一种可选的实施方式中，所述位姿信息包括经纬度；第二确定模块403在所述基于多个所述位置点分别在所述世界坐标系下的位姿，确定该目标对象的三维模型在所述世界坐标系下的位姿信息时，具体用于：基于所述三维模型、以及所述图像采集设备采集所述影像数据时在世界坐标系下的位姿，确定多个所述位置点分别对应的经纬度；确定多个所述位置点分别对应的经纬度的平均经纬度；将所述平均经纬度，确定为该目标对象的三维模型在所述世界坐标系下的经纬度。
一种可选的实施方式中，所述位姿信息包括磁偏角；第二确定模块403在所述基于多个所述位置点分别在所述世界坐标系下的位姿，确定该目标对象的三维模型在所述世界坐标系下的位姿信息时，具体用于：基于所述三维模型、以及所述图像采集设备采集所述影像数据时在世界坐标系下的位姿，确定多个所述位置点分别对应的磁偏角；确定多个所述位置点分别对应的磁偏角的平均磁偏角；将所述平均磁偏角，确定为该目标对象的三维模型在所述世界坐标系下的磁偏角。
一种可选的实施方式中，生成模块404，在所述基于各所述目标对象的三维模型分别在所述世界坐标系下的位姿信息、以及多个所述目标对象分别对应的三维模型，生成所述目标场景的三维模型时，具体用于：确定所述目标场景内的多个所述目标对象的三维模型在所述世界坐标系下的位姿信息的平均位姿信息；将所述平均位姿信息，确定为所述目标场景的三维模型在所述世界坐标系下的位姿信息；基于所述目标场景的三维模型在所述世界坐标系下的位姿信息、以及多个所述目标对象分别对应的三维模型，生成所述目标场景的三维模型。
一种可选的实施方式中，生成模块404，在所述基于所述目标场景的三维模型在所述世界坐标系下的位姿信息、以及多个所述目标对象分别对应的三维模型，生成所述目标场景的三维模型时，具体用于：基于所述目标场景的三维模型在所述世界坐标系下的位姿信息、以及各所述目标对象的三维模型分别在所述世界坐标系下的位姿信息，从多个所述目标对象中，确定待调整目标对象；基于所述目标场景的三维模型在所述世界坐标系下的位姿信息、以及所述待调整目标对象对应的三维模型在所述世界坐标系下的位姿信息，调整所述待调整目标对象的三维模型在所述目标场景中的位置和/或姿态，得到所述待调整目标对象的标准三维模型；基于所述待调整目标对象的标准三维模型、以及非待调整目标对象的三维模型，生成所述目标场景的三维模型。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
基于同一技术构思，本申请实施例还提供了一种计算机设备。参照图5所示，为本申请实施例提供的计算机设备500的结构示意图，包括处理器501、存储器502、和总线503。其中，存储器502用于存储执行指令，包括内存5021和外部存储器5022；这里的内存5021也称内存储器，用于暂时存放处理器501中的运算数据，以及与硬盘等外部存储器5022交换的数据，处理器501通过内存5021与外部存储器5022进行数据交换，当计算机设备500运行时，处理器501与存储器502之间通过总线503通信，使得处理器501执行以下指令：
获取待处理的影像数据；所述影像数据包括对所述目标场景进行图像采集得到的至少一帧图像；基于所述影像数据，确定位于所述目标场景内的多个目标对象分别对应的三维模型；针对多个所述目标对象中的每个所述目标对象，确定该目标对象的三维模型在世界坐标系下的位姿信息；基于各所述目标对象的三维模型分别在所述世界坐标系下的位姿信息、以及多个所述目标对象分别对应的三维模型，生成所述目标场景的三维模型。
其中，处理器501的具体处理流程可以参照上述方法实施例的记载，这里不再赘述。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的模型生成方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的模型生成方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。
Claims (13)
1.一种模型生成方法，其特征在于，包括：
获取待处理的影像数据；所述影像数据包括对目标场景进行图像采集得到的图像或者视频；
基于所述影像数据，确定位于所述目标场景内的多个目标对象分别对应的三维模型；
针对多个所述目标对象中的每个所述目标对象，确定该目标对象的三维模型在世界坐标系下的位姿信息；
基于各所述目标对象的三维模型分别在所述世界坐标系下的位姿信息、以及多个所述目标对象分别对应的三维模型，生成所述目标场景的三维模型。
2.根据权利要求1所述的方法，其特征在于，所述基于所述影像数据，确定位于所述目标场景内的多个目标对象分别对应的三维模型，包括：
基于所述影像数据对所述目标场景进行三维点云重建，得到所述目标场景的点云数据；所述点云数据包括多个点云点、以及各个所述点云点分别在所述目标场景中的位置信息；
对所述点云数据进行语义分割处理，得到多个所述点云点分别对应的语义信息；
基于所述点云数据、以及多个所述点云点分别对应的语义信息，确定位于所述目标场景内的多个所述目标对象分别对应的三维模型。
3.根据权利要求1或2所述的方法，其特征在于，所述目标对象包括下述至少一种：位于所述目标场景内的建筑、部署在所述目标场景内的设备、以及位于所述目标场景内的植被。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述位姿信息包括下述至少一种：在世界坐标系下的位置坐标、经纬度、以及磁偏角。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述针对多个所述目标对象中的每个所述目标对象，确定该目标对象的三维模型在世界坐标系下的位姿信息，包括：
针对多个所述目标对象中的每个所述目标对象，从该目标对象的三维模型中，确定属于该目标对象的多个位置点；
基于多个所述位置点分别在所述世界坐标系下的位姿，确定该目标对象的三维模型在所述世界坐标系下的位姿信息。
6.根据权利要求5所述的方法，其特征在于，所述位姿信息包括在世界坐标系下的位置坐标；所述基于多个所述位置点分别在所述世界坐标系下的位姿，确定该目标对象的三维模型在所述世界坐标系下的位姿信息，包括：
基于所述三维模型、以及所述图像采集设备采集所述影像数据时在世界坐标系下的位姿，确定多个所述位置点分别在所述世界坐标系下的位置坐标；
确定多个所述位置点分别对应的位置坐标的平均位置坐标；
将所述平均位置坐标，确定为该目标对象的三维模型在所述世界坐标系下的位置坐标。
7.根据权利要求5或6所述的方法，其特征在于，所述位姿信息包括经纬度；所述基于多个所述位置点分别在所述世界坐标系下的位姿，确定该目标对象的三维模型在所述世界坐标系下的位姿信息，包括：
基于所述三维模型、以及所述图像采集设备采集所述影像数据时在世界坐标系下的位姿，确定多个所述位置点分别对应的经纬度；
确定多个所述位置点分别对应的经纬度的平均经纬度；
将所述平均经纬度，确定为该目标对象的三维模型在所述世界坐标系下的经纬度。
8.根据权利要求5-7任一项所述的方法，其特征在于，所述位姿信息包括磁偏角；所述基于多个所述位置点分别在所述世界坐标系下的位姿，确定该目标对象的三维模型在所述世界坐标系下的位姿信息，包括：
基于所述三维模型、以及所述图像采集设备采集所述影像数据时在世界坐标系下的位姿，确定多个所述位置点分别对应的磁偏角；
确定多个所述位置点分别对应的磁偏角的平均磁偏角；
将所述平均磁偏角，确定为该目标对象的三维模型在所述世界坐标系下的磁偏角。
9.根据权利要求1-8任一项所述的方法，其特征在于，所述基于各所述目标对象的三维模型分别在所述世界坐标系下的位姿信息、以及多个所述目标对象分别对应的三维模型，生成所述目标场景的三维模型，包括：
确定所述目标场景内的多个所述目标对象的三维模型在所述世界坐标系下的位姿信息的平均位姿信息；
将所述平均位姿信息，确定为所述目标场景的三维模型在所述世界坐标系下的位姿信息；
基于所述目标场景的三维模型在所述世界坐标系下的位姿信息、以及多个所述目标对象分别对应的三维模型，生成所述目标场景的三维模型。
10.根据权利要求9所述的方法，其特征在于，所述基于所述目标场景的三维模型在所述世界坐标系下的位姿信息、以及多个所述目标对象分别对应的三维模型，生成所述目标场景的三维模型，包括：
基于所述目标场景的三维模型在所述世界坐标系下的位姿信息、以及各所述目标对象的三维模型分别在所述世界坐标系下的位姿信息，从多个所述目标对象中，确定待调整目标对象；
基于所述目标场景的三维模型在所述世界坐标系下的位姿信息、以及所述待调整目标对象对应的三维模型在所述世界坐标系下的位姿信息，调整所述待调整目标对象的三维模型在所述目标场景中的位置和/或姿态，得到所述待调整目标对象的标准三维模型；
基于所述待调整目标对象的标准三维模型、以及非待调整目标对象的三维模型，生成所述目标场景的三维模型。
11.一种模型生成装置，其特征在于，包括：
获取模块，用于获取待处理的影像数据；所述影像数据包括对目标场景进行图像采集得到的图像或者视频；
第一确定模块，用于基于所述影像数据，确定位于所述目标场景内的多个目标对象分别对应的三维模型；
第二确定模块，用于针对多个所述目标对象中的每个所述目标对象，确定该目标对象的三维模型在世界坐标系下的位姿信息；
生成模块，用于基于各所述目标对象的三维模型分别在所述世界坐标系下的位姿信息、以及多个所述目标对象分别对应的三维模型，生成所述目标场景的三维模型。
12.一种计算机设备，其特征在于，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述处理器执行如权利要求1至10任一项所述的模型生成方法的步骤。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被计算机设备运行时，所述计算机设备执行如权利要求1至10任一项所述的模型生成方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111395078.4A CN114092646A (zh) | 2021-11-23 | 2021-11-23 | 模型生成方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111395078.4A CN114092646A (zh) | 2021-11-23 | 2021-11-23 | 模型生成方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114092646A true CN114092646A (zh) | 2022-02-25 |
Family
ID=80303255
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111395078.4A Withdrawn CN114092646A (zh) | 2021-11-23 | 2021-11-23 | 模型生成方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114092646A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116188713A (zh) * | 2023-04-25 | 2023-05-30 | 煤炭科学研究总院有限公司 | 基于点云镜像模型的煤矿三维场景动态生成方法和装置 |
| CN117011503A (zh) * | 2023-08-07 | 2023-11-07 | 青岛星美装饰服务有限公司 | 一种加工数据确定方法、装置、设备和可读存储介质 |
| CN118447172A (zh) * | 2024-07-04 | 2024-08-06 | 阿里云飞天(杭州)云计算技术有限公司 | 数字孪生场景构建方法、设备、存储介质和程序产品 |
-
2021
- 2021-11-23 CN CN202111395078.4A patent/CN114092646A/zh not_active Withdrawn
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116188713A (zh) * | 2023-04-25 | 2023-05-30 | 煤炭科学研究总院有限公司 | 基于点云镜像模型的煤矿三维场景动态生成方法和装置 |
| CN116188713B (zh) * | 2023-04-25 | 2023-08-15 | 煤炭科学研究总院有限公司 | 基于点云镜像模型的煤矿三维场景动态生成方法和装置 |
| CN117011503A (zh) * | 2023-08-07 | 2023-11-07 | 青岛星美装饰服务有限公司 | 一种加工数据确定方法、装置、设备和可读存储介质 |
| CN117011503B (zh) * | 2023-08-07 | 2024-05-28 | 青岛星美装饰服务有限公司 | 一种加工数据确定方法、装置、设备和可读存储介质 |
| CN118447172A (zh) * | 2024-07-04 | 2024-08-06 | 阿里云飞天(杭州)云计算技术有限公司 | 数字孪生场景构建方法、设备、存储介质和程序产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210233275A1 (en) | Monocular vision tracking method, apparatus and non-transitory computer-readable storage medium | |
| JP6687204B2 (ja) | 投影イメージ生成方法およびその装置、イメージピクセルと深度値との間のマッピング方法 | |
| CN114092646A (zh) | 模型生成方法、装置、计算机设备及存储介质 | |
| WO2019127445A1 (zh) | 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品 | |
| US11557083B2 (en) | Photography-based 3D modeling system and method, and automatic 3D modeling apparatus and method | |
| CN112288853B (zh) | 三维重建方法、三维重建装置、存储介质 | |
| CN113048980B (zh) | 位姿优化方法、装置、电子设备及存储介质 | |
| CN114140528A (zh) | 数据标注方法、装置、计算机设备及存储介质 | |
| CN112634370A (zh) | 一种无人机打点方法、装置、设备及存储介质 | |
| CN110443850B (zh) | 目标对象的定位方法及装置、存储介质、电子装置 | |
| WO2011091552A1 (en) | Extracting and mapping three dimensional features from geo-referenced images | |
| CN111083633B (zh) | 移动终端定位系统及其建立方法、移动终端的定位方法 | |
| US11783540B2 (en) | Method for generating roof outlines from lateral images | |
| CN107622525A (zh) | 三维模型获得方法、装置及系统 | |
| CN113034347B (zh) | 倾斜摄影图像处理方法、装置、处理设备及存储介质 | |
| US8509522B2 (en) | Camera translation using rotation from device | |
| CN113610702B (zh) | 一种建图方法、装置、电子设备及存储介质 | |
| CN109241233B (zh) | 一种坐标匹配方法及装置 | |
| CN110800023A (zh) | 图像处理方法和设备、摄像装置以及无人机 | |
| JP2016053961A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN114332207A (zh) | 距离确定的方法、装置、计算机设备及存储介质 | |
| JP5817012B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN110320496B (zh) | 一种室内定位方法及装置 | |
| CN113822936A (zh) | 数据处理方法、装置、计算机设备及存储介质 | |
| CN113160405A (zh) | 点云地图的生成方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220225 |
|
| WW01 | Invention patent application withdrawn after publication |