CN113362458A - 模拟多视角成像的三维模型解译方法、终端及存储介质 - Google Patents
模拟多视角成像的三维模型解译方法、终端及存储介质 Download PDFInfo
- Publication number
- CN113362458A CN113362458A CN202011540599.XA CN202011540599A CN113362458A CN 113362458 A CN113362458 A CN 113362458A CN 202011540599 A CN202011540599 A CN 202011540599A CN 113362458 A CN113362458 A CN 113362458A
- Authority
- CN
- China
- Prior art keywords
- dimensional model
- dimensional
- image
- interpretation
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000003384 imaging method Methods 0.000 title claims abstract description 42
- 238000013507 mapping Methods 0.000 claims abstract description 35
- 230000000007 visual effect Effects 0.000 claims abstract description 23
- 230000004927 fusion Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 7
- 230000003595 spectral effect Effects 0.000 claims description 6
- 230000000877 morphologic effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 238000004088 simulation Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/004—Annotating, labelling
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Remote Sensing (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了模拟多视角成像的三维模型解译方法、终端及存储介质，所述方法包括：获取三维模型，并根据多个预设观测点将所述三维模型转换为多个二维影像；其中，多个所述预设观测点与多个所述二维影像一一对应；分别对多个所述二维影像进行解译，得到所述三维模型的各视角对应的语义标注数据；根据所述二维影像与所述三维模型的映射关系，将所述语义标注数据映射到所述三维模型中。本发明通过将实景三维模型转换为二维影像，并基于二维影像进行解译，得到语义标注数据，从而将得到的语义标注数据映射到三维模型中，实现了全覆盖的三维模型解译方式，提高了三维模型的解译精度，解决了传统的三维模型解译方式中数据丢失及精度低的技术问题。
Description
技术领域
本发明涉及终端应用领域，尤其涉及一种模拟多视角成像的三维模型解译方法、终端及存储介质。
背景技术
近年来，新兴的遥感平台、传感器不断发展，对地立体观测技术日臻成熟，各种倾斜摄影测量数据广泛应用于城市规划、智慧农林业、资源环境监测等。无人机遥感平台是一种有代表性的新兴遥感平台，利用其搭载多样化、小型化的新型遥感传感器，可以从不同的视角同步采集影像，获取到丰富的地物顶面及侧视的高分辨率纹理，不仅能够真实地反映地物情况，高精度地获取地物纹理信息，还可以通过先进的定位、融合、建模等技术，生成实景三维模型，获得目标区域的多种类型(光学、LIDAR)、多个角度的观测数据，弥补了传统遥感手段观测角度有限、仅获取平面数据的缺陷。特别是随着计算机视觉和倾斜摄影测量技术的快速发展，利用多视影像进行观测区域的实景三维建模日臻成熟。实景三维模型能够直观的反映地物的光谱特征、纹理特征、形状结构等，具有比传统的遥感影像更加丰富的数据维度，已经逐步应用于智慧城市、灾害监测、生态环境保护等领域中，并且展现出了巨大的潜力。
但是当前的实景三维模型应用仍处于发展初期，应用和研究偏向于模型的自动化制作、可视化展览和智慧城市等特定领域的应用，而在生态环境监测、林业调查、城市规划等领域中，还需要对三维模型进行进一步的解译，获取各部分的语义信息，才能服务于后续的应用。虽然实景三维模型提供了丰富的地物光谱信息、纹理信息、形状信息等，但是由于相关解译的理论、技术方法尚处于起步阶段，软件资源匮乏等原因，目前难以直接对实景三维模型进行解译。在众多遥感应用中仍然是先将其转换为传统的遥感数据(数字表面模型(Digital Surface Model，DSM)、数字正射影像(Digital Orthophoto Map，DOM))再继续分析，没有充分利用倾斜摄影测量观测维度增加的优势，无法实现全覆盖的三维解译，从而导致解译精度低。
因此，现有技术还有待于改进和发展。
发明内容
针对现有技术缺陷，本发明提供一种模拟多视角成像的三维模型解译方法、终端及存储介质，通过将三维模型转换为多个二维影像，进而将二维解译结果映射到三维模型中，以解决现有技术中对实景三维模型解译过程中的数据丢失及精度低的技术问题。
本发明解决技术问题所采用的技术方案如下：
第一方面，本发明提供一种模拟多视角成像的三维模型解译方法，其中，所述模拟多视角成像的三维模型解译方法包括以下步骤：
获取三维模型，并根据多个预设观测点将所述三维模型转换为多个二维影像；其中，多个所述预设观测点与多个所述二维影像一一对应；
分别对多个所述二维影像进行解译，得到所述三维模型的各视角对应的语义标注数据；
根据所述二维影像与所述三维模型的映射关系，将所述语义标注数据映射到所述三维模型中。
进一步地，所述获取三维模型，并根据多个预设观测点将所述三维模型转换为多个二维影像，之前还包括：
根据所述三维模型的面貌特征，确定所述三维模型的视角数量及对应的观测高度；
基于所述视角数量及对应的观测高度设置多个所述预设观测点；
其中，所述三维模型的视角包括：正射视角和多个倾斜视角。
进一步地，所述二维影像包括正射纹理影像、正射深度影像、倾斜纹理影像以及倾斜深度影像中的至少一种。
进一步地，所述获取三维模型，并根据多个预设观测点将所述三维模型转换为多个二维影像，具体包括以下步骤：
通过所述正射视角对应的预设观测点扫描所述三维模型，以获取所述正射纹理影像和所述正射深度影像；
通过多个所述倾斜视角对应的预设观测点扫描所述三维模型，以获取多个所述倾斜纹理影像和多个所述倾斜深度影像。
进一步地，所述分别对多个所述二维影像进行解译，得到所述三维模型的各视角对应的语义标注数据，具体包括以下步骤：
将所述二维影像中的二维纹理影像及对应的二维深度影像组成影像对；
提取所述影像对中的影像特征；
分别通过多种解译算法对提取的影像特征进行解译，得到多种解译数据；
对多种所述解译数据进行精度评价，并选取满足精度要求的解译数据，以将满足精度要求的解译数据作为所述语义标注数据。
进一步地，所述影像特征包括：光谱特征、纹理特征、形状特征以及结构特征中的至少一种。
进一步地，所述根据所述二维影像与所述三维模型的映射关系，将所述语义标注数据映射到所述三维模型中，具体包括以下步骤：
获取所述二维影像与所述三维模型的映射关系图；
根据所述映射关系图及所述语义标注数据确定所述三维模型的覆盖部位和未覆盖部位；
根据融合算法将所述语义标注数据融合到所述覆盖部位，得到融合所述语义标注数据后的模型部位；
通过空间结构的形态处理算法对所述未覆盖部位进行填充，得到填充后的模型部位；
将融合后的模型部位与填充后的模型部位进行整合，得到拥有三维语义标注的三维模型。
进一步地，所述获取所述二维影像与所述三维模型的映射关系图，具体包括以下步骤：
读取三维模型标准文件；
通过所述三维模型标准文件查找所述二维影像中各像素点在所述三维模型中的对应位置；
根据各像素点及对应位置确定所述二维影像与所述三维模型的映射关系图。
第二方面，本发明还提供一种终端，其中，包括处理器，以及与所述处理器连接的存储器，所述存储器存储有模拟多视角成像的三维模型解译程序，所述模拟多视角成像的三维模型解译程序被所述处理器执行时用于实现如第一方面所述的模拟多视角成像的三维模型解译方法的操作。
第三方面，本发明还提供一种存储介质，其中，所述存储介质存储有模拟多视角成像的三维模型解译程序，所述模拟多视角成像的三维模型解译程序被处理器执行时用于实现如第一方面所述的模拟多视角成像的三维模型解译方法的操作。
本发明采用上述技术方案具有以下效果：
本发明通过将实景三维模型转换为二维影像，并基于二维影像进行解译，得到语义标注数据，从而将得到的语义标注数据映射到三维模型中，实现了全覆盖的三维模型解译方式，提高了三维模型的解译精度，解决了传统的三维模型解译方式中数据丢失及精度低的技术问题。
附图说明
图1是本发明实施例中模拟多视角成像的三维模型解译方法的流程图。
图2是本发明实施例中解译路线示意图。
图3是本发明实施例中多视角模拟成像示意图。
图4是本发明实施例中面向对象的影像分类示意图。
图5是本发明实施例中基于深度学习的影像解译示意图。
图6是本发明实施例中倾斜摄影影像(左)和正射影像(右)解译结果示意图。
图7是本发明实施例中三维模型贴图和倾斜摄影分类图对应关系图。
图8是本发明实施例中为实景三维模型整体解译结果示意图。
图9是本发明实施例中终端的功能原理图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例一
现有的三维模型解译方法多集中于建模方面，虽有一些研究开始关注三维模型的分割和目标提取，但这些算法主要利用了三维模型的形状特征进行分析，未能较好的综合应用其丰富的光谱、纹理、高程等信息，多适用于几何形状较为规则的区域；在地物种类丰富、地物类别间区分度不高的区域，分类较为困难。有些研究对垂直视角的DOM(数字正射影像)进行分类，然后直接应用分类结果，或者将二维的分类影像映射到三维模型中，这种解译方法存在一些不足：一方面，将三维模型转换为二维影像的过程中，地物丰富的侧面纹理、光谱信息会丢失绝大部分，几何结构特征也将在转换过程中仅剩下高程信息，数据利用率低；另一方面，二维的分类结果投影到三维空间中时，在倾斜地区，并不能实现完全的类别覆盖，在正射影像中只有小面积的地物在三维模型中却有大量的分布。有些研究对模型层次化处理，先将实景三维模型分解为地面影像和立体地物，再分别划分出多个独立的地物，这种方法对于复杂模型的处理时会存在较大的误差并且需要大量的后处理工作。
本实施例的主要目的在于：提供一种模拟多视角成像的三维模型解译方法，通过多个观测点将实景三维模型转换为二维影像，并基于二维影像进行解译，得到语义标注数据，从而将得到的语义标注数据映射到三维模型中，实现了全覆盖的三维模型解译方式，提高了三维模型的解译精度，解决了传统的三维模型解译方式中数据丢失及精度低的技术问题。
如图1所示，在本实施例的一种实现方式当中，所述模拟多视角成像的三维模型解译方法包括以下步骤：
步骤S100，获取三维模型，并根据多个预设观测点将所述三维模型转换为多个二维影像。
在本实施例中，所述模拟多视角成像的三维模型解译方法应用于终端中，其中，所述终端包括但不限于：计算机、移动终端以及电视机等具备图形处理和计算的设备。
在本实施例中，通过在实景三维模型中设置多个倾斜视角的数据探测点，将实景三维模型转换为多个二维纹理影像和多个二维深度影像，得到二维影像，进而对该二维影像进行解译，以降低三维模型的解译维度；在对二维影像进行解译后，得到解译后的数据，通过将解译后的数据融入三维模型当中，再辅以填充方案进行填充，实现全覆盖语义标注的三维模型。
在对实景三维模型进行解译之前，还需要根据三维模型的面貌特征，确定三维模型的视角数量及对应的观测高度；其中，该三维模型的视角包括：正射视角和多个倾斜视角；可以理解的是，正射视角为该三维模型正上方的视角，在观测该三维模型时，该正射视角对应的观测点位于该三维模型的垂直面的正上方，因此，该三维模型的正射视角的数量为1个，根据该三维模型的面积即可确定正射视角对应的高度；而多个倾斜视角则对应不同的倾斜观测角度，其数量根据该三维模型的面貌特征进行确定，因此，其对应的高度也需要根据该三维模型的面貌特征进行确定。
在本实施例中，该三维模型可以是非规则类的三维模型，例如：图2所示的带有建筑群、地貌以及植被等面貌特征的三维模型；在确定倾斜视角数量及对应的观测高度时，可基于确定的倾斜视角数量及对应的观测高度设置多个预设观测点；其中，在设置预设观测点时，可以根据三维模型的面貌特征进行区分，并分别对区分后的面貌特征进行设置，例如：针对图2中所示的建筑群、植被等设置多个角度的观测点。
另外，在设置预设观测点时，需要顾及到三维立体中的遮挡因素，以避免被遮挡的部位数据丢失；因此，需要针对三维模型各部分的特点，确定观测的最佳倾斜视角及观测高度，即以全覆盖为原则，对各视角的角度及高度进行优化，以此得到最佳的倾斜视角及观测高度，以实现全方位、全覆盖式的探测方式。
在本实施例中，针对倾斜视角数量及观测角度的自动估算问题，可将三维模型转换为一系列的倾斜视角，可以借用较为成熟的影像解译方法快速进行数据处理。然而，由于三维模型中存在高低起伏的各种地物，采用倾斜视角时不可避免的会存在一定的遮挡，这将造成信息的丢失，并且在后续的信息映射中也会存在遗漏；增加倾斜视角将极大的增加整个解译过程的数据量，降低影像解译效率，也会为后续信息融合带来巨大负担。因此，确定最佳的倾斜视角模拟成像数量和倾斜观测角度，尽可能全面的反映三维模型不同位置的细节信息，并保持精度与效率的均衡。
即所述步骤S100之前还包括：
步骤S001，根据所述三维模型的面貌特征，确定所述三维模型的视角数量及对应的观测高度；
步骤S002，基于所述视角数量及对应的观测高度设置多个所述预设观测点。
在本实施例中，在设置多个观测点后，即可从不同的视角观测该三维模型，并将该三维模型转换为多个二维影像和多个地物距离观测点的深度影像，以将该三维模型中的细节部分呈现为二维数据，为后续的影像解译提供数据基础。
具体地，如图3所示，在对该三维模型进行转换时，可以通过正射视角的观测点扫描实景三维模型，以获取该三维模型的正射纹理影像和正射深度影像，即获取该三维模型的数字表面模型(Digital Surface Model，即DSM)；而与此同时，还通过多个倾斜视角的观测点扫描实景三维模型，以获取多个倾斜纹理影像和多个倾斜深度影像；其中，正射纹理影像和正射深度影像为正射视角下的二维影像，而倾斜纹理影像和倾斜深度影像为倾斜视角下的二维影像，即转换后的二维影像可以包括正射纹理影像、正射深度影像、倾斜纹理影像以及倾斜深度影像。
在获取倾斜纹理影像及倾斜深度影像时，根据不同的倾斜角度得到不同的影像，也就是说，在同一倾斜观测点的扫描下，仅能获取一组影像数据，其中包括一个倾斜纹理影像及一个倾斜深度影像；而在多个倾斜观测点的扫描下，可以获取多组影像数据，从而精确地将该三维模型细分为多个二维影像，降低了后续的解译维度。
即所述步骤S100具体包括以下步骤：
步骤S110，通过所述正射视角对应的预设观测点扫描所述三维模型，以获取所述正射纹理影像和所述正射深度影像；
步骤S120，通过多个所述倾斜视角对应的预设观测点扫描所述三维模型，以获取多个所述倾斜纹理影像和多个所述倾斜深度影像。
本实施例通过将三维模型转化为多组二维纹理影像和二维深度影像，然后再对转化后的二维影像进行解译，降低了解译维度，从而避免了直接对复杂的三维模型开展解译应用。
如图1所示，在本实施例的一种实现方式当中，所述模拟多视角成像的三维模型解译方法还包括以下步骤：
步骤S200，分别对多个所述二维影像进行解译，得到所述三维模型的各视角对应的语义标注数据。
在本实施例中，在得到二维影像后，即可对多视角模拟成像后得到的二维纹理影像(即倾斜纹理影像)和二维深度影像(即倾斜深度影像)进行解译，从倾斜视角影像中获取三维模型各视角下的语义标注数据，为后续的实景模型语义标注提供数据源。
具体地，如图3所示，将二维纹理影像和其对应的二维深度影像组成影像对，以影像对作为基本解译单位；例如：将45°视角下获得的倾斜纹理影像和倾斜深度影像组成一个影像对；在确定影像对之后，即可同时对各影像对进行解译。
在对各影像对进行解译时，提取各影像对的光谱特征、纹理特征、形状特征以及结构特征等特征，并通过多种解译算法对提取的影像特征进行解译，得到多种解译数据；例如，基于像素的影像解译、面向对象的影像解译(如图4所示)、基于深度学习的影像解译(如图5所示)等。
在得到多种解译数据后，即可针对各种解译算法下的解译结果进行精度评价，选取满足精度要求的解译数据，即选择解译精度最高的解译数据，以此作为最终的多视角影像解译数据。
例如：基于图3中所示的小区域的倾斜影像和正射影像，经过解译之后，得到最终的多视角影像解译结果如图6所示，即以图6中所示的解译数据作为语义标注数据。
即所述步骤S200具体包括以下步骤：
步骤S210，将所述二维影像中的二维纹理影像及对应的二维深度影像组成影像对；
步骤S220，提取所述影像对中的影像特征；
步骤S230，分别通过多种解译算法对提取的影像特征进行解译，得到多种解译数据；
步骤S240，对多种所述解译数据进行精度评价，并选取满足精度要求的解译数据，以将满足精度要求的解译数据作为所述语义标注数据。
本实施例充分利用了倾斜摄影的多视角测量优势，实现3D模型到2D影像的多视角模拟成像功能，有效保留了地物大部分细节信息(侧面纹理、光谱、高程等)，使得后续地物侧面分类结果类别覆盖全，地物总体分类精度高。
如图1所示，在本实施例的一种实现方式当中，所述模拟多视角成像的三维模型解译方法还包括以下步骤：
步骤S300，根据所述二维影像与所述三维模型的映射关系，将所述语义标注数据映射到所述三维模型中。
在本实施例中，在得到语义标注数据后，基于二维纹理影像和对应的二维深度影像的解译结果，结合倾斜视角影像与三维模型的映射关系，将解译结果映射到三维模型中，实现三维模型的语义标注，再辅以后续处理，实现整个模型的三维语义解译。
具体地，获取二维影像与三维模型的映射关系图，根据映射关系图及语义标注数据确定三维模型的覆盖部位和未覆盖部位；对有多个视角解译结果覆盖的模型部分，利用多视角解译结果的决策融合策略，获取最优的解译结果；对多个视角下仍不能覆盖的模型部分，利用顾及模型的空间结构的形态学处理方法，进行空洞填充；将单视角解译结果覆盖的模型部分、多个视角解译结果覆盖的模型部分和多个视角下仍不能覆盖的模型部分语义标注结果整合，如图8所示得到整个模型的语义标注结果。
即所述步骤S300，具体包括以下步骤：
步骤S310，获取所述二维影像与所述三维模型的映射关系图；
步骤S320，根据所述映射关系图及所述语义标注数据确定所述三维模型的覆盖部位和未覆盖部位；
步骤S330，根据融合算法将所述语义标注数据融合到所述覆盖部位，得到融合所述语义标注数据后的模型部位；
步骤S340，通过空间结构的形态处理算法对所述未覆盖部位进行填充，得到填充后的模型部位；
步骤S350，将融合后的模型部位与填充后的模型部位进行整合，得到拥有三维语义标注的三维模型。
在本实施例中，倾斜视角影像与三维模型的映射本质上就是将倾斜视角分类影像和三维模型贴图替换，因此，需要找到两幅影像的各像素之间的对应关系，基于obj文件(obj文件是Alias|Wavefront公司所开发的一种标准3D模型文件格式)可以确定贴图上的像素点和三维模型中的三维点之间的关系，而倾斜影像分类图与实景三维模型的地理坐标已经确定，因此，三维模型纹理贴图和倾斜影像分类图有间接对应关系，三维模型贴图和倾斜摄影分类图对应关系如图7所示。
具体地，在确定倾斜分类影像到三维模型贴图文件的映射示意图时，需要读取obj文件，将三维模型坐标、贴图坐标和三角面索引存于三个数组中；然后，分别读取倾斜分类影像和贴图文件，其中，针对倾斜分类影像，需要获得其分辨率和影像首个像素的坐标信息，针对于贴图文件主要获取其影像大小。
在上述的基础上，就可以进行倾斜分类影像和贴图之间的替换。对于第k行f文件给出的三个索引对，首先计算三个三维模型点所对应的分类影像像元的行列号数组，再计算贴图坐标点对应的贴图像元行列号数组；确定了倾斜分类影像和贴图中两个三角形面元的顶点行列号后，需要得到两个三角形内像素的对应关系。
在确定对应关系时，本实施例采用仿射变换，输入两个三角形顶点后，获得变换参数a0，a1，a2，b0，b1，b2；然后，即可成功地将贴图三角形内每一点像素的行列号(i，j)映射到倾斜分类影像三角形中；最后，根据两幅影像的行列号对应关系，将贴图的每个像素值替换为分类影像的像素值，就可以得到分类贴图，实现倾斜分类影像的三维展示。
即所述步骤S310，具体包括以下步骤：
步骤S311，读取三维模型标准文件；
步骤S312，通过所述三维模型标准文件查找所述二维影像中各像素点在所述三维模型中的对应位置；
步骤S313，根据各像素点及对应位置确定所述二维影像与所述三维模型的映射关系图。
本实施例将数字正射影像当做一种特殊的倾斜影像来处理，然后将正射影像和倾斜影像的解译结果融合策略直接映射到三维模型上。在另外一种实现方式当中，可将数字正射影像和倾斜影像当成两种不同的影像来处理，先将三维模型分割为地形表面与立体地物两部分，对于地形表面部分，基本上无地物遮挡现象，因此可以直接将此部分对应的正射影像分类结果映射到地形表面，不涉及多幅影像的三维解译结果的融合；对于立体地物部分，由于在正射影像上存在遮挡现象，可以使用倾斜影像和深度影像，用本实施例的方法进行解译；其中，当进行解译时，对于多个视角下仍不能覆盖的模型部分可以采用其他算法进行空洞填充。
在另外一种实现方式当中，本实施例还可以对模拟成像的质量和角度进行初步反馈；并且，在倾斜视角解译结果融合阶段，根据融合结果对模拟成像过程进行再次反馈，即可根据不同类型地物解译精度，分别建立倾斜视角数量、角度与其解译精度的关系模型，求取针对不同地物的最佳模拟视角和角度。
本实施例通过将实景三维模型转换为二维影像，并基于二维影像进行解译，得到语义标注数据，从而将得到的语义标注数据映射到三维模型中，实现了全覆盖的三维模型解译方式，提高了三维模型的解译精度，解决了传统的三维模型解译方式中数据丢失及精度低的技术问题。
实施例二
如图9所示，本实施例提供一种终端，其中，包括处理器10，以及与所述处理器10连接的存储器20，所述存储器20存储有模拟多视角成像的三维模型解译程序，所述模拟多视角成像的三维模型解译程序被所述处理器10执行时用于实现如实施例一所述的模拟多视角成像的三维模型解译方法的操作；具体如上所述。
实施例三
本实施例提供一种存储介质，其中，所述存储介质存储有模拟多视角成像的三维模型解译程序，所述模拟多视角成像的三维模型解译程序被处理器执行时用于实现如实施例一所述的模拟多视角成像的三维模型解译方法的操作；具体如上所述。
综上所述，本发明提供了一种模拟多视角成像的三维模型解译方法、终端及存储介质，所述方法包括：获取三维模型，并根据多个预设观测点将所述三维模型转换为多个二维影像；其中，多个所述预设观测点与多个所述二维影像一一对应；分别对多个所述二维影像进行解译，得到所述三维模型的各视角对应的语义标注数据；根据所述二维影像与所述三维模型的映射关系，将所述语义标注数据映射到所述三维模型中。本发明通过将实景三维模型转换为二维影像，并基于二维影像进行解译，得到语义标注数据，从而将得到的语义标注数据映射到三维模型中，实现了全覆盖的三维模型解译方式，提高了三维模型的解译精度，解决了传统的三维模型解译方式中数据丢失及精度低的技术问题。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件(如处理器，控制器等)来完成，所述的程序可存储于一计算机可读取的存储介质中，所述程序在执行时可包括如上述各方法实施例的流程。其中所述的存储介质可为存储器、磁碟、光盘等。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (10)
1.一种模拟多视角成像的三维模型解译方法，其特征在于，所述模拟多视角成像的三维模型解译方法包括以下步骤：
获取三维模型，并根据多个预设观测点将所述三维模型转换为多个二维影像；其中，多个所述预设观测点与多个所述二维影像一一对应；
分别对多个所述二维影像进行解译，得到所述三维模型的各视角对应的语义标注数据；
根据所述二维影像与所述三维模型的映射关系，将所述语义标注数据映射到所述三维模型中。
2.根据权利要求1所述的模拟多视角成像的三维模型解译方法，其特征在于，所述获取三维模型，并根据多个预设观测点将所述三维模型转换为多个二维影像，之前还包括：
根据所述三维模型的面貌特征，确定所述三维模型的视角数量及对应的观测高度；
基于所述视角数量及对应的观测高度设置多个所述预设观测点；
其中，所述三维模型的视角包括：正射视角和多个倾斜视角。
3.根据权利要求2所述的模拟多视角成像的三维模型解译方法，其特征在于，所述二维影像包括正射纹理影像、正射深度影像、倾斜纹理影像以及倾斜深度影像中的至少一种。
4.根据权利要求3所述的模拟多视角成像的三维模型解译方法，其特征在于，所述获取三维模型，并根据多个预设观测点将所述三维模型转换为多个二维影像，具体包括以下步骤：
通过所述正射视角对应的预设观测点扫描所述三维模型，以获取所述正射纹理影像和所述正射深度影像；
通过多个所述倾斜视角对应的预设观测点扫描所述三维模型，以获取多个所述倾斜纹理影像和多个所述倾斜深度影像。
5.根据权利要求4所述的模拟多视角成像的三维模型解译方法，其特征在于，所述分别对多个所述二维影像进行解译，得到所述三维模型的各视角对应的语义标注数据，具体包括以下步骤：
将所述二维影像中的二维纹理影像及对应的二维深度影像组成影像对；
提取所述影像对中的影像特征；
分别通过多种解译算法对提取的影像特征进行解译，得到多种解译数据；
对多种所述解译数据进行精度评价，并选取满足精度要求的解译数据，以将满足精度要求的解译数据作为所述语义标注数据。
6.根据权利要求5所述的模拟多视角成像的三维模型解译方法，其特征在于，所述影像特征包括：光谱特征、纹理特征、形状特征以及结构特征中的至少一种。
7.根据权利要求5所述的模拟多视角成像的三维模型解译方法，其特征在于，所述根据所述二维影像与所述三维模型的映射关系，将所述语义标注数据映射到所述三维模型中，具体包括以下步骤：
获取所述二维影像与所述三维模型的映射关系图；
根据所述映射关系图及所述语义标注数据确定所述三维模型的覆盖部位和未覆盖部位；
根据融合算法将所述语义标注数据融合到所述覆盖部位，得到融合所述语义标注数据后的模型部位；
通过空间结构的形态处理算法对所述未覆盖部位进行填充，得到填充后的模型部位；
将融合后的模型部位与填充后的模型部位进行整合，得到拥有三维语义标注的三维模型。
8.根据权利要求7所述的模拟多视角成像的三维模型解译方法，其特征在于，所述获取所述二维影像与所述三维模型的映射关系图，具体包括以下步骤：
读取三维模型标准文件；
通过所述三维模型标准文件查找所述二维影像中各像素点在所述三维模型中的对应位置；
根据各像素点及对应位置确定所述二维影像与所述三维模型的映射关系图。
9.一种终端，其特征在于，包括处理器，以及与所述处理器连接的存储器，所述存储器存储有模拟多视角成像的三维模型解译程序，所述模拟多视角成像的三维模型解译程序被所述处理器执行时用于实现如权利要求1-8任一项所述的模拟多视角成像的三维模型解译方法的操作。
10.一种存储介质，其特征在于，所述存储介质存储有模拟多视角成像的三维模型解译程序，所述模拟多视角成像的三维模型解译程序被处理器执行时用于实现如权利要求1-8任一项所述的模拟多视角成像的三维模型解译方法的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011540599.XA CN113362458B (zh) | 2020-12-23 | 2020-12-23 | 模拟多视角成像的三维模型解译方法、终端及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011540599.XA CN113362458B (zh) | 2020-12-23 | 2020-12-23 | 模拟多视角成像的三维模型解译方法、终端及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113362458A true CN113362458A (zh) | 2021-09-07 |
| CN113362458B CN113362458B (zh) | 2024-04-02 |
Family
ID=77524577
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011540599.XA Active CN113362458B (zh) | 2020-12-23 | 2020-12-23 | 模拟多视角成像的三维模型解译方法、终端及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113362458B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023082588A1 (zh) * | 2021-11-09 | 2023-05-19 | 上海商汤智能科技有限公司 | 一种语义标注的方法、装置、电子设备、存储介质及计算机程序产品 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108389251A (zh) * | 2018-03-21 | 2018-08-10 | 南京大学 | 基于融合多视角特征的投影全卷积网络三维模型分割方法 |
| CN110348351A (zh) * | 2019-07-01 | 2019-10-18 | 深圳前海达闼云端智能科技有限公司 | 一种图像语义分割的方法、终端和可读存储介质 |
| CN111754618A (zh) * | 2020-05-28 | 2020-10-09 | 深圳大学 | 一种面向对象的实景三维模型多层次解译方法及系统 |
| CN111912391A (zh) * | 2020-06-24 | 2020-11-10 | 中铁第一勘察设计院集团有限公司 | 一种基于框幅式数码影像的大场景工程地质遥感解译方法 |
| CN112085840A (zh) * | 2020-09-17 | 2020-12-15 | 腾讯科技（深圳）有限公司 | 语义分割方法、装置、设备及计算机可读存储介质 |
-
2020
- 2020-12-23 CN CN202011540599.XA patent/CN113362458B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108389251A (zh) * | 2018-03-21 | 2018-08-10 | 南京大学 | 基于融合多视角特征的投影全卷积网络三维模型分割方法 |
| CN110348351A (zh) * | 2019-07-01 | 2019-10-18 | 深圳前海达闼云端智能科技有限公司 | 一种图像语义分割的方法、终端和可读存储介质 |
| CN111754618A (zh) * | 2020-05-28 | 2020-10-09 | 深圳大学 | 一种面向对象的实景三维模型多层次解译方法及系统 |
| CN111912391A (zh) * | 2020-06-24 | 2020-11-10 | 中铁第一勘察设计院集团有限公司 | 一种基于框幅式数码影像的大场景工程地质遥感解译方法 |
| CN112085840A (zh) * | 2020-09-17 | 2020-12-15 | 腾讯科技（深圳）有限公司 | 语义分割方法、装置、设备及计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 熊汉江;郑先伟;丁友丽;张艺;吴秀杰;周妍;: "基于2D-3D语义传递的室内三维点云模型语义分割", 武汉大学学报(信息科学版), no. 12 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023082588A1 (zh) * | 2021-11-09 | 2023-05-19 | 上海商汤智能科技有限公司 | 一种语义标注的方法、装置、电子设备、存储介质及计算机程序产品 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113362458B (zh) | 2024-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021233029A1 (en) | Simultaneous localization and mapping method, device, system and storage medium | |
| CN114708585A (zh) | 一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法 | |
| CN112613378B (zh) | 3d目标检测方法、系统、介质及终端 | |
| CN114612488A (zh) | 建筑物单体化信息提取方法、计算机装置及存储介质 | |
| CN102317973A (zh) | 用于场景解释和对准性能估计的2d电光图像和3d点云数据的融合 | |
| CN105389375A (zh) | 一种基于可视域的图像索引设置方法、系统及检索方法 | |
| CN112991487B (zh) | 一种多线程实时构建正射影像语义地图的系统 | |
| CN114332134B (zh) | 一种基于密集点云的建筑物立面提取方法和装置 | |
| CN111476242A (zh) | 一种激光点云语义分割方法及装置 | |
| CN112154448A (zh) | 目标检测方法、设备及可移动平台 | |
| CN113608234A (zh) | 一种城市数据采集系统 | |
| CN112396701A (zh) | 卫星图像的处理方法、装置、电子设备和计算机存储介质 | |
| CN114639115A (zh) | 一种人体关键点与激光雷达融合的3d行人检测方法 | |
| CN113362458B (zh) | 模拟多视角成像的三维模型解译方法、终端及存储介质 | |
| CN116642490A (zh) | 基于混合地图的视觉定位导航方法、机器人及存储介质 | |
| CN116704112A (zh) | 一种用于对象重建的3d扫描系统 | |
| Lv et al. | Semantically guided multi-view stereo for dense 3d road mapping | |
| CN114694022A (zh) | 一种基于球形邻域的多尺度多特征算法的语义分割方法 | |
| Ruf et al. | Towards real-time change detection in videos based on existing 3D models | |
| Habib et al. | Integration of lidar and airborne imagery for realistic visualization of 3d urban environments | |
| Zhang | Target-based calibration of 3D LiDAR and binocular camera on unmanned vehicles | |
| Ozcanli et al. | Geo-localization using volumetric representations of overhead imagery | |
| Zhu et al. | Toward the ghosting phenomenon in a stereo-based map with a collaborative RGB-D repair | |
| KR100725729B1 (ko) | 위성영상과 항공영상에 의한 지리정보 구축 및 3차원 영상 출력을 이용한 스테레오 지리정보 영상의 차량 유리로의 입체출력 시스템 | |
| CN114627069A (zh) | 车轮触地点的获取方法、存储介质和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |