CN110223389A - 融合图像与激光数据的场景建模方法、系统、装置 - Google Patents
融合图像与激光数据的场景建模方法、系统、装置 Download PDFInfo
- Publication number
- CN110223389A CN110223389A CN201910502755.4A CN201910502755A CN110223389A CN 110223389 A CN110223389 A CN 110223389A CN 201910502755 A CN201910502755 A CN 201910502755A CN 110223389 A CN110223389 A CN 110223389A
- Authority
- CN
- China
- Prior art keywords
- laser
- image
- acquisition
- scene
- ground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 101
- 238000002156 mixing Methods 0.000 title claims abstract description 29
- 230000004927 fusion Effects 0.000 claims description 33
- 230000000007 visual effect Effects 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 16
- 238000010586 diagram Methods 0.000 description 13
- 230000015572 biosynthetic process Effects 0.000 description 10
- 238000003786 synthesis reaction Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 6
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 239000004020 conductor Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000007500 overflow downdraw method Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- AZFKQCNGMSSWDS-UHFFFAOYSA-N MCPA-thioethyl Chemical compound CCSC(=O)COC1=CC=C(Cl)C=C1C AZFKQCNGMSSWDS-UHFFFAOYSA-N 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 241001394244 Planea Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
本发明属于场景建模领域，具体涉及一种融合图像与激光数据的场景建模方法、系统、装置，旨在为了解决现有大规模场景建模技术中无法兼顾精度、灵活度的问题。本发明方法首先对场景进行图像采集并建模，基于图像建模结果，综合考虑场景结构复杂程度、纹理丰富程度以及扫描位置分布情况，自动规划激光扫描位置。之后，该方法通过激光点云投影合成图像，并与采集图像进行匹配。基于获取的图像与激光数据之间的跨数据类型特征匹配，采用由粗到细的流程，实现图像与激光数据的融合。本发明兼顾数据采集效率以及重建精度与完整性，可生成精确、完整的场景重建结果。
Description
技术领域
本发明属于场景建模领域，具体涉及一种融合图像与激光数据的场景建模方法、系统、装置。
背景技术
精度与完整性是大规模建筑场景三维重建中的两个关键因素。当前大多数场景重建流程都在关注重建的精度，却对重建完整性不够重视。常见的场景重建方法在结构相对简单的场景下可以取得较好的重建完整性，然而对于较为复杂的建筑场景来说，重建完整性难以保证。为获取大规模复杂场景的完整精确的重建模型(点云或网格)，需要对其全局结构与局部细节进行数据采集与重建。当前主要有两种常用的场景重建方式：基于图像的重建与基于激光扫描的重建。这两类方法在灵活性与精度方面是互补的。
基于图像的重建方法灵活方便，当前最新的图像采集设备具有很好的便携性以及极高的分辨率，十分适合大规模场景的完整采集。然而，现有的基于图像的重建方法对例如光照变化，纹理强度以及结构复杂度等外界因素依赖严重。因此，基于图像的重建结果中错误是很难避免的，尤其是在弱纹理，弱光照以及结构复杂的区域。
基于激光扫描的重建方法精度较高且对一些不利条件更为鲁棒。然而，为了实现对大规模场景的完整覆盖，需要进行多站点激光扫描与对齐。通常，采集的激光点云需要借助人工放置于场景中的人造标志进行粗略对齐，然后利用迭代最近点(ICP，iterativeclosest point)方法进一步实现精细对齐。因此，为实现建筑场景的完整重建，需要进行大量激光扫描与对齐工作，这对目前笨重的扫描设备来说是十分耗时且低效率的。
为通过融合图像与激光数据实现场景的完整重建，一个直接的方法是将图像与激光数据同等对待。具体来说，可以先通过这两类数据分别获取建筑场景模型，然后将它们通过地面控制点(GCP，ground control point)或者采用ICP算法进行齐。然而，上述做法可行性较差，这是由于通过图像与激光扫描生成的点云在密度、精度以及完整性等方面差异巨大，这样的话会在模型对齐时产生不可避免的误差。另外，需要认真选取激光扫描位置以确保有足够的重叠区域进行激光扫描数据的自对齐。
发明内容
为了解决现有技术中的上述问题，即为了解决现有大规模场景建模技术中无法兼顾精度、灵活度的问题，本发明的第一方面，提出了一种融合图像与激光数据的场景建模方法，该方法包括以下步骤：
步骤S100，基于待建模场景地面图像、航拍图像构建采集图像集，获取所述采集图像集中图像的稀疏点云；基于所述地面图像、所述航拍图像的匹配点，通过场景融合获取融合点云，进行表面重建获取待建模场景的三维网格；
步骤S200，基于所述待建模场景的三维网格获取的激光扫描位置并进行激光扫描，获取激光点云；通过点云投影的方法获取航拍合成图像、地面合成图像，并分别与航拍图像、地面图像匹配；
步骤S300，基于步骤S200得到的匹配关系，将所述激光点云与所述稀疏点云进行对齐，并通过广义捆绑调整进行所述采集图像集与所述激光点云的融合，得到待建模场景的模型。
在一些优选实施方式中，步骤S100中“待建模场景地面图像、航拍图像”，其采集方法为：
待建模场景的室内和/或室外的近距离地面图像通过地面采集设备采集获取；
整个场景和/或场景物体顶部的图像通过大尺度航拍设备采集。
在一些优选实施方式中，步骤S100中“获取所述采集图像集中图像的稀疏点云”，其方法为：
基于所述采集图像集中图像，通过运动恢复结构方法进行相机位姿标定并生成稀疏点云。
在一些优选实施方式中，步骤S100中“所述地面图像、所述航拍图像的匹配点”，其获取方法为：
基于所述稀疏点云将地面图像变换至航拍视角并与航拍图像进行匹配获取航拍图像与地面图像匹配点。
在一些优选实施方式中，步骤S200中“基于所述待建模场景的三维网格获取的激光扫描位置，获取激光点云”，其方法为：
将地面图像的采集位置作为候选的激光扫描位置；
基于所述待建模场景的三维网格从所述候选的激光扫描位置中选取真实的激光扫描位置；
在所述的真实的激光扫描位置扫描得到与步骤S100中所述稀疏点云处于相同地理坐标系下的激光点云。
在一些优选实施方式中，步骤S200中“通过点云投影的方法获取航拍合成图像、地面合成图像”，其方法为：
对于每个激光扫描位置获取的激光点云，将其投影至一个虚拟立方体的六个面上获取六幅合成图像作为地面合成图像；
对于每个激光扫描位置获取的激光点云，将其投影至航拍视角获取航拍合成图像。
在一些优选实施方式中，步骤S300中“通过广义捆绑调整进行所述采集图像集与所述激光点云的融合”，其方法为：
过广义捆绑调整对采集图像的相机姿态、融合点云、以及稀疏点云与激光点云之间的相似变换进行联合优化，融合采集图像集与激光点云。
本发明的第二方面，提出了一种融合图像与激光数据的场景建模系统，该系统包括图像采集模块、激光扫描模块、图像与激光融合模块；
所述图像采集模块，配置为基于待建模场景地面图像、航拍图像构建采集图像集，获取所述采集图像集中图像的稀疏点云；基于所述地面图像、所述航拍图像的匹配点，通过场景融合获取融合点云，进行表面重建获取带建模场景的三维网格；
所述激光扫描模块，配置为基于所述待建模场景的三维网格获取的激光扫描位置并进行激光扫描，获取激光点云；通过点云投影的方法获取航拍合成图像、地面合成图像，并分别与航拍图像、地面图像匹配；
所述图像与激光融合模块，配置为，基于所述激光扫描模块得到的匹配关系，将所述激光点云与所述稀疏点云进行对齐，并通过广义捆绑调整进行所述采集图像集与所述激光点云的融合，得到待建模场景的模型。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的融合图像与激光数据的场景建模方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的融合图像与激光数据的场景建模方法。
本发明的有益效果：
(1)本发明以图像为主、激光数据为辅的重建流程，兼顾数据采集效率以及重建精度与完整性。
(2)本发明的激光扫描规划算法，能够兼顾场景的纹理强度、结构复杂度以及激光站点的空间分布情况。
(3)本发明由粗对齐到细融合的图像与激光融合方法，可生成精确、完整的场景重建结果。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明一种实施例的融合图像与激光数据的场景建模方法流程框架示意图；
图2是本发明一种实施例中的数据采集设备示例图；
图3是本发明一种实施例中航拍图像与地面图像匹配结果示例图；
图4是本发明一种实施例中室内图像与室外图像匹配结果示例图；
图5是本发明一种实施例中地面合成图像获取方法示例图；
图6是本发明一种实施例中地面合成图像与地面图像匹配结果示例图；
图7是本发明一种实施例中航拍合成图像与航拍图像匹配结果示例图；
图8是本发明一种实施例中NCT与FGT数据的示例图像以及融合的SfM点云示例图；
图9是本发明一种实施例中NCT与FGT数据集上的激光扫描位置规划结果示例图；
图10是本发明一种实施例中SfM点云与激光点云示例对照图；
图11是本发明一种实施例中NCT与FGT数据集上的图像与激光数据融合定性结果示例图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
在本发明中相对于现有技术采用了一种更加有效的数据采集与场景重建方法，该方法可以兼顾数据采集效率以及重建精度与完整性。该方法以图像为主体用于完整覆盖场景，以激光数据为辅助用于针对弱纹理，弱光照以及结构复杂的区域。该方法主要包括三步：图像采集、激光扫描、图像与激光融合。图像用于完整覆盖场景并通过从运动恢复结构(SfM，structure from motion)生成稀疏点云。基于SfM结果，本发明的方法自动规划激光扫描位置。最后，图像与激光数据通过一种由粗到细的方式进行融合，以生成精确而完整的场景重建结果。本发明有如下两个优势：(1)由于在此激光数据仅作为图像的辅助，激光数据之间的重叠以及用于对齐的人造标记都不再是必须的了；(2)通过将激光数据融入到基于图像的重建框架之下，可以反过来提升其精度与完整性。
如图1所示，本发明三步骤的主要思路为：(1)图像采集：对场景进行图像采集并建模，基于图像建模结果；(2)激光扫描：综合考虑场景结构复杂程度、纹理丰富程度以及扫描位置分布情况，自动规划激光扫描位置；通过激光点云投影合成图像，并与采集图像进行匹配；(3)图像与激光融合：基于获取的图像与激光数据之间的跨数据类型特征匹配，采用由粗到细的流程，实现图像与激光数据的融合。
本发明的一种融合图像与激光数据的场景建模方法，该方法包括以下步骤：
步骤S100，基于待建模场景地面图像、航拍图像构建采集图像集，获取所述采集图像集中图像的稀疏点云；基于所述地面图像、所述航拍图像的匹配点，通过场景融合获取融合点云，进行表面重建获取带建模场景的三维网格；
步骤S200，基于所述待建模场景的三维网格获取的激光扫描位置并进行激光扫描，获取激光点云；通过点云投影的方法获取航拍合成图像、地面合成图像，并分别与航拍图像、地面图像匹配；
步骤S300，基于步骤S200得到的匹配关系，将所述激光点云与所述稀疏点云进行对齐，并通过广义捆绑调整进行所述采集图像集与所述激光点云的融合，得到待建模场景的模型。
为了更清晰地对本发明融合图像与激光数据的场景建模方法进行说明，下面结合附图对本方发明方法一种实施例中各步骤进行展开详述。
步骤S100，基于待建模场景地面图像、航拍图像构建采集图像集，获取所述采集图像集中图像的稀疏点云；基于所述地面图像、所述航拍图像的匹配点，通过场景融合获取融合点云，进行表面重建获取带建模场景的三维网格。
为了完整覆盖大规模场景，本实施例通过多种图像采集设备从天上、地上、室内、室外进行了多视角与多尺度的图像采集。然后，通过SfM方法获取采集图像对应的稀疏点云。
(1)采集图像集的获取
为保证对建筑场景的完整覆盖，本发明通过如下两种方式进行图像采集：(1)待建模场景的室内和/或室外具有较好连接性的近距离地面图像通过地面采集设备采集获取；(2)待建模场景的整个场景和/或场景物体顶部的图像通过大尺度航拍设备采集。本实施例中采用的采集设备信息可以如表1所示，采集设备如图2所示，该图中第一列为安装在GigaPan Epic Pro上的Canon EOS 5D Mark III，用于地面图像采集；第二列为安装在Microdrones MD4-1000上的Sony NEX-5R，用于航拍图像采集；第三列为LeicaScanStation P30Scanner，用于地面激光数据采集。
表1
本实施例中，(室内与室外)地面图像以站的形式进行采集，以方便规划图像采集位置，提高图像采集效率。另外，为了从地面视角较为适当地覆盖室内与室外场景，地面图像采集站在整个场景中分布较为均匀。在本发明中站与站之间大概间隔3m的距离。
(2)SfM与表面重建
基于所述采集图像集中图像，通过运动恢复结构(SfM，structure-from-motion)方法进行相机位姿标定并生成稀疏点云(即SfM点云)。
为了将所有采集到的(室内，室外与航拍)图像融合到统一的SfM过程中，需要航拍图像与地面图像匹配点、室内图像与室外图像匹配点。然而，获取上述两类匹配点均不容易。这是由于：(1)航拍图像与地面图像在视角与尺度方面差异巨大；(2)室内图像与室外图像公共可见区域十分有限。在此，本步骤中基于所述稀疏点云将地面采集图像变换至航拍视角并与航拍图像进行匹配获取航拍图像与地面图像匹配点，图3给出了一对航拍与地面图像匹配结果示例，图中，左列为航拍图像、右列为地面图像，第一行为剪裁的航拍图像与地面采集图像变换至航拍视角图像之间的匹配结果，其中线段连接的两个端部表示匹配点，第二行为视角与尺度差异明显的航拍图像与地面图像。另外，本发明通过匹配位于门附近的室内图像与室外图像实现场景的融合，图4给出了一对室内图像与室外图像匹配结果示例，其中线段连接的两个端部表示匹配点。由图4可知，获取的室内图像与室外图像匹配点足够进行室内与室外的场景融合。
将场景融合的融合点云通过相机内置GPS对齐至地理坐标系下。然后，对融合点云进行表面重建，获取场景的三维网格。该三维网格将用于后续的激光扫描位置规划。
步骤S200，基于所述待建模场景的三维网格获取的激光扫描位置并进行激光扫描，获取激光点云；通过点云投影的方法获取航拍合成图像、地面合成图像，并分别与航拍图像、地面图像匹配。
基于SfM结果，通过考虑如下三个因素实现激光扫描位置的自动规划：纹理强度、结构复杂度、激光站点的空间分布情况。然后，为融合图像与激光数据，需要从激光数据中合成航拍视角图像与地面视角图像并与采集到的图像进行匹配。
步骤S201，基于所述待建模场景的三维网格获取的激光扫描位置，获取激光点云。
本发明中引入激光的目的是为了获取更加精确完整的场景重建结果且激光仅用作图像的辅助。因此，在规划激光扫描位置时考虑如下三个因素：(1)场景的纹理强度、(2)场景的结构复杂度、(3)激光站点的空间分布情况。前两个因素意味着弱纹理与结构复杂的区域需要优先进行激光扫描以对其进行补充，第三个因素表示激光扫描位置应在场景中较为均匀地分布且彼此之间不应重叠过多。根据上述三个因素，提出了本实施例中的激光扫描位置的自动规划方法。
步骤S2011，将地面采集图像的采集位置作为候选的激光扫描位置。
为规划激光扫描位置，需要获取一些候选激光扫描位置。这样的话，激光扫描位置规划问题就转变成了一个0-1整数规划问题：从候选扫描位置中选取一些作为真实扫描位置(标记为1)，并舍弃其它位置(标记为0)。候选激光扫描位置可以通过如下两种方式较为便捷地获取：1、首先检测场景中的地平面并将其按照栅格进行划分；然后将每个栅格的中心作为候选激光扫描位置；2、将地面图像采集位置作为候选激光扫描位置。本实施例中采用第2种方式获取候选激光扫描位置，该方法有如下两个优势：(1)图像采集位置是为了适当地覆盖场景认真选取确定的，因此这些位置的子集也适用于进行激光扫描；(2)在后续的图像与激光数据融合过程中，需要获取采集的地面图像与由激光数据合成的地面视角图像之间的匹配点，而在图像采集位置进行激光扫描有助于进行图像的合成与匹配。
步骤S2012，基于所述待建模场景的三维网格从所述候选的激光扫描位置中选取真实的激光扫描位置。
在获取了候选激光扫描位置后，借助由稀疏点云生成的三维网格，考虑场景纹理丰富度、结构复杂度以及扫描位置分布情况，确定真实激光扫描位置。具体来说，在每个候选扫描位置均匀投射nr条射线，本发明中nr＝1000。由第i个候选扫描位置发出的射线与三维网格共有ni个面片相交，相交面片通过CGAL库获取，如式(1)所示：
其中，为第i个候选扫描位置相交面片集合，Np为候选激光扫描位置数量，fi，m为第i个位置与射线相交的第m个面片。这些通过射线相交得到的面片用于衡量候选扫描位置周围场景的纹理强度以及结构复杂度。具体来说，对于每个面片fi，m，获取距它小于设定距离rf的所有面片，记为其邻域面片，本实施例中rf＝0.1m。在这里面片之间的距离定义为面片中心之间的欧氏距离。然后，将fi，m与其邻域面片面积加和，记做ai，m。ai，m的值用于衡量ai，m附近场景的纹理强度以及结构复杂度：ai，m的值越大，fi，m附近场景纹理越弱，结构越杂。进而通过式(2)衡量第i个候选激光扫描位置的纹理强度与结构复杂度：
其中，Ai为第i个候选扫描位置相交面片邻域面片面积和的均值。
另外，采用相交面片集合的交并比(IoU，intersection over union)来衡量第i个与第j个候选扫描位置之间的重叠情况，并将其记为式(3)：
其中，IoUi，j用来衡量第i个与第j个候选扫描位置之间的重叠率。
为了使激光扫描位置分布更为均匀，应当选取互相之间IoU更小的一些候选扫描位置。因此，可以将激光扫描位置规划问题阐述，如式(4)所示：
其中，xi＝0，1，(i＝1，2，...，Np)为优化变量，xi＝1表示取了第i个候选扫描位置，否则的话xi＝0；tc为一个边界阈值，用于限制激光数据对场景的覆盖程度，本实施例中tc＝0.125；然而，式(4)定义的问题为一个0-1整数规划问题，该问题为非确定多项式(NP，non-deterministic polynomial)问题。本实施例中，采用一个贪婪算法对该问题近似求解。该算法每次选取一个候选扫描位置作为最终的真实扫描位置，算法细节描述如下。
首先将有着最大Ai的候选扫描位置选为第一个真实扫描位置，如式(5)所示：
式(5)表示第个候选扫描位置为第一个选取的真实扫描位置。假设在进行完Ns次扫描位置选取后，选取的Ns个扫描位置在候选扫描位置集合中的序号记为而剩余的未选取的序号记为可进一步得到式(6)：
其中，为所选取的第m个扫描位置，为未选取的第n个扫描位置。
然后，在第Ns+1次选取中通过式(7)从中选取：
其中，选取的扫描位置在集合的序号为n*，这意味着随着选取过程的进行，选出来了越来越多的真实扫描位置，整个选取过程通过式(4)中的截止条件停止如式(8)：
步骤S2013，在所述的真实的激光扫描位置扫描得到与步骤S100中所述稀疏点云处于相同地理坐标系下的激光点云。
在激光扫描位置规划完成后，本发明在规划的位置进行地面激光扫描。本发明中采用的扫描设备为Leica ScanStation P30 Scanner(见图2)。像其它当前先进的激光扫描仪一样，P30可以获取大量、精确且带有RGB信息的三维空间点。由于本发明在规划的扫描位置进行激光扫描，生成的激光点云与SfM点云均处于地理坐标系下，简化了后续的图像合成与匹配过程。
步骤S202，通过点云投影的方法获取航拍合成图像、地面合成图像，并分别与航拍图像、地面图像匹配。
为了融合图像与激光数据，需要通过激光点合成图像并与采集的图像进行匹配。本实施例中，不仅需要合成地面视角图像得到地面合同图像，还需要通过激光点云对航拍视角图像进行了合成获取航拍合成图像。通过匹配原始航拍图像与合成图像，可以获取更多的用于后续图像与激光数据融合的约束。
步骤S2021，地面视角图像合成
对于每个激光扫描位置获取的激光点云，将其投影至一个虚拟立方体的六个面上获取六幅合成图像作为地面合成图像。虚拟立方体的中心与激光扫描原点重合，如图5中(a)所示，该图为用于地面视角图像合成的虚拟立方体示意图，棱锥表示其中的一个虚拟相机。合成图像像素的RGB值即为投影至该像素的激光点的RGB值，如图5中(b)所示为一个地面视角的地面合成图示例。图5中(c)为(b)的深度图。虚拟立方体的六个面以及中心构成了六个朝向互相垂直的相机。地面视角合成图像的宽高均设为采集的地面图像的高度，本实施例中为3840px。
步骤S2022，航拍视角图像合成
对于每个激光扫描位置获取的激光点云，将其投影至航拍视角获取航拍合成图像。本实施例中对于每个激光扫描位置，首先选取5幅航拍视角图像，这5幅图像可以较为合理地覆盖采集到的激光数据且分布较为均匀。然后，将每幅图像的可见激光点通过相机的内外参数投影至该图像上以合成航拍视角图像。
由于此处的航拍合成图像与地面合成图像均通过点云投影的方式合成，因此需要对合成图像进行最近邻插值以填补一些不可避免的缺失像素。另外，由于后续过程中需要用到合成图像像素与激光点云之间的二维三维对应关系，每幅合成图像均生成了对应的深度图，如图5中(c)所示。
接下来，分别对航拍合成图像与采集的航拍图像、地面合成图像与采集的地面图像进行SIFT特征匹配。地面合成图像与距离和朝向均比较接近的地面采集图像进行匹配，本实施例中以距离小于5m，朝向夹角小于45°作为是否接近的判断标准。航拍合成图像与图像合成时的目标航拍图像进行匹配。另外，由于合成图像边缘处的深度是不可靠的，在进行图像匹配之前，需要舍弃掉了位于合成图像Canny边缘附近的特征点。如图6为一个地面合成图像与采集的地面图像匹配结果示例，图像中线段为匹配点连线；如图7为一个航拍合成图像与采集的航拍图像匹配结果示例，第一行图像为第二行图像矩形区域的放大图，第二行作图为航拍合成图像、第二行右图为采集的航拍图像，图像中线段为匹配点连线。
步骤S300，基于步骤S200得到的匹配关系，将所述激光点云与所述稀疏点云进行对齐，并通过广义捆绑调整进行所述采集图像集与所述激光点云的融合，得到待建模场景的模型。
在进行图像与激光数据融合时，首先，激光点云逐一地粗略对齐至SfM点云；然后，借助跨属性的匹配点，通过广义捆绑调整(BA，bundle adjustment)实现图像与激光数据的精细融合。
步骤S301，基于步骤S200得到的匹配关系，将所述激光点云与所述稀疏点云进行对齐。
本发明将步骤S200中获取激光扫描数据通过如下方式逐一地粗略对齐至SfM点云：
将第i个扫描位置获取的激光点云与SfM点云之间的相似变换记做{si，Ri，ti}，其中si为尺度，Ri为旋转，ti为平移，用于估计该相似变换的三维对应点由步骤S200中获取的地面合成图像与采集的地面图像匹配点、航拍合成图像与采集的航拍图像匹配点转换得到；通过随机抽样一致性(RANSAC，random sample consensus)对该相似变换进行估计，本实施例在RANSAC过程中，进行100次随机抽样且将距离阈值设为0.1m；在估计完相似变换后，将第i个扫描位置获取的激光点云与SfM点云之间的地面合成图像与采集的地面图像三维对应内点、航拍合成图像与采集的航拍图像三维对应点内点分别记为与
步骤S302，通过广义捆绑调整进行所述采集图像集与所述激光点云的融合，得到待建模场景的模型。
在将激光数据粗略对齐至SfM点云之后，通过广义BA联合优化(室内、室外与航拍)相机姿态，融合的SfM点云(步骤S100中的融合点云)以及SfM点云(步骤S100中的稀疏点云)与激光点云之间的相似变换，以精细融合图像与激光数据。进行上述进一步优化的原因有如下两部分：(1)SfM点云可能不够精确，甚至存在场景漂移现象，这种情况在大规模场景中尤为明显；(2)航拍图像SfM点云与地面图像SfM点云可能并未精确地融合在一起。通过将SfM结果(相机位姿与空间点坐标)与激光点云对齐结果(相似变换)融合到一个全局优化中，上述两问题的精度均可提升。本实施中将BA过程称为广义BA的原因是，在此BA过程中通过最小化三维到二维的重投影误差以及三维到三维的空间误差以同时优化相机位姿以及用于激光数据对齐的相似变换。采集图像的相机姿态，融合的SfM点云以及用于激光数据对齐的相似变换通过如式(9)同时优化：
其中，θ＝{Rj，tj，Xk，s，Ri，ti}。Rj与tj为第j个相机的旋转矩阵与平移向量；Xk为融合的SfM点云(步骤S100中的融合点云)中的第k个点；s为融合的SfM点云与激光点云对齐的全局尺度；Ri与ti为第i个扫描位置获取的激光点云对齐的旋转矩阵与平移向量，为地面空间误差项，为航拍空间误差项，式(9)中的重投影误差项ER(j，k)定义如式(10)所示：
其中，xj，k为点Xk在第j幅图像中观测到的投影点；Kj为第j个相机的内参矩阵，由于Kj在步骤S100中进行图像采集时已经精确标定，此处优化时其值保持不变；γ(·)为投影方程；∑j，k为xj，k的协方差矩阵，其值与xj，k局部特征的尺度相关。式(9)中的地面空间误差项与航拍空间误差项如式(11)所示：
其中，∑i，m与∑i，n分别为与的协方差矩阵，其值与激光云点到扫描原点(激光点云坐标系原点)距离相关。在式(10)与式(11)中引入马氏距离是为了消除重投影误差项与空间误差项在尺度与噪声程度上的不均衡。由上述定义可知，式(9)是在限定(理想状况下)没有定义于式(11)中的(航拍与地面)激光与SfM点空间误差时最小化定义于式(10)中的SfM点云的重投影误差。因此，式(9)定义的优化问题为带约束的优化问题，本实施例中通过拉格朗日乘子法进行求解，如式(12)所示：
其中，ρ(·)为Huber损失函数，用于应对不可避免的误匹配与噪声情况；ω为拉格朗日乘子，用于控制定于式(10)与式(11)中约束的权重。本实施例采用Ceres Solver对上式定义的问题进行求解。当ω→0时，式(12)中的优化问题主要优化的是(三维到二维的)重投影误差，趋近于标准的BA问题；而当ω→1时，式(12)中的优化问题主要是优化(三维到三维的)空间误差，趋近于激光数据对齐问题。
为了对本发明实施例的融合图像与激光数据的场景建模方法进行验证，在两组中国古代建筑数据集，南禅寺(NCT，Nan-chan temple)与佛光寺(FGT，Fo-guang temple)上对本发明进行了测评。上述两个寺庙中大殿的室内场景均有着复杂的结构且光线较弱。因此，对于本发明研究的问题来说，它们是合适的研究载体。上述两数据集的元数据列于表2中。
表2
| 数据集 | NCT | FGT |
| 覆盖面积 | 3100m<sup>2</sup> | 34000m<sup>2</sup> |
| 地面室外图像数量 | 2790 | 6975 |
| 地面室内图像数量 | 855 | 2475 |
| 室外室内图像数量比 | 3.26 | 2.82 |
| 航拍图像数量 | 722 | 1596 |
| 室外激光扫描站数 | 6 | 19 |
| 室内激光扫描站数 | 5 | 14 |
| 室外室内激光站数比 | 1.20 | 1.36 |
1、图像采集结果
采用步骤S100中的流程进行采集图像与生成SfM点云。在NCT与FGT数据集中采集的图像示例以及重建得到的SfM点云如图8所示。由图8可知，航拍与(室内、室外)地面SfM点云较好地融合在了一起。然而，在NCT与FGT数据中的弱纹理，弱光照以及结构复杂区域的重建得到的点的数量过少。因此，进行激光扫描以获取更加精确、完整的建筑场景模型是十分必要的。
2、激光扫描结果
采用步骤S200中的方法规划激光扫描位置并进行激光扫描。在NCT与FGT数据上，室内室外图像数量比的值均大于室内室外激光站数比的值。另外，由于候选激光扫描位置，即地面图像采集站的位置，是等间距分布的，更小的室内室外激光站数比意味着通过本发明的激光扫描位置规划算法，室内激光扫描站更加密集。这是由于相对于室外场景，室内场景结构更为复杂，纹理、光照更弱。在NCT与FGT数据集上的激光扫描位置规划结果如图9所示，第一行为NCT数据集上的结果，第二行为在FGT数据集上的结果，第一列为融合的地面室内与室外SfM点云，第二列为室内与室外候选激光扫描位置，第三列为室内与室外规划激光扫描位置。由图9可知，本发明规划的激光扫描位置较为均匀、稀疏地分布于整个建筑场景中。
另外，为了验证本发明激光扫描位置规划方法，分别从NCT与FGT数据中选取了一个规划激光扫描位置，对其附近同一区域的激光点云与SfM点云进行比较，如图10所示，该图中(a)、(b)分别为图9左上角图像中矩形标示区域的SfM点云与激光点云，(c)、(d)图9左下角图像中矩形标示区域的SfM点云与激光点云而扫描位置在图9第三列由圆表示。本发明在NCT数据上选取了一个室内激光扫描位置，在FGT数据上选取的是一个室外激光扫描位置。由图10可知，标示区域仅有较少的SfM点，这是由于这些区域纹理较弱(如墙面)或者结构过于复杂(如室内的彩塑以及室外的斗拱)。因此，通过本发明的激光扫描位置规划方法，激光扫描可以有效地覆盖建筑场景中的弱纹理与复杂结构区域以获取更为精确、完整的建筑场景模型。
3、图像与激光融合结果
接下来，本发明采用步骤S300中的方法对图像与激光数据进行由粗到细的融合。定性与定量结果均在下文中给出。
(1)定性结果
NCT与FGT数据集上的定性结果如图11所示，该图为NCT与FGT数据集上的图像与激光点云融合定性结果。第一行：NCT数据结果远景图，从左到右依次为(室内、室外与航拍)SfM点云，(室内、室外)激光点云，融合的SfM与激光点云，由融合点云生成的网格。第二行：NCT数据示例图像以及与示例图像视角类似的网格近景图，左边两个为图中右上矩形对应的室外区域，右边两个为图中右上矩形对应的室内区域。第三行以及第四行：与第一行以及第二行类似的在FGT数据集上的结果。为了更好的视觉效果，本发明对融合后的SfM与(降采样的)激光点云进行表面重建。通过图11中的远景图可知图像与激光数据较好地融合在了一起。而通过图11中的近景图本发明可知本发明的方法即使是在弱纹理与结构复杂区域也能获得精确、完整的场景重建结果。因此，上述定性结果验证了本发明中的图像与激光数据融合方法的有效性。
(2)定量结果
该部分对图像与激光数据融合方法进行了定量测评。首先，引入了一种用于定量测评融合精度的评价指标。基于该指标，对图像与激光融合时参数ω的设定进行了评估。
评测指标：由于定义一个定量评测融合精度的准确度量十分困难，在此采用一种近似测量方法用于定量评测。具体来说，首先在SfM点云与激光点云上人工获取一些空间对应点。对于NCT与FGT数据集，均获取20对相对均匀地分布在场景中的参考点，室内场景10对，室外场景10对。在图像与激光数据融合后，每对参考点理想状态下均应重合。在此，将每对参考点之间距离的平均值用作图像与激光数据融合精度的近似评测指标，平均值越低融合精度越高。
参数设定：尽管通过在式(10)与式(11)引入马氏距离以消除重投影误差项与空间误差项之间在尺度与噪声程度上的不均衡，还存在着另外一种没有考虑到的不均衡因素。该因素为采集图像本身之间的匹配点数量与合成图像与采集图像之间的匹配点数量的差异，会较大程度上影响图像与激光数据融合精度。本发明中通过引入拉格朗日乘子(式(12)中的ω)的方式解决上述问题。在此，提出了一种自适应确定ω取值的方法。根据步骤S300中式(12)中的优化问题同时优化相机位姿，SfM点空间位置以及用于激光数据对齐的相似变换。直观上来讲，当重投影误差代价近似等于空间误差代价时，即如式(13)所示：
式(12)中的优化问题在相机标定与激光对齐之间实现了较好的平衡，进而可以得到较好的图像与激光数据融合的结果。为验证上述猜想，本发明分别定义初始重投影误差代价与初始空间误差代价如式(14)所示：
其中，CR为初始重投影误差代价，CS(ω)为初始空间误差代价。
初始误差代价表示该代价通过式(12)中待优化参数的初值计算得到。待优化参数的初值分别通过SfM以及激光数据粗略对齐过程中获取的，因此获取的初值均相对准确。将初始代价比Cs(ω)/CR记为rC，不同的rC在NCT与FGT数据集上的图像与激光数据融合精度如表3所示。此处，rC的值与ω的值成正比。
表3
| log(r<sub>C</sub>) | -3 | -2 | -1 | 0 | 1 | 2 | 3 |
| NCT/mm | 21.88 | 20.51 | 20.09 | 19.47 | 19.60 | 20.05 | 21.56 |
| FGT/mm | 32.36 | 30.23 | 26.41 | 26.15 | 29.25 | 35.32 | 39.09 |
表3为在NCT与FGT数据集上的不同初始重投影误差代价与初始空间误差代价比值rC＝CS(ω)/CR下的图像与激光数据融合精度(均值误差)。
由表3可知，对于NCT与FGT数据集来说，随着rC的增大，图像与激光点云融合的精度均为先增大后减小。当且仅当rC的值处于一个较为合适的范围内时(log(rC)＝-1，0，1)，图像与激光数据融合的精度较高。因此，本发明中通过设置ω的值，使得初始空间误差与初始重投影误差相等，如式(15)所示：
本发明利用了两种互相补足的元数据：图像与激光数据，以实现在数据采集效率以及重建精度与完整度上的较好平衡。本发明以图像为主体用于完整覆盖场景，以激光数据为辅助用于针对弱纹理，弱光照以及结构复杂的区域。经验证可以获取精确完整的场景重建结果。
本发明第二实施例的一种融合图像与激光数据的场景建模系统，包括图像采集模块、激光扫描模块、图像与激光融合模块；
所述图像采集模块，配置为基于待建模场景地面采集图像、航拍采集图像构建采集图像集，获取所述采集图像集中图像的稀疏点云；基于所述地面采集图像、所述航拍采集图像的匹配点，通过场景融合获取融合点云，进行表面重建获取带建模场景的三维网格；
所述激光扫描模块，配置为基于所述待建模场景的三维网格获取的激光扫描位置并进行激光扫描，获取激光点云；通过点云投影的方法获取航拍合成图像、地面合成图像，并分别与航拍采集图像、地面采集图像匹配；
所述图像与激光融合模块，配置为，基于所述激光扫描模块得到的匹配关系，将所述激光点云与所述稀疏点云进行对齐，并通过广义捆绑调整进行所述采集图像集与所述激光点云的融合，得到待建模场景的模型。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的融合图像与激光数据的场景建模系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的融合图像与激光数据的场景建模方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的融合图像与激光数据的场景建模方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种融合图像与激光数据的场景建模方法，其特征在于，该方法包括以下步骤：
步骤S100，基于待建模场景地面图像、航拍图像构建采集图像集，获取所述采集图像集中图像的稀疏点云；基于所述地面图像、所述航拍图像的匹配点，通过场景融合获取融合点云，进行表面重建获取带建模场景的三维网格；
步骤S200，基于所述待建模场景的三维网格获取的激光扫描位置并进行激光扫描，获取激光点云；通过点云投影的方法获取航拍合成图像、地面合成图像，并分别与航拍图像、地面图像匹配；
步骤S300，基于步骤S200得到的匹配关系，将所述激光点云与所述稀疏点云进行对齐，并通过广义捆绑调整进行所述采集图像集与所述激光点云的融合，得到待建模场景的模型。
2.根据权利要求1所述的融合图像与激光数据的场景建模方法，其特征在于，步骤S100中“待建模场景地面图像、航拍图像”，其采集方法为：
待建模场景的室内和/或室外近距离地面图像通过地面采集设备采集获取；
整个场景和/或场景物体顶部的图像通过大尺度航拍设备采集。
3.根据权利要求1所述的融合图像与激光数据的场景建模方法，其特征在于，步骤S100中“获取所述采集图像集中图像的稀疏点云”，其方法为：
基于所述采集图像集中图像，通过从运动恢复结构方法进行相机位姿标定并生成稀疏点云。
4.根据权利要求1所述的融合图像与激光数据的场景建模方法，其特征在于，步骤S100中“所述地面图像、所述航拍图像的匹配点”，其获取方法为：
基于所述稀疏点云将地面图像变换至航拍视角并与航拍图像进行匹配获取航拍图像与地面图像匹配点。
5.根据权利要求1所述的融合图像与激光数据的场景建模方法，其特征在于，步骤S200中“基于所述待建模场景的三维网格获取的激光扫描位置，获取激光点云”，其方法为：
将地面图像的采集位置作为候选的激光扫描位置；
基于所述待建模场景的三维网格从所述候选的激光扫描位置中选取真实的激光扫描位置；
在所述的真实的激光扫描位置扫描得到与步骤S100中所述稀疏点云处于相同地理坐标系下的激光点云。
6.根据权利要求1所述的融合图像与激光数据的场景建模方法，其特征在于，步骤S200中“通过点云投影的方法获取航拍合成图像、地面合成图像”，其方法为：
对于每个激光扫描位置获取的激光点云，将其投影至一个虚拟立方体的六个面上获取六幅合成图像作为地面合成图像；
对于每个激光扫描位置获取的激光点云，将其投影至航拍视角获取航拍合成图像。
7.根据权利要求1所述的融合图像与激光数据的场景建模方法，其特征在于，步骤S300中“通过广义捆绑调整进行所述采集图像集与所述激光点云的融合”，其方法为：
过广义捆绑调整对采集图像的相机姿态、融合点云、以及稀疏点云与激光点云之间的相似变换进行联合优化，融合采集图像集与激光点云。
8.一种融合图像与激光数据的场景建模系统，其特征在于，该系统包括图像采集模块、激光扫描模块、图像与激光融合模块；
所述图像采集模块，配置为基于待建模场景地面图像、航拍图像构建采集图像集，获取所述采集图像集中图像的稀疏点云；基于所述地面图像、所述航拍图像的匹配点，通过场景融合获取融合点云，进行表面重建获取带建模场景的三维网格；
所述激光扫描模块，配置为基于所述待建模场景的三维网格获取的激光扫描位置并进行激光扫描，获取激光点云；通过点云投影的方法获取航拍合成图像、地面合成图像，并分别与航拍图像、地面图像匹配；
所述图像与激光融合模块，配置为，基于所述激光扫描模块得到的匹配关系，将所述激光点云与所述稀疏点云进行对齐，并通过广义捆绑调整进行所述采集图像集与所述激光点云的融合，得到待建模场景的模型。
9.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-7任一项所述的融合图像与激光数据的场景建模方法。
10.一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-7任一项所述的融合图像与激光数据的场景建模方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910502755.4A CN110223389B (zh) | 2019-06-11 | 2019-06-11 | 融合图像与激光数据的场景建模方法、系统、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910502755.4A CN110223389B (zh) | 2019-06-11 | 2019-06-11 | 融合图像与激光数据的场景建模方法、系统、装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110223389A true CN110223389A (zh) | 2019-09-10 |
| CN110223389B CN110223389B (zh) | 2021-05-04 |
Family
ID=67816393
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910502755.4A Active CN110223389B (zh) | 2019-06-11 | 2019-06-11 | 融合图像与激光数据的场景建模方法、系统、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110223389B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111311654A (zh) * | 2020-02-13 | 2020-06-19 | 北京百度网讯科技有限公司 | 一种相机位置的配准方法、装置、电子设备及存储介质 |
| CN112419494A (zh) * | 2020-10-09 | 2021-02-26 | 腾讯科技（深圳）有限公司 | 用于自动驾驶的障碍物检测、标记方法、设备及存储介质 |
| CN112562052A (zh) * | 2020-12-03 | 2021-03-26 | 广东工业大学 | 一种面向近岸水域的实时定位与建图方法 |
| CN112750203A (zh) * | 2021-01-21 | 2021-05-04 | 脸萌有限公司 | 模型重建方法、装置、设备及存储介质 |
| CN113240755A (zh) * | 2021-07-12 | 2021-08-10 | 中国海洋大学 | 基于街景图像与车载激光融合的城市场景构图方法及系统 |
| CN113625288A (zh) * | 2021-06-15 | 2021-11-09 | 中国科学院自动化研究所 | 基于点云配准的相机与激光雷达位姿标定方法和装置 |
| CN115203723A (zh) * | 2022-07-20 | 2022-10-18 | 浙江东昊信息工程有限公司 | 一种可用于寺庙的信息加密处理系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130057653A1 (en) * | 2011-09-06 | 2013-03-07 | Electronics And Telecommunications Research Institute | Apparatus and method for rendering point cloud using voxel grid |
| CN103744086A (zh) * | 2013-12-23 | 2014-04-23 | 北京建筑大学 | 一种地面激光雷达与近景摄影测量数据的高精度配准方法 |
| CN105931234A (zh) * | 2016-04-19 | 2016-09-07 | 东北林业大学 | 一种地面三维激光扫描点云与影像融合及配准的方法 |
| CN105973145A (zh) * | 2016-05-19 | 2016-09-28 | 深圳市速腾聚创科技有限公司 | 移动式三维激光扫描系统及移动式三维激光扫描方法 |
| CN106971403A (zh) * | 2017-04-27 | 2017-07-21 | 武汉数文科技有限公司 | 点云图像处理方法及装置 |
| CN107316325A (zh) * | 2017-06-07 | 2017-11-03 | 华南理工大学 | 一种基于图像配准的机载激光点云与影像配准融合方法 |
| CN108961410A (zh) * | 2018-06-27 | 2018-12-07 | 中国科学院深圳先进技术研究院 | 一种基于图像的三维线框建模方法及装置 |
| US20180365503A1 (en) * | 2017-06-16 | 2018-12-20 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and Apparatus of Obtaining Obstacle Information, Device and Computer Storage Medium |
-
2019
- 2019-06-11 CN CN201910502755.4A patent/CN110223389B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130057653A1 (en) * | 2011-09-06 | 2013-03-07 | Electronics And Telecommunications Research Institute | Apparatus and method for rendering point cloud using voxel grid |
| CN103744086A (zh) * | 2013-12-23 | 2014-04-23 | 北京建筑大学 | 一种地面激光雷达与近景摄影测量数据的高精度配准方法 |
| CN105931234A (zh) * | 2016-04-19 | 2016-09-07 | 东北林业大学 | 一种地面三维激光扫描点云与影像融合及配准的方法 |
| CN105973145A (zh) * | 2016-05-19 | 2016-09-28 | 深圳市速腾聚创科技有限公司 | 移动式三维激光扫描系统及移动式三维激光扫描方法 |
| CN106971403A (zh) * | 2017-04-27 | 2017-07-21 | 武汉数文科技有限公司 | 点云图像处理方法及装置 |
| CN107316325A (zh) * | 2017-06-07 | 2017-11-03 | 华南理工大学 | 一种基于图像配准的机载激光点云与影像配准融合方法 |
| US20180365503A1 (en) * | 2017-06-16 | 2018-12-20 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and Apparatus of Obtaining Obstacle Information, Device and Computer Storage Medium |
| CN108961410A (zh) * | 2018-06-27 | 2018-12-07 | 中国科学院深圳先进技术研究院 | 一种基于图像的三维线框建模方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| XIANG GAO等: "Ancient Chinese architecture 3D preservation by merging ground and aerial point clouds", 《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》 * |
| 任芳等: "基于数码影像与激光点云的三维重建技术研究", 《第一届全国激光雷达对地观测高级学术研讨会》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111311654A (zh) * | 2020-02-13 | 2020-06-19 | 北京百度网讯科技有限公司 | 一种相机位置的配准方法、装置、电子设备及存储介质 |
| CN111311654B (zh) * | 2020-02-13 | 2023-11-24 | 北京百度网讯科技有限公司 | 一种相机位置的配准方法、装置、电子设备及存储介质 |
| CN112419494A (zh) * | 2020-10-09 | 2021-02-26 | 腾讯科技（深圳）有限公司 | 用于自动驾驶的障碍物检测、标记方法、设备及存储介质 |
| CN112419494B (zh) * | 2020-10-09 | 2022-02-22 | 腾讯科技（深圳）有限公司 | 用于自动驾驶的障碍物检测、标记方法、设备及存储介质 |
| CN112562052A (zh) * | 2020-12-03 | 2021-03-26 | 广东工业大学 | 一种面向近岸水域的实时定位与建图方法 |
| CN112750203A (zh) * | 2021-01-21 | 2021-05-04 | 脸萌有限公司 | 模型重建方法、装置、设备及存储介质 |
| CN112750203B (zh) * | 2021-01-21 | 2023-10-31 | 脸萌有限公司 | 模型重建方法、装置、设备及存储介质 |
| CN113625288A (zh) * | 2021-06-15 | 2021-11-09 | 中国科学院自动化研究所 | 基于点云配准的相机与激光雷达位姿标定方法和装置 |
| CN113240755A (zh) * | 2021-07-12 | 2021-08-10 | 中国海洋大学 | 基于街景图像与车载激光融合的城市场景构图方法及系统 |
| CN113240755B (zh) * | 2021-07-12 | 2021-09-21 | 中国海洋大学 | 基于街景图像与车载激光融合的城市场景构图方法及系统 |
| CN115203723A (zh) * | 2022-07-20 | 2022-10-18 | 浙江东昊信息工程有限公司 | 一种可用于寺庙的信息加密处理系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110223389B (zh) | 2021-05-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110223389A (zh) | 融合图像与激光数据的场景建模方法、系统、装置 | |
| US8350850B2 (en) | Using photo collections for three dimensional modeling | |
| CN110136259A (zh) | 一种基于倾斜摄影辅助bim和gis的三维建模技术 | |
| AU2008322565B9 (en) | Method and apparatus of taking aerial surveys | |
| Bozzini et al. | A new monoplotting tool to extract georeferenced vector data and orthorectified raster data from oblique non-metric photographs | |
| Moons et al. | Automatic modelling and 3D reconstruction of urban house roofs from high resolution aerial imagery | |
| CN103383773B (zh) | 一种动态提取图像控制点的遥感卫星图像自动正射纠正的框架和方法 | |
| Prahl et al. | Airborne shape measurement of parabolic trough collector fields | |
| CN104966281A (zh) | 多视影像的imu/gnss引导匹配方法 | |
| CN107895048A (zh) | 一种基于实景三维的快速出图方法 | |
| Pardo-García et al. | Measurement of visual parameters of landscape using projections of photographs in GIS | |
| CN106326334A (zh) | 一种电子地图的显示、生成方法和装置 | |
| Frommholz et al. | Extracting semantically annotated 3D building models with textures from oblique aerial imagery | |
| CN115409957A (zh) | 基于虚幻引擎的地图构建方法、电子设备和存储介质 | |
| CN117315146B (zh) | 基于跨尺度多源数据的三维模型的重建方法及存储方法 | |
| CN115631317B (zh) | 隧道衬砌正射影像生成方法及装置、存储介质、终端 | |
| Frommholz et al. | Inlining 3d reconstruction, multi-source texture mapping and semantic analysis using oblique aerial imagery | |
| Zhou et al. | True orthoimage generation in urban areas with very tall buildings | |
| Troccoli et al. | A shadow based method for image to model registration | |
| CN115409962A (zh) | 虚幻引擎内构建坐标系统的方法、电子设备和存储介质 | |
| Gu et al. | Surveying and mapping of large-scale 3D digital topographic map based on oblique photography technology | |
| Rau et al. | Integration of gps, gis and photogrammetry for texture mapping in photo-realistic city modeling | |
| Ressl et al. | A concept for adaptive mono-plotting using images and laserscanner data | |
| Shragai et al. | Automatic tie-point extraction using advanced approaches | |
| Wimmer | True orthophoto generation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |