CN116030194A - 一种基于目标检测规避的空地协同实景三维建模优化方法 - Google Patents

Abstract

本发明公开了一种基于目标检测规避的空地协同实景三维建模优化方法，在实景三维建模的前期调研中，以无人机和手机同时协同调研的方式，通过设定统一的目标拍摄场景、确定目标拍摄区域、采集地面拍摄视角影像、采集天空视角影像、提取校正EXIF信息等步骤，实现统一空三计算及实景三维建模；并利用目标检测算法辅助地面采集拍摄者规避无效地面活动目标，精简地面采集拍摄采样点的冗余数量，同时减轻前期外业调研的工作量与后期空三计算的计算量。本发明的方法能在低成本、高效采集的条件下，协同空中无人机、地面手机照片数据至统一空三建模过程，实现有限成本与有限采样条件下的高精度、多细节的实景三维快速建模。

Description

一种基于目标检测规避的空地协同实景三维建模优化方法

技术领域

本发明属于城乡建筑三维建模领域，更具体地说，涉及一种基于目标检测规避的空地协同实景三维建模优化方法。

背景技术

随着城市化的进程加快，数字智慧城市技术也在快速发展，一般的平面地图已经无法满足各个行业的相关需求了，相较于传统的二维地图，三维数据地图具有更真实和高精度的优点。

目前，针对特殊悬挑型建筑形式，如悬挑、屋檐、骑楼等形式的建筑物，以及如城中村、老旧小区、老旧片区等建筑密集城市区域，传统的无人机飞行拍摄存在飞行安全限制，无人机采集飞行成本高，甚至有飞行撞机等安全风险，还会导致三维模型檐下、悬挑等空间细节模糊、精度粗糙甚至模型破面等问题。因为一般的城市建筑密集和干扰目标较多，地面拍摄存在地面路径采样点有限、活动目标干扰等诸多限制，从采样点上来说，地面的可供拍摄的行进路线有限，拍摄采样点无法做到对采样区域的全覆盖，需要在有限的采样点上需要进行一定密集的冗余采样以保障数据质量，而这也带来了运算量加大等问题。

现有技术中虽然也存在使用空地测量方式简单结合来对建筑进行三维建模的技术，但其取得的技术成效往往提升有限。因为一般的城市建筑密集和干扰目标较多，地面拍摄存在地面路径采样点有限、活动目标干扰等诸多限制，从采样点上来说，地面的可供拍摄的行进路线有限，拍摄采样点无法做到对采样区域的全覆盖，需要在有限的采样点上需要进行一定密集的冗余采样以保障数据质量，而这也带来了运算量加大等问题。

既有的空地测量技术，其使用的相机往往需要360度固定在建筑物周围，，且需要保证建筑物周围没有其他移动干扰目标，而对于人群较多的城市类建筑往往无法进行这种高成本的地面图像的采集，地面拍摄的城市建筑物的照片中易于存在除建筑物以外的其它动态干扰目标，且空地采集的影像数据无法直接融合，从而导致空地影像数据融合时的数据和模型的计算量较大，且使得对城市建筑三维建模的精度和细节较低，直接导致重点人视角、建筑的重点部位存在关键细节缺失，十分影响设计师对城市更新问题的研判。

例如中国专利CN202111288002.1中公开虽然了一种基于手机影像实景精细化建模局部快速更新的方法，但该方法存在一定局限性，其技术流程是将无人机空三成果和手机拍摄的空三成果进行后期融合，属于后期补充修饰的三维模型更新方法，虽实现了模型的改善，但是仍需要进行大量的手动解算和对位修饰，存在人工手工修补效率较低的问题，且来源于不同无人机、手机设备的同一图像特征点不能参与同一组空三计算，手机采集的图像也未针对存在城市建筑拍摄时的冗余目标进行合理的筛选，而这都导致了测量误差和空三计算量的增加。

基于此，需要设计一种基于目标检测规避的空地协同实景三维建模优化方法。

发明内容

(一)技术问题

基于上述技术问题，本发明提供了一种基于目标检测规避的空地协同实景三维建模优化方法，该方法能够在低成本、高效采集的条件下，协同空中无人机和地面手机等移动设备拍摄的有效照片数据至统一空三建模过程，从而实现有限成本与有限采样条件下的高精度、多细节实景三维建模，还有效地降低了图像融合和三维建模时的计算量，且该方法特别适合用于建筑密集城市区域的三维建模工作中。

本发明属于一种可以快速辅助设计师随传统影像调研的一同完成的空地协同实景三维方法，并采用目标检测规避机制，精简了冗余的地面采样数量，实现有限成本与有限采样条件下的高精度、多细节的实景三维快速建模。同时，本发明方法可以直接部署在消费级入门摄影采集、计算建模产品中实现，显著降低了实景三维建模成本。

(二)技术方案

本发明提供了一种基于目标检测规避的空地协同实景三维建模优化方法，该方法包括如下步骤：

步骤S1：设定目标拍摄场景：确定拍摄采集窗口，拍摄采集窗口为空中和地面采集拍摄需共同满足的项目需求条件；

步骤S2：确定需要拍摄的目标区域，基于所述目标区域将拍摄采集任务划分为步骤S3的地面拍摄视角工作和步骤S4空中拍摄视角工作两部分；

步骤S3：地面拍摄视角工作：设定一套拍摄规则，以高效获取地面拍摄视角的建筑环境信息为目标，目的是补全在安全作业前提下无人机难以拍摄的密集障碍物区域和/或无人机拍摄死角，通过便携式移动拍摄设备中的图像处理软件将导致地面干扰的可活动目标尽可能检出，判断拍摄图像中可活动目标的数量，以筛选出达到拍摄基本条件要求的照片，随后执行步骤S5；

步骤S4：空中拍摄视角工作：设定一套拍摄规则，以高效获取空中拍摄视角的环境信息为目标，目的是补全在安全作业前提下地面难以拍摄的高空视角，以补全空地协同空三计算所需的空中地面数据，随后执行步骤S6；

步骤S5：将步骤S3中所有的带位置信息的地面拍摄数据输出保存；

步骤S6：将步骤S4中所有的带位置信息的空中拍摄数据输出保存；

步骤S7：整合步骤S5地面视角与步骤S6空中视角的拍摄数据，通过提取EXIF信息、POS信息和校正POS信息，将空中与地面拍摄视角的采集照片整合成为能同时满足同一空三运算的影像组，为空地协同空三运算提供统一数据基础；

步骤S8：将步骤S7中经过校正统一化后的空中与地面的所述影像组统一输入空中三角计算；

步骤S9：生成建筑的实景三维模型。

在另外一个方面，本发明还公开了一种基于目标检测规避的空地协同实景三维建模优化系统，包括：

至少一个处理器；以及

与所述处理器通信连接的至少一个存储器，其中：

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如上述任一项所述的基于目标检测规避的空地协同实景三维建模优化方法。

在另外一个方面，本发明还公开了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如上述任一项所述的基于目标检测规避的空地协同实景三维建模优化方法。

(三)有益效果

(1)首先，本发明的三维建模优化方法通过在实景三维建模的前期调研中，采用无人机和手机同时协同调研的方式，通过设定目标拍摄场景、确定目标拍摄区域、采集地面拍摄视角影像、采集天空视角影像、提取校正EXIF信息等步骤，实现空中和地面影像的统一空三计算及实景三维的快速和高精度建模。

(2)其次，本发明中还对时间区间、气候区间、空间区间等拍摄采集窗口进行了限定，从而使得空中拍摄视角和地面拍摄视角的照片能够在相同环境下进行拍摄，保证空地图像采集的背景光亮度等一致，以便于进行后续的图像融合工作。此外，在图像融合时，为了实现无人机照片、手机照片同时参与同一组空三建模计算，除了统一提取EXIF的图像信息外，还基于无人机和手机的位姿信息实现POS位置的校正提取，从而保障空中和地面的三维POS位置信息位于同一套坐标系(经纬度坐标和/或任意地理坐标)和同一套高度参照下，为空地协同空三运算提供统一数据基础，以便于提高后续三维建模的效率。

(3)另外，本发明的三维建模优化方法特别适合密集城市建筑的三维建模，能够使得地面手机等移动设备拍摄出的照片稀疏有效性提高，通过剔除出多余的存在干扰目标类照片，使得地面照片更好地与空中照片进行三维数据融合，从而在保证三维模型精度的情况下，大大减少不必要的数据处理和/或建模计算工作量。

附图说明

图1为本发明基于目标检测规避的空地协同实景三维建模优化方法的步骤流程图。

图2为本发明实施例中进行目标检测的地面采集提示样例图。

图3为本发明实施例中地面采集场景可检出活动目标的示意图，其中的(a)～(e)图分别为六个不同视角下有活动干扰目标的示意图。

图4为本发明实施例中使用基于目标检测规避的稀疏采样和密集采样的空三运算和建模效果对比图。

图5为本发明实施例中使用现有传统空中飞行的方法1建模的某小型建筑三维图。

图6为本发明实施例中使用基于密集采样-空地协同的方法2建模的某小型建筑三维图。

图7为本发明实施例中使用基于稀疏采样-空地协同的方法3建模的某小型建筑三维图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

随着城市更新进程的推进，传统测绘的以二维矢量测绘地图形式交付规划、建筑设计师的数据传递形式已不再适用。在仅表达二维线框的矢量地图格式中，传统测绘手段的空三解算的实景三维模型以测绘人员的描摹、标绘等方式转化为二维矢量地图，丢失了绝大部分实景影像信息，仅仅保留了空间关系信息，数据信息出现了大量的流失。而不同于新城建设项目，随着城市更新类项目的增长，设计师需要频繁地对比实景与更新设计的异同，实景影像信息在更新设计中需求巨大且增长迅速，但目前却鲜少得到妥善满足，其原因有三，一方面，高精度、大面积的空三测绘成本高昂，且需要专业人员团队操作，整体调研调动协作受限；二方面，对于设计师往往最为需求的重点人视角、建筑的重点部位，往往因为飞行障碍和/或飞行视野盲区等问题采集受限。而在此类建筑密集的城市更新区域，进行此类低空飞行采集存在相当的安全隐患。三方面，在参与一定拍摄训练，支付一定的学习训练成本后，地面测绘采集拍摄者还是难以精准在拍摄采集中反映更新设计诉求，仍存在一定的因专业、背景、视角不同导致的理解差异，目前仍采用采集过量冗余来覆盖此类差异。

基于此，参见图1所示，本发明具体提出了一种基于目标检测规避的空地协同实景三维建模优化方法，具体包括如下步骤：

步骤S1：设定目标拍摄场景：确定拍摄采集窗口，拍摄采集窗口为空中和地面采集拍摄需共同满足的项目需求条件，以同时满足空三采样的空地数据源要求为目标确定拍摄采集窗口。

具体的，步骤S1中包括：所述拍摄采集窗口包括拍摄的时间区间、气候区间和空间区间，其中各个区间的定义如下：

时间区间：确定空地协同的共同工作时间条件，保障日照角度等拍摄条件受控；

气候区间：确定空地协同的共同工作气候条件，保障拍摄光照强度、能见度等拍摄条件受控；

空间区间：确定空地协同的共同工作空间范围条件，保障经纬度，高度限制等拍摄条件受控。

步骤S2：确定需要拍摄的目标区域，基于目标区域将拍摄采集任务划分为步骤S3的地面拍摄视角工作和步骤S4空中拍摄视角工作两部分。

具体的，步骤S2中包括：目标区域是在空间区间的基础上结合项目需求将空间区间扩大至无人机和手机可安全拍摄采集的可工作区域。此外，步骤S3的地面拍摄视角工作和步骤S4空中拍摄视角工作既可以同时执行，也可在满足时间区间、气候区间、空间区间的条件下分立执行。

步骤S3：地面拍摄视角工作：设定一套拍摄规则，以高效获取地面拍摄视角的建筑环境信息为目标，目的是补全在安全作业前提下无人机难以拍摄的密集障碍物区域和/或无人机拍摄死角，通过便携式移动拍摄设备中的图像处理软件将导致地面干扰的可活动目标尽可能检出，判断拍摄图像中可活动目标的数量，以筛选出达到拍摄基本条件要求的照片，随后执行步骤S5。

在上述步骤S3中，考虑到现有技术中的地面的拍摄受到大量的地面活动目标(如：行人、车辆、自行车、雨伞等)的限制，视野中关于环境场景的有效信息十分有限，这导致拍摄出的场景虽然能在实景三维建设时增加建模的细节，但是同时也需要大量的地面冗余视角采样来保障空地协同计算的模型质量。过量冗余视角的地面采样，进一步将数据量大、计算复杂、模型过大等问题放大。对此，基于手机等便携式移动拍摄设备中拍摄规则的设定是为了实现地面照片的高效率采集，补全空地协同空三计算所需的地面数据，同时限制数据规模，避免干扰目标数据过多挤占空三运算资源。

具体的，步骤S3还包括：

S31：确定地面基本拍摄视角：确定需要拍摄的地面视角的主体拍摄对象和不需要拍摄采集的干扰对象，并确定拍摄视角、拍摄高度和拍摄焦距。

其中，步骤S31是为了确定好拍摄条件要求，主体拍摄对象包括如建筑、牌匾、店招、屋檐等，不需要拍摄采集的干扰对象包括可活动的行人、汽车、雨伞等可活动目标，具体可以根据项目和现场情况来确定，此外，便携式移动拍摄设备也优选为手机。

S32：便携式移动拍摄设备通过目标检测方法识别场景中的可活动目标：便携式移动拍摄设备基于YOLO(You Only Look Once)目标检测算法，调用经训练的模型和权重文件，构造目标检测函数(ObjectDetection())，经过YOLO的推论抽样特征的检测主干(Backbone)、用于扩宽感受野的层级颈部(Neck)和用于多尺度输出的预测头部(Head)等部分的计算，将原始场景目标中的可活动目标按类型分类检出。

值得一提的是，本发明优先选用的YOLO目标检测算法，因其具备模型体积小、运算速度快的优点，可以直接部署在包括但不限于的手机、相机等地面常用的便携式移动拍摄设备上。目前最为便携的部署方式为在手机APP部署YOLO目标检测算法，因其识别调用的图形计算模块(CPU和/或GPU单元)、获取位置信息模块(GPS和/或北斗)与拍照模块(摄像头)均可同时在在手机终端直接调用，无需外接位置获取装置POS和/或RTK模块，同时也无需外接用于目标检测的分布式计算装置(图形计算单元)等。此外，目标检测算法基于包括但不限于YOLO、SSD、R-CNN等目标检测算法，也可以是其他的数据轻量级目标检测算法。

S33：通过YOLO目标检测算法识别出可活动目标，并对各类的可活动目标类型进行标记(标记class_id，该值对应活动目标的类别)，计算可活动目标的位置范围参数(x,y,w,h)与中心点参数(x+w/2，y+h/2)。

(x,y,w,h)表示识别框的位置和大小参数。首先，(x,y)是识别框左上角点相对于拍摄图片左上角点(0,0)的坐标偏移量(x为向右偏移量，y为向下偏移量，单位为像素)；其次，w和h是识别框的宽与高(以识别框左上角点(x,y)为起始点，w为起始点向右偏移宽度量，h为起始点向下偏移高度量，单位为像素)；再次，点(x+w，y+h)即定义了识别框的右下角点(单位为像素)。最后，根据定义的识别框左上角点(x,y)和识别框右下角点(x+w，y+h)，即可绘制标识活动目标的识别框。

此外，步骤S33中还包括步骤S331:对未检测出可活动目标的静态环境场景不做处理，直接将拍摄图像输出为拍摄图像采样数据，以作为空三解算中有效地面环境信息的数据源。

其中，静态环境场景包括作为主体拍摄对象的建筑、树木、牌匾等。

S34：对步骤S33标记的可活动目标类型(class_id)，基于可活动目标中心点参数(x+w/2，y+h/2)绘制目标中心点，通过叠加中心点绘制目标识别框，所述识别框由左上角点坐标参数(x,y)和右下角点坐标参数(x+w,y+h)共同确定，识别框作为辅助拍摄者规避环境场景中的可活动目标和判断采集照片拍摄质量的依据。

S35：通过叠加的识别框作为判别工具，便携式移动拍摄设备的拍摄者可快速识别并理解环境场景，辅助拍摄者判断场景中干扰的可活动目标的数量能否达到步骤S31的拍摄条件要求(因为有些场景无法完全规避图像中出现可活动目标，故可自由设置可活动目标的数量上限，以保证可活动目标的数量在设定的阈值以下)，若是，则执行下一步骤S36；若否，则表示拍摄图像中的干扰对象过多，不能达到步骤S31的拍摄条件要求，则需返回步骤S31更换拍摄场景和/或视角(对应图1中步骤S351)。

S36：地面拍摄达到拍摄条件要求时，通过便携式移动拍摄设备拍摄图像。

S37：拍摄者判断地面的拍摄采集是否全部结束，如是，则跳转到步骤S5，若否，表示如果地面拍摄未全部结束，则在完成本拍摄场景和/或视角后，返回步骤S31更换下一场景视角(对应图1中步骤S371)。

需要指出的是，以上的步骤S31-S37为地面图像的稀疏采样方法，从而通过目标检测的规避来降低拍摄的技术门槛，更好地显示建筑细节，并降低了拍摄采集的学习培训成本。此外，在通过在手机上的APP实现以上步骤S31-S37拍摄规则时，且因为APP应用上已经通过软件限定了拍摄规则和要求，故为了减少拍摄人员不必要的交通往返，还可优选通过众包软件的方式来完成地面拍摄视角的工作，即将APP软件作为开放的众包软件，普通用户通过手机下载注册APP众包软件即可进行满足上述规则的拍摄工作并获得报酬，从而更快更好的完成密集建筑群的地面图像采集。

步骤S4：空中拍摄视角工作：设定一套拍摄规则，以高效获取空中拍摄视角的环境信息为目标，目的是补全在安全作业前提下地面难以拍摄的高空视角，以补全空地协同空三计算所需的空中地面数据，随后执行步骤S6。此外，所述无人机可以替换为其它的便携空中拍摄设备。

具体的，步骤S4还包括：

S41：确定空中地面基本拍摄视角：确定需要拍摄的地面视角的主体拍摄对象(如建筑、场地、植被等)；同时确定拍摄的镜头云台视角(Pitch、Yaw、Roll degree)、拍摄高度和拍摄焦距。

S42：规划空中无人机飞行航线，结合项目拍摄需求，按照“五向飞行”、“井字飞行”、“之字飞行”和/或“环绕飞行”等方式规划无人机空中的飞行航线与云台拍摄角度。

S43：到达目标航点，满足空中拍摄要求时进行无人机拍摄。

S44：根据预设航线判断空中的拍摄采集是否全部结束，如是，则跳转到步骤S6；若否，表示空中拍摄未全部结束，则在完成本航点拍摄后，跳转到步骤S42并继续飞往下一航点拍摄(对应图1中的步骤S441)。

步骤S5：将步骤S3中所有的带位置信息的地面拍摄数据输出保存。需要指出的是，地面拍摄采集时，无论是使用先精简检测再拍摄的采集方式，还是使用先密集拍摄再检测筛选精简照片，在原理上均一致，在此方面所受到的保护应是均等的。

步骤S6：将步骤S4中所有的带位置信息的空中拍摄数据输出保存。

步骤S7：整合步骤S5地面视角与步骤S6空中视角的拍摄数据，通过提取EXIF信息、POS信息和校正POS信息，将空中与地面拍摄视角的采集照片整合成为能同时满足同一空三运算的影像组，为空地协同空三运算提供统一数据基础。

具体的，步骤S7还包括：

S71:提取地面照片的EXIF信息，包含位置信息POS(经纬度、高度)、拍摄镜头型号、镜头焦距等相机参数。

此外，步骤S71中还包括步骤S711:提取空中照片的EXIF信息，包含位置信息POS(经纬度、高度)、云台拍摄角度(Pitch、Yaw、Roll degree)、拍摄镜头型号、镜头焦距等相机参数。

S72：将地面照片的POS位置信息自EXIF信息中提取出，读取地面照片的POS信息的经纬度(lon、lat)、高度(Height)，并按照项目需求进行校正，以保障地面和空中的POS位置信息位于同一套坐标系下(经纬度坐标和/或任意地理坐标)与同一套高度参照下(相对于绝对海拔0.000m和/或相对于地面0.000m的相对高度)。

此外，步骤S72中还包括步骤S721:将空中照片的POS位置信息自EXIF信息中提取出，读取空中地面照片的POS信息的经纬度(lon、lat)、高度(Height)，并按照项目需求进行校正，以保障空中和地面的POS位置信息位于同一套坐标系下(经纬度坐标和/或任意地理坐标)与同一套高度参照下(相对于绝对海拔0.000m和/或相对于地面0.000m的相对高度)。

步骤S8：将步骤S7中经过校正统一化后的空中与地面的影像组统一输入空中三角计算。

步骤S9：生成建筑的实景三维模型。

值得一提的是，本发明的三维建模的建筑优选为密集型建筑，当然，该方法也可以对其他类型建筑进行三维建模。

综上可知，为了解决针对密集型建筑三维建模的问题，本发明通过在实景三维建模的前期调研中，采用无人机和手机同时协同调研的方式，通过设定统一的目标拍摄场景、确定目标拍摄区域、采集地面拍摄视角影像、采集天空视角影像、提取校正EXIF信息等步骤，实现统一空三计算及实景三维建模；并利用目标检测算法辅助地面采集拍摄者规避无效地面活动目标，精简地面采集拍摄采样点的冗余数量，同时减轻前期外业调研的工作量与后期空三计算的计算量。

此外，基于步骤S1-S9可知，本发明的方法可实现空中、地面照片深度融合，统一至同一空中三角测量，降低后期修补模型的人工工作量与工作难度，并能实现空中、地面照片的深度融合，最大程度利用各个角度的图片特征点信息降低测量误差。针对悬挑、屋檐、骑楼等特殊建筑形式，该方法有着较好的优化效果，可实现檐下、悬挑等空间特征明确，构造清晰，模型局部细节效果得到明显改善。针对建筑密集的城市更新区域，手机地面拍摄配合无人拍摄成本低廉，调研采样方便，且地面调研与空中调研的安全性均得到提升(拍摄者不必拿着手机爬到高处以规避高处跌落风险、无人机不必飞到低处以规避撞楼撞树风险)。另外，还降低地面拍摄采集人员的采集技术难度与采集成本，辅助地面采集高效进行，降低地面采集工作的技术难度与培训时长，同时提升采集效率，减少无效、低效的冗余采集工作。在保障实景三维模型数据质量与细节的同时，降低整体空三建模的运算负载，减小了生成实景三维模型的数据体积和计算量。

为说明本发明方法的有益效果，下面还结合基于图2-图7的实物图组和实施例对本发明步骤S1-S9的三维建模优化方法及其优点进行详细的描述：

实施例：以某小型建筑的空地协同三维建模为例。

(1)采集优化：在步骤S3进行地面采集工作时，通过手机中部署的YOLO目标识别算法，实时提示(图2中蓝框与红点)地面采集拍摄者当前场景中可活动的干扰目标对象存在与否，是否适合地面采集拍摄等，具有可活动目标干扰的情况可参见图3，图3中(a)-(f)图六个视角的实物场景图在手机中都自动识别标记为有干扰的地面照片。

(2)效率提升：针对单一地面采样，对比是否采用本法稀疏采样(即删除存在可活动目标和/或高于设定可活动目标干扰数量阈值的地面照片)，对此发明人发现：地面采样由16张缩减为10张后，地面采样和地面图像计算工作量缩减了37.5％，并且在单一地面采样的实景建模中，稀疏采样后的单一地面建模效果几乎不受影响，具体参见图4的建模效果对比图。

(3)测试对比：对比传统空中飞行(方法1)、采用本发明的密集采样-空地协同(方法2，即未剔除不满足步骤S31要求的照片)、采用本发明的稀疏采样-空地协同(方法3，即已剔除不满足步骤S31要求的照片)。对比测试上述3种方法的性能与结果，其基本测试环境如下：

硬件环境：CPU：Intel i9-10900k+GPU:Nvidia 2080ti+RAM:32G；软件环境：操作系统：Windows10-22H2+建模软件：Context Capture Master v4.4.5.33。

测试运算效率对比与建模效果参见如下的表1。

表1三种使用目标检测规避的稀疏采样及其建模效果对比表

以上方法1-方法3对应的三维建模效果可以具体参见图5-7，基于以上结果，可以得知：方法1作为传统方法目前建模效果一般，对于无法开展地面拍摄采集的区域有较佳的效果，同时，其空三计算与生产建模较为耗时；未使用本发明步骤S3的方法2是所有方法中建模效果最好的，但是其相应的地面采集工作量、运算建模量、生成模型文件的大小也大幅增加，其空三计算与生产建模耗时相较其他两种方法均是耗时最长的，针对需要精细建模且可自由开展地面采集的非密集型建筑区域有较好效果；而使用了本发明步骤S1-S9的方法3则是兼顾了工作量增长、模型效果与建模效率的一种方法，该方法可以在增加有限建模工作量的情况下，使用YOLO算法进行目标检测规避来完成稀疏的建筑图像采样，从而有效提升建筑、牌匾、植被等固定环境部分的建模质量，并实现运算效率的提升和模型文件大小的缩减，以节省系统资源，提升实景三维建模后期运算的效率，其空三计算与生产建模耗时得到了有效控制。保证了檐下、屋檐、骑楼等特殊建筑悬挑空间的测量细节、精度和辨识度。

值得一提的是，上述本发明的三维建模方法可以转换为软件程序指令，既可以使用包括处理器和存储器的软件分析系统来运行实现，或者也可以通过非暂态计算机可读存储介质中存储的计算机指令来实现。

最后，本发明的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于目标检测规避的空地协同实景三维建模优化方法，其特征在于，该方法包括如下步骤：

步骤S1：设定目标拍摄场景：确定拍摄采集窗口，拍摄采集窗口为空中和地面采集拍摄需共同满足的项目需求条件；

步骤S2：确定需要拍摄的目标区域，基于所述目标区域将拍摄采集任务划分为步骤S3的地面拍摄视角工作和步骤S4空中拍摄视角工作两部分；

步骤S3：地面拍摄视角工作：设定一套拍摄规则，以高效获取地面拍摄视角的建筑环境信息为目标，目的是补全在安全作业前提下空中难以拍摄的密集障碍物区域和/或空中拍摄死角，通过便携式移动拍摄设备中的图像处理软件将导致地面干扰的可活动目标尽可能检出，判断拍摄图像中可活动目标的数量，以筛选出达到拍摄基本条件要求的照片，随后执行步骤S5；

步骤S4：空中拍摄视角工作：设定一套拍摄规则，以高效获取空中拍摄视角的环境信息为目标，目的是补全在安全作业前提下地面难以拍摄的高空视角，以补全空地协同空三计算所需的空中地面数据，随后执行步骤S6；

步骤S5：将步骤S3中所有的带位置信息的地面拍摄数据输出保存；

步骤S6：将步骤S4中所有的带位置信息的空中拍摄数据输出保存；

步骤S7：整合步骤S5地面视角与步骤S6空中视角的拍摄数据，通过提取EXIF信息、POS信息和校正POS信息，将空中与地面拍摄视角的采集照片整合成为能同时满足同一空三运算的影像组，为空地协同空三运算提供统一数据基础；

步骤S8：将步骤S7中经过校正统一化后的空中与地面的所述影像组统一输入空中三角计算；

步骤S9：生成建筑的实景三维模型。

2.根据权利要求1所述的基于目标检测规避的空地协同实景三维建模优化方法，其特征在于，步骤S3还包括：

步骤S31：确定地面基本拍摄视角：确定需要拍摄的地面视角的主体拍摄对象和不需要拍摄采集的干扰对象，并确定拍摄视角、拍摄高度和拍摄焦距；

步骤S32：便携式移动拍摄设备通过目标检测方法识别场景中的可活动目标：便携式移动拍摄设备基于YOLO目标检测算法，调用经训练的模型和权重文件，构造目标检测函数，经过YOLO的推论抽样特征的检测主干、用于扩宽感受野的层级颈部和用于多尺度输出的预测头部的计算，将原始场景目标中的可活动目标按类型分类检出；

步骤S33：通过所述YOLO目标检测算法识别出可活动目标，并对各类的可活动目标类型进行标记，计算可活动目标的位置范围参数(x,y,w,h)与中心点参数(x+w/2，y+h/2)；

步骤S34：对步骤S33标记的可活动目标类型，基于可活动目标中心点参数(x+w/2，y+h/2)绘制目标中心点，通过叠加中心点绘制目标识别框，所述识别框由左上角点坐标参数(x,y)和右下角点坐标参数(x+w,y+h)共同确定，所述识别框作为辅助拍摄者规避环境场景中的可活动目标和判断采集照片拍摄质量的依据；

步骤S35：通过叠加的所述识别框作为判别工具，所述便携式移动拍摄设备的拍摄者可快速识别并理解环境场景，辅助拍摄者判断场景中干扰的可活动目标的数量能否达到步骤S31的拍摄条件要求，若是，则执行下一步骤S36；若否，则表示不能达到步骤S31的拍摄条件要求，则需返回步骤S31更换拍摄场景和/或视角；

步骤S36：地面拍摄达到所述拍摄条件要求时，通过所述便携式移动拍摄设备拍摄图像；

步骤S37：拍摄者判断地面的拍摄采集是否全部结束，如是，则跳转到步骤S5，若否，则在完成本拍摄场景和/或视角后，返回步骤S31更换下一场景视角。

3.根据权利要求2所述的基于目标检测规避的空地协同实景三维建模优化方法，其特征在于，所述建筑为密集型建筑，所述便携式移动拍摄设备为手机，所述手机中的APP应用用于执行所述步骤S31-步骤S37，所述无人机替换为其它全景空中拍摄设备，所述YOLO目标检测算法替换为其它数据轻量级的目标检测算法。

4.根据权利要求3所述的基于目标检测规避的空地协同实景三维建模优化方法，其特征在于，所述手机中APP应用为众包类软件。

5.根据权利要求4所述的基于目标检测规避的空地协同实景三维建模优化方法，其特征在于，所述步骤S33中还包括步骤S331:对未检测出可活动目标的静态环境场景不做处理，直接将拍摄图像输出为拍摄图像采样数据，以原始影像数据作为空三解算中有效地面环境信息的数据源。

6.根据权利要求5所述的基于目标检测规避的空地协同实景三维建模优化方法，其特征在于，步骤S31中的所述主体拍摄对象包括建筑、牌匾、店招和/或屋檐，不需要拍摄采集的干扰对象包括可活动的行人、汽车和/或雨伞。

7.根据权利要求1所述的基于目标检测规避的空地协同实景三维建模优化方法，其特征在于，所述步骤S1中包括：拍摄采集窗口包括拍摄的时间区间、气候区间和空间区间：

时间区间：确定空地协同的共同工作时间条件，保障日照角度拍摄条件受控；

气候区间：确定空地协同的共同工作气候条件，保障拍摄光照强度和能见度拍摄条件受控；

空间区间：确定空地协同的共同工作空间范围条件，保障经纬度和高度限制拍摄条件受控。

8.根据权利要求1所述的基于目标检测规避的空地协同实景三维建模优化方法，其特征在于，所述步骤S4还包括：

步骤S41：确定空中地面基本拍摄视角：确定需要拍摄的地面视角的主体拍摄对象；同时确定拍摄的镜头云台视角、拍摄高度和拍摄焦距；

步骤S42：规划空中无人机飞行航线，结合项目拍摄需求，按照“五向飞行”、“井字飞行”、“之字飞行”和/或“环绕飞行”方式规划无人机空中的飞行航线与云台拍摄角度；

步骤S43：到达目标航点，满足空中拍摄要求时进行无人机拍摄；

步骤S44：根据预设航线判断空中的拍摄采集是否全部结束，如是，则跳转到步骤S6；若否，表示空中拍摄未全部结束，则在完成本航点拍摄后，跳转到步骤S42并继续飞往下一航点拍摄。

9.根据权利要求1所述的基于目标检测规避的空地协同实景三维建模优化方法，其特征在于，所述步骤S7还包括：

步骤S71:提取地面照片的EXIF信息，包含位置信息POS、拍摄镜头型号和镜头焦距相机参数；

步骤S72：将地面照片的POS位置信息自EXIF信息中提取出，读取地面照片的POS信息的经纬度和高度，并按照项目需求进行校正，以保障地面和空中的POS位置信息位于同一套坐标系下与同一套高度参照下。

10.根据权利要求9所述的基于目标检测规避的空地协同实景三维建模优化方法，其特征在于，所述步骤S7还包括：

步骤S711:提取空中照片的EXIF信息，包含位置信息POS、云台拍摄角度、拍摄镜头型号和镜头焦距相机参数；

步骤S721:将空中照片的POS位置信息自EXIF信息中提取出，读取空中地面照片的POS信息的经纬度和高度，并按照项目需求进行校正，以保障空中和地面的POS位置信息位于同一套坐标系下与同一套高度参照下。

Images