CN114092651A - 用于应急管理的智能建模系统及方法 - Google Patents

Abstract

本发明公开了一种用于应急管理的智能建模系统及方法，系统包括无人机与智能建模单元。其中无人机用于采集建模区域的图像数据，所述图像数据被压缩后传输至智能建模单元。智能建模单元用于通过图像数据生成三维模型。本发明通过多个环节改良提高三维建模的速度，在应急救援的事件发生时可更快的生成救援区域的三维模型，从而为应急救援争取时间，更有利于在三维模型上实现定位及目标统计的后续操作，为应急管理快速辅助决策提供必要的支撑。

Description

用于应急管理的智能建模系统及方法

技术领域

本发明涉及应急救援的技术领域，更具体的说，本发明主要涉及一种用于应急管理的智能建模系统及方法。

背景技术

传统无人机影像三维建模主要应用于测绘等领域，重点强调建模的精度，在数据获取、数据处理等方面有较严格的规范要求。整个建模过程通常花费几个小时甚至于几十个小时，因此传统无人机影像三维建模在多个流程上需要花费较多的时间，具体表现在数据采集阶段与在建模阶段，场景构建速度慢，图像匹配精度高但速度慢。在生成稠密点云时生成的点云数据量大，同时冗余量也大。因此面向测绘应用的三维建模处理手段无法满足在应急救援中对建模速度的快速要求。在应急救援等场景中，建模的速度成为了主要关注的指标，而建模精度的要求则放在了第二位。因此发展面向应急管理的快速建模方法和流程成为了一种迫切需要，有必要针对该快速建模方法进行研究和改进。

发明内容

本发明的目的之一在于针对上述不足，提供一种用于应急管理的智能建模系统及方法，以期望解决现有技术测绘应用的三维建模方式以精度为目的导致建模速度较慢，不适于在应急救援的领域中应用等技术问题。

为解决上述的技术问题，本发明采用以下技术方案。

本发明第一方面提供一种用于应急管理的智能建模系统，系统包括无人机与智能建模单元。其中无人机用于采集建模区域的图像数据，所述图像数据被压缩后传输至智能建模单元。

其中智能建模单元用于通过图像数据构建场景图，然后提取每张图像上的特征点完成图像匹配，所述特征点为每张图像上的特征点按尺度由大到小排列后，排列靠前的部分特征点；前述智能建模单元用于通过空三优化算法确定每张图像拍摄时的位置和姿态信息；前述智能建模单元用于通过立体像对匹配算法由每张图像拍摄时的位置和姿态信息，生成稠密点云；前述稠密点云生成时通过预设的图像降采样系数对每张图像进行降采样，且指定多个点云采样密度等级，且仅在高密度等级时才对图像进行全像素深度图生成；前述智能建模单元还用于根据已生成的稠密点云，生成三角网模型；然后将所述三角网模型与图像数据进行纹理映射，生成接近于所述建模区域实时图像的三维模型。

作为优选，进一步的技术方案是：所述特征点为每张图像上的特征点按尺度由大到小排列后的前2000-4000个；所述智能建模单元基于图像数据获取时的经纬度，选取每张图像距离最近的图像集作为邻近图像，从而快速构建场景图；所述图像降采样系数默认为2。

更进一步的技术方案是：所述无人机采集建模区域的图像数据的同时，在机载端对图像数据进行压缩处理，然后通过无线网络将压缩后的图像数据实时分批次传输至智能建模单元；与前述并列的另一种方式是无人机采集建模区域的图像数据完成后，再对图像数据进行统一压缩处理，然后一并传输至智能建模单元。

更进一步的技术方案是：所述点云采样密度等级包括高密度等级、中密度等级与低密度等级；在中密度等级时对图像水平方向和垂直方向上，每隔一个像素进行深度图生成；在低密度等级时对图像水平方向和垂直方向上，每隔两个像素进行深度图生成。

更进一步的技术方案是：所述智能建模单元根据已生成的稠密点云，通过Delaunay四面体剖分算法和图割方法生成三角网模型。

本发明第二方面提供了一种用于应急管理的智能建模方法，该方法包括如下步骤。

采集建模区域的图像数据，并将图像数据进行压缩。

通过压缩后的图像数据构建场景图，然后提取每张图像上的特征点完成图像匹配，所述特征点为每张图像上的特征点按尺度由大到小排列后，排列靠前的部分特征点。

通过空三优化算法确定每张图像拍摄时的位置和姿态信息。

通过立体像对匹配算法由每张图像拍摄时的位置和姿态信息，生成稠密点云；所述稠密点云生成时通过预设的图像降采样系数对每张图像进行降采样，且指定多个点云采样密度等级，且仅在高密度等级时才对图像进行全像素深度图生成。

根据已生成的稠密点云，生成三角网模型；然后将所述三角网模型与图像数据进行纹理映射，生成接近于所述建模区域实时图像的三维模型。

更进一步的技术方案是：所述特征点为每张图像上特征点按尺度由大到小排列后的前2000-4000个；所述智能建模单元基于图像数据获取时的经纬度，选取每张图像距离最近的图像集作为邻近图像，从而快速构建场景图；所述图像降采样系数默认为2。

更进一步的技术方案是：所述点云采样密度等级包括高密度等级、中密度等级与低密度等级；在中密度等级时对图像水平方向和垂直方向上，每隔一个像素进行深度图生成；在低密度等级时对图像水平方向和垂直方向上，每隔两个像素进行深度图生成。

更进一步的技术方案是：通过无人机采集建模区域的图像数据，且无人机采集建模区域的图像数据的同时，在机载端对图像数据进行压缩处理，然后通过无线网络将压缩后的图像数据实时分批次传输至智能建模单元。或者无人机采集建模区域的图像数据完成后，再对图像数据进行统一压缩处理，然后一并传输至智能建模单元。

本发明第三方面提供了一种计算机可读的存储介质，所述计算机可读的存储介质中存储有指令，当计算机执行所述指令时，使得计算机执行上述的方法。

与现有技术相比，本发明通过多个环节改良提高三维建模的速度，在应急救援的事件发生时可更快的生成救援区域的三维模型，从而为应急救援争取时间，更有利于在三维模型上实现定位及目标统计的后续操作，为应急管理快速辅助决策提供必要的支撑。

附图说明

图1为用于说明本发明一个实施例的系统示意框图。

图2为用于说明本发明一个实施例中的无人机图像数据数据采集流程图。

图3为用于说明本发明一个实施例的方法流程图。

图4为用于说明本发明一个实施例中的稠密点云流程图。

图5为用于说明本发明一个实施例的智能建模单元结构示意图。

具体实施方式

下面结合附图对本发明作进一步阐述。

参考图1所示，本发明的一个实施例是一种用于应急管理的智能建模系统，该系统从抽象上理解包括两个部分，具体为图像采集端与图像处理与三维模型生成端，在本实施例中，图像采集采用无人机，图像处理与三维模型生成端采用在计算机上运行的智能建模单元，该智能建模单元可通过压缩后的图像数据，生成与实时图像相同或接近的三维模型，利用该三维模型即可为应急管理决策提供支撑，基于前述的系统功能，在系统中的设计为：

通过无人机在目标区域飞行，从而采集无人机影像，即采集建模区域当前的图像数据。在无人机进行图像数据采集前，首先需按照本发明的目的进行飞行参数设置，优选的参数设计为通过设置较低的无人机航向重叠度为60%，旁向重叠度30%，这样可以大大减少获取的图像数据，缩短无人机作业时间，并可提升建模速度。

结合图2所示，优选的技术方案是，在本实施例中提供了两种对采集建模区域当前图像的采集方式，其中一种为无人机采集建模区域的图像数据完成后，再对图像进行统一压缩处理，然后一并传输至智能建模单元，压缩可使用相应的计算机端图像压缩软件完成，压缩完成后再传输至智能建模单元。通过图像数据压缩可减少数据大小，缩短后期的建模时间。另一种为无人机采集建模区域的图像数据的同时，在机载端对图像数据进行压缩处理，然后通过5G等高速传输的无线网络将压缩后的图像数据实时分批次传输至智能建模单元，这样的操作需要高速传输的无线网络支持，采用此种数据传输与压缩的方式，可以节约后期统一压缩图像数据的时间，进一步缩短后期的建模时间。

将上述被压缩后的图像数据传输至智能建模单元。

智能建模单元，用于通过图像数据生成三维模型，为应急管理决策提供支撑。具体为在智能建模单元中，其首先通过图像数据构建场景图。在构建场景图时，基于图像获取时的空间位置，主要指经纬度，根据空间近邻原则，选取与每张图像最近的一定数量（例如50张）图像作为其邻近图像，从而快速构建场景图。

再使用SIFT（尺度不变特征转换Scale-invariant feature transform）或类似的算法提取每张图像上的特征点，用来完成图像匹配，特征点为每张图像上的特征点按尺度由大到小排列后，排列靠前的部分特征点。即仅保留尺度最大的一定数量（例如2000-4000个）的特征点，而不是使用全部的特征点来进行特征点匹配，这样可以大大减少匹配时间。

然后通过空三优化算法确定每张图像拍摄时的位置和姿态信息；前述空三优化算法为图像处理中常用的算法，其为根据匹配好的特征点，寻找最优的相机位置和姿态信息以及特征点的三维坐标，从而最小化三维点的重投影误差的平方和。

再然后通过立体像对匹配算法由每张图像拍摄时的位置和姿态信息，生成稠密点云；稠密点云生成是通过预设的图像降采样系数对每张图像进行降采样，且指定多个点云采样密度等级，且仅在高密度等级时才对图像进行全像素深度图生成；可选的，前述的图像降采样系数一般默认为2。立体像对匹配算法也是图像处理中常用的算法，其可根据每张图像与相邻图像的位置关系，确定每个像素与相邻图像上的同名像素，然后使用前方交会算法确定相应像素的位置，进而得到稠密点云。

可选的，点云采样密度等级包括高密度等级、中密度等级与低密度等级；除了高密度等级时才对图像进行全像素深度图生成外，其他均采用间隔像素进行深度图生成，即在中密度等级时对图像水平方向和垂直方向上，每隔一个像素进行深度图生成；在低密度等级时对图像水平方向和垂直方向上，每隔两个像素进行深度图生成。通过指定降采样系数和点云采样密度，可以大大减少稠密点云生成数量和生成时间，也为后续的三维模型生成节约了时间。

最后根据已生成的稠密点云，生成三角网模型；然后将所述三角网模型与图像数据进行纹理映射，生成接近于建模区域实时图像的三维模型。

可选的，上述三角网模型是通过Delaunay四面体剖分算法和图割方法基于已生成的稠密点云生成的，具体为首先基于生成的稠密点云，生成Delaunay四面体空间剖分，构建全局优化图，图的节点由空间剖分中的四面体构建成，图的边为相邻四面体的三角面，然后确定每个点到其所见相机的连线相交的Delaunay四面体剖分中的三角面，累加权重值1到全局优化图中相应的边，得到可见线约束的全局优化图，最后使用最大流最小割算法对全局优化图进行分割，确定每个四面体与模型表面的内外关系，提取位于表面内外的相邻的四面体的共享三角面构成最终的三角网模型。然后选择与每个三角面最近的可见相机作为其关联相机，然后把同一关联相机的空间上相连通的三角面分成同一组，获取其在关联相机上拍摄的图像块，最后把所有的图像块按照打包算法组合成一张纹理图，实现三角网络的纹理映射，得到上述与建模区域实时图像相同或接近的三维模型。

在本发明上述的实施例中，在无人机进行图像数据采集的环节，通过设置较低的无人机航线和旁向重叠度，可以减少无人机影像数量和作业时间，提升三维建模速度。且无人机支持图像数据实时回传，可将图像数据实时分批次的回传至智能建模单元进行快速三维建模，减少了无人机影像的数据传输时间，缩短整个建模过程的时间，同时对图像数据压缩处理，可以有效减少无人机影像大小，提升三维建模速度。在三维建模的环节，基于图像自带的经纬度信息，可以避免耗时相对较长的传统的基于词汇树的场景图构建，快速高效地构建场景图，为后续的图像特征点匹配以及空三计算减少计算量。并且图像降采样系数和点云采样密度的设定可以有效减少稠密点云生成的计算量，减少稠密点云生成时间，并为后续的三角网模型生成提升速度。

参考图3所示，本发明的另一个实施例是一种用于应急管理的智能建模方法，该方法包括如下步骤。

步骤S1、采集建模区域的图像数据；图像数据采集采用无人机在空中拍摄采集。

步骤S2、将图像数据进行压缩。

可选的，在步骤S1与步骤S2中，采用两种图像采集的方式，其中一种为无人机采集建模区域的图像数据完成后，再对图像数据进行统一压缩处理，然后一并传输至智能建模单元，压缩可使用相应的计算机端图像压缩软件完成，压缩完成后再传输至智能建模单元。通过图像数据压缩可减少数据大小，缩短后期的建模时间。另一种为无人机采集建模区域的图像数据的同时，在机载端对图像数据进行压缩处理，然后通过5G等高速传输的无线网络将压缩后的图像数据实时分批次的传输至智能建模单元，利用高速传输的无线网络支持，可以节约后期统一压缩图像数据的时间，进一步缩短后期的建模时间。

步骤S3、通过压缩后的图像数据构建场景图；在构建场景图时，基于图像获取时的空间位置（经纬度），根据空间近邻原则，选取与每张图像最近的一定数量（例如50张）图像作为其邻近图像，从而快速构建场景图。

步骤S4、使用SIFT或类似的算法提取每张图像上的特征点，用来完成图像匹配，特征点为每张图像上的特征点按尺度由大到小排列后，排列靠前的部分特征点。可选的，即仅保留尺度最大的一定数量（例如2000-4000个）的特征点，而不是使用全部的特征点来进行特征点匹配，这样可以大大减少匹配时间。

步骤S5、通过空三优化算法确定每张图像拍摄时的位置和姿态信息；空三优化算法为图像处理中常用的算法，其为根据匹配好的特征点，寻找最优的相机位置和姿态信息以及特征点的三维坐标，从而最小化三维点的重投影误差的平方和。

步骤S6、通过立体像对匹配算法由每张图像拍摄时的位置和姿态信息，生成稠密点云；结合图4所示，稠密点云生成是通过预设的图像降采样系数对每张图像进行降采样，且指定多个点云采样密度等级，且仅在高密度等级时才对图像进行全像素深度图生成；前述的图像降采样系数一般默认为2。前述立体像对匹配算法也是图像处理中常用的算法，其可根据每张图像与相邻图像的位置关系，确定每个像素与相邻图像上的同名像素，然后使用前方交会算法确定相应像素的位置，进而得到稠密点云。

可选的是，上述点云采样密度等级包括高密度等级、中密度等级与低密度等级；除了高密度等级时才对图像进行全像素深度图生成外，其他均采用间隔像素进行深度图生成，即在中密度等级时对图像水平方向和垂直方向上，每隔一个像素进行深度图生成；在低密度等级时对图像水平方向和垂直方向上，每隔两个像素进行深度图生成。通过指定降采样系数和点云采样密度，可以大大减少稠密点云生成数量和生成时间，也为后续的三维模型生成节约了时间。

步骤S7、根据已生成的稠密点云，生成三角网模型；然后将所述三角网模型与图像数据进行纹理映射，生成接近于所述建模区域实时图像的三维模型。其中三角网模型是通过Delaunay四面体剖分算法和图割方法基于已生成的稠密点云生成的。

优选的是，首先基于生成的稠密点云，生成Delaunay四面体空间剖分，构建全局优化图，图的节点由空间剖分中的四面体构建成，图的边为相邻四面体的三角面，然后确定每个点到其所见相机的连线相交的Delaunay四面体剖分中的三角面，累加权重值1到全局优化图中相应的边，得到可见线约束的全局优化图，最后使用最大流最小割算法对全局优化图进行分割，确定每个四面体与模型表面的内外关系，提取位于表面内外的相邻的四面体的共享三角面构成最终的三角网模型。然后选择与每个三角面最近的可见相机作为其关联相机，然后把同一关联相机的空间上相连通的三角面分成同一组，获取其在关联相机上拍摄的图像块，最后把所有的图像块按照打包算法组合成一张纹理图，实现三角网络的纹理映射，得到上述与建模区域实时图像相同或接近的三维模型。

为保证本发明能够对本领域技术人员充分公开，参考图5所示，本发明的又一个实施例是一种用于在上述实施例中快速生成三维模型的智能建模单元的硬件结构，在本实施例中，其包括处理器、存储器与数据接口，通过数据接口接收压缩后的图像数据，并存储在存储器中，存储器还用于存储必要的计算机指令，由处理器读取存储器中的图像数据，执行相应的计算机指令，进而执行上述实施例中的用于应急管理的智能建模方法。

在具体的实现中，处理器可以包括一个或多个中央处理器（central processingunit，CPU），这里的处理器可以指一个或多个设备、电路、和/或用于处理数据（例如计算机程序指令）的处理核。

存储器可以是只读存储器（read-only memory，ROM）或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器（random access memory，RAM）或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器（electricallyerasable programmable read-only memory，EEPROM）、只读光盘（compact disc read-only memory，CD-ROM）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。

数据接口可使用本领域内常用的任意一类计算机硬件的数据接口，用于使图像数据能被接收并写入智能建模单元内处理器可读的存储介质上。

基于计算机软件类产品的一般形态，本发明的还一个实施例提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有指令，当计算机执行所述指令时，使得计算机执行上述实施例中的用于应急管理的智能建模方法。

其中，计算机可读存储介质，例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、RAM、ROM、可擦式可编程只读存储器(erasable programmable read only memory，EPROM)、寄存器、硬盘、光纤、CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合、或者本领域熟知的任何其它形式的计算机可读存储介质。一种示例性地存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于特定用途集成电路（application specificintegrated circuit，ASIC）中。在本申请实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

除上述以外还需要说明的是，在本说明书中所谈到的“一个实施例”、“另一个实施例”、“实施例”等，指的是结合该实施例描述的具体特征、结构或者特点包括在本申请概括性描述的至少一个实施例中。在说明书中多个地方出现同种表述不是一定指的是同一个实施例。进一步来说，结合任一实施例描述一个具体特征、结构或者特点时，所要主张的是结合其他实施例来实现这种特征、结构或者特点也落在本发明的范围内。

尽管这里参照本发明的多个解释性实施例对本发明进行了描述，但是，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本申请公开的原则范围和精神之内。更具体地说，在本申请公开、附图和权利要求的范围内，可以对主题组合布局的组成部件和/或布局进行多种变型和改进。除了对组成部件和/或布局进行的变型和改进外，对于本领域技术人员来说，其他的用途也将是明显的。

Claims (10)

1.一种用于应急管理的智能建模系统，其特征在于所述系统包括：

无人机，用于采集建模区域的图像数据，所述图像数据被压缩后传输至智能建模单元；

智能建模单元，用于通过图像数据构建场景图，然后提取每张图像上的特征点完成图像匹配，所述特征点为每张图像上的特征点按尺度由大到小排列后，排列靠前的部分特征点；

所述智能建模单元用于通过空三优化算法确定每张图像拍摄时的位置和姿态信息；

所述智能建模单元用于通过立体像对匹配算法由每张图像拍摄时的位置和姿态信息，生成稠密点云；所述稠密点云生成时通过预设的图像降采样系数对每张图像进行降采样，且指定多个点云采样密度等级，且仅在高密度等级时才对图像进行全像素深度图生成；

所述智能建模单元还用于根据已生成的稠密点云，生成三角网模型；然后将所述三角网模型与图像数据进行纹理映射，生成接近于所述建模区域实时图像的三维模型。

2.根据权利要求1所述的用于应急管理的智能建模系统，其特征在于：所述特征点为每张图像上的特征点按尺度由大到小排列后的前2000-4000个；所述智能建模单元基于图像数据获取时的经纬度，选取每张图像距离最近的图像集作为邻近图像，从而快速构建场景图；所述图像降采样系数默认为2。

3.根据权利要求1所述的用于应急管理的智能建模系统，其特征在于：所述无人机采集建模区域的图像数据的同时，在机载端对所述图像数据进行压缩处理，然后通过无线网络将压缩后的图像数据实时分批次传输至智能建模单元；

或者，无人机采集建模区域的图像数据完成后，再对所述图像数据进行统一压缩处理，然后一并传输至智能建模单元。

4.根据权利要求1所述的用于应急管理的智能建模系统，其特征在于：所述点云采样密度等级包括高密度等级、中密度等级与低密度等级；在中密度等级时对图像水平方向和垂直方向上，每隔一个像素进行深度图生成；在低密度等级时对图像水平方向和垂直方向上，每隔两个像素进行深度图生成。

5.根据权利要求1所述的用于应急管理的智能建模系统，其特征在于：所述智能建模单元根据已生成的稠密点云，通过Delaunay四面体剖分算法和图割方法生成三角网模型。

6.一种用于应急管理的智能建模方法，其特征在于所述方法包括如下步骤：

采集建模区域的图像数据，并将图像数据进行压缩；

通过压缩后的图像数据构建场景图，然后提取每张图像上的特征点完成图像匹配，所述特征点为每张图像上的特征点按尺度由大到小排列后，排列靠前的部分特征点；

通过空三优化算法确定每张图像拍摄时的位置和姿态信息；

通过立体像对匹配算法由每张图像拍摄时的位置和姿态信息，生成稠密点云；所述稠密点云生成时通过预设的图像降采样系数对每张图像进行降采样，且指定多个点云采样密度等级，且仅在高密度等级时才对图像进行全像素深度图生成；

根据已生成的稠密点云，生成三角网模型；然后将所述三角网模型与图像数据进行纹理映射，生成接近于所述建模区域实时图像的三维模型。

7.根据权利要求6所述的用于应急管理的智能建模方法，其特征在于：所述特征点为每张图像上特征点按尺度由大到小排列后的前2000-4000个；所述智能建模单元基于图像数据获取时的经纬度，选取每张图像距离最近的图像集作为邻近图像，从而快速构建场景图；所述图像降采样系数默认为2。

8.根据权利要求6所述的用于应急管理的智能建模方法，其特征在于：所述点云采样密度等级包括高密度等级、中密度等级与低密度等级；在中密度等级时对图像水平方向和垂直方向上，每隔一个像素进行深度图生成；在低密度等级时对图像水平方向和垂直方向上，每隔两个像素进行深度图生成。

9.根据权利要求6所述的用于应急管理的智能建模方法，其特征在于：通过无人机采集建模区域的图像数据，且无人机采集建模区域的图像数据的同时，在机载端对所述图像数据进行压缩处理，然后通过无线网络将压缩后的图像数据实时分批次传输至智能建模单元；

或者，

无人机采集建模区域的图像数据完成后，再对所述图像数据进行统一压缩处理，然后一并传输至智能建模单元。

10.一种计算机可读的存储介质，其特征在于：所述计算机可读的存储介质中存储有指令，当计算机执行所述指令时，使得计算机执行权利要求6至9任意一项所述的方法。

Images