CN111476890A - 一种基于影像的三维场景重建中移动车辆的修复方法 - Google Patents

Abstract

本发明涉及一种基于影像的三维场景重建中移动车辆的修复方法，包括：根据深度学习模型得到各张影像中的车辆信息标记；对于三维场景模型的各个三角面，统计得到第i个三角面f_i的可视影像集合I(f_i)；统计可视影像集合I(f_i)中标记为车辆的影像的数量n₁，根据数量n₁是否超过设定值判断该三角面f_i在各个影像的投影位置处是否为车辆；统计n₁个标记为车辆的车辆颜色中每种颜色出现的次数，得到次数中的最大值n₂，根据各个数量确定该三角面f_i对应的为停留移动车辆、未停留移动车辆或未移动车辆；根据停留移动车辆对应的三角面进行几何修复，根据纹理处的三角面的颜色进行纹理修复。无需人工干预，自动化程度高，节约大量的人力物力。

Description

一种基于影像的三维场景重建中移动车辆的修复方法

技术领域

本发明涉及测绘技术领域，尤其涉及一种基于影像的三维场景重建中移动车辆的修复方法。

背景技术

基于影像的三维场景重建一直是计算机视觉中的热门研究话题，并且涌现出了一大批表现优异的算法成果。基于多视影像的三维建模方法，不仅可以恢复目标对象的三维结构，还可以获取三维模型表面的纹理信息。近几年，随着无人机技术的日益成熟，我们获取影像数据的成本也大大降低。因此，基于多视倾斜影像的城市级三维场景的构建就变得更加的广泛。

车辆作为城市中的重要交通工具，会出现在城市场景中的各个角落。然而，由于城市场景中大部分车辆可能处于移动状态，这样就会给三维重建过程带来一些问题。一方面，如图1(a)和图1(b)所示分别为移动车辆在场景一的三维场景重建过程示意图和重建结果示意图，该场景一为移动车辆在斑马线上，斑马线上存在车辆的几何结构，导致映射后的纹理出现扭曲变形现象，由图1(a)和图1(b)可知，移动过的车辆会导致重建出的三维场景存在几何结构上的失真，从而对后续三维模型表面的纹理映射产生影响；另一方面，如图2(a)和图2(b)所示分别为移动车辆在场景二的三维场景重建过程示意图和重建结果示意图，该场景二为交通繁忙的十字路口附近，由图2(a)和图2(b)可知，在整个影像数据采集的过程中，部分移动车辆可能会出现停留的情况(例如斑马线钱等红绿灯的车辆)，在此期间，假如有两张或以上的影像拍摄到该车辆，那么该车辆的几何模型就可能会出现在重建的三维场景中，道路中央的车辆几何模型很突兀，而且映射的纹理也出现了扭曲变形的情况，因此，为了解决这样的问题，这里需要对三维场景的几何模型进行修复。

不能对三维场景重建中的移动车辆进行修复的话，重建后的三维场景看起来很杂乱，视觉效果大打折扣。因此，为了解决以上问题，通常需要全人工或半人工的方式对重建后的三维场景模型进行手动修复，主要包含几何结构和纹理影像两个方面的修复，但这个修复过程，往往需要花费大量人力物力，从而严重影响生产效率。

发明内容

本发明针对现有技术中存在的技术问题，提供一种基于影像的三维场景重建中移动车辆的修复方法，解决现有技术中三维场景重建过程中对移动车辆进行修复时效率低的问题。

本发明解决上述技术问题的技术方案如下：一种基于影像的三维场景重建中移动车辆的修复方法，包括：

步骤1，训练得到车辆的深度学习模型，根据所述深度学习模型得到各张影像中的车辆信息标记，所述车辆信息标记包括车辆位置和车辆颜色；

步骤2，对于三维场景模型的各个三角面，统计得到第i个三角面f_i的可视影像集合I(f_i)，其中集合I(f_i)中包含的影像的数量为n_k；

步骤3，统计所述可视影像集合I(f_i)中标记为车辆的影像的数量n₁，根据所述数量n₁是否超过设定值判断该三角面f_i在各个影像的投影位置处是否为车辆；

步骤4，判定该三角面f_i所述投影位置处为车辆时，统计所述n₁个标记为车辆的车辆颜色中每种颜色出现的次数，得到所述次数中的最大值n₂，根据所述数量n_k、数量n₁以及数量n₂确定该三角面f_i对应的为停留移动车辆、未停留移动车辆或未移动车辆；

步骤5，根据所述停留移动车辆对应的三角面进行几何修复，根据纹理处的三角面的颜色进行纹理修复。

本发明的有益效果是：本发明提供的一种基于影像的三维场景重建中移动车辆的修复方法，基于深度学习进行影像中的车辆信息的识别，可以保证车辆信息识别的效率及准确性；收集一段时间内的各张影像，根据各张影像的车辆信息标记的车辆位置和车辆颜色，基于多视图约束进行该时间段内的车辆的移动状态的判定，利用各个三角面的判定结果对移动车辆造成的几何模型的扭曲变形进行几何修复，对移动车辆造成的三维模型纹理信息的错误选取进行纹理修复，且无需人工干预，自动化程度高，节约大量的人力物力，保证重建后的三维场景的视觉效果。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述步骤1中得到各个影像中的车辆信息标记的过程包括：

步骤101，将人工标记好的车辆样本数据放入到深度学习框架中进行训练，当损失曲线收敛时，得到训练好的所述车辆的深度学习模型；

步骤102，将每张影像裁剪成设定大小的矩形影像块，利用所述车辆的深度学习模型分别对各个所述影像块进行车辆信息的识别，得到所述影像块中车辆的位置和颜色信息；

步骤103，汇总属于同一张所述影像的所述影像块的识别结果，得到每张所述影像所对应的车辆信息标记。

进一步，所述步骤2中得到所述可视影像集合I(f_i)的过程包括：

步骤201，将三角网格中的每个所述三角面f_i根据投影矩阵P_j依次投影到每张影像I_j上；

步骤202，获取所述影像I_j上可见的三角面集合F(I_j)＝{f₁,f₂,...,f_m}；

步骤203，根据所述三角面集合F(I_j)统计所述三角面f_i在哪些影像上可见，得到所述三角面f_i的可视影像集合

进一步，所述步骤3中所述设定值为预先设定的最小车辆影像张数阈值δ₀；

n₁＜δ₀时，直接返回判断是否每个三角面f_i均完成了判定过程，是，结束整个判定流程，否，对i加一后进行下一个三角面f_i的判定。

进一步，所述步骤4包括：

对n₁张标记为车辆的影像与所述可视影像集合I(f_i)中的n_k张影像分别按照影像采集的时间顺序进行排列，排列结果记为Order₁和Order₂，找出Order₁中的首尾两张影像在Order₂中对应位置的索引Pos₁与Pos₂，计算 ratio＝(Pos₂-Pos₁+1)/n_k；

n₁/n_k≤δ₁且ratio＜δ₁时，判定该三角面f_i对应的移动车辆，否则，判定该三角面f_i对应的未移动车辆；其中，δ₁表示设定的第一比例阈值。

进一步，所述步骤4包括：

步骤401，判断n₁/n_k＞δ₁是否成立，是，执行步骤403，否，执行步骤 402；

步骤402，判断ratio＜δ₁是否成立，是，执行步骤404，否，执行步骤403；

步骤403，判断n₂/n₁＞δ₂是否成立，是，判定该三角面f_i对应的未移动车辆，否，执行步骤404；其中，δ₂表示设定的第一比例阈值；

步骤404，判定该三角面f_i对应的移动车辆。

进一步，所述步骤404判定该三角面f_i对应的移动车辆后，判断n₂＞δ₀是否成立，是，判定该三角面f_i对应的停留移动车辆；否，判定该三角面f_i对应的未停留移动车辆。

进一步，所述步骤4确定该三角面f_i对应的为停留移动车辆、未停留移动车辆或未移动车辆之后，判断是否每个三角面f_i均完成了判定过程，是，结束整个判定流程，否，对i加一后进行下一个三角面f_i的判定。

进一步，所述步骤3和步骤4判断三角面f_i对应的场景的类别为非车辆、未移动车辆、停留移动车辆或未停留移动车辆之后，还包括对每个三角面f_i的类别进行校正：

根据三角面f_i在影像中的投影位置，结合影像中所标记的每个车辆的车辆信息标记的车辆范围，对属于同一车辆C_i的三角面进行聚类C_i＝{f₁,f₂,...,f_n}；

对每辆所述车辆C_i中所包含的n个三角面的类别信息进行统计，将计数最多的类别作为当前所述车辆C_i的类别；

根据所述车辆C_i的类别校正其对应的n个三角面f_i的类别信息。

进一步的，所述步骤5中根据所述停留移动车辆对应的三角面进行几何修复的过程包括：

删除所述停留移动车辆对应的三角面，对出现的孔洞边界进行平面拟合并填补；

根据纹理处的三角面的颜色进行纹理修复的过程包括：

根据纹理处的三角面f_i在其可视影像集合I(f_i)的投影位置处的颜色得到一组候选纹理信息集合，剔除所述候选纹理信息集合中与其它候选纹理颜色差异大的候选纹理，使用剩余的候选纹理进行纹理映射。

采用上述进一步方案的有益效果是：本发明提供的一种基于影像的三维场景重建中移动车辆的修复方法的实施例中，利用三角面f_i在哪些影像上可见建立可视影像集合，利用标记为车辆的影像在可视影像集合中的数量和影像序列中所占比例是否超过设定的阈值，判断三角面f_i对应的类别为移动车辆或未移动车辆；进而初步判定每个三角面f_i在三维场景中的类别：非车辆、未移动车辆、停留移动车辆或未停留移动车辆；还采用聚类的方法对每个三角面f_i的类别作进一步的校正；最后根据上述各个三角面的判定结果，利用标记为停留移动车辆的三角面进行几何修复，利用纹理处的三角面的颜色差异进行纹理修复。

附图说明

图1(a)为移动车辆在场景一的三维场景重建过程示意图；

图1(b)为移动车辆在场景一的三维场景重建结果示意图；

图2(a)为移动车辆在场景二的三维场景重建过程示意图；

图2(b)为移动车辆在场景二的三维场景重建结果示意图；

图3为本发明实施例提供的一种基于影像的三维场景重建中移动车辆的修复方法的流程图；

图4(a)为本发明实施例提供的影像中车辆示意图；

图4(b)为本发明实施例提供的图4(a)中的影像识别后的车辆信息标记图；

图5为本发明提供的一种根据三角面的可视影像集判断车辆移动状态的方法的实施例的的流程图；

图6为本发明提供的车辆类别判定结果的实施例的示意图；

图7为利用本发明实施例提供的一种基于影像的三维场景重建中移动车辆的修复方法对图2(a)中的场景二进行几何修复后的效果图；

图8为利用本发明实施例提供的一种基于影像的三维场景重建中移动车辆的修复方法对图1(a)中的场景一进行纹理修复后的效果图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图3所示本发明实施例提供的一种基于影像的三维场景重建中移动车辆的修复方法的流程图，由图3可知，该方法包括：

步骤1，训练得到车辆的深度学习模型，根据深度学习模型得到各张影像中的车辆信息标记，车辆信息标记包括车辆位置和车辆颜色。

步骤2，对于三维场景模型的各个三角面，统计得到第i个三角面f_i的可视影像集合I(f_i)，其中集合I(f_i)中包含的影像的数量为n_k。

所获取的三维场景模型用三角网格表示为Μ＝{f_i}，可视影像集合I(f_i)即三角面f_i在哪些影像上可见，这些影像组成可视影像集合I(f_i)。

步骤3，统计可视影像集合I(f_i)中标记为车辆的影像的数量n₁，根据数量n₁是否超过设定值判断该三角面f_i在各个影像的投影位置处是否为车辆。

对于三角面f_i在其可视影像集合I(f_i)中的每张影像投影位置处所对应的n_k个车辆信息标记，统计其中标记为车辆的影像张数n₁，根据该数量n₁的比例判断三角面f_i所对应的场景信息是否为车辆。

步骤4，判定该三角面f_i投影位置处为车辆时，统计n₁个标记为车辆的车辆颜色中每种颜色出现的次数，得到次数中的最大值n₂，根据数量n_k、数量n₁以及数量n₂确定该三角面f_i对应的为停留移动车辆、未停留移动车辆或未移动车辆。

步骤5，根据停留移动车辆对应的三角面进行几何修复，根据纹理处的三角面的颜色进行纹理修复。

本发明提供的一种基于影像的三维场景重建中移动车辆的修复方法，基于深度学习进行影像中的车辆信息的识别，可以保证车辆信息识别的效率及准确性。收集一段时间内的各张影像，根据各张影像的车辆信息标记的车辆位置和车辆颜色，基于多视图约束进行该时间段内的车辆的移动状态的判定，，且无需人工干预，自动化程度高，保证重建后的三维场景的视觉效果。

实施例1

本发明提供的实施例1为本发明提供的一种基于影像的三维场景重建中移动车辆的修复方法的实施例，该方法的实施例包括：

步骤1，训练得到车辆的深度学习模型，根据深度学习模型得到各张影像中的车辆信息标记，车辆信息标记包括车辆位置和车辆颜色。

优选的，步骤1中得到各个影像中的车辆信息标记的过程包括：

步骤101，将人工标记好的车辆样本数据放入到深度学习框架中进行训练，当损失曲线收敛时，得到训练好的车辆的深度学习模型。

优选的，该深度学习框架可以为YOLOv3等。

步骤102，将每张影像裁剪成设定大小的矩形影像块，利用车辆的深度学习模型分别对各个影像块进行车辆信息的识别，得到影像块中车辆的位置和颜色信息。

其中，影像块的大小根据计算机硬件条件的限制设置。

步骤103，汇总属于同一张影像的影像块的识别结果，得到每张影像所对应的车辆信息标记。

如图4(a)所示为本发明实施例提供的影像中车辆示意图，图4(b) 本发明实施例提供的图4(a)中的影像识别后的车辆信息标记图。图4(b) 中标记处的区域即为被识别出的车辆的位置，区域的颜色就代表被识别出的车辆的颜色。

步骤2，对于三维场景模型的各个三角面，统计得到第i个三角面f_i的可视影像集合I(f_i)，其中集合I(f_i)中包含的影像的数量为n_k。

优选的，步骤2中得到可视影像集合I(f_i)的过程包括：

步骤201，将三角网格中的每个三角面f_i根据投影矩阵P_j依次投影到每张影像I_j上。

其中，I_j表示采集的影像集合Ι＝{I_j}中的第j张影像，影像集合Ι对应的位置信息为P＝{P_j}，P_j表示第j张影像I_j的投影矩阵。

步骤202，获取影像I_j上可见的三角面集合F(I_j)＝{f₁,f₂,...,f_m}。

其中，三角面在影像上的可见性是利用投影产生的深度图进行判断，即选取深度图中每个像素上存储的最小深度值所对应的三角面组成集合F(I_j)。

步骤203，根据三角面集合F(I_j)统计三角面f_i在哪些影像上可见，得到三角面f_i的可视影像集合

步骤3，统计可视影像集合I(f_i)中标记为车辆的影像的数量n₁，根据数量n₁是否超过设定值判断该三角面f_i在各个影像的投影位置处是否为车辆。

如图5所示为本发明提供的一种根据三角面的可视影像集判断车辆移动状态的方法的实施例的的流程图，由图5可知，优选的，步骤3中设定值为预先设定的最小车辆影像张数阈值δ₀。

n₁＜δ₀时，直接返回判断是否每个三角面f_i均完成了判定过程，是，结束整个判定流程，否，对i加一后进行下一个三角面f_i的判定。

步骤4，判定该三角面f_i投影位置处为车辆时，统计n₁个标记为车辆的车辆颜色中每种颜色出现的次数，得到次数中的最大值n₂，根据数量n_k、数量n₁以及数量n₂确定该三角面f_i对应的为停留移动车辆、未停留移动车辆或未移动车辆。

由图5可知，优选的，步骤4包括：

对n₁张标记为车辆的影像与可视影像集合I(f_i)中的n_k张影像分别按照影像采集的时间顺序进行排列，排列结果记为Order₁和Order₂，找出Order₁中的首尾两张影像在Order₂中对应位置的索引Pos₁与Pos₂，计算 ratio＝(Pos₂-Pos₁+1)/n_k。其中，ratio表示n₁张标记为车辆的影像在影像序列中所占比例。

n₁/n_k≤δ₁且ratio＜δ₁时，判定该三角面f_i对应的移动车辆，否则，判定该三角面f_i对应的未移动车辆。其中，δ₁表示设定的第一比例阈值。

具体的，该步骤4可以包括：

步骤401，判断n₁/n_k＞δ₁是否成立，是，执行步骤403，否，执行步骤402。

数量n₁占数量n_k的比例超过设定的比例阈值δ₁，则表示三角面f_i所对应的场景为车辆的影像占据多数。

步骤402，判断ratio＜δ₁是否成立，是，执行步骤404，否，执行步骤403。

步骤403，判断n₂/n₁＞δ₂是否成立，是，判定该三角面f_i对应的未移动车辆，否，执行步骤404。其中，δ₂表示设定的第一比例阈值。

步骤404，判定该三角面f_i对应的移动车辆。

具体的，步骤404判定该三角面f_i对应的移动车辆后，判断n₂＞δ₀是否成立，是，判定该三角面f_i对应的停留移动车辆；否，判定该三角面f_i对应的未停留移动车辆。

车辆颜色中颜色出现的次数的最大值n₂大于最小车辆影像张数阈值δ₀，说明该三角面f_i所对应的移动车辆在影像数据采集的过程中曾有过一段时间的停留。

优选的，步骤4中确定该三角面f_i对应的为停留移动车辆、未停留移动车辆或未移动车辆之后，判断是否每个三角面f_i均完成了判定过程，是，结束整个判定流程；否，对i加一后进行下一个三角面f_i的判定。

通过以上步骤的判断，可以初步判定每个三角面f_i在三维场景中的类别：非车辆、未移动车辆、移动车辆(停留或未停留)。但由于每个三角面都是独立进行的判断，未顾及区域连续性，部分三角面可能存在判断错误的情况，所以优选的，步骤3和步骤4之后，还包括对每个三角面f_i的类别作进一步的校正：

根据三角面f_i在影像中的投影位置，结合影像中所标记的每个车辆的车辆信息标记的车辆范围，对属于同一车辆C_i的三角面进行聚类C_i＝{f₁,f₂,...,f_n}。

对每辆车辆C_i中所包含的n个三角面的类别信息进行统计，利用少数服从多数的原理，将计数最多的类别作为当前车辆C_i的类别。

根据车辆C_i的类别校正其对应的n个三角面f_i的类别信息。

图6为本发明提供的车辆类别判定结果的实施例的示意图，最终的判别结果如图6所示，图中三种颜色区分标识未发生过移动的车辆、一直处于移动状态的车辆以及有过一段时间停留的移动车辆。

步骤5，根据停留移动车辆对应的三角面进行几何修复，根据纹理处的三角面的颜色进行纹理修复。

步骤1-4中对有过停留的移动车辆(例如等红绿灯的车辆)所对应的三角面已经进行了标记，因此，在这里只需要对这些标记的三角面进行处理。根据先验知识可知，绝大部分车辆停靠的位置都满足平面的特性，所以这里直接删除这些被标记的三角面，然后对出现的孔洞边界进行平面拟合并填补，具体的，平面拟合的方法可采用最小二乘法等，图7为利用本发明实施例提供的一种基于影像的三维场景重建中移动车辆的修复方法对图2(a)中的场景二进行几何修复后的效果图，车辆几何修复结果如图7所示。

根据步骤1-4中车辆类别的判定结果，我们可以擦除影像数据中被判定为移动车辆位置处所对应像素的车辆颜色信息，但由于利用深度学习进行车辆识别部分可能存在漏识别的情况，这就会导致部分车辆的纹理信息仍会出现在重建的三维场景中，如图1(b)中斑马线处的车辆纹理所示。为了剔除这些错误的纹理，本发明实施例采用RANSAC的算法思路：每个三角面f_i都会对应一组可视的影像集合

从而可以根据三角面f_i在影像集合中的投影位置处的颜色得到一组候选的纹理信息集合，由于车辆的颜色往往与其所经过的路面处的颜色差异较大，所以这里可以剔除候选纹理集合中那些与其它候选纹理颜色差异较大的候选纹理，那么移动车辆所对应的错误纹理就被去掉了，图8为利用本发明实施例提供的一种基于影像的三维场景重建中移动车辆的修复方法对图1(a)中的场景一进行纹理修复后的效果图，最后我们使用剩余正确的候选纹理进行纹理映射的结果如图8所示。

本发明提供的一种基于影像的三维场景重建中移动车辆的修复方法的实施例中，利用三角面f_i在哪些影像上可见建立可视影像集合，利用标记为车辆的影像在可视影像集合中的数量和影像序列中所占比例是否超过设定的阈值，判断三角面f_i对应的类别为移动车辆或未移动车辆；进而初步判定每个三角面f_i在三维场景中的类别：非车辆、未移动车辆、停留移动车辆或未停留移动车辆；还采用聚类的方法对每个三角面f_i的类别作进一步的校正；最后根据上述各个三角面的判定结果，利用标记为停留移动车辆的三角面进行几何修复，利用纹理处的三角面的颜色差异进行纹理修复。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于影像的三维场景重建中移动车辆的修复方法，其特征在于，所述方法包括：

步骤1，训练得到车辆的深度学习模型，根据所述深度学习模型得到各张影像中的车辆信息标记，所述车辆信息标记包括车辆位置和车辆颜色；

步骤2，对于三维场景模型的各个三角面，统计得到第i个三角面f_i的可视影像集合I(f_i)，其中集合I(f_i)中包含的影像的数量为n_k；

步骤3，统计所述可视影像集合I(f_i)中标记为车辆的影像的数量n₁，根据所述数量n₁是否超过设定值判断该三角面f_i在各个影像的投影位置处是否为车辆；

步骤4，判定该三角面f_i所述投影位置处为车辆时，统计所述n₁个标记为车辆的车辆颜色中每种颜色出现的次数，得到所述次数中的最大值n₂，根据所述数量n_k、数量n₁以及数量n₂确定该三角面f_i对应的为停留移动车辆、未停留移动车辆或未移动车辆；

步骤5，根据所述停留移动车辆对应的三角面进行几何修复，根据纹理处的三角面的颜色进行纹理修复。

2.根据权利要求1所述的方法，其特征在于，所述步骤1中得到各个影像中的车辆信息标记的过程包括：

步骤101，将人工标记好的车辆样本数据放入到深度学习框架中进行训练，当损失曲线收敛时，得到训练好的所述车辆的深度学习模型；

步骤102，将每张影像裁剪成设定大小的矩形影像块，利用所述车辆的深度学习模型分别对各个所述影像块进行车辆信息的识别，得到所述影像块中车辆的位置和颜色信息；

步骤103，汇总属于同一张所述影像的所述影像块的识别结果，得到每张所述影像所对应的车辆信息标记。

3.根据权利要求1所述的方法，其特征在于，所述步骤2中得到所述可视影像集合I(f_i)的过程包括：

步骤201，将三角网格中的每个所述三角面f_i根据投影矩阵P_j依次投影到每张影像I_j上；

步骤202，获取所述影像I_j上可见的三角面集合F(I_j)＝{f₁,f₂,...,f_m}；

步骤203，根据所述三角面集合F(I_j)统计所述三角面f_i在哪些影像上可见，得到所述三角面f_i的可视影像集合

4.根据权利要求1所述的方法，其特征在于，所述步骤3中所述设定值为预先设定的最小车辆影像张数阈值δ₀；

n₁＜δ₀时，直接返回判断是否每个三角面f_i均完成了判定过程，是，结束整个判定流程，否，对i加一后进行下一个三角面f_i的判定。

5.根据权利要求1所述的方法，其特征在于，所述步骤4包括：

对n₁张标记为车辆的影像与所述可视影像集合I(f_i)中的n_k张影像分别按照影像采集的时间顺序进行排列，排列结果记为Order₁和Order₂，找出Order₁中的首尾两张影像在Order₂中对应位置的索引Pos₁与Pos₂，计算ratio＝(Pos₂-Pos₁+1)/n_k；

n₁/n_k≤δ₁且ratio＜δ₁时，判定该三角面f_i对应的移动车辆，否则，判定该三角面f_i对应的未移动车辆；其中，δ₁表示设定的第一比例阈值。

6.根据权利要求5所述的方法，其特征在于，所述步骤4包括：

步骤401，判断n₁/n_k＞δ₁是否成立，是，执行步骤403，否，执行步骤402；

步骤402，判断ratio＜δ₁是否成立，是，执行步骤404，否，执行步骤403；

步骤403，判断n₂/n₁＞δ₂是否成立，是，判定该三角面f_i对应的未移动车辆，否，执行步骤404；其中，δ₂表示设定的第一比例阈值；

步骤404，判定该三角面f_i对应的移动车辆。

7.根据权利要求6所述的方法，其特征在于，所述步骤404判定该三角面f_i对应的移动车辆后，判断n₂＞δ₀是否成立，是，判定该三角面f_i对应的停留移动车辆；否，判定该三角面f_i对应的未停留移动车辆。

8.根据权利要求1-7任一项所述的方法，其特征在于，所述步骤4确定该三角面f_i对应的为停留移动车辆、未停留移动车辆或未移动车辆之后，判断是否每个三角面f_i均完成了判定过程，是，结束整个判定流程，否，对i加一后进行下一个三角面f_i的判定。

9.根据权利要求1所述的方法，其特征在于，所述步骤3和步骤4判断三角面f_i对应的场景的类别为非车辆、未移动车辆、停留移动车辆或未停留移动车辆之后，还包括对每个三角面f_i的类别进行校正：

根据三角面f_i在影像中的投影位置，结合影像中所标记的每个车辆的车辆信息标记的车辆范围，对属于同一车辆C_i的三角面进行聚类C_i＝{f₁,f₂,...,f_n}；

对每辆所述车辆C_i中所包含的n个三角面的类别信息进行统计，将计数最多的类别作为当前所述车辆C_i的类别；

根据所述车辆C_i的类别校正其对应的n个三角面f_i的类别信息。

10.根据权利要求1所述的方法，其特征在于，所述步骤5中根据所述停留移动车辆对应的三角面进行几何修复的过程包括：

删除所述停留移动车辆对应的三角面，对出现的孔洞边界进行平面拟合并填补；

根据纹理处的三角面的颜色进行纹理修复的过程包括：

根据纹理处的三角面f_i在其可视影像集合I(f_i)的投影位置处的颜色得到一组候选纹理信息集合，剔除所述候选纹理信息集合中与其它候选纹理颜色差异大的候选纹理，使用剩余的候选纹理进行纹理映射。

Images