CN118411530B - 城市Mesh数据的半监督语义分割方法、装置和设备 - Google Patents
城市Mesh数据的半监督语义分割方法、装置和设备 Download PDFInfo
- Publication number
- CN118411530B CN118411530B CN202410892756.5A CN202410892756A CN118411530B CN 118411530 B CN118411530 B CN 118411530B CN 202410892756 A CN202410892756 A CN 202410892756A CN 118411530 B CN118411530 B CN 118411530B
- Authority
- CN
- China
- Prior art keywords
- model
- semantic segmentation
- loss
- mesh
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 227
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000012549 training Methods 0.000 claims abstract description 57
- 238000009826 distribution Methods 0.000 claims abstract description 39
- 230000009467 reduction Effects 0.000 claims abstract description 38
- 230000008569 process Effects 0.000 claims abstract description 14
- 238000005070 sampling Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 9
- 238000013519 translation Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 5
- 238000001678 elastic recoil detection analysis Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 240000008791 Antiaris toxicaria Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请涉及一种城市Mesh数据的半监督语义分割方法、装置和设备，所述城市Mesh数据的半监督语义分割方法的训练过程包括监督学习部分和无监督学习部分，在无监督学习部分引入了噪声减少损失、分布对齐损失和扩展扰动空间；噪声减少损失改善了伪标签中的噪声，从而提高了其准确性；分布对齐损失减少了模型预测与伪标签之间的差异，从而提高了模型的分割准确性；扩展扰动空间增强了模型的鲁棒性和整体性能。采用城市Mesh数据的半监督语义分割方法对待分割的城市Mesh数据进行语义分割，可以提升城市Mesh数据的分割准确性。
Description
技术领域
本申请涉及三维图像处理技术领域，特别是涉及一种城市Mesh数据的半监督语义分割方法、装置和设备。
背景技术
城市Mesh语义分割是指对三维城市Mesh数据进行语义分割，为每块三角面片提供类别信息，从而提升城市Mesh中地理信息的细节表达。它在智慧城市、数字地球、工程监管、水利工程、虚拟现实等领域有着广泛的应用。
城市Mesh是描述大规模户外环境的主流三维数据之一，能够真实反映大规模户外场景下的三维空间信息，例如建筑物、道路、水域等地物的分布。城市Mesh本质上是带纹理的三维Mesh数据，相较于点云，具有连续表面、强真实感以及轻量的特点；相较于一般的Mesh，城市Mesh用于描述户外场景下的真实环境，而Mesh通常指小型的三维个体物体；相比正射影像，城市Mesh包含空间侧面信息，能够描述户外场景中的三维空间内容。
随着深度学习在三维数据分析中取得的显著成功，城市Mesh的语义分割蓬勃发展。这种分割主要采用两种方法：基于超表面方法和点云采样语义分割方法。基于超表面方法首先使用聚类算法对城市Mesh进行过度分割，生成超表面，然后通过超表面分类完成语义分割。典型的超表面方法包括RF-MRF、SUM和PSSNet。RF-MRF在最后阶段使用马尔可夫随机场来平滑预测，而PSSNet在过度分割阶段使用马尔可夫随机场来增强超表面的平滑度。此外，图神经网络在超表面分类阶段被用来学习超表面之间的关联。尽管这些方法有效，但超表面方法存在一个共同的限制：聚类算法（过度分割阶段）不可微分，阻碍了端到端训练。基于点云采样方法则有效地避开了这一限制。Urban-MeshCNN基于MeshCNN，并结合广度优先搜索（BFS）技术对城市Mesh进行语义分割。然而，庞大的城市Mesh数据量使Urban-MeshCNN在计算上效率低下，因此不适用于大规模城市Mesh应用。此外，它仅依赖于边信息来描述每个面，缺乏原始特征信息。为了解决这一问题，TransformerMesh利用Transformer网络学习和处理实体之间的长距离依赖关系，以实现语义分割。Grzeczkowicz提倡使用泊松圆盘采样（PDS）算法对城市Mesh进行随机而均匀的点云采样，然后使用KPConv算法进行点云语义分割，点云语义分割的结果随后被映射回城市Mesh。
当前关于城市Mesh语义分割的方法主要是基于全监督学习的，但是城市Mesh标注耗时耗力；未充分利用所有未标记数据，并且伪标签中噪声对模型分割性能存在较大的不利影响。
发明内容
基于此，有必要针对上述技术问题，提供一种城市Mesh数据的半监督语义分割方法、装置和设备。
一种城市Mesh数据的半监督语义分割方法，该方法包括：
采用有标注城市mesh数据对预构建的mesh语义分割模型进行监督训练，得到第一预测结果。
根据第一预测结果和有标注城市mesh数据的标签确定有监督损失。
采用未标记输入城市mesh数据对mesh语义分割模型进行无监督训练，得到伪标签和两个模型预测结果；无监督训练过程为：将未标记输入城市mesh数据进行弱增强、然后进行两次强增强后，将得到的弱增强结果、第一强增强结果以及第二强增强结果分别输入到第二个、第三个以及第四个mesh语义分割模型中，得到伪标签和两个模型预测结果；其中监督训练和无监督训练中的mesh语义分割模型是权重共享、结构相同的语义分割网络。
根据伪标签和两个模型预测结果，计算噪声减少损失和分布对齐损失。
根据监督损失、噪声减少损失以及分布对齐损失，对mesh语义分割模型进行优化更新，得到训练好的mesh语义分割模型。
采用训练好的mesh语义分割模型对待分割的城市Mesh数据进行语义分割，得到待分割的城市Mesh数据语义分割结果。
在其中一个实施例中，采用有标注城市mesh数据对预构建的mesh语义分割模型进行监督训练，得到第一预测结果，包括：
对有标注城市mesh数据进行泊松盘采样，对采样结果进行弱增强。
将得到的弱增强结果输入到预构建的mesh语义分割模型中，得到第一预测结果。
在其中一个实施例中，根据第一预测结果和有标注城市mesh数据标签确定有监督损失为：
；
其中，为有监督损失，为类别数量，为符号函数，为观测样本属于类别的预测概率。
在其中一个实施例中，弱增强的方法为旋转或者平移操作。
在其中一个实施例中，强增强的方法为加入噪声或者颜色变化操作。
在其中一个实施例中，采用未标记输入城市mesh数据对mesh语义分割模型进行无监督训练，得到伪标签和两个模型预测结果，包括：
对未标记城市mesh数据进行泊松盘采样，对采样结果进行弱增强，得到第一弱增强结果。
将第一弱增强结果进行两次强增强，得到第一强增强结果和第二强增强结果。
将第一弱增强结果输入到第二个mesh语义分割模型中，将得到的预测结果作为伪标签。
将第一强增强结果输入到第三个mesh语义分割模型中，得到第一个模型预测结果。
将第二强增强结果输入到第四个mesh语义分割模型中，得到第二个模型预测结果。
在其中一个实施例中，根据伪标签和两个模型预测结果，计算噪声减少损失和分布对齐损失，包括：
根据伪标签，计算噪声减少损失为：
；
其中，为噪声减少损失，为伪标签的数量，为伪标签的第个样本。
根据伪标签和两个模型预测结果采用KL散度，计算分布对齐损失为：
；
其中，为分布对齐损失，KL(||)为KL散度，和分别为伪标签、第一个模型预测结果和第二个模型预测结果。
在其中一个实施例中，根据监督损失、噪声减少损失以及分布对齐损失，对mesh语义分割模型进行优化更新，得到训练好的mesh语义分割模型，包括：
根据监督损失、噪声减少损失以及分布对齐损失，确定模型总损失为：
；
其中，为模型总损失，为有监督损失，为分布对齐损失，为噪声减少损失。
根据模型总损失对mesh语义分割模型进行优化更新，得到训练好的mesh语义分割模型。
一种城市Mesh数据的半监督语义分割装置，该装置包括：
监督训练模块，用于采用有标注城市mesh数据对预构建的mesh语义分割模型进行监督训练，得到第一预测结果；根据第一预测结果和有标注城市mesh数据的标签确定有监督损失。
无监督训练模块，用于采用未标记输入城市mesh数据对mesh语义分割模型进行无监督训练，得到伪标签和两个模型预测结果；无监督训练过程为：将未标记输入城市mesh数据进行弱增强、然后进行两次强增强后，将得到的弱增强结果、第一强增强结果以及第二强增强结果分别输入到第二个、第三个以及第四个mesh语义分割模型中，得到伪标签和两个模型预测结果；其中监督训练和无监督训练中的mesh语义分割模型是权重共享、结构相同的语义分割网络；根据伪标签和两个模型预测结果，计算噪声减少损失和分布对齐损失。
mesh语义分割模型更新模块，用于根据监督损失、噪声减少损失以及分布对齐损失，对mesh语义分割模型进行优化更新，得到训练好的mesh语义分割模型。
城市Mesh数据语义分割模块，用于采用训练好的mesh语义分割模型对待分割的城市Mesh数据进行语义分割，得到待分割的城市Mesh数据语义分割结果。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述城市Mesh数据的半监督语义分割方法的步骤。
上述城市Mesh数据的半监督语义分割方法、装置和设备，所述城市Mesh数据的半监督语义分割方法的训练过程包括监督学习部分和无监督学习部分，在无监督学习部分引入了噪声减少损失、分布对齐损失和扩展扰动空间；噪声减少损失改善了伪标签中的噪声，从而提高了其准确性；分布对齐损失减少了模型预测与伪标签之间的差异，从而提高了模型的分割准确性；扩展扰动空间增强了模型的鲁棒性和整体性能。采用城市Mesh数据的半监督语义分割方法对待分割的城市Mesh数据进行语义分割，可以提升城市Mesh数据的分割准确性。
附图说明
图1为一个实施例中城市Mesh数据的半监督语义分割方法的流程示意图；
图2为一个实施例中城市Mesh数据Semi-UMAPL半监督语义分割方法流程；
图3为另一个实施例中部分城市Mesh语义分割第一实验结果效果，其中（a）为输入城市Mesh，（b）为城市Mesh数据的半监督语义分割方法的分割结果，（c）为SupOnly模型的分割结果，（d）为ERDA模型 的分割结果，（e）为UniMatch模型的分割结果，（f）为U2PL模型的分割结果，（g）为SimMatch模型的分割结果，（h）为GuideCon模型的分割结果，（i）为FixMatch模型的分割结果；
图4为另一个实施例中部分城市Mesh语义分割第二实验结果效果，其中（a）为输入城市Mesh，（b）为城市Mesh数据的半监督语义分割方法的分割结果，（c）为SupOnly模型的分割结果，（d）为ERDA模型的分割结果，（e）为UniMatch模型的分割结果，（f）为U2PL模型的分割结果，（g）为SimMatch模型的分割结果，（h）为GuideCon模型的分割结果，（i）为FixMatch模型的分割结果；
图5为另一个实施例中部分城市Mesh语义分割第三实验结果效果，其中（a）为输入城市Mesh，（b）为城市Mesh数据的半监督语义分割方法的分割结果，（c）为SupOnly模型的分割结果，（d）为ERDA模型的分割结果，（e）为UniMatch模型的分割结果，（f）为U2PL模型的分割结果，（g）为SimMatch模型的分割结果，（h）为GuideCon模型的分割结果，（i）为FixMatch模型的分割结果；
图6为一个实施例中城市Mesh数据的半监督语义分割装置的结构框图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
现有所有关于城市Mesh语义分割的方法都是基于全监督学习的，但是城市Mesh标注耗时耗力，使用全伪标签的城市Mesh半监督语义分割方法。因此，本申请提出的城市Mesh数据的半监督语义分割方法是一种关于城市Mesh数据语义分割的半监督策略，该策略可以加入任何城市Mesh语义分割模型中。
在一个实施例中，如图1所示，提供了一种城市Mesh数据的半监督语义分割方法，该方法包括以下步骤：
步骤100：采用有标注城市mesh数据对预构建的mesh语义分割模型进行监督训练，得到第一预测结果。
具体的，预构建的mesh语义分割模型可以是任何城市Mesh语义分割模型。例如：KPConv为分割器。
步骤102：根据第一预测结果和有标注城市mesh数据的标签确定有监督损失。
具体的，将有标注城市mesh数据输入到预构建的mesh语义分割模型中，得到第一预测结果,根据第一预测结果与标签L进行损失计算，得到有监督损失。
步骤104：采用未标记输入城市mesh数据对mesh语义分割模型进行无监督训练，得到伪标签和两个模型预测结果；无监督训练过程为：将未标记输入城市mesh数据进行弱增强、然后进行两次强增强后，将得到的弱增强结果、第一强增强结果以及第二强增强结果分别输入到第二个、第三个以及第四个mesh语义分割模型中，得到伪标签和两个模型预测结果；其中监督训练和无监督训练中的mesh语义分割模型是权重共享、结构相同的语义分割网络。
具体的，在无监督训练过程中，采用一次弱增强后，再进行两次强增强，对得到的弱增强结果和两个强增强结果分别采用预构建的mesh语义分割模型进行处理，得到伪标签和两个模型预测结果。
两次强增强即为双重强扰动分支，通过双重强扰动分支，以探索城市Mesh数据中的广泛扰动空间。
步骤106：根据伪标签和两个模型预测结果，计算噪声减少损失和分布对齐损失。
具体的，为了充分利用所有未标记数据并减轻伪标签中噪声对模型分割性能的不利影响，引入了两种新技术：噪声减少损失和分布对齐损失。这些方法旨在提高伪标签的质量，同时缩小伪标签与模型预测之间的差距，从而提升模型的整体分割性能。
步骤108：根据监督损失、噪声减少损失以及分布对齐损失，对mesh语义分割模型进行优化更新，得到训练好的mesh语义分割模型。
具体的，根据监督训练过程产生的监督损失、无监督训练过程产生的噪声减少损失和分布对齐损失，对mesh语义分割模型进行优化更新，得到训练好的mesh语义分割模型。
步骤110：采用训练好的mesh语义分割模型对待分割的城市Mesh数据进行语义分割，得到待分割的城市Mesh数据语义分割结果。
上述城市Mesh数据的半监督语义分割方法中，所述城市Mesh数据的半监督语义分割方法的训练过程包括监督学习部分和无监督学习部分，在无监督学习部分引入了噪声减少损失、分布对齐损失和扩展扰动空间；噪声减少损失改善了伪标签中的噪声，从而提高了其准确性；分布对齐损失减少了模型预测与伪标签之间的差异，从而提高了模型的分割准确性；扩展扰动空间增强了模型的鲁棒性和整体性能。采用城市Mesh数据的半监督语义分割方法对待分割的城市Mesh数据进行语义分割，可以提升城市Mesh数据的分割准确性。
在其中一个实施例中，步骤100包括：对有标注城市mesh数据进行泊松盘采样，对采样结果进行弱增强；将得到的弱增强结果输入到预构建的mesh语义分割模型中，得到第一预测结果。
在其中一个实施例中，步骤102包括：根据第一预测结果和有标注城市mesh数据标签确定有监督损失为：
（1）
其中，为有监督损失，为类别数量，为符号函数，如果样本的真实类别为，则取值为1，如果样本的真实类别不为，则取0取值，为观测样本i属于类别的预测概率。
在其中一个实施例中，弱增强的方法为旋转或者平移操作。
在其中一个实施例中，强增强的方法为加入噪声或者颜色变化操作。
在其中一个实施例中，步骤104包括：对未标记城市mesh数据进行泊松盘采样，对采样结果进行弱增强，得到第一弱增强结果；将第一弱增强结果进行两次强增强，得到第一强增强结果和第二强增强结果；将第一弱增强结果输入到第二个mesh语义分割模型中，将得到的预测结果作为伪标签；将第一强增强结果输入到第三个mesh语义分割模型中，得到第一个模型预测结果；将第二强增强结果输入到第四个mesh语义分割模型中，得到第二个模型预测结果。
具体的，第二个mesh语义分割模型、第三个mesh语义分割模型以及第四个mesh语义分割模型与监督训练中的mesh语义分割模型是权重共享、结构相同的语义分割网络。
在其中一个实施例中，步骤106包括：根据伪标签，计算噪声减少损失为：
（2）
其中，为噪声减少损失，为伪标签的数量，为伪标签的第个样本。最小化噪声减少损失会产生更准确的伪标签，从而减少其中的噪音。
根据伪标签和两个模型预测结果采用KL散度（Kullback-Leibler 散度），计算分布对齐损失为：
（3）
其中，为分布对齐损失，KL(||)为KL散度，和分别为伪标签、第一个模型预测结果和第二个模型预测结果。
KL散度作为衡量两个概率分布之间相似性的度量标准。利用KL散度来量化伪标签与模型预测之间的分布差异，随后最小化这些差异以优化模型。KL散度的表达式如下：
（4）
其中，和分别表示和的第个分布概率，KL散度的范围是，允许更广泛或更紧密地调整分布。
在其中一个实施例中，步骤108包括：根据监督损失、噪声减少损失以及分布对齐损失，确定模型总损失为：
（5）
其中，为模型总损失，为有监督损失，为分布对齐损失，为噪声减少损失。
根据模型总损失对mesh语义分割模型进行优化更新，得到训练好的mesh语义分割模型。
在一个具体的实施例中，预构建的mesh语义分割模型采用KPConv为分割器。城市Mesh数据Semi-UMAPL半监督语义分割方法流程如图2所示，Semi-UMAPL包括监督学习部分和无监督学习部分。具体过程包括：
首先将城市Mesh数据进行泊松盘采样为均匀随机的点云，泊松盘采样的密度参数为0.4cm。
（1）监督学习部分：
第一步，先将输入的城市Mesh进行弱增强，弱增强的方法为旋转或者平移操作。
第二步，输入到分割器KPConv中，进行训练，得到第一预测结果,与标签L进行损失计算，有监督损失为交叉熵损失，有监督损失的计算公式如公式（1）进行计算。
（2）无监督学习部分：
第一步，对输入的城市Mesh进行弱增强，弱增强的方法有旋转或平移操作。
第二步，将弱增强的结果再进行两次强增强，强增强的方法有加入噪声或者颜色变化。
第三步，同时将弱增强、两次强增强的结果，输入到分割器中，分别得到预测结果、和；设置为伪标签，和分别为第一个模型预测结果和第二个模型预测结果。
第四步，对伪标签和模型预测和进行噪声减少损失和分布对齐损失计算。采用公式（2）计算噪声减少损失。采用公式（3）计算分布对齐损失。
监督学习部分和无监督学习部分的模型总损失如公式（5）所示，使用模型总损失对预构建的mesh语义分割模型（分割器）进行个优化更新，增强模型的分割性能。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个验证性实施例中，将本申请方法与现有方法FixMatch、GuideCon、SimMatch、U2PL、UniMatch、ERDA、SupOnly进行性能比较。图3为部分城市Mesh语义分割第一实验结果效果，其中（a）为输入城市Mesh，（b）为城市Mesh数据的半监督语义分割方法的分割结果，（c）为SupOnly模型的分割结果，（d）为ERDA模型的分割结果，（e）为UniMatch模型的分割结果，（f）为U2PL模型的分割结果，（g）为SimMatch模型的分割结果，（h）为GuideCon模型的分割结果，（i）为FixMatch模型的分割结果。图4为部分城市Mesh语义分割第二实验结果效果，其中（a）为输入城市Mesh，（b）为城市Mesh数据的半监督语义分割方法的分割结果，（c）为SupOnly模型的分割结果，（d）为ERDA模型的分割结果，（e）为UniMatch模型的分割结果，（f）为U2PL模型的分割结果，（g）为SimMatch模型的分割结果，（h）为GuideCon模型的分割结果，（i）为FixMatch模型的分割结果。图5为部分城市Mesh语义分割第三实验结果效果，其中（a）为输入城市Mesh，（b）为城市Mesh数据的半监督语义分割方法的分割结果，（c）为SupOnly模型的分割结果，（d）为ERDA模型的分割结果，（e）为UniMatch模型的分割结果，（f）为U2PL模型的分割结果，（g）为SimMatch模型的分割结果，（h）为GuideCon模型的分割结果，（i）为FixMatch模型的分割结果。
从图3至图5可以看出，城市Mesh数据的半监督语义分割方法实验结果语义分割错误最少。实证研究表明，城市Mesh数据的半监督语义分割方法优于其他竞争方法，突显了其有效性。
在一个实施例中，如图6所示，提供了一种城市Mesh数据的半监督语义分割装置，包括：监督训练模块、无监督训练模块、mesh语义分割模型更新模块和城市Mesh数据语义分割模块，其中：
监督训练模块，用于采用有标注城市mesh数据对预构建的mesh语义分割模型进行监督训练，得到第一预测结果；根据第一预测结果和有标注城市mesh数据的标签确定有监督损失。
无监督训练模块，用于采用未标记输入城市mesh数据对mesh语义分割模型进行无监督训练，得到伪标签和两个模型预测结果；无监督训练过程为：将未标记输入城市mesh数据进行弱增强、然后进行两次强增强后，将得到的弱增强结果、第一强增强结果以及第二强增强结果分别输入到第二个、第三个以及第四个mesh语义分割模型中，得到伪标签和两个模型预测结果；其中监督训练和无监督训练中的mesh语义分割模型是权重共享、结构相同的语义分割网络；根据伪标签和两个模型预测结果，计算噪声减少损失和分布对齐损失。
mesh语义分割模型更新模块，用于根据监督损失、噪声减少损失以及分布对齐损失，对mesh语义分割模型进行优化更新，得到训练好的mesh语义分割模型。
城市Mesh数据语义分割模块，用于采用训练好的mesh语义分割模型对待分割的城市Mesh数据进行语义分割，得到待分割的城市Mesh数据语义分割结果。
在其中一个实施例中，监督训练模块，还用于对有标注城市mesh数据进行泊松盘采样，对采样结果进行弱增强；将得到的弱增强结果输入到预构建的mesh语义分割模型中，得到第一预测结果。
在其中一个实施例中，监督训练模块，还用于根据第一预测结果和有标注城市mesh数据标签确定有监督损失；有监督损失如公式（1）所示。
在其中一个实施例中，弱增强的方法为旋转或者平移操作。
在其中一个实施例中，强增强的方法为加入噪声或者颜色变化操作。
在其中一个实施例中，无监督训练模块，还有用于对未标记城市mesh数据进行泊松盘采样，对采样结果进行弱增强，得到第一弱增强结果；将第一弱增强结果进行两次强增强，得到第一强增强结果和第二强增强结果；将第一弱增强结果输入到第二个mesh语义分割模型中，将得到的预测结果作为伪标签；将第一强增强结果输入到第三个mesh语义分割模型中，得到第一个模型预测结果；将第二强增强结果输入到第四个mesh语义分割模型中，得到第二个模型预测结果。
在其中一个实施例中，无监督训练模块，还用于根据伪标签，采用公式（2）计算噪声减少损失。
根据伪标签和两个模型预测结果采用KL散度，采用公式（3）计算分布对齐损失。
在其中一个实施例中，无监督训练模块，还用于根据监督损失、噪声减少损失以及分布对齐损失，确定模型总损失；模型总损失如公式（5）所示；根据模型总损失对mesh语义分割模型进行优化更新，得到训练好的mesh语义分割模型。
关于城市Mesh数据的半监督语义分割装置的具体限定可以参见上文中对于城市Mesh数据的半监督语义分割方法的限定，在此不再赘述。上述城市Mesh数据的半监督语义分割装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种城市Mesh数据的半监督语义分割方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述方法实施例中的步骤。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (7)
1.一种城市Mesh数据的半监督语义分割方法，其特征在于，所述方法包括：
采用有标注城市mesh数据对预构建的mesh语义分割模型进行监督训练，得到第一预测结果；
根据所述第一预测结果和有标注城市mesh数据的标签确定有监督损失为：
;
其中，为有监督损失，M为类别数量，为符号函数（0，1），为观测样本i属于类别c的预测概率；
采用未标记输入城市mesh数据对mesh语义分割模型进行无监督训练，得到伪标签和两个模型预测结果；无监督训练过程为：将所述未标记输入城市mesh数据进行弱增强、然后进行两次强增强后，将得到的弱增强结果、第一强增强结果以及第二强增强结果分别输入到第二个、第三个以及第四个mesh语义分割模型中，得到伪标签和两个模型预测结果；其中监督训练和无监督训练中的mesh语义分割模型是权重共享、结构相同的语义分割网络；
根据所述伪标签和两个模型预测结果，计算噪声减少损失和分布对齐损失；
根据所述监督损失、所述噪声减少损失以及所述分布对齐损失，确定模型总损失；根据所述模型总损失对所述mesh语义分割模型进行优化更新，得到训练好的mesh语义分割模型；其中模型总损失为
;
其中，为模型总损失，为有监督损失，为分布对齐损失，为噪声减少损失；
采用训练好的mesh语义分割模型对待分割的城市Mesh数据进行语义分割，得到待分割的城市Mesh数据语义分割结果；
其中，根据所述伪标签和两个模型预测结果，计算噪声减少损失和分布对齐损失，包括：
根据所述伪标签，计算噪声减少损失为：
;
其中，为噪声减少损失，N为伪标签的数量，为伪标签的第i个样本；
根据所述伪标签和两个模型预测结果采用KL散度，计算分布对齐损失为：
;
其中，为分布对齐损失，为KL散度，、和分别为伪标签、第一个模型预测结果和第二个模型预测结果。
2.根据权利要求1所述的方法，其特征在于，采用有标注城市mesh数据对预构建的mesh语义分割模型进行监督训练，得到第一预测结果，包括：
对有标注城市mesh数据进行泊松盘采样，对采样结果进行弱增强；
将得到的弱增强结果输入到预构建的mesh语义分割模型中，得到第一预测结果。
3.根据权利要求2所述的方法，其特征在于，弱增强的方法为旋转或者平移操作。
4.根据权利要求2所述的方法，其特征在于，强增强的方法为加入噪声或者颜色变化操作。
5.根据权利要求1所述的方法，其特征在于，采用未标记输入城市mesh数据对mesh语义分割模型进行无监督训练，得到伪标签和两个模型预测结果，包括：
对未标记城市mesh数据进行泊松盘采样，对采样结果进行弱增强，得到第一弱增强结果；
将所述第一弱增强结果进行两次强增强，得到第一强增强结果和第二强增强结果；
将所述第一弱增强结果输入到第二个所述mesh语义分割模型中，将得到的预测结果作为伪标签；
将所述第一强增强结果输入到第三个所述mesh语义分割模型中，得到第一个模型预测结果；
将所述第二强增强结果输入到第四个所述mesh语义分割模型中，得到第二个模型预测结果。
6.一种城市Mesh数据的半监督语义分割装置，其特征在于，所述装置包括：
监督训练模块，用于采用有标注城市mesh数据对预构建的mesh语义分割模型进行监督训练，得到第一预测结果；根据所述第一预测结果和有标注城市mesh数据的标签确定有监督损失为：
;
其中，为有监督损失，M为类别数量，为符号函数（0，1），为观测样本i属于类别c的预测概率；
无监督训练模块，用于采用未标记输入城市mesh数据对mesh语义分割模型进行无监督训练，得到伪标签和两个模型预测结果；无监督训练过程为：将所述未标记输入城市mesh数据进行弱增强、然后进行两次强增强后，将得到的弱增强结果、第一强增强结果以及第二强增强结果分别输入到第二个、第三个以及第四个mesh语义分割模型中，得到伪标签和两个模型预测结果；其中监督训练和无监督训练中的mesh语义分割模型是权重共享、结构相同的语义分割网络；根据所述伪标签和两个模型预测结果，计算噪声减少损失和分布对齐损失；
mesh语义分割模型更新模块，用于根据所述监督损失、所述噪声减少损失以及所述分布对齐损失，确定模型总损失；根据所述模型总损失对所述mesh语义分割模型进行优化更新，得到训练好的mesh语义分割模型；其中模型总损失为
;
其中，为模型总损失，为有监督损失，为分布对齐损失，为噪声减少损失；
城市Mesh数据语义分割模块，用于采用训练好的mesh语义分割模型对待分割的城市Mesh数据进行语义分割，得到待分割的城市Mesh数据语义分割结果；
其中，无监督训练模块，还用于根据所述伪标签，计算噪声减少损失为：
;
其中，为噪声减少损失，N为伪标签的数量，为伪标签的第i个样本；
根据所述伪标签和两个模型预测结果采用KL散度，计算分布对齐损失为：
;
其中，为分布对齐损失，为KL散度，、和分别为伪标签、第一个模型预测结果和第二个模型预测结果。
7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的城市Mesh数据的半监督语义分割方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410892756.5A CN118411530B (zh) | 2024-07-04 | 2024-07-04 | 城市Mesh数据的半监督语义分割方法、装置和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410892756.5A CN118411530B (zh) | 2024-07-04 | 2024-07-04 | 城市Mesh数据的半监督语义分割方法、装置和设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118411530A CN118411530A (zh) | 2024-07-30 |
| CN118411530B true CN118411530B (zh) | 2024-09-03 |
Family
ID=92032705
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410892756.5A Active CN118411530B (zh) | 2024-07-04 | 2024-07-04 | 城市Mesh数据的半监督语义分割方法、装置和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118411530B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114926638A (zh) * | 2022-05-24 | 2022-08-19 | 中国科学院软件研究所 | 基于加权互学习的无监督多源域适应图像语义分割方法 |
| CN116993752A (zh) * | 2023-09-27 | 2023-11-03 | 中国人民解放军国防科技大学 | 实景三维Mesh模型语义分割方法、介质和系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022165809A1 (zh) * | 2021-02-07 | 2022-08-11 | 华为技术有限公司 | 一种训练深度学习模型的方法和装置 |
| CN114758337B (zh) * | 2022-06-16 | 2022-10-28 | 山东海量信息技术研究院 | 一种语义实例重建方法、装置、设备及介质 |
| CN115482221A (zh) * | 2022-09-22 | 2022-12-16 | 深圳先进技术研究院 | 一种病理图像的端到端弱监督语义分割标注方法 |
| CN117994525A (zh) * | 2024-03-07 | 2024-05-07 | 华东师范大学 | 基于混合增强和实例信息学习的点云半监督全景分割方法 |
-
2024
- 2024-07-04 CN CN202410892756.5A patent/CN118411530B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114926638A (zh) * | 2022-05-24 | 2022-08-19 | 中国科学院软件研究所 | 基于加权互学习的无监督多源域适应图像语义分割方法 |
| CN116993752A (zh) * | 2023-09-27 | 2023-11-03 | 中国人民解放军国防科技大学 | 实景三维Mesh模型语义分割方法、介质和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118411530A (zh) | 2024-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Weakly supervised semantic segmentation for large-scale point cloud | |
| Sun et al. | Fine-grained vehicle type classification using lightweight convolutional neural network with feature optimization and joint learning strategy | |
| Wu et al. | Generative Adversarial Networks in the built environment: A comprehensive review of the application of GANs across data types and scales | |
| Yin et al. | Automated semantic segmentation of industrial point clouds using ResPointNet++ | |
| Guo et al. | Gan-based virtual-to-real image translation for urban scene semantic segmentation | |
| CN112132149B (zh) | 一种遥感影像语义分割方法及装置 | |
| Li et al. | MapReduce-based fast fuzzy c-means algorithm for large-scale underwater image segmentation | |
| Cong et al. | Image segmentation algorithm based on superpixel clustering | |
| CN110706793A (zh) | 一种基于注意力机制的甲状腺结节半监督分割方法 | |
| CN114913379B (zh) | 基于多任务动态对比学习的遥感图像小样本场景分类方法 | |
| CN115131565A (zh) | 基于半监督学习的组织学图像分割模型 | |
| Xue et al. | Weakly supervised point cloud segmentation via deep morphological semantic information embedding | |
| CN116363144A (zh) | 一种基于扰动协同训练的半监督医学图像分割方法 | |
| Wang et al. | One Class One Click: Quasi scene-level weakly supervised point cloud semantic segmentation with active learning | |
| Chen et al. | A self-attention based global feature enhancing network for semantic segmentation of large-scale urban street-level point clouds | |
| Tian et al. | Semantic segmentation of remote sensing image based on GAN and FCN network model | |
| Kong et al. | A multi-context representation approach with multi-task learning for object counting | |
| Pang et al. | Multihead attention mechanism guided ConvLSTM for pixel-level segmentation of ocean remote sensing images | |
| Sun et al. | Sequential fusion of multi-view video frames for 3D scene generation | |
| Wang et al. | Multi‐scale network for remote sensing segmentation | |
| CN112465836B (zh) | 基于轮廓信息的热红外语义分割无监督领域自适应方法 | |
| Dong et al. | GPU-based supervoxel segmentation for 3D point clouds | |
| CN118411530B (zh) | 城市Mesh数据的半监督语义分割方法、装置和设备 | |
| Chen et al. | Material structure segmentation method based on graph attention | |
| Guan et al. | HashGAT-VCA: A vector cellular automata model with hash function and graph attention network for urban land-use change simulation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |