CN114332104B - 电网输电场景rgb点云语义分割多阶段模型联合优化方法 - Google Patents
电网输电场景rgb点云语义分割多阶段模型联合优化方法 Download PDFInfo
- Publication number
- CN114332104B CN114332104B CN202210227856.7A CN202210227856A CN114332104B CN 114332104 B CN114332104 B CN 114332104B CN 202210227856 A CN202210227856 A CN 202210227856A CN 114332104 B CN114332104 B CN 114332104B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- semantic segmentation
- cloud data
- model
- segmentation result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及电网输电场景RGB点云语义分割多阶段模型联合优化方法。方法包括:获取电网输电场景对应的电网对象点云数据;将电网对象点云数据输入待训练点云语义分割模型,得到第一点云语义分割结果;剔除第一点云语义分割结果中的目标点云数据,得到第二点云语义分割结果;融合第一点云语义分割结果和第二点云语义分割结果,得到融合语义分割结果;基于融合语义分割结果与电网对象点云数据对应的标注结果间的差异,对待训练点云语义分割模型进行训练,得到已训练点云语义分割模型。采用本方法能够电网输电场景点云语义分割模型的准确率。
Description
技术领域
本申请涉及人工智能技术领域,特别是涉及电网输电场景RGB点云语义分割多阶段模型联合优化方法。
背景技术
随着人工智能技术的发展,出现了语义分割技术,该技术应用到多个领域,包括有字符语义分割、点云语义分割以及语音语义分割等,点云语义分割技术的成熟,已经应用到工业的各大领域,为工业生产提供了便利。
传统技术中,点云语义分割采用的是点云-体素卷积神经网络进行特征提取,然后进行分类,但是仅仅通过神经网络却无法深度挖掘出输点云数据的上下文信息,导致神经网络输出的点云语义分割结果往往存在明显的误判,导致点云语义分割的分割错误率高,分割效率低下。
发明内容
基于此,有必要针对上述技术问题,提供一种电网输电场景点云语义分割模型训练方法、装置、计算机设备和计算机可读存储介质。
第一方面,本申请提供了一种电网输电场景点云语义分割模型训练方法。所述方法包括:获取电网输电场景对应的电网对象点云数据,所述电网对象点云数据包括至少一个类别的电网对象对应的点云数据;将所述电网对象点云数据输入待训练点云语义分割模型,得到第一点云语义分割结果,所述第一点云语义分割结果为所述待训练点云语义分割模型对所述电网对象点云数据中各类别的点云数据进行语义分割得到的结果;剔除所述第一点云语义分割结果中的目标点云数据,得到第二点云语义分割结果,所述目标点云数据为不符合电力业务知识逻辑的电网对象对应的点云数据;融合所述第一点云语义分割结果和所述第二点云语义分割结果,得到融合语义分割结果;基于所述融合语义分割结果与所述电网对象点云数据对应的标注结果间的差异,对所述待训练点云语义分割模型进行训练,得到已训练点云语义分割模型。
在其中一个实施例中,所述剔除所述第一点云语义分割结果中的目标点云数据,得到第二点云语义分割结果,包括:基于所述第一点云语义分割结果构建目标点云数据剔除模型,所述目标点云数据剔除模型能剔除的点云数据所对应的类别与各所述电网对象对应的类别一致;将所述第一点云语义分割结果输入所述目标点云数据剔除模型,得到所述第二点云语义分割结果,所述第二点云语义分割结果为根据所述能剔除的点云数据所对应的类别对所述目标点云数据进行剔除。
在其中一个实施例中,所述基于所述第一点云语义分割结果构建目标点云数据剔除模型,包括:分别构建与各所述点云语义分割子结果的类别相对应的点云数据剔除子模型,各所述点云数据剔除子模型能够剔除与该点云数据剔除子模型对应的类别的所述点云语义分割子结果中的点云数据;基于所述点云数据剔除子模型进行组合,得到所述目标点云数据剔除模型。
在其中一个实施例中,所述将所述第一点云语义分割结果输入所述目标点云数据剔除模型,得到所述第二点云语义分割结果,包括:将第一类别的点云语义分割子结果输入至与所述第一类别对应的点云数据剔除子模型,得到所述第一类别对应的点云语义分割结果和第一剔除点云数据,所述第一剔除点云数据包括不符合第一电力业务知识逻辑的电网对象对应的点云数据,所述第一电力业务知识逻辑为所述第一类别的电网对象所对应的电力业务知识逻辑;将所述第一剔除点云数据以及第二类别的点云语义分割子结果输入至与所述第二类别对应的点云数据剔除子模型,得到所述第二类别对应的点云语义分割结果和第二剔除点云数据,所述第二剔除点云数据包括不符合第二电力业务知识逻辑的电网对象对应的点云数据;所述第二电力业务知识逻辑为所述第二类别的电网对象所对应的电力业务知识逻辑;将所述第二剔除点云数据和下一个类别的点云语义分割子结果输入至与所述下一个类别对应的点云数据剔除子模型,直至得到全部类别对应的点云语义分割结果;基于全部所述类别点云语义分割结果进行组合,得到所述第二点云语义分割结果。
在其中一个实施例中,所述融合所述第一点云语义分割结果和所述第二点云语义分割结果,得到融合语义分割结果,包括:获取第一加权系数以及第二加权系数;将所述第一加权系数与所述第一点云语义分割结果进行运算,得到第一加权点云语义分割结果;将所述第二加权系数与所述第二点云语义分割结果进行运算,得到第二加权点云语义分割结果;将所述第一加权点云语义分割结果以及所述第二加权点云语义分割结果进行融合,得到融合语义分割结果。
在其中一个实施例中,所述基于所述融合语义分割结果与所述电网对象点云数据对应的标注结果间的差异,对所述待训练点云语义分割模型进行训练,得到已训练点云语义分割模型,包括:基于所述融合语义分割结果与所述电网对象点云数据对应的标注结果间的差异,得到所述待训练点云语义分割模型的模型损失值;调整所述待训练点云语义分割模型的参数,使得所述模型损失值小于预设要求,得到所述已训练点云语义分割模型。
第二方面,本申请还提供了一种电网输电场景点云语义分割模型训练装置。所述装置包括:
电网对象点云数据获取模块,用于获取电网输电场景对应的电网对象点云数据,所述电网对象点云数据包括至少一个类别的电网对象对应的点云数据;
第一点云语义分割结果得到模块,用于将所述电网对象点云数据输入待训练点云语义分割模型,得到第一点云语义分割结果,所述第一点云语义分割结果为所述待训练点云语义分割模型对所述电网对象点云数据中各类别的点云数据进行语义分割得到的结果;
第二点云语义分割结果得到模块,用于剔除所述第一点云语义分割结果中的目标点云数据,得到第二点云语义分割结果,所述目标点云数据为不符合电力业务知识逻辑的电网对象对应的点云数据;
融合语义分割结果得到模块,用于融合所述第一点云语义分割结果和所述第二点云语义分割结果,得到融合语义分割结果;
已训练点云语义分割模型得到模块,用于基于所述融合语义分割结果与所述电网对象点云数据对应的标注结果间的差异,对所述待训练点云语义分割模型进行训练,得到已训练点云语义分割模型。
在一个实施例中,第二点云语义分割结果得到模块,用于基于所述第一点云语义分割结果构建目标点云数据剔除模型,所述目标点云数据剔除模型能剔除的点云数据所对应的类别与各所述电网对象对应的类别一致;将所述第一点云语义分割结果输入所述目标点云数据剔除模型,得到所述第二点云语义分割结果,所述第二点云语义分割结果为根据所述能剔除的点云数据所对应的类别对所述目标点云数据进行剔除。
在一个实施例中,第二点云语义分割结果得到模块,用于分别构建与各所述点云语义分割子结果的类别相对应的点云数据剔除子模型,各所述点云数据剔除子模型能够剔除与该点云数据剔除子模型对应的类别的所述点云语义分割子结果中的点云数据;基于所述点云数据剔除子模型进行组合,得到所述目标点云数据剔除模型。
在一个实施例中,第二点云语义分割结果得到模块,用于将第一类别的点云语义分割子结果输入至与所述第一类别对应的点云数据剔除子模型,得到所述第一类别对应的点云语义分割结果和第一剔除点云数据,所述第一剔除点云数据包括不符合第一电力业务知识逻辑的电网对象对应的点云数据,所述第一电力业务知识逻辑为所述第一类别的电网对象所对应的电力业务知识逻辑;将所述第一剔除点云数据以及第二类别的点云语义分割子结果输入至与所述第二类别对应的点云数据剔除子模型,得到所述第二类别对应的点云语义分割结果和第二剔除点云数据,所述第二剔除点云数据包括不符合第二电力业务知识逻辑的电网对象对应的点云数据;所述第二电力业务知识逻辑为所述第二类别的电网对象所对应的电力业务知识逻辑;将所述第二剔除点云数据和下一个类别的点云语义分割子结果输入至与所述下一个类别对应的点云数据剔除子模型,直至得到全部类别对应的点云语义分割结果;基于全部所述类别点云语义分割结果进行组合,得到所述第二点云语义分割结果。
在一个实施例中,融合语义分割结果得到模块,用于获取第一加权系数以及第二加权系数;将所述第一加权系数与所述第一点云语义分割结果进行运算,得到第一加权点云语义分割结果;将所述第二加权系数与所述第二点云语义分割结果进行运算,得到第二加权点云语义分割结果;将所述第一加权点云语义分割结果以及所述第二加权点云语义分割结果进行融合,得到融合语义分割结果。
在一个实施例中,已训练点云语义分割模型得到模块,用于基于所述融合语义分割结果与所述电网对象点云数据对应的标注结果间的差异,得到所述待训练点云语义分割模型的模型损失值;调整所述待训练点云语义分割模型的参数,使得所述模型损失值小于预设要求,得到所述已训练点云语义分割模型。
第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:获取电网输电场景对应的电网对象点云数据,所述电网对象点云数据包括至少一个类别的电网对象对应的点云数据;将所述电网对象点云数据输入待训练点云语义分割模型,得到第一点云语义分割结果,所述第一点云语义分割结果为所述待训练点云语义分割模型对所述电网对象点云数据中各类别的点云数据进行语义分割得到的结果;剔除所述第一点云语义分割结果中的目标点云数据,得到第二点云语义分割结果,所述目标点云数据为不符合电力业务知识逻辑的电网对象对应的点云数据;融合所述第一点云语义分割结果和所述第二点云语义分割结果,得到融合语义分割结果;基于所述融合语义分割结果与所述电网对象点云数据对应的标注结果间的差异,对所述待训练点云语义分割模型进行训练,得到已训练点云语义分割模型。
第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:获取电网输电场景对应的电网对象点云数据,所述电网对象点云数据包括至少一个类别的电网对象对应的点云数据;将所述电网对象点云数据输入待训练点云语义分割模型,得到第一点云语义分割结果,所述第一点云语义分割结果为所述待训练点云语义分割模型对所述电网对象点云数据中各类别的点云数据进行语义分割得到的结果;剔除所述第一点云语义分割结果中的目标点云数据,得到第二点云语义分割结果,所述目标点云数据为不符合电力业务知识逻辑的电网对象对应的点云数据;融合所述第一点云语义分割结果和所述第二点云语义分割结果,得到融合语义分割结果;基于所述融合语义分割结果与所述电网对象点云数据对应的标注结果间的差异,对所述待训练点云语义分割模型进行训练,得到已训练点云语义分割模型。
上述电网输电场景点云语义分割模型训练方法、装置、计算机设备和存储介质,通过获取电网输电场景对应的电网对象点云数据,电网对象点云数据包括至少一个类别的电网对象对应的点云数据;将电网对象点云数据输入待训练点云语义分割模型,得到第一点云语义分割结果,第一点云语义分割结果为待训练点云语义分割模型对电网对象点云数据中各类别的点云数据进行语义分割得到的结果;剔除第一点云语义分割结果中的目标点云数据,得到第二点云语义分割结果,目标点云数据为不符合电力业务知识逻辑的电网对象对应的点云数据;融合第一点云语义分割结果和第二点云语义分割结果,得到融合语义分割结果;基于融合语义分割结果与电网对象点云数据对应的标注结果间的差异,对待训练点云语义分割模型进行训练,得到已训练点云语义分割模型。
通过获取电网输电场景对应的电网对象点云数据,然后把该数据输入至待训练点云语义分割模型进行语义分割,能够获得初步的分割结果,并且根据分割结果对待训练点云语义分割模型进行初步的参数调整,通过将第一点云语义分割结果中的目标点云数据进行剔除,可得到第二点云语义分割结果,能够进一步对分割结果进行优化,获得一个更理想的分割结果,将第一点云语义分割结果和第二点云语义分割结果进行融合,可得到融合语义分割结果,能够把第一点云语义分割结果和第二点云语义分割结果通过融合的方法结合起来,并且融合之后同时能够反映这两个语义分割结果的信息,将融合语义分割结果与电网对象点云数据对应的标注结果两者之间的差异进行计算,能够进一步调整待训练点云语义分割模型的参数,使得待训练点云语义分割模型的性能更加优异,得到已训练点云语义分割模型。
通过点基于点云语义分割神经网络模型建立的待训练点云语义分割模型与根据电力业务知识逻辑对不符合的点云数据进行剔除后的结果联合优化,解决了单一的神经网络无法深度挖掘出输电场景点云数据的电力相关上下文信息的问题,提升了电网输电场景点云语义分割模型的准确率。
附图说明
图1为一个实施例中电网输电场景点云语义分割模型训练方法的应用环境图;
图2为一个实施例中电网输电场景点云语义分割模型训练方法的流程示意图;
图3为一个实施例中电网输电场景点云语义分割模型训练步骤的流程示意图;
图4为另一个实施例中电网输电场景点云语义分割模型训练方法的流程示意图;
图5为又一个实施例中电网输电场景点云语义分割模型训练方法的流程示意图;
图6为再一个实施例中电网输电场景点云语义分割模型训练方法的流程示意图;
图7为其余一个实施例中电网输电场景点云语义分割模型训练方法中的流程示意图;
图8为一个实施例中电网输电场景点云语义分割模型联合优化方法流程图;
图9为一个实施例中电网35kV输电场景点云语义分割效果;
图10为一个实施例中电网输电场景点云语义分割模型训练装置的结构框图;
图11为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的电网输电场景点云语义分割模型训练方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信,而且服务器104响应于终端102的指令执行步骤,服务器104对数据进行处理后通过网络显示在终端102上。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上,也可以放在云上或其他网络服务器上。服务器104从终端102处获取电网输电场景对应的电网对象点云数据,电网对象点云数据包括至少一个类别的电网对象对应的点云数据;将电网对象点云数据输入待训练点云语义分割模型,得到第一点云语义分割结果,第一点云语义分割结果为待训练点云语义分割模型对电网对象点云数据中各类别的点云数据进行语义分割得到的结果;剔除第一点云语义分割结果中的目标点云数据,得到第二点云语义分割结果,目标点云数据为不符合电力业务知识逻辑的电网对象对应的点云数据;融合第一点云语义分割结果和第二点云语义分割结果,得到融合语义分割结果;基于融合语义分割结果与电网对象点云数据对应的标注结果间的差异,对待训练点云语义分割模型进行训练,得到已训练点云语义分割模型。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种电网输电场景点云语义分割模型训练方法,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:
步骤202,获取电网输电场景对应的电网对象点云数据。
其中,电网输电可以是将发电厂、变电所或变电所之间连接起来的送电网络,主要承担输送电能的任务。根据输电电压的不同又可以分为高压输电网(110~220kv)、超高压输电网(330~750kv)和特高压输电网(1000kv及以上),输电网是由输电设备和变电设备构成的。输电设备主要有输电线、杆塔、绝缘子串、空线路等;变电设备主要有变压器、电抗器、电容器、断路器、接地开关、避雷器、电压互感器、电流互感器以及电力保护、监视、控制、通信系统,由电网输电设备所构成的具体事例为电网输电场景。
其中,电网对象点云数据可以是包含电网上面全部物品的点云数据(point clouddata),其中点云数据可以是在一个三维坐标系统中的一组向量的集合,扫描资料以点的形式记录,每一个点包含有三维坐标,有些可能含有颜色信息(RGB)或反射强度信息(Intensity),点云数据除了具有几何位置以外,部分还有颜色信息,颜色信息通常是通过相机获取彩色影像,然后将对应位置的像素的颜色信息(RGB)赋予点云中对应的点,强度信息的获取是激光扫描仪接收装置采集到的回波强度,此强度信息与目标的表面材质、粗糙度、入射角方向,以及仪器的发射能量,激光波长有关。
具体地,服务器从终端处获取与电网输电场景有关的电网对象点云数据,电网对象点云数据包括至少一个类别的电网对象对应的点云数据,该数据会被存储到服务器的存储单元中,而服务器对该数据进行计算时会调用需要计算的数据到中央处理器进行处理。服务器获取到电网对象点云数据后,可以通过人工或者计算机模型自动将对电网输电场景RGB点云数据进行分类,区分导线、杆塔、树木以及房屋等多个类别,完成标注的点云数据包含XYZ空间坐标、RGB三通道颜色数值和类别标签,作为下一步PVCNN网络训练的输入。
举例来说,服务器A响应终端H所发出的指令获取到电网输电场景对应的电网对象点云数据,该电网对象点云数据具有多个类别,分别为导线、杆塔、树木以及房屋,获取到数据后采取人工的方式对数据进行标注,标注的内容有XYZ空间坐标,RGB三通道颜色数值和类别标签,标注好后把该数据存储到服务器的存储单元中。
步骤204,将电网对象点云数据输入待训练点云语义分割模型,得到第一点云语义分割结果。
其中,待训练点云语义分割模型可以是已经构建好,并且拥有相关参数的人工智能模型,但是该模型并未进行训练,因此该模型的语义分割效果未能达到预设要求。
其中,第一点云语义分割结果可以是电网对象点云数据通过标注后输入至待训练点云语义分割模型中得到的语义分割结果,该语义分割结果显示了该模型的性能,通过调节该模型的参数可以使得该语义分割结果变得更好。
具体地,将电网对象点云数据通过标注后输入至待训练点云语义分割模型,该模型为人工智能模型,例如可以是点云-体素卷积神经网络模型(Point-VoxelConvolutional Neural Networks,PVCNN),是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks),卷积神经网络具有表征学习(representationlearning)能力,能够按其阶层结构对输入信息进行平移不变分类(shift-invariantclassification),经过待训练点云语义分割模型的特征提取层以及分类层进行分割后,得到第一点云语义分割结果,该语义分割结果可以通过调整待训练点云语义分割模型的参数得到更优的分割结果。
举例来说,电网对象点云数据中标注有导线、杆塔、树木以及房屋这四个分类的目标物品,将该电网对象点云数据输入至待训练点云语义分割模型,经过待训练点云语义分割模型的特征提取层以及分类层进行语义分割,得到包含导线、杆塔、树木以及房屋这四个分类的目标物品的第一点云语义分割结果,通过改变待训练点云语义分割模型的参数,可以使得待训练点云语义分割模型的语义分割性能更优。
步骤206,剔除第一点云语义分割结果中的目标点云数据,得到第二点云语义分割结果。
其中,剔除可以是把不好的或不合适的语义分割结果从第一点云语义分割结果中筛选出来。
其中,目标点云数据可以是第一点云语义分割结果中不符合电力业务知识逻辑的电网对象对应的点云数据,例如泥土的点云数据,海水的点云数据或者汽车的点云数据。
其中,第二点云语义分割结果可以是第一点云语义分割结果经过多维树状模型中对应物品类别进行剔除而得到的结果。
具体地,将第一点云语义分割结果输入到多维树状模型中,其中多维树状模型可以是G-KDTree模型,G-KDTree模型通过输电场景电力专业知识对点云-体素卷积神经网络模型的输出结果进行优化,并辅助点云-体素卷积神经网络模型的训练,经过多维树状模型对第一点云语义分割结果中的电网对象对应的点云数据中的不合适点云数据进行剔除,得到了第二点云语义分割结果,该结果可以辅助电网输电场景点云语义分割模型的训练。
举例来说,第一点云语义分割结果中包含了导线、杆塔、树木以及房屋这四个分类的目标物品,同时多维树状模型中按照第一点云语义分割结果构建了多个树状子模型,每一个树状子模型都对应第一点云语义分割结果的一个类型,多维树状模型中的导线树状子模型把具有导线的点云数据筛选出来,同样把杆塔、树木以及房屋的点云数据都筛选出来,将四个类别筛选出来的点云数据的集合就叫做第二点云语义分割结果。
步骤208,融合第一点云语义分割结果和第二点云语义分割结果,得到融合语义分割结果。
其中,融合可以是将第一点云语义分割结果以及第二点云语义分割结果通过数学计算的办法将两者结合起来,从而得到一个融合后的结果。
其中,融合语义分割结果可以是第一点云语义分割结果以及第二点云语义分割结果通过数学计算的办法结合起来,同时能够表达第一点云语义分割结果以及第二点云语义分割结果的信息的一个计算结果。
具体地,将第一点云语义分割结果以及第二点云语义分割结果同时输入至数学模型中,通过该模型的计算,提取第一点云语义分割结果以及第二点云语义分割结果中的信息,并且进行融合,例如将第一点云语义分割结果以及第二点云语义分割结果进行加权计算等方法,得到融合语义分割结果,该结果对比第一点云语义分割结果以及第二点云语义分割结果对待训练点云语义分割模型的参数表示会更加精确。
举例来说,将第一点云语义分割结果以及第二点云语义分割结果选择数学加权模型进行加权计算,加权计算中的加权系数可以是人为设定或者是计算机根据实际情况动态调整,第一点云语义分割结果以及第二点云语义分割结果经过加权计算后得到了融合语义分割结果。
步骤210,基于融合语义分割结果与电网对象点云数据对应的标注结果间的差异,对待训练点云语义分割模型进行训练,得到已训练点云语义分割模型。
其中,标注结果可以是对电网对象点云数据进行分类,区分导线、杆塔、树木、房屋等多个类别,完成标注的点云数据包含XYZ空间坐标、RGB三通道颜色数值和类别标签。
其中,进行训练可以是对根据融合语义分割结果与电网对象点云数据对应的标注结果间的差异进行模型损失值的计算,进一步对待训练点云语义分割模型中的参数进行调整。
其中,已训练点云语义分割模型可以是对待训练点云语义分割模型中的参数进行调整后,使得待训练点云语义分割模型的性能以及输出结果能够达到预设的条件,因此待训练点云语义分割模型就被训练成已训练点云语义分割模型。
具体地,通过融合语义分割结果与电网对象点云数据对应的标注结果之间的差异计算模型损失值,调节待训练点云语义分割模型中的特征提取层以及分类层的参数,使得损失值逐渐变小,直至到符合预定设置的要求,经过参数调整的待训练点云语义分割模型已经的性能已经能够满足业务需求,因此成为了已训练点云语义分割模型。
举例来说,预定设置的要求是融合语义分割结果与电网对象点云数据对应的标注结果之间的差异所计算的模型损失值小于1才能够满足业务需求,但是目前融合语义分割结果与电网对象点云数据对应的标注结果之间的差异所计算的模型损失值为3,经过调整待训练点云语义分割模型中的特征提取层以及分类层的参数,使得模型损失值从3不断变小,直到模型损失值小于1,待训练点云语义分割模型成为了已训练点云语义分割模型。
上述电网输电场景点云语义分割模型训练方法中,通过获取电网输电场景对应的电网对象点云数据,电网对象点云数据包括至少一个类别的电网对象对应的点云数据;将电网对象点云数据输入待训练点云语义分割模型,得到第一点云语义分割结果,第一点云语义分割结果为待训练点云语义分割模型对电网对象点云数据中各类别的点云数据进行语义分割得到的结果;剔除第一点云语义分割结果中的目标点云数据,得到第二点云语义分割结果,目标点云数据为不符合电力业务知识逻辑的电网对象对应的点云数据;融合第一点云语义分割结果和第二点云语义分割结果,得到融合语义分割结果;基于融合语义分割结果与电网对象点云数据对应的标注结果间的差异,对待训练点云语义分割模型进行训练,得到已训练点云语义分割模型。
通过获取电网输电场景对应的电网对象点云数据,然后把该数据输入至待训练点云语义分割模型进行语义分割,能够获得初步的分割结果,并且根据分割结果对待训练点云语义分割模型进行初步的参数调整,通过将第一点云语义分割结果中的目标点云数据进行剔除,可得到第二点云语义分割结果,能够进一步对分割结果进行优化,获得一个更理想的分割结果,将第一点云语义分割结果和第二点云语义分割结果进行融合,可得到融合语义分割结果,能够把第一点云语义分割结果和第二点云语义分割结果通过融合的方法结合起来,并且融合之后同时能够反映这两个语义分割结果的信息,将融合语义分割结果与电网对象点云数据对应的标注结果两者之间的差异进行计算,能够进一步调整待训练点云语义分割模型的参数,使得待训练点云语义分割模型的性能更加优异,得到已训练点云语义分割模型。
通过点基于云语义分割神经网络模型建立的待训练点云语义分割模型与根据电力业务知识逻辑对不符合的点云数据进行剔除后的结果联合优化,解决了单一的神经网络无法深度挖掘出输电场景点云数据的电力相关上下文信息的问题,提升了电网输电场景点云语义分割模型的准确率。
在一个实施例中,如图3所示,剔除第一点云语义分割结果中的目标点云数据,得到第二点云语义分割结果,目标点云数据为不符合电力业务知识逻辑的电网对象对应的点云数据,包括:
步骤302,基于第一点云语义分割结果构建目标点云数据剔除模型。
其中,目标点云数据剔除模型可以是对目标点云数据进行剔除的模型,剔除的目标点云数据是根据不符合电力业务知识逻辑的电网对象所确定,例如到线上面的小鸟,杆塔上面的货车等。
具体地,根据第一点云语义分割结果的具体的分割类别来确定目标点云数据剔除模型的所需要剔除的类别,然后根据所需要剔除的类别构建目标点云数据剔除模型,目标点云数据剔除模型能够根据所设定的剔除类别对第一点云语义分割结果中的目标点云数据进行剔除,目标点云数据剔除模型可以是多维树状模型(G-KDTree模型),G-KDTree模型通过输电场景电力专业知识对点云-体素卷积神经网络模型的输出结果进行优化,并辅助点云-体素卷积神经网络模型的训练。
举例来说,对于地区G中的第一点云语义分割结果里面的点云数据具有导线、杆塔以及树木三种类别,然后根据分割出来的点云数据的类别构建能剔除不符合导线、杆塔以及树木这三种类别的目标点云数据的剔除模型,该模型命名为目标点云数据剔除模型。
步骤304,将第一点云语义分割结果输入目标点云数据剔除模型,得到第二点云语义分割结果。
具体地,将第一点云语义分割结果输入目标点云数据剔除模型,目标点云数据剔除模型根据第一点云语义分割结果中点云数据的类型,对应地对点云数据中的目标点云数据进行剔除,而且第一点云语义分割结果中点云数据的类型与目标点云数据剔除模型能够剔除的目标点云数据的类型相匹配,得到第二点云语义分割结果。
举例来说,对于地区G中的第一点云语义分割结果输入目标点云数据剔除模型,其中第一点云语义分割结果里面的点云数据具有导线、杆塔以及树木三种类别,目标点云数据剔除模型根据第一点云语义分割结果中点云数据的类型,对应地对点云数据中的不是导线、杆塔以及树木三种类别的点云数据进行剔除,得到第二点云语义分割结果。
本实施例中,通过对目标点云数据剔除模型的建立,剔除第一点云语义分割结果中不符合电力业务逻辑的电网对象对应的点云数据,能够达到进一步使得对电网中的点云语义分割结果更为准确,分割效果更好。
在一个实施例中,如图4所示,基于第一点云语义分割结果构建目标点云数据剔除模型,包括:
步骤402,分别构建与各点云语义分割子结果的类别相对应的点云数据剔除子模型。
其中,点云语义分割子结果的类别可以是每一个点云语义分割子结果都具备表示同一个类别的已分割的点云数据,当中的点云语义分割子结果可以是第一点云语义分割结果中表示各个类别的子结果,例如导线、杆塔以及树木。
其中,点云数据剔除子模型可以是点云数据剔除模型中对应第一点云语义分割结果中的类别而构建起来的子模型,例如导线G-KDTree模型、杆塔G-KDTree模型和树木G-KDTree模型,所有点云数据剔除子模型的集合就为点云数据剔除模型。
具体地,根据第一点云语义分割结果中的点云语义分割子结果的类别构建点云数据剔除模型中的子模型,而且每一个点云语义分割子结果的类别与每一个点云数据剔除子模型所能够剔除的类别是相对应的,例如点云语义分割子结果中是树木的类型,那么对应的点云数据剔除子模型为树木G-KDTree模型,得到各点云语义分割子结果的类别相对应的点云数据剔除子模型。
举例来说,对于地区G中的第一点云语义分割结果具有导线、杆塔以及树木三种类别点云语义分割子结果,根据这三种类别一一对应构建出点云数据剔除子模型,分别为:导线G-KDTree模型、杆塔G-KDTree模型和树木G-KDTree模型。
步骤404,基于点云数据剔除子模型进行组合,得到目标点云数据剔除模型。
其中,进行组合可以是对点云数据剔除子模型按照预设的顺序进行组合,也可以是按照任意的顺序进行组合,任意色顺序可以是人为进行设定,也可以是计算机自己进行设定。
具体地,对已经选定的类别进行构建的点云数据剔除子模型进行按照预设的顺序进行组合,或者按照任意的顺序进行组合,该任意的顺序可以是人为随意设定,也可以是计算机自己随意设定,组合后得到了目标点云数据剔除模型。
举例来说,地区G中的点云数据剔除子模型分别为:导线G-KDTree模型、杆塔G-KDTree模型和树木G-KDTree模型,然后对上述三个点云数据剔除子模型按照预设的顺序或者任意的顺序进行组合,得到了目标点云数据剔除模型。
本实施例中,通过构建与各点云语义分割子结果的类别相对应的点云数据剔除子模型,能够达到精确地剔除每一个对应的点云语义分割子结果中不符合电力业务逻辑的电网对象对应的点云数据,而且一个点云数据剔除子模型对应一个点云语义分割子结果,逻辑相对简单,能够大大地提高剔除的效率。
在一个实施例中,如图5所示将第一点云语义分割结果输入目标点云数据剔除模型,得到第二点云语义分割结果,包括:
步骤502,将第一类别的点云语义分割子结果输入至与第一类别对应的点云数据剔除子模型,得到第一类别对应的点云语义分割结果和第一剔除点云数据。
其中,第一类别可以是从第一点云语义分割结果中得到的各个类别的点云语义分割子结果有固定的规则或者任意地选取第一个类别。
其中,第一类别对应的点云语义分割结果可以是第一类别的点云语义分割子结果通过对应类别的点云数据剔除子模型把目标点云数据剔除后所得到的点云数据。
其中,第一剔除点云数据可以是第一类别的点云语义分割子结果通过对应类别的点云数据剔除子模型剔除出来的目标点云数据。
具体地,将通过固定规则或者任意选定的第一类别的点云语义分割子结果输入至第一类别相对应的,也就是相同类别的点云数据剔除子模型,通过点云数据剔除子模型对第一类别的点云语义分割子结果中的目标点云数据进行剔除,得到了第一类别对应的点云语义分割结果和第一剔除点云数据,其中,第一剔除点云数据包括不符合第一电力业务知识逻辑的电网对象对应的点云数据,第一电力业务知识逻辑为第一类别的电网对象所对应的电力业务知识逻辑。
举例来说,地区G中通过点云语义分割得到了具有10种类别的第一点云语义分割结果,将这10种类别中通过固定规则或者任意选定的第一类别的点云语义分割子结果输入至第一类别相对应的,也就是相同类别的点云数据剔除子模型,通过点云数据剔除子模型对第一类别的点云语义分割子结果中的目标点云数据进行剔除,得到了第一类别对应的点云语义分割结果和第一类别的剔除点云数据。
步骤504,将第一剔除点云数据以及第二类别的点云语义分割子结果输入至与第二类别对应的点云数据剔除子模型,得到第二类别对应的点云语义分割结果和第二剔除点云数据。
其中,第二类别可以是从第一点云语义分割结果中得到的各个类别的点云语义分割子结果有固定的规则或者任意地选取第二个类别。
其中,第二类别对应的点云语义分割结果可以是第二类别的点云语义分割子结果通过对应类别的点云数据剔除子模型把目标点云数据剔除后所得到的点云数据。
其中,第二剔除点云数据可以是第二类别的点云语义分割子结果通过对应类别的点云数据剔除子模型剔除出来的目标点云数据。
具体地,将通过固定规则或者任意选定的第二类别的点云语义分割子结果以及第一剔除点云数据输入至第二类别相对应的,也就是相同类别的点云数据剔除子模型,通过点云数据剔除子模型对第二类别的点云语义分割子结果中的目标点云数据进行剔除,得到了第二类别对应的点云语义分割结果和第二剔除点云数据,其中,第二剔除点云数据包括不符合第二电力业务知识逻辑的电网对象对应的点云数据,第二电力业务知识逻辑为第二类别的电网对象所对应的电力业务知识逻辑。
举例来说,地区G中通过点云语义分割得到了具有10种类别的第一点云语义分割结果,将这10种类别中的第一剔除点云数据以及通过固定规则或者任意选定的第二类别的点云语义分割子结果输入至第二类别相对应的,也就是相同类别的点云数据剔除子模型,通过点云数据剔除子模型对第二类别的点云语义分割子结果中的目标点云数据进行剔除,得到了第二类别对应的点云语义分割结果和第二类别的剔除点云数据。
步骤506,将第二剔除点云数据和下一个类别的点云语义分割子结果输入至与下一个类别对应的点云数据剔除子模型,直至得到全部类别对应的点云语义分割结果。
其中,下一个类别可以是从第一点云语义分割结果中得到的各个类别的点云语义分割子结果有固定的规则或者任意地选取第N个类别剔除点云数据对应的第N+1各类别的点云语义分割子结果,例如第十剔除点云数据要结合第十一个类别的点云语义分割子结果进行输入。
其中,全部类别对应的点云语义分割结果可以是第一点云语义分割结果中得到的各个类别的点云语义分割子结果都经过对应的点云数据剔除子模型进行目标点云数据剔除所得到的结果。
具体地,将通过固定规则或者任意选定的下一个类别的点云语义分割子结果以及第二剔除点云数据输入至下一个类别相对应的,也就是相同类别的点云数据剔除子模型,通过点云数据剔除子模型对下一个类别的点云语义分割子结果中的目标点云数据进行剔除,得到了下一个类别对应的点云语义分割结果和下一个类别的剔除点云数据,通过不断循环,直至得到了全部类别对应的点云语义分割结果。
举例来说,地区G中通过点云语义分割得到了具有10种类别的第一点云语义分割结果,将这10种类别中的第N剔除点云数据以及通过固定规则或者任意选定的第N+1类别的点云语义分割子结果输入至第N+1类别相对应的,也就是相同类别的点云数据剔除子模型,通过点云数据剔除子模型对第N+1类别的点云语义分割子结果中的目标点云数据进行剔除,得到了第N+1类别对应的点云语义分割结果和第N+1类别的剔除点云数据,通过不断循环,直至得到了10类别对应的点云语义分割结果。
步骤508,基于全部类别点云语义分割结果进行组合,得到第二点云语义分割结果。
其中,进行组合可以是对全部类别点云语义分割子结果按照预设的顺序进行组合,也可以是按照任意的顺序进行组合,任意色顺序可以是人为进行设定,也可以是计算机自己进行设定。
具体地,对已经进行目标点云数据剔除的全部类别点云语义分割结果进行按照预设的顺序进行组合,或者按照任意的顺序进行组合,该任意的顺序可以是人为随意设定,也可以是计算机自己随意设定,组合后得到了第二点云语义分割结果。
举例来说,地区G中通过点云语义分割得到了具有10种类别的第一点云语义分割结果,通过点云数据剔除子模型对10种类别的点云语义分割子结果中的目标点云数据进行剔除,然后对上述10种类别的点云语义分割结果按照预设的顺序或者任意的顺序进行组合,得到了第二点云语义分割结果。
本实施例中,通过循环的方法让第一点云语义分割结果中每一个点云语义分割子结果都被对应的点云数据剔除子模型进行目标点云数据剔除,得到全部类别对应的点云语义分割结果,能够达到每一个类别的点云数据剔除子模型都参与剔除以保证所有保留下来的点云数据都符合电力业务知识逻辑。
在一个实施例中,如图6所示,融合第一点云语义分割结果和第二点云语义分割结果,得到融合语义分割结果,包括:
步骤602,获取第一加权系数以及第二加权系数。
其中,第一加权系数可以是对第一点云语义分割结果进行加权的系数,来达到对第一点云语义分割结果进行比重分配的效果。
其中,第二加权系数可以是对第二点云语义分割结果进行加权的系数,来达到对第二点云语义分割结果进行比重分配的效果。
具体地,根据需求或者点云语义分割的情况预先设定,也可以计算机根据分割结果智能分析出第一加权系数以及第二加权系数。
举例来说,预先为第一点云语义分割结果设定第一加权系数为0.3,而预先为第二点云语义分割结果设定第二加权系数为0.7。
步骤604,将第一加权系数与第一点云语义分割结果进行运算,得到第一加权点云语义分割结果。
其中,第一加权点云语义分割结果可以是通过第一加权系数对第一点云语义分割结果进行加权运算后所得到的结果。
具体地,将第一加权系数与第一点云语义分割结果进行数学运算,其中数学运算可以有多种,例如乘法运算,对数运算以及指数运算等,根据不同的情况人为预设或者计算机自己选择,加权后得到第一加权点云语义分割结果。
举例来说,预设使用乘法运算对第一点云语义分割结果进行加权,第一加权系数为0.3,第一点云语义分割结果为K,加权后的第一加权点云语义分割结果为0.3K。
步骤606,将第二加权系数与第二点云语义分割结果进行运算,得到第二加权点云语义分割结果。
其中,第二加权点云语义分割结果可以是通过第二加权系数对第二点云语义分割结果进行加权运算后所得到的结果。
具体地,将第二加权系数与第二点云语义分割结果进行数学运算,其中数学运算可以有多种,例如乘法运算,对数运算以及指数运算等,根据不同的情况人为预设或者计算机自己选择,加权后得到第二加权点云语义分割结果。
举例来说,预设使用乘法运算对第二点云语义分割结果进行加权,第二加权系数为0.7,第一点云语义分割结果为L,加权后的第一加权点云语义分割结果为0.7L。
步骤608,将第一加权点云语义分割结果以及第二加权点云语义分割结果进行融合,得到融合语义分割结果。
其中,进行融合可以是对各个加权后的各个点云语义分割结果使用数学运算的方法进行结合,结合后得到一个总的语义分割结果。
其中,融合语义分割结果可以是通过对各个加权后的各个点云语义分割结果进行数学运算后所得到能够表示多者的占比以及信息的结果,该结果对调节待训练点云语义分割模型的参数更具有代表性。
具体地,将第一加权点云语义分割结果以及第二加权点云语义分割结果进行数学运算,该数学运算可以有多种,例如加法运算、乘法运算、指数运算以及对数运算等,通过数学运算后所得到的结果为融合语义分割结果。
举例来说,第一加权点云语义分割结果为0.3K,而第二加权点云语义分割结果为0.7L,通过加法运算把两者融合起来,得到融合语义分割结果M=0.3K+0.7L。
本实施例中,通过采用加权的办法对第一点云语义分割结果以及第二点云语义分割结果进行加权,然后把加权后的结果进行融合,能够达到根据实际情况改变第一点云语义分割结果以及第二点云语义分割结果的权重,使得融合语义分割结果更能够表达出模型的性能。
在一个实施例中,如图7所示,对待训练点云语义分割模型进行训练,得到已训练点云语义分割模型,包括:
步骤702,基于融合语义分割结果与电网对象点云数据对应的标注结果间的差异,得到待训练点云语义分割模型的模型损失值。
其中,电网对象点云数据对应的标注结果可以是对电网输电场景对应的电网对象点云数据进行分类,区分导线、杆塔、树木、房屋等多个类别,完成标注的点云数据包含XYZ空间坐标、RGB三通道颜色数值和类别标签。
其中,模型损失值可以是表示待训练点云语义分割模型性能的参数,通过调节模型的参数可以改变损失值的大小。
具体地,通过融合语义分割结果和电网对象点云数据对应的标注结果的差异进行计算,计算结果为待训练点云语义分割模型的模型损失值,调节该模型的参数可以改变损失值的大小,待训练点云语义分割模型的模型损失值的计算式如下,
其中yi代表的是PVCNN与G-KDTree联合优化的预测结果,pi代表的是电网对象点云数据对应的标注结果,N为点云语义分割的类别数。
举例来说,融合语义分割结果为Y,而电网对象点云数据对应的标注结果P,通过上述表达式进行模型损失值的计算,可以得到模型损失值Loss。
步骤704,调整待训练点云语义分割模型的参数,使得模型损失值小于预设要求,得到已训练点云语义分割模型。
其中,待训练点云语义分割模型的参数可以是待训练点云语义分割模型中表示性能的重要指标,调节模型中的参数可以使得待训练点云语义分割模型的性能改变。
其中,预设要求可以是按照业务需求对模型损失值的大小进行设定的参考值,如果模型损失值小于该预设要求的参考值,表示该模型的性能满足业务的需求,可以正常使用。
具体地,调整待训练点云语义分割模型中的特征提取层以及分类层的参数,使得模型损失值越来越小,直到小于预设要求的参考值,得到已训练点云语义分割模型,因为该模型损失值已经小于预设要求的参考值,因此该模型能够满足业务需求。
举例来说,通过融合语义分割结果与电网对象点云数据对应的标注结果之间的差异计算得到模型损失值为3,根据业务要求,模型损失值小于1才能够正常使用模型,因此调整待训练点云语义分割模型的特征提取层以及分类层参数,使得模型损失值从3往小于1的方向接近,直到模型损失值小于1,得到已训练点云语义分割模型。
本实施例中,通过融合语义分割结果与电网对象点云数据对应的标注结果之间的差异进行模型损失值的计算,能够达到模型损失值更能表达出待训练点云语义分割模型的真实情况,使得模型参数调整更有效率。
在一个实施例中,对于本技术方案具体实施流程如下面的例子所示。电网输电场景点云语义分割模型训练方法主要包括五个部分:RGB点云数据标注,PVCNN网络训练,构造G-KDTree模型,联合优化,模型预测。首先对输电场景RGB点云数据进行标注,区分导线、杆塔、树木、房屋四个类别;然后构造PVCNN神经网络模型,使用PVCNN对完成标注的RGB点云数据进行训练;然后基于PVCNN训练过程中的输出结果,分别构造输电导线G-KDTree模型,输电杆塔G-KDTree模型,输电树木G-KDTree模型;G-KDTree模型通过输电场景电力专业知识对PVCNN的输出结果进行优化,并辅助PVCNN的训练;训练完成之后,无需G-KDTree模型的辅助,只使用PVCNN网络模型便可完成端到端的高效率电网输电场景RGB点云语义分割,也可通过PVCNN网络和G-KDTree模型的联合输出,完成高精度电网输电场景RGB点云语义分割。输配电场景RGB点云语义分割多阶段模型联合优化方法的流程如图8所示。
在一个实施例中,本技术方案中的多维树状模型的使用流程如下。基于构造的PVCNN网络训练过程的输出结果,构造导线G-KDTree模型、杆塔G-KDTree模型和树木G-KDTree模型。导线G-KDTree的各结点包含PVCNN预测的所有属于导线类别的点云,并基于输电场景导线电力业务知识对所有节点进行判断,剔除不符合电力业务知识逻辑的导线节点。将导线G-KDTree剔除的节点对应的点云作为杆塔类别,与PVCNN预测的所有属于杆塔类别的节点作为杆塔G-KDTree的输入,并基于输电场景杆塔电力业务知识对所有节点进行判断,剔除不符合电力业务知识逻辑的杆塔节点。将杆塔G-KDTree剔除的节点对应的点云作为树木类别,与PVCNN预测的所有属于树木类别的节点作为树木G-KDTree的输入,并基于输电场景树木电力业务知识对所有节点进行判断,剔除不符合电力业务知识逻辑的树木节点,将树木G-KDTree剔除的节点对应的点云作为房屋类别。
在一个实施例中,点云语义分割模型通过训练后的实际预测效果如下。训练完成之后,无需G-KDTree模型的辅助,只使用PVCNN网络模型便可完成端到端的高效率电网输电场景对应的电网对象点云数据,也可通过PVCNN网络和G-KDTree模型的联合输出,完成高精度电网输电场景对应的电网对象点云数据。对于某电网35kV输电场景点云,模型预测的可视化结果如图9所示,点云语义分割准确率为92%。
本技术方案在构建点云-体素卷积神经网络PVCNN的结构和分析流程后,在训练PVCNN过程中,基于PVCNN的点云语义分割结果生成融合电网输电场景电力知识的多维树状模型(G-KDTree),G-KDTree基于输电场景业务知识输出判断结果,反过来用于辅助PVCNN对输入点云数据的类别信息做出判断,实现PVCNN模型和G-KDTree模型的多阶段联合优化,有效减少基于PVCNN输出的点云语义分割结果的误判情况,提升点云语义分割算法的准确率。
应该理解的是,虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的电网输电场景点云语义分割模型训练方法的电网输电场景点云语义分割模型训练装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个电网输电场景点云语义分割模型训练装置实施例中的具体限定可以参见上文中对于电网输电场景点云语义分割模型训练方法的限定,在此不再赘述。
在一个实施例中,如图10所示,提供了一种电网输电场景点云语义分割模型训练装置,包括:电网对象点云数据获取模块、第一点云语义分割结果得到模块、第二点云语义分割结果得到模块、融合语义分割结果得到模块和已训练点云语义分割模型得到模块,其中:
电网对象点云数据获取模块,用于获取电网输电场景对应的电网对象点云数据,电网对象点云数据包括至少一个类别的电网对象对应的点云数据;
第一点云语义分割结果得到模块,用于将电网对象点云数据输入待训练点云语义分割模型,得到第一点云语义分割结果,第一点云语义分割结果为待训练点云语义分割模型对电网对象点云数据中各类别的点云数据进行语义分割得到的结果;
第二点云语义分割结果得到模块,用于剔除第一点云语义分割结果中的目标点云数据,得到第二点云语义分割结果,目标点云数据为不符合电力业务知识逻辑的电网对象对应的点云数据;
融合语义分割结果得到模块,用于融合第一点云语义分割结果和第二点云语义分割结果,得到融合语义分割结果;
已训练点云语义分割模型得到模块,用于基于融合语义分割结果与电网对象点云数据对应的标注结果间的差异,对待训练点云语义分割模型进行训练,得到已训练点云语义分割模型。
在一个实施例中,第二点云语义分割结果得到模块,用于基于第一点云语义分割结果构建目标点云数据剔除模型,目标点云数据剔除模型能剔除的点云数据所对应的类别与各电网对象对应的类别一致;将第一点云语义分割结果输入目标点云数据剔除模型,得到第二点云语义分割结果,第二点云语义分割结果为根据能剔除的点云数据所对应的类别对目标点云数据进行剔除。
在一个实施例中,第二点云语义分割结果得到模块,用于分别构建与各点云语义分割子结果的类别相对应的点云数据剔除子模型,各点云数据剔除子模型能够剔除与该点云数据剔除子模型对应的类别的点云语义分割子结果中的点云数据;基于点云数据剔除子模型进行组合,得到目标点云数据剔除模型。
在一个实施例中,第二点云语义分割结果得到模块,用于将第一类别的点云语义分割子结果输入至与第一类别对应的点云数据剔除子模型,得到第一类别对应的点云语义分割结果和第一剔除点云数据,第一剔除点云数据包括不符合第一电力业务知识逻辑的电网对象对应的点云数据,第一电力业务知识逻辑为第一类别的电网对象所对应的电力业务知识逻辑;将第一剔除点云数据以及第二类别的点云语义分割子结果输入至与第二类别对应的点云数据剔除子模型,得到第二类别对应的点云语义分割结果和第二剔除点云数据,第二剔除点云数据包括不符合第二电力业务知识逻辑的电网对象对应的点云数据;第二电力业务知识逻辑为第二类别的电网对象所对应的电力业务知识逻辑;将第二剔除点云数据和下一个类别的点云语义分割子结果输入至与下一个类别对应的点云数据剔除子模型,直至得到全部类别对应的点云语义分割结果;基于全部类别点云语义分割结果进行组合,得到第二点云语义分割结果。
在一个实施例中,融合语义分割结果得到模块,用于获取第一加权系数以及第二加权系数;将第一加权系数与第一点云语义分割结果进行运算,得到第一加权点云语义分割结果;将第二加权系数与第二点云语义分割结果进行运算,得到第二加权点云语义分割结果;将第一加权点云语义分割结果以及第二加权点云语义分割结果进行融合,得到融合语义分割结果。
在一个实施例中,已训练点云语义分割模型得到模块,用于基于融合语义分割结果与电网对象点云数据对应的标注结果间的差异,得到待训练点云语义分割模型的模型损失值;调整待训练点云语义分割模型的参数,使得模型损失值小于预设要求,得到已训练点云语义分割模型。
上述电网输电场景点云语义分割模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储服务器数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种电网输电场景点云语义分割模型训练方法。
本领域技术人员可以理解,图11中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (9)
1.一种电网输电场景点云语义分割模型训练方法,其特征在于,所述方法包括:
获取电网输电场景对应的电网对象点云数据,所述电网对象点云数据包括至少一个类别的电网对象对应的点云数据;
将所述电网对象点云数据输入待训练点云语义分割模型,得到第一点云语义分割结果,所述第一点云语义分割结果为所述待训练点云语义分割模型对所述电网对象点云数据中各类别的点云数据进行语义分割得到的结果;
剔除所述第一点云语义分割结果中的目标点云数据,得到第二点云语义分割结果,所述目标点云数据为不符合电力业务知识逻辑的电网对象对应的点云数据;所述第一点云语义分割结果包括至少两种类别对应的点云语义分割子结果,将第一类别的所述点云语义分割子结果输入至与所述第一类别对应的点云数据剔除子模型,得到所述第一类别对应的点云语义分割结果和第一剔除点云数据,所述第一剔除点云数据包括不符合第一电力业务知识逻辑的电网对象对应的点云数据,所述第一电力业务知识逻辑为所述第一类别的电网对象所对应的电力业务知识逻辑;将所述第一剔除点云数据以及第二类别的所述点云语义分割子结果输入至与所述第二类别对应的点云数据剔除子模型,得到所述第二类别对应的点云语义分割结果和第二剔除点云数据,所述第二剔除点云数据包括不符合第二电力业务知识逻辑的电网对象对应的点云数据;所述第二电力业务知识逻辑为所述第二类别的电网对象所对应的电力业务知识逻辑;将所述第二剔除点云数据和下一个类别的所述点云语义分割子结果输入至与所述下一个类别对应的点云数据剔除子模型,直至得到全部类别对应的点云语义分割结果;基于全部所述类别点云语义分割结果进行组合,得到所述第二点云语义分割结果;
融合所述第一点云语义分割结果和所述第二点云语义分割结果,得到融合语义分割结果;
基于所述融合语义分割结果与所述电网对象点云数据对应的标注结果间的差异,对所述待训练点云语义分割模型进行训练,得到已训练点云语义分割模型。
2.根据权利要求1所述的方法,其特征在于,所述剔除所述第一点云语义分割结果中的目标点云数据,得到第二点云语义分割结果,所述目标点云数据为不符合电力业务知识逻辑的电网对象对应的点云数据,包括:
基于所述第一点云语义分割结果构建目标点云数据剔除模型,所述目标点云数据剔除模型能剔除的点云数据所对应的类别与各所述电网对象对应的类别一致;
将所述第一点云语义分割结果输入所述目标点云数据剔除模型,得到所述第二点云语义分割结果,所述第二点云语义分割结果为根据所述能剔除的点云数据所对应的类别对所述目标点云数据进行剔除。
3.根据权利要求2所述的方法,其特征在于,所述基于所述第一点云语义分割结果构建目标点云数据剔除模型,包括:
分别构建与各所述点云语义分割子结果的类别相对应的点云数据剔除子模型,各所述点云数据剔除子模型能够剔除与该点云数据剔除子模型对应的类别的所述点云语义分割子结果中的点云数据;
基于所述点云数据剔除子模型进行组合,得到所述目标点云数据剔除模型。
4.根据权利要求1所述的方法,其特征在于,所述融合所述第一点云语义分割结果和所述第二点云语义分割结果,得到融合语义分割结果,包括:
获取第一加权系数以及第二加权系数;
将所述第一加权系数与所述第一点云语义分割结果进行运算,得到第一加权点云语义分割结果;
将所述第二加权系数与所述第二点云语义分割结果进行运算,得到第二加权点云语义分割结果;
将所述第一加权点云语义分割结果以及所述第二加权点云语义分割结果进行融合,得到融合语义分割结果。
5.根据权利要求1所述的方法,其特征在于,所述基于所述融合语义分割结果与所述电网对象点云数据对应的标注结果间的差异,对所述待训练点云语义分割模型进行训练,得到已训练点云语义分割模型,包括:
基于所述融合语义分割结果与所述电网对象点云数据对应的标注结果间的差异,得到所述待训练点云语义分割模型的模型损失值;
调整所述待训练点云语义分割模型的参数,使得所述模型损失值小于预设要求,得到所述已训练点云语义分割模型。
6.一种电网输电场景点云语义分割模型训练装置,其特征在于,所述装置包括:
电网对象点云数据获取模块,用于获取电网输电场景对应的电网对象点云数据,所述电网对象点云数据包括至少一个类别的电网对象对应的点云数据;
第一点云语义分割结果得到模块,用于将所述电网对象点云数据输入待训练点云语义分割模型,得到第一点云语义分割结果,所述第一点云语义分割结果为所述待训练点云语义分割模型对所述电网对象点云数据中各类别的点云数据进行语义分割得到的结果;
第二点云语义分割结果得到模块,用于剔除所述第一点云语义分割结果中的目标点云数据,得到第二点云语义分割结果,所述目标点云数据为不符合电力业务知识逻辑的电网对象对应的点云数据;所述第一点云语义分割结果包括至少两种类别对应的点云语义分割子结果,将第一类别的所述点云语义分割子结果输入至与所述第一类别对应的点云数据剔除子模型,得到所述第一类别对应的点云语义分割结果和第一剔除点云数据,所述第一剔除点云数据包括不符合第一电力业务知识逻辑的电网对象对应的点云数据,所述第一电力业务知识逻辑为所述第一类别的电网对象所对应的电力业务知识逻辑;将所述第一剔除点云数据以及第二类别的所述点云语义分割子结果输入至与所述第二类别对应的点云数据剔除子模型,得到所述第二类别对应的点云语义分割结果和第二剔除点云数据,所述第二剔除点云数据包括不符合第二电力业务知识逻辑的电网对象对应的点云数据;所述第二电力业务知识逻辑为所述第二类别的电网对象所对应的电力业务知识逻辑;将所述第二剔除点云数据和下一个类别的所述点云语义分割子结果输入至与所述下一个类别对应的点云数据剔除子模型,直至得到全部类别对应的点云语义分割结果;基于全部所述类别点云语义分割结果进行组合,得到所述第二点云语义分割结果;
融合语义分割结果得到模块,用于融合所述第一点云语义分割结果和所述第二点云语义分割结果,得到融合语义分割结果;
已训练点云语义分割模型得到模块,用于基于所述融合语义分割结果与所述电网对象点云数据对应的标注结果间的差异,对所述待训练点云语义分割模型进行训练,得到已训练点云语义分割模型。
7.根据权利要求6所述的装置,其特征在于,所述第二点云语义分割结果得到模块,具体用于基于所述第一点云语义分割结果构建目标点云数据剔除模型,所述目标点云数据剔除模型能剔除的点云数据所对应的类别与各所述电网对象对应的类别一致;将所述第一点云语义分割结果输入所述目标点云数据剔除模型,得到所述第二点云语义分割结果,所述第二点云语义分割结果为根据所述能剔除的点云数据所对应的类别对所述目标点云数据进行剔除。
8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1 至 5 中任一项所述的方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1 至 5 中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210227856.7A CN114332104B (zh) | 2022-03-09 | 2022-03-09 | 电网输电场景rgb点云语义分割多阶段模型联合优化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210227856.7A CN114332104B (zh) | 2022-03-09 | 2022-03-09 | 电网输电场景rgb点云语义分割多阶段模型联合优化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114332104A CN114332104A (zh) | 2022-04-12 |
CN114332104B true CN114332104B (zh) | 2022-07-29 |
Family
ID=81034077
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210227856.7A Active CN114332104B (zh) | 2022-03-09 | 2022-03-09 | 电网输电场景rgb点云语义分割多阶段模型联合优化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114332104B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115424022B (zh) * | 2022-11-03 | 2023-03-03 | 南方电网数字电网研究院有限公司 | 输电走廊地面点云分割方法、装置和计算机设备 |
CN115862013B (zh) * | 2023-02-09 | 2023-06-27 | 南方电网数字电网研究院有限公司 | 基于注意力机制的输配电场景点云语义分割模型训练方法 |
CN117315407B (zh) * | 2023-11-29 | 2024-02-27 | 苏州元脑智能科技有限公司 | 对象的识别的方法和装置、存储介质及电子装置 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109740553A (zh) * | 2019-01-09 | 2019-05-10 | 贵州宽凳智云科技有限公司 | 一种基于识别的图像语义分割数据筛选方法及系统 |
CN111190981A (zh) * | 2019-12-25 | 2020-05-22 | 中国科学院上海微系统与信息技术研究所 | 一种三维语义地图的构建方法、装置、电子设备及存储介质 |
CN112232346A (zh) * | 2020-09-02 | 2021-01-15 | 北京迈格威科技有限公司 | 语义分割模型训练方法及装置、图像语义分割方法及装置 |
CN112444784A (zh) * | 2019-08-29 | 2021-03-05 | 北京市商汤科技开发有限公司 | 三维目标检测及神经网络的训练方法、装置及设备 |
CN112927234A (zh) * | 2021-02-25 | 2021-06-08 | 中国工商银行股份有限公司 | 点云语义分割方法、装置、电子设备和可读存储介质 |
CN113378760A (zh) * | 2021-06-25 | 2021-09-10 | 北京百度网讯科技有限公司 | 训练目标检测模型和检测目标的方法及装置 |
WO2021248269A1 (zh) * | 2020-06-08 | 2021-12-16 | 上海交通大学 | 一种变电设备高精度识别方法及系统 |
CN113808251A (zh) * | 2021-08-09 | 2021-12-17 | 杭州易现先进科技有限公司 | 一种基于语义分割的稠密重建的方法、系统、装置和介质 |
US11256922B1 (en) * | 2020-09-11 | 2022-02-22 | Tsinghua University | Semantic representation method and system based on aerial surveillance video and electronic device |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112560609B (zh) * | 2020-12-03 | 2022-11-15 | 北京百度网讯科技有限公司 | 路况预估方法、建立路况预估模型的方法及对应装置 |
-
2022
- 2022-03-09 CN CN202210227856.7A patent/CN114332104B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109740553A (zh) * | 2019-01-09 | 2019-05-10 | 贵州宽凳智云科技有限公司 | 一种基于识别的图像语义分割数据筛选方法及系统 |
CN112444784A (zh) * | 2019-08-29 | 2021-03-05 | 北京市商汤科技开发有限公司 | 三维目标检测及神经网络的训练方法、装置及设备 |
CN111190981A (zh) * | 2019-12-25 | 2020-05-22 | 中国科学院上海微系统与信息技术研究所 | 一种三维语义地图的构建方法、装置、电子设备及存储介质 |
WO2021248269A1 (zh) * | 2020-06-08 | 2021-12-16 | 上海交通大学 | 一种变电设备高精度识别方法及系统 |
CN112232346A (zh) * | 2020-09-02 | 2021-01-15 | 北京迈格威科技有限公司 | 语义分割模型训练方法及装置、图像语义分割方法及装置 |
US11256922B1 (en) * | 2020-09-11 | 2022-02-22 | Tsinghua University | Semantic representation method and system based on aerial surveillance video and electronic device |
CN112927234A (zh) * | 2021-02-25 | 2021-06-08 | 中国工商银行股份有限公司 | 点云语义分割方法、装置、电子设备和可读存储介质 |
CN113378760A (zh) * | 2021-06-25 | 2021-09-10 | 北京百度网讯科技有限公司 | 训练目标检测模型和检测目标的方法及装置 |
CN113808251A (zh) * | 2021-08-09 | 2021-12-17 | 杭州易现先进科技有限公司 | 一种基于语义分割的稠密重建的方法、系统、装置和介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114332104A (zh) | 2022-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114332104B (zh) | 电网输电场景rgb点云语义分割多阶段模型联合优化方法 | |
CN114255238A (zh) | 一种融合图像特征的三维点云场景分割方法及系统 | |
CN112651438A (zh) | 多类别图像的分类方法、装置、终端设备和存储介质 | |
CN108090472B (zh) | 基于多通道一致性特征的行人重识别方法及其系统 | |
US20230401833A1 (en) | Method, computer device, and storage medium, for feature fusion model training and sample retrieval | |
CN115527036A (zh) | 电网场景点云语义分割方法、装置、计算机设备和介质 | |
CN115545166A (zh) | 一种改进的ConvNeXt卷积神经网络及其遥感图像的分类方法 | |
CN114241230A (zh) | 目标检测模型剪枝方法和目标检测方法 | |
CN111597401B (zh) | 基于图关系网络的数据处理方法、装置、设备及介质 | |
CN111898247A (zh) | 滑坡位移预测方法、设备及存储介质 | |
CN114724021A (zh) | 一种数据的识别方法、装置、存储介质及电子装置 | |
CN111079930A (zh) | 数据集质量参数的确定方法、装置及电子设备 | |
CN112418256A (zh) | 分类、模型训练、信息搜索方法、系统及设备 | |
Wang et al. | A transformer-based mask R-CNN for tomato detection and segmentation | |
CN117152528A (zh) | 绝缘子状态识别方法、装置、设备、存储介质和程序产品 | |
CN116523001A (zh) | 电网薄弱线路识别模型构建方法、装置和计算机设备 | |
CN116543333A (zh) | 电力系统的目标识别方法、训练方法、装置、设备和介质 | |
CN115545085A (zh) | 微弱故障电流的故障类型识别方法、装置、设备和介质 | |
CN115294405A (zh) | 农作物病害分类模型的构建方法、装置、设备及介质 | |
CN115862013B (zh) | 基于注意力机制的输配电场景点云语义分割模型训练方法 | |
CN114625984B (zh) | 兴趣点验证方法、装置、电子设备及存储介质 | |
CN112446171B (zh) | 电力系统暂态稳定监测方法、装置、终端设备及存储介质 | |
CN116188998B (zh) | 输电架空线路缺陷识别方法、装置、设备和存储介质 | |
CN117593750A (zh) | 基于多源特征提取的输电线路点云语义分割方法及设备 | |
Wang et al. | User Satisfaction Prediction Based on Adaptive Feature Interaction Extraction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |