CN115564915A - 变电站环境数字化区域的地图构建方法及装置 - Google Patents

变电站环境数字化区域的地图构建方法及装置 Download PDF

Info

Publication number
CN115564915A
CN115564915A CN202211330330.8A CN202211330330A CN115564915A CN 115564915 A CN115564915 A CN 115564915A CN 202211330330 A CN202211330330 A CN 202211330330A CN 115564915 A CN115564915 A CN 115564915A
Authority
CN
China
Prior art keywords
dimensional
map
feature
dimensional scene
scene map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211330330.8A
Other languages
English (en)
Inventor
李怀军
黄倩
周涛
张晓龙
卫永华
王静
李连鹏
赵辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Information Science and Technology University
Yangquan Power Supply Co of State Grid Shanxi Electric Power Co Ltd
Original Assignee
Beijing Information Science and Technology University
Yangquan Power Supply Co of State Grid Shanxi Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Information Science and Technology University, Yangquan Power Supply Co of State Grid Shanxi Electric Power Co Ltd filed Critical Beijing Information Science and Technology University
Priority to CN202211330330.8A priority Critical patent/CN115564915A/zh
Publication of CN115564915A publication Critical patent/CN115564915A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/42—Document-oriented image-based pattern recognition based on the type of document
    • G06V30/422—Technical drawings; Geographical maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种变电站环境数字化区域的地图构建方法及装置。其中，该方法包括：针对所述变电站环境数字化区域中的不同的对象要素，分别建立虚拟的三维模型，并将所述三维模型显示在与所述变电站环境数字化区域相对应的三维场景地图中；实时识别所述变电站环境数字化区域中的处于移动状态的对象要素，将所识别的对象要素与所述三维模型进行关键特征匹配，并基于特征匹配的结果实时重构所述三维场景地图；基于超像素分割和语义关系分析，对重构后的所述三维场景地图进行特征分割，并利用稀疏卷积神经网络和极限学习机，对所分割后的特征进行智能识别，以再次重构所述三维场景地图。本申请解决了相关技术中实时构建地图速度慢、精度低的技术问题。

Description

变电站环境数字化区域的地图构建方法及装置
技术领域
本申请涉及人工智能领域，具体而言，涉及一种变电站环境数字化区域的地图构建方法及装置。
背景技术
在变电站内近电施工现场，维护人员与大型工程车辆需要在带电高压设备附近工作，任何疏忽或误操作都可能导致人员伤亡和设备故障，造成严重的经济损失，影响电力生产安全，因此需要为变电站环境数字化区域实时且精准地构建地图，以定位维护人员与大型工程车辆的位置。
现有技术中，通常采用激光雷达结合RGB-D相机传感器来实时构建地图。但是这种方法，无法恢复场景的绝对尺度，导致地图的精度提高存在局限性，且可操作性低。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种变电站环境数字化区域的地图构建方法及装置，以至少解决相关技术中实时构建地图速度慢、精度低的技术问题。
根据本申请实施例的一个方面，提供了一种变电站环境数字化区域的地图构建方法，该方法包括：针对所述变电站环境数字化区域中的不同的对象要素，分别建立虚拟的三维模型，并将所述三维模型显示在与所述变电站环境数字化区域相对应的三维场景地图中；实时识别所述变电站环境数字化区域中的处于移动状态的对象要素，将所识别的对象要素与所述三维模型进行关键特征匹配，并基于特征匹配的结果实时重构所述三维场景地图；基于超像素分割和语义关系分析，对重构后的所述三维场景地图进行特征分割，并利用稀疏卷积神经网络和极限学习机，对所分割后的特征进行智能识别，以再次重构所述三维场景地图。
根据本申请实施例的另一方面，还提供了一种变电站环境数字化区域的地图构建装置，包括：建模模块，被配置为针对所述变电站环境数字化区域中的不同的对象要素，分别建立虚拟的三维模型，并将所述三维模型显示在与所述变电站环境数字化区域相对应的三维场景地图中；特征匹配模块，被配置为实时识别所述变电站环境数字化区域中的处于移动状态的对象要素，将所识别的对象要素与所述三维模型进行关键特征匹配，并基于特征匹配的结果实时重构所述三维场景地图；分割模块，被配置为基于超像素分割和语义关系分析，对重构后的所述三维场景地图进行特征分割，并利用稀疏卷积神经网络和极限学习机，对所分割后的特征进行智能识别，以再次重构所述三维场景地图。
在本申请实施例中，基于特征匹配对三维场景地图进行重构，提高了三维场景地图的重构速度，此外，基于稀疏卷积神经网络的深度学习方法再次对三维场景地图进行重构，提高了三维模型的重构精度，进而解决了相关技术中实时构建地图速度慢、精度低的技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的一种变电站环境数字化区域的地图构建方法的流程图；
图2是根据本申请实施例的另一种变电站环境数字化区域的地图构建方法的流程图；
图3是根据本申请实施例的三维模型构建方法的流程图；
图4是根据本申请实施例的一种变电站环境数字化区域的地图构建装置的流程图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本申请实施例，提供了一种变电站环境数字化区域的地图构建方法，如图1所示，该方法包括：
步骤S102，针对所述变电站环境数字化区域中的不同的对象要素，分别建立虚拟的三维模型，并将所述三维模型显示在与所述变电站环境数字化区域相对应的三维场景地图中。
例如，在所述不同的对象要素为人员的情况下，以空间交集计算为核心，为所述人员建立相应的虚拟的三维模型；在所述不同的对象要素为变电站设施的情况下，按照同类型的独立模型参数化控制三维外观，为所述变电站设施建立相应的虚拟的三维模型；在所述不同的对象要素为设备的情况下，将所述设备划分为具有规范横截面设计的规则外形设备和不具有规范横截面设计的不规则设备，基于平纵横建模法为所述规则外形设备建立相应的虚拟的三维模型，并基于外轮廓建模法为所述不规则设备建立相应的虚拟的三维模型。
在一个示例中，在分别建立虚拟的三维模型之后，所述方法还包括以下至少之一：将不同数据源的标识同一对象要素的不同属性匹配到一起，并将不同数据源的标识同一对象要素的相同属性去重，以对所述三维模型进行信息尺度归一化处理；对给定的时间序列加窗分段后，得到多段具有预设窗口长度的序列，基于所述多段具有预设窗口长度的序列对所述三维场景地图进行时间尺度归一化处理；根据空间位姿统一计量单位，将所述三维场景地图中的数据归一化到标准空间坐标系中，以对所述三维场景地图进行空间关系归一化处理。
步骤S104，实时识别所述变电站环境数字化区域中的处于移动状态的对象要素，将所识别的对象要素与所述三维模型进行关键特征匹配，并基于特征匹配的结果实时重构所述三维场景地图。
例如，根据加速稳健特征算法，从所识别的对象要素中提取特征点，并计算每个特征点的特征描述符；基于每个所述特征点的特征描述符和每个所述特征点在所述三维场景地图中的位置之间的相似性，来估计所识别的对象要素与所述三维模型的对应关系。
步骤S106，基于超像素分割和语义关系分析，对重构后的所述三维场景地图进行特征分割，并利用稀疏卷积神经网络和极限学习机，对所分割后的特征进行智能识别，以再次重构所述三维场景地图。
例如，采用简单线性迭代聚类方法，将所述三维场景地图中的所有像素进行迭代聚类，直到迭代聚类得到的超像素的残差低于预设值；将所述三维场景地图中所述对象要素能够活动的区域作为待创建的语义区域，并使用递归贝叶斯滤波算法来计算所述语义区域的语义类概率；基于所得到的超像素和所述语义类概率，对所述三维场景地图进行特征分割。
之后，将所述三维场景地图的原始深度图编码获得深度编码图，并确定所述深度编码图与所述原始深度图构成的深度线索；基于所述深度编码图与所述原始深度图构成的深度线索以及所述三维场景地图与灰度图像构成的RGB线索，利用基于所述稀疏卷积神经网络构建的特征识别模型，来获取不同视觉线索的层次信息；融合不同视觉线索的层次信息，利用基于核方法的超限学习机对所分割后的特征进行分类。例如，构建所述超限学习机的核矩阵；基于用于调整所述超限学习机的泛化能力的正则项，来对所分割后的特征进行分类。
其中，所述特征识别模型是通过以下方法构建的：对所述特征识别模型的输入权值向量和隐含层节点偏置随机赋值，初始化所述特征识别模型；计算所述特征识别模型的隐含层输出矩阵和广义摩尔逆；基于所述隐含层输出矩阵和所述广义摩尔逆计算所述特征识别模型的输出权值矩阵；基于所述输出权值矩阵，确定所述特征识别模型的输出。
在本申请实施例中，基于特征匹配对三维场景地图进行重构，提高了三维场景地图的重构速度，此外，基于稀疏卷积神经网络的深度学习方法再次对三维场景地图进行重构，提高了三维模型的重构精度，进而解决了相关技术中实时构建地图速度慢、精度低的技术问题。
实施例2
根据本申请实施例，提供了一种变电站环境数字化区域的地图构建方法，如图2所示，该方法包括：
步骤S202，高精地图建模。
高精地图建模是针对变电站环境数字化区域中的不同的对象要素，分别建立虚拟的三维模型。这些三维模型例如可以是建筑信息模型(BIM)。建筑信息模型是虚拟的建筑工程三维模型。利用数字化技术，可以为建筑信息模型提供完整的、与实际情况一致的建筑工程信息库。
在一个示例中，高精地图建模的方法可以如图3所示，包括以下步骤：
步骤S2022：对三维场景地图的数据进行处理。
通过坐标投影变换和基准点设置，对三维场景地图的数据进行处理，使高精的三维场景地图的数据满足建模需求。
步骤S2024：针对不同的对象要素创建不同的建模方法。
借鉴BIM语境下的三维建模场景方法，针对不同的对象要素分别设计不同的建模方法，其中，不同的建模方法可以包括设备建模方法、人员建模方法及变电站设施建模方法。
步骤S2026：针对不同的对象要素进行建模。
对于设备建模，可以将设备分为具有固定横截面设计的规则外形设备和不具有规范俯视视图外形的不规则外形设备两类。针对规则外形设备，可以采用平纵横建模方法进行建模，针对不规则外形设备，可以采用外轮廓建模方法进行建模。
对于人员建模，可以以空间交集计算为核心，分别为多类作业人员设计不同的建模策略。
对于变电站设施建模，按照同类型的独立模型参数化控制三维外观，结合变电站设施所处位置批量实现建模及模型对齐。
步骤S204，归一化表达。
归一化处理主要包括信息尺度归一化、时间序列归一化和空间关系归一化。
1)信息尺度归一化
处理三维场景地图中的数据，使不同数据源的数据编码方式、数据格式等相同。之后，将这些数据进行匹配，例如，将不同数据源的标识同一对象要素的不同属性匹配到一起，使数据更完善；再例如，将不同数据源的相同数据标识成重复，最后筛选去重。这样处理的主要目的是选定一致性维度作为主数据，也就是说，使最终交付的三维场景地图中的数据具有一致性维度。
2)时间序列归一化
采用一种时间序列的自适应归一化方法，对三维场景地图的数据进行时间序列归一化处理。例如，给定时间序列S，对S加窗分段后得到n段窗口长度为L的序列：
S＝{s1，s2，...，sn}
Figure BDA0003913110600000071
fi＝fi-1-β{fi-1-max(Si)+min(Si)}
Figure BDA0003913110600000072
上式中，di、fi表示时间序列的控制系数，α、β表示控制相邻时间序列的关系因子的参数，ri表示自适应归一化后的数据序列。
对S进行自适应归一化，归一化序列为：
R＝{r1，r2，...，rn}
其中，R表示自适应归一化后的结果，r1，r2..，rn表示自适应归一化后的数据序列。
3)空间关系归一化。
根据空间位姿统一计量单位，将三维场景地图中的空间地图数据等，归一化到标准空间坐标中。在另外一个示例中，还可以配合其他特征来完成空间关系的归一化。
步骤S206，特征匹配。
根据加速稳健特征算法，采用Hessian矩阵行列式近似值图像来进行特征匹配。加速稳健特征算法(SURF)是一种稳健的局部特征点检测和描述算法，其将从影像中提取的特征作为共轭实体，并将所提取的特征属性或描述参数作为匹配实体，来计算匹配实体之间的相似性测度以实现共轭实体配准的影像匹配。
1)确定对应关系。
假设函数f(x，y)、Hessian矩阵由函数、偏导数组成，且三维空间中两个3D点为pi(xi，yi，zi)和qj(xj，yj，zj)，则两点间欧式距离如下所示：
Figure BDA0003913110600000081
图像中每个像素点都可以求出一个Hessian矩阵，在SURF算法中，通常用图像像素I(x，y)取代函数值f(x，y)，然后选用二阶标准高斯函数作为滤波器，通过特定核间的卷积计算二阶偏导数，这样便能计算出H矩阵的三个矩阵元素Lxx，Lxy，Lyy，从而计算出H矩阵公式如下Hessian矩阵可以表示为：
H＝(x，σ)
其中，x表示像素横向坐标值，σ表示高斯函数的尺度系数。
通过计算点集P和Q的中心的方法，对平移向量T进行初始的估算，估算的过程如下所示：
Figure BDA0003913110600000082
其中，N为点集中3D点数量。
分别将点集P和Q平移至中心点处：
Figure BDA0003913110600000091
其中，pm，qm为两个3D点到中心点的向量，pi、qi为三维空间中的两个3D点，
Figure BDA0003913110600000094
为两个位置的3D中心点。
在确定对应关系时，使用的几何特征是空间中位置最近的点：
Figure BDA0003913110600000092
其中，E为空间中位置最近的点，R为旋转矩阵，T为平移向量。
最后，通过最优化问题求使得E值最小的R和T值。
2)三维点云数据配准。
采集变电站监测区域三维场景地图中的两帧点云数据，经过平移和旋转将两帧点云(xi，yi，zi)统一到同一坐标系(xT，yT，zT)。只需要3个旋转参数(α，β，γ)和3个平移参数(Δx，Δy，Δz)，即可完成特征拼接，其中，特征拼接模型如下所示：
Figure BDA0003913110600000093
上式中，X，Y，Z表示经过旋转平移后的点云坐标，α，β，γ分别表示x，y，z轴方向上的旋转参数，x，y，z表示需要处理的当前坐标，Δx，Δy和Δz表示平移坐标参数，R表示旋转矩阵。
针对以上获取的两个点云数据的数据集，已经完成了识别最能代表两个数据集中的场景的关键点，并在每个特征点处计算特征描述符，从特征描述符以及它们在两个数据集中的位置，基于特征和位置之间的相似性来估计对应关系，同时舍去在配准过程中产生的外点，从剩下一组的内点对应关系中估计变换矩阵参数，这样，可以利用特征匹配得到的参数进行三维环境拼接校正，以重构三维场景地图。
步骤S208，超像素分割和语义关系分析。
1)超像素分割
采用简单线性迭代聚类(SLIC)方法进行超像素分割。超像素分割是将数字图像细分为多个图像子区域的过程。
SLIC方法分为初始化和局部聚类两个阶段。在初始化阶段，以特定S等式规则区间随机初始化，其中，以U为中心，T表示图像中的像素数量：
Figure BDA0003913110600000101
其中，S表示相邻聚类中心的距离，U表示预分割的U个相同尺寸的超像素。
根据上式计算每个质心到所有领域像素的距离D：
Figure BDA0003913110600000102
其中，i，k表示像素点位置，m是对于考虑的超像素和考虑的图像像素(i)的常数，dc和ds定义为颜色空间(1，a，b)中的欧式距离和空间(x，y)距离：
Figure BDA0003913110600000103
此外，超像素值不断进行更新，并一直持续到残差低于假设值为止。最后，将所有未分配的像素链接到最近的超像素。
2)语义关系分析
使用可扩展标记语言(XML)进行语义关系分析。XML语言用于标记数据、定义数据类型，是一种允许用户对自己的标记语言进行定义的源语言。
基于XML的三维场景地图，其中的各种地图信息是相互独立的，因此，可以随意添加新的地图信息。本实施例中，基于XML语言的带电作业现场的地图文件的表示格式如：
Object＝{category，name，color，shape，x，y，z，size}
其中，Object表示场景地图中的设备及人员信息；category表示设备的种类；name表示设备的名称；color表示设备的颜色；shape表示设备的形状；x，y，z表示设备的坐标信息；size表示设备的尺寸。
本申请实施例，将作业人员活动区域作为要创建的语义区域，并使用占据地图中通常使用的递归贝叶斯滤波算法来更新地图单元中的语义类概率。
基于通过超像素分割和语义分析，实现三维场景地图中的数据的特征分割。然后，基于所分割的数据，重构三维场景地图。通过这样的方式，可以提高地图的重构速度。
步骤S210，实现对施工现场实景地图典型特征提取和智能在线识别。
首先将三维场景地图中的原始深度图进行编码，获得深度编码图，确定深度编码图和原始深度图构成的新的深度线索。然后，将三维场景地图与灰度图像构成的RGB线索和深度编码图与原始深度图构成的深度线索作为输入，利用融入空间金字塔池化的卷积递归的稀疏卷积神经网络获取不同视觉线索的层次信息，最后融合不同视觉线索的层次信息的特征，并利用基于核方法的超限学习机进行分类。其中，极限学习机是一种单隐层前馈神经网络。稀疏卷积神经网络用于减少神经网络的冗余特征。
1)构建ELM模型。
假设有n组任意的样本对(pi，ti)，i＝1，2...n，则详尽可能性(ELM)模型(即特征识别模型)满足：
Figure BDA0003913110600000121
pi＝[xi1，xi2，…，xin]T
ti＝[ti1，ti2，…，tim]T
其中，ti表示目标输出，n和m表示ELM模型的输入节点和输出节点的数量，j表示第j个隐层节点，x表示样本的输入值，i表示第i个样本，βj表示第j个隐层节点到输出层节点的连接权值，Oi表示第i组样本的输出向量，ti表示第i组样本的标签，ωij表示第i个输入层节点到第j个隐层节点的连接权值，对于每个隐层节点，对应偏置为bj，h(.)表示激励函数。
ELM在训练过程中的输入权重和隐含层偏置随机选取，本质上是求解线性系统的最小二乘解，可以规范为如下优化问题：
Minimize：||Hβ-T||2and||β||
其中，T为样本标签，β为隐藏层间节点与输出层的连接权值，H为超限学习机的隐含层输出矩阵：
Figure BDA0003913110600000122
其中，ω表示输入层与隐藏层间节点的连接权值。
在一个示例中，ELM模型的构建步骤可以如下：对ELM模型的输入权值向量ωij和隐含层节点偏置bj随机赋值，完成初始化。计算隐含层输出矩阵H和广义摩尔逆H+。根据摩尔逆H+和隐含层输出矩阵H计算输出权值矩阵：
Figure BDA0003913110600000131
之后，输出判别：
O(p)＝Hβ
其中，p为输入样本。
2)采用稀疏卷积神经网络融合ELM模型，进行特征表达。
采用稀疏卷积神经网络，从局部信息块出发，描述图像的整体结构，结合CNN和RNN优势，采用CNN-RNN融合ELM模型进行特征表达。
首先将训练集随机分成ω个图像块，利用K-means聚类方法获取多线索卷积滤波器，卷积滤波器数量为K，其中RGB线索和深度编码线索卷积滤波器尺寸为uc*uc*3，原始深度线索和灰度线索为uc*uc，以原始深度线索为例，大小为ut*ut的输入图像与其相应的卷积滤波器卷积，得到输出特征。
Figure BDA0003913110600000132
在CNN池化层，采用双路空间金字塔池化方法，将金字塔划分为r*r个区域，确定每个池化窗口的大小和步长，通过金字塔池化窗口以最大池化方式取相邻局部接受域中最大值生成K维特征向量，通过池化操作获得的特征向量按顺序重组为尺度一致的三维特征图
Figure BDA0003913110600000136
其中，RGB线索、灰度线索、深度编码线索通过2D空间金字塔池化，原始深度线索通过3D空间金字塔池化。
Figure BDA0003913110600000133
作为三层RNN的低层特征输入，RNN的个数设置为N，计算得到RNN的高层特征输出：
Figure BDA0003913110600000134
其中，
Figure BDA0003913110600000135
为CNN层输出特征，n∈RK为RNN树形结构的第2层特征向量，即子节点向量，RNN输出为抽象的高层特征z∈RNK。
3)利用基于核方法的极限学习机作为分类器。
ELM模型常需要用户设置大量的隐层节点，导致较重的计算负担和较长的训练时间，降低识别稳健性，为了实现满意的效果，本实施例利用基于核方法的极限学习机作为分类器。故可定义ELM核矩阵为：
ΩELM＝HHT＝h(pi)·h(pj)＝k(pi，pj)
其中，h表示隐藏层节点输出，k表示核函数，ΩELM表示核矩阵，pi、pj表示试验输入向量。
则，KELM的输出函数为：
Figure BDA0003913110600000141
其中，I为单位矩阵，C为正则项，用于调整学习机的泛化能力，s(p)表示KELM的输出函数，h(x)表示隐藏层节点输出，x表示输入向量，x1，x2...xn表示给定训练样本。
本实施例，在三维地图上采用交叉验证的方式，确定基于多项式核函数的超限学习机，可以达到目标识别最优精度。
步骤S212，可视化显示
采用SQL Server数据库作为监测信息的外部容介，把监测信息划分为监测模型信息和监测数据信息。
结合施工现场实际测点的设置情况和Revit模型信息，以探测器ElementID为信息标识，设计各类数据表的存储结构，并将这些数据信息表存入外部数据库，以VisualStudio为开发工具，以C#为开发语言，运用RevitAPI封装的类和方法进行Revit二次开发，将数据库数据按照功能和顺序进行分类整合。
同时根据相关算法语句对监测数据进行分析，实现对超限监测点的可视化预警和信息的查看、分析以及传递，使得用户快速、准确获取变电站信息。
本申请实施例，基于高精度的三维场景地图，根据安全要求完成变电站近电区域的划分，并结合激光测距、BIM、CAD图纸等多种手段完成地图数据校准，通过对校准后的三维地图数据库进行有效特征点提取，基于关键特征匹配实现施工现场三维场景地图实时重构；结合地图数据图像化表述技术和数据自动关联分析技术，采用典型环境特征数据的超像素分割和语义关系分析方法，实现地图数据的特征分割，并且，结合深度学习算法，利用稀疏卷积神经网络架构实现对施工现场实景地图典型特征提取和智能在线识别，并采用可视化显示技术呈现近电作业场景下的实景地图显示。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
实施例3
根据本申请实施例，提供了一种用于实施上述变电站环境数字化区域的地图构建方法的装置，如图4所示，该装置包括：建模模块42、特征匹配模块44和分割模块46。
建模模块42被配置为针对所述变电站环境数字化区域中的不同的对象要素，分别建立虚拟的三维模型，并将所述三维模型显示在与所述变电站环境数字化区域相对应的三维场景地图中；
特征匹配模块44被配置为实时识别所述变电站环境数字化区域中的处于移动状态的对象要素，将所识别的对象要素与所述三维模型进行关键特征匹配，并基于特征匹配的结果实时重构所述三维场景地图；
分割模块46被配置为基于超像素分割和语义关系分析，对重构后的所述三维场景地图进行特征分割，并利用稀疏卷积神经网络和极限学习机，对所分割后的特征进行智能识别，以再次重构所述三维场景地图。
本实施例能够实现上述实施例中的变电站环境数字化区域的地图构建方法，因此，此处不再赘述。
实施例4
本申请的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以被设置为存储用于执行上述实施例方法的程序代码。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
可选地，本实施例中的具体示例可以参考上述实施例1和实施例2中所描述的示例，本实施例在此不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种变电站环境数字化区域的地图构建方法，其特征在于，包括：
针对所述变电站环境数字化区域中的不同的对象要素，分别建立虚拟的三维模型，并将所述三维模型显示在与所述变电站环境数字化区域相对应的三维场景地图中；
实时识别所述变电站环境数字化区域中的处于移动状态的对象要素，将所识别的对象要素与所述三维模型进行关键特征匹配，并基于特征匹配的结果实时重构所述三维场景地图；
基于超像素分割和语义关系分析，对重构后的所述三维场景地图进行特征分割，并利用稀疏卷积神经网络和极限学习机，对所分割后的特征进行智能识别，以再次重构所述三维场景地图。
2.根据权利要求1所述的方法，其特征在于，针对所述变电站环境数字化区域中的不同的对象要素，分别建立虚拟的三维模型，包括：
在所述不同的对象要素为人员的情况下，以空间交集计算为核心，为所述人员建立相应的虚拟的三维模型；
在所述不同的对象要素为变电站设施的情况下，按照同类型的独立模型参数化控制三维外观，为所述变电站设施建立相应的虚拟的三维模型；
在所述不同的对象要素为设备的情况下，将所述设备划分为具有规范横截面设计的规则外形设备和不具有规范横截面设计的不规则外形设备，基于平纵横建模法为所述规则外形设备建立相应的虚拟的三维模型，并基于外轮廓建模法为所述不规则外形设备建立相应的虚拟的三维模型。
3.根据权利要求1所述的方法，其特征在于，在分别建立虚拟的三维模型之后，所述方法还包括以下至少之一：
将不同数据源的标识同一对象要素的不同属性匹配到一起，并将不同数据源的标识同一对象要素的相同属性去重，以对所述三维模型进行信息尺度归一化处理；
对给定的时间序列加窗分段后，得到多段具有预设窗口长度的序列，基于所述多段具有预设窗口长度的序列对所述三维场景地图进行时间尺度归一化处理；
根据空间位姿统一计量单位，将所述三维场景地图中的数据归一化到标准空间坐标系中，以对所述三维场景地图进行空间关系归一化处理。
4.根据权利要求1所述的方法，其特征在于，将所识别的对象要素与所述三维模型进行关键特征匹配，包括：
根据加速稳健特征算法，从所识别的对象要素中提取特征点，并计算每个特征点的特征描述符；
基于每个所述特征点的特征描述符和每个所述特征点在所述三维场景地图中的位置之间的相似性，来估计所识别的对象要素与所述三维模型的对应关系。
5.根据权利要求1所述的方法，其特征在于，基于超像素分割和语义关系分析，对重构后的所述三维场景地图进行特征分割，包括：
采用简单线性迭代聚类方法，将所述三维场景地图中的所有像素进行迭代聚类，直到迭代聚类得到的超像素的残差低于预设值；
将所述三维场景地图中所述对象要素能够活动的区域作为待创建的语义区域，并使用递归贝叶斯滤波算法来计算所述语义区域的语义类概率；
基于所得到的超像素和所述语义类概率，对所述三维场景地图进行特征分割。
6.根据权利要求1所述的方法，其特征在于，利用稀疏卷积神经网络和极限学习机，来对所分割后的特征进行智能识别，包括：
对所述三维场景地图的原始深度图进行编码得到深度编码图，并确定所述深度编码图与所述原始深度图构成的深度线索；
基于所述深度编码图与所述原始深度图构成的深度线索以及所述三维场景地图与其灰度图像构成的RGB线索，利用基于所述稀疏卷积神经网络构建的特征识别模型，来获取不同视觉线索的层次信息；融合不同视觉线索的层次信息，利用基于核方法的超限学习机对所分割后的特征进行分类。
7.根据权利要求6所述的方法，其特征在于，所述特征识别模型是通过以下方法构建的：
对所述特征识别模型的输入权值向量和隐含层节点偏置随机赋值，初始化所述特征识别模型；
计算所述特征识别模型的隐含层输出矩阵和广义摩尔逆；
基于所述隐含层输出矩阵和所述广义摩尔逆计算所述特征识别模型的输出权值矩阵；
基于所述输出权值矩阵，确定所述特征识别模型的输出。
8.根据权利要求6所述的方法，其特征在于，利用基于核方法的超限学习机对所分割后的特征进行分类包括：
构建所述超限学习机的核矩阵；
基于用于调整所述超限学习机的泛化能力的正则项，来对所分割后的特征进行分类。
9.一种变电站环境数字化区域的地图构建装置，其特征在于，包括：
建模模块，被配置为针对所述变电站环境数字化区域中的不同的对象要素，分别建立虚拟的三维模型，并将所述三维模型显示在与所述变电站环境数字化区域相对应的三维场景地图中；
特征匹配模块，被配置为实时识别所述变电站环境数字化区域中的处于移动状态的对象要素，将所识别的对象要素与所述三维模型进行关键特征匹配，并基于特征匹配的结果实时重构所述三维场景地图；
分割模块，被配置为基于超像素分割和语义关系分析，对重构后的所述三维场景地图进行特征分割，并利用稀疏卷积神经网络和极限学习机，对所分割后的特征进行智能识别，以再次重构所述三维场景地图。
10.一种计算机可读存储介质，其上存储有程序，其特征在于，在所述程序运行时，使得计算机执行如权利要求1至8中任一项所述的方法。
CN202211330330.8A 2022-10-27 2022-10-27 变电站环境数字化区域的地图构建方法及装置 Pending CN115564915A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211330330.8A CN115564915A (zh) 2022-10-27 2022-10-27 变电站环境数字化区域的地图构建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211330330.8A CN115564915A (zh) 2022-10-27 2022-10-27 变电站环境数字化区域的地图构建方法及装置

Publications (1)

Publication Number Publication Date
CN115564915A true CN115564915A (zh) 2023-01-03

Family

ID=84768406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211330330.8A Pending CN115564915A (zh) 2022-10-27 2022-10-27 变电站环境数字化区域的地图构建方法及装置

Country Status (1)

Country Link
CN (1) CN115564915A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116597100A (zh) * 2023-07-18 2023-08-15 杭州杰竞科技有限公司 一种3d模型展馆自动寻址方法和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116597100A (zh) * 2023-07-18 2023-08-15 杭州杰竞科技有限公司 一种3d模型展馆自动寻址方法和系统
CN116597100B (zh) * 2023-07-18 2023-10-20 杭州杰竞科技有限公司 一种3d模型展馆自动寻址方法和系统

Similar Documents

Publication Publication Date Title
CN109544677B (zh) 基于深度图像关键帧的室内场景主结构重建方法及系统
CN111325851B (zh) 图像处理方法及装置、电子设备和计算机可读存储介质
Kim et al. Feature detection of triangular meshes based on tensor voting theory
CN109614935B (zh) 车辆定损方法及装置、存储介质及电子设备
CN111310659B (zh) 基于增进式图卷积神经网络的人体动作识别方法
CN104637090B (zh) 一种基于单张图片的室内场景建模方法
CN105930382A (zh) 一种用2d图片搜索3d模型的方法
CN111241989A (zh) 图像识别方法及装置、电子设备
Pantoja-Rosero et al. Generating LOD3 building models from structure-from-motion and semantic segmentation
CN112287839A (zh) 一种基于迁移学习的ssd红外图像行人检测方法
CN112907569B (zh) 头部图像区域的分割方法、装置、电子设备和存储介质
CN107507188B (zh) 一种基于机器学习提取图像信息的方法及装置
CN113393503B (zh) 一种分割驱动形状先验变形的类别级物体6d位姿估计方法
CN111696196A (zh) 一种三维人脸模型重建方法及装置
CN114219855A (zh) 点云法向量的估计方法、装置、计算机设备和存储介质
CN113591566A (zh) 图像识别模型的训练方法、装置、电子设备和存储介质
CN117274756A (zh) 基于多维特征配准的二维图像与点云的融合方法及装置
CN114758337A (zh) 一种语义实例重建方法、装置、设备及介质
CN114612902A (zh) 图像语义分割方法、装置、设备、存储介质及程序产品
CN115564915A (zh) 变电站环境数字化区域的地图构建方法及装置
Yang et al. Automated semantics and topology representation of residential-building space using floor-plan raster maps
CN113592015B (zh) 定位以及训练特征匹配网络的方法和装置
Yin et al. [Retracted] Virtual Reconstruction Method of Regional 3D Image Based on Visual Transmission Effect
Gavrilov et al. A method for aircraft labeling in aerial and satellite images based on continuous morphological models
CN117058554A (zh) 电力设备目标检测方法、模型训练方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination