CN114708395A - 用于变电站巡检机器人的电表识别、定位及三维建图方法 - Google Patents
用于变电站巡检机器人的电表识别、定位及三维建图方法 Download PDFInfo
- Publication number
- CN114708395A CN114708395A CN202210339577.XA CN202210339577A CN114708395A CN 114708395 A CN114708395 A CN 114708395A CN 202210339577 A CN202210339577 A CN 202210339577A CN 114708395 A CN114708395 A CN 114708395A
- Authority
- CN
- China
- Prior art keywords
- ammeter
- transformer substation
- dimensional
- identification
- electric meter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000013507 mapping Methods 0.000 title claims abstract description 15
- 230000000007 visual effect Effects 0.000 claims abstract description 25
- 238000009877 rendering Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 11
- 230000003993 interaction Effects 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 claims description 4
- 238000012800 visualization Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- WRIYPTGFYKBSFU-UHFFFAOYSA-N ()-Conen Chemical compound CCCCOP(=O)(SCC)SCC1=CC=CC=C1 WRIYPTGFYKBSFU-UHFFFAOYSA-N 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/13—Receivers
- G01S19/14—Receivers specially adapted for specific applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Graphics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
用于变电站巡检机器人的电表识别、定位及三维建图方法,包括电表的识别、定位和电表的局部三维重建。所述的电表的识别是指巡检机器人在构建地图时对变电站中的各种表盘的识别,所述的电表定位是指确定电表在地图中的位置,所述的电表局部三维重建是指在识别表盘的基础上,对变电站中的表盘进行局部三维重建,使其能够快速获得重建的地图,所述的重建地图是指变电站其他地区的稀疏点云地图和各种表盘的三维重建图,特别对电表进行稠密三维重建,是为了让变电站管理人员在可视化平台上清楚的看到电表在变电站场景中的具体位置,这样方便管理人员控制巡检机器人去查看某一电表的读数,然后反馈结果给工作人员,提高变电站工作人员的工作效率。
Description
技术领域
本发明涉及变电站巡检机器人控制领域,具体为用于变电站巡检机器人的电表识别、定位及三维建图方法。
背景技术
随着科技进步和电力体制改革的不断深入发展,电力系统自动化程度已有很大提高,变电站值班也逐渐趋于无人化或少人化。为了保证变电站设备的安全可靠运行,利用巡检机器人完成电站设备的巡检,可以提高工作效率和质量。建图和导航是巡检机器人需要完成的两个主要任务。巡检机器人的导航功能主要是通过众多车载传感器实现的。传感器负责采集机器人所需要的信息,包括感知机器人在局部或全局环境下的位姿、机器人的周围环境等,并对这些信息分析处理,为机器人的安全行驶提供及时可靠的决策依据。使用巡检机器人对变电站进行巡检首先要对变电站建立地图,现有的巡检机器人建图方法有使用安装于激光导航变电站巡检机器人本体上的激光雷达和编码器共同采集数据,后期将数据融合,从而生成变电站地图,这种方式生成的变电站地图会产生较大的累积误差,导致部分环形道路无法闭合。还有使用三维建图设备在变电站内设多点进行扫描建图,后期将三维地图通过软件拼接驻点扫描的数据,之后还需将三维地图转化为激光导航变电站巡检机器人所需的二维变电站地图,这需要购买三维建图的专用设备,费用昂贵,需要每隔一段距离进行小区域建图,后期需要通过软件将地图拼接,需要耗费大量时间采集数据。现有的这些方法仅能够建立稀疏的点云地图用于定位,稀疏点云地图由于无法详细描述空间环境因此难以用于人机交互。而对整个变电站进行全部的三维重建计算量大,计算设备昂贵等问题无法实施。在变电站空间中,巡检机器人除了需要完成自身的定位,更为重要的是需要确切地知道表盘在所建地图中的位置以实现环境交互,同时能将这种交互通过可视化平台给变电站管理人员展示出来,使管理人员能进一步控制巡检机器人,实现人机交互。空间中表盘的位置需要事先采集变电站地图,并在采集的地图中与单体化后的表盘进行交互设置其属性信息。
现有的变电站建图方法包括以几种:
1.变电站建图现在大多使用人工绘制,通过全站仪,米尺和激光测距仪进行人工测绘;但是使用人工绘制,会产生较大的误差,对激光导航变电站巡检机器人定位精度和导航效果产生影响,同时人工绘制也会耗费大量人力和时间成本;
2.使用安装于激光导航变电站巡检机器人本体上的激光雷达和编码器共同采集数据,后期将数据融合,从而生成变电站地图,这种方式生成的变电站地图会产生较大的累积误差,导致部分环形道路无法闭合;
3.使用三维建图设备在变电站内设多点进行扫描建图,后期将三维地图通过软件拼接驻点扫描的数据,之后还需将三维地图转化为激光导航变电站巡检机器人所需的二维变电站地图,需要购买三维建图的专用设备,费用昂贵,需要每隔一段距离进行小区域建图,后期需要通过软件将地图拼接,需要耗费大量时间采集数据。
4.使用激光导航变电站巡检机器人的GPS、视觉及激光雷达的变电站建图方法利用视觉采集设备对环境抓图将相邻的两张图像对比,分析机器人的航向角,结合激光雷达采集的距离信息和GPS获得的坐标信息获得机器人周边区域的地图。这种方法建立的地图也是一种稀疏的点云地图。它无法详细描述空间环境因此难以用于人机交互。
发明内容
为解决上述技术问题,本发明提出了用于变电站巡检机器人的电表识别、定位及三维建图方法,这个方法通过对电表的识别定位并构建电表的稠密三维地图,将其融合到全局稀疏地图中,使变电站管理人员在可视化平台上能清楚的看到电表在变电站场景中的具体位置,这样方便管理人员控制巡检机器人去查看某一电表的读数并反馈给工作人员,提高变电站工作人员的工作效率。相比于建立全局的地图既达到了较好的可视化效果又大大减小了运算量。
用于变电站巡检机器人的电表识别、定位及三维建图方法,包括,其特征在于:
电表的识别定位是指机器人在构建地图的时候对变电站中的各种表盘的识别,电表的局部三维重建是指在上述识别定位的基础上的局部重建,以实现人机交互;
所述的巡检机器人的电表识别重建方法,包括以下步骤:
S1.巡检机器人通过视觉传感器获取变电站环境中的原始彩色图像;
S2.通过基于深度学习的物体检测方法检测上述所述原始彩色图像中是否有表盘的存在;
所述的步骤S2中,包括以下步骤:
S21.对S1中的图像进行卷积、激活、池化处理,提取图像的特征图;
S22.在S1中的原始彩色图上铺设锚框,用softmax损失函数对这个锚框进行前景和背景的二分类,其中前景指含有表盘的锚框,背景指不含有表盘的锚框;
S23.利用smoothL1损失函数修正S22中得到的前景锚框,也就是含有表盘的锚框;
S24.将S23中得到的前景锚框映射到S21的特征图上,得到含有锚框的特征图;
S25.对S24中锚框进行多分类与回归,多分类指的是这个锚框包住的是什么类型的表,回归指的是确定锚框最终的精确位置;
如果上述步骤之后识别出有电表的存在,就开始进行步骤S3中的稠密三维重建,如果没有识别出电表的存在就进行稀疏点云的重建;
S3.基于S2中的识别与定位结果,如果有电表的存在就进行电表的稠密重建,如果没有就进行场景的稀疏重建;
所述的步骤S3中,对没有电表的地方进行普通的稀疏点云重建,对含有电表的图,对电表局部进行单张图片的三维稠密重建,采用深度学习的方法,包括以下步骤:
S31.对S2中识别出有电表的彩色图像,将其送入编码器网络以获得图像特征;
S32.解码器网络将S31得到的图像特征和任意深度作为输入,生成该深度下的RGB-σ图;
S33.由S32就可以得到一个由多个平面组成的的三维表达,即在一次完整的前向传播中,编码需要推理一次,而解码需要推理N次获得N个平面;
S34.获得上述三维表达后,渲染电表在视觉传感器位姿下的视角;
S35.最后是尺度校准,由于S31输入的是单一图像,因此深度尺度在一个尺度因子范围内是模糊的,所以需要计算一个尺度因子使网络预测的尺度与从运动中构建的尺度进行对齐,通过从运动中构建获得每个图片的可见的三维点P以及网络预测的深度图z计算尺度因子获得尺度因子s之后,通过t'=t·s对相机的位移进行校准,获得准确的深度值用于重建;
S36.将上述电表的三维图与激光雷达获得的稀疏图通过卷积空间传播网络的方法进行融合,最终将其展示到可视化平台供管理人员使用。
S4.对整个变电站进行上述步骤S1,S2,S3的操作,完成场景稀疏图和电表稠密图的重建,并将其传到视觉可视化平台,从而进行进一步的控制管理。
作为本发明进一步改进,所述的步骤S43需要以下两步:
首先,利用单应性扭曲建立像素点间的对应,从视觉传感器射出一条光线,这条光线与电表图片的一个像素点相交,延长这条射线,让它与视觉传感器视锥的各个平面相交,相交点的RGB-σ值可以通过双线性采样获得;然后,利用体积渲染将上述光线上的点渲染到目标图片像素点上,获得该像素点的RGB值与深度。
有益效果:
机器人除了需要自身定位,更为重要的是需要确切地知道表盘在所建地图中地位置以实现环境交互。而空间中表盘的位置需要事先采集变电站地图,并在采集的地图中与单体化后的表盘进行交互设置其属性信息。本方法通过对电表的识别定位并构建电表的稠密三维地图,将其融合到全局稀疏地图中,使变电站管理人员在可视化平台上能清楚的看到电表在变电站场景中的具体位置,这样方便管理人员控制巡检机器人去查看某一电表的读数并反馈给工作人员,提高变电站工作人员的工作效率。相比于建立全局的地图既达到了较好的可视化效果又大大减小了运算量。
附图说明
图1是本发明的一个总体流程图;
图2是电表局部重建中获得三维表达的编码器-解码器架构。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述:
本发明是一种巡检机器人对电表进行识别并进行局部重建的方法,目的是通过对电表的识别和重建实现环境交互,同时通过可视化平台向变电站管理人员展示出来实现人机交互。本发明包括电表的识别定位和电表的局部三维重建。电表的识别定位是指机器人在构建地图的时候对变电站中的各种表盘的识别,电表的局部三维重建是指在识别电表的基础上,对电表进行三维重建,这样变电站管理人员在可视化平台上就能清楚的看到电表在变电站场景中的具体位置,如果想知道某一电表的读数,就可以在可视化平台上点击电表,机器人就会自动规划路径到相应的电表跟前读数反馈给管理人员以提高工作效率。
巡检机器人通过视觉传感器获取变电站环境中的原始彩色图像;
(一)电表识别与定位具体实现
对获得的原始彩色图像缩放至固定大小MxN,然后将MxN图像送入包含了13个卷积层,13个激活层,和4个池化层的卷积网络中进行处理,得到图像的特征图。所述的卷积层为核为3,填充为1,步长为1的卷积处理,所述的激活层为Relu激活函数,所述的池化层为核为2,填充为0,步长为2的最大池化处理。
对上述得到的特征图铺设一系列大小和比例的锚框,每一个锚框都有两种可能,前景和背景,用softmax损失函数对这个锚框进行二分类,得到正负样本,其中正样本指含有表盘的锚框,负样本指不含有表盘的锚框。其中softmax损失函数为:
其中zk表示正样本锚框在特征图所在区域上的像素和,L(y,z)是类别损失,y是真实标签,如果是正样本,标注为1,如果是负样本,标注为0。C为总类别数;
对上述操作所得的正样本进行回归,使用SmoothL1损失函数不断校正位置偏移。回归指的是确定表盘的最终精确位置。对于锚框的回归目标值的计算可以用下式:
上述所述的SmoothL1损失函数为:
其中x指预测框位置与真实框位置之差。σ可取为1。
最后,包围电表的锚框的回归目标值即可确定电表在图中的位置。
(二)电表重建方法
对(一)中识别出电表的彩色图像,将其送入编码器网络以获得原始图像的特征图,可以使用ResNet-50作为编码器,然后将特征图和一个视差值di=1/zi作为输入到解码器产生4通道图像解码器的设计类似自监督深度估计模型Monodepth2。这样可以得到一个由多个平面组成的的三维表达,在这个过程中,编码需要推理一次,而解码需要推理N次来生成平面的的离散集合如图2所示。
获得上述三维表达后,渲染电表:
如图2所示,对相机视锥体内任意数量的不同深度值z∈[zn,zf]进行采样,每个平面由RGB值和体积密度组成。体积密度σ(x,y,z)表示射线终止于位置[x,y,z]T的无穷小粒子的微分概率。因为RGB任意位置[x,y,z]T的c(x,y,z)和σ(x,y,z)是由采样深度z平面和查询cz(x,y)和σz(x,y)被给的,在深度范围为[zn,zf]内相机视锥不断被重建。
上面定义的c和σ是连续的二维函数,表示截锥体中每个可能的位置。实际中,在两个方面离散了平面辐射场,一个是锥体由N个平面组成。另一个是将每个平面简化为深度zi处的4通道图像平面。其中离散化只是为了方便绘制。离散表示仍然能够获得任意3D位置上的RGB-σ值,因为在每个4通道平面上任意深度zi∈[zn,zf]和亚像素采样是微不足道的。
根据上式,需要集合来渲染输入图像。如图二所示,是网络的输出,以和di=1/zi为输入。根据分层抽样策略,在[zn,zf]范围内抽样{zi|i=1,…,N}。事实上,在透视几何中采样视差{di=1/zi}。将[dn,df]划分为N个均匀间隔的格,并从每个格中均匀抽取样本,即:
1)应用单应性扭曲w(·)建立源像素坐标[xs,ys]T和目标像素坐标[xt,yt]T之间的对应关系。遵循标准逆单应性来定义w(·)。目标平面上的像素坐标[xt,yt]T与源平面上的像素坐标[xs,ys]T之间的对应关系如下:
其中n=[0,0,1]T是前平行平面相对于源摄像机的法向量。为了简洁起见,现在将上面的弯曲表示为用于深度为zi的平面与源摄像机。然后我们计算平面投影在目标坐标系:而注意,N个平面与源摄像机是正平行的,因此就是投射到目标摄像机的投影。
2)体绘制依赖于每个位置的密度σ,以及射线中每个点之间的距离。因此,可以计算:
如图2所示,想象一条从目标相机原点出发,与目标图像相交于像素坐标[xt,yt]T处的射线,以便更好地理解上式。这条光线与平面相交于像素坐标相对于源相机。同样,光线在源相机像素坐标处相交于平面。表示两个相交点之间的欧氏距离。
3)最后,将c,σ,δ替换为c′,σ′,δ′后,应用方程2生成新的视图。
最后是尺度校准。由于最初输入的是单一图像,因此深度尺度在一个尺度因子范围内是模糊的,所以需要计算一个尺度因子使网络预测的尺度与从运动中构建的尺度进行对齐。通过从运动中构建获得每个图片的可见的三维点P以及网络预测的深度图z计算尺度因子获得尺度因子s之后,对相机的位移进行校准:t'=t·s。
最后,将上述方法得到的电表三维图与激光雷达获得的稀疏图通过卷积空间传播网络的方法进行融合,最终将其展示到可视化平台供管理人员使用。
以上所述,仅是本发明的较佳实施例而已,并非是对本发明作任何其他形式的限制,而依据本发明的技术实质所作的任何修改或等同变化,仍属于本发明所要求保护的范围。
Claims (2)
1.用于变电站巡检机器人的电表识别、定位及三维建图方法,包括,其特征在于:
电表的识别定位是指机器人在构建地图的时候对变电站中的各种表盘的识别,电表的局部三维重建是指在上述识别定位的基础上的局部重建,以实现人机交互;
所述的巡检机器人的电表识别重建方法,包括以下步骤:
S1.巡检机器人通过视觉传感器获取变电站环境中的原始彩色图像;
S2.通过基于深度学习的物体检测方法检测上述所述原始彩色图像中是否有表盘的存在;
所述的步骤S2中,包括以下步骤:
S21.对S1中的图像进行卷积、激活、池化处理,提取图像的特征图;
S22.在S1中的原始彩色图上铺设锚框,用softmax损失函数对这个锚框进行前景和背景的二分类,其中前景指含有表盘的锚框,背景指不含有表盘的锚框;
S23.利用smoothL1损失函数修正S22中得到的前景锚框,也就是含有表盘的锚框;
S24.将S23中得到的前景锚框映射到S21的特征图上,得到含有锚框的特征图;
S25.对S24中锚框进行多分类与回归,多分类指的是这个锚框包住的是什么类型的表,回归指的是确定锚框最终的精确位置;
如果上述步骤之后识别出有电表的存在,就开始进行步骤S3中的稠密三维重建,如果没有识别出电表的存在就进行稀疏点云的重建;
S3.基于S2中的识别与定位结果,如果有电表的存在就进行电表的稠密重建,如果没有就进行场景的稀疏重建;
所述的步骤S3中,对没有电表的地方进行普通的稀疏点云重建,对含有电表的图,对电表局部进行单张图片的三维稠密重建,采用深度学习的方法,包括以下步骤:
S31.对S2中识别出有电表的彩色图像,将其送入编码器网络以获得图像特征;
S32.解码器网络将S31得到的图像特征和任意深度作为输入,生成该深度下的RGB-σ图;
S33.由S32就可以得到一个由多个平面组成的的三维表达,即在一次完整的前向传播中,编码需要推理一次,而解码需要推理N次获得N个平面;
S34.获得上述三维表达后,渲染电表在视觉传感器位姿下的视角;
S35.最后是尺度校准,由于S31输入的是单一图像,因此深度尺度在一个尺度因子范围内是模糊的,所以需要计算一个尺度因子使网络预测的尺度与从运动中构建的尺度进行对齐,通过从运动中构建获得每个图片的可见的三维点P以及网络预测的深度图z计算尺度因子获得尺度因子s之后,通过t'=t·s对相机的位移进行校准,获得准确的深度值用于重建;
S36.将上述电表的三维图与激光雷达获得的稀疏图通过卷积空间传播网络的方法进行融合,最终将其展示到可视化平台供管理人员使用。
S4.对整个变电站进行上述步骤S1,S2,S3的操作,完成场景稀疏图和电表稠密图的重建,并将其传到视觉可视化平台,从而进行进一步的控制管理。
2.根据权利要求1所述的用于变电站巡检机器人的电表识别、定位及三维建图方法,其特征在于:
所述的步骤S43需要以下两步:
首先,利用单应性扭曲建立像素点间的对应,从视觉传感器射出一条光线,这条光线与电表图片的一个像素点相交,延长这条射线,让它与视觉传感器视锥的各个平面相交,相交点的RGB-σ值可以通过双线性采样获得;然后,利用体积渲染将上述光线上的点渲染到目标图片像素点上,获得该像素点的RGB值与深度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210339577.XA CN114708395B (zh) | 2022-04-01 | 2022-04-01 | 用于变电站巡检机器人的电表识别、定位及三维建图方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210339577.XA CN114708395B (zh) | 2022-04-01 | 2022-04-01 | 用于变电站巡检机器人的电表识别、定位及三维建图方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114708395A true CN114708395A (zh) | 2022-07-05 |
CN114708395B CN114708395B (zh) | 2024-08-20 |
Family
ID=82171893
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210339577.XA Active CN114708395B (zh) | 2022-04-01 | 2022-04-01 | 用于变电站巡检机器人的电表识别、定位及三维建图方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114708395B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106595630A (zh) * | 2015-10-14 | 2017-04-26 | 山东鲁能智能技术有限公司 | 一种基于激光导航变电站巡检机器人的建图系统与方法 |
CN111487642A (zh) * | 2020-03-10 | 2020-08-04 | 国电南瑞科技股份有限公司 | 基于三维激光和双目视觉的变电站巡检机器人定位导航系统及方法 |
US20200273190A1 (en) * | 2018-03-14 | 2020-08-27 | Dalian University Of Technology | Method for 3d scene dense reconstruction based on monocular visual slam |
WO2022021739A1 (zh) * | 2020-07-30 | 2022-02-03 | 国网智能科技股份有限公司 | 一种语义智能变电站机器人仿人巡视作业方法及系统 |
-
2022
- 2022-04-01 CN CN202210339577.XA patent/CN114708395B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106595630A (zh) * | 2015-10-14 | 2017-04-26 | 山东鲁能智能技术有限公司 | 一种基于激光导航变电站巡检机器人的建图系统与方法 |
US20200273190A1 (en) * | 2018-03-14 | 2020-08-27 | Dalian University Of Technology | Method for 3d scene dense reconstruction based on monocular visual slam |
CN111487642A (zh) * | 2020-03-10 | 2020-08-04 | 国电南瑞科技股份有限公司 | 基于三维激光和双目视觉的变电站巡检机器人定位导航系统及方法 |
WO2022021739A1 (zh) * | 2020-07-30 | 2022-02-03 | 国网智能科技股份有限公司 | 一种语义智能变电站机器人仿人巡视作业方法及系统 |
Non-Patent Citations (2)
Title |
---|
叶海峰;麦立;栾喜臣;贾伟;李淼;朱刚刚;吕学增;: "基于变电站三维实景的机器人特巡平台", 科技创新导报, no. 01, 1 January 2018 (2018-01-01) * |
李仙琪;张俊伟;陈祖慰;: "基于Unity 3D平台的变电站可视化巡检自主定位方法", 机械设计与制造工程, no. 04, 15 April 2020 (2020-04-15) * |
Also Published As
Publication number | Publication date |
---|---|
CN114708395B (zh) | 2024-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8179393B2 (en) | Fusion of a 2D electro-optical image and 3D point cloud data for scene interpretation and registration performance assessment | |
CN106127771B (zh) | 基于激光雷达lidar点云数据获取隧道正射影像系统及方法 | |
CN112894832A (zh) | 三维建模方法、装置、电子设备和存储介质 | |
US20140015924A1 (en) | Rapid 3D Modeling | |
Huang et al. | Semantics-aided 3D change detection on construction sites using UAV-based photogrammetric point clouds | |
CN107729582A (zh) | 基于tls的构件缺陷监测与预测系统 | |
CN104729529B (zh) | 地形图测量系统误差判断的方法和系统 | |
CN114140539A (zh) | 一种室内物体的位置获取方法和装置 | |
CN116630267A (zh) | 基于无人机与激光雷达数据融合的路基沉降监测方法 | |
CN116129064A (zh) | 电子地图生成方法、装置、设备及存储介质 | |
Gu et al. | Surveying and mapping of large-scale 3D digital topographic map based on oblique photography technology | |
CN107941241A (zh) | 一种用于航空摄影测量质量评价的分辨率板及其使用方法 | |
CN114708395B (zh) | 用于变电站巡检机器人的电表识别、定位及三维建图方法 | |
CN116381726A (zh) | 基于数据自身的无人机激光点云精度自评估方法 | |
CN115830073A (zh) | 地图要素重建方法、装置、计算机设备和存储介质 | |
CN110706260A (zh) | 一种结合定位信息的大场景内运动目标检测方法 | |
JP2021174216A (ja) | 設備点検システム、設備点検方法 | |
Henricsson et al. | Automated 3-D reconstruction of buildings and visualization of city models | |
Zhang et al. | Colorful Reconstruction from Solid-State-LiDAR and Monocular Version | |
Basha et al. | Use of photomodeler as a measuring and management tool in construction projects | |
Barba et al. | A method to improve the accuracy of sparse UAV point cloud applied to the Amphitheater of Pompeii | |
Scholze | A probabilistic approach to building roof reconstruction | |
CN118500254A (zh) | 变电站隐患目标尺寸测量方法和系统 | |
Su et al. | Target recognition and range detection algorithm based on visible-depth image fusion | |
Zhu | Cracks Detection and Quantification Using VLP-16 LiDAR and Intel Depth Camera D-435 in Realtime |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |