CN113887641A - 一种基于输电通道的隐患目标确定方法、设备及介质 - Google Patents
一种基于输电通道的隐患目标确定方法、设备及介质 Download PDFInfo
- Publication number
- CN113887641A CN113887641A CN202111181265.2A CN202111181265A CN113887641A CN 113887641 A CN113887641 A CN 113887641A CN 202111181265 A CN202111181265 A CN 202111181265A CN 113887641 A CN113887641 A CN 113887641A
- Authority
- CN
- China
- Prior art keywords
- dimensional image
- initial
- real
- dimensional
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本说明书实施例公开了一种基于输电通道的隐患目标确定方法、设备及介质,方法包括:获取预先采集输电通道的初始二维图像和三维点云数据在初始二维图像中标记指定特征点;采集输电通道的实时二维图像在实时二维图像中确定出相同位置的指定特征点;将实时二维图像中的指定特征点与初始二维图像中的指定特征点进行位置对比,确定相同特征点的位置偏差值;若位置偏差值超过预设阈值,将预先生成的第一映射关系调整为第二映射关系;若实时二维图像中存在隐患目标,根据第二映射关系在三维点云数据中计算隐患目标的位置信息和距离信息。及时更新二维图像与高精度三维空间场景的映射关系,实现隐患目标精准计算和测量。
Description
技术领域
本说明书涉及电力技术领域,尤其涉及一种基于输电通道的隐患目标确定方法、设备及介质。
背景技术
输电线路通道是指沿高压架空电力线路边导线,向两侧伸展规定宽度的线路下方带状区域。全面掌握输电线路图通道状况,及时发现和消除输电线路通道内以及输电线路通道外可能危及线路安全运行的安全隐患,对保障电网安全稳定运行至关重要。
在输电线路的运维中,对输电线路周围环境进行监测是一项重要的工作,如检查是否有超高树木,违章建筑、违章施工等等。在输电线路通道内施工机械类要求距离导线的最短距离在10米以上,距离在3米内可能会出现放电造成人员伤亡或者跳闸等情况。而输电线路通道隐患类型中的大型施工机械尤其是处于扬臂或者伸展状态的吊车、水泥泵车很容易对导线产生较大威胁,需要对此类隐患进行识别和并对线路的威胁程度进行定量和定性判定。现有的隐患目标的位置和距离是通过相机采集的实时图像确定,当监拍设备受大风等其他因素使输电线路位姿发生变化时,仅通过二维图像计算存在误差,无法对隐患进行精准识别。
发明内容
本说明书一个或多个实施例提供了一种基于输电通道的隐患目标确定方法、设备及介质,用于解决如下技术问题:当监拍设备受大风等其他因素产生位姿变化时,仅通过二维图像计算存在误差,无法对隐患进行精准识别。
本说明书一个或多个实施例采用下述技术方案:
本说明书一个或多个实施例提供一种基于输电通道的隐患目标确定方法,所述方法包括:获取预先采集输电通道的初始二维图像和三维点云数据,并在所述初始二维图像中标记指定特征点;采集所述输电通道的实时二维图像,并在所述实时二维图像中确定出相同位置的指定特征点;将所述实时二维图像中的所述指定特征点与所述初始二维图像中的指定特征点进行位置对比,确定所述初始二维图像与所述实时二维图像中相同特征点的位置偏差值;若所述初始二维图像与所述实时二维图像中相同特征点的位置偏差值超过预设阈值,将预先生成的第一映射关系调整为第二映射关系;其中,所述第一映射关系表示所述初始二维图像和所述三维点云数据之间的映射关系,所述第二映射关系表示所述实时二维图像和所述三维点云数据之间的映射关系;若所述实时二维图像中存在隐患目标,根据所述第二映射关系,在所述三维点云数据中计算所述隐患目标的位置信息和距离信息。
进一步地,所述将预先生成的第一映射关系调整为第二映射关系之前,所述方法还包括:根据人工选点标定机制,将所述初始二维图像数据和所述三维点云数据中的相同位置对应的特征点组成特征点对;根据所述特征点对确定监拍设备的内部参数和外部参数,并将所述初始二维图像数据和所述三维点云数据进行关联,以确定出所述第一映射关系。
进一步地,所述根据所述特征点对,确定监拍设备的内部参数和外部参数,并将所述初始二维图像数据和所述三维点云数据进行关联,以确定出所述第一映射关系,具体包括:通过监拍设备采集所述输电通道的所述初始二维图像,根据指定标定方法对所述监拍设备进行标定,获取所述监拍设备的内部参数,其中,所述内部参数用于确定监拍设备从三维到二维之间的投影关系;根据所述特征点对在所述三维点云数据和所述初始二维图像数据中的坐标信息,确定所述监拍设备的外部参数,其中,所述外部参数用于确定监拍设备与点云之间的相对位置关系;根据所述内部参数和外部参数确定出所述三维点云数据与所述初始二维图像之间的空间坐标转换关系;根据所述空间坐标转换关系,确定所述初始二维图像和所述三维点云数据之间的映射关系。
进一步地,所述根据所述特征点对在所述三维点云数据和所述初始二维图像数据中的坐标信息,确定所述监拍设备的外部参数,具体包括:根据所述初始二维图像的视角,调整所述三维点云数据的视角;获取所述特征点对在所述三维点云数据中的三维点云坐标,并获取所述特征点对在所述初始二维图像中的像素坐标;根据所述指定特征点的所述三维点云坐标和所述像素坐标,确定出所述监拍设备的外部参数。
进一步地,所述在所述实时二维图像中确定出相同位置的指定特征点,具体包括:以所述初始二维图像中的所述指定特征点为中心,选取指定区域作为第一指定特征点区域,根据预设算法提取所述第一指定特征点区域中的目标特征;将所述实时二维图像划分为多个目标区域,每个目标区域的大小与所述第一指定特征点区域相同,根据预设算法提取所述实时二维图像中多个目标区域的目标特征;根据所述实时二维图像中多个目标区域的目标特征与所述第一指定特征点区域中的目标特征,确定所述实时二维图像中与所述第一指定特征点区域对应的目标区域,在所述目标区域中确定出相同位置的指定特征点。
进一步地,所述确定所述初始二维图像与所述实时二维图像中相同特征点的位置偏差值,具体包括:确定所述初始二维图像中所述指定特征点的像素位置,并确定出所述实时二维图像中相同位置特征点的像素位置;根据所述初始二维图像中所述指定特征点的像素位置和所述实时二维图像中相同位置特征点的像素位置,计算像素差值,将所述像素差值作为所述初始二维图像与所述实时二维图像中相同特征点的位置偏差值。
进一步地,所述初始二维图像与所述实时二维图像中相同特征点的位置偏差值超过预设阈值,具体包括:计算所述实时二维图像中所有指定特征点与所述初始二维图像中的指定特征点的像素差值,并计算所有指定特征点的像素差值的平均值;若存在特征点的像素差值高于预设的偏差阈值,或,所述像素差值的平均值高于预设的平均偏差阈值,则确定所述初始二维图像与所述实时二维图像中相同特征点的位置偏差值超过预设阈值。
进一步地,所述确定所述初始二维图像与所述实时二维图像中相同特征点的位置偏差值之后,所述方法还包括:若所述初始二维图像与所述实时二维图像中相同特征点的位置偏差值在预设阈值内,则根据所述第一映射关系,在所述三维点云数据中计算所述实时二维图像中隐患目标的位置信息和距离信息。
本说明书一个或多个实施例提供一种基于输电通道的隐患目标确定设备,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述的方法。
本说明书一个或多个实施例提供的一种非易失性计算机存储介质,存储有计算机可执行指令,所述计算机可执行指令设置为:
获取预先采集输电通道的初始二维图像和三维点云数据,并在所述初始二维图像中标记指定特征点;采集所述输电通道的实时二维图像,并在所述实时二维图像中确定出相同位置的指定特征点;将所述实时二维图像中的所述指定特征点与所述初始二维图像中的指定特征点进行位置对比,确定所述初始二维图像与所述实时二维图像中相同特征点的位置偏差值;若所述初始二维图像与所述实时二维图像中相同特征点的位置偏差值超过预设阈值,将预先生成的第一映射关系调整为第二映射关系;其中,所述第一映射关系表示所述初始二维图像和所述三维点云数据之间的映射关系,所述第二映射关系表示所述实时二维图像和所述三维点云数据之间的映射关系;若所述实时二维图像中存在隐患目标,根据所述第二映射关系,在所述三维点云数据中计算所述隐患目标的位置信息和距离信息。
本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果:通过实时二维图像与初始二维图像中指定特征点的对比计算位置偏差值,确定监拍设备是否发生位姿变化,避免了需要人工现场确定的情况;另外,利用二维二维图像和三维点云数据之间的映射关系计算隐患目标的位置和距离,及时更新二维图像与高精度三维空间场景的映射关系,为使用二维图像信息实现通道场景内隐患目标精准计算和测量提供精度保证,为输电线路通道安全提供更加有效的预警信息,能够极大地降低虚警率。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1为本说明书实施例提供的一种基于输电通道的隐患目标确定方法流程示意图;
图2为本说明书实施例提供的一种人工选点标定算法的流程示意图;
图3为本说明书实施例提供的二维图像视角示意图;
图4为本说明书实施例提供的一种空间坐标转换关系示意图;
图5为本说明书实施例提供的一种三维激光点云与单目视觉图像融合的动态自适应标定方法的流程示意图;
图6为本说明书实施例提供的一种基于输电通道的隐患目标确定设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本说明书保护的范围。
输电线路通道是指沿高压架空电力线路边导线,向两侧伸展规定宽度的线路下方带状区域,全面掌握输电线路图通道状况,及时发现和消除输电线路通道内以及输电线路通道外可能危及线路安全运行的安全隐患,对保障电网安全稳定运行至关重要。在输电线路的运维中,对输电线路周围环境进行监测是一项重要的工作,如检查是否有超高树木,违章建筑、违章施工等等,在输电线路通道内施工机械类要求距离导线的最短距离在10米以上,距离在3米内可能会出现放电造成人员伤亡或者跳闸等情况。而输电线路通道隐患类型中的大型施工机械尤其是处于扬臂或者伸展状态的吊车、水泥泵车很容易对导线产生较大威胁,需要对此类隐患进行识别和并对线路的威胁程度进行定量和定性判定。现有的隐患目标的位置和距离是通过相机采集的实时图像确定,当监拍设备受大风等其他因素产生位姿变化时,仅通过二维图像计算存在误差,无法对隐患进行精准识别。
针对架空输电通道的应用场景,通过安装在输电杆塔的监控相机采集二维单目图像,通过无人机或直升机采集的点云构建三维点云数据,在不改变已安装的在线监拍单目相机的前提下,利用通道三维点云对监拍系统进行三维重建,需要针对三维点云数据和二维图像数据进行标定,建立图像与高精度三维空间场景的映射关系,通过二维图像位置实现隐患目标精准计算和量测。
然而,点云采集设备和相机设备并不是一体的,导致点云数据和图像数据是分离状态,大多数情况下不是同期数据,无法利用定制标定板、标定装置进行标定。需要说明的是,在图像测量过程以及机器视觉应用中,为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系,必须建立相机成像的几何模型,这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到,这个求解参数的过程为相机标定。通过标定,已知标定控制点的世界坐标和像素坐标,去解算这个映射关系,可以由点的像素坐标去反推世界坐标,根据得到的世界坐标,进行测量等其他后续操作。
另外,随着时间的增加,固定安装在监拍点的单目相机设备容易受到外界环境的影响,例如大风震动、螺丝松动、设备检修等因素,导致设备自身姿态发生变化,此时初始标定的二维和三维空间映射关系将不能代表真实的二维场景,导致出现较大偏差。在设备实际运行过程中,无法随时进行标定,需要一个自动检测手段,达到自适应标定的目的。现有的标定方法利用金属球作为标定物进行单目相机与毫米波雷达的外参标定方法以及依赖于选择的标定物与环境,获取毫米波雷达与相机的数据,将点云数据投影至相机坐标系,通过拖动滑动条调整外参,大都是适用于自动驾驶、无人机测绘等场景中,而且,基于三维特征和二维特征的匹配方式,设计特征和匹配需要非常用心,标定工作依赖于特殊布置的特定标定物和环境,不具有通用性。
本说明书实施例提供一种基于输电通道的隐患目标确定方法,需要说明的是,该方法实施例中执行主体可以是处理器,也可以是其他具备处理能力的设备。如图1所示,主要包括如下步骤:
步骤S101,获取预先采集输电通道的初始二维图像和三维点云数据,并在初始二维图像中标记指定特征点。
在本说明书的一个实施例中,通过监拍设备采集输电通道的初始二维图像,监拍设备可以安装在输电杆塔处,可以是单目相机;通过无人机或直升机采集输电通道的点云,构建三维点云数据。需要说明的是,在实际的运行过程中,单目相机为实时拍摄的状态,无人机或直升机采集点云的时间间隔较久,例如可以是半年采集一次。
在初始二维图像中确定指定特征点,指定特征点为输电通道中的强特征点,例如输电杆塔的目标角点、拐点、顶点等特殊点,还可以是图像中建筑物的目标角点、拐点、顶点等。
在本说明书的一个实施例中,根据人工选点标定机制,将初始二维图像数据和三维点云数据进行关联,以确定出初始二维图像和三维点云数据之间的映射关系。现有的三维点云和二维图像的标定方法中,需要特别定制标定装置,且依赖于反射介质,获得三维激光扫描数据的稳定性无法保证;另外,本说明书实施例采用人工选点标定算法,通过选取强特征点,将三维激光点云数据与单目相机采集到的二维图像融合,进行联合标定,标定流程如图2所示。
首先,获取输电通道对应的初始二维图像和三维点云数据。对监拍设备进行标定,可以通过张正友标定法对监拍设备进行标定,确定出监拍设备的内部参数,其中,内部参数是与监拍设备自身特性相关的参数,用于确定监拍设备从三维到二维之间的投影关系,监拍设备的内部参数可以包括焦距参数fx,fy和光心参数cx,cy,也可以是其他可以确定监拍设备从三维到二维之间的投影关系的相关参数。
其次,读取三维点云数据,根据初始二维图像的视觉角度调整三维点云数据中的视角,使得两者的视角一致,二维图像的视角如图3所示,调节三维点云数据的视角与二维图像的视角一致。在调整视角之后,以初始二维图像为基准,选取采集的输电通道场景中的特征点,需要说明的是,这些特征点是强特征点,例如输电杆塔的目标角点、拐点、顶点等特殊点,还可以是图像中建筑物的目标角点、拐点、顶点等,如图3中的点1、点2、点3以及点4为示例性选取的四个特征点,对特征点的选取数量和选取位置不作具体限定。分别在初始二维图像和三维点云数据中找到相同位置处的特征点位置,将初始二维图像数据和所述三维点云数据中的相同位置对应的特征点组成特征点对,特征点对的数量不少于4组。需要说明的是,相同位置指的是场景中的同一位置,例如,找到输电杆塔的顶点在初始二维图像中的位置,再找到输电杆塔的顶点在三维点云数据中的位置。
确定出相同位置处的特征点在初始二维图像和三维点云数据中的位置之后,确定特征点在三维点云数据中的三维点云坐标,并确定出特征点在初始二维图像中的像素坐标,将特征点的三维点云坐标和像素坐标联合,确定出相机的外部参数。需要说明的是,相机的外部参数可以简称为相机外参,是相机在世界坐标系中的参数,比如相机的位置、旋转方向等,通过外部参数可以确定监拍设备与点云之间的相对位置关系。
根据相机的内部参数和外部参数,确定出三维点云数据和初始二维图像之间的空间坐标转换关系。其中,空间坐标转换关系描述如下:以三维激光点云的原点坐标系作为统一的世界坐标系,定义为Xw,Yw,Zw,单位是长度单位。摄像机坐标系以光心为相机坐标系的原点,以平行于二维图像的x和y方向为Xc轴和Yc轴,Zc轴和光轴平行,Xc,Yc,Zc互相垂直,单位是长度单位。图像物理坐标系以主光轴和图像平面交点为坐标原点,x和y方向如图4所示,单位是长度单位。图像像素坐标系以图像的顶点为坐标原点,u和v方向平行于x和y方向,单位是以像素计。最终的坐标转换关系:
其中,R是旋转矩阵,为3个自由度,t是平移矩阵,两者组成3×4矩阵即为相机的外参矩阵,fx,fy,cx,cy是相机的内部参数。
根据得到的三维点云数据与初始二维图像之间的空间坐标转换关系,确定出初始二维图像和三维点云数据之间的映射关系,使得该映射关系可以代表真实的三维场景。在不改变已安装的在线监拍设备的前提下,利用点云采集设备获取的通道三维点云对监拍系统进行三维重建,针对三维点云数据和二维图像数据实现了动态自适应标定,无需利用定制标定板、标定装置进行标定,只需要二维图像和对应的三维点云数据信息,不用到监拍现场标定,节省了标定成本。
步骤S102,采集输电通道的实时二维图像,并在实时二维图像中确定出相同位置的指定特征点。
在本说明书的一个实施例中,通过监拍设备实时拍摄输电通道的实时二维图像。在设备的实际运行中,需要通过监拍设备实时采集输电通道的实时二维图像,实现对隐患的检测、计算等。采集到输电通道的实时二维图像之后,在实时二维图像中确定出相同位置的特征点。需要说明的是,此处的相同位置是指场景中的同一位置,例如,确定出输电杆塔的顶点在初始二维图像中的位置,同样确定出输电杆塔的顶点在实时二维图像中的位置。
在设备的实际运行中,由于大风刮动、螺丝松动等原因,监拍设备可能会出现姿态的变化,导致采集到的实时图片与初始标定时的图片存在差异,也就是说,初始标定时得到的映射关系无法代表真实的应用场景。因此,本说明书实施例采用自适应标定算法,以初始人工选择的二维图像中的强特征点为基准,将标定采用的初始二维图像作为基准图像,与定期从监拍设备实时获取的实时二维图像进行强特征点匹配,采用旋转、尺度缩放、仿射变换特征不变性的特征匹配算法,检测并获取实时二维图像中特征点的新位置,并计算点位偏差。
在本说明书的一个实施例中,以初始二维图像中的指定特征点为中心,选取指定区域作为第一指定特征点区域,根据预设算法提取第一指定特征点区域中的目标特征。例如,以初始二维图像中的输电杆塔的顶点为中心,选取50*50的区域作为第一指定特征点区域,采用ORB(Oriented FAST and Rotated BRIEF)或其他算法提取各区域内的目标特征,需要说明的是,ORB是一种快速特征点提取和描述的算法,计算速度快,不仅节约存储空间,而且大大缩短匹配的时间。
将实时二维图像划分为多个目标区域,每个目标区域的大小与第一指定特征点区域相同,根据预设算法提取实时二维图像中多个目标区域的目标特征。例如,将实时二维图像划分为多个50*50的区域,根据各个区域内采用ORB或其他算法提取各区域内的目标特征,以初始二维图像中第一指定特征点区域为基准,确定出与其匹配的目标区域,也就是确定了确定实时二维图像中与第一指定特征点区域对应的目标区域。然后,在目标区域中确定出相同位置的指定特征点。以特征点为中心选择区域进行目标特征比对,减少了计算的工作量,通过先确定目标区域再确定指定特征点的方式,减少工作量。
步骤S103,将实时二维图像中的指定特征点与初始二维图像中的指定特征点进行位置对比,确定初始二维图像与实时二维图像中相同特征点的位置偏差值。
在本说明书的一个实施例中,确定初始二维图像中指定特征点的像素位置,并确定出实时二维图像中相同位置特征点的像素位置。根据初始二维图像中指定特征点的像素位置和实时二维图像中相同位置特征点的像素位置,计算像素差值,将像素差值作为初始二维图像与实时二维图像中相同特征点的位置偏差值。例如,确定出初始二维图像中输电杆塔顶点的像素位置为第一位置,实时二维图像中输电杆塔顶点的像素位置作为第二位置,以第一位置为基准位置,计算第二位置产生的位置偏差,第二位置与第一位置之间的位置偏差可以用像素偏差确定。
在本说明书的一个实施例中,由于在初始二维图像和实时二维图像中的强特征点包括多个,在确定像素差值时可以有两种方法,一种是计算实时二维图像中每个指定特征点与初始二维图像中相同位置的指定特征点的像素差值,另一种是计算所有指定特征点的像素差值的平均值。
步骤S104,若初始二维图像与实时二维图像中相同特征点的位置偏差值超过预设阈值,将预先生成的第一映射关系调整为第二映射关系。
需要说明的是,第一映射关系表示初始二维图像和三维点云数据之间的映射关系,第二映射关系表示实时二维图像和三维点云数据之间的映射关系。
在本说明书的一个实施例中,若存在特征点的像素差值高于预设的偏差阈值,或,像素差值的平均值高于预设的平均偏差阈值,则确定初始二维图像与实时二维图像中相同特征点的位置偏差值超过预设阈值。在实际的应用场景中,当所有强特征点的均值偏差大于3个像素,或者存在强特征点的最大偏差大于10个像素时,说明此时监拍设备采集的实时二维图像与初始二维图像存在较大变化,也就是说,当前监拍设备的位置发生了较大变化,初始二维图像与三维点云数据之间的映射关系已经不能反映真实的输电通道的三维场景了。因此,需要将映射关系更新为实时二维图像和三维点云数据之间的映射关系。
在本说明书的一个实施例中,若实时二维图像中的特征点与初始二维图像中的特征点的位置偏差值未超过预设阈值,说明此时监拍设备与初次拍摄时的位置、姿态基本没有变化,或者说,变化较小不影响计算结果。此时以初始二维图像和三维点云之间的映射关系确定隐患目标。在设备实际运行过程中,摆脱了外界环境影响导致的设备自身姿态变化,将三维特征点与二维特征点匹配困难问题,转化为二维与二维之间的特征匹配,实现了实时设备位置自动监测、自动标定纠偏。
步骤S105,若实时二维图像中存在隐患目标,根据第二映射关系,在三维点云数据中计算隐患目标的位置信息和距离信息。
通过监拍设备实时采集输电通道的图像确定是否出现隐患目标,监拍设备采集到的图像为二维图像,根据监拍设备拍摄角度与拍摄方位的差异,采集到的图像也不相同。并且,在确定隐患目标时需要根据隐患目标的位置、距离等信息,确定出改隐患目标是否对输电通道造成损害。在二维图像中确定目标的位置、计算距离等会存在较大误差。
在本说明书的一个实施例中,若实时二维图像中存在隐患目标,可以根据预先设置的映射关系,在三维点云数据中计算其位置信息和距离信息,结合二维图像和三维数据进行结合,并及时更新二维图像与高精度三维空间场景的映射关系,为使用二维图像信息实现通道场景内隐患目标精准计算和量测提供精度保证,进而为输电线路通道安全提供更加有效的预警信息,能够极大地降低虚警率。
图5为本说明书提供的三维激光点云与单目视觉图像融合的动态自适应标定方法的流程示意图,如图5所示,主要包括如下步骤:
首先,采用人工选点标定机制,进行初始人工选点,利用二维图像和三维图像的强特征点组成特征点对,将初始单目相机二维图像和三维激光点云进行标定,获取到初始二维图像和三维点云的映射关系,并将该初始二维图像作为二维基准图像。在二维基准图像中确定特征点位区域,需要说明的是,特征点位区域的范围可以根据实际情况自行设定,例如,可以是以强特征点为中心,选取50*50的范围作为特征点位区域。
在设备实际运行过程中,定期将实时采集到的二维图像和初始标定的初始二维图像进行配准,检测单目相机因环境变化导致的安装位姿变化。利用首次人工选取的位置点,计算偏移误差,超过阈值,启动自动标定,更新标定后的映射关系。基于初始人工标定的位置点对,将3D特征点与2D特征点匹配困难问题,转化为2D与2D的特征匹配,实现自动选点标定。
利用人工选择的点位区域,设计特征提取算法,实现二维图像的快速配准,提取新的二维图像的相同特征的目标点位置。与初始选定的三维点组成新的3D-2D匹配点对,重新标定校正。
本说明书实施例还提供一种基于输电通道的隐患目标确定设备,如图6所示,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行任意实施例中的方法。
本说明书实施例还提供一种非易失性计算机存储介质,存储有计算机可执行指令,所述计算机可执行指令设置为:获取预先采集输电通道的初始二维图像和三维点云数据,并在初始二维图像中标记指定特征点;采集输电通道的实时二维图像,并在实时二维图像中确定出相同位置的指定特征点;将实时二维图像中的指定特征点与初始二维图像中的指定特征点进行位置对比,确定初始二维图像与实时二维图像中相同特征点的位置偏差值;若初始二维图像与实时二维图像中相同特征点的位置偏差值超过预设阈值,将预先生成的第一映射关系调整为第二映射关系;其中,第一映射关系表示初始二维图像和三维点云数据之间的映射关系,第二映射关系表示实时二维图像和三维点云数据之间的映射关系;若实时二维图像中存在隐患目标,根据第二映射关系,在三维点云数据中计算隐患目标的位置信息和距离信息。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、设备、非易失性计算机存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
以上所述仅为本说明书的一个或多个实施例而已,并不用于限制本说明书。对于本领域技术人员来说,本说明书的一个或多个实施例可以有各种更改和变化。凡在本说明书的一个或多个实施例的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书的权利要求范围之内。
Claims (10)
1.一种基于输电通道的隐患目标确定方法,其特征在于,所述方法包括:
获取预先采集输电通道的初始二维图像和三维点云数据,并在所述初始二维图像中标记指定特征点;
采集所述输电通道的实时二维图像,并在所述实时二维图像中确定出相同位置的指定特征点;
将所述实时二维图像中的所述指定特征点与所述初始二维图像中的指定特征点进行位置对比,确定所述初始二维图像与所述实时二维图像中相同特征点的位置偏差值;
若所述初始二维图像与所述实时二维图像中相同特征点的位置偏差值超过预设阈值,将预先生成的第一映射关系调整为第二映射关系;
其中,所述第一映射关系表示所述初始二维图像和所述三维点云数据之间的映射关系,所述第二映射关系表示所述实时二维图像和所述三维点云数据之间的映射关系;
若所述实时二维图像中存在隐患目标,根据所述第二映射关系,在所述三维点云数据中计算所述隐患目标的位置信息和距离信息。
2.根据权利要求1所述的一种基于输电通道的隐患目标确定方法,其特征在于,所述将预先生成的第一映射关系调整为第二映射关系之前,所述方法还包括:
根据人工选点标定机制,将所述初始二维图像数据和所述三维点云数据中的相同位置对应的特征点组成特征点对;
根据所述特征点对确定监拍设备的内部参数和外部参数,并将所述初始二维图像数据和所述三维点云数据进行关联,以确定出所述第一映射关系。
3.根据权利要求2所述的一种基于输电通道的隐患目标确定方法,其特征在于,所述根据所述特征点对,确定监拍设备的内部参数和外部参数,并将所述初始二维图像数据和所述三维点云数据进行关联,以确定出所述第一映射关系,具体包括:
通过监拍设备采集所述输电通道的所述初始二维图像,根据指定标定方法对所述监拍设备进行标定,获取所述监拍设备的内部参数,其中,所述内部参数用于确定监拍设备从三维到二维之间的投影关系;
根据所述特征点对在所述三维点云数据和所述初始二维图像数据中的坐标信息,确定所述监拍设备的外部参数,其中,所述外部参数用于确定监拍设备与点云之间的相对位置关系;
根据所述内部参数和外部参数确定出所述三维点云数据与所述初始二维图像之间的空间坐标转换关系;
根据所述空间坐标转换关系,确定所述初始二维图像和所述三维点云数据之间的映射关系。
4.根据权利要求3所述的一种基于输电通道的隐患目标确定方法,其特征在于,所述根据所述特征点对在所述三维点云数据和所述初始二维图像数据中的坐标信息,确定所述监拍设备的外部参数,具体包括:
根据所述初始二维图像的视角,调整所述三维点云数据的视角;
获取所述特征点对在所述三维点云数据中的三维点云坐标,并获取所述特征点对在所述初始二维图像中的像素坐标;
根据所述指定特征点的所述三维点云坐标和所述像素坐标,确定出所述监拍设备的外部参数。
5.根据权利要求1所述的一种基于输电通道的隐患目标确定方法,其特征在于,所述在所述实时二维图像中确定出相同位置的指定特征点,具体包括:
以所述初始二维图像中的所述指定特征点为中心,选取指定区域作为第一指定特征点区域,根据预设算法提取所述第一指定特征点区域中的目标特征;
将所述实时二维图像划分为多个目标区域,每个目标区域的大小与所述第一指定特征点区域相同,根据预设算法提取所述实时二维图像中多个目标区域的目标特征;
根据所述实时二维图像中多个目标区域的目标特征与所述第一指定特征点区域中的目标特征,确定所述实时二维图像中与所述第一指定特征点区域对应的目标区域,在所述目标区域中确定出相同位置的指定特征点。
6.根据权利要求1所述的一种基于输电通道的隐患目标确定方法,其特征在于,所述确定所述初始二维图像与所述实时二维图像中相同特征点的位置偏差值,具体包括:
确定所述初始二维图像中所述指定特征点的像素位置,并确定出所述实时二维图像中相同位置特征点的像素位置;
根据所述初始二维图像中所述指定特征点的像素位置和所述实时二维图像中相同位置特征点的像素位置,计算像素差值,将所述像素差值作为所述初始二维图像与所述实时二维图像中相同特征点的位置偏差值。
7.根据权利要求6所述的一种基于输电通道的隐患目标确定方法,其特征在于,所述初始二维图像与所述实时二维图像中相同特征点的位置偏差值超过预设阈值,具体包括:
计算所述实时二维图像中所有指定特征点与所述初始二维图像中的指定特征点的像素差值,并计算所有指定特征点的像素差值的平均值;
若存在特征点的像素差值高于预设的偏差阈值,或,所述像素差值的平均值高于预设的平均偏差阈值,则确定所述初始二维图像与所述实时二维图像中相同特征点的位置偏差值超过预设阈值。
8.根据权利要求1所述的一种基于输电通道的隐患目标确定方法,其特征在于,所述确定所述初始二维图像与所述实时二维图像中相同特征点的位置偏差值之后,所述方法还包括:
若所述初始二维图像与所述实时二维图像中相同特征点的位置偏差值在预设阈值内,则根据所述第一映射关系,在所述三维点云数据中计算所述实时二维图像中隐患目标的位置信息和距离信息。
9.一种基于输电通道的隐患目标确定设备,其特征在于,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1-8中任意一项权利要求所述的方法。
10.一种非易失性计算机存储介质,存储有计算机可执行指令,所述计算机可执行指令设置为:
获取预先采集输电通道的初始二维图像和三维点云数据,并在所述初始二维图像中标记指定特征点;
采集所述输电通道的实时二维图像,并在所述实时二维图像中确定出相同位置的指定特征点;
将所述实时二维图像中的所述指定特征点与所述初始二维图像中的指定特征点进行位置对比,确定所述初始二维图像与所述实时二维图像中相同特征点的位置偏差值;
若所述初始二维图像与所述实时二维图像中相同特征点的位置偏差值超过预设阈值,将预先生成的第一映射关系调整为第二映射关系;
其中,所述第一映射关系表示所述初始二维图像和所述三维点云数据之间的映射关系,所述第二映射关系表示所述实时二维图像和所述三维点云数据之间的映射关系;
若所述实时二维图像中存在隐患目标,根据所述第二映射关系,在所述三维点云数据中计算所述隐患目标的位置信息和距离信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111181265.2A CN113887641A (zh) | 2021-10-11 | 2021-10-11 | 一种基于输电通道的隐患目标确定方法、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111181265.2A CN113887641A (zh) | 2021-10-11 | 2021-10-11 | 一种基于输电通道的隐患目标确定方法、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113887641A true CN113887641A (zh) | 2022-01-04 |
Family
ID=79005978
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111181265.2A Pending CN113887641A (zh) | 2021-10-11 | 2021-10-11 | 一种基于输电通道的隐患目标确定方法、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113887641A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114066985A (zh) * | 2022-01-11 | 2022-02-18 | 深圳金三立视频科技股份有限公司 | 一种输电线隐患距离的计算方法及终端 |
CN114663485A (zh) * | 2022-04-15 | 2022-06-24 | 国网江苏省电力有限公司泰州供电分公司 | 一种输电线路图像和点云数据的处理方法和系统 |
CN114693807A (zh) * | 2022-04-18 | 2022-07-01 | 国网江苏省电力有限公司泰州供电分公司 | 一种输电线路图像与点云的映射数据重构方法及系统 |
CN114743021A (zh) * | 2022-04-15 | 2022-07-12 | 国网江苏省电力有限公司泰州供电分公司 | 一种输电线路图像与点云数据的融合方法及系统 |
CN115035468A (zh) * | 2022-06-06 | 2022-09-09 | 国网北京市电力公司 | 输电线路的监测方法、装置以及电子设备 |
CN115063442A (zh) * | 2022-06-30 | 2022-09-16 | 山东信通电子股份有限公司 | 一种输电线路隐患目标跟踪方法、设备及介质 |
CN117152647A (zh) * | 2023-11-01 | 2023-12-01 | 天津市普迅电力信息技术有限公司 | 一种基于多视角融合的无人机配网竣工验收方法 |
CN117478944A (zh) * | 2023-09-27 | 2024-01-30 | 珠海视熙科技有限公司 | 主播定位方法、装置、介质及直播机和电子设备 |
CN117517864A (zh) * | 2023-11-08 | 2024-02-06 | 南京航空航天大学 | 一种基于激光雷达的输电线路近电预警方法与装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102646277A (zh) * | 2012-03-05 | 2012-08-22 | 上海海事大学 | 一种具有实时参数监控和在线标定功能的视觉系统 |
WO2018235923A1 (ja) * | 2017-06-21 | 2018-12-27 | 国立大学法人 東京大学 | 位置推定装置、位置推定方法、及びプログラム |
CN112489130A (zh) * | 2021-01-11 | 2021-03-12 | 众芯汉创(北京)科技有限公司 | 一种输电线路与目标物的距离测量方法、装置及电子设备 |
CN113345019A (zh) * | 2021-06-09 | 2021-09-03 | 山东信通电子股份有限公司 | 一种输电线路通道隐患目标测距方法、设备及介质 |
CN113469947A (zh) * | 2021-06-08 | 2021-10-01 | 智洋创新科技股份有限公司 | 一种适合多种地形的测量隐患与输电导线净空距离的方法 |
CN113465522A (zh) * | 2021-06-08 | 2021-10-01 | 智洋创新科技股份有限公司 | 一种基于点云的输电通道内隐患测距的方法 |
-
2021
- 2021-10-11 CN CN202111181265.2A patent/CN113887641A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102646277A (zh) * | 2012-03-05 | 2012-08-22 | 上海海事大学 | 一种具有实时参数监控和在线标定功能的视觉系统 |
WO2018235923A1 (ja) * | 2017-06-21 | 2018-12-27 | 国立大学法人 東京大学 | 位置推定装置、位置推定方法、及びプログラム |
CN112489130A (zh) * | 2021-01-11 | 2021-03-12 | 众芯汉创(北京)科技有限公司 | 一种输电线路与目标物的距离测量方法、装置及电子设备 |
CN113469947A (zh) * | 2021-06-08 | 2021-10-01 | 智洋创新科技股份有限公司 | 一种适合多种地形的测量隐患与输电导线净空距离的方法 |
CN113465522A (zh) * | 2021-06-08 | 2021-10-01 | 智洋创新科技股份有限公司 | 一种基于点云的输电通道内隐患测距的方法 |
CN113345019A (zh) * | 2021-06-09 | 2021-09-03 | 山东信通电子股份有限公司 | 一种输电线路通道隐患目标测距方法、设备及介质 |
Non-Patent Citations (1)
Title |
---|
李明磊;高欣圆;李广云;王力;刘松林;: "地面三维激光扫描仪与外架数码相机间安置参数的高精度标定", 光学精密工程, no. 09, 15 September 2016 (2016-09-15) * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114066985A (zh) * | 2022-01-11 | 2022-02-18 | 深圳金三立视频科技股份有限公司 | 一种输电线隐患距离的计算方法及终端 |
CN114663485A (zh) * | 2022-04-15 | 2022-06-24 | 国网江苏省电力有限公司泰州供电分公司 | 一种输电线路图像和点云数据的处理方法和系统 |
CN114743021A (zh) * | 2022-04-15 | 2022-07-12 | 国网江苏省电力有限公司泰州供电分公司 | 一种输电线路图像与点云数据的融合方法及系统 |
CN114693807B (zh) * | 2022-04-18 | 2024-02-06 | 国网江苏省电力有限公司泰州供电分公司 | 一种输电线路图像与点云的映射数据重构方法及系统 |
CN114693807A (zh) * | 2022-04-18 | 2022-07-01 | 国网江苏省电力有限公司泰州供电分公司 | 一种输电线路图像与点云的映射数据重构方法及系统 |
CN115035468A (zh) * | 2022-06-06 | 2022-09-09 | 国网北京市电力公司 | 输电线路的监测方法、装置以及电子设备 |
CN115063442A (zh) * | 2022-06-30 | 2022-09-16 | 山东信通电子股份有限公司 | 一种输电线路隐患目标跟踪方法、设备及介质 |
CN115063442B (zh) * | 2022-06-30 | 2024-05-31 | 山东信通电子股份有限公司 | 一种输电线路隐患目标跟踪方法、设备及介质 |
CN117478944A (zh) * | 2023-09-27 | 2024-01-30 | 珠海视熙科技有限公司 | 主播定位方法、装置、介质及直播机和电子设备 |
CN117152647A (zh) * | 2023-11-01 | 2023-12-01 | 天津市普迅电力信息技术有限公司 | 一种基于多视角融合的无人机配网竣工验收方法 |
CN117152647B (zh) * | 2023-11-01 | 2024-01-09 | 天津市普迅电力信息技术有限公司 | 一种基于多视角融合的无人机配网竣工验收方法 |
CN117517864A (zh) * | 2023-11-08 | 2024-02-06 | 南京航空航天大学 | 一种基于激光雷达的输电线路近电预警方法与装置 |
CN117517864B (zh) * | 2023-11-08 | 2024-04-26 | 南京航空航天大学 | 一种基于激光雷达的输电线路近电预警方法与装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113887641A (zh) | 一种基于输电通道的隐患目标确定方法、设备及介质 | |
CN113345019B (zh) | 一种输电线路通道隐患目标测距方法、设备及介质 | |
CN111627072B (zh) | 一种对多传感器进行标定的方法、装置和存储介质 | |
CN110728715A (zh) | 一种智能巡检机器人像机角度自适应调整方法 | |
CN106960454B (zh) | 景深避障方法、设备及无人飞行器 | |
WO2018143263A1 (ja) | 撮影制御装置、撮影制御方法及びプログラム | |
CN112714287B (zh) | 一种云台目标转换控制方法、装置、设备及存储介质 | |
CN112686877A (zh) | 基于双目相机的三维房屋损伤模型构建测量方法及系统 | |
CN107194991A (zh) | 一种基于骨架点局域动态更新的三维全局可视化监控系统构建方法 | |
CN108279677B (zh) | 基于双目视觉传感器的轨道机器人检测方法 | |
CN110230979A (zh) | 一种立体标靶及其三维彩色数字化系统标定方法 | |
CN114743021A (zh) | 一种输电线路图像与点云数据的融合方法及系统 | |
CN111060006A (zh) | 一种基于三维模型的视点规划方法 | |
CN110595433A (zh) | 一种基于双目视觉的输电杆塔倾斜的测量方法 | |
CN112197773A (zh) | 基于平面信息的视觉和激光定位建图方法 | |
CN114140534A (zh) | 一种用于激光雷达与相机的联合标定方法 | |
CN113485359A (zh) | 一种工业类巡检机器人多传感器融合避障系统 | |
CN115100287B (zh) | 外参标定方法及机器人 | |
CN114742905B (zh) | 一种多相机参数标定方法、装置、设备及存储介质 | |
CN115511878A (zh) | 一种边坡地表位移监测方法、装置、介质及设备 | |
CN109360269B (zh) | 基于计算机视觉的地面三维平面重建方法 | |
CN118758201B (zh) | 一种基于北斗定位及图像识别的gnss大坝变形监测方法及系统 | |
US20210156710A1 (en) | Map processing method, device, and computer-readable storage medium | |
JP4132068B2 (ja) | 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム | |
CN103260008A (zh) | 一种影像位置到实际位置的射影转换方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |