CN107314762A - 基于无人机单目序列影像的电力线下方地物距离检测方法 - Google Patents
基于无人机单目序列影像的电力线下方地物距离检测方法 Download PDFInfo
- Publication number
- CN107314762A CN107314762A CN201710546833.1A CN201710546833A CN107314762A CN 107314762 A CN107314762 A CN 107314762A CN 201710546833 A CN201710546833 A CN 201710546833A CN 107314762 A CN107314762 A CN 107314762A
- Authority
- CN
- China
- Prior art keywords
- msub
- power line
- mtd
- mrow
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/30—Interpretation of pictures by triangulation
- G01C11/34—Aerial triangulation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供的基于无人机单目序列影像的电力线下方地物距离检测方法，通过对带有GPS绝对定位信息的单目相机序列影像进行GPS辅助空中三角测量，基于空三结果获取电力线下方地物密集三维点云和立体量测导线矢量模型，结合导线矢量模型和电力线下方地物密集三维点云，实现电力线下方地物安全距离检测，实现了快速自动高精度的电力线下方地物安全距离检测，解决了现有的电力线下方地物距离检测方法需要较高的测量条件才能测量准确或依然需要人工辅助测量的技术问题。此外，本发明实施例还提供有基于无人机单目序列影像的电力线下方地物距离检测装置。
Description
技术领域
本发明涉及无人机检测技术领域，尤其涉及基于无人机单目序列影像的电力线下方地物距离检测方法。
背景技术
我国电网现行高压电力线路结构复杂、规模庞大，线路通道环境十分复杂，异物缠挂、线路下方树木、违规施工、违章建筑等易导致线路安全距离不足而发生短路事故。事故一旦发生，后果严重，巨大的电流可能造成人员严重伤害，故障造成线路设备损坏，跳闸停运，对电网运行造成冲击，同时，故障对城市区域供电造成影响，扰乱企业和居民的正常生产生活秩序，带来重大经济损失。
对于电力线路安全距离的检测，目前常用的方式是电力工人巡线过程中，对线路段进行人工目视判断或全站仪量测，但线路安全距离不足的多发点通常在人迹难至之地，这些测量方式由于树木、建筑等遮挡以及视觉透视偏差，难以对疑似超限点得出准确有效的判断，不能适应现代化电网的发展和安全运行需要，超、特高压电网急需高效、先进、科学的电力线路安全检测方式。
有人直升机及大型无人直升机携带激光扫描系统电力线路通道巡检技术，已在我国电网巡检中逐渐得到应用，能一次飞行获取全线三维数据并事后得出安全距离分析诊断，但其巡检成本像对较高，空域申请周期长，数据处理量大，不适宜对于区域性安全距离黑点特巡，且其操作难度大，资质获取要求高，设备的高价值为操控人员带来心理和技术上的压力，难以在基层巡线人员中得到普及应用，还不能完全满足电网电力线路常规化作业的要求。
小型多旋翼无人机技术的发展，为电网巡检技术的发展提供了一条新的发展手段。其具有设备廉价、易操控的特点，且其资质获取易、飞行高度低、法律风险低、一线人员接受程度高，已逐渐普及到基层巡线班组日常巡检应用中。但目前多旋翼无人机的日常巡检主要使用可见光、红外传感器对线路设备进行拍摄及人工分析，对于安全距离测量仍是通过操作无人机平飞近线路进行目视观察，仍未能对线路弧垂、安全距离等做准确测量和判断。
基于可见光影像的电力线路安全检测先采用摄影测量方法进行导线三维重建和交跨物三维测量。摄影测量的基本原理是基于物方(空间)点、像点、相机中心3点共线的成像模型，根据两张或两张以上影像上的同名点，进行交会得到空间点三维坐标，最终实现三维空间的测量与认知。
在基于单目相机的无人机导线巡检中，为了恢复带绝对尺度的导线及其下方物体三维信息，需要知道每个曝光时刻相机的位置和姿态信息，并在序列影像间进行同名点匹配及导线提取。相机的位置和姿态信息可以通过搭载在无人机上的较高精度GPS和惯导获取；导线及其下方交跨物的空间信息获取依赖于影像上同名特征的获取，通过影像匹配方法解决。但影像匹配是一个病态问题,特别对于导线这种特征目标而言，难以实现稳定可靠的影像匹配。
为了解决这种病态匹配问题，一些研究学者提出带约束条件的导线配准方法。武汉大学郑顺义等人提出了基于铅垂线约束和铅垂线轨迹法的导线测距方法。为了解决导线上同名点难以匹配的问题，他们提出利用导线两端的杆塔信息，引入导线一定在两端杆塔所确定的铅垂面内的约束条件，实现导线点的对应。其具体做法为：根据导线两端的杆塔信息，确定导线的平面位置，对于导线上的每一个点的平面位置(X0,Y0)，可以画出一条铅垂线，该铅垂线投影到左、右影像上，和影像上提取的导线的交点一定是同名点。然后通过前方交汇即可算出该导线点的三维坐标。通过多个导线点，即可拟合出导线的整体三维模型。这种方法的缺点在于需要确保同一张影像上面同时包含有首尾两个杆塔，而在实际作业中，往往达不到这样的要求。北京师范大学张吴明等人提出采用核线约束进行电力线路三维重建。他们先采用自动或半自动的手段从图像中提取出电力线路中的间隔棒，然后根据同名点必位于核线这一约束在左右相片中寻找同名间隔棒，然后计算每个间隔棒的三维坐标，再利用间隔棒对导线做三维重建。其缺点在于对于间隔棒这一特定目标的依赖。
也有学者研究单目距离测算法来判断电力线路周边环境是否符合安全要求。上海大学邵志一等人提出利用透视投影关系中的交比不变性，在获取参考距离和相应消失线等条件下，对未知距离进行测量。他们首先对可见光图像进行预处理，使用地平线检测算法得到地平线在图像中的位置。然后人工辅助选取参考距离和测量距离，并使用单目测量算法得到其实际距离的测量值，最后与故障检测判决规则数据库中的阈值比较，判断线缆间的距离是否在正常范围内。叶润等人提出了基于伪像距的单目量距方法。这两种方法的缺点在于需要事先知道参照物的尺寸，这依赖于人的估计，而人的估计往往包含有较大的误差。
现有的电力线下方地物距离检测方法有的需要较高的测量条件才能测量准确，有的依然需要人工辅助测量。因此，需提出一种新的电力线下方地物距离检测方法以解决上述的问题。
发明内容
本发明实施例提供了一种基于无人机单目序列影像的电力线下方地物距离检测方法，实现了快速自动高精度的电力线下方地物安全距离检测，解决了现有的电力线下方地物距离检测方法需要较高的测量条件才能测量准确或依然需要人工辅助测量的技术问题。
本发明实施例提供的一种基于无人机单目序列影像的电力线下方地物距离检测方法，包括：
S1：获取单目相机序列影像；
S2：对单目相机序列影像提取特征点，并进行二维影像匹配，获得同名核线和同名像点；
S3：根据单目相机序列影像、同名像点、同名核线执行GPS辅助空中三角测量算法，确定目标点位和像片方位元素，获得空中三角测量绝对定向结果；
S4：根据空中三角测量绝对定向结果生成立体像对；
S5：根据立体像对对电力线进行立体量测，获取同一条电力线三个以上节点的三维绝对坐标，并进行电力线拟合获得电力线弧垂矢量模型；
所述步骤S3之后，步骤S6之前还包括：
X：根据空中三角测量绝对定向结果自动生成电力线下方地物密集三维点云；
S6：根据电力线弧垂矢量模型计算电力线在铅垂线上与电力线下方地物密集三维点云的安全距离，将安全距离与预设的阈值比较，获得安全检测结果。
优选地，所述步骤S2具体包括：
采用SIFT特征匹配算法对单目相机序列影像自动选取不同影像的同名特征点，实现像点坐标的自动量测；
根据单目相机序列影像和像点坐标确定同名核线；
在同名核线上搜索同名像点。
优选地，所述根据单目相机序列影像和像点坐标确定同名核线具体包括：
从左右影像中的左影像中选取一个像点a(xa，ya)，确定经过像点a的核线l以及对应的右影像中的同名核线l‘；
从过像点a(xa，ya)的核线l上选取像点b(xb，yb)，从右影像中的同名核线l‘上选取像点a′(x'a，y'a)和像点b′(x'b，y'b)；
根据第一公式、预设的像点b的横坐标xb和像点a的坐标a(xa，ya)计算获得像点b的坐标b(xb，yb)，所述第一公式为：
其中，va，ua，wa和vb，ub，wb分别为像点a和像点b相对于单独像对的像空间辅助坐标系的坐标；a1，a2，a3，b1，b2，b3，c1，c2，c3九个方向余弦为左像片相对定向元素的函数；
根据像点a的坐标a(xa，ya)和像点b的坐标b(xb，yb)计算获得过像点a(xa，ya)的核线l的直线方程；
计算右影像中的同名核线l‘的直线方程。
优选地，所述步骤S3具体包括：
获取无人机相机记录的包含曝光时刻的相机GPS信息，并作为附加观测值引入摄影测量区域网平差中，用于代替地面控制点；
以每一张像片所组成的一束光线作为平差的基本单元，以共线条件方程作为平差的基础方程，
通过各个光束在空中的旋转和平移，实现模型之间公共点的光线交会，建立全区统一的误差方程式，所述误差方程式具体为：
其中，V＝[vx vy]T为坐标误差， 为外方位元素，X＝[ΔX ΔY ΔZ]T，L＝[lx ly]T为常数项；
对每个像点列出误差方程式，获得相应法方程为：
确定像片外方位元素求解公式：
确定绝对定向基本关系式：
其中，(X，Y，Z)为模型的地面摄影测量坐标，λ为模型缩放比例因子，(a1，a2，a3，b1，b2，b3，c1，c2，c3)为方向余弦，(U，V，W)为模型点在像空间辅助坐标系中的坐标，(Xs，Ys，Zs)为坐标原点的平移量；
整体求解全区区域内每张像片的六个外方位元素以及所有待求点的地面坐标。
优选地，所述步骤S4具体包括：
将空中三角测量绝对定向结果纳入地面摄影测量绝对坐标系中；
根据摄影基线、同名射线、同名像点和地面点之间的几何关系确定立体像对。
优选地，所述步骤S5具体包括：
根据立体像对通过数字摄影测量工作站对电力线进行数字影像立体量测，寻找地物同名像点并量测三维坐标，获取同一条电力线三个以上节点的三维绝对坐标；
基于同一条电力线三个以上节点的三维绝对坐标和第六公式、第七公式进行电力线拟合，计算出电力线弧垂矢量，获得电力线弧垂矢量模型；
所述第六公式为等高悬点电力线任意一点f的弧垂计算公式：
所述第七公式为不等高悬点电力线任意一点的弧垂计算公式：
其中，σ0为电力线最低点应力，单位为kg/mm2，g为电线比载，单位为kg/m·mm2，l为档距，单位为米，Φ为悬点高差角，单位为度。
优选地，所述步骤X具体包括：
基于空中三角测量绝对定向结果，将同名的核线及影像的灰度进行排列，形成核线影像；
沿着核线进行影像相关和特征匹配，自动生成电力线下方地物密集三维点云；
对密集三维点云进行噪点滤波，剔除残差较大点，得出具有绝对坐标的电力线下方地物密集三维点云。
优选地，所述步骤S6具体包括：
根据电力线弧垂矢量模型和第八公式计算电力线在铅垂线上与电力线下方地物密集三维点云的安全距离h0；
比较每个安全距离h0与预设的对应的阈值大小，检测识别出未达到安全距离的电力线部分；
所述第八公式为：
h0＝ha-hb＝a(lnga,lata)-b(lngb,latb)；
其中，a(lnga,lata)为电力线上任意一点经纬度坐标；b(lngb,latb)为a点在铅垂线方向上最近的地物三维点云坐标。ha为a点在电力线上的高度，hb为a点铅垂线方向地物点云高度，h0为a点处电力线与地物安全距离。
本发明实施例提供的一种基于无人机单目序列影像的电力线下方地物距离检测装置，包括：
影像获取模块，用于获取单目相机序列影像；
特征点提取与影像配准模块，用于对单目相机序列影像提取特征点，并进行二维影像匹配，获得同名核线和同名像点；
GPS辅助空三与绝对定向模块，用于根据单目相机序列影像、同名像点、同名核线执行GPS辅助空中三角测量算法，确定目标点位和像片方位元素，获得空中三角测量绝对定向结果；
立体像对生成模块，用于根据空中三角测量绝对定向结果生成立体像对；
立体量测模块，用于根据立体像对对电力线进行立体量测，获取同一条电力线三个以上节点的三维绝对坐标，并进行电力线拟合获得电力线弧垂矢量模型；
密集三维点云生成模块，用于根据空中三角测量绝对定向结果自动生成电力线下方地物密集三维点云；
安全距离检测模块，用于根据电力线弧垂矢量模型计算电力线在铅垂线上与电力线下方地物密集三维点云的安全距离，将安全距离与预设的阈值比较，获得安全检测结果。
优选地，所述特征点提取与影像配准模块具体包括：
像点坐标量测单元，用于采用SIFT特征匹配算法对单目相机序列影像自动选取不同影像的同名特征点，实现像点坐标的自动量测；
同名核线确定单元，用于根据单目相机序列影像和像点坐标确定同名核线；
在同名核线上搜索同名像点。
优选地，，所述同名核线确定单元具体包括：
核线确定子单元，用于从左右影像中的左影像中选取一个像点a(xa，ya)，确定经过像点a的核线l以及对应的右影像中的同名核线l‘；
像点确定子单元，用于从过像点a(xa，ya)的核线l上选取像点b(xb，yb)，从右影像中的同名核线l‘上选取像点a′(x'a，y'a)和像点b′(x'b，y'b)；
像点坐标计算子单元，用于根据第一公式、预设的像点b的横坐标xb和像点a的坐标a(xa，ya)计算获得像点b的坐标b(xb，yb)，所述第一公式为：
其中，va，ua，wa和vb，ub，wb分别为像点a和像点b相对于单独像对的像空间辅助坐标系的坐标；a1，a2，a3，b1，b2，b3，c1，c2，c3九个方向余弦为左像片相对定向元素的函数；
核线直线方程计算第一子单元，用于根据像点a的坐标a(xa，ya)和像点b的坐标b(xb，yb)计算获得过像点a(xa，ya)的核线l的直线方程；
核线直线方程计算第二子单元，用于计算右影像中的同名核线l‘的直线方程。
优选地，所述GPS辅助空三与绝对定向模块具体包括：
GPS信息引入单元，用于获取无人机相机记录的包含曝光时刻的相机GPS信息，并作为附加观测值引入摄影测量区域网平差中，用于代替地面控制点；
初始条件确定单元，用于以每一张像片所组成的一束光线作为平差的基本单元，以共线条件方程作为平差的基础方程，
误差方程式建立单元，用于通过各个光束在空中的旋转和平移，实现模型之间公共点的光线交会，建立全区统一的误差方程式，所述误差方程式具体为：
其中，V＝[vx vy]T为坐标误差， 为外方位元素，X＝[ΔX ΔY ΔZ]T，为常数项；
法方程建立单元，用于对每个像点列出误差方程式，获得相应法方程为：
外方位元素求解公式建立单元，用于确定像片外方位元素求解公式：
绝对定向基本关系式建立单元，用于确定绝对定向基本关系式：
其中，(X，Y，Z)为模型的地面摄影测量坐标，λ为模型缩放比例因子，(a1，a2，a3，b1，b2，b3，c1，c2，c3)为方向余弦，(U，V，W)为模型点在像空间辅助坐标系中的坐标，(Xs，Ys，Zs)为坐标原点的平移量；
求解单元，用于整体求解全区区域内每张像片的六个外方位元素以及所有待求点的地面坐标。
优选地，所述立体像对生成模块具体包括：
结果导入单元，用于将空中三角测量绝对定向结果纳入地面摄影测量绝对坐标系中；
立体像对确定单元，用于根据摄影基线、同名射线、同名像点和地面点之间的几何关系确定立体像对。
优选地，所述立体量测模块具体包括：
立体测量单元，用于根据立体像对通过数字摄影测量工作站对电力线进行数字影像立体量测，寻找地物同名像点并量测三维坐标，获取同一条电力线三个以上节点的三维绝对坐标；
电力线拟合单元，用于基于同一条电力线三个以上节点的三维绝对坐标和第六公式、第七公式进行电力线拟合，计算出电力线弧垂矢量，获得电力线弧垂矢量模型；
所述第六公式为等高悬点电力线任意一点f的弧垂计算公式：
所述第七公式为不等高悬点电力线任意一点的弧垂计算公式：
其中，σ0为电力线最低点应力，单位为kg/mm2，g为电线比载，单位为kg/m·mm2，l为档距，单位为米，Φ为悬点高差角，单位为度。
优选地，所述密集三维点云生成模块具体包括：
核线影像形成单元，用于基于空中三角测量绝对定向结果，将同名的核线及影像的灰度进行排列，形成核线影像；
三维点云生成单元，用于沿着核线进行影像相关和特征匹配，自动生成电力线下方地物密集三维点云；
噪点滤波单元，用于对密集三维点云进行噪点滤波，剔除残差较大点，得出具有绝对坐标的电力线下方地物密集三维点云。
优选地，所述安全距离检测模块具体包括：
安全距离计算单元，用于根据电力线弧垂矢量模型和第八公式计算电力线在铅垂线上与电力线下方地物密集三维点云的安全距离h0；
安全距离比较单元，用于比较每个安全距离h0与预设的对应的阈值大小，检测识别出未达到安全距离的电力线部分；
所述第八公式为：
h0＝ha-hb＝a(lnga,lata)-b(lngb,latb)；
其中，a(lnga,lata)为电力线上任意一点经纬度坐标；b(lngb,latb)为a点在铅垂线方向上最近的地物三维点云坐标。ha为a点在电力线上的高度，hb为a点铅垂线方向地物点云高度，h0为a点处电力线与地物安全距离。
从以上技术方案可以看出，本发明实施例具有以下优点：
本发明实施例提供的基于无人机单目序列影像的电力线下方地物距离检测方法，通过对带有GPS绝对定位信息的单目相机序列影像进行GPS辅助空中三角测量，基于空三结果获取电力线下方地物密集三维点云和立体量测导线矢量模型，结合导线矢量模型和电力线下方地物密集三维点云，实现电力线下方地物安全距离检测，实现了快速自动高精度的电力线下方地物安全距离检测，解决了现有的电力线下方地物距离检测方法需要较高的测量条件才能测量准确或依然需要人工辅助测量的技术问题。此外，本发明实施例还提供有基于无人机单目序列影像的电力线下方地物距离检测装置。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种基于无人机单目序列影像的电力线下方地物距离检测方法的一个实施例的示意图；
图2为本发明实施例提供的一种基于无人机单目序列影像的电力线下方地物距离检测方法的另一个实施例的示意图。
具体实施方式
本发明实施例提供了一种基于无人机单目序列影像的电力线下方地物距离检测方法，实现了快速自动高精度的电力线下方地物安全距离检测，解决了现有的电力线下方地物距离检测方法需要较高的测量条件才能测量准确或依然需要人工辅助测量的技术问题。为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，本发明实施例提供的一种基于无人机单目序列影像的电力线下方地物距离检测方法的一个实施例，包括：
101：获取单目相机序列影像；
即获取到单目相机序列影像。
102：对单目相机序列影像提取特征点，并进行二维影像匹配，获得同名核线和同名像点；
即对单目相机序列影像提取特征点、影像配准(进行二维影像匹配)，获得同名核线和同名像点。
103：根据单目相机序列影像、同名像点、同名核线执行GPS辅助空中三角测量算法，确定目标点位和像片方位元素，获得空中三角测量绝对定向结果；
即进行GPS辅助空三、绝对定向，获得空中三角测量绝对定向结果。
104：根据空中三角测量绝对定向结果生成立体像对；
即根据空中三角测量绝对定向结果生成立体像对。
105：根据立体像对对电力线进行立体量测，获取同一条电力线三个以上节点的三维绝对坐标，并进行电力线拟合获得电力线弧垂矢量模型；
即将立体像对导入立体量测系统，对电力线三维进行立体量测，获取同一条电力线三个以上节点的三维绝对坐标，并进行电力线拟合获得电力线弧垂矢量模型。
106：根据电力线弧垂矢量模型计算电力线在铅垂线上与电力线下方地物密集三维点云的安全距离，将安全距离与预设的阈值比较，获得安全检测结果；
即将电力线弧垂矢量模型导入点云中进行安全诊断，计算电力线在铅垂线上与电力线下方地物密集三维点云的安全距离，将安全距离与预设的阈值比较，获得安全检测结果。
所述步骤103之后，步骤106之前还包括：
107：根据空中三角测量绝对定向结果自动生成电力线下方地物密集三维点云；
即根据空中三角测量绝对定向结果生成电力线下方地物密集三维点云。
本发明实施例提供的基于无人机单目序列影像的电力线下方地物距离检测方法，通过对带有GPS绝对定位信息的单目相机序列影像进行GPS辅助空中三角测量，基于空三结果获取电力线下方地物密集三维点云和立体量测导线矢量模型，结合导线矢量模型和电力线下方地物密集三维点云，实现电力线下方地物安全距离检测，实现了快速自动高精度的电力线下方地物安全距离检测，解决了现有的电力线下方地物距离检测方法需要较高的测量条件才能测量准确或依然需要人工辅助测量的技术问题。
以上是对本发明实施例提供的一种基于无人机单目序列影像的电力线下方地物距离检测方法的一个实施例进行详细的描述，以下将对本发明实施例提供的一种基于无人机单目序列影像的电力线下方地物距离检测方法的另一个实施例进行详细的描述。
请参阅图2，本发明实施例提供的一种基于无人机单目序列影像的电力线下方地物距离检测方法的另一个实施例，包括：
201：获取单目相机序列影像；
202：对单目相机序列影像提取特征点，并进行二维影像匹配，获得同名核线和同名像点；
203：根据单目相机序列影像、同名像点、同名核线执行GPS辅助空中三角测量算法，确定目标点位和像片方位元素，获得空中三角测量绝对定向结果；
204：根据空中三角测量绝对定向结果生成立体像对；
205：根据立体像对对电力线进行立体量测，获取同一条电力线三个以上节点的三维绝对坐标，并进行电力线拟合获得电力线弧垂矢量模型；
206：根据电力线弧垂矢量模型计算电力线在铅垂线上与电力线下方地物密集三维点云的安全距离，将安全距离与预设的阈值比较，获得安全检测结果；
所述步骤203之后，步骤206之前还包括：
207：根据空中三角测量绝对定向结果自动生成电力线下方地物密集三维点云。
本发明实施例提供的基于无人机单目序列影像的电力线下方地物距离检测方法，通过对带有GPS绝对定位信息的单目相机序列影像进行GPS辅助空中三角测量，基于空三结果获取电力线下方地物密集三维点云和立体量测导线矢量模型，结合导线矢量模型和电力线下方地物密集三维点云，实现电力线下方地物安全距离检测，实现了快速自动高精度的电力线下方地物安全距离检测，解决了现有的电力线下方地物距离检测方法需要较高的测量条件才能测量准确或依然需要人工辅助测量的技术问题。
本发明实施例给出一种利用多旋翼无人机单目序列影像快速实现电力线下方地物安全距离检测的方法，即通过对带有GPS绝对定位信息的单目相机序列影像进行GPS辅助空中三角测量，基于空三结果获取电力线下方地物密集三维点云和立体量测导线矢量模型，结合导线矢量模型和电力线下方地物密集三维点云，快速自动实现高精度的电力线下方地物安全距离检测。
步骤202具体包括：
采用SIFT特征匹配算法对单目相机序列影像自动选取不同影像的同名特征点，实现像点坐标的自动量测；
需要说明的是，对多旋翼无人机单目序列影像特征点提取与影像匹配，即采用SIFT特征匹配算法自动选取不同影像的同名特征点，实现像点坐标的自动量测。SIFT特征匹配算法过程主要分两个阶段:一是从多幅待匹配图像中提取出对尺度缩放、旋转、亮度变化无关的特征向量；二是SIFT特征向量的匹配。
根据单目相机序列影像和像点坐标确定同名核线；
在同名核线上搜索同名像点。
上述的根据单目相机序列影像和像点坐标确定同名核线具体包括：
从左右影像中的左影像中选取一个像点a(xa，ya)，确定经过像点a的核线l以及对应的右影像中的同名核线l‘；
从过像点a(xa，ya)的核线l上选取像点b(xb，yb)，从右影像中的同名核线l‘上选取像点a′(x'a，y'a)和像点b(x'b，y'b)；
根据第一公式、预设的像点b的横坐标xb和像点a的坐标a(xa，ya)计算获得像点b的坐标b(xb，yb)，所述第一公式为：
其中，va，ua，wa和vb，ub，wb分别为像点a和像点b相对于单独像对的像空间辅助坐标系的坐标；a1，a2，a3，b1，b2，b3，c1，c2，c3九个方向余弦为左像片相对定向元素的函数；
根据像点a的坐标a(xa，ya)和像点b的坐标b(xb，yb)计算获得过像点a(xa，ya)的核线l的直线方程；
计算右影像中的同名核线l‘的直线方程。
需要说明的是，计算右影像中的同名核线l‘的直线方程的具体方法是：第一，根据像点a(xa，ya)与像点a(x'a，y'a)满足的共面条件推导出类似第一公式的公式(或直接采用共面条件公式)，然后代入像点a的坐标a(xa，ya)和预设的x'a值，即可求得像点坐标a′(x'a，y'a)；第二，根据像点a(xa，ya)与像点b′(x'b,y'b′)满足的共面条件推导出类似第一公式的公式(或直接采用共面条件公式)，然后代入像点a的坐标a(xa，ya)和预设的x'b值，即可求得像点坐标b′(x'b,y'b′)；第三，根据像点a′(x'a，y'a)与像点b′(x'b,y'b′)的坐标计算获得右影像中的同名核线l‘的直线方程；
需要说明的是，在进行二维影像匹配时，需在左右影像搜索到同名像点。而核面与两像片面的交线为同名核线，同名像点必定在同名核线上。因此当同名核线获取后，可按照系数相关法、协方差相关法等进行一维影像相关确定同名像点，沿着核线上寻找同名像点，可以大大减少计算工作量。
同名核线的确定，可以根据共面条件的方法确定，即在左片目标选区选取一个像点a(xa，ya),确定出过a(xa，ya)点的核线同一核线l和右片搜索区内同名核线l′上点。设左片b(xb，yb)点为过a(xa，ya)点左核线l上的一点，右片核线任意两点a′(x'a，y'a)、b′(x'b，y'b)、则满足共面条件因此在左像片上取一点a(xa，ya)，则计算出左核线l任一点b的坐标。当给定xb，根据第一公式求得相应yb，有了a(xa，ya)，b(xb，yb)就有了过点a左核线的直线方程，第一公式为：
式中：va，ua，wa和vb，ub，wb分别为像点a和b相对于单独像对的像空间辅助坐标系的坐标；a1，a2，a3，b1，b2，b3，c1，c2，c3九个方向余弦为左像片相对定向元素的函数。
上述第一公式可由共面条件推导得出。同理，求取其他像点坐标的相应公式也可以由共面条件推导得出。
同理，左像点a和右片同名核线上任意一点a′(x'a，y'a),满足共面条件即给定x′a值，求得y′a；同理，左像点a和右像点b′也位于同一核面内，按相同算法则求得b′(x'b,y'b′)。
步骤203具体包括：
获取无人机相机记录的包含曝光时刻的相机GPS信息，并作为附加观测值引入摄影测量区域网平差中，用于代替地面控制点；
以每一张像片所组成的一束光线作为平差的基本单元，以共线条件方程作为平差的基础方程，
通过各个光束在空中的旋转和平移，实现模型之间公共点的光线交会，建立全区统一的误差方程式，所述误差方程式具体为：
其中，V＝[vx vy]T为坐标误差， 为外方位元素，X＝[ΔX ΔY ΔZ]T，为常数项；
对每个像点列出误差方程式，获得相应法方程为：
确定像片外方位元素求解公式：
确定绝对定向基本关系式：
其中，(X，Y，Z)为模型的地面摄影测量坐标，λ为模型缩放比例因子，(a1，a2，a3，b1，b2，b3，c1，c2，c3)为方向余弦，(U，V，W)为模型点在像空间辅助坐标系中的坐标，(Xs，Ys，Zs)为坐标原点的平移量；
整体求解全区区域内每张像片的六个外方位元素以及所有待求点的地面坐标。
需要说明的是，整体求解全区区域内每张像片的六个外方位元素以及所有待求点的地面坐标指的是通过上述的误差方程式、相应法方程、像片外方位元素求解公式、绝对定向基本关系式进行求解。
需要说明的是，使用无人机相机记录曝光时刻的相机GPS信息，将其视为附加观测值引入摄影测量区域网平差中，以取代地面控制点，采用统一的数学模型和算法来整体确定目标点位和像片方位元素(即绝对定向)，从而恢复出导线及其周围环境的绝对三维模型。
使用光束法区域网空中三角测量方法，即以每一张像片所组成的一束光线作为平差的基本单元满，以共线条件方程作为平差的基础方程，通过各个光束在空中的旋转和平移，实现模型之间公共点的光线实现最佳交会，建立全区统一的误差方程式，整体解求全区区域内每张像片的六个外方位元素以及所有待求点的地面坐标。在内方位原始已知的情况下，视像点坐标为观测值，其误差方程用矩阵方式表达。
步骤204具体包括：
将空中三角测量绝对定向结果纳入地面摄影测量绝对坐标系中；
根据摄影基线、同名射线、同名像点和地面点之间的几何关系确定立体像对。
需要说明的是，基于空中三角测量绝对定向结果，恢复了相邻像片的内、外方位元素，从而恢复了模型的大小和空间方位，使其纳入了地面摄影测量绝对坐标系中。而两两像片影像重叠范围内的任意地面点在两张像片上都分别有它们的同名像点，并与相应的摄影中心组成同名射线，同名摄影射线是对对相交的。因此摄影基线、同名射线、同名像点和地面点之间有着固定的几何关系。可基于立体像对进行立体量测，实现重建与地面相似的几何模型。
步骤205具体包括：
根据立体像对通过数字摄影测量工作站对电力线进行数字影像立体量测，寻找地物同名像点并量测三维坐标，获取同一条电力线三个以上节点的三维绝对坐标；
需要说明的是，基于数字摄影测量工作站实现数字影像立体量测，即利用计算机数字量测技术代替人眼观察，使用偏振光或闪闭法原理的立体观察装置进行立体观察，寻找地物同名像点并量测三维坐标。基于具有一定重叠度的立体像对，对电力线进行立体量测，获取同一条电力线多个节点(三个点以上)的三维绝对坐标(lng，lat，h)。
基于同一条电力线三个以上节点的三维绝对坐标和第六公式、第七公式进行电力线拟合，计算出电力线弧垂矢量，获得电力线弧垂矢量模型；
所述第六公式为等高悬点电力线任意一点f的弧垂计算公式：
所述第七公式为不等高悬点电力线任意一点的弧垂计算公式：
其中，σ0为电力线最低点应力，单位为kg/mm2，g为电线比载，单位为kg/m·mm2，l为档距，单位为米，Φ为悬点高差角，单位为度。
架空线上任意一点的弧垂是指该点距两悬点连线的垂直距离。基于电力线多个节点的三维绝对坐标，根据架空线弧垂原理(第六公式、第七公式)进行电力线拟合。
步骤207具体包括：
基于空中三角测量绝对定向结果，将同名的核线及影像的灰度进行排列，形成核线影像；
沿着核线进行影像相关和特征匹配，自动生成电力线下方地物密集三维点云；
对密集三维点云进行噪点滤波，剔除残差较大点，得出具有绝对坐标的电力线下方地物密集三维点云。
需要说明的是，步骤207基于空中三角测量绝对定向结果，将同名的核线及影像的灰度予以排列，形成核线影像。沿着核线进行影像相关和特征匹配，自动生成电力线下方地物密集三维点云，然后对密集三维点云进行噪点滤波，剔除残差较大点，得出具有绝对坐标的电力线下方地物密集三维点云。
步骤206具体包括：
根据电力线弧垂矢量模型和第八公式计算电力线在铅垂线上与电力线下方地物密集三维点云的安全距离h0；
比较每个安全距离h0与预设的对应的阈值大小，检测识别出未达到安全距离的电力线部分；
所述第八公式为：
h0＝ha-hb＝a(lnga,lata)-b(lngb,latb)；
其中，a(lnga,lata)为电力线上任意一点经纬度坐标；b(lngb,latb)为a点在铅垂线方向上最近的地物三维点云坐标。ha为a点在电力线上的高度，hb为a点铅垂线方向地物点云高度，h0为a点处电力线与地物安全距离。
需要说明的是，获得电力线弧垂矢量模型后，同时考虑地球重力场，使用铅垂线方法，自动计算电力线在铅垂线上与电力线下方地物密集三维点云的安全距离h0。基于安全距离计算结果，自定义不同的阈值以统计和显示不同阈值下的结果，从而达到自动进行电力线与下方地物安全距离检测目的。
1.本发明实施例利用多旋翼无人机单目序列影像实现电力线下方地物安全距离检测。
2.本发明实施例利用多旋翼无人机单目序列影像，自动获取电力线下方地物三维密集点云，并使用立体量测方法提取同一坐标系下的导线矢量模型，通过垂弧拟合和铅垂线方法，自动计算导线与电力线下方地物三维密集点云的安全距离，从而实现电力线下方地物安全距离检测。
本发明实施例具备以下优点：
(1)本发明基于消费级无人机开发，无需硬件改造，系统较为成熟，因此具有成本低廉、操作简单、单台无人机单兵即可作业、推广难度小等优势。
(2)基于无人机单目序列影像，使用GPS辅助空中三角测量，可免除常规三角测量所必须的地面控制点，从而扩大使用环境范围、缩短工期、减少作业成本。
(3)基于无人机单目序列影像GPS辅助空中三角测量结果，自动生成电力线下方地物密集三维点云，同时使用立体量测方法对导线进行立体量测，获取电力线多个节点(3个以上)并拟合电力线垂弧，使用铅垂线方法，自动实现电力线下方地物安全距离检测，检测结果相对精度可达0.2米。本发明自动化程度高、检测精度高、稳定性好。
以上是对本发明实施例提供的一种基于无人机单目序列影像的电力线下方地物距离检测方法的另一个实施例进行详细的描述，以下将对本发明实施例提供的一种基于无人机单目序列影像的电力线下方地物距离检测装置的一个实施例进行详细的描述。
本发明实施例提供的一种基于无人机单目序列影像的电力线下方地物距离检测装置的一个实施例，包括：
影像获取模块，用于获取单目相机序列影像；
特征点提取与影像配准模块，用于对单目相机序列影像提取特征点，并进行二维影像匹配，获得同名核线和同名像点；
GPS辅助空三与绝对定向模块，用于根据单目相机序列影像、同名像点、同名核线执行GPS辅助空中三角测量算法，确定目标点位和像片方位元素，获得空中三角测量绝对定向结果；
立体像对生成模块，用于根据空中三角测量绝对定向结果生成立体像对；
立体量测模块，用于根据立体像对对电力线进行立体量测，获取同一条电力线三个以上节点的三维绝对坐标，并进行电力线拟合获得电力线弧垂矢量模型；
密集三维点云生成模块，用于根据空中三角测量绝对定向结果自动生成电力线下方地物密集三维点云；
安全距离检测模块，用于根据电力线弧垂矢量模型计算电力线在铅垂线上与电力线下方地物密集三维点云的安全距离，将安全距离与预设的阈值比较，获得安全检测结果。
特征点提取与影像配准模块具体包括：
像点坐标量测单元，用于采用SIFT特征匹配算法对单目相机序列影像自动选取不同影像的同名特征点，实现像点坐标的自动量测；
同名核线确定单元，用于根据单目相机序列影像和像点坐标确定同名核线；
在同名核线上搜索同名像点。
同名核线确定单元具体包括：
核线确定子单元，用于从左右影像中的左影像中选取一个像点a(xa，ya)，确定经过像点a的核线l以及对应的右影像中的同名核线l‘；
像点确定子单元，用于从过像点a(xa，ya)的核线l上选取像点b(xb，yb)，从右影像中的同名核线l‘上选取像点a′(x'a，y'a)和像点b(x'b，y'b)；
像点坐标计算子单元，用于根据第一公式、预设的像点b的横坐标xb和像点a的坐标a(xa，ya)计算获得像点b的坐标b(xb，yb)，第一公式为：
其中，va，ua，wa和vb，ub，wb分别为像点a和像点b相对于单独像对的像空间辅助坐标系的坐标；a1，a2，a3，b1，b2，b3，c1，c2，c3九个方向余弦为左像片相对定向元素的函数；
核线直线方程计算第一子单元，用于根据像点a的坐标a(xa，ya)和像点b的坐标b(xb，yb)计算获得过像点a(xa，ya)的核线l的直线方程；
核线直线方程计算第二子单元，用于计算右影像中的同名核线l‘的直线方程。
GPS辅助空三与绝对定向模块具体包括：
GPS信息引入单元，用于获取无人机相机记录的包含曝光时刻的相机GPS信息，并作为附加观测值引入摄影测量区域网平差中，用于代替地面控制点；
初始条件确定单元，用于以每一张像片所组成的一束光线作为平差的基本单元，以共线条件方程作为平差的基础方程，
误差方程式建立单元，用于通过各个光束在空中的旋转和平移，实现模型之间公共点的光线交会，建立全区统一的误差方程式，误差方程式具体为：
其中，V＝[vx vy]T为坐标误差， 为外方位元素，X＝[ΔX ΔY ΔZ]T，为常数项；
法方程建立单元，用于对每个像点列出误差方程式，获得相应法方程为：
外方位元素求解公式建立单元，用于确定像片外方位元素求解公式：
绝对定向基本关系式建立单元，用于确定绝对定向基本关系式：
其中，(X，Y，Z)为模型的地面摄影测量坐标，λ为模型缩放比例因子，(a1，a2，a3，b1，b2，b3，c1，c2，c3)为方向余弦，(U，V，W)为模型点在像空间辅助坐标系中的坐标，(Xs，Ys，Zs)为坐标原点的平移量；
求解单元，用于整体求解全区区域内每张像片的六个外方位元素以及所有待求点的地面坐标。
立体像对生成模块具体包括：
结果导入单元，用于将空中三角测量绝对定向结果纳入地面摄影测量绝对坐标系中；
立体像对确定单元，用于根据摄影基线、同名射线、同名像点和地面点之间的几何关系确定立体像对。
立体量测模块具体包括：
立体测量单元，用于根据立体像对通过数字摄影测量工作站对电力线进行数字影像立体量测，寻找地物同名像点并量测三维坐标，获取同一条电力线三个以上节点的三维绝对坐标；
电力线拟合单元，用于基于同一条电力线三个以上节点的三维绝对坐标和第六公式、第七公式进行电力线拟合，计算出电力线弧垂矢量，获得电力线弧垂矢量模型；
第六公式为等高悬点电力线任意一点f的弧垂计算公式：
第七公式为不等高悬点电力线任意一点的弧垂计算公式：
其中，σ0为电力线最低点应力，单位为kg/mm2，g为电线比载，单位为kg/m·mm2，l为档距，单位为米，Φ为悬点高差角，单位为度。
密集三维点云生成模块具体包括：
核线影像形成单元，用于基于空中三角测量绝对定向结果，将同名的核线及影像的灰度进行排列，形成核线影像；
三维点云生成单元，用于沿着核线进行影像相关和特征匹配，自动生成电力线下方地物密集三维点云；
噪点滤波单元，用于对密集三维点云进行噪点滤波，剔除残差较大点，得出具有绝对坐标的电力线下方地物密集三维点云。
安全距离检测模块具体包括：
安全距离计算单元，用于根据电力线弧垂矢量模型和第八公式计算电力线在铅垂线上与电力线下方地物密集三维点云的安全距离h0；
安全距离比较单元，用于比较每个安全距离h0与预设的对应的阈值大小，检测识别出未达到安全距离的电力线部分；
第八公式为：
h0＝ha-hb＝a(lnga,lata)-b(lngb,latb)；
其中，a(lnga,lata)为电力线上任意一点经纬度坐标；b(lngb,latb)为a点在铅垂线方向上最近的地物三维点云坐标。ha为a点在电力线上的高度，hb为a点铅垂线方向地物点云高度，h0为a点处电力线与地物安全距离。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于无人机单目序列影像的电力线下方地物距离检测方法，其特征在于，包括：
S1：获取单目相机序列影像；
S2：对单目相机序列影像提取特征点，并进行二维影像匹配，获得同名核线和同名像点；
S3：根据单目相机序列影像、同名像点、同名核线执行GPS辅助空中三角测量算法，确定目标点位和像片方位元素，获得空中三角测量绝对定向结果；
S4：根据空中三角测量绝对定向结果生成立体像对；
S5：根据立体像对对电力线进行立体量测，获取同一条电力线三个以上节点的三维绝对坐标，并进行电力线拟合获得电力线弧垂矢量模型；
所述步骤S3之后，步骤S6之前还包括：
X：根据空中三角测量绝对定向结果自动生成电力线下方地物密集三维点云；
S6：根据电力线弧垂矢量模型计算电力线在铅垂线上与电力线下方地物密集三维点云的安全距离，将安全距离与预设的阈值比较，获得安全检测结果。
2.根据权利要求1所述的一种基于无人机单目序列影像的电力线下方地物距离检测方法，其特征在于，所述步骤S2具体包括：
采用SIFT特征匹配算法对单目相机序列影像自动选取不同影像的同名特征点，实现像点坐标的自动量测；
根据单目相机序列影像和像点坐标确定同名核线；
在同名核线上搜索同名像点。
3.根据权利要求2所述的一种基于无人机单目序列影像的电力线下方地物距离检测方法，其特征在于，所述根据单目相机序列影像和像点坐标确定同名核线具体包括：
从左右影像中的左影像中选取一个像点a(xa，ya)，确定经过像点a的核线l以及对应的右影像中的同名核线l‘；
从过像点a(xa，ya)的核线l上选取像点b(xb，yb)，从右影像中的同名核线l‘上选取像点a(x'a，y'a)和像点b(x'b，y'b)；
根据第一公式、预设的像点b的横坐标xb和像点a的坐标a(xa，ya)计算获得像点b的坐标b(xb，yb)，所述第一公式为：
<mrow>
<msub>
<mi>y</mi>
<mi>b</mi>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>v</mi>
<mi>a</mi>
</msub>
<msub>
<mi>c</mi>
<mn>1</mn>
</msub>
<mo>-</mo>
<msub>
<mi>w</mi>
<mi>a</mi>
</msub>
<msub>
<mi>b</mi>
<mn>1</mn>
</msub>
</mrow>
<mrow>
<msub>
<mi>w</mi>
<mi>a</mi>
</msub>
<msub>
<mi>b</mi>
<mn>2</mn>
</msub>
<mo>-</mo>
<msub>
<mi>v</mi>
<mi>a</mi>
</msub>
<msub>
<mi>c</mi>
<mn>2</mn>
</msub>
</mrow>
</mfrac>
<msub>
<mi>x</mi>
<mi>b</mi>
</msub>
<mo>+</mo>
<mfrac>
<mrow>
<msub>
<mi>w</mi>
<mi>a</mi>
</msub>
<msub>
<mi>b</mi>
<mn>3</mn>
</msub>
<mo>-</mo>
<msub>
<mi>v</mi>
<mi>a</mi>
</msub>
<msub>
<mi>c</mi>
<mn>3</mn>
</msub>
</mrow>
<mrow>
<msub>
<mi>w</mi>
<mi>a</mi>
</msub>
<msub>
<mi>b</mi>
<mn>2</mn>
</msub>
<mo>-</mo>
<msub>
<mi>v</mi>
<mi>a</mi>
</msub>
<msub>
<mi>c</mi>
<mn>2</mn>
</msub>
</mrow>
</mfrac>
<mi>f</mi>
<mo>;</mo>
</mrow>
其中，va，ua，wa和vb，ub，wb分别为像点a和像点b相对于单独像对的像空间辅助坐标系的坐标；a1，a2，a3，b1，b2，b3，c1，c2，c3九个方向余弦为左像片相对定向元素的函数；
根据像点a的坐标a(xa，ya)和像点b的坐标b(xb，yb)计算获得过像点a(xa，ya)的核线l的直线方程；
计算右影像中的同名核线l‘的直线方程。
4.根据权利要求1所述的一种基于无人机单目序列影像的电力线下方地物距离检测方法，其特征在于，所述步骤S3具体包括：
获取无人机相机记录的包含曝光时刻的相机GPS信息，并作为附加观测值引入摄影测量区域网平差中，用于代替地面控制点；
以每一张像片所组成的一束光线作为平差的基本单元，以共线条件方程作为平差的基础方程，
通过各个光束在空中的旋转和平移，实现模型之间公共点的光线交会，建立全区统一的误差方程式，所述误差方程式具体为：
<mrow>
<mi>V</mi>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>A</mi>
</mtd>
<mtd>
<mi>B</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>t</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>X</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mi>L</mi>
<mo>;</mo>
</mrow>
其中，V＝[vx vy]T为坐标误差， 为外方位元素，X＝[ΔX ΔY ΔZ]T，L＝[lx ly]T为常数项；
对每个像点列出误差方程式，获得相应法方程为：
<mrow>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<msup>
<mi>A</mi>
<mi>T</mi>
</msup>
<mi>A</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<msup>
<mi>A</mi>
<mi>T</mi>
</msup>
<mi>B</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msup>
<mi>B</mi>
<mi>T</mi>
</msup>
<mi>A</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<msup>
<mi>B</mi>
<mi>T</mi>
</msup>
<mi>B</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>t</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>X</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msup>
<mi>A</mi>
<mi>T</mi>
</msup>
<mi>L</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<msup>
<mi>B</mi>
<mi>T</mi>
</msup>
<mi>L</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>;</mo>
</mrow>
确定像片外方位元素求解公式：
<mrow>
<mi>t</mi>
<mo>=</mo>
<msup>
<mrow>
<mo>&lsqb;</mo>
<msub>
<mi>N</mi>
<mn>11</mn>
</msub>
<mo>-</mo>
<msub>
<mi>N</mi>
<mn>12</mn>
</msub>
<msubsup>
<mi>N</mi>
<mn>22</mn>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
<msub>
<mi>N</mi>
<mn>21</mn>
</msub>
<mo>&rsqb;</mo>
</mrow>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<mo>&CenterDot;</mo>
<mo>&lsqb;</mo>
<msub>
<mi>M</mi>
<mn>1</mn>
</msub>
<mo>-</mo>
<msub>
<mi>N</mi>
<mn>12</mn>
</msub>
<msubsup>
<mi>N</mi>
<mn>22</mn>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
<msub>
<mi>M</mi>
<mn>2</mn>
</msub>
<mo>&rsqb;</mo>
<mo>;</mo>
</mrow>
确定绝对定向基本关系式：
<mrow>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>X</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>Y</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>Z</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mi>&lambda;</mi>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>a</mi>
<mn>1</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>a</mi>
<mn>2</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>a</mi>
<mn>3</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>b</mi>
<mn>1</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>b</mi>
<mn>2</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>b</mi>
<mn>3</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>c</mi>
<mn>1</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>c</mi>
<mn>2</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>c</mi>
<mn>3</mn>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>U</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>V</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>W</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>+</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>X</mi>
<mi>S</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>Y</mi>
<mi>S</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>Z</mi>
<mi>S</mi>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>;</mo>
</mrow>
其中，(X，Y，Z)为模型的地面摄影测量坐标，λ为模型缩放比例因子，(a1，a2，a3，b1，b2，b3，c1，c2，c3)为方向余弦，(U，V，W)为模型点在像空间辅助坐标系中的坐标，(Xs，Ys，Zs)为坐标原点的平移量；
整体求解全区区域内每张像片的六个外方位元素以及所有待求点的地面坐标。
5.根据权利要求1所述的一种基于无人机单目序列影像的电力线下方地物距离检测方法，其特征在于，所述步骤S4具体包括：
将空中三角测量绝对定向结果纳入地面摄影测量绝对坐标系中；
根据摄影基线、同名射线、同名像点和地面点之间的几何关系确定立体像对。
6.根据权利要求1所述的一种基于无人机单目序列影像的电力线下方地物距离检测方法，其特征在于，所述步骤S5具体包括：
根据立体像对通过数字摄影测量工作站对电力线进行数字影像立体量测，寻找地物同名像点并量测三维坐标，获取同一条电力线三个以上节点的三维绝对坐标；
基于同一条电力线三个以上节点的三维绝对坐标和第六公式、第七公式进行电力线拟合，计算出电力线弧垂矢量，获得电力线弧垂矢量模型；
所述第六公式为等高悬点电力线任意一点f的弧垂计算公式：
<mrow>
<mi>f</mi>
<mo>=</mo>
<mfrac>
<mrow>
<msup>
<mi>l</mi>
<mn>2</mn>
</msup>
<mi>g</mi>
</mrow>
<mrow>
<mn>8</mn>
<msub>
<mi>&sigma;</mi>
<mn>0</mn>
</msub>
</mrow>
</mfrac>
<mo>;</mo>
</mrow>
所述第七公式为不等高悬点电力线任意一点的弧垂计算公式：
<mrow>
<mi>f</mi>
<mo>=</mo>
<mfrac>
<mrow>
<msup>
<mi>l</mi>
<mn>2</mn>
</msup>
<mi>g</mi>
</mrow>
<mrow>
<mn>8</mn>
<msub>
<mi>&sigma;</mi>
<mn>0</mn>
</msub>
<mi>c</mi>
<mi>o</mi>
<mi>s</mi>
<mi>&phi;</mi>
</mrow>
</mfrac>
<mo>;</mo>
</mrow>
2
其中，σ0为电力线最低点应力，单位为kg/mm2，g为电线比载，单位为kg/m·mm2，l为档距，单位为米，Φ为悬点高差角，单位为度。
7.根据权利要求1所述的一种基于无人机单目序列影像的电力线下方地物距离检测方法，其特征在于，所述步骤X具体包括：
基于空中三角测量绝对定向结果，将同名的核线及影像的灰度进行排列，形成核线影像；
沿着核线进行影像相关和特征匹配，自动生成电力线下方地物密集三维点云；
对密集三维点云进行噪点滤波，剔除残差较大点，得出具有绝对坐标的电力线下方地物密集三维点云。
8.根据权利要求1所述的一种基于无人机单目序列影像的电力线下方地物距离检测方法，其特征在于，所述步骤S6具体包括：
根据电力线弧垂矢量模型和第八公式计算电力线在铅垂线上与电力线下方地物密集三维点云的安全距离h0；
比较每个安全距离h0与预设的对应的阈值大小，检测识别出未达到安全距离的电力线部分；
所述第八公式为：
h0＝ha-hb＝a(lnga,lata)-b(lngb,latb)；
其中，a(lnga,lata)为电力线上任意一点经纬度坐标；b(lngb,latb)为a点在铅垂线方向上最近的地物三维点云坐标。ha为a点在电力线上的高度，hb为a点铅垂线方向地物点云高度，h0为a点处电力线与地物安全距离。
9.一种基于无人机单目序列影像的电力线下方地物距离检测装置，其特征在于，包括：
影像获取模块，用于获取单目相机序列影像；
特征点提取与影像配准模块，用于对单目相机序列影像提取特征点，并进行二维影像匹配，获得同名核线和同名像点；
GPS辅助空三与绝对定向模块，用于根据单目相机序列影像、同名像点、同名核线执行GPS辅助空中三角测量算法，确定目标点位和像片方位元素，获得空中三角测量绝对定向结果；
立体像对生成模块，用于根据空中三角测量绝对定向结果生成立体像对；
立体量测模块，用于根据立体像对对电力线进行立体量测，获取同一条电力线三个以上节点的三维绝对坐标，并进行电力线拟合获得电力线弧垂矢量模型；
密集三维点云生成模块，用于根据空中三角测量绝对定向结果自动生成电力线下方地物密集三维点云；
安全距离检测模块，用于根据电力线弧垂矢量模型计算电力线在铅垂线上与电力线下方地物密集三维点云的安全距离，将安全距离与预设的阈值比较，获得安全检测结果。
10.根据权利要求9所述的一种基于无人机单目序列影像的电力线下方地物距离检测装置，其特征在于，所述立体量测模块具体包括：
立体测量单元，用于根据立体像对通过数字摄影测量工作站对电力线进行数字影像立体量测，寻找地物同名像点并量测三维坐标，获取同一条电力线三个以上节点的三维绝对坐标；
电力线拟合单元，用于基于同一条电力线三个以上节点的三维绝对坐标和第六公式、第七公式进行电力线拟合，计算出电力线弧垂矢量，获得电力线弧垂矢量模型；
所述第六公式为等高悬点电力线任意一点f的弧垂计算公式：
<mrow>
<mi>f</mi>
<mo>=</mo>
<mfrac>
<mrow>
<msup>
<mi>l</mi>
<mn>2</mn>
</msup>
<mi>g</mi>
</mrow>
<mrow>
<mn>8</mn>
<msub>
<mi>&sigma;</mi>
<mn>0</mn>
</msub>
</mrow>
</mfrac>
<mo>;</mo>
</mrow>
所述第七公式为不等高悬点电力线任意一点的弧垂计算公式：
<mrow>
<mi>f</mi>
<mo>=</mo>
<mfrac>
<mrow>
<msup>
<mi>l</mi>
<mn>2</mn>
</msup>
<mi>g</mi>
</mrow>
<mrow>
<mn>8</mn>
<msub>
<mi>&sigma;</mi>
<mn>0</mn>
</msub>
<mi>c</mi>
<mi>o</mi>
<mi>s</mi>
<mi>&phi;</mi>
</mrow>
</mfrac>
<mo>;</mo>
</mrow>
其中，σ0为电力线最低点应力，单位为kg/mm2，g为电线比载，单位为kg/m·mm2，l为档距，单位为米，Φ为悬点高差角，单位为度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710546833.1A CN107314762B (zh) | 2017-07-06 | 2017-07-06 | 基于无人机单目序列影像的电力线下方地物距离检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710546833.1A CN107314762B (zh) | 2017-07-06 | 2017-07-06 | 基于无人机单目序列影像的电力线下方地物距离检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107314762A true CN107314762A (zh) | 2017-11-03 |
| CN107314762B CN107314762B (zh) | 2020-05-08 |
Family
ID=60177558
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710546833.1A Active CN107314762B (zh) | 2017-07-06 | 2017-07-06 | 基于无人机单目序列影像的电力线下方地物距离检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107314762B (zh) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107741233A (zh) * | 2017-11-10 | 2018-02-27 | 邦鼓思电子科技（上海）有限公司 | 一种三维室外地图的构建方法 |
| CN108280404A (zh) * | 2017-12-29 | 2018-07-13 | 宁波诺视智能科技有限公司 | 一种基于人工智能的无人机智能巡线识别方法及系统 |
| CN108597023A (zh) * | 2018-05-09 | 2018-09-28 | 中国石油大学(华东) | 一种基于单反相机的地质露头三维模型构建方法 |
| CN108682029A (zh) * | 2018-03-22 | 2018-10-19 | 深圳飞马机器人科技有限公司 | 多尺度密集匹配方法和系统 |
| CN108761271A (zh) * | 2018-03-30 | 2018-11-06 | 广州中科云图智能科技有限公司 | 一种电网树障检测方法及系统 |
| CN109000621A (zh) * | 2018-04-04 | 2018-12-14 | 广州优飞信息科技有限公司 | 一种电网树障检测方法 |
| CN109816780A (zh) * | 2019-01-31 | 2019-05-28 | 广东电网有限责任公司 | 一种双目序列影像的输电线路三维点云生成方法及装置 |
| CN109813335A (zh) * | 2017-11-21 | 2019-05-28 | 武汉四维图新科技有限公司 | 数据采集系统的标定方法、装置、系统及存储介质 |
| CN109829908A (zh) * | 2019-01-31 | 2019-05-31 | 广东电网有限责任公司 | 基于双目影像的电力线下方地物安全距离检测方法及设备 |
| CN109934871A (zh) * | 2019-02-18 | 2019-06-25 | 武汉大学 | 一种面向高危环境的智能无人机抓取目标的系统和方法 |
| CN110595442A (zh) * | 2019-08-13 | 2019-12-20 | 中国南方电网有限责任公司超高压输电公司昆明局 | 输电线路通道树障检测方法、储存介质和计算机设备 |
| CN111244822A (zh) * | 2020-03-20 | 2020-06-05 | 广东电网有限责任公司 | 一种复杂地理环境的固定翼无人机巡线方法、系统和装置 |
| CN111473774A (zh) * | 2020-02-28 | 2020-07-31 | 山东理工大学 | 无人机单航带倾斜摄影电力线障碍物巡检方法 |
| CN111504274A (zh) * | 2020-04-24 | 2020-08-07 | 广西电网有限责任公司百色供电局 | 一种输电线路三跨区段的精确航测方法 |
| CN111536871A (zh) * | 2020-05-07 | 2020-08-14 | 武汉大势智慧科技有限公司 | 一种多时相摄影测量数据体积变化量的精确计算方法 |
| CN112147633A (zh) * | 2020-09-27 | 2020-12-29 | 广东电网有限责任公司 | 一种电力线路安全距离检测方法 |
| CN112504208A (zh) * | 2020-10-26 | 2021-03-16 | 国网河南省电力公司济源供电公司 | 输电线路空气间隙分析方法 |
| CN115294145A (zh) * | 2022-10-10 | 2022-11-04 | 广东电网有限责任公司中山供电局 | 一种输电线路弧垂的测量方法及系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050031362A1 (en) * | 2003-08-04 | 2005-02-10 | Jong-Hwa Park | Method and apparatus to correct power source voltage variation in an image forming system |
| KR20090119487A (ko) * | 2008-05-16 | 2009-11-19 | 현대모비스 주식회사 | 바퀴 속도 센서의 라인 상태 검출 방법 |
| CN101592484A (zh) * | 2009-07-09 | 2009-12-02 | 浙江省电力公司 | 一种电力线的测距方法 |
| CN102646163A (zh) * | 2012-02-27 | 2012-08-22 | 华北电力大学（保定） | 用于电力线弧垂计算的悬挂曲线模型判定方法 |
| CN102879788A (zh) * | 2012-09-04 | 2013-01-16 | 广州建通测绘技术开发有限公司 | 一种基于机载LiDAR数据的输电线路的电力线提取方法 |
| CN104091168A (zh) * | 2014-07-18 | 2014-10-08 | 深圳供电局有限公司 | 基于无人机影像的电力线自动提取定位方法 |
| CN104915988A (zh) * | 2015-06-29 | 2015-09-16 | 北京建筑大学 | 一种摄影测量密集点云生成方法 |
| CN106251331A (zh) * | 2016-07-15 | 2016-12-21 | 北京道亨时代科技有限公司 | 一种倾斜测量场景中地物的提取方法 |
-
2017
- 2017-07-06 CN CN201710546833.1A patent/CN107314762B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050031362A1 (en) * | 2003-08-04 | 2005-02-10 | Jong-Hwa Park | Method and apparatus to correct power source voltage variation in an image forming system |
| KR20090119487A (ko) * | 2008-05-16 | 2009-11-19 | 현대모비스 주식회사 | 바퀴 속도 센서의 라인 상태 검출 방법 |
| CN101592484A (zh) * | 2009-07-09 | 2009-12-02 | 浙江省电力公司 | 一种电力线的测距方法 |
| CN102646163A (zh) * | 2012-02-27 | 2012-08-22 | 华北电力大学（保定） | 用于电力线弧垂计算的悬挂曲线模型判定方法 |
| CN102879788A (zh) * | 2012-09-04 | 2013-01-16 | 广州建通测绘技术开发有限公司 | 一种基于机载LiDAR数据的输电线路的电力线提取方法 |
| CN104091168A (zh) * | 2014-07-18 | 2014-10-08 | 深圳供电局有限公司 | 基于无人机影像的电力线自动提取定位方法 |
| CN104915988A (zh) * | 2015-06-29 | 2015-09-16 | 北京建筑大学 | 一种摄影测量密集点云生成方法 |
| CN106251331A (zh) * | 2016-07-15 | 2016-12-21 | 北京道亨时代科技有限公司 | 一种倾斜测量场景中地物的提取方法 |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107741233A (zh) * | 2017-11-10 | 2018-02-27 | 邦鼓思电子科技（上海）有限公司 | 一种三维室外地图的构建方法 |
| CN109813335A (zh) * | 2017-11-21 | 2019-05-28 | 武汉四维图新科技有限公司 | 数据采集系统的标定方法、装置、系统及存储介质 |
| CN108280404A (zh) * | 2017-12-29 | 2018-07-13 | 宁波诺视智能科技有限公司 | 一种基于人工智能的无人机智能巡线识别方法及系统 |
| CN108682029A (zh) * | 2018-03-22 | 2018-10-19 | 深圳飞马机器人科技有限公司 | 多尺度密集匹配方法和系统 |
| CN108761271A (zh) * | 2018-03-30 | 2018-11-06 | 广州中科云图智能科技有限公司 | 一种电网树障检测方法及系统 |
| CN109000621A (zh) * | 2018-04-04 | 2018-12-14 | 广州优飞信息科技有限公司 | 一种电网树障检测方法 |
| CN108597023A (zh) * | 2018-05-09 | 2018-09-28 | 中国石油大学(华东) | 一种基于单反相机的地质露头三维模型构建方法 |
| CN109829908B (zh) * | 2019-01-31 | 2023-04-14 | 广东电网有限责任公司 | 基于双目影像的电力线下方地物安全距离检测方法及设备 |
| CN109816780A (zh) * | 2019-01-31 | 2019-05-28 | 广东电网有限责任公司 | 一种双目序列影像的输电线路三维点云生成方法及装置 |
| CN109829908A (zh) * | 2019-01-31 | 2019-05-31 | 广东电网有限责任公司 | 基于双目影像的电力线下方地物安全距离检测方法及设备 |
| CN109816780B (zh) * | 2019-01-31 | 2023-04-14 | 广东电网有限责任公司 | 一种双目序列影像的输电线路三维点云生成方法及装置 |
| CN109934871A (zh) * | 2019-02-18 | 2019-06-25 | 武汉大学 | 一种面向高危环境的智能无人机抓取目标的系统和方法 |
| CN110595442A (zh) * | 2019-08-13 | 2019-12-20 | 中国南方电网有限责任公司超高压输电公司昆明局 | 输电线路通道树障检测方法、储存介质和计算机设备 |
| CN111473774A (zh) * | 2020-02-28 | 2020-07-31 | 山东理工大学 | 无人机单航带倾斜摄影电力线障碍物巡检方法 |
| CN111244822A (zh) * | 2020-03-20 | 2020-06-05 | 广东电网有限责任公司 | 一种复杂地理环境的固定翼无人机巡线方法、系统和装置 |
| CN111504274A (zh) * | 2020-04-24 | 2020-08-07 | 广西电网有限责任公司百色供电局 | 一种输电线路三跨区段的精确航测方法 |
| CN111504274B (zh) * | 2020-04-24 | 2022-04-19 | 广西电网有限责任公司百色供电局 | 一种输电线路三跨区段的精确航测方法 |
| CN111536871A (zh) * | 2020-05-07 | 2020-08-14 | 武汉大势智慧科技有限公司 | 一种多时相摄影测量数据体积变化量的精确计算方法 |
| CN111536871B (zh) * | 2020-05-07 | 2022-05-31 | 武汉大势智慧科技有限公司 | 一种多时相摄影测量数据体积变化量的精确计算方法 |
| CN112147633A (zh) * | 2020-09-27 | 2020-12-29 | 广东电网有限责任公司 | 一种电力线路安全距离检测方法 |
| CN112504208A (zh) * | 2020-10-26 | 2021-03-16 | 国网河南省电力公司济源供电公司 | 输电线路空气间隙分析方法 |
| CN115294145A (zh) * | 2022-10-10 | 2022-11-04 | 广东电网有限责任公司中山供电局 | 一种输电线路弧垂的测量方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107314762B (zh) | 2020-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107314762A (zh) | 基于无人机单目序列影像的电力线下方地物距离检测方法 | |
| CN111337030B (zh) | 一种基于背负式的激光雷达扫描系统、导航定位方法 | |
| CN104931022B (zh) | 基于星载激光测高数据的卫星影像立体区域网平差方法 | |
| CN107392247B (zh) | 一种电力线下方地物安全距离实时检测方法 | |
| CN107167139A (zh) | 一种变电站巡检机器人视觉定位导航方法及系统 | |
| CN105928493A (zh) | 基于无人机的双目视觉三维测绘系统和方法 | |
| Tuttas et al. | Comparison of photogrammetric point clouds with BIM building elements for construction progress monitoring | |
| CN113192193B (zh) | 基于Cesium三维地球框架的高压输电线路走廊三维重建方法 | |
| CN109829908B (zh) | 基于双目影像的电力线下方地物安全距离检测方法及设备 | |
| CN109801358A (zh) | 一种基于slam扫描和点云影像融合的变电站三维勘测方法 | |
| CN105913410A (zh) | 一种基于机器视觉的远距离运动物体高度测量的装置与方法 | |
| CN104091168A (zh) | 基于无人机影像的电力线自动提取定位方法 | |
| CN109596121A (zh) | 一种机动站自动目标检测与空间定位方法 | |
| CN104933223A (zh) | 一种输电线路通道数字化测绘方法 | |
| KR20110119589A (ko) | 중첩 전방위 영상을 이용하여 객체의 3차원 좌표를 결정하기 위한 시스템 및 그 방법 | |
| Jiang et al. | UAV-based oblique photogrammetry for 3D reconstruction of transmission line: Practices and applications | |
| CN110132131A (zh) | 一种三维场景数据的测量方法 | |
| Al-Rawabdeh et al. | A robust registration algorithm for point clouds from UAV images for change detection | |
| CN108195359A (zh) | 空间数据的采集方法及系统 | |
| Zhang et al. | Bundle block adjustment of weakly connected aerial imagery | |
| CN102620745A (zh) | 一种机载imu视准轴误差检校方法 | |
| Casella et al. | Accuracy Assessment of a Photogrammetric UAV Block by using Different Software and Adopting Diverse Processing Strategies. | |
| Liang et al. | Accuracy analysis of oblique photogrammetry measurement in 3D modeling of power line selection design | |
| Fauzan et al. | Close-range photogrammetry method for SF6 Gas Insulated Line (GIL) deformation monitoring | |
| CN100395779C (zh) | 基于立体影像镶嵌的可量测无缝空间立体模型的生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |