CN112037274B - 一种基于太阳光照条件的多旋翼无人机视点确定方法 - Google Patents

一种基于太阳光照条件的多旋翼无人机视点确定方法 Download PDF

Info

Publication number
CN112037274B
CN112037274B CN202010728016.XA CN202010728016A CN112037274B CN 112037274 B CN112037274 B CN 112037274B CN 202010728016 A CN202010728016 A CN 202010728016A CN 112037274 B CN112037274 B CN 112037274B
Authority
CN
China
Prior art keywords
aerial vehicle
unmanned aerial
component
rotor unmanned
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010728016.XA
Other languages
English (en)
Other versions
CN112037274A (zh
Inventor
王红星
黄郑
周航
刘浩然
赵宏伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Jiangsu Fangtian Power Technology Co Ltd
Original Assignee
Nanjing University of Aeronautics and Astronautics
Jiangsu Fangtian Power Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics, Jiangsu Fangtian Power Technology Co Ltd filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202010728016.XA priority Critical patent/CN112037274B/zh
Publication of CN112037274A publication Critical patent/CN112037274A/zh
Application granted granted Critical
Publication of CN112037274B publication Critical patent/CN112037274B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

本发明公开了一种基于太阳光照条件的多旋翼无人机视点确定方法,包括以下步骤:考虑多旋翼无人机悬停拍摄时自身性能导致的悬停误差,结合悬停误差计算出待测元器件实际的拍摄尺寸;建立电力杆塔上待测元器件的属性信息与多旋翼无人机机载相机参数的函数关系;根据机载相机的不同类型建立待测元器件到多旋翼无人机的拍摄距离与拍摄焦距的函数关系;考虑太阳光照条件,优化视点位置的确定算法。本发明有效解决了多旋翼无人机巡检电力杆塔时,人工选择视点位置不准确、待测元器件成像不完整以及拍摄时没有考虑太阳光照的影响的问题。

Description

一种基于太阳光照条件的多旋翼无人机视点确定方法
技术领域
本发明属于多旋翼无人机巡检技术领域,具体指代一种基于太阳光照条件的多旋翼无人机视点确定方法。
背景技术
目前,我国对电力能源的需求不断增加,电力杆塔分布广泛且地形复杂。由于这些复杂地形地区的电力杆塔人工巡检成本很高,加之对巡检工作人员的人身安全容易产生威胁,因此,多旋翼无人机应用于电力杆塔的巡检越来越广泛。
在多旋翼无人机对电力杆塔的巡检过程中,巡检视点主要采用人工定位的方式进行选择,导致视点选择不准确,无法准确拍摄待测元器件。在实际拍摄中,多旋翼无人机存在自身性能所导致的悬停精度误差,因此拍摄的图像存在拍摄到的待测元器件不完整的情况,无法达到预期的巡检效果。另外,多旋翼无人机在对待测元器件进行拍摄时由于没有考虑太阳光线对拍摄的影响,会出现照片曝光、成像质量差、图像不清晰等问题,给后续对照片的进一步处理带来很大难度。因此,本发明充分考虑待测元器件成像不完整和拍摄时太阳光照对拍摄的影响,提出一种基于太阳光照条件的多旋翼无人机视点确定方法。
发明内容
针对于上述现有技术的不足,本发明的目的在于提供一种基于太阳光照条件的多旋翼无人机视点确定方法,有效解决了多旋翼无人机巡检电力杆塔时,人工选择视点位置不准确、待测元器件成像不完整以及拍摄时没有考虑太阳光照的影响的问题。
为达到上述目的,本发明采用的技术方案如下:
本发明的一种基于太阳光照条件的多旋翼无人机视点确定方法,包括以下步骤:
S1:考虑多旋翼无人机悬停拍摄时自身性能导致的悬停误差,结合悬停误差计算出待测元器件实际的拍摄尺寸;
S2:建立电力杆塔上待测元器件的属性信息与多旋翼无人机机载相机参数的函数关系;
S3:根据机载相机的不同类型建立待测元器件到多旋翼无人机的拍摄距离与拍摄焦距的函数关系;
S4:考虑太阳光照条件,优化视点位置的确定算法。
进一步地,所述步骤S1中的多旋翼无人机的悬停误差包括:水平悬停误差σh-error和垂直悬停误差σv-error
进一步地,所述步骤S2中的电力杆塔上的待测元器件的属性信息包括:待测元器件尺寸(即宽度和高度);多旋翼无人机机载相机参数包括:焦距、相机传感器尺寸,以及多旋翼无人机拍摄待测元器件的距离。
进一步地,所述步骤S2中待测元器件的属性信息和机载相机参数的函数关系如下:
Figure BDA0002598247550000021
式中,F表示机载相机的镜头焦距,L表示视点与待测元器件之间的拍摄距离,w表示待测元器件在相机传感器上的成像宽度,W'表示待测元器件考虑悬停误差的实际宽度,h表示待测元器件在相机传感器上的成像高度,H'表示待测元器件考虑悬停误差的实际高度。
进一步地,所述步骤S3中的为了计算不同待测元器件所对应的多旋翼无人机的视点位置,需要根据拍摄焦距来确定当前焦距下的拍摄距离。
进一步地,所述步骤S4包括:
太阳光照条件分别用太阳方位角γ和太阳高度角α来表示,根据方位角和高度角计算出在某一时刻太阳所处的位置;
考虑太阳光照的方向,通过设计空间几何计算方法确定多旋翼无人机拍摄时的视点位置,确保多旋翼无人机顺光拍摄,保证拍摄的图像清晰;
将优化后的视点坐标转换为在3D点云图中所用坐标系进行表示的坐标值。
本发明的有益效果:
本发明在拍摄时考虑了多旋翼无人机的悬停误差,计算出待测元器件实际的拍摄尺寸,实现待测元器件的满幅拍摄。通过建立电力杆塔上待测元器件的属性信息与多旋翼无人机机载相机参数的函数关系以及不同待测元器件到多旋翼无人机的拍摄距离与拍摄焦距的函数关系,可以准确定位多旋翼无人机的拍摄视点。同时,在确定视点时考虑了太阳光照对拍摄的影响,优化视点位置,确保拍摄的图像成像清晰,便于辨识,为多旋翼无人机进行高效巡检提供了技术支持。
附图说明
图1为本发明的方法流程图;
图2为考虑悬停误差的待测元器件实际拍摄尺寸图;
图3为太阳光照的示意图;
图4为机载相机与待测元器件之间视角示意图。
具体实施方式
为了便于本领域技术人员的理解,下面结合实施例与附图对本发明作进一步的说明,实施方式提及的内容并非对本发明的限定。
参照图1所示,本发明的一种基于太阳光照条件的多旋翼无人机视点确定方法,包括以下步骤:
S1:考虑多旋翼无人机悬停拍摄时自身性能导致的悬停误差,结合悬停误差给出待测元器件实际的拍摄尺寸;
由于多旋翼无人机存在性能上的悬停误差,所以多旋翼无人机在视点位置进行悬停拍摄时可能会发生偏移,从而导致拍摄的待测元器件不完整甚至没有拍摄到待测元器件。因此,在进行巡检拍摄时需要考虑到悬停误差的影响,结合悬停误差计算待测元器件实际的拍摄尺寸。
如图2所示,已知多旋翼无人机的水平悬停误差为σh-error,垂直悬停误差为σv-error;假设任意待测元器件A的宽度为WA,高度为HA,计算考虑悬停误差的待测元器件的实际尺寸如下:
Figure BDA0002598247550000031
式中,W′A为无人机考虑悬停误差拍摄待测元器件A的实际拍摄宽度;H'A为无人机考虑悬停误差拍摄待测元器件A的实际拍摄高度。
S2:建立电力杆塔上待测元器件的属性信息与多旋翼无人机机载相机参数的函数关系;
根据实际的电力杆塔可以获取各个待测元器件的空间坐标值和尺寸,机载相机的参数包括焦距、传感器尺寸;因此,建立待测元器件的属性信息和机载相机参数的函数关系如下:
Figure BDA0002598247550000032
式中,F表示机载相机的镜头焦距,L表示视点与待测元器件之间的拍摄距离,w表示待测元器件在相机传感器上的成像宽度,W'表示待测元器件考虑悬停误差的实际宽度,h表示待测元器件在相机传感器上的成像高度,H'表示待测元器件考虑悬停误差的实际高度。
S3:根据机载相机的类型建立不同待测元器件到多旋翼无人机的拍摄距离与拍摄焦距的函数关系;
机载相机可以分为定焦镜头和变焦镜头,定焦镜头在拍摄时为了保证图像的清晰度需要调整适当的拍摄距离,变焦镜头则可以通过改变焦距的值保证在不同拍摄距离下成像清晰;因此,对于定焦镜头,建立其与拍摄距离之间的函数关系如下:
Figure BDA0002598247550000033
对于变焦镜头,拍摄距离随着焦距的变化而变化,在实际拍摄中,为了保证待测元器件的成像尺寸尽量大便于后期检查,会优先选择最大焦距Fmax进行拍摄;因此,对于变焦镜头,建立其与拍摄距离之间的函数关系如下:
Figure BDA0002598247550000034
上述多旋翼无人机实际拍摄距离满足L≥Ls(Ls表示电力杆塔初始最小安全距离),对函数关系进行调整为:
Figure BDA0002598247550000041
若多旋翼无人机实际拍摄距离L小于初始最小安全距离Ls,需要增加拍摄距离至初始最小安全距离或改变焦距。
S4:多旋翼无人机巡检拍摄时考虑太阳光照条件,优化视点位置的确定算法;
如图3所示,太阳光线的方向与角度一般根据太阳方位角γ和太阳高度角α来确定;
41.不考虑拍摄平面的待测元器件的最佳视点位置:
把太阳光照作为一个影响因素来对多旋翼无人机的拍摄视点进行优化;为了方便计算,以待测元器件为坐标原点建立相对空间坐标系,已知拍摄距离L,太阳方位角γ和太阳高度角α;则优化后的视点位置V1(x,y,z,β)计算如下:
x=L*cosα*cosγ
y=-L*cosα*cosγ
z=L*sinα
Figure BDA0002598247550000042
如图4所示,式中,β表示机载相机的拍摄视角,具体指相机镜头与待测元器件之间的夹角。
42.考虑拍摄平面的待测元器件的最佳视点位置;
首先根据待测元器件的拍摄平面计算满足巡检要求的多旋翼无人机视点位置V2,在满足巡检要求的前提下尽量保证视点位置可以进行顺光拍摄,以视点位置V2为中心点分别向左、右方向各偏移30°拓宽视点范围,将偏移后的视点位置记为Vleft、Vright;把视点位置V1与V2、Vleft、Vright进行比较,得到最终的视点位置为:
Figure BDA0002598247550000043
上述优化后的视点坐标值是通过建立的相对坐标系进行表示的,因此,需要把该视点坐标转换为3D点云图中所用坐标系进行表示。
假设相对坐标系为O-xyz,3D点云图中的坐标系为O-x'y'z';两个坐标系各个坐标轴之间的夹角如下表1所示:
表1
x轴 y轴 z轴
x'轴 α<sub>1</sub> β<sub>1</sub> γ<sub>1</sub>
y'轴 α<sub>2</sub> β<sub>2</sub> γ<sub>2</sub>
z'轴 α<sub>3</sub> β<sub>3</sub> γ<sub>3</sub>
根据已有技术“空间直角坐标变换与点变换”可以得到空间直角坐标转换的一般公式:
Figure BDA0002598247550000051
式中,(x0,y0,z0)表示某物体在O-xyz坐标系中的值,(x',y',z')表示O-x'y'z'坐标系的原点坐标值,(x,y,z)表示任意物体从O-xyz坐标系转换为O-x'y'z'坐标系的坐标值。
无人机拍摄的镜头方向可以通过镜头到待测元器件的方向向量与O-x'y'z'坐标系的x'轴正向方向向量之间的夹角进行确定。
综上,本发明的方法自动确定多旋翼无人机的视点,针对待测元器件成像不完整的问题,通过考虑多旋翼无人机的悬停误差,计算待测元器件的实际拍摄尺寸,满足了待测元器件的满幅拍摄。并且通过加入太阳光照条件对视点位置进行优化,保证巡检拍摄图像的清晰度,提高了多旋翼无人机巡检电力杆塔的效率问题,具有使用价值。
本发明具体应用途径很多,以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以作出若干改进,这些改进也应视为本发明的保护范围。

Claims (1)

1.一种基于太阳光照条件的多旋翼无人机视点确定方法,其特征在于,包括以下步骤:
S1:考虑多旋翼无人机悬停拍摄时自身性能导致的悬停误差,结合悬停误差计算出待测元器件实际的拍摄尺寸;
S2:建立电力杆塔上待测元器件的属性信息与多旋翼无人机机载相机参数的函数关系;
S3:根据机载相机的不同类型建立待测元器件到多旋翼无人机的拍摄距离与拍摄焦距的函数关系;
S4:考虑太阳光照条件,优化视点位置的确定算法;
步骤S1中的多旋翼无人机的悬停误差包括:水平悬停误差σh-error和垂直悬停误差σv-error
步骤S2中的电力杆塔上的待测元器件的属性信息包括:待测元器件尺寸;多旋翼无人机机载相机参数包括:焦距、相机传感器尺寸,以及多旋翼无人机拍摄待测元器件的距离;
所述步骤S2中待测元器件的属性信息和机载相机参数的函数关系如下:
Figure FDA0003616104220000011
式中,F表示机载相机的镜头焦距,L表示视点与待测元器件之间的拍摄距离,w表示待测元器件在相机传感器上的成像宽度,W'表示待测元器件考虑悬停误差的实际宽度,h表示待测元器件在相机传感器上的成像高度,H'表示待测元器件考虑悬停误差的实际高度;
步骤S3中的为了计算不同待测元器件所对应的多旋翼无人机的视点位置,需要根据拍摄焦距来确定当前焦距下的拍摄距离;
步骤S4包括:
太阳光照条件分别用太阳方位角γ和太阳高度角α来表示,根据方位角和高度角计算出在某一时刻太阳所处的位置;
考虑太阳光照的方向,通过设计空间几何计算方法确定多旋翼无人机拍摄时的视点位置,确保多旋翼无人机顺光拍摄,保证拍摄的图像清晰;
将优化后的视点坐标转换为在3D点云图中所用坐标系进行表示的坐标值。
CN202010728016.XA 2020-07-23 2020-07-23 一种基于太阳光照条件的多旋翼无人机视点确定方法 Active CN112037274B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010728016.XA CN112037274B (zh) 2020-07-23 2020-07-23 一种基于太阳光照条件的多旋翼无人机视点确定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010728016.XA CN112037274B (zh) 2020-07-23 2020-07-23 一种基于太阳光照条件的多旋翼无人机视点确定方法

Publications (2)

Publication Number Publication Date
CN112037274A CN112037274A (zh) 2020-12-04
CN112037274B true CN112037274B (zh) 2022-07-26

Family

ID=73583170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010728016.XA Active CN112037274B (zh) 2020-07-23 2020-07-23 一种基于太阳光照条件的多旋翼无人机视点确定方法

Country Status (1)

Country Link
CN (1) CN112037274B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112506205B (zh) * 2020-12-17 2022-11-25 深圳市朗驰欣创科技股份有限公司 机器人巡检任务规划方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110908401A (zh) * 2019-12-06 2020-03-24 电子科技大学 一种针对未知杆塔结构的无人机自主巡检方法
CN111123962A (zh) * 2019-12-16 2020-05-08 中国计量大学 一种用于电力杆塔巡检的旋翼无人机重定位拍照方法
CN111256703A (zh) * 2020-05-07 2020-06-09 江苏方天电力技术有限公司 一种多旋翼无人机巡检路径规划方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110908401A (zh) * 2019-12-06 2020-03-24 电子科技大学 一种针对未知杆塔结构的无人机自主巡检方法
CN111123962A (zh) * 2019-12-16 2020-05-08 中国计量大学 一种用于电力杆塔巡检的旋翼无人机重定位拍照方法
CN111256703A (zh) * 2020-05-07 2020-06-09 江苏方天电力技术有限公司 一种多旋翼无人机巡检路径规划方法

Also Published As

Publication number Publication date
CN112037274A (zh) 2020-12-04

Similar Documents

Publication Publication Date Title
CN110554704B (zh) 一种基于无人机的风机叶片自主巡检方法
CN110908401B (zh) 一种针对未知杆塔结构的无人机自主巡检方法
CN110580717B (zh) 一种针对电力杆塔的无人机自主巡检航线生成方法
CN107492069B (zh) 基于多镜头传感器的图像融合方法
CN103245335B (zh) 一种自主在轨服务航天器超近距离视觉位姿测量方法
CN110132226B (zh) 一种无人机巡线的距离及方位角测量系统和方法
CN103513295A (zh) 一种基于多相机实时拍摄与图像处理的天气监测系统与方法
CN112949478A (zh) 基于云台相机的目标检测方法
CN112947526B (zh) 一种无人机自主降落方法和系统
CN109801336B (zh) 基于可见光及红外光视觉的机载目标定位系统及方法
WO2020181506A1 (zh) 一种图像处理方法、装置及系统
CN108154536A (zh) 二维平面迭代的相机标定法
CN113177918B (zh) 一种无人机对电力杆塔的智能精准巡检方法及系统
CN112037274B (zh) 一种基于太阳光照条件的多旋翼无人机视点确定方法
CN112950719B (zh) 一种基于无人机主动式光电平台的无源目标快速定位方法
CN112381881B (zh) 一种基于单目视觉的大型刚体构件自动对接方法
CN105953730A (zh) 一种多相机太阳能集热器钢结构支架组装质量检测系统
CN115145314B (zh) 基于无人机的风机叶片巡检路径规划方法
CN109343578A (zh) 一种基于视觉反馈的tdi-ccd相机双目视觉系统视场对齐方法
CN114509048B (zh) 基于单目相机的架空输电线路空间三维信息获取方法及系统
CN116912715A (zh) 一种面向风机叶片巡检的无人机视觉伺服控制方法及系统
CN107167116A (zh) 一种空间圆弧位姿的视觉检测方法
CN111526283B (zh) 一种航拍相机曝光时间上限阈值获取方法及获取系统
CN117671033A (zh) 一种基于夜间灯光追踪的相机像主点快速定标方法和系统
JP7311407B2 (ja) 姿勢推定装置、および、姿勢推定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant