CN111953892A - 无人飞行器、检查方法及检查程序 - Google Patents
无人飞行器、检查方法及检查程序 Download PDFInfo
- Publication number
- CN111953892A CN111953892A CN202010410540.2A CN202010410540A CN111953892A CN 111953892 A CN111953892 A CN 111953892A CN 202010410540 A CN202010410540 A CN 202010410540A CN 111953892 A CN111953892 A CN 111953892A
- Authority
- CN
- China
- Prior art keywords
- imaging
- aerial vehicle
- unmanned aerial
- unit
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims description 15
- 238000003384 imaging method Methods 0.000 claims abstract description 102
- 238000001514 detection method Methods 0.000 claims abstract description 33
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical group C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 5
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 229910052742 iron Inorganic materials 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 206010034719 Personality change Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U20/00—Constructional aspects of UAVs
- B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
- B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
- B64U2201/104—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] using satellite radio beacon positioning systems, e.g. GPS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30184—Infrastructure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Remote Sensing (AREA)
- Mechanical Engineering (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Electric Cable Installation (AREA)
Abstract
提供一种能够容易地识别有无必要进行检查对象物的重新拍摄的无人飞行器。本发明的无人飞行器(100)具有:拍摄相机(140),拍摄检查对象物;物体检测部(130),检测检查对象物的相对位置;角度调整部(150),基于由物体检测部(130)检测出的相对位置,调整拍摄相机(130)的拍摄方向的角度;判定单元,在拍摄检查对象物时,判定检查对象物是否从拍摄相机的影像帧脱离;以及存储单元,在判定为检查对象物从影像帧脱离时,存储包括该判定结果的拍摄失败信息。
Description
技术领域
本发明涉及远程操作或者自主式的无人飞行器,尤其涉及具备检查对象物的拍摄功能的无人机。
背景技术
例如架设于铁塔的输电线的表面等的检查,是由作业者使用双筒望远镜直接目视输电线的表面、或者从直升机目视、或者由攀登到铁塔上的人沿着电线进行确认、或者利用自走器等来进行的。若在这样的高处的构造物的检查中能够使具备航拍功能的无人机接近,利用相机拍摄检查部位,并得到与作业者目视检查部位相同的影像,则能够大幅削减检查所需的成本。另外,以在确定的飞行路线上以确定的速度飞行并自动返回降落至起飞地点的方式控制机体的自主控制技术的开发正在进展,且正在实用化。
在专利文献1的航拍方法中,如图1所示,通过自主控制而飞行的A/C直升机1按照预先设定的飞行路线,在作为出发地点的地面站2起飞之后,飞行到铁塔A的上方的(a)点为止,接着沿高架电线W平行地飞行到铁塔B的上方的(b)点为止,在此期间,一边以高架电线W位于相机的拍摄区域的中心的方式追踪高架电线W一边连续地记录高架电线W的影像。另外,通过在飞行中测定到高架电线W为止的距离,并根据测定出的距离调整相机的变焦倍率,从而能够在相机框架内记录被放大为足够大小的高精细的高架电线W的影像。
现有技术文献
专利文献
专利文献1:日本特开2006-027448号公报
发明内容
近年来,正在进行使用如无人机那样的小型无人飞行器的架空线/电线的检查系统的开发、实用化。在无人机上搭载有用于检测出到检查对象物为止的距离以及角度的物体检测传感器(例如LiDAR),无人机基于物体检测传感器的检测结果以使机体与检查对象物的位置关系保持恒定的方式进行自主飞行,从而追踪检查对象物的同时防止与检查对象物接触。另外,在无人机上经由万向架搭载有对检查对象物进行拍摄的相机。万向架是能够在三维方向上对相机的朝向进行微调整的致动器,万向架利用物体检测传感器的检测结果来控制相机的角度,以使得即使无人机的姿势变化,相机也始终对无人机的铅垂方向进行拍摄。其结果,拍摄被控制为检查对象物被拍摄在拍摄框的中央。
在执行基于无人机的检查拍摄时,有时机体的姿势、位置由于强风等要因而急剧变化。此时,万向架动作以吸收机体的姿势变化。图2的(A)是从侧方示意性地表示机体10和高架电线W的图,当在高架电线W的正上方飞行中从横向吹动风K时,机体10向风的一方倾斜机体,欲维持高架电线W的正上方的飞行位置。此时,万向架将相机的角度控制为高架电线W进入拍摄范围S。
另外,图2的(B)是从上方示意性地表示机体10和高架电线W的图,存在风K吹动等而以使机体10远离高架电线W的方式沿横向P流动的情况。在该情况下,也以机体10朝向高架电线W的方向Q的方式进行飞行控制,万向架也以抑制这些影响的方式控制相机的角度。然而,在最终无法完全吸收无人机的急剧的姿势变化的情况下,如图3所示,发生高架电线W从拍摄范围S脱离的所谓的出画。关于高架电线W是否出画,如果不在无人机的返回后再现由相机拍摄到的影像数据并对其进行视觉确认则无法知道。因此,需要在现场再现并查验所拍摄到的影像数据,这样的作业非常繁杂。
本发明的目的在于,解决上述以往的课题,提供一种能够容易地识别检查对象物的重新拍摄有无必要的无人飞行器、检查方法以及检查程序。
本发明的无人飞行器,具有:拍摄单元,拍摄对象物;检测单元,检测对象物的相对位置;角度控制单元,基于由所述检测单元检测出的相对位置来控制所述拍摄单元的拍摄方向的角度;判定单元,在通过所述拍摄单元拍摄对象物时,判定对象物是否从所述拍摄单元的拍摄范围脱离;以及存储单元,在通过所述判定单元判定为对象物从拍摄范围脱离时,存储包括该判定结果的拍摄失败信息。
在某实施方式中,所述判定单元基于所述拍摄单元的拍摄方向和所述检测单元的相对位置,判定对象物是否从拍摄范围脱离。在某实施方式中,所述拍摄单元的拍摄方向基于所述拍摄单元的拍摄相机的视场角和由所述角度控制单元控制的角度来决定。在某实施方式中,所述判定单元判定对象物是否从拍摄范围脱离了一定时间以上。在某实施方式中,当所述拍摄单元1秒钟生成n个影像帧时,所述判定单元判定在m(m是小于n的自然数)个以上的影像帧中对象物是否从影像帧脱离。在某实施方式中,所述判定单元判定对象物是否从影像帧的预先决定的区域脱离。在某实施方式中,无人飞行器还包括飞行控制单元,该飞行控制单元基于由所述检测单元检测出的相对位置来控制飞行以追踪对象物。在某实施方式中,无人飞行器还包括输出单元,该输出单元输出存储于所述存储单元的拍摄失败信息。在某实施方式中,所述飞行控制单元在存储有所述拍摄失败信息的情况下,基于所述拍摄失败信息控制飞行以重新拍摄对象物。在某实施方式中,所述飞行控制单元在存储有所述拍摄失败信息的情况下,中止飞行。在某实施方式中,所述检测单元向对象物照射激光,并测定其反射光,从而测定直到对象物为止的距离及角度。
本发明的对象物的检查方法,是基于飞行器的对象物的检查方法,该无人飞行器具备拍摄相机以及检测对象物的相对位置的传感器的,包括:在通过所述拍摄相机拍摄对象物的过程中,根据由所述传感器检测出的对象物的相对位置和拍摄相机的视场角,判定拍摄相机是否捕捉到对象物的步骤;以及在判定为拍摄相机未捕捉到对象物的情况下,存储包括该判定结果的拍摄失败信息的步骤。
在某实施方式中,检查方法还包括输出所述拍摄失败信息的步骤。在某实施方式中,检查方法还包括基于所述拍摄失败信息控制飞行以重新拍摄拍摄失败部位的步骤。在某实施方式中,检查方法还包括在存储有所述拍摄失败信息的情况下中止飞行的步骤。在某实施方式中,所述判定的步骤在搭载有拍摄相机的角度调整机构的情况下,根据由角度调整机构调整后的角度、拍摄相机的视场角及由传感器检测出的对象物的相对位置,判定拍摄相机是否捕捉到对象物。
本发明的对象物的检查程序,是由无人飞行器执行的,该无人飞行器具备拍摄相机以及检测对象物的相对位置的传感器,该检查程序包括:在通过所述拍摄相机拍摄对象物的过程中,根据由所述传感器检测出的对象物的相对位置和拍摄相机的视场角来判定拍摄相机是否捕捉到对象物的步骤、以及在判定为拍摄相机未捕捉到对象物的情况下,存储包括该判定结果的拍摄失败信息的步骤。
发明效果
根据本发明,在对象物的拍摄中,判定对象物是否从拍摄范围脱离,在脱离的情况下存储该判定结果,因此用户无需进行再现所拍摄到的对象物的影像并确认该影像的作业就能够识别有无必要重新拍摄。
附图说明
图1是说明以往的对高架电线等进行航拍的无人飞行器的例子的图。
图2的(A)是从侧方示意性地表示机体和高架电线的图,图2的(B)是从上方示意地表示机体和高架电线的图,对机体的姿势由于风等而变化的情况进行了说明。
图3是说明在以往的无人飞行器的航拍中检查对象物从框架脱离的例子的图。
图4是表示本发明的无人飞行器的电气构成的框图。
图5是表示本发明的实施例的拍摄控制程序的功能性构成的框图。
图6是说明影像帧与所拍摄的高架电线的关系的图。
图7是说明本发明的实施例中的出画的定义的图。
图8是说明本发明的实施例的拍摄判定部的判定方法的一个例子的图。
图9是说明本发明的实施例的检查对象物的拍摄控制的动作的流程。
图10是说明本发明的第二实施例的检查对象物的拍摄控制的动作的流程。
具体实施方式
接着,对本发明的实施方式进行说明。本发明的无人飞行器用于人难以通过目视进行检查的、架设于铁塔的输电线等的检查、泥石流等自然灾害现场的检查等。无人飞行器的构成没有特别限定,例如是无人机、直升机、飞艇等。
【实施例】
在以下的实施例中,对通过无人飞行器检查高架电线的例子进行说明。本实施例的无人飞行器(无人机)在机体主体上搭载用于拍摄作为检查对象物的高架电线的拍摄相机。拍摄相机经由万向架那样的角度调整致动器而安装于机体主体。角度调整致动器例如能够以X轴、Y轴、Z轴这3个自由度调整拍摄相机的角度。例如,如图1所示,无人飞行器对高架于铁塔的电线W从其上方沿铅垂方向拍摄,该拍摄到的影像数据被供于高架电线W的检查。
图4是表示本实施例的无人飞行器的电气构成的框图。本实施例的无人飞行器100构成为包括GPS接收部110、自主导航传感器120、物体检测部130、拍摄相机140、相机角度调整部150、转子驱动部160、存储部170、输出部180、外部连接部190以及控制部200。但是,上述构成是一个例子,并不一定限定于此。
GPS接收部110接收从GPS卫星发出的GPS信号,检测包括无人飞行器100的纬度、经度的绝对位置。无人飞行器100能够按照预先准备的飞行信息进行自主飞行。飞行信息例如如图1所示,包括在作为出发地点的地面站2、铁塔A的(a)点、铁塔B的(b)点、作为返回地点的地面站2飞行的飞行路线(包括纬度、经度的位置信息)、飞行速度、飞行高度等。无人飞行器100利用由GPS接收部110检测出的位置信息以追踪飞行路线的方式飞行。
自主导航传感器120包括无人飞行器100进行自主导航所需的传感器,例如方位传感器、高度传感器。自主导航传感器120的传感器输出被利用于根据飞行信息而自主飞行时的飞行控制。
物体检测部130检测直到检查对象物为止的相对距离以及角度。物体检测部130例如使用LiDAR(Laser Imaging Detection and Ranging)而构成。LiDAR以360度的方位照射脉冲状发光的激光,并测定相对于该激光照射的反射光,由此检测直到物体为止的距离及角度。在本实施例中,检测从无人飞行器100直到高架电线W为止的距离以及角度。此外,物体检测部130并不限定于LiDAR,除此以外也可以使用多个立体相机来检测直到物体为止的距离以及角度。无人飞行器100基于物体检测部130的检测结果,以与作为检查对象物的高架电线W保持恒定的距离及角度的方式追踪高架电线W。
如上所述,拍摄相机140经由角度调整致动器而被安装于机体主体的下部。拍摄相机140拍摄出作为检查对象物的高架电线W的动态图像,例如在1秒间生成24个影像帧(静止图像)。并且,拍摄相机140具备变焦功能,以在影像帧内拍摄到一定大小的高架电线W的方式调整其倍率。
相机角度调整部150响应于来自控制部200的角度调整信号来驱动角度调整致动器,调整拍摄相机140的角度。控制单元200基于自主导航传感器120或物体检测部130的检测结果来计算拍摄相机140的拍摄方向(拍摄相机的透镜的光轴)成为铅垂方向的角度,并基于该计算结果生成角度调整信号。
转子驱动部160基于来自控制部200的驱动信号使与螺旋桨等连接的转子旋转。控制单元200基于由GPS接收部110、自主导航传感器120和物体检测部130检测出的信息、飞行信息,生成用于使无人飞行器100沿着飞行路线自主飞行的驱动信号。
存储部170存储使无人飞行器100动作所需的各种信息。存储部170例如存储预先准备的飞行信息,或者存储控制部200执行所用的程序、软件,或者存储由拍摄相机140拍摄到的检查对象物的影像数据。进而,在本实施例中,在存储部170中存储表示拍摄相机140对检查对象物的拍摄失败的拍摄失败信息。拍摄失败信息能够使用户不对由拍摄相机140拍摄到的影像数据进行再现而知晓需要进行检查对象物的重新拍摄。
输出部180读出存储部170中存储的信息,并将其输出至外部。输出部180的构成没有特别限定,例如,输出部180能够具备显示存储部170的影像数据的显示部,或者能够向经由外部连接部190连接的外部装置通过有线或无线输出从存储部170读出的信息。
外部连接部190能够通过有线或无线将无人飞行器100与外部装置连接。外部装置例如是计算机装置,能够经由外部连接部190来控制无人飞行器100,例如,外部装置能够将预先准备的飞行信息写入到存储部170,或者从存储部170读出拍摄检查对象物而得到的影像数据,或者对控制部200赋予来自用户的指示。
控制部200对无人飞行器100的各部进行控制。在某实施方式中,控制部200包括:包括ROM/RAM的微控制器、微处理器、图像处理处理器等,通过执行存储部170或ROM/RAM中存储的程序、软件,来控制无人飞行器100的自主飞行、检查对象物的拍摄。
自主飞行控制程序,基于由GPS接收部110检测出的绝对位置(纬度、经度、高度)、由自主导航传感器120检测出的方位、高度等进行控制,以使无人飞行器100在预先准备的飞行路线上飞行。该飞行路线是大致沿着高架电线W的路线。进而,自主飞行控制程序基于由物体检测部130检测出的高架电线W的相对距离以及角度来控制无人飞行器100的飞行,以一边与高架电线W保持一定的距离一边追踪高架电线W。
在无人飞行器100沿着高架电线W持续飞行的期间,拍摄控制程序以高架电线W被拍摄到的方式控制拍摄相机140,并且将由拍摄相机140拍摄到的影像数据储存于存储部170。本实施例的拍摄控制程序的详细构成如图5所示。如该图所示,拍摄控制程序210构成为包括相机角度计算部220、相机动作控制部230、拍摄判定部240、拍摄失败信息存储部250以及影像数据存储部260。
相机角度计算部220为了在拍摄相机140的影像帧内捕捉到高架电线W,基于来自物体检测部130的检测结果,计算拍摄相机140的拍摄方向的角度。相机角度计算部220在计算出拍摄方向的角度时,将表示该计算结果的角度调整信号提供给相机角度调整部150,相机角度调整部150基于角度调整信号,驱动角度调整致动器,调整拍摄相机140的拍摄方向。在本实施例中,相机角度计算部220以拍摄相机140的拍摄方向(光轴)成为铅垂方向的方式计算角度,由此,拍摄相机140从正上方对高架电线W进行航拍。
另外,拍摄相机140的变焦被设定为预先决定的倍率,通过自主飞行控制程序来控制飞行以使无人飞行器100与高架电线W之间的相对距离恒定。通过这些设定,决定由拍摄相机140的影像帧拍摄的现实空间的范围(纵向及横向的实际空间的距离),即,决定映现于影像帧的高架电线W的大小。优选的是,如图6的(A)所示,在影像帧F内,以能够由用户检查的大小映现出高架电线W。
在图6的(A)中,在影像帧F的长边方向与飞行方向大致平行时,相机角度计算部220基于由物体检测部130检测出的高架电线W的相对角度,计算相机的角度,以使高架电线W被捕捉到影像帧F的大致中央。另外,如图6的(B)所示那样,无人飞行器100受到风的影响而如图2的(A)所示那样机体的姿势变化,或者如图2的(B)所示那样从高架电线W偏离时,映现于影像帧F的高架电线W从中央向边缘部位移,但在该情况下,相机角度计算部220基于由物体检测部130检测出的高架电线W的相对角度的变化量,计算相机的角度,以使高架电线W向中央的方向Q移动。
相机动作控制部230控制拍摄相机140的拍摄开始及结束等。具体而言,无人飞行器100沿着飞行路线开始飞行并接近高架电线W,到达拍摄开始地点时,则相机动作控制部230使基于拍摄相机140的拍摄开始,无人飞行器100按照飞行路线沿着高架电线W飞行,到达拍摄结束地点时,使基于拍摄相机140的拍摄结束。相机动作控制部230除了上述以外,还能够控制拍摄相机的拍摄条件、例如倍率等。
拍摄判定部240在由拍摄相机140进行高架电线W的拍摄的期间中,判定在拍摄相机140的影像帧中是否适当地拍摄到高架电线W。在拍摄中受到强风等的影响而无人飞行器100的姿势急剧变化(参照图2的(A))或暂时脱离飞行路线时(参照图2的(B)),若期间基于角度调整致动器的拍摄相机140的角度控制不匹配,则如图7的(A)所示,有时高架电线W从影像帧F出画。拍摄判定部240根据由物体检测部130检测出的高架电线W的相对位置、角度调整致动器的当前的被控制的角度、拍摄相机所设定的视场角,来判定这样的高架电线W是否出画。
图8是说明拍摄判定部240的判定方法的图。无人飞行器100的飞行方向设为与高架电线W的延伸方向大致平行。在该状态下,高架电线W相对于无人飞行器100的铅垂方向的基准线G的相对角度θw由物体检测部130检测。另外,拍摄相机140的视场角θc是从变焦的倍率决定的已知的值,视场角θc规定图7的(A)所示的影像帧F的大小。角度调整致动器相对于基准线G的当前的角度为θa时(角度θa等于拍摄相机140的拍摄透镜的光轴方向),对视角θc是根据角度θa偏移后的角度的方向进行拍摄。拍摄判定部240判定在根据θa偏移后的视场角θc的拍摄范围内是否包括高架电线W的角度θw,在两者之差为一定以上的情况下,判定为高架电线W未被拍摄到,即高架电线W从影像帧F出画。
另外,在高架电线W被拍摄于影像帧F的外缘的情况下,高架电线W的一部分有可能缺损,或者因光学变形而图像变得不清晰。因此,可以如图7的(B)所示那样在影像帧F的外周设置一定的余量M,并判定在余量M的内侧是否拍摄到高架电线W。在该情况下,设定规定了余量M的视场角θc’(θc’<θc)。
并且,拍摄相机140在1秒间生成多个影像帧(例如,在1秒钟生成24个影像帧),因此,如果在非常短的时间内发生高架电线W的出画,则能够通过前后的影像帧对出画的期间的高架电线W进行插补。因此,拍摄判定部240在出画发生了一定期间的情况下,判定为未适当地拍摄高架电线W。例如,在1秒钟生成24个影像帧的情况下,在12张影像帧中发生了出画的情况下,判定为未适当地拍摄高架电线W。
拍摄失败信息存储部250,在由拍摄判定部240判定为未适当地拍摄高架电线W的情况下,将表示在拍摄中高架电线W的拍摄产生失败的拍摄失败信息存储于存储部170。拍摄失败信息还能够包括拍摄失败的部位、拍摄失败的时间。拍摄失败部位包括由GPS接收部110检测出的位置信息(纬度、经度),拍摄失败时间能够包括以拍摄开始时刻为基准而发生了出画的时刻以及出画持续的时间。在存储了拍摄失败信息时,输出部180能够输出表示存储有拍摄失败信息的信息。例如,也可以通过使LED灯点亮来向用户通知存储有拍摄失败信息。
影像数据存储部260将在拍摄相机140动作的期间中拍摄到的影像数据存储于存储部170。
接着,参照图9的流程对本实施例的无人飞行器100的检查对象物的拍摄动作进行说明。首先,经由外部连接部190连接外部计算机装置,从计算机装置向无人飞行器100输入包括飞行路线的飞行信息(S100),并将其存储于存储部170或控制部200的RAM。控制部200的自主飞行控制程序,按照所输入的飞行信息,为了对高架电线W进行检查而开始无人飞行器的自主飞行(S110)。
无人飞行器100基于到由物体检测部130检测出的直到高架电线W为止的相对距离以及角度,一边与高架电线W保持一定的距离一边沿着高架电线W自主飞行,在此期间,进行高架电线W的拍摄。即,若无人飞行器100到达高架电线W的拍摄开始位置,则相机动作控制部230启动拍摄相机140,开始高架电线W的拍摄(S120)。
在拍摄期间中,相机角度计算部220根据到由物体检测部130检测出的直到高架电线W为止的距离和角度,计算拍摄相机140的拍摄方向的角度,基于计算结果将角度调整信号输出至角度调整致动器,角度调整致动器调整拍摄相机140的角度(S130)。另外,在拍摄期间中,由拍摄相机140拍摄到的高架电线W的影像数据通过影像数据存储部260依次存储于存储部170(S140)。另外,通过拍摄判定部240判定高架电线W是否从影像帧F出画(S150),在判定为发生了出画的情况下,通过拍摄失败信息存储部250将表示拍摄失败的拍摄失败信息存储于存储部170(S160)。
在拍摄期间中,反复进行步骤S130~S160为止的处理,自主飞行控制程序,若基于飞行路线到达检查对象物的拍摄结束地点,则相机动作控制部230停止拍摄相机140的拍摄(S170),无人飞行器100返回到开始地点(S180)。
之后,用户通过确认在无人飞行器100的存储部170中是否存储有拍摄失败信息,能够知晓存在着在高架电线W的拍摄中无法拍摄到高架电线W的现象。另外,输出部180也可以通过使灯等点亮,从而容易地向用户通知存储有拍摄失败信息。由此,用户无需如以往那样对由拍摄相机140拍摄到的影像数据进行再现,并根据再现的影像来查验有无出画,因此不进行繁杂的作业就能够立即判断作为检查对象物的高架电线W的重新拍摄的必要性的有无。
另外,通过使拍摄失败信息中包括拍摄失败的位置信息,用户能够制作包括应重新拍摄的场所的飞行路线,使无人飞行器100仅拍摄出画的拍摄失败区间。由此,能够实现检查对象物的拍摄的高效化。
接着,对本发明的第二实施例进行说明。在第二实施例中,在由拍摄判定部240判定为高架电线W出画的情况下,自主飞行控制程序能够基于该判定结果自动地进行拍摄失败区间的重新拍摄。图10表示第二实施例的动作流程。
图9所示的步骤S100~S160为止的处理相同,但自主飞行控制程序在基于飞行路线而到达检查对象物的拍摄结束地点时,确认是否存储有拍摄失败信息(S200),在存储有拍摄失败信息的情况下,开始向拍摄失败信息所存储的拍摄失败区间的自主飞行,并对相机动作控制部230指示拍摄失败区间的重新拍摄。响应于此,相机动作控制部230再次拍摄拍摄失败区间(S210),通过影像数据存储部260将重新拍摄到的高架电线W的影像数据存储于存储部170。相机动作控制部230在重新拍摄结束后,使拍摄相机140停止(S220),无人飞行器100按照飞行路线返回到起始地点(S230)。
这样,根据本实施例,在高架电线W的拍摄失败的情况下,自动地进行拍摄失败的区间的高架电线W的重新拍摄,由此能够实现高架电线W的检查作业的进一步的效率化。
接着,对本发明的第三实施例进行说明。在第三实施例中,在拍摄期间中判定为高架电线W的出画的情况下,自主飞行控制程序使高架电线W的拍摄停止,使无人飞行器100返回到起始地点。发生出画意味着拍摄环境不好,在拍摄环境不好的状态下即使继续高架线的拍摄,也有可能继续发生出画。在这样的情况下,中止拍摄而在其他的日期时间进行重新拍摄,结果能够提高作业效率。
因此,在第三实施例中,在发生了1次或多次出画的情况下,视为拍摄环境不适当,为了中止拍摄而使无人飞行器返回到起始地点。之后,在其他日期时间,从拍摄失败信息所包括的拍摄失败地点进行高架电线W的重新拍摄。
在上述实施例中,为了易于说明,如图7的(A)、(B)等所示,示出了在影像帧F的短边方向上调整拍摄相机140的拍摄方向的例子,但实际上在无人飞行器的飞行方向与高架电线W的方向产生偏差的情况下,拍摄相机140的拍摄方向也能够在影像帧的长边方向上调整。即,角度调整致动器能够以影像帧F的短边方向以及长边方向的2个自由度调整相机的角度。在该情况下,也可以在影像帧的短边方向以及长边方向上判定是否出画。
另外,在上述实施例中,作为检查对象物例示了高架电线,但这是一个例子,本发明也能够应用于其他的高层建筑物、自然灾害地等的检查。并且,在本实施例中,示出了拍摄相机经由角度调整致动器而安装于机体主体的例子,但在拍摄相机本身具备电子或光学的拍摄方向的角度调整功能的情况下,角度调整致动器不是必须的。
以上,对本发明的优选的实施方式进行了详述,但本发明并不限定于特定的实施方式,能够在权利要求书所记载的发明的主旨的范围内进行各种变形、变更。
附图标记说明
100:无人飞行器 110:GPS接收部
120:自主导航传感器 130:物体检测单元
140:拍摄相机 150:相机角度调整部
160:转子驱动部 170:存储部
180:输出部 190:外部连接部190
200:控制部。
Claims (10)
1.一种无人飞行器,具有:
拍摄单元,拍摄对象物;
检测单元,检测对象物的相对位置;
角度控制单元,基于由所述检测单元检测出的相对位置,控制所述拍摄单元的拍摄方向的角度;
判定单元,在由所述拍摄单元拍摄对象物时,判定对象物是否从所述拍摄单元的拍摄范围脱离;以及
存储单元,在由所述判定单元判定为对象物从拍摄范围脱离时,存储包括该判定结果的拍摄失败信息。
2.根据权利要求1所述的无人飞行器,其中,
所述判定单元,基于所述拍摄单元的拍摄方向和所述检测单元的相对位置,判定对象物是否从拍摄范围脱离。
3.根据权利要求2所述的无人飞行器,其中,
所述拍摄单元的拍摄方向,基于所述拍摄单元的拍摄相机的视场角和由所述角度控制单元控制的角度来决定。
4.根据权利要求1所述的无人飞行器,其中,
所述判定单元判定对象物是否从拍摄范围脱离了一定时间以上。
5.根据权利要求1所述的无人飞行器,其中,
在所述拍摄单元1秒钟生成n个影像帧时,所述判定单元判定在m个以上的影像帧中对象物是否从影像帧脱离,其中,m是小于n的自然数。
6.根据权利要求5所述的无人飞行器,其中,
所述判定单元判定对象物是否从影像帧的预先决定的区域脱离。
7.根据权利要求1所述的无人飞行器,其中,
所述无人飞行器还包括飞行控制单元,该飞行控制单元基于由所述检测单元检测出的相对位置来控制飞行以追踪对象物。
8.根据权利要求1所述的无人飞行器,其中,
所述无人飞行器还包括输出单元,该输出单元输出存储于所述存储单元的拍摄失败信息。
9.根据权利要求7所述的无人飞行器,其中,
在存储有所述拍摄失败信息的情况下,所述飞行控制单元基于所述拍摄失败信息来控制飞行,以重新拍摄对象物。
10.一种检查方法,是基于无人飞行器的对象物的检查方法,所述无人飞行器具备拍摄相机及检测对象物的相对位置的传感器,所述检查方法包括:
在由所述拍摄相机拍摄对象物的过程中,根据由所述传感器检测出的对象物的相对位置和拍摄相机的视场角来判定拍摄相机是否捕捉到对象物的步骤;以及
在判定为拍摄相机未捕捉到对象物的情况下,存储包括该判定结果的拍摄失败信息的步骤。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019092851A JP7305263B2 (ja) | 2019-05-16 | 2019-05-16 | 無人航空機、点検方法および点検プログラム |
JP2019-092851 | 2019-05-16 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111953892A true CN111953892A (zh) | 2020-11-17 |
CN111953892B CN111953892B (zh) | 2024-01-26 |
Family
ID=73222606
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010410540.2A Active CN111953892B (zh) | 2019-05-16 | 2020-05-15 | 无人飞行器、检查方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11430101B2 (zh) |
JP (1) | JP7305263B2 (zh) |
CN (1) | CN111953892B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105867361A (zh) * | 2016-04-18 | 2016-08-17 | 深圳市道通智能航空技术有限公司 | 一种飞行方向控制方法、装置及其无人机 |
WO2021153198A1 (ja) * | 2020-01-27 | 2021-08-05 | ソニーグループ株式会社 | 撮像制御装置および撮像制御方法 |
US11657373B2 (en) * | 2020-08-21 | 2023-05-23 | Accenture Global Solutions Limited | System and method for identifying structural asset features and damage |
US11631184B2 (en) * | 2020-09-18 | 2023-04-18 | Spirit Aerosystems, Inc. | Feature inspection system |
JP7436403B2 (ja) | 2021-01-28 | 2024-02-21 | 株式会社日立製作所 | 計測システム |
CN118092516B (zh) * | 2024-04-28 | 2024-06-25 | 昆明桑达科技有限公司 | 用于无人机河流遥感图像采集的转台控制方法及装置 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006027448A (ja) * | 2004-07-16 | 2006-02-02 | Chugoku Electric Power Co Inc:The | 無人飛行体を利用した空撮方法及びその装置 |
JP2010016544A (ja) * | 2008-07-02 | 2010-01-21 | Nikon Corp | 撮像装置および画像処理装置、並びに画像処理プログラム |
US20150304612A1 (en) * | 2014-04-18 | 2015-10-22 | Flir Systems, Inc. | Multi-sensor monitoring systems and methods |
CN205017413U (zh) * | 2015-09-01 | 2016-02-03 | 杨珊珊 | 基于无人飞行器的拍摄装置 |
CN106598063A (zh) * | 2015-10-14 | 2017-04-26 | 松下电器(美国)知识产权公司 | 无人飞行器及飞行控制方法 |
US20170187952A1 (en) * | 2015-12-24 | 2017-06-29 | Panasonic Intellectual Property Corporation Of America | Unmanned aerial vehicle and control method |
CN107054677A (zh) * | 2015-12-24 | 2017-08-18 | 松下电器(美国)知识产权公司 | 无人飞行器及其控制方法 |
US9753461B1 (en) * | 2016-04-07 | 2017-09-05 | Google Inc. | Autonomous aerial cable inspection system |
CN107765709A (zh) * | 2016-08-22 | 2018-03-06 | 广州亿航智能技术有限公司 | 基于飞行器实现自拍的方法及装置 |
JP2018114807A (ja) * | 2017-01-17 | 2018-07-26 | 中国電力株式会社 | 無人飛行体及び飛行システム |
WO2018163571A1 (ja) * | 2017-03-10 | 2018-09-13 | ソニー株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
JP2018152737A (ja) * | 2017-03-13 | 2018-09-27 | ヤンマー株式会社 | 無人飛行撮影装置 |
US20180284777A1 (en) * | 2015-12-10 | 2018-10-04 | Autel Robotics Co., Ltd. | Method, control apparatus, and system for tracking and shooting target |
WO2018198317A1 (ja) * | 2017-04-28 | 2018-11-01 | 株式会社オプティム | 無人飛行体による空撮システム、方法及びプログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6195457B2 (ja) | 2013-03-14 | 2017-09-13 | セコム株式会社 | 撮影システム |
US20210073692A1 (en) * | 2016-06-12 | 2021-03-11 | Green Grid Inc. | Method and system for utility infrastructure condition monitoring, detection and response |
WO2019093967A1 (en) * | 2017-11-08 | 2019-05-16 | Prohibition X Pte. Ltd. | Surveillance with an unmanned aerial vehicle |
US11531050B2 (en) * | 2019-12-20 | 2022-12-20 | Dish Network L.L.C. | Methods, systems, and apparatus for low-power, wireless, power line fault detection |
-
2019
- 2019-05-16 JP JP2019092851A patent/JP7305263B2/ja active Active
-
2020
- 2020-04-28 US US16/860,524 patent/US11430101B2/en active Active
- 2020-05-15 CN CN202010410540.2A patent/CN111953892B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006027448A (ja) * | 2004-07-16 | 2006-02-02 | Chugoku Electric Power Co Inc:The | 無人飛行体を利用した空撮方法及びその装置 |
JP2010016544A (ja) * | 2008-07-02 | 2010-01-21 | Nikon Corp | 撮像装置および画像処理装置、並びに画像処理プログラム |
US20150304612A1 (en) * | 2014-04-18 | 2015-10-22 | Flir Systems, Inc. | Multi-sensor monitoring systems and methods |
CN205017413U (zh) * | 2015-09-01 | 2016-02-03 | 杨珊珊 | 基于无人飞行器的拍摄装置 |
CN106598063A (zh) * | 2015-10-14 | 2017-04-26 | 松下电器(美国)知识产权公司 | 无人飞行器及飞行控制方法 |
US20180284777A1 (en) * | 2015-12-10 | 2018-10-04 | Autel Robotics Co., Ltd. | Method, control apparatus, and system for tracking and shooting target |
CN107054677A (zh) * | 2015-12-24 | 2017-08-18 | 松下电器(美国)知识产权公司 | 无人飞行器及其控制方法 |
US20170187952A1 (en) * | 2015-12-24 | 2017-06-29 | Panasonic Intellectual Property Corporation Of America | Unmanned aerial vehicle and control method |
US9753461B1 (en) * | 2016-04-07 | 2017-09-05 | Google Inc. | Autonomous aerial cable inspection system |
CN107765709A (zh) * | 2016-08-22 | 2018-03-06 | 广州亿航智能技术有限公司 | 基于飞行器实现自拍的方法及装置 |
JP2018114807A (ja) * | 2017-01-17 | 2018-07-26 | 中国電力株式会社 | 無人飛行体及び飛行システム |
WO2018163571A1 (ja) * | 2017-03-10 | 2018-09-13 | ソニー株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
JP2018152737A (ja) * | 2017-03-13 | 2018-09-27 | ヤンマー株式会社 | 無人飛行撮影装置 |
WO2018198317A1 (ja) * | 2017-04-28 | 2018-11-01 | 株式会社オプティム | 無人飛行体による空撮システム、方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7305263B2 (ja) | 2023-07-10 |
CN111953892B (zh) | 2024-01-26 |
US20200364848A1 (en) | 2020-11-19 |
US11430101B2 (en) | 2022-08-30 |
JP2020185941A (ja) | 2020-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111953892B (zh) | 无人飞行器、检查方法 | |
JP6930616B2 (ja) | 制御装置、制御方法および飛行体デバイス | |
JP5618840B2 (ja) | 飛行体の飛行制御システム | |
JP5775632B2 (ja) | 飛行体の飛行制御システム | |
JP2006027448A (ja) | 無人飛行体を利用した空撮方法及びその装置 | |
CN109665099B (zh) | 无人航空器以及架线摄影方法 | |
JP6583840B1 (ja) | 検査システム | |
JP2006027331A (ja) | 無人飛行体を利用した航空映像情報の収集方法 | |
FI3596570T4 (fi) | Menetelmä polun määrittämiseksi objektiä pitkin, järjestelmä ja menetelmä objektin tutkimiseksi automaattisesti | |
JP2010006089A (ja) | ライフライン等の施設の被災、損傷、劣化状況の空撮装置 | |
WO2020218066A1 (ja) | 検査システム | |
WO2020172800A1 (zh) | 可移动平台的巡检控制方法和可移动平台 | |
JP7362203B2 (ja) | 無人移動体 | |
JPH07170443A (ja) | 航空機搭載総合撮影装置 | |
JP2023100642A (ja) | 検査システム | |
JP7428461B2 (ja) | 無人航空機システムおよび飛行制御方法 | |
JP6681101B2 (ja) | 検査システム | |
JP6719738B2 (ja) | 自律移動撮影制御システムおよび自律移動体 | |
JP2021028188A (ja) | ドローン撮影装置及び方法 | |
JP2019018664A (ja) | 撮像制御システム | |
WO2018198317A1 (ja) | 無人飛行体による空撮システム、方法及びプログラム | |
KR101027730B1 (ko) | 항공사진 촬영용 카메라의 초점위치 안정화 지지대를 이용한 기준점 데이터가 적용된 수치영상 이미지의 업데이트방법 | |
JP6681102B2 (ja) | 検査システム | |
JP6974290B2 (ja) | 位置推定装置、位置推定方法、プログラム、及び記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |