CN113474677A - 用于uav在管道上停落的自动化方法 - Google Patents

用于uav在管道上停落的自动化方法 Download PDF

Info

Publication number
CN113474677A
CN113474677A CN201980077236.6A CN201980077236A CN113474677A CN 113474677 A CN113474677 A CN 113474677A CN 201980077236 A CN201980077236 A CN 201980077236A CN 113474677 A CN113474677 A CN 113474677A
Authority
CN
China
Prior art keywords
uav
curved surface
captured
point cloud
landing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980077236.6A
Other languages
English (en)
Inventor
M.阿卜杜卡德尔
F.阿卜杜拉蒂夫
J.S.沙马
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Saudi Arabian Oil Co
King Abdullah University of Science and Technology KAUST
Original Assignee
Saudi Arabian Oil Co
King Abdullah University of Science and Technology KAUST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Saudi Arabian Oil Co, King Abdullah University of Science and Technology KAUST filed Critical Saudi Arabian Oil Co
Publication of CN113474677A publication Critical patent/CN113474677A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60B—VEHICLE WHEELS; CASTORS; AXLES FOR WHEELS OR CASTORS; INCREASING WHEEL ADHESION
    • B60B19/00—Wheels not otherwise provided for or having characteristics specified in one of the subgroups of this group
    • B60B19/006—Magnetic wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60B—VEHICLE WHEELS; CASTORS; AXLES FOR WHEELS OR CASTORS; INCREASING WHEEL ADHESION
    • B60B19/00—Wheels not otherwise provided for or having characteristics specified in one of the subgroups of this group
    • B60B19/12—Roller-type wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60G—VEHICLE SUSPENSION ARRANGEMENTS
    • B60G11/00—Resilient suspensions characterised by arrangement, location or kind of springs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60G—VEHICLE SUSPENSION ARRANGEMENTS
    • B60G3/00—Resilient suspensions for a single wheel
    • B60G3/01—Resilient suspensions for a single wheel the wheel being mounted for sliding movement, e.g. in or on a vertical guide
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K1/00—Arrangement or mounting of electrical propulsion units
    • B60K1/02—Arrangement or mounting of electrical propulsion units comprising more than one electric motor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D21/00—Understructures, i.e. chassis frame on which a vehicle body may be mounted
    • B62D21/09—Means for mounting load bearing surfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D57/00—Vehicles characterised by having other propulsion or other ground- engaging means than wheels or endless track, alone or in addition to wheels or endless track
    • B62D57/02—Vehicles characterised by having other propulsion or other ground- engaging means than wheels or endless track, alone or in addition to wheels or endless track with ground-engaging propulsion means, e.g. walking members
    • B62D57/024—Vehicles characterised by having other propulsion or other ground- engaging means than wheels or endless track, alone or in addition to wheels or endless track with ground-engaging propulsion means, e.g. walking members specially adapted for moving on inclined or vertical surfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D61/00—Motor vehicles or trailers, characterised by the arrangement or number of wheels, not otherwise provided for, e.g. four wheels in diamond pattern
    • B62D61/06—Motor vehicles or trailers, characterised by the arrangement or number of wheels, not otherwise provided for, e.g. four wheels in diamond pattern with only three wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D61/00—Motor vehicles or trailers, characterised by the arrangement or number of wheels, not otherwise provided for, e.g. four wheels in diamond pattern
    • B62D61/12—Motor vehicles or trailers, characterised by the arrangement or number of wheels, not otherwise provided for, e.g. four wheels in diamond pattern with variable number of ground engaging wheels, e.g. with some wheels arranged higher than others, or with retractable wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D9/00—Steering deflectable wheels not otherwise provided for
    • B62D9/002—Steering deflectable wheels not otherwise provided for combined with means for differentially distributing power on the deflectable wheels during cornering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C25/00—Alighting gear
    • B64C25/02—Undercarriages
    • B64C25/08—Undercarriages non-fixed, e.g. jettisonable
    • B64C25/10—Undercarriages non-fixed, e.g. jettisonable retractable, foldable, or the like
    • B64C25/18—Operating mechanisms
    • B64C25/24—Operating mechanisms electric
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C25/00—Alighting gear
    • B64C25/32—Alighting gear characterised by elements which contact the ground or similar surface 
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C25/00—Alighting gear
    • B64C25/32—Alighting gear characterised by elements which contact the ground or similar surface 
    • B64C25/34—Alighting gear characterised by elements which contact the ground or similar surface  wheeled type, e.g. multi-wheeled bogies
    • B64C25/36—Arrangements or adaptations of wheels, tyres or axles in general
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C25/00—Alighting gear
    • B64C25/32—Alighting gear characterised by elements which contact the ground or similar surface 
    • B64C25/405—Powered wheels, e.g. for taxing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C37/00—Convertible aircraft
    • B64C37/02—Flying units formed by separate aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D1/00—Dropping, ejecting, releasing, or receiving articles, liquids, or the like, in flight
    • B64D1/02—Dropping, ejecting, or releasing articles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U60/00—Undercarriages
    • B64U60/50—Undercarriages with landing legs
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B17/00—Measuring arrangements characterised by the use of infrasonic, sonic or ultrasonic vibrations
    • G01B17/02—Measuring arrangements characterised by the use of infrasonic, sonic or ultrasonic vibrations for measuring thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B7/00—Measuring arrangements characterised by the use of electric or magnetic techniques
    • G01B7/28—Measuring arrangements characterised by the use of electric or magnetic techniques for measuring contours or curvatures
    • G01B7/281—Measuring arrangements characterised by the use of electric or magnetic techniques for measuring contours or curvatures for measuring contour or curvature along an axis, e.g. axial curvature of a pipeline or along a series of feeder rollers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04—Analysing solids
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04—Analysing solids
    • G01N29/043—Analysing solids in the interior, e.g. by shear waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/22—Details, e.g. general constructional or apparatus details
    • G01N29/225—Supports, positioning or alignment in moving situation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/22—Details, e.g. general constructional or apparatus details
    • G01N29/24—Probes
    • G01N29/2493—Wheel shaped probes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/22—Details, e.g. general constructional or apparatus details
    • G01N29/26—Arrangements for orientation or scanning by relative movement of the head and the sensor
    • G01N29/265—Arrangements for orientation or scanning by relative movement of the head and the sensor by moving the sensor relative to a stationary material
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004—Transmission of traffic-related information to or from an aircraft
    • G08G5/0013—Transmission of traffic-related information to or from an aircraft with a ground station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/02—Automatic approach or landing aids, i.e. systems in which flight data of incoming planes are processed to provide landing data
    • G08G5/025—Navigation or guidance aids
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60B—VEHICLE WHEELS; CASTORS; AXLES FOR WHEELS OR CASTORS; INCREASING WHEEL ADHESION
    • B60B2900/00—Purpose of invention
    • B60B2900/90—Providing or changing
    • B60B2900/931—Magnetic effects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60G—VEHICLE SUSPENSION ARRANGEMENTS
    • B60G2204/00—Indexing codes related to suspensions per se or to auxiliary parts
    • B60G2204/40—Auxiliary suspension parts; Adjustment of suspensions
    • B60G2204/421—Pivoted lever mechanisms for mounting suspension elements, e.g. Watt linkage
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/004—Arrangements for holding or mounting articles, not otherwise provided for characterised by position outside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0042—Arrangements for holding or mounting articles, not otherwise provided for characterised by mounting means
    • B60R2011/008—Adjustable or movable supports
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0042—Arrangements for holding or mounting articles, not otherwise provided for characterised by mounting means
    • B60R2011/008—Adjustable or movable supports
    • B60R2011/0084—Adjustable or movable supports with adjustment by linear movement in their operational position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/40—Special vehicles
    • B60Y2200/47—Climbing vehicles, e.g. facade climbing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/60—Industrial applications, e.g. pipe inspection vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C25/00—Alighting gear
    • B64C25/32—Alighting gear characterised by elements which contact the ground or similar surface 
    • B64C2025/325—Alighting gear characterised by elements which contact the ground or similar surface  specially adapted for helicopters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/60—UAVs specially adapted for particular uses or applications for transporting passengers; for transporting goods other than weapons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U70/00—Launching, take-off or landing arrangements
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F17—STORING OR DISTRIBUTING GASES OR LIQUIDS
    • F17D—PIPE-LINE SYSTEMS; PIPE-LINES
    • F17D5/00—Protection or supervision of installations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/02—Indexing codes associated with the analysed material
    • G01N2291/028—Material parameters
    • G01N2291/02854—Length, thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/02—Indexing codes associated with the analysed material
    • G01N2291/028—Material parameters
    • G01N2291/0289—Internal structure, e.g. defects, grain size, texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Acoustics & Sound (AREA)
  • Astronomy & Astrophysics (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Working Measures On Existing Buildindgs (AREA)
  • Magnetic Bearings And Hydrostatic Bearings (AREA)
  • Investigating Or Analyzing Materials By The Use Of Magnetic Means (AREA)
  • Traffic Control Systems (AREA)

Abstract

提供一种从起始位置自主地停落在弯曲表面上的无人驾驶飞行器(UAV)。所述UAV包括：3D深度相机，其被配置成捕获并且输出来自所述UAV的包括所述弯曲表面的场景的3D点云；2D LIDAR系统，其被配置成捕获和输出所述场景的2D切片；以及控制电路。所述控制电路被配置成：控制所述深度相机和所述LIDAR系统以分别捕获所述场景的所述3D点云和所述2D切片；输入来自所述深度相机的捕获的3D点云和来自所述LIDAR系统的捕获的2D切片；使用所述捕获的3D点云和2D切片自主地检测并且定位所述弯曲表面；并且基于所述弯曲表面的自主检测和定位，自主地将所述UAV从所述起始位置引导到所述弯曲表面上的着陆位置。

Description

用于UAV在管道上停落的自动化方法
相关申请的交叉引用
本申请根据35U.S.C.119(e)要求于2018年11月29日提交的标题为“停落带有可释放爬行器的UAV(PERCHING UAV WITH RELEASABLE CRAWLER)”的美国临时申请号62/772,700的权益，并且根据35U.S.C.120要求于2019年11月26日提交的标题为“用于UAV在管道上停落的自动化方法(AUTOMATION METHODS FOR UAV PERCHING ON PIPES)”的美国申请号16/696,085的权益，其相应的全部内容通过引用并入本文。
技术领域
本公开总体上涉及结构的检查和维护，并且具体地，涉及一种使用具有用于检查和维护结构的可释放且可重新停靠的爬行器的无人驾驶飞行器(UAV或无人机)的检查方法。另外，本公开总体上涉及弯曲的铁磁结构(如管道)的检查和维护，并且具体地涉及用于UAV在这些结构上停落的自动化方法。
背景技术
在一些环境中，对暴露的金属资产(如管道、储罐等)的检查和维护可能很难或不切实际。在此类情况下，使用自动UAV可能会提供可行的替代方案。然而，通常最好通过使用在资产上直接接触而不是悬停在距资产一定距离的地方来执行此类检查和维护。然而，UAV可能很难在资产上着陆、停落或操纵。此外，用UAV检查或维护管道(和其它弯曲表面结构)可能会特别具有挑战性，因为这些资产呈现出用于着陆、停落或操纵的弯曲表面。
另外，检查石油和天然气设施中难以触及的钢铁资产是具有挑战性的任务。例如，对炼油厂、天然气厂、海上平台和其它工厂的高架资产进行定期检查对于防止意外故障、泄漏和停工至关重要。这些资产包括在检查工作期间难以接近的高海拔管道和结构。检查此类资产的一种方法是为检查员搭建脚手架以接近资产并且执行手动检查，如用超声波测试(UT)传感器执行厚度测量。此类脚手架不仅昂贵，而且为频繁检查带来了巨大的成本障碍，而且主要以坠落和绊倒危险的形式带来了安全问题。
关于本领域中的这些和其它问题，本公开意图为具有用于检查或维护结构的可释放爬行器的有效停落UAV提供技术解决方案。还关于本领域中的这些和其它问题，本公开意图为UAV在管道和其它资产上的自动化方法提供技术解决方案。
发明内容
根据实施例，提供用于从远离弯曲表面的起始位置自主地停落在弯曲表面上的无人驾驶飞行器(UAV)。所述UAV包含：三维(3D)深度相机，其被配置成捕获并且输出来自UAV的包含弯曲表面的场景的3D点云；二维(2D)光检测和测距(LIDAR)系统，其被配置成捕获和输出所述场景的2D切片；以及控制电路。所述控制电路被配置成：控制所述深度相机和所述LIDAR系统以分别捕获所述场景的所述3D点云和所述2D切片；输入来自所述深度相机的所述捕获的3D点云和来自所述LIDAR系统的所述捕获的2D切片；使用所述捕获的3D点云和所述捕获的2D切片自主地检测并且定位所述弯曲表面；并且基于所述弯曲表面的所述自主检测和定位，自主地将所述UAV从所述起始位置引导到所述弯曲表面上的着陆位置。
在实施例中，控制电路还被配置成：使用捕获的3D点云从起始位置执行自主检测和定位，同时自主地将UAV引导到着陆位置，直到UAV到达弯曲表面的附近；并且一旦UAV到达弯曲表面附近，就从使用3D点云切换到使用捕获的2D切片来执行自主检测和定位。
在实施例中，控制电路还被配置成：在着陆之前，自主地将UAV引导到弯曲表面附近的对准位置，所述对准位置是UAV相对于着陆位置对准的位置；并且使用捕获的2D切片自主地引导UAV直接从对准位置移动到着陆位置。
在实施例中，控制电路还被配置成通过融合3D点云和2D切片来自主地检测并且定位弯曲表面。融合包含：使用捕获的3D点云中的一个来执行弯曲表面的自主检测和定位的第一遍；使用来自所述第一遍的所述检测并且定位到的弯曲表面来捕获所述2D切片中的对应的一个；并且使用2D切片中的对应的一个来执行弯曲表面的自主检测和定位的第二遍。
在实施例中，UAV还包含惯性测量单元(IMU)，所述惯性测量单元被配置成估计深度相机的姿态，其中控制电路还被配置成在捕获3D点云中的第一个和捕获3D点云中的第二个之间使用深度相机的估计姿态，以便从3D点云中的第一个中的检测并且定位到的弯曲表面来预测3D点云中的第二个中的弯曲表面的位置。
在实施例中，控制电路还被配置成：使用捕获的3D点云来自主地检测并且定位弯曲表面；并且控制LIDAR系统来捕获垂直于检测并且定位到的弯曲表面的2D切片。
在实施例中，弯曲表面是圆柱形的，并且控制电路还被配置成控制LIDAR系统来捕获垂直于圆柱体的中心轴线的2D切片。
在实施例中，控制电路还被配置成使用随机抽样一致性(RANSAC)方法来自主地检测并且定位弯曲表面。
在实施例中，控制电路还被配置成：使用捕获的3D点云或捕获的2D切片或捕获的3D点云和捕获的2D切片两者来检测UAV从起始位置到着陆位置的飞行路径上的一个或多个障碍物；并且自主地重定向所述UAV以避开所述飞行路径上的所述一个或多个障碍物。
在实施例中，弯曲表面是铁磁性的，并且UAV还包含磁性支腿，所述磁性支腿被配置成在着陆期间磁性地附接到铁磁弯曲表面，并且在着陆之后保持磁性地附接到铁磁弯曲表面。
根据另一个实施例，提供将无人驾驶飞行器(UAV)从远离弯曲表面的起始位置自主地停落在弯曲表面上的方法。所述方法包含：使用附接到UAV上的三维(3D)深度相机捕获并且输出来自UAV的包含弯曲表面的场景的3D点云；使用附接到所述UAV的二维(2D)光检测和测距(LIDAR)系统捕获并且输出所述场景的2D切片；控制所述深度相机和所述LIDAR系统以分别捕获所述场景的所述3D点云和所述2D切片；输入来自所述深度相机的所述捕获的3D点云和来自所述LIDAR系统的所述捕获的2D切片；使用所述捕获的3D点云和所述捕获的2D切片自主地检测并且定位所述弯曲表面；并且基于弯曲表面的自主检测和定位，自主地将UAV从起始位置引导到弯曲表面上的着陆位置。
在实施例中，所述方法还包含：使用捕获的3D点云从起始位置执行自主检测和定位，同时自主地将UAV引导到着陆位置，直到UAV到达弯曲表面的附近；并且一旦UAV到达弯曲表面附近，就从使用3D点云切换到使用捕获的2D切片来执行自主检测和定位。
在实施例中，所述方法还包含：在着陆之前，自主地将UAV引导到弯曲表面附近的对准位置，所述对准位置是UAV相对于着陆位置对准的位置；并且使用捕获的2D切片自主地引导UAV直接从对准位置移动到着陆位置。
在实施例中，所述方法还包含通过融合3D点云和2D切片来自主地检测并且定位弯曲表面。融合包含：使用捕获的3D点云中的一个来执行弯曲表面的自主检测和定位的第一遍；使用来自所述第一遍的所述检测并且定位到的弯曲表面来捕获所述2D切片中的对应的一个；并且使用2D切片中的对应的一个来执行弯曲表面的自主检测和定位的第二遍。
在实施例中，UAV还包含附接到UAV的惯性测量单元(IMU)，并且所述方法还包含：使用IMU估计深度相机的姿态；并且在捕获3D点云中的第一个和捕获3D点云中的第二个之间使用深度相机的估计姿态，以便从3D点云中的第一个中的检测并且定位到的弯曲表面预测3D点云中的第二个中的弯曲表面的位置。
在实施例中，所述方法还包含：使用捕获的3D点云来自主地检测并且定位弯曲表面；并且控制LIDAR系统来捕获垂直于检测并且定位到的弯曲表面的2D切片。
在实施例中，弯曲表面是圆柱形的，并且所述方法还包含控制LIDAR系统来捕获垂直于圆柱体的中心轴线的2D切片。
在实施例中，所述方法还包含使用随机抽样一致性(RANSAC)方法来自主地检测并且定位弯曲表面。
在实施例中，所述方法还包含：使用捕获的3D点云或捕获的2D切片或捕获的3D点云和捕获的2D切片两者来检测UAV从起始位置到着陆位置的飞行路径上的一个或多个障碍物；并且自主地重定向所述UAV以避开所述飞行路径上的所述一个或多个障碍物。
在实施例中，弯曲表面是铁磁性的，UAV还包含磁性支腿，并且所述方法还包含在着陆期间将磁性支腿磁性地附接到铁磁弯曲表面，并且在着陆之后保持磁性地附接到铁磁弯曲表面。
可以使用本文公开的各种实施例和实施方案的任何组合。可以从以下特定实施例的描述连同附图和权利要求中理解这些和其它方面和特征。
附图说明
图1A和图1B是根据实施例的停落在结构(例如，管道)上的示范性UAV的图示，其中所述UAV具有用于检查或维护所述结构的可释放爬行器。在图1A中，爬行器被示出为附接到UAV，而在图1B中，没有附接到UAV(例如，在结构上爬行)。
图2是根据实施例的用于将UAV着陆在弯曲表面(如管道)上的自主导引和着陆技术的框图。
图3A、图3B和图3C是根据实施例的UAV停落在目标结构(如管道)上的示范性停落步骤的斜视图，所述示范性停落步骤分别包括目标接近、目标对准和停落在目标上。
图4是根据实施例的用于UAV在弯曲表面(如管道)上自主部署和着陆的示范性顺序路径规划技术的流程图。
图5是根据实施例的使用传感器融合的目标检测、定位和对准的示范性技术的斜视图。
图6是根据实施例的使用2D LIDAR传感器数据聚类的示范性圆(例如，管道)检测技术的流程图。
图7是根据实施例的示范性基于邻域的管道检测技术的流程图。
图8是根据实施例的基于卡尔曼滤波器框架的示范性管道定位技术的流程图。
图9是根据实施例的使用图像跟踪和卡尔曼滤波器的示范性管道定位技术的流程图。
图10是根据实施例的将UAV从远离弯曲表面的起始位置自主地停落在弯曲表面上的示范性方法的流程图。
注意，附图是说明性的，并且不一定按比例绘制，并且相同或类似的特征始终具有相同或类似的附图标记。
具体实施方式
在各种示范性实施例中，提供一种停落UAV，其具有用于检查或维护如难以接近的管道或储罐的结构的可释放爬行器。UAV是混合型UAV，其具有在铁磁表面(如碳钢管道和结构)上执行接触检查工作的先进能力。UAV可以飞向要检查的管道，自主地着陆在管道上(通常称为停落)，并且部署可释放爬行器围绕管道爬行，以执行例如复杂的检查工作。
如前所述，由人来执行对暴露的金属资产(如管道、储罐等)的检查和维护有时很难或不切实际。例如，石油和天然气行业面临的最大挑战中的一个是对炼油厂、天然气厂、海上平台以及其它工厂和设施中的高架资产进行定期检查。这些资产包括在检查或维护工作期间难以接近的高海拔管道和结构。有时，人们检查或维护它们的唯一方法是搭建脚手架，以便检查员或工程师访问资产并且执行，例如，使用超声波检测(UT)传感器执行厚度测量的手动检查。此类脚手架不仅昂贵，而且为频繁检查带来了巨大的成本障碍，而且主要以坠落和绊倒危险的形式带来了安全问题。
因此，在示范性实施例中，具有可释放爬行器的停落UAV通过使两个车辆处于母/子配置来提供对前述技术问题的解决方案。每辆车都经过设计或优化，以执行其最适合的功能。这些车辆包括能够在管道上飞行和停落的UAV，以及由UAV携载并且在着陆或停落后从UAV上释放的较小的磁性爬行器。爬行器可在管道上移动(例如，使用磁性轮)，并且执行如检查扫描，如使用UT传感器测量厚度，或其它检查或维护。这提供比让整个UAV围绕管道爬行更可行的方法，这需要更大更重的马达，并且有与附近管道和资产碰撞的风险，特别是在有限的净空约束的情况下。
在其它的各种示范性实施例中，提供用于UAV在管道上停落的自动化方法。这些自动化方法还提供自主和更安全的UAV停落的系统方法。这些自动化方法还提供将UAV停落(着陆)在包括管道在内的难以到达的钢结构上，以便执行例如检查工作。在一些此类实施例中，UAV被发送以停落在如高架目标(如管道)上，并且释放执行检查工作的爬行机器人。在一些此类实施例中，UAV检查任务主要由将UAV飞行到目标附近的操作员来监测和控制。应注意，尽管在这些实施例中的一些实施例中，UAV具有可释放爬行器，但是在这些实施例中的其它一些实施例中，UAV不具有可释放爬行器。
如前所述，用UAV检查或维护管道和其它弯曲表面结构可能会特别具有挑战性，因为这些资产呈现出用于着陆和停落的弯曲表面。另外，在检查工作期间可能很难访问这些资产。此外，至少通过人类操作员来搭建脚手架来访问资产的一些部分可能是不实际或不可行的。而且，当操作UAV时，人类操作员可能缺少在远处资产上正确执行停落操纵的工具。例如，尽管操作员可以使用机载相机获得目标的第一人称视图，但如果手动操作，人类水平的感知准确度和精确度可能不足以进行可靠的停落，并且会损害系统的安全性。另外，自主地将UAV着陆在检查目标(管道)上是具有技术挑战性的任务。
因此，在一些示范性实施例中，其包括一个或多个环境感测装置、智能导引和停落技术以及有效的机械停落机制的复杂系统被用于在如管道的高架资产上实现成功且稳健的着陆操纵。例如，为了提高UAV停落操纵的安全水平以及准确度和精确度，提供使用机载传感器(如深度相机和激光扫描仪(LIDAR))的自动化方法。在一些实施例中，机载计算机用于处理传感器的测量值，以相对于UAV准确地并且精确地检测并且定位目标，规划停落路径，并且最终控制UAV执行停落步骤。
图1A和图1B是根据实施例的停落在结构50(例如，管道)上的示范性UAV 100的图示，其中UAV 100具有用于检查或维护结构50的可释放爬行器130。在图1A中，爬行器130被示出为附接到UAV 100，而在图1B中，没有附接到UAV 100(例如，在结构50上爬行)。为了便于描述，始终假设结构50比UAV 100更大(如明显更大)。例如，结构50在每个维度上都比UAV100大，或者结构50呈现出比UAV 100的覆盖区更大的着陆覆盖区。另外，为了便于描述，假设结构50(或本文所描述的任何结构)是管道，如八英寸或更大直径的管道。
图1A和图1B示出了起作用的母子配置。图1A示出了着陆在管道50上之后的UAV100，其中爬行器130仍然停靠在UAV中。图1B示出了从UAV 100释放后执行检查工作的爬行器130。由可释放爬行器130提供的爬行能力为UAV 100的检查和维护工作提供重要的特征，如更容易接近(例如，着陆不必在进行检查或维护的确切地点)。爬行还提供圆周和纵向扫描。例如，在石油和天然气工业中，对管道50执行全扫描以找到管道50的特定区域上的最小钢厚度是重要的。此类扫描通常包括周向扫描和纵向扫描，因此爬行非常适合。爬行还提供在多次检查期间的电力效率(例如，在同一管道上的多个检查点之间爬行比飞行更具电力效率)。
在图1A和图2B中，UAV 100利用四个铰接磁体120(如永磁体或可切换永磁体)。为了适应UAV 100在管道50上的停落，当UAV 100已经停落或正停落在管道50上时，磁体120(或更准确地，其磁场)中的每一个相对于管道50以垂直定向铰接。
在一些实施例中，铰接磁体120的磁场可主动地切换开和关(例如，以允许在工作完成之后容易地分离)。包括激光扫描仪110(例如，光检测和测距，或LIDAR)，以便在自动着陆操纵期间测量例如管道相对于UAV 100的相对位置，作为实时反馈的形式。在一些实施例中，微型爬行器130通过电线连接(例如，用于电力和通信)，并且包括UT传感器、四个磁性轮140和两个马达，以驱动对应对(例如，前和后)的轮140。电线还允许用于执行检查或维护的其余电子装置和电池位于主UAV主体100中。这减小了爬行器130的大小、重量和复杂性。
在一些其它实施例中，爬行器130包括不同数量的轮140(例如，两个或三个轮，或者四个以上)以及它们的类型(例如，万向轮、麦克纳姆轮，仅举几例)。与无人地面车辆(UGV)不同，磁性爬行器130必须应对管道检查或维护的各种曲率和各种方向(如通篇所说明的)。因此，在一些实施例中，磁性爬行器130具有特殊的运动系统来导航管道曲率(或来自其它弯曲结构或血管的类似曲率)。
在一些实施例中，爬行器130和UAV 100之间的通信是有线的。例如，使用细绳的小线轴，爬行器130可以连接到UAV 100用于动力和通信。这可以消除例如在爬行器130内部容纳电池和其它电子装置的需要，通过利用UAV 100中已经存在的部件中的一些使其更小并且节省总重量。
在一些其它实施例中，爬行器130和UAV 100之间的通信是无线的。这里，爬行器130包括其自身的电池和电子装置，以提供更独立的车辆。这可能是有用的，例如，当UAV100从地面拾起爬行器130并且将其部署在管道50上时，此时UAV 100可以飞行以进行一些其它检查工作，并且然后返回以拾起爬行器130。这对于许多爬行器130(例如，一群爬行器130)来检查多个资产也是有用的，UAV 100一个接一个地或成批地从地面将它们运送到它们的目的地，并且在工作完成时取回它们。在不同的实施例中，无线连接可在(一个或多个)爬行器130和UAV 100或操作员的控制站之间，或者在UAV 100和操作员的控制站两者之间。
在实施例中，UAV 100包括被配置成使UAV 100能够飞行的主体(例如，具有旋翼、控制和导引装置等)。UAV 100还包括三个或更多个支腿，所述三个或更多个支腿连接到主体并且被配置成将飞行中的UAV 100着陆并且停落在弯曲的铁磁表面50上。每个支腿包括连接到主体的顶部(或主要)部分并且包括永磁体120的底部部分。底部部分被配置成在停落期间将支腿磁性地附接到铁磁表面50，并且在停落期间维持支腿磁性地附接到铁磁表面。另外，被动铰接接头连接支腿的顶部部分和底部部分，并且在着陆期间响应于底部部分接近铁磁表面50而相对于顶部部分被动地铰接(例如枢转)底部部分。UAV 100还包括具有磁性轮140的可释放爬行器130。磁性轮140允许爬行器130在停落期间从UAV 100分离，并且在铁磁表面50上操纵爬行器130，同时在分离之后将爬行器130磁性地附接到铁磁表面50。
在不同的实施例中，可以使用UAV 100的不同着陆机制。这些可以包括不同类型的粘附机制，如磁性的或非磁性的。磁性着陆机制的实例包括磁体，所述磁体可在从管道50起飞期间被机械手段关闭或克服。此类磁体包括可切换永磁体、具有致动杠杆作用以在起飞期间帮助分离永磁体、电永磁体和电磁体。然而，应注意的是，持续的功耗对于电磁体来说可能是缺点。非磁性粘附机制可以用于非铁磁性表面，如不锈钢、复合管和混凝土墙。此类机制包括微刺、干燥的壁虎式粘合剂(例如合成刚毛)、吸盘、夹具和卡爪。
在不同的实施例中，使用不同的爬行器有效载荷或设计。为简单起见，这些有效载荷或设计分为两个基本类别：检查和维护。检查有效载荷和设计包括一系列不同类型的传感器，所述一系列不同类型的传感器通常用于石油和天然气行业，以检查管道和结构。例如，在一些实施例中，UT传感器用于厚度测量。为了便于描述，用于厚度测量的UT传感器有时会始终用于表示用于检查和维护的示范性装置和应用。然而，其它实施例不限于此类装置或应用。例如，取决于工作情况，可以使用其它检测传感器或探头来代替UT传感器，或除UT传感器之外，包括(但不限于)涡流传感器和交流场测量(ACFM)传感器。
在此外其它实施例中，爬行器130配置有一个或多个工具，并且用于维护目的。例如：爬行器130可以用于执行轻维护工作，如清洁、表面准备和涂层修复。在又一实施例中，爬行器130配置有一个或多个相机并且用于视觉检查。例如，在一些实现例中，相机用于简单的视觉检查工作，如仅需要获得感兴趣区域的视频或照片，但是所述区域难以由UAV 100直接检查。
在一些实施例中，爬行器130被配置成在感兴趣区域(如传感器读数超出正常水平的位置、或者检测到故障的位置、或者条件正常但位置仍要被标记的位置)上留下标记(如油漆或QR码)。例如，这些位置可以是检测到临界厚度水平的地方。在一些此类实施例中，在爬行器130重新对接并且UAV 100飞走之后，UAV 100扫描这些标记并且创建环境的3D重建，示出这些标记的确切位置。在一些此类实施例中，UAV 100使用机载RGB-D相机来检测标记并且计算它们相对于UAV 100的位置。使用UAV的GPS位置，可以计算或确定标记的绝对位置。应注意，当UAV 100正在扫描标记时，爬行器130可以例如停留在管道50上或与UAV100重新对接。
在一些实施例中，爬行器130使用无线定位来识别资产上的问题(或其它传感器读数)位置，如用虚拟标记。换句话说，即使没有物理标记，也可以确定故障的位置，尽管精确度较低。这是因为可以使用无线传感器来计算(或以其它方式确定)爬行器相对于UAV 100的位置。例如，在一些此类实施例中，UAV 100携载超宽带(UWB)传感器阵列，所述超宽带传感器阵列为安装在爬行器130上的另一个UWB发射器接收无线信号。然后，无论UAV 100是在飞行中还是附接到管道50，都可以测量爬行器的相对位置。在一些实施例中，每当操作员在爬行时发现故障，就标记并且捕获相对于UAV 100的爬行器位置。用UAV的GPS传感器，可以确定这些故障的绝对位置。在一些实施例中，当GPS不可用时，基于飞行轨迹和来自其本地基地(其中GPS可用)的IMU数据来估计UAV的位置。这也可以使用融合相机图像和IMU数据来计算相对于参考点(例如，家庭基站)的位置估计的传感器融合技术(如视觉惯性里程计(VIO))来完成。
在一些实施例中，先前计算的(或确定的)检查位置从UAV 100传送到操作员计算机或地面站。然后，检查位置被可视化在例如被检查工厂的先前建立的3D模型上，或者可由UAV的机载传感器(例如深度相机或3D LIDAR)构建的3D模型上。另外，在一些此类实施例中，用对应的测量厚度(或其它感测值或信息)来标注可视化位置。
图2是根据实施例的用于将UAV(如UAV 100)着陆在弯曲表面(如管道，如管道50)上的自主导引和着陆技术200的框图。本文所描述的所述和其它技术可以使用传感器和其它装置(包括被配置(例如，被编程)以执行其分配的任务的计算或其它逻辑电路)的组合来实现。这些装置位于UAV上(或紧邻UAV)。在一些示范性实施例中，控制逻辑被实现为计算机代码，所述计算机代码被配置成在计算电路(如微处理器)上执行以执行作为所述技术的一部分的控制步骤。为了便于描述，所述处理逻辑(例如，ASIC、FPGA、处理器、定制电路等)将始终被称为控制电路。为了进一步便于描述，所述控制电路将可通过代码编程为执行控制逻辑(或者其它方式定制电路以执行其预期目的)。
参考图2，自主导引和着陆技术200包括从各种环境传感器获取或以其它方式接收原始传感器数据210的步骤，所述各种环境传感器包括扫描传感器，如2D LIDAR系统和3D或红外(IR)深度相机。控制电路由代码被配置成处理传感器数据210，从而产生可操作的信息，通过所述可操作的信息可以执行技术200的其余部分，如向UAV发出控制命令以执行精细的停落操纵。
更详细地，技术200包括管道检测和定位的步骤220：在实施例中，控制电路由代码被配置成处理来自环境传感器的数据，以便识别和检测目标管道以及找到其相对于UAV的位置230。技术200还包括轨迹规划240的步骤。在实施例中，一旦目标的位置230被识别，控制电路还被配置成规划从当前位置到期望着陆位置(例如，在管道的顶部上)的完整着陆轨迹250。技术200还包括控制和轨迹跟随260的步骤。在实施例中，控制电路还被配置成确保UAV在着陆操纵期间遵循规划的轨迹250，并且实时校正和控制270UAV与着陆轨迹250的任何干扰和偏差。下面提供这些步骤的示范性实施方案的其它细节。
图3A、图3B和图3C是根据实施例的UAV 300停落在目标结构(如管道250)上的示范性停落步骤的斜视图，所述示范性停落步骤分别包括目标接近、目标对准和停落在目标250上。图3A表示当UAV 300正在接近目标250并且决定合适的着陆位置时的目标接近阶段。图3B表示当UAV 300微调着陆位置(如从目标250上方)以使最终下降(或其它操纵)尽可能精确时的目标对准阶段。图3C表示当UAV 300已经着陆(并且现在正在静止)在目标250上时的停落阶段。
UAV包括深度相机(例如3D深度传感器)和2D LIDAR系统两者。为了便于描述，深度相机使用配置有深度传感器的像素来获取(或扫描)矩形(2D)视场(FOV)。每个像素的深度传感器估计从相机到对应于所述像素的FOV中的对应区域的距离。这在深度相机的输出数据中提供额外的维度(3D)。为了进一步便于描述，2D LIDAR使用配置有定时传感器的像素获取(或扫描)线性(1D)FOV。基于从2D LIDAR发出的激光与返回到像素的激光之间的时间差，2D LIDAR估计2D LIDAR与线性FOV中每个像素之间的距离(使用光速)。这在2D LIDAR的输出数据中提供额外的维度(2D)，所述额外的维度表示沿着LIDAR扫描方向的2D切片。这与3D LIDAR系统形成对比，所述3D LIDAR系统使用配置有定时传感器的像素来获取(或扫描)矩形(2D)FOV。此类系统通过将矩形阵列中每个对应像素的距离维度相加来产生3D输出。
使用这两个传感器(3D深度相机和2D LIDAR系统)，本文讨论了检测、定位和对准的不同示范性实施例。尽管在理想的设置中，3D LIDAR可以用来提供足够的准确度和精确度，以便随时对UAV的目标姿态估计进行连续反馈，但仍有实际考虑。例如，在目前的3DLIDAR技术下，仅相对较大的UAV(例如，宽度大于一米)才能提供足够的有效载荷来携载此类传感器。如此大的UAV在相对较小的管道(例如，直径接近8英寸的管道)上着陆是不切实际的。这与3D深度相机和2D LIDAR系统形成对比，即使考虑到3D深度相机和2D LIDAR系统的组合重量，3D深度相机和2D LIDAR系统也显著更轻。另外，用当前的3D LIDAR技术，3DLIDAR系统(更不用说携载3D LIDAR系统的大型UAV)的成本可能比3D深度相机和2D LIDAR系统的成本高一个数量级。
因此，出于实际考虑，考虑将3D深度相机和2D LIDAR系统的组合，为UAV提供其执行本文讨论的自主检测、定位、对准和停落所需的感测数据。与3D LIDAR系统相比，这提供相对低成本和小有效载荷的系统。换句话说，为了放松对UAV大小及其有效载荷能力的一些或大部分约束，提供3D深度传感器和高端2D LIDAR的组合。两个传感器的总重量可能比高端3D LIDAR系统轻得多。另外，与3D LIDAR系统相比，所述两个传感器的成本降低了一个数量级。尽管所提出的传感器组合可能无法提供与3D LIDAR系统相同的高准确度和精确度，但是当使用本文讨论的示范性方法时，提供用于准确且精确自主停落的定位反馈的充分和可比的总体性能。
参考图3A、图3B和图3C的示范性实施例，在所述配置中，UAV 300的每个传感器(3D深度相机和2D LIDAR系统)用于在距目标管道250的特定距离范围处进行检测和定位。例如，深度相机用于从相对较远的距离连续地检测并且定位目标250。只要UAV 300接近目标250(例如，小于设定的或预定的距离，或者在目标250的附近)，2D LIDAR系统就被用来检测、定位和对准目标250，直到停落完成。因此，有两个区域：远距离区域(例如，当UAV300相对远离管道250时)，其中UAV 300仅使用3D深度相机进行检测和定位；以及近距离区域(例如，当UAV 300相对靠近管道250时)，其中UAV 300仅使用2D LIDAR系统进行检测、定位和对准。
在此类设置中，3D深度相机提供感测到的周围环境的3D点云，这有助于在3D中分割任意目标形状，如在3D点云中呈现为半圆柱形状的管道(例如，管道250)。这还有助于估计目标250的3D大小，并且在目标250上选择合适的着陆点。然而，深度相机在距目标250更近的距离处变得不太可靠，并且因此会导致不太可靠的停落。
相比之下，与深度相机相比，2D LIDAR系统提供更准确的邻近测量值(在目标250附近)，其中管道250在2D LIDAR看来是2D切片，如半圆、半椭圆或直线或大部分直线，这取决于2D LIDAR扫描仪相对于管道250所成的角度。2D LIDAR的这种准确度优势在距目标250非常近的距离处特别明显，在那里深度相机变得更加不可靠。然而，在远距目标250的距离处，对于2D LIDAR系统来说，仅使用2D(例如，距离的线性阵列)测量来稳健地检测期望的目标250可能是具有挑战性的。这部分是由于在2D表示中具有与目标250具有类似表示的其它周围对象的可能性，并且2D切片没有足够的目标250来将其与此类周围对象区分开来。
因此，通过组合两个传感器，可以通过在远距目标250的距离处使用深度相机来避免对象检测和定位的模糊性，并且可以通过在靠近目标250的距离处使用2D LIDAR系统来提高对准和停落的准确度和精确度。另外，通过在两个独立步骤中的每一个步骤中仅消耗一个传感器的输出，降低了由控制电路的处理能力。
图4是根据实施例的用于UAV在弯曲表面(如管道)上自主部署和着陆的示范性顺序路径规划技术400的流程图。图4的路径规划技术400使用分段轨迹方法，类似于分别在图3A、图3B和图3C的示范性目标方法、目标对准和在目标上停落所绘示的方法。在所述方法中，控制电路被编程为使用例如上面讨论的目标检测和定位方法中的一种或多种来计算在三种不同状态下的UAV的轨迹。这三种状态分别是目标接近、目标对准和在目标上停落，如图3A、图3B和图3C所绘示的。换句话说，完整的停落轨迹由这三个部分组成，为此，控制电路被编程为彼此独立地计算。
参考图4的路径规划技术400，处理开始于接近410目标的步骤。这是自主停落任务中的第一个状态，在所述状态下首先从相对较远的距离处检测并且定位到目标。这里，控制电路被编程为使UAV首先在远距目标的预定位置停留在悬停状态。控制电路还被编程为接收操作员对用于检测和定位算法的目标的初始输入图像的选择。例如，用户或操作员可以从用户接口通过选择包含来自由UAV的机载相机提供的实时图像流中的目标的感兴趣区域(ROI)来做到这一点。接下来，控制电路还被编程为使用初始目标输入图像和机载深度相机的输入来提供目标相对于UAV的连续地检测和3D定位。由此，控制电路还被编程为使用计算出的目标姿态(来自检测和定位)来计算UAV要遵循的安全路径(例如直线)，以便更接近目标并且准备对准。
技术400还包括确定420UAV(或无人机)现在是否足够靠近目标(例如，在沿着安全路径行进并且越来越靠近目标之后)的步骤。在实施例中，控制电路还被编程为一旦UAV到达例如预定位置或距目标的预定距离，就确定所述状态(接近目标)完成，在所述预定位置或预定距离处，2D LIDAR系统对目标具有更高的可见度。此时，2D LIDAR系统可以执行更精确的定位(比3D深度相机)，为停落在目标上做准备，并且到达目标状态的方法(当深度相机用于检测和定位时)结束。
技术400还包括将UAV与现在使用2D LIDAR系统检测到的目标对准430的步骤。在这种状态下，控制电路还被编程为仅使用2D LIDAR测量值来检测并且定位目标，以优化UAV相对于目标的定向，从而实现准确且精确的停落。这可以包括将UAV移动到合适的位置，从所述位置停在目标(如直接在管道上方且管道的预定邻近范围内)上。为此，技术400还包括确定440UAV是否与目标对准的步骤。这里，控制电路还被编程为使用2D LIDAR测量值来确定UAV是否足够近并且相对于目标处于正确的定向，以实际上停落在目标上。如果否，控制电路还被编程为继续使用2D LIDAR测量值来进一步将UAV与目标对准。
一旦与目标对准，技术400还包括使用2D LIDAR测量值在目标上停落450(例如，最终着陆操纵)的步骤。在UAV将自身与目标对准之后，控制电路还被编程为计算出朝向停落点(目标上的停落位置)的安全轨迹。在实施例中，安全路径的特征在于目标上的停落点和朝向所述点的速度分布。控制电路还被编程为当沿着计算出的轨迹控制UAV时，使用2DLIDAR测量值进行连续反馈，以将UAV安全着陆在目标上。
图5是根据实施例的使用传感器融合的目标检测、定位和对准的示范性技术的斜视图。为了便于描述，在图5的示范性技术的描述中使用了来自图3A、图3B和图3C的管道250和UAV 300，因为最显著的区别在于控制电路的编程以及在UAV 300中同时使用3D深度相机和2D LIDAR系统两者。
更详细地，参考图5，在所述配置中，深度相机和2D LIDAR系统两者在整个停落任务期间并行(例如，同时)使用。在一个此类实施例中，使用遵循从粗到细方法的传感器融合方法。在所述方法中，深度相机用于稳健地检测并且定位目标250，即使其距离准确度通常低于可比的2D LIDAR系统的距离准确度。这是因为3D深度相机(2D FOV)提供的额外覆盖和使用此类图像识别3D形状(如管道250)的能力在更大的距离上更优越，因为2D LIDAR系统(1D FOV)在此类距离上存在其它结构的情况下识别目标250会带来更多挑战。
如图5所绘示，由粗到细的方法包括当UAV 300向目标250上的停落点移动时，使用来自深度相机的定位结果(例如，粗略定位)来约束2D LIDAR测量值的搜索空间。所述受约束的搜索空间表示深度相机FOV中最有可能隔离目标250的部分(或目标250的感兴趣部分，如停落位置)。受约束空间内的2D LIDAR测量值用于检测并且定位目标250(例如，精细定位)，约束大小和方向(例如，1D扫描)两者以执行2D LIDAR测量值。
在另一个此类传感器融合实施例中，UAV 300的控制电路被编程为使用基于卡尔曼滤波器的传感器融合方案，通过融合来自每个传感器(深度相机和2D LIDAR)的独立估计，同时考虑它们相应测量中的不确定性，来进行更稳健的定位估计。
在传感器融合实施例中，两个传感器的测量值都被融合，并且在停落任务期间一直使用。这不同于图3A、图3B和图3C所绘示的实施例，其中每个传感器的测量在独立的步骤中使用。用传感器融合比较两种基本方法，定位准确度始终得到提高，并且UAV朝向停落点的轨迹更加平滑。然而，通过传感器融合，由于两个传感器的测量值都是在整个停落任务期间处理的，因此增加了计算时间。
在传感器融合实施例中，控制电路被编程为计算连续的停落轨迹(与图4的顺序路径规划技术的分段轨迹相反)。这里，控制电路被编程为一旦使用深度相机和2D LIDAR系统两者对目标进行初始检测并且定位，就计算初始连续轨迹。控制电路还被编程为使用UAV在第一次目标检测时的位置、目标上的停落点以及沿着轨迹的速度分布来表征所述连续轨迹。
尽管多传感器配置通过使用其独特的特征提供更稳健的对象检测、定位和对准，但是在某些情况下，每个传感器也可以单独用于自主停落任务。也就是说，在某些特定的场景中，2D LIDAR系统或3D深度相机足以执行停落的自主检测、定位和对准。例如，2D LIDAR系统可以单独用于在非杂乱(或无噪声)环境中进行稳健的目标检测、定位和对准。类似地，3D深度相机可以单独用于提供大目标的足够的检测、定位和对准。
现在接下来是检测和定位方法的示范性实施例的描述，因为这些是UAV在弯曲结构上自主停落的最具挑战性的方面。为了便于描述，从对控制电路进行编程为处理传感器数据来适当检测并且定位目标的角度来描述这些方法。另外，由于本讨论的大部分内容是检测和定位算法在自主地将UAV定位在弯曲结构(如管道)上的任务中的实际应用，因此还应理解，此类算法的步骤是通过对控制电路执行编程来执行对应的步骤来实现的。
如前所述，目标检测和定位是自主停落操纵中最具挑战性的任务。这是因为操纵控制的准确度和精确度高度依赖于定位反馈的准确度和精确度。在示范性实施例中，讨论了使用深度相机或2D LIDAR系统(或两者)来执行所述任务的不同算法(如控制电路上编程的)。深度相机和2D LIDAR是两种不同类型的传感器，用于感测管道并且检测其位置。每种方法都使用不同的方法来测量距离，并且产生彼此截然不同的数据。因此，如本文所讨论的，定位方法或算法有时专用于这些传感器中的一个的特定类型。
深度相机提供体积表示(或3D点云)，包括由感测像素的矩形(2D)阵列观察到的周围3D环境中的感测对象的距离测量值。相反，2D LIDAR系统提供2D点切片，所述2D点切片包括如由感测像素的线性(1D)阵列观察到的沿着线的感测对象的距离测量值。来自深度相机的点云可以用于执行任意3D对象的分割和定位。相比之下，2D LIDAR测量值只能用于检测这些形状的2D切片。因此，仅使用2D LIDAR数据进行任意对象检测和定位要困难得多，并且对周围的噪声(如较容易用3D深度数据滤波的类似的对象或其它伪信号源)特别敏感。在目标附近，如在0.3和10米(m)之间，使用深度相机的目标定位的准确度和精确度被认为是足够的。然而，2D LIDAR在更近的距离(特别是在更近的距离，如小于0.05m)，提供显著更高的准确度和精确度。
为了便于描述，所述实施例使用被设计成检测圆柱形的管道或其它目标的算法，但是类似的概念可在其它实施例中被推广以检测其它弯曲表面目标，如球形或部分球形形状。由于3D深度相机和2D LIDAR系统的数据输出显著不同，因此为每种类型的传感器提供不同的目标检测和定位算法。在下面并且参考图6至图9提供对这些算法进行更详细的描述。但是，现在提供更简单的描述。
呈现了用于使用3D深度相机执行检测和定位的不同实施例。这些包括使用来自点云的对象分割，使用惯性测量融合，并且使用基于图像的对象跟踪来减小点云。然而，这些仅是实例，并且鉴于本公开，其它实例将是显而易见的。
关于使用来自点云的对象分割的检测和定位，其主要步骤包括从深度相机接收点云、识别点云中的边界框，在边界框中执行对象分割、估计目标中心的位置、并且使用先前步骤的结果以及新的输入点云重复这些步骤中的一些或全部。更详细地，控制电路被编程为从深度相机接收点云(例如，将来自深度相机的输出数据处理成3D点云)。控制电路还被编程为识别初始边界框，所述初始边界框包含表示输入点云中的目标(在这种情况下为管道)的候选点。例如，所述初始边界框可以是整个点云、从其开始的先前确定的部分、基于仪器(如GPS、IMU等)或用户限定的边界框的目标区域的初始估计，仅举几例。
控制电路还被编程为在所识别的边界框内执行对象分割，以便找到最适合管道的数学模型(例如，圆柱体)的所有点。由此，控制电路还被编程为识别最有可能表示预期目标管道的分割对象(例如，预测位置和形状的最佳匹配)。在这一点上，控制电路还被编程为估计目标管道中心相对于深度相机的位置。在实施例中，被识别为目标管道的点的质心被用于管道的中心估计。在下一次迭代中，当新的输入点云可用时，围绕先前计算的质心限定新的边界框，其中进一步分割和更新质心计算。这是假设目标相对于相机的FOV没有从先前位置移动太多(例如，小的运动假设)。
关于使用惯性测量融合的检测和定位，这类似于刚刚讨论的来自点云实施例的对象分割，只是放松了小运动假设。相反，控制电路还被编程为接收其它输入，如来自刚性地附接到深度相机的惯性测量单元(IMU)(或者以其它方式测量惯性或者估计深度相机的姿态)，以基于先前估计的位置在下一次迭代中预测目标的位置(相对于深度相机的FOV)。围绕新的基于IMU的估计位置构建新的边界框。IMU可以用于预测UAV的快速运动或旋转，从而允许放松小运动假设，并且为下一次迭代预测更精确的边界框。
关于使用基于图像的对象跟踪来减小点云的检测和定位，控制电路被编程为使用基于图像的对象跟踪来将输入点云约束为仅对应于图像帧中被跟踪对象的区域的输入点云。在实施例中，为了解决图像跟踪器中的故障，IMU被用于预测对象在图像帧中的位置，并且一旦对象丢失就使用所述位置来重新初始化图像跟踪器。
呈现了用于使用2D LIDAR系统执行检测和定位的不同实施例。一个此类实施例包括使用聚类和改进的随机抽样一致性(RANSAC)算法进行圆检测。这里，控制电路被编程为使用改进的RANSAC算法来使用2D LIDAR距离测量值的快速聚类。另一个此类实施例使用线性聚类的拒绝。这里，控制电路还被编程(从改进的RANSAC实施例)为移除在2D LIDAR测量值中表示线性(或几乎线性的段)的点。又一个此类实施例使用时间管道位置和直径跟踪。这里，控制电路被编程为使用初始有效的目标检测的位置和直径，并且在随后的时间帧中跟踪目标，而不是每帧执行完全检测。
又一个此类实施例使用RANSAC和霍夫变换来执行椭圆检测。尽管上述示范性2DLIDAR检测和定位实施例描述了将圆(2D LIDAR切片的示范性1D部分)拟合到输入数据，但是在这种方法中，控制电路被编程为将椭圆拟合到输入点。这是因为，取决于LIDAR相对于目标管道的定向，通常可以用椭圆而不是圆来更好地表示结果点。另外，椭圆可以用于计算LIDAR和管道之间的定向角(偏航)，这对于UAV与管道的对准很有用。所述实施例将RANSAC技术与霍夫变换一起使用，并且将在下面更全面地描述。鉴于本公开，2D LIDAR检测和定位的此外其它实施例将是显而易见的。
更详细地，在全文中讨论了使用2D LIDAR系统的多种定位技术。2D LIDAR是轻型激光扫描仪，可以以高旋转扫描速度扫描激光束，并且测量反射激光从环境返回扫描仪的飞行时间。这允许2D LIDAR能够提供围绕扫描仪所有对象和障碍物(只要它们在视线范围内并且在2D LIDAR的特定范围内)的详细的2D扫描。由于LIDAR的快速扫描速率，并且由于点云是2D点云而不是3D点云，传输单次扫描所需的带宽小，因此实时扫描是可能的。
还描述了使用2D LIDAR系统进行管道定位的多种算法。不同的技术各有优缺点，这取决于如部署它们的环境的因素。所述技术包括使用聚类和改进的RANSAC方法的圆检测、线性聚类的拒绝、时间管道位置和直径跟踪、以及使用RANSAC和霍夫变换的椭圆检测。
图6是根据实施例的使用2D LIDAR传感器数据聚类的示范性圆(例如，管道)检测技术600的流程图。技术600使用大量改进的利用聚类的RANSAC方法从2D LIDAR数据以高准确度地检测并且定位管道。控制电路被编程为通过对点云执行角度分类来执行快速聚类。
参考图6，处理开始于聚类610相距小于5厘米(cm)的连续点并且忽略少于某个特定数目(比如n)点的任何聚类的步骤。在所述步骤中，控制电路被编程为对附近的点进行聚类，并且仅考虑达到特定阈值大小的此类聚类。例如，在一个实施例中，控制电路被编程为计算线性扫描中每两个连续点之间的距离，并且将间隔小于5cm的那些点聚集在一起。控制电路还被编程为忽略具有少于特定阈值数量n的点的任何聚类，并且保持其它聚类合格。
技术600还包括运行改进的RANSAC，其包括其余的步骤620至680，用于任意大的迭代次数(例如，取决于如可用的处理能力、点云的大小、期望的准确度等因素)。更具体地，技术600包括通过随机合格聚类中的三个随机点拟合620圆的步骤。目标是快速找到表征聚类中其它点的圆(例如，管道切片)。这里，控制电路被编程为随机选择合格的聚类，并且从所述聚类中随机选择所述聚类中的三个点，并且通过它们拟合一个圆。
技术600还包括使用圆的方程计算630从圆中选定的聚类中的所有其它点的代数误差的步骤。这提供对聚类拟合圆的程度的度量。这里，控制电路还被编程为计算或以其它方式确定当插入圆的方程时所述聚类中所有其它点的代数误差。技术600还包括对聚类中靠近圆的内联点的数量进行计数640的步骤。这里，控制电路还被编程为找到误差小于预定阈值(例如，接近圆)的内联点的数量。技术600还包括确定650内联的数量是否大于聚类阈值大小n的数量的步骤。这提供聚类实际上是圆(例如，管道)的信心。这里，控制电路还被编程为将内联点的数量与阈值n进行比较，并且如果内联点的数量较小，则聚类(或聚类内的点选择)不太适合圆(管道)，因此重复从步骤620开始的处理。
否则，内联的数量超过阈值n，并且技术600还包括通过所有内联拟合660最佳新圆并且计算总残余误差的步骤。这里，控制电路还被编程为通过所有内联点找到最佳拟合圆，并且找到关于最佳拟合圆的误差。技术600还包括确定670新圆是否比先前最佳圆更好(例如，更小的误差)的步骤。目标是找到适合可用2D LIDAR数据的最佳圆(例如，管道)。这里，控制电路还被编程为比较最近的圆/聚类拟合的总残余误差，并且如果它不小于在先前迭代中找到的最佳圆/聚类拟合的总残余误差，则没有找到新的最佳圆，因此重复从步骤620开始的处理。
否则，已经找到新的最佳圆，因此技术600还包括将新圆保存680为最佳圆的步骤。这里，控制电路还被编程为将新圆作为最佳圆存储在电子存储介质中，用于与后面的候选圆进行比较，并且重复从步骤620开始的处理，以搜索更好的圆。当满足一些终止标准(例如，迭代次数、计算时间量、残余误差低于预定阈值等)时，迭代停止。当UAV距目标管道足够近以至于所述管道主导了在扫描线中观察到的聚类时，所述技术会很好地起作用。随着管道相对大小的缩小或其它结构(特别是其它弯曲结构)数量的增加，这种技术检测并且定位目标管道的可靠性急剧下降。
在2D LIDAR检测和定位的另一个技术中，执行线性聚类的拒绝。这里，目标是通过首先识别哪些聚类是简单的线段，并且然后在搜索中忽略它们，来避免上述改进的RANSAC算法中错误检测的陷阱。一旦它们被移除，改进的RANSAC就可以启动。有很多方法可以做到这一点。例如，在一个实施例中，控制电路被编程为拟合通过每个段(或聚类)的最小二乘线，并且然后研究它们的总残余误差。在另一个实施例中，控制电路被编程为对每个聚类执行主成分分析(PCA)并且研究它们的第二特征值。小的第二特征值指示平坦的聚类(例如，线段)，而较大的第二特征值(例如，非线性的聚类)可能是RANSAC的良好候选。在又一个实施例中，控制电路还被编程为找到每个聚类中的平均梯度变化，并且将其用作聚类直线度的指示。控制电路还被编程为丢弃那些其直线度高于预定阈值的聚类。
在2D LIDAR检测和定位的又一个技术中，执行时间管道位置和直径跟踪。例如，所述技术可以与上面讨论的聚类和改进的RANSAC实施例结合使用。这里的想法是利用在一帧中发现的关于管道的信息(例如，2D LIDAR快照)来辅助其在下一帧中进行搜索。在一个此类实施例中，控制电路被编程为使得如果在一帧中找到管道，则在下一帧中搜索空间被限制在第一帧中管道的位置附近内。这假设UAV从一帧到下一帧有轻微的移动，这在特定应用中是一个有效的假设。但是，必须小心避免错误检测(误报)，这可能导致搜索窗口偏离真实管道位置。这可能会导致发散和无法再次快速回到真实位置。
因此，在另一个因此的实施例中，控制电路还被编程为使用在第一帧中检测到的管道直径作为可能的真实值，并且然后仅接受在未来帧中具有在所述特定容差内的直径的圆。这极大地提高了算法性能并且减小了误报。
在2D LIDAR检测和定位的又一个技术中，执行使用RANSAC和霍夫变换的椭圆检测。尽管将圆拟合到2D LIDAR输出是在2D LIDAR扫描中检测管道的一种方法，但它假设扫描切片垂直于目标管道的纵轴线。然而，一般来说，仅在定位了目标管道的纵轴线，并且相应地调整了2D LIDAR扫描之后，这才会是真实的。否则，2D LIDAR切片将可能替代地拟合椭圆。换句话说，如果UAV直接指向管道并且垂直于管道，则管道在2D LIDAR扫描中会看起来像一段圆。然而，如果UAV向右或向左转动(偏航)微小的角度θ，那么管道将不再示出为一个完美的圆段，而是一个椭圆段。椭圆的偏心率与UAV相对于管道的偏航/方位角θ直接相关。
更正式地，只要UAV处于水平和俯仰状态，椭圆的短轴线长度就始终等于管道直径D。非零俯仰角可以通过测量通过UAV的IMU的角度并且将LIDAR数据点旋转所述角度来补偿。UAV偏航角θ与主轴线长度L之间的关系的特征如下：θ＝arccos(D/L)。因此，在实施例中，控制电路被编程为使用LIDAR数据中的管道点将椭圆拟合到2D LIDAR数据，并且然后提取对应的长轴线和短轴线长度以识别管道直径和UAV的偏航角。在另一个实施例中，控制电路还被编程为当使用RANSAC来找到最佳椭圆时，使用霍夫变换来使2D LIDAR数据对噪声不太敏感。然而，应注意防止大的搜索空间维度主导计算时间并且导致不可接受的性能。
在全文中讨论了使用3D(如IR)深度相机的多种定位技术。深度相机是在深度相机生成的点云中检测并且定位直管的良好候选。点云是3D空间中对象的离散体积表示。目标检测和跟踪被作为2D图像处理的计算机视觉研究的一部分进行了研究。尽管图像提供捕获场景的丰富特征源，但是使用单目相机定位和估计对象的3D姿态是具有挑战性的。主要挑战来自深度估计。立体相机可以以更多的计算和有限的范围为代价来提供一些缓解。3DLIDAR系统提供感测环境的体积表示，这使得对象定位更容易并且更准确。然而，由于3DLIDAR的重量相对较重，因此现有的3D LIDAR装置不适用于某些应用，如使用小型UAV的航空应用。
因此，深度相机在立体相机和3D LIDAR系统之间提供低成本的折衷解决方案。深度相机(通常称为RGB-D相机)，结合了常规的RGB相机和IR传感器，以提供RGB图像以及每个像素的估计深度。深度图像可以被转换成点云，所述点云提供感测环境的体积表示。与深度相机相比，3D LIDAR装置通常可以提供更准确的点云。然而，用一些滤波技术(这将在下面进一步讨论)，由深度相机生成的点云可以足够用于自主停落，如本文所讨论的。如今，有几种低成本的深度相机小到可以安装在小型UAV上，例如英特尔实感(RealSense)D435相机。
提供在点云中执行管道检测和定位以及估计其姿态的各种技术。这里，姿态是六自由度(6-DOF)姿态，即管道质心的3D位置及其轴线的3D旋转角度。这些技术包括：点云滤波、管道分割和管道跟踪。
在用于3D深度相机输出的示范性点云滤波实施例中，原始输入点云通常是密集的，并且由于传感器不准确和环境条件而包含噪声测量。因此，为了获得更准确的对象分割结果，对原始输入点云应用一些滤波可能是有用的。两个此类滤波器包括裁剪和下采样。例如，可在执行圆柱体分割之前应用这些滤波器。它们也可以单独使用或一起使用(在它们的效果混合的情况下)。它们也可在其它技术(如圆柱体(例如，管道)分割)之前应用。
在实例性裁剪实施例中，仅传感器附近的对象是感兴趣的，并且其它点不太可能有用。例如，输入点云可能包含距传感器最多10米的数据，但仅5米的深度就足以对感兴趣对象进行成像。因此，控制电路被编程为将这些数据点裁剪到5米以外。这有助于减小噪声和离群点的数量，从而提高对象分割的准确度。另外，由于减小了要处理的点数，因此有助于显着减小分割时间。以类似的方式，在示范性下采样实施例中，控制电路被编程为对输入点云进行下采样。所述类型的滤波还减小了输入点云的大小，这加快了进一步的处理，并且在如自动停落的计算受限(例如，实时)环境中可能是有用的。
在示范性管道分割实施例中，控制电路还被编程为在输入点云被滤波之后执行对象分割。在点云中进行对象分割有许多方法，包括例如区域生长、最小割图、法线差、基于欧氏距离的聚类和使用随机抽样一致性(RANSAC)的模型拟合。为了讨论的简洁，本公开将主要集中在使用RANSAC的模型拟合上。RANSAC是一种迭代方法，用于从包含不良离群点的一组观测数据中估计数学模型的参数。因此，RANSAC也可以描述为离群点检测方法。所述方法实际上是有用的，因为除了被认为是离群点的其它测量噪声之外，真实场数据还包含目标对象周围的其它结构的测量值。
一般来说，管道可由圆柱体模型来表示，所述圆柱体模型可由三个模型参数来参数化，即圆柱体的半径、圆柱体的中心轴线上的点(三个坐标)以及中心轴线相对于原点的定向或3D旋转(三个角度)。RANSAC算法的主要机制讨论如下。限定对象的模型。在这种情况下，具有前述参数(半径、中心轴线点、中心轴线定向)的圆柱体模型。距离函数被限定为测量点距拟合模型有多远。在实施例中，欧几里德距离用作距离函数。
在每个时间步骤t处，提供输入数据帧，所述输入数据帧是时间t处的输入点云Pt。在实施例中，控制电路被编程为迭代地运行RANSAC技术直到预定的最大迭代次数。在每次迭代中，控制电路被编程为通过模型拟合来估计圆柱体模型参数，并且使用限定的距离函数来计算模型准确度。控制电路还被编程为继续运行RANSAC技术，并且跨所有迭代以最大准确度输出最佳模型拟合(模型参数)。这些步骤适用于每个输入点云Pt。
在一些实施例中，开放项目点云库(PCL)被用于提供用于点云滤波的若干功能，包括使用RANSAC实现圆柱体分割。在一个此类实施例中，PCL用于执行点云滤波和圆柱体分割。尽管使用RANSAC的点云滤波和管道分割在大多数情况下可以很好地检测并且定位目标管道，但有时它们可能会失败，如当输入数据具有足够的噪声以至于虚假噪声段看起来是最佳段时，或者当输入数据中有两个圆柱体，并且所述技术识别出错误的圆柱体时。因此，在一些实施例中，为了减少错误检测的管道并且减小在存在其它管道的情况下检测的模糊性，提出了管道跟踪机制。
图7是根据实施例的示范性基于邻域的管道检测技术700的流程图。处理开始于使用RANSAC执行710圆柱体检测的步骤，随后是选择720有效圆柱体并且将当前有效质心更新为有效圆柱体的质心的步骤。这里，控制电路被编程为使用RANSAC对输入的3D深度相机数据(点云)执行圆柱体检测，并且一旦有效检测(例如，可能的管道或圆柱体)可用，选定的圆柱体就被选择作为下一帧中检测的初始候选，并且有效圆柱体的质心被计算。技术700还包括围绕先前有效质心裁剪730下一个输入云的步骤。这里，控制电路还被编程为用连续输入云之间的深度传感器进行小的运动假设，并且围绕先前计算的有效质心裁剪下一个输入云。
技术700还包括对裁剪的云应用740基于RANSAC的分割并且计算所得圆柱体(或数据点的圆柱体云)的质心的步骤。在这一点上，技术700包括确定750新质心是否在前一个质心邻域的步骤，并且如果否，则维持前一个有效质心，并且处理从步骤730继续。在实施例中，控制电路被编程为确定先前质心和新质心之间的距离是否小于或等于预定的相邻距离d，并且如果否，则认为是无效检测，并且有效质心没有用新质心更新。否则，先前质心和新质心是相邻的(例如，在相邻距离d内)，并且技术700还包括将当前有效质心更新760为新质心的步骤。处理继续围绕所述新质心进行裁剪730的步骤。
重要的是要注意，这种跟踪机制的成功在很大程度上取决于小的运动假设(例如，连续帧中选定圆柱体的质心彼此靠近)。因此，在一些实施例中，为了进一步提高存在快速运动时的检测稳健性，采用了传感器融合机制。在一些此类实施例中，传感器融合机制使用卡尔曼滤波器。
图8是根据实施例的基于卡尔曼滤波器框架的示范性管道定位技术800的流程图。所述技术有助于改善先前描述的技术的管道检测和定位。这里，刚性地附接到深度相机的惯性测量单元(IMU)用于提供对即使在快速运动中检测到的目标的更准确的预测。使用所述预测，基于RANSAC的分割被应用于管道点云的预测位置，所述点云是输入点云的子集。
参考图8，处理开始于找到810管道的初始位置的步骤。在实施例中，控制电路被编程为接收或确定深度相机(或UAV)的位置和定向，并且由此和初始管道位置(使用RANSAC)确定管道的初始位置。一旦管道的初始位置已知，所述技术还包括获得820IMU测量值并且将它们与管道位置的最后估计融合以预测管道在深度相机的FOV中的下一个位置的步骤。这里，控制电路被编程为在卡尔曼滤波器框架中执行IMU测量值和先前管道位置估计值的融合。在卡尔曼滤波器框架中，有两个步骤，预测步骤之后是更新步骤。IMU测量值用于预测步骤中，以预测IMU(或附接到其的深度相机)在空间中的姿态。可在开始发散之前的短时间内以可接受的准确度完成预测。这完成了预测步骤820。
技术800还包括获得830围绕预测位置的深度测量值的步骤，从这些深度测量值估计管道位置，并且然后更新管道位置估计。这里，控制电路还被编程为通过使用围绕预测位置的下一帧的输入点云的子集来更新管道的位置估计(从步骤820)，以在下一帧中找到并且定位管道。然后在更新步骤830中使用所述子集点云中的估计管道位置来校正预测位置并且避免发散。这完成了更新步骤830。所述框架继续迭代地重复预测步骤820和更新步骤830，以使用传感器融合来更好地跟踪管道，以解决UAV飞行期间深度相机的移动。
图9是根据实施例的使用图像跟踪和卡尔曼滤波器的示范性管道定位技术900的流程图。在技术900中，添加另一个对象跟踪源有助于提高跟踪稳健性。基于图像的对象跟踪用于跟踪RGB相机看到的管道，所述RGB相机看到的管道嵌入在深度(例如RGB-D)相机中。从原始输入点云中提取对应的点云。提取的点云的大小可能比原始点云小得多，这导致与对象分割相关联的计算量少得多。在快速运动期间，基于图像的目标跟踪可能会失败。为了缓解所述问题，还使用了基于IMU的位置预测，以便自动重新初始化基于图像的对象跟踪器。
更详细地，处理开始于初始化步骤910，其中控制电路被编程为接收或以其它方式确定或限定输入图像中的初始ROI，提取对应的点云并且计算初始管道位置估计(例如，使用RANSAC)，并且使用初始ROI初始化图像跟踪器。技术900还包括卡尔曼滤波器预测步骤920，其中控制电路还被编程为获得IMU测量值并且基于管道的最后位置估计来预测管道位置。技术900还包括图像跟踪步骤930，其中控制电路还被编程为将下一个图像帧(来自RGB相机)馈送到对象跟踪器，并且运行图像跟踪器来跟踪对象并且提供输出ROI。在这一点上，技术900还包括确定940对象跟踪是否成功的步骤，并且如果否，则技术900还包括使用最后的预测重新初始化950图像跟踪器并且继续初始化步骤910的步骤。
否则，跟踪成功，并且技术900还包括使用来自对象跟踪器的输出ROI提取960对应点云的步骤。技术900还包括找到管道的步骤970，其中控制电路还被编程为在提取的点云上执行对象分割以找到管道。然后，用新找到的管道重新执行图像跟踪器步骤930。与所述对象跟踪同时，技术900还包括卡尔曼滤波器更新步骤980，其中控制电路还被编程为根据深度测量值来更新管道位置估计，此时卡尔曼滤波器预测步骤920用新的IMU数据重复。
在一些实施例中，深度相机和2D LIDAR传感器也用于障碍物的检测和躲避，如当自主地控制UAV从起始位置到目标表面上的着陆位置的飞行路径时。在一个此类实施例中，当操作员将UAV手动地飞向预期目标时，可能会遇到其它管道或结构。这里，传感器可以检测到这些障碍物，并且控制电路可以编程为通过停止UAV并且警告操作员采取不同的路径来避免碰撞。在另一个此类实施例中，当UAV在管道上自主地执行着陆操纵时，它可能检测到附近的障碍物，并且控制电路被编程为通过规划绕过它们的路径来避开它们。
图10是根据实施例的将UAV(如UAV 100或UAV 300)从远离弯曲表面的起始位置自主地停放在弯曲表面(如管道50或管道250)上的示范性方法1000的流程图。
可以使用图1A至图9所绘示的部件和技术来执行方法1000的一些或全部。本文公开的所述方法和其它方法的部分可在定制的或预编程的逻辑装置、电路或处理器(如可编程逻辑电路(PLC)、计算机、软件或由代码或逻辑配置以执行其分配的任务的其它电路(例如，ASIC、FPGA))上执行或使用所述定制的或预编程的逻辑装置、电路或处理器来执行。装置、电路或处理器可以是例如专用或共享硬件装置(如膝上型电脑、单板计算机(SBC)、工作站、平板电脑、智能手机、服务器的一部分或专用硬件电路，如在FPGA或ASIC等中)，或计算机服务器，或服务器或计算机系统的一部分。装置、电路或处理器可以包括存储指令的非暂时性计算机可读介质(CRM，如只读存储器(ROM)、快闪驱动器或磁盘驱动器)，当在一个或多个处理器上执行这些指令时，使得方法1000(或其它公开的方法)的部分被执行。应注意，在其它实施例中，可以改变操作的顺序，并且可以省略一些操作。方法1000的一些或全部也可以使用位于被配置成执行方法1000的UAV上的逻辑、电路或处理器来执行。
在示范性方法1000中，处理开始于从UAV捕获1010并且输出场景的3D点云的步骤。图像包括弯曲表面。捕获使用附接到UAV上的三维(3D)深度相机(如IR深度相机或RGB-D相机)。方法1000还包括捕获1020并且输出场景的2D切片的步骤。所述捕获使用附接到UAV的2D LIDAR系统。方法1000还包括控制1030深度相机和LIDAR系统以分别捕获场景的3D点云和2D切片的步骤。这可以使用附接到UAV并且被编程为执行控制任务的控制电路(例如，可编程处理器或逻辑电路)来完成。
方法1000还包括输入1040来自深度相机的捕获的3D点云和来自LIDAR系统的捕获的2D切片的步骤。这里，控制电路可以被编程为输入传感器数据。方法1000还包括使用捕获的3D点云和捕获的2D切片自主地检测1050并且定位弯曲表面的步骤。这里，控制电路可以被编程为使用RANSAC来执行检测和定位。方法1000还包括基于弯曲表面的自主检测和定位，自主地将UAV从起始位置引导1060到弯曲表面上的着陆位置的步骤。这里，控制电路可以被编程为使用3D点云和2D切片来导引UAV，从而自主地控制UAV从起始位置到着陆位置的飞行路径。
在实施例中，弯曲表面是铁磁性的，并且UAV还包括磁性支腿。方法1000还包括在着陆期间将磁性支腿磁性地附接到铁磁性弯曲表面并且在着陆之后保持磁性地附接到铁磁性弯曲表面的步骤。
本文所描述的方法可以部分或全部由有形(例如，非暂时性)存储介质上的机器可读形式的软件或固件来执行。例如，软件或固件可以是包括计算机程序代码的计算机程序的形式，当所述程序在计算机或合适的硬件装置(例如，现场可编程门阵列)上运行时，所述计算机程序代码适于执行本文所描述的任一方法的步骤中的一些或全部，并且其中所述计算机程序可以在计算机可读介质上实施。有形存储介质的实例包括具有如磁盘、拇指驱动器、快闪存储器等计算机可读介质的计算机存储装置，并且不包括传播信号。传播信号可以存在于有形存储介质中，但是传播信号本身不是有形存储介质的实例。软件可适于在并行处理器或串行处理器上执行，使得可以以任何合适的顺序或同时进行所述方法步骤。
还应理解，附图中相同或类似的附图标记表示几幅图中相同或类似的元件，并且不是所有实施例或布置都需要参考附图描述和说明的所有部件或步骤。
本文所使用的术语仅出于描述特定实施例的目的并且不旨在限制本公开。如本文所使用的，除非上下文另外明确指出，否则单数形式“一”、“一个”和“所述”也意图包括复数形式。将进一步理解的是，当在本说明书中使用时，术语“包括”和/或“包含”指定所陈述的特征、整数、步骤、操作、元件和/或部件的存在，但是不排除存在或添加一个或多个其它特征、整数、步骤、操作、元件、部件和/或其组。
本文使用的取向术语仅出于约定和参考的目的，而不应被理解为限制性的。然而，应认识到，这些术语可参考观看者使用。因此，没有暗示或推断任何限制。另外，序数的使用(例如，第一、第二、第三)是为了区分而不是计数。例如，使用“第三”并且不意味着存在对应的“第一”或“第二”。此外，本文使用的措词和术语是出于描述的目的，并且不应被视为限制。本文中使用的“包括”、“包含”、“具有”、“含有”、“涉及”及其变形意味着涵盖其后列出的项目及其等效物以及另外的项。
上面描述的主题仅以说明方式提供，并且不应被理解为具有限制性。在不遵循所绘示和所描述的示范性实施例和应用的情况下，并且在不脱离本公开所包含的本发明的真实精神和范围的情况下，可以对本文所描述的主题进行各种修改和改变，本公开由所附权利要求中的一组陈述以及等效于这些陈述的结构和功能或步骤来限定。

Claims (20)

1.一种无人驾驶飞行器(UAV)，其用于从远离弯曲表面的起始位置自主地停落在所述弯曲表面上，所述UAV包含：
三维(3D)深度相机，其被配置成捕获并且输出来自所述UAV的包含所述弯曲表面的场景的3D点云；
二维(2D)光检测和测距(LIDAR)系统，其被配置成捕获和输出所述场景的2D切片；以及
控制电路，其被配置成：
控制所述深度相机和所述LIDAR系统以分别捕获所述场景的所述3D点云和所述2D切片；
输入来自所述深度相机的捕获的3D点云和来自所述LIDAR系统的捕获的2D切片；
使用所述捕获的3D点云和所述捕获的2D切片自主地检测并且定位所述弯曲表面；以及
基于所述弯曲表面的自主检测和定位，自主地将所述UAV从所述起始位置引导到所述弯曲表面上的着陆位置。
2.根据权利要求1所述的UAV，其中所述控制电路还被配置成：
使用所述捕获的3D点云从所述起始位置执行所述自主检测和定位，同时自主地将所述UAV引导到所述着陆位置，直到所述UAV到达所述弯曲表面附近；以及
一旦所述UAV到达所述弯曲表面附近，就从使用所述3D点云切换到使用所述捕获的2D切片来执行所述自主检测和定位。
3.根据权利要求2所述的UAV，其中所述控制电路还被配置成：
在所述着陆之前，自主地将所述UAV引导到所述弯曲表面附近的对准位置，所述对准位置是所述UAV相对于所述着陆位置对准的位置；以及
使用所述捕获的2D切片自主地引导所述UAV直接从所述对准位置移动到所述着陆位置。
4.根据权利要求1所述的UAV，其中所述控制电路还被配置成通过融合所述3D点云和所述2D切片来自主地检测并且定位所述弯曲表面，所述融合包含：
使用所述捕获的3D点云中的一个来执行所述弯曲表面的所述自主检测和定位的第一遍；
使用来自所述第一遍检测并且定位到的弯曲表面来捕获所述2D切片中的对应的一个；以及
使用所述2D切片中的所述对应的一个来执行所述弯曲表面的所述自主检测和定位的第二遍。
5.根据权利要求1所述的UAV，其还包含惯性测量单元(IMU)，所述惯性测量单元被配置成估计所述深度相机的姿态，其中所述控制电路还被配置成在捕获所述3D点云中的第一个和捕获所述3D点云中的第二个之间使用所述深度相机的估计姿态，以便从所述3D点云中的所述第一个中的所述检测并且定位到的弯曲表面来预测所述3D点云中的所述第二个中的所述弯曲表面的位置。
6.根据权利要求1所述的UAV，其中所述控制电路还被配置成：
使用所述捕获的3D点云自主地检测并且定位所述弯曲表面；以及
控制所述LIDAR系统来捕获垂直于所述检测并且定位到的弯曲表面的所述2D切片。
7.根据权利要求6所述的UAV，其中所述弯曲表面是圆柱形的，并且所述控制电路还被配置成控制所述LIDAR系统来捕获垂直于圆柱体的中心轴线的所述2D切片。
8.根据权利要求1所述的UAV，其中所述控制电路还被配置成使用随机抽样一致性(RANSAC)方法来自主地检测并且定位所述弯曲表面。
9.根据权利要求1所述的UAV，其中所述控制电路还被配置成：
使用所述捕获的3D点云或所述捕获的2D切片或所述捕获的3D点云和所述捕获的2D切片两者来检测所述UAV从所述起始位置到所述着陆位置的飞行路径上的一个或多个障碍物；以及
自主地重定向所述UAV以避开所述飞行路径上的所述一个或多个障碍物。
10.根据权利要求1所述的UAV，其中所述弯曲表面是铁磁性的，并且所述UAV还包含磁性支腿，所述磁性支腿被配置成在所述着陆期间磁性地附接到铁磁弯曲表面，并且在所述着陆之后保持磁性地附接到所述铁磁弯曲表面。
11.一种将无人驾驶飞行器(UAV)从远离弯曲表面的起始位置自主地停落在所述弯曲表面上的方法，所述方法包含：
使用附接到所述UAV的三维(3D)深度相机捕获并且输出来自所述UAV的包含所述弯曲表面的场景的3D点云；
使用附接到所述UAV的二维(2D)光检测和测距(LIDAR)系统捕获并且输出所述场景的2D切片；
控制所述深度相机和所述LIDAR系统以分别捕获所述场景的所述3D点云和所述2D切片；
输入来自所述深度相机的捕获的3D点云和来自所述LIDAR系统的捕获的2D切片；
使用所述捕获的3D点云和所述捕获的2D切片自主地检测并且定位所述弯曲表面；以及
基于所述弯曲表面的自主检测和定位，自主地将所述UAV从所述起始位置引导到所述弯曲表面上的着陆位置。
12.根据权利要求11所述的方法，其还包含：
使用所述捕获的3D点云从所述起始位置执行所述自主检测和定位，同时自主地将所述UAV引导到所述着陆位置，直到所述UAV到达所述弯曲表面的附近；以及
一旦所述UAV到达所述弯曲表面附近，就从使用所述3D点云切换到使用所述捕获的2D切片来执行所述自主检测和定位。
13.根据权利要求12所述的方法，其还包含：
在所述着陆之前，自主地将所述UAV引导到所述弯曲表面附近内的对准位置，在所述对准位置处所述UAV相对于所述着陆位置对准；以及
使用所述捕获的2D切片自主地引导所述UAV直接从所述对准位置移动到所述着陆位置。
14.根据权利要求11所述的方法，其还包含通过融合所述3D点云和所述2D切片来自主地检测并且定位所述弯曲表面，所述融合包含：
使用所述捕获的3D点云中的一个来执行所述弯曲表面的所述自主检测和定位的第一遍；
使用来自所述第一遍的检测并且定位到的弯曲表面来捕获所述2D切片中的对应的一个；以及
使用所述2D切片中的所述对应的一个来执行所述弯曲表面的所述自主检测和定位的第二遍。
15.根据权利要求11所述的方法，其中所述UAV还包含附接到所述UAV的惯性测量单元(IMU)，所述方法还包含：
使用所述IMU估计所述深度相机的姿态；以及
在捕获所述3D点云中的第一个和捕获所述3D点云中的第二个之间使用所述深度相机的估计姿态，以便从所述3D点云中的所述第一个中的所述检测并且定位到的弯曲表面预测所述3D点云中的所述第二个中的所述弯曲表面的位置。
16.根据权利要求11所述的方法，其还包含：
使用所述捕获的3D点云来自主地检测并且定位所述弯曲表面；以及
控制所述LIDAR系统来捕获垂直于所述检测并且定位到的弯曲表面的所述2D切片。
17.根据权利要求16所述的方法，其中所述弯曲表面是圆柱形的，并且所述方法还包含控制所述LIDAR系统来捕获垂直于圆柱体的中心轴线的所述2D切片。
18.根据权利要求11所述的方法，其还包含使用随机抽样一致性(RANSAC)方法来自主地检测并且定位所述弯曲表面。
19.根据权利要求11所述的方法，其还包含：
使用所述捕获的3D点云或所述捕获的2D切片或所述捕获的3D点云和所述捕获的2D切片两者来检测所述UAV从所述起始位置到所述着陆位置的飞行路径上的一个或多个障碍物；以及
自主地重定向所述UAV以避开所述飞行路径上的所述一个或多个障碍物。
20.根据权利要求11所述的方法，其中所述弯曲表面是铁磁性的，所述UAV还包含磁性支腿，并且所述方法还包含在所述着陆期间将所述磁性支腿磁性地附接到铁磁弯曲表面，并且在所述着陆之后保持磁性地附接到所述铁磁弯曲表面。
CN201980077236.6A 2018-11-29 2019-11-27 用于uav在管道上停落的自动化方法 Pending CN113474677A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862772700P 2018-11-29 2018-11-29
US62/772,700 2018-11-29
US16/696,085 2019-11-26
US16/696,085 US11235823B2 (en) 2018-11-29 2019-11-26 Automation methods for UAV perching on pipes
PCT/US2019/063586 WO2020112985A1 (en) 2018-11-29 2019-11-27 Automation methods for uav perching on pipes

Publications (1)

Publication Number Publication Date
CN113474677A true CN113474677A (zh) 2021-10-01

Family

ID=70848632

Family Applications (5)

Application Number Title Priority Date Filing Date
CN201980077496.3A Pending CN113453981A (zh) 2018-11-29 2019-11-26 用于使uav着陆在弯曲的表面上的铰接的磁体承载支腿
CN201980077492.5A Pending CN113439057A (zh) 2018-11-29 2019-11-26 具有可释放爬行器的停落uav
CN201980077491.0A Pending CN113439056A (zh) 2018-11-29 2019-11-26 使用具有可释放爬行器的停落uav的检查方法
CN201980075987.4A Pending CN113056412A (zh) 2018-11-29 2019-11-26 具有自动探测器归一化的履带车
CN201980077236.6A Pending CN113474677A (zh) 2018-11-29 2019-11-27 用于uav在管道上停落的自动化方法

Family Applications Before (4)

Application Number Title Priority Date Filing Date
CN201980077496.3A Pending CN113453981A (zh) 2018-11-29 2019-11-26 用于使uav着陆在弯曲的表面上的铰接的磁体承载支腿
CN201980077492.5A Pending CN113439057A (zh) 2018-11-29 2019-11-26 具有可释放爬行器的停落uav
CN201980077491.0A Pending CN113439056A (zh) 2018-11-29 2019-11-26 使用具有可释放爬行器的停落uav的检查方法
CN201980075987.4A Pending CN113056412A (zh) 2018-11-29 2019-11-26 具有自动探测器归一化的履带车

Country Status (8)

Country Link
US (5) US11097796B2 (zh)
EP (5) EP3887252B1 (zh)
JP (5) JP7475347B2 (zh)
KR (5) KR20210110301A (zh)
CN (5) CN113453981A (zh)
SA (3) SA521422005B1 (zh)
SG (5) SG11202105481PA (zh)
WO (5) WO2020112859A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115575488A (zh) * 2022-11-21 2023-01-06 中国石油大学(华东) 基于acfm与视觉的集成探头及协同检测方法

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10078136B2 (en) * 2014-03-25 2018-09-18 Amazon Technologies, Inc. Sense and avoid for automated mobile vehicles
US11926172B2 (en) * 2018-03-30 2024-03-12 Jabil Inc. Apparatus, system, and method of providing a stabilizing drive system for a robotic vehicle
US11338911B2 (en) * 2018-09-18 2022-05-24 Insitu, Inc. Magnetic recovery systems and magnetic docking mechanisms for fixed-wing unmanned aerial vehicles
US11097796B2 (en) * 2018-11-29 2021-08-24 Saudi Arabian Oil Company Articulated magnet-bearing legs for UAV landing on curved surfaces
US11385204B2 (en) * 2018-12-11 2022-07-12 The Boeing Company Fan-propelled surface-adhering apparatus for automated maintenance operations
WO2021014396A1 (en) * 2019-07-24 2021-01-28 Detect Technologies Private Limited An arm mechanism for docking an unmanned aerial vehicle to a structure for non-destructive testing
WO2021038301A1 (en) * 2019-08-23 2021-03-04 Peter Kessler Pipe inspection device with variable height control
KR102323975B1 (ko) * 2020-05-07 2021-11-09 손영선 빠르고 오랜 시간 비행 하는 드론
KR102383936B1 (ko) * 2020-07-31 2022-05-06 주식회사 시에라베이스 목표드론 무력화장치
KR20230023797A (ko) * 2020-07-31 2023-02-17 제이에프이 스틸 가부시키가이샤 검사 장치, 검사 시스템 및 검사 방법, 그리고 부재의 보수 방법
CN111679693B (zh) * 2020-08-17 2020-12-04 国网湖北省电力有限公司检修公司 一种基于磁场强度检测的无人机避障方法
US11782456B2 (en) * 2020-09-01 2023-10-10 Indoor Robotics Ltd. Device, system and a method for magnetically docking a flying apparatus
CN112034890B (zh) * 2020-09-15 2021-09-24 西安爱生无人机技术有限公司 无人机人机协同控制系统
CN112130457A (zh) * 2020-09-21 2020-12-25 南京航空航天大学 一种变体无人机栖落机动的模糊飞行控制方法
CN112305071B (zh) * 2020-10-23 2022-07-12 齐鲁工业大学 一种基于麦克纳姆轮的导波检测管外机器人及其工作方法
CN112317459B (zh) * 2020-10-29 2021-11-02 广西壮族自治区特种设备检验研究院 一种用于容器表面清洗打磨装备系统
US11650185B2 (en) 2020-11-30 2023-05-16 Saudi Arabian Oil Company System and method for passive normalization of a probe
US11584516B2 (en) * 2020-11-30 2023-02-21 Saudi Arabian Oil Company Bi-stable and switchable magnetic legs for UAV landing on curved surfaces
US11584525B2 (en) * 2020-11-30 2023-02-21 Saudi Arabian Oil Company Deep learning-based localization of UAVs with respect to nearby pipes
US11760127B2 (en) 2020-12-03 2023-09-19 Saudi Arabian Oil Company Two-wheel compact inspection crawler with automatic probe normalization
US11679875B2 (en) * 2020-12-03 2023-06-20 Saudi Arabian Oil Company Mechanism for docking a magnetic crawler into a UAV
KR102417964B1 (ko) * 2021-01-21 2022-07-06 부산대학교 산학협력단 드론의 험지 착륙을 위한 4족 랜딩 시스템 및 그의 동작 방법
US11225325B1 (en) * 2021-03-12 2022-01-18 DroneUp, LLC Payload delivery and drop device for unmanned aerial vehicle for automatic release upon surface contact
US11865698B2 (en) 2021-04-20 2024-01-09 Gecko Robotics, Inc. Inspection robot with removeable interface plates and method for configuring payload interfaces
EP4327047A1 (en) 2021-04-22 2024-02-28 Gecko Robotics, Inc. Systems, methods, and apparatus for ultra-sonic inspection of a surface
CN113212135A (zh) * 2021-05-19 2021-08-06 哈尔滨工业大学 一种带有自定位功能的全向移动机器人模块化底盘
CN215098250U (zh) * 2021-05-27 2021-12-10 上海峰飞航空科技有限公司 一种垂直起降无人机
KR20230016487A (ko) * 2021-07-26 2023-02-02 현대자동차주식회사 장애물 형상 추정 장치 및 그 방법
US11878796B2 (en) * 2021-07-30 2024-01-23 Saudi Arabian Oil Company Perching UAV with releasable crawler
US11885769B2 (en) 2021-08-18 2024-01-30 Saudi Arabian Oil Company UAV for continuous ultrasound testing (UT) scans
KR102589941B1 (ko) * 2021-08-24 2023-10-13 한국항공우주연구원 재사용 발사체 착륙장치
CN113602486B (zh) * 2021-08-27 2023-03-10 中国商用飞机有限责任公司 小车式起落架及飞行器
US20230079054A1 (en) * 2021-09-10 2023-03-16 Exploration Robotics Technologies Inc. System and method for autonomous inspection for asset maintenance and management
US20230110540A1 (en) * 2021-10-08 2023-04-13 Saudi Arabian Oil Company System and method for position tracking of a crawler on a structure
CN113985438B (zh) * 2021-11-12 2022-08-12 河北农业大学 一种植物三维模型重建系统及方法
CN113978761B (zh) * 2021-11-17 2023-04-21 中国民用航空飞行学院 一种飞机机身检测机器人
CN114212265B (zh) * 2021-12-31 2022-07-01 蜂巢航宇科技（北京）有限公司 一种多旋翼无人机机库
WO2023159180A1 (en) * 2022-02-17 2023-08-24 Nutech Ventures Single-pass 3d reconstruction of internal surface of pipelines using depth camera array
US11807407B2 (en) 2022-03-16 2023-11-07 Saudi Arabian Oil Company System, apparatus, and method for inspecting industrial structures using a UAV
KR102473938B1 (ko) * 2022-05-09 2022-12-06 남상균 비행 안정성이 향상된 드론
KR102473944B1 (ko) * 2022-05-09 2022-12-06 에이에프아이 주식회사 기체 안전성이 향상된 드론
CN114910026B (zh) * 2022-06-15 2023-08-22 南京工程学院 一种用于球墨铸管壁厚检测的三轮自适应小车
KR102514703B1 (ko) * 2022-07-29 2023-03-29 (주)한맥기술 복수 개의 카메라를 이용하여 구조물의 손상 영역을 촬영하는 무인 비행 장치 및 이를 이용한 구조물 손상 검사 장치
KR102562370B1 (ko) * 2022-11-01 2023-08-01 주식회사 자연과기술 항공 라이다를 이용한 평탄도 및 고도 측정 시스템
CN117554488B (zh) * 2024-01-11 2024-03-22 成都工业学院 一种超声干耦合的罐体缺陷智能检测小车

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103192987A (zh) * 2013-04-07 2013-07-10 南京理工大学 一种飞行和爬壁两栖机器人及其控制方法
WO2014058337A1 (en) * 2012-10-11 2014-04-17 Siemens Aktiengesellschaft An unmanned autonomous vehicle for inspection of fluid transportation means
US20140163781A1 (en) * 2012-12-12 2014-06-12 The Boeing Company Tree Metrology System
US8798372B1 (en) * 2012-03-07 2014-08-05 Hrl Laboratories, Llc Method for detecting bridges using lidar point cloud data
EP2884305A1 (en) * 2013-12-13 2015-06-17 Sikorsky Aircraft Corporation Semantics based safe landing area detection for an unmanned vehicle
US20160214715A1 (en) * 2014-11-21 2016-07-28 Greg Meffert Systems, Methods and Devices for Collecting Data at Remote Oil and Natural Gas Sites
WO2017050893A1 (en) * 2015-09-22 2017-03-30 Pro-Drone Lda. Autonomous inspection of elongated structures using unmanned aerial vehicles
JP2017115787A (ja) * 2015-12-25 2017-06-29 Ntn株式会社 風力発電設備のメンテナンス方法および無人飛行機
US20170248969A1 (en) * 2016-02-29 2017-08-31 Thinkware Corporation Method and system for providing route of unmanned air vehicle
US20180046187A1 (en) * 2016-08-12 2018-02-15 Skydio, Inc. Unmanned aerial image capture platform
US20180061148A1 (en) * 2016-09-01 2018-03-01 Ford Global Technologies, Llc Surrogate vehicle sensors
CN108128108A (zh) * 2018-01-18 2018-06-08 浙江大学 一种基于仿生学原理的三栖运动四旋翼无人机
CN108263606A (zh) * 2018-01-29 2018-07-10 四川尚航智能科技有限公司 一种基于垂直起降固定翼无人机及其天然气管线巡检系统、方法
CN108827306A (zh) * 2018-05-31 2018-11-16 北京林业大学 一种基于多传感器融合的无人机slam导航方法及系统

Family Cites Families (99)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5350221Y2 (zh) * 1973-03-12 1978-12-01
JPS63149557A (ja) 1986-12-12 1988-06-22 Hitachi Ltd 管検査用の無軌道式走査装置
SU1602193A1 (ru) 1987-12-10 1994-04-30 Мгту Им.Н.Э.Баумана Автоматическое сканирующее устройство для ультразвукового контроля сварных швов изделий
US5220869A (en) * 1991-08-07 1993-06-22 Osaka Gas Company, Ltd. Vehicle adapted to freely travel three-dimensionally and up vertical walls by magnetic force and wheel for the vehicle
US5435405A (en) * 1993-05-14 1995-07-25 Carnegie Mellon University Reconfigurable mobile vehicle with magnetic tracks
JP2002127070A (ja) * 2000-10-18 2002-05-08 Hiroshi Akashi 板状体保持装置
US10633093B2 (en) * 2017-05-05 2020-04-28 General Electric Company Three-dimensional robotic inspection system
US7784812B1 (en) * 2006-05-23 2010-08-31 Francisco Javier Lares Central multi directional transmission system
WO2008085536A2 (en) 2006-05-23 2008-07-17 Avid, Llc Dual-use modular propulsion surveillance vehicle with detachable unmanned airborne vehicles
JP5411702B2 (ja) * 2006-11-13 2014-02-12 レイセオン カンパニー 可動アームを有するロボット式無限軌道車
US8251307B2 (en) * 2007-06-11 2012-08-28 Honeywell International Inc. Airborne manipulator system
US8328130B2 (en) * 2008-12-08 2012-12-11 Honeywell International Inc. Vertical take off and landing unmanned aerial vehicle airframe structure
CN101565063B (zh) * 2009-05-21 2010-08-11 上海交通大学 永磁吸附式轮式爬壁机器人
AU2010325108B2 (en) * 2009-09-09 2016-09-01 Aerovironment, Inc. Elevon control system
KR101002434B1 (ko) 2010-07-27 2010-12-21 나우기연주식회사 자동 초음파 탐상 검사 장치
US9387940B2 (en) * 2010-11-09 2016-07-12 Colorado Seminary Which Owns And Operates The University Of Denver Intelligent self-leveling docking system
CN102673671B (zh) * 2012-06-07 2014-03-19 中国东方电气集团有限公司 一种复合磁吸附式视频检测爬壁机器人
CN202624434U (zh) 2012-06-07 2012-12-26 中国东方电气集团有限公司 具有小折叠尺寸机械手臂的全驱动磁吸附式多功能爬壁机器人
CN102806954B (zh) * 2012-09-10 2015-05-20 昆明理工大学 自动侧倾单后轮驱动三轮车架
KR101427351B1 (ko) 2012-12-17 2014-08-07 한국항공우주연구원 충전유닛을 갖는 쿼드로터 타입 비행체
CN103921933A (zh) * 2013-01-10 2014-07-16 深圳市大疆创新科技有限公司 飞行器变形结构及微型飞行器
DE102013000685B4 (de) 2013-01-11 2014-11-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Mobiles Trägersystem für mindestens ein zur zerstörungsfreien Prüfung ausgebildetes Sensorelement
US9201047B1 (en) * 2013-06-05 2015-12-01 The Boeing Company Continuously adaptive ultrasonic inspection device
JP6521971B2 (ja) * 2013-11-30 2019-05-29 サウジ アラビアン オイル カンパニー モジュール式移動検査ビークル
CN106061754B (zh) * 2013-11-30 2018-10-09 沙特阿拉伯石油公司 磁性全向轮
ES2815923T3 (es) * 2013-11-30 2021-03-31 Saudi Arabian Oil Co Chasis de vehículo articulado
KR101491076B1 (ko) 2014-02-20 2015-02-10 안동대학교 산학협력단 탐사용 로봇
US9561871B2 (en) * 2014-05-07 2017-02-07 Deere & Company UAV docking system and method
AU2015287294B2 (en) * 2014-07-09 2019-08-22 Magswitch Technology Inc. Magnetic tool stand
KR101592904B1 (ko) * 2014-08-21 2016-02-18 두산중공업 주식회사 풍력 발전기 유지 보수 유닛 및 이를 이용한 유지 보수 방법
SI3218263T1 (sl) * 2014-11-10 2022-08-31 Ascent Aerosystems Inc. Brezpilotna letalna naprava
GB201420182D0 (en) 2014-11-13 2014-12-31 Sewell Gary Curved surface operating unmanned vehicle and applications thereof
US9764837B2 (en) 2014-11-14 2017-09-19 Top Flight Technologies, Inc. Micro hybrid generator system drone
JP6841769B2 (ja) * 2015-01-30 2021-03-10 トリナミクス ゲゼルシャフト ミット ベシュレンクテル ハフツング 少なくとも１個の物体を光学的に検出する検出器
US10012618B2 (en) * 2015-02-18 2018-07-03 Saudi Arabian Oil Company Deployment mechanism for passive normalization of a probe relative to a surface
US9540121B2 (en) * 2015-02-25 2017-01-10 Cisco Technology, Inc. Pre-flight self test for unmanned aerial vehicles (UAVs)
SG11201706939QA (en) * 2015-03-09 2017-09-28 Saudi Arabian Oil Co Field deployable docking station for mobile robots
US10081421B2 (en) 2015-03-26 2018-09-25 University Of North Dakota Perching attachment for unmanned aircraft
CN204526692U (zh) 2015-04-23 2015-08-05 马鞍山市赛迪智能科技有限公司 一种陆空两用无人飞行器
CN107850516B (zh) * 2015-05-20 2021-05-28 沙特阿拉伯石油公司 检测碳氢化合物渗漏的取样技术
CN105172935B (zh) * 2015-10-19 2018-02-27 新西兰投资贸易中心 电动汽车
IL242418B (en) * 2015-11-03 2020-05-31 Israel Aerospace Ind Ltd Drone and method for flying it
KR101753598B1 (ko) 2015-11-10 2017-07-06 한국과학기술원 탄성 접이식 몸체 구조 메커니즘을 가지는 공중-지상 이동 로봇
EP3387506B1 (en) 2015-12-09 2021-01-13 SZ DJI Technology Co., Ltd. Systems and methods for auto-return
EP3445654A4 (en) * 2016-03-18 2019-09-18 Oceaneering International Inc. USE OF PILOT-FREE AIR VEHICLES FOR CND INSPECTIONS
US10529221B2 (en) * 2016-04-19 2020-01-07 Navio International, Inc. Modular approach for smart and customizable security solutions and other applications for a smart city
US10239347B2 (en) * 2016-05-18 2019-03-26 Saudi Arabian Oil Company Magnetic omni-wheel with roller bracket
KR20160129786A (ko) 2016-05-27 2016-11-09 장민하 작업용 드론
US10597164B2 (en) * 2016-07-01 2020-03-24 Textron Innovations Inc. Aircraft having redundant directional control
DE102016214655A1 (de) 2016-08-08 2018-02-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. System zum zerstörungsfreien Untersuchen eines über wenigstens eine frei zugängliche Oberfläche verfügenden dreidimensionalen Objektes
EP3293115B1 (de) * 2016-09-07 2019-10-30 Siemens Aktiengesellschaft Verfahren zur steuerung unbemannter flugobjekte
US10878365B2 (en) * 2016-09-28 2020-12-29 Federal Express Corporation Aerial drone-based systems and methods for adaptively providing an aerial relocatable communication hub within a delivery vehicle
JP2018069880A (ja) * 2016-10-27 2018-05-10 新日鐵住金株式会社 作業装置及び作業方法
US20180120196A1 (en) 2016-10-31 2018-05-03 The Boeing Company Method and system for non-destructive testing using an unmanned aerial vehicle
CN109923628B (zh) * 2016-11-17 2023-02-17 索尼公司 电子部件、供电装置以及制造线圈的方法
CN206318030U (zh) 2016-11-24 2017-07-11 普宙飞行器科技（深圳）有限公司 无人飞行器起落停机坪装置及无人飞行器
KR101707865B1 (ko) * 2016-11-28 2017-02-27 한국건설기술연구원 시설물 근접 촬영용 무인비행체 시스템 및 이를 이용한 촬영 방법
EP3559654B1 (en) * 2016-12-23 2021-10-27 Gecko Robotics, Inc. Inspection robot
CN106527487A (zh) 2016-12-23 2017-03-22 北京理工大学 一种运动平台上无人机自主精确着陆系统及着陆方法
CN106647790A (zh) 2016-12-27 2017-05-10 重庆大学 面向复杂环境的四旋翼无人机飞行器系统及飞行方法
IL249888B (en) * 2017-01-01 2021-04-29 Levy Moshe Universal flying ground vehicle
CA3045301C (en) 2017-01-06 2023-10-03 Aurora Flight Sciences Corporation Collision-avoidance system and method for unmanned aircraft
JP2018114822A (ja) 2017-01-18 2018-07-26 大成建設株式会社 無人飛行体に装着する運搬物の把持装置
US20180232874A1 (en) * 2017-02-10 2018-08-16 Ecosubsea As Inspection vehicle
EP3596502A1 (en) * 2017-03-16 2020-01-22 trinamiX GmbH Detector for optically detecting at least one object
CN206704338U (zh) 2017-03-24 2017-12-05 洛阳圣瑞智能机器人有限公司 一种爬壁磁吸附机器人的行走底盘装置
US11199631B2 (en) * 2017-04-07 2021-12-14 Criterionix, L.L.C. Apparatus and methods for geo-locating one or more objects
CN108688798B (zh) * 2017-04-11 2020-11-06 北京乐普盛通信息技术有限公司 飞行器辅助起降装置及其降落与起飞控制方法
CN106931963A (zh) 2017-04-13 2017-07-07 高域（北京）智能科技研究院有限公司 环境数据共享平台、无人飞行器、定位方法和定位系统
US10480982B2 (en) * 2017-04-19 2019-11-19 Saudi Arabian Oil Company Acoustic calibration array for tanks and vessels
US10442522B2 (en) * 2017-05-26 2019-10-15 Bell Textron Inc. Aircraft with active aerosurfaces
CN206813306U (zh) 2017-06-15 2017-12-29 歌尔科技有限公司 无人机起落架及无人机
US20200132286A1 (en) * 2017-07-06 2020-04-30 Strihl Scandinavia Ab Airborne system for replacing modular lighting luminaire
US10343276B2 (en) 2017-07-12 2019-07-09 Saudi Arabian Oil Company Compact magnetic crawler vehicle with anti-rocking supports
US10451222B2 (en) * 2017-07-12 2019-10-22 Saudi Arabian Oil Company Magnetic crawler vehicle with passive rear-facing apparatus
US10338592B2 (en) * 2017-08-24 2019-07-02 Saudi Arabian Oil Company High accuracy remote coordinate machine
US11077935B2 (en) 2017-08-28 2021-08-03 Saudi Arabian Oil Company Thruster based locomotion for perched unmanned aerial vehicles
US11086316B2 (en) * 2017-09-07 2021-08-10 Qualcomm Incorporated Robotic vehicle insecure pay load detection and response
CN207207653U (zh) 2017-09-14 2018-04-10 王志成 基于四旋翼结构的爬墙机器人
US10377486B2 (en) 2017-12-07 2019-08-13 Harman International Industries, Incorporated Drone deployed speaker system
US11035669B2 (en) * 2018-02-06 2021-06-15 Saudi Arabian Oil Company Tilt and distance profiling vehicle
US11225332B2 (en) * 2018-02-26 2022-01-18 James Thomas Pike Unmanned aerial vehicle provided with detachable motor arms
JP7120509B2 (ja) * 2018-03-09 2022-08-17 Thk株式会社 飛行ロボット
KR102038678B1 (ko) 2018-03-29 2019-10-30 한국컴포짓 주식회사 자력이착륙형 드론장치
CN108482661B (zh) * 2018-04-17 2019-11-12 山东瑞奥智能设备股份有限公司 一种石油管道在线检修无人机
JP7015734B2 (ja) * 2018-05-14 2022-02-03 株式会社東芝 送電装置、移動体および無線電力伝送装置
CN108944302B (zh) 2018-05-23 2021-10-22 上海交通大学 一种微小型四旋翼六足仿生飞爬机器人
CN208602694U (zh) 2018-06-14 2019-03-15 天津航天中为数据系统科技有限公司 一种多旋翼无人机缓冲起落架
US10661898B2 (en) * 2018-06-21 2020-05-26 Cimcon Lighting, Inc. Unmanned aerial vehicle for infrastructure maintenance
US11007635B2 (en) * 2018-07-25 2021-05-18 The Boeing Company Gravity compensation for self-propelled robotic vehicles crawling on non-level surfaces
US11104552B2 (en) * 2018-09-26 2021-08-31 Cisco Technology, Inc. Docking and undocking payloads from mobile robots
CN208915429U (zh) 2018-09-30 2019-05-31 三一汽车制造有限公司 无人机、无人机停放平台
US20200089206A1 (en) * 2018-10-10 2020-03-19 Greenstar Research and Development India Pvt Ltd Unmanned aerial vehicle (uav) and a system for monitoring and maintaining luminaires using the uav
CN109334955A (zh) 2018-11-01 2019-02-15 烟台市安特洛普网络科技有限公司 无人机起落架
US11097796B2 (en) * 2018-11-29 2021-08-24 Saudi Arabian Oil Company Articulated magnet-bearing legs for UAV landing on curved surfaces
CN109573007A (zh) 2018-12-26 2019-04-05 航天神舟飞行器有限公司 一种基于多足结构的垂直起降无人机自适应起落架系统
CN109934871A (zh) 2019-02-18 2019-06-25 武汉大学 一种面向高危环境的智能无人机抓取目标的系统和方法
CN109976379A (zh) 2019-03-15 2019-07-05 上海工程技术大学 一种激光雷达和深度相机融合的自主导航及避障无人机
US11760127B2 (en) * 2020-12-03 2023-09-19 Saudi Arabian Oil Company Two-wheel compact inspection crawler with automatic probe normalization

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8798372B1 (en) * 2012-03-07 2014-08-05 Hrl Laboratories, Llc Method for detecting bridges using lidar point cloud data
WO2014058337A1 (en) * 2012-10-11 2014-04-17 Siemens Aktiengesellschaft An unmanned autonomous vehicle for inspection of fluid transportation means
US20140163781A1 (en) * 2012-12-12 2014-06-12 The Boeing Company Tree Metrology System
CN103192987A (zh) * 2013-04-07 2013-07-10 南京理工大学 一种飞行和爬壁两栖机器人及其控制方法
EP2884305A1 (en) * 2013-12-13 2015-06-17 Sikorsky Aircraft Corporation Semantics based safe landing area detection for an unmanned vehicle
US20160214715A1 (en) * 2014-11-21 2016-07-28 Greg Meffert Systems, Methods and Devices for Collecting Data at Remote Oil and Natural Gas Sites
WO2017050893A1 (en) * 2015-09-22 2017-03-30 Pro-Drone Lda. Autonomous inspection of elongated structures using unmanned aerial vehicles
JP2017115787A (ja) * 2015-12-25 2017-06-29 Ntn株式会社 風力発電設備のメンテナンス方法および無人飛行機
US20170248969A1 (en) * 2016-02-29 2017-08-31 Thinkware Corporation Method and system for providing route of unmanned air vehicle
US20180046187A1 (en) * 2016-08-12 2018-02-15 Skydio, Inc. Unmanned aerial image capture platform
US20180061148A1 (en) * 2016-09-01 2018-03-01 Ford Global Technologies, Llc Surrogate vehicle sensors
CN108128108A (zh) * 2018-01-18 2018-06-08 浙江大学 一种基于仿生学原理的三栖运动四旋翼无人机
CN108263606A (zh) * 2018-01-29 2018-07-10 四川尚航智能科技有限公司 一种基于垂直起降固定翼无人机及其天然气管线巡检系统、方法
CN108827306A (zh) * 2018-05-31 2018-11-16 北京林业大学 一种基于多传感器融合的无人机slam导航方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HUANG XIAOQIAN ET AL.: "AUTONOMOUS GROUND PIIPELINES TRACKING VIA AN UAV", 2016 13TH INTERNATIONAL COMPUTER CONFERENCE ON WAVELET ACTIVE MEDIA TECHNOLOGY AND INFORMATION PROCESSING (ICCWAMTIP), 18 December 2016 (2016-12-18) *
张恬洁;康志忠;: "融合深度相机点云与光学影像的室内三维建模", 测绘科学, no. 12, 20 December 2016 (2016-12-20) *
王日俊;白越;曾志强;段能全;党长营;杜文华;王俊元;: "无人飞行器在油气输送管道监测系统的应用进展与展望", 科技和产业, no. 06, 25 June 2018 (2018-06-25) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115575488A (zh) * 2022-11-21 2023-01-06 中国石油大学(华东) 基于acfm与视觉的集成探头及协同检测方法

Also Published As

Publication number Publication date
WO2020112887A1 (en) 2020-06-04
EP3887859A1 (en) 2021-10-06
CN113453981A (zh) 2021-09-28
US11584458B2 (en) 2023-02-21
SG11202105481PA (en) 2021-06-29
JP2022510950A (ja) 2022-01-28
US11097796B2 (en) 2021-08-24
KR20210110301A (ko) 2021-09-07
JP2022511798A (ja) 2022-02-01
WO2020112903A1 (en) 2020-06-04
US11548577B2 (en) 2023-01-10
EP3887252B1 (en) 2022-12-28
EP3887250A1 (en) 2021-10-06
WO2020112985A1 (en) 2020-06-04
KR20210110808A (ko) 2021-09-09
SA521422008B1 (ar) 2023-06-07
CN113439057A (zh) 2021-09-24
CN113439056A (zh) 2021-09-24
CN113056412A (zh) 2021-06-29
JP2022509282A (ja) 2022-01-20
SA521422005B1 (ar) 2023-01-24
SG11202105477VA (en) 2021-06-29
SA521422066B1 (ar) 2022-12-04
US20200172184A1 (en) 2020-06-04
EP3887252A1 (en) 2021-10-06
US20200172231A1 (en) 2020-06-04
US20200174478A1 (en) 2020-06-04
WO2020112859A1 (en) 2020-06-04
WO2020154035A1 (en) 2020-07-30
US11472498B2 (en) 2022-10-18
KR20210109529A (ko) 2021-09-06
US20200172232A1 (en) 2020-06-04
KR20210110587A (ko) 2021-09-08
SG11202105484QA (en) 2021-06-29
EP3887235A1 (en) 2021-10-06
JP2022510949A (ja) 2022-01-28
JP2022510298A (ja) 2022-01-26
SG11202104945VA (en) 2021-06-29
EP3887859B1 (en) 2022-11-16
US11235823B2 (en) 2022-02-01
SG11202104944SA (en) 2021-06-29
JP7475347B2 (ja) 2024-04-26
EP3887251A1 (en) 2021-10-06
KR20210109536A (ko) 2021-09-06
JP7444884B2 (ja) 2024-03-06
US20200174129A1 (en) 2020-06-04

Similar Documents

Publication Publication Date Title
EP3887859B1 (en) Automation methods for uav perching on pipes
US11584525B2 (en) Deep learning-based localization of UAVs with respect to nearby pipes
CN108051002B (zh) 基于惯性测量辅助视觉的运输车空间定位方法及系统
TWI827649B (zh) 用於ｖｓｌａｍ比例估計的設備、系統和方法
Shabayek et al. Vision based uav attitude estimation: Progress and insights
Shukla et al. Autonomous tracking and navigation controller for an unmanned aerial vehicle based on visual data for inspection of oil and gas pipelines
Langelaan et al. Towards autonomous UAV flight in forests
Shen et al. Collaborative air-ground target searching in complex environments
Yang et al. Monocular vision based navigation in GPS-denied riverine environments
Andersen et al. Depth-based deep learning for manhole detection in uav navigation
Horgan et al. Review of machine vision applications in unmanned underwater vehicles
KR101356644B1 (ko) 위치 인식 시스템 및 그 방법
Wang et al. UAV navigation in large-scale GPS-denied bridge environments using fiducial marker-corrected stereo visual-inertial localisation
Shang et al. Vision Model-Based Real-Time Localization of Unmanned Aerial Vehicle for Autonomous Structure Inspection under GPS-Denied Environment
Tsukiyama Global navigation system with RFID tags
US20230073689A1 (en) Inspection Device for Inspecting a Building or Structure
Pugliese et al. LiDAR-aided relative and absolute localization for automated UAV-based inspection of aircraft fuselages
Dawadee et al. An algorithm for autonomous aerial navigation using landmarks
Cesetti et al. A single-camera feature-based vision system for helicopter autonomous landing
Dawadee et al. A method for autonomous navigation of uavs using landmarks
Desai et al. Stabilization and control of quad-rotor helicopter using a smartphone device
Nasir et al. Aerial robot localization using ground robot tracking–towards cooperative slam
Del Pizzo et al. Roll and pitch estimation using visual horizon recognition
Mantelli Alternative Position Estimation Systems for Micro Air Vehicles
Li-Chee-Ming Map-Based Localization for Unmanned Aerial Vehicle Navigation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination