CN109242890B - 用于飞行器的激光散斑系统和方法 - Google Patents

用于飞行器的激光散斑系统和方法 Download PDF

Info

Publication number
CN109242890B
CN109242890B CN201810493720.4A CN201810493720A CN109242890B CN 109242890 B CN109242890 B CN 109242890B CN 201810493720 A CN201810493720 A CN 201810493720A CN 109242890 B CN109242890 B CN 109242890B
Authority
CN
China
Prior art keywords
speckle pattern
laser
aircraft
processor
laser speckle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810493720.4A
Other languages
English (en)
Other versions
CN109242890A (zh
Inventor
J-W·崔
J·帕杜阿诺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aurora Flight Sciences Corp
Original Assignee
Aurora Flight Sciences Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aurora Flight Sciences Corp filed Critical Aurora Flight Sciences Corp
Publication of CN109242890A publication Critical patent/CN109242890A/zh
Application granted granted Critical
Publication of CN109242890B publication Critical patent/CN109242890B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S1/00—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith
    • G01S1/70—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith using electromagnetic waves other than radio waves
    • G01S1/703—Details
    • G01S1/7032—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S1/00—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith
    • G01S1/70—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith using electromagnetic waves other than radio waves
    • G01S1/703—Details
    • G01S1/7032—Transmitters
    • G01S1/7038—Signal details
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/48—Laser speckle optics
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04—Control of altitude or depth
    • G05D1/06—Rate of change of altitude or depth
    • G05D1/0607—Rate of change of altitude or depth specially adapted for aircraft
    • G05D1/0653—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing
    • G05D1/0676—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing specially adapted for landing
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请涉及用于飞行器的激光散斑系统和方法，公开了一种用于配准由飞行器捕获的多个点云的系统。该系统包括散斑发生器、至少一个三维(3D)扫描仪以及耦合到其的处理器。在操作中，散斑发生器将激光散斑图案投射到表面上(例如，无特征表面)。该至少一个3D扫描仪扫描所述表面以生成表面的多个点云并且对激光散斑图案的至少一部分进行成像。与至少一个3D扫描仪通信地耦合的处理器至少部分地基于激光散斑图案配准多个点云以生成表面的完整3D模型。

Description

用于飞行器的激光散斑系统和方法
技术领域
本发明总体涉及用于配准点云并定位航空交通工具的系统和方法，更具体地涉及使用激光散斑技术配准点云并定位航空交通工具。
背景技术
无人驾驶航空交通工具(“UAV”)技术已被证明是包括情报、监测、侦察和有效载荷交付在内的任务简介的宝贵工具。在诸如低空城市侦察的情况下，诸如微型航空交通工具(“MAV”)或无人驾驶航空系统(“UAS”)的UAV可能遇到大小障碍物。为了减轻碰撞，UAV可以定位到特定位置。最近，UAV已被采用以监测结构的完整性(例如建筑物、桥梁等)。可以理解的是，扫描结构既需要定位飞行器又需要用于在扫描过程期间将由UAV的扫描仪/相机生成的多个点云配准或缝合在一起的技术。定位或以其他方式限制UAS相对于地面上的单个点的现有方法依赖不确定的视觉数据源，诸如摄影测量法或视觉测距法。使用视觉方法引入的不确定性相对于距离源的距离传播，并且误差以像素为单位进行测量。因此，需要一种用于定位航空交通工具的系统和方法。
发明内容
公开了一种系统和方法，用于使用激光散斑技术配准点云并定位航空交通工具。
根据第一方面，用于配准多个点云的系统包括：散斑发生器，其用于将第一激光散斑图案投射到表面上；至少一个三维(3D)扫描仪，其用于扫描该表面，其中至少一个3D扫描仪经配置以生成表面的多个点云并且对第一激光散斑图案的至少一部分进行成像；以及处理器，其与至少一个3D扫描仪通信地耦合，以至少部分地基于第一激光散斑图案配准多个点云来生成表面的3D模型。
在某些方面，散斑发生器包括用于生成激光束的激光源以及用于将激光束衍射成多级的多个激光束的光学元件，其中多个激光束限定第一激光散斑图案。
在某些方面，第一激光散斑图案是伪随机激光散斑图案。
在某些方面，光学元件包括具有多个平行且紧密间隔的狭缝的衍射光栅。
在某些方面，光学元件包括具有多个开槽衍射图案的多焦点衍射透镜。
在某些方面，至少一个三维(3D)扫描仪被耦合到飞行器。
在某些方面，飞行器进一步包括漫射器以及与处理器通信地耦合的面向下的相机，该面向下的相机经配置以对漫射器的第一表面进行成像。
在某些方面，散斑发生器经配置以将第二激光散斑图案投射到漫射器的第二表面上。
在某些方面，第一表面和第二表面位于平行平面中，漫射器使用不透明材料制造。
在某些方面，面向下的相机经配置以对第一表面进行成像以捕获第二激光散斑图案。
在某些方面，处理器经配置以至少部分地基于已知坐标系中的第二激光散斑图案的方位来确定飞行器的横向方位。
在某些方面，第二激光散斑图案包括多个点，并且处理器经配置以：(1)通过测量所述多个点中的至少一个的直径来确定第二激光散斑图案的点尺寸；或者(2)通过测量所述多个点中的至少两个点之间的距离来确定点距离。
在某些方面，处理器经配置以至少部分地基于点尺寸或点距离来确定飞行器的竖直方位。
在某些方面，处理器经配置以通过从第一激光散斑图案中选择多个随机最近邻点来识别散斑图案。
在某些方面，多个随机最近邻点包括6到14个随机最近邻点。
在某些方面，处理器经配置以将散斑图案与多个已知散斑图案进行比较，以从多个已知散斑图案中识别最佳匹配散斑图案。
在某些方面，散斑发生器的物理位置是已知的，并且处理器经配置以至少部分地基于最佳匹配散斑图案来相对于散斑发生器定位飞行器。
在某些方面，处理器位于飞行器上。
在某些方面，处理器远离飞行器定位并且经由一个或多个无线收发器与飞行器通信地耦合。
在某些方面，处理器经配置以至少部分地基于第一激光散斑图案来执行多个点云的粗略配准。
在某些方面，处理器经配置以使用一种或多种算法来执行多个点云的精细配准以最小化两个云点之间的差异。
在某些方面，一个或多个算法包括迭代最接近点(ICP)算法。
在某些方面，该系统进一步包括与处理器通信以存储多个已知散斑图案的存储器设备。
根据第二方面，一种用于对结构的表面进行成像的飞行器包括，其中所述表面具有从散斑发生器投射在其上的第一激光散斑图案：机身；多个马达，其与螺旋桨可操作地耦合；至少一个三维(3D)扫描仪，其用于扫描表面，其中至少一个3D扫描仪经配置以生成朝向表面的多个点云并且对第一激光散斑图案的至少一部分进行成像；以及处理器，其与至少一个3D扫描仪通信地耦合，以至少部分地基于第一激光散斑图案来配准多个点云以生成表面的完整3D模型。
在某些方面，第一激光散斑图案是伪随机激光散斑图案。
在某些方面，飞行器进一步包括漫射器以及与处理器通信地耦合的面向下的相机，该面向下的相机经配置以对漫射器的第一表面进行成像。
在某些方面，面向下的相机经配置以对第一表面进行成像以捕获投射到漫射器的第二表面上的第二激光散斑图案。
在某些方面，第一表面和第二表面位于平行平面中，漫射器使用不透明材料制造。
在某些方面，处理器经配置以至少部分地基于已知坐标系中的第二激光散斑图案的方位来确定飞行器的横向方位。
在某些方面，第二激光散斑图案包括多个点，并且处理器经配置以：(1)通过测量所述多个点中的至少一个的直径来确定第二激光散斑图案的点尺寸；或者(2)通过测量所述多个点中的至少两个点之间的距离来确定点距离。
在某些方面，处理器经配置以至少部分地基于点尺寸或点距离来确定飞行器的竖直方位。
在某些方面，处理器经配置以通过从第一激光散斑图案中选择多个随机最近邻点来识别散斑图案。
在某些方面，多个随机最近邻点包括6到14个随机最近邻点。
在某些方面，处理器经配置以将散斑图案与多个已知散斑图案进行比较，以从多个已知散斑图案中识别最佳匹配散斑图案。
在某些方面，散斑发生器的物理位置是已知的，并且处理器能够至少部分地基于最佳匹配散斑图案相对于散斑发生器来定位飞行器。
在某些方面，处理器经配置以至少部分地基于第一激光散斑图案来执行多个点云的粗略配准。
在某些方面，处理器经配置以使用一个或多个算法来执行多个点云的精细配准以最小化两个云点之间的差异。
在某些方面，一个或多个算法包括迭代最接近点(ICP)算法。
在某些方面，飞行器包括从机身径向延伸的多个转子悬臂，其中所述多个马达中的每一个位于所述多个转子悬臂中的一个的远侧端部处并且电耦合至电子速度控制器(ESC)。
根据第三方面，一种在扫描具有激光散斑图案的表面时配准由飞行器捕获的多个点云的方法包括：投射来自3D扫描仪的结构化光以可视化表面的第一区域；经由处理器生成与第一区域相关联的第一局部点云；关闭来自3D扫描仪的结构化光；经由3D扫描仪可视化激光散斑图案的至少一部分；投射来自3D扫描仪的结构化光以可视化表面的第二区域；经由处理器生成与第二区域相关联的第二局部点云；关闭来自3D扫描仪的结构化光；以及至少部分地基于激光散斑图执行第一局部点云和第二局部点云的配准。
在某些方面，该方法进一步包括使用一个或多个算法执行第一局部点云和第二局部点云的配准以最小化第一局部点云和第二局部点云之间的差异的步骤。
在某些方面，一个或多个算法包括迭代最接近点(ICP)算法。
在某些方面，该方法进一步包括以下步骤：投射来自3D扫描仪的结构化光以可视化表面的第三区域；经由处理器生成与第三区域相关联的第三局部点云；关闭来自3D扫描仪的结构化光；以及至少部分地基于激光散斑图案执行第三局部点云与第二局部点云的配准。
根据第三方面，一种用于识别着陆区内的飞行器的触地区的系统包括：散斑发生器，其位于着陆区处以将激光散斑图案投射到表面上，其中散斑发生器包括用于生成激光束的激光源以及用于将激光束衍射成多级的多个激光束的光学元件，其中多个激光束限定激光散斑图案；至少一个光学捕获设备，其与飞行器耦合，其中至少一个光学捕获设备经配置以对投射到表面上的激光散斑图案的至少一部分进行成像；以及处理器，其与至少一个光学捕获设备通信地耦合以至少部分地基于激光散斑图案的至少一部分来相对于着陆区内的触地区定位飞行器。
在某些方面，激光散斑图案是伪随机激光散斑图案。
在某些方面，飞行器包括具有位于第一平面中的第一表面以及位于第二平面中的第二表面的不透明漫射器，所述第二平面基本平行于第一平面，其中不透明漫射器的第二表面是其上投射有激光散斑图案的表面。
在某些方面，至少一个光学捕获设备是面向下的相机，其经配置以对不透明漫射器的第一表面进行成像以捕获投射在第二表面上的激光散斑图案。
在某些方面，散斑发生器被提升并且经配置以将激光散斑图案向下朝向表面进行投射。
在某些方面，表面是地表面或触地区。
在某些方面，光学元件包括衍射光栅或多焦点衍射透镜。
在某些方面，至少一个光学捕获设备是面向下的相机。
在某些方面，处理器经配置以生成至少部分地基于激光散斑图案的至少一部分来使飞行器在触地区处着陆的指令。
在某些方面，处理器经配置以至少部分地基于已知坐标系中的激光散斑图案的方位来确定飞行器的横向方位。
在某些方面，激光散斑图案包括多个点，并且处理器经配置以：(1)通过测量所述多个点中的至少一个的直径来确定第二激光散斑图案的点尺寸；或者(2)通过测量所述多个点中的至少两个点之间的距离来确定点距离。
在某些方面，处理器经配置以至少部分地基于点尺寸或点距离来确定飞行器的垂直方位。
在某些方面，至少一个光学捕获设备包括相机和三维(3D)扫描仪。
本发明的实施例涉及用于配准多个点云的系统，该系统包括：散斑发生器，其用于将第一激光散斑图案投射到表面上；至少一个三维(3D)扫描仪，其用于扫描表面，其中至少一个3D扫描仪经配置以生成表面的多个点云并且对第一激光散斑图案的至少一部分进行成像；以及处理器，其与至少一个3D扫描仪通信地耦合以至少部分地基于第一激光散斑图案配准多个点云来生成表面的3D模型。散斑发生器可以包括用于生成激光束的激光源以及用于将激光束衍射成多级的多个激光束的光学元件，其中多个激光束限定第一激光散斑图案。这将增强操作。(一个或多个)三维(3D)扫描仪可以耦合到具有漫射器以及与处理器通信耦合的面向下的相机的飞行器，面向下的相机经配置以对漫射器的第一表面进行成像。散斑发生器可以经配置以将第二激光散斑图案投射到漫射器的第二表面上。处理器可以经配置以通过从第一激光散斑图案中选择多个随机最近邻点来识别散斑图案。处理器可以经配置以将散斑图案与多个已知散斑图案进行比较，以从多个已知散斑图案中识别最佳匹配散斑图案。散斑发生器的物理位置可以是已知的，并且处理器经配置以至少部分地基于最佳匹配散斑图案相对于散斑发生器来定位飞行器。处理器可以经配置以至少部分地基于第一激光散斑图案来执行多个点云的粗略配准。处理器可以经配置以使用一个或多个算法来执行多个点云的精细配准以最小化两个云点之间的差异。
本发明的另一实施例涉及一种用于对结构的表面进行成像的飞行器，该表面具有从散斑发生器投射在其上的第一激光散斑图案，飞行器包括机身；多个马达，其与螺旋桨可操作地耦合；至少一个三维(3D)扫描仪，其用于扫描表面，其中至少一个3D扫描仪经配置以朝向表面生成多个点云并且对第一激光散斑图案的至少一部分进行成像；以及处理器，其与至少一个3D扫描仪通信地耦合以至少部分地基于第一激光散斑图案来配准多个点云以生成表面的完整3D模型。处理器可以经配置以通过从第一激光散斑图案中选择多个随机最近邻点来识别散斑图案。处理器可以经配置以将散斑图案与多个已知散斑图案进行比较，以从多个已知散斑图案中识别最佳匹配散斑图案。处理器可以经配置以至少部分地基于第一激光散斑图案来执行多个点云的粗略配准。
本发明的另一个实施例涉及一种用于识别着陆区内的飞行器的触地区的系统，该系统包括散斑发生器，其位于着陆区处用于将激光散斑图案投射到表面上，其中散斑发生器包括生成激光束的激光源以及将激光束衍射成多级的多个激光束的光学元件，其中多个激光束限定激光散斑图案；至少一个光学捕获设备，其与飞行器耦合，其中至少一个光学捕获设备经配置以对投射到表面上的激光散斑图案的至少一部分进行成像；以及处理器，其与至少一个光学捕获设备通信地耦合以至少部分地基于激光散斑图案的至少一部分来相对于着陆区内的触地区定位飞行器。飞行器可以包括具有位于第一平面中的第一表面以及位于第二平面中的第二表面的不透明漫射器，所述第二平面基本上平行于第一平面，其中不透明漫射器的第二表面是其上投射有激光散斑图案的表面。(一个或多个)光学捕获设备可以是面向下的相机，其经配置以对不透明漫射器的第一表面进行成像以捕获投射在第二表面上的激光散斑图案。处理器可以经配置以生成至少部分地基于激光散斑图案的至少一部分以使飞行器在触地区处着陆的指令。处理器可以经配置以至少部分地基于已知坐标系中的激光散斑图案的方位来确定飞行器的横向方位。激光散斑图案可以包括多个点，并且处理器经配置以：(1)通过测量所述多个点中的至少一个的直径来确定第二激光散斑图案的点尺寸；或者(2)通过测量所述多个点中的至少两个点之间的距离来确定点距离。处理器可以经配置以至少部分地基于点尺寸或点距离来确定飞行器的竖直方位。
附图说明
如附图中所示，根据以下对其具体实施例的描述，本文所述的设备、系统和方法的前述和其他目的、特征和优点将变得显而易见，其中相同的附图标记指代相同的结构。附图不一定是按比例绘制的，而是将重点放在说明本文所描述的设备、系统和方法的原理上。
图1a和图1b示出了多转子垂直起降(VTOL)UAV的示例。
图2示出了示例激光散斑系统。
图3示出了示例散斑发生器。
图4a至图4c示出了示例激光散斑处理技术。
图5a至图5d示出了用于飞行器的横向方位的定位的示例激光散斑处理技术。
图6a至图6c示出了不同距离处的伪随机激光散斑图。
图7a至图7c示出了飞行器扫描表面的不同区域的图。
图8a至图8d示出了当扫描表面的不同区域时用于飞行器的示例扫描飞行模式的图。
图9示出了用于飞行器的示例扫描过程的流程图。
具体实施方式
下面参照附图描述本发明的优选实施例。附图中的组件不一定按比例绘制，而是将重点放在清楚地示出本实施例的原理上。例如，为了描述的清楚和方便，可以放大元件的尺寸。而且，只要可能，贯穿附图使用相同的附图标记以指代实施例的相同或相似的元件。在下面的描述中，众所周知的功能或结构没有详细描述，因为它们可能使本发明在不必要的细节上变得模糊。说明书中的任何语言都不应被解释为将任何未声明的元件指示为实施例的实践所必需的。
除非本文另有指示，否则本文中数值范围的叙述并非旨在进行限制，而是单独地指代属于该范围内的任何和所有值，并且在此类范围内的每个单独的值被合并到说明书中，就好像其在本文被单独列举一样。当伴随数值时，词语“约”、“大约”等应被解释为表示偏差，正如本领域普通技术人员将理解的，为了预期的目的满意地操作。值和/或数值的范围在本文中仅作为示例被提供，并且不构成对所描述的实施例的范围的限制。本文所提供的任何和所有示例或示例性语言(“例如”、“诸如”等)的使用仅旨在更好地阐明实施例，而不是对实施例的范围进行限制。说明书中的任何语言都不应被解释为将任何未声明的元件指示为实施例的实践所必需的。
在以下描述中，应该理解，诸如“第一”、“第二”、“顶部”、“底部”、“侧”、“前”、“后”等术语是方便的词语且不被解释为限制性术语。本文所提供的各种数据值(例如，电压、秒等)可以用一个或多个其他预定数据值代替，并且因此不应被视为限制性的，而是示例性的。对于本公开，应应用下列术语和定义：
术语“和/或”意味着列表中以“和/或”连接的项目中的任何一个或多个。作为示例，“x和/或y”意味着三元素集{(x)，(y)，(x，y)}中的任何元素。换句话说，“x和/或y”意味着“x和y中的一个或两个”。作为另一个示例，“x、y和/或z”意味着七元素集{(x)，(y)，(z)，(x，y)，(x，z)，(y，z)，(x，y，z)}。换句话说，“x、y和/或z”意味着“x、y和z中的一个或多个”。
术语“电路”和“电路系统”是指可以配置硬件、由硬件执行和/或以其他方式与硬件相关联的物理电子组件(例如硬件)和任何软件和/或固件(“代码”)。如本文所使用的，例如，当执行第一组一行或多行代码时，特定处理器和存储器可以包括第一“电路”，并且当执行第二组一行或多行码时可以包括第二“电路”。本文利用的电路系统“可操作”以执行功能，只要电路系统包括执行该功能所需的硬件和代码(如果需要的话)，而不管该功能的性能被禁用还是未被启用(例如，通过用户可配置的设定、工厂调整等)。
如本文所使用的术语“通信”和“通信的”包括将数据从源传送到目的地以及将数据传递送到通信介质、系统、信道、网络、设备、电线、电缆、光纤、电路和/或链路以传送到目的地。本文所使用的术语“通信”意味着如此传达或递送的数据。本文所使用的术语“通信”包括通信介质、系统、信道、网络、设备、导线、电缆、光纤、电路和/或链路中的一个或多个。
如本文所使用的术语“耦合”、“耦合到”和“与...耦合”各自意味着构成以下各项中的任何一项或多项的两个或更多设备、装置、文件、电路、元件、功能、操作、过程、程序、媒体、组件、网络、系统、子系统和/工具之间或之中的关系：(i)连接，不管是直接或通过一个或多个其他设备、装置、文件、电路、元件、功能、操作、过程、程序、媒体、组件、网络、系统、子系统或工具；(ii)通信关系，不管是直接或通过一个或多个其他设备、装置、文件、电路、元件、功能、操作、过程、程序、媒体、组件、网络、系统、子系统或工具；和/或(iii)功能性关系，其中任何一个或多个设备、装置、文件、电路、元件、功能、操作、过程、程序、媒体、组件、网络、系统、子系统或工具的操作全部或部分取决于其中任何一个或多个的操作。
本文所使用的术语“数据”意味着任何标记、信号、记号、符号、域、符号集、表示以及表示信息的一种或多种任何其他物理形式，无论是永久或临时的、可见的、可听的、声学的、电的、磁的、电磁的或以其他方式表现。术语“数据”用于表示以一种物理形式的预定信息，包含不同物理形式的相应信息的任何和所有表示。
如本文所使用的术语“数据库”意指相关数据的组织体，而不管数据或其组织体被表示的方式。例如，相关数据的组织体可以是表格、地图、网格、信息包、数据报、帧、文件、电子邮件、消息、文档、报告、列表或任何其他形式中的一个或多个的形式。
术语“示例性”意味着“用作示例、实例或说明”。本文所描述的实施例不是限制性的，而仅仅是示例性的。应该理解，所描述的实施例不一定被解释为比其他实施例优选或有利。此外，术语“本发明的实施例”、“实施例”或“发明”不要求本发明的所有实施例都包括所论述的特征、优点或操作模式。
术语“存储器设备”意味着存储供处理器使用的信息的计算机硬件或电路系统。存储器设备可以是任何合适类型的计算机存储器或任何其他类型的电子存储介质，诸如，例如只读存储器(ROM)、随机存取存储器(RAM)、高速缓冲存储器、光盘只读存储器(CDROM)、电光存储器、磁光存储器、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、计算机可读介质等。
本文所使用的术语“网络”包括包含因特网的各种网络和互联网络，并且不限于任何特定的网络或互联网络。
术语“处理器”意味着无论是以硬件、有形体现的软件还是以两者都实现的并且无论其是否可编程的处理设备、装置、程序、电路、组件、系统和子系统。术语“处理器”包括但不限于，一个或多个计算设备、硬连线电路、信号修改设备和系统、用于控制系统的设备和机器、中央处理单元、可编程设备和系统、现场可编程门阵列、专用集成电路、片上系统、包括分立元件和/或电路的系统、状态机、虚拟机、数据处理器、处理设施以及上述中的任何的组合。处理器可以是例如任何类型的通用微处理器或微控制器、数字信号处理(DSP)处理器、专用集成电路(ASIC)。处理器可以耦合到存储设备或与存储设备集成。
术语“航空交通工具”和“飞行器”是指能够飞行的机器，包括但不限于固定翼飞行器、无人航空交通工具、可变翼飞行器和垂直起降(VTOL)飞行器。
本文公开了一种激光散斑系统，该激光散斑系统具有用于生成激光散斑的激光源，该激光散斑可以被飞行器用作基准标记以：当一个或多个三维(3D)扫描仪扫描表面(例如以检测表面中的缺陷)时，配准两个或更多个点云；并且定位安装有3D扫描仪的飞行器。从单个地面源(例如散斑发生器)定位飞行器以及配准从飞行器测量的墙的点云需要良好的地面实况(即经验证据)。因此，如将要解释的，激光散斑的一部分可以由安装到飞行器的一个或多个光学捕获设备(例如，3D扫描仪、相机等)进行成像。至少部分地基于激光散斑的图案、点尺寸和/或激光散斑的点距离，激光散斑系统使飞行器(或通信地与其耦合的另一个系统)能够配准由3D生成的多个点云并确定飞行器相对于校准激光源的位置。
因此，激光散斑使得飞行器能够扫描缺少基准标记的表面(例如，无特征表面)。更具体地，从已知的稳定的中心位置，校准的激光源可以经配置以生成和投射出朝向无特征表面(或待由飞行器扫描的另一表面)的激光散斑以在无特征表面上显示伪随机激光散斑图案(例如，点的阵列或集群)。伪随机激光散斑图案使得飞行器的(一个或多个)3D扫描仪在扫描过程期间可以配准两个或更多点云。伪随机激光散斑图案也可以显示在耦合到飞行器的漫射器上，其可以用于定位飞行器(例如，在3D大气空间中横向和竖直地定位)。所公开的激光散斑系统可以结合各种飞行器配置被采用，尤其包括多转子UVA。
多转子垂直起降UVA。与激光散斑系统一起使用的合适的飞行器100可以经配置为多转子VTOL UAV，其示例在图1a中示出。如图所示，飞行器100通常包括机身102(例如机体)、从机身102径向延伸的多个转子悬臂104(例如，纵向悬臂)、起落架110和多个推进器108。尽管在所有附图中示出了多转子VTOL UAV，但是本公开的教导可以类似地应用于包括固定翼飞行器的其他飞行器以及可以经配置以扫描无特征表面的非飞行器系统(例如，陆地交通工具)。
机身102可以与多个转子悬臂104中的每一个的近侧端部耦合，使得多个转子悬臂104的远侧端部从机身102径向延伸。机身102和多个转子悬臂104可以被制造为单个单元，或者作为彼此耦合的单独组件。多个转子悬臂104中的每一个的远侧端部可以与推进器108耦合，推进器108中的每一个被示出为与电动马达108a耦合的螺旋桨108b以驱动/旋转螺旋桨108b。所述多个推进器108中的每一个都被放置在转子悬臂104的远侧端部处并经定向以向下(相对于机身102)引导推力。电动马达108a可以是经由电子速度控制器(ESC)106控制的电动马达。为此目的，还可以例如在转子悬臂104的远侧端部处邻近电动马达108a提供ESC 106。虽然飞行器100被示为具有八个推进器108(即，八桨转子飞行器)，但本领域技术人员将理解，可以采用附加的或更少的推进器108以实现期望的功能并且取决于，例如推力要求。
虽然电动马达108a被示出在每个转子悬臂104的远侧端部处，但是电动马达108a(或单个电动马达108a)可以替代地定位在机身102处并且经配置以经由电动马达108a与一个或多个螺旋桨108b之间的齿轮箱和/或驱动轴来驱动(旋转)一个或多个螺旋桨108b。进一步地，虽然每个转子悬臂104被图示为仅具有单个推进器108，但是可以在每个转子悬臂104的远侧端部处提供多个推进器108。例如，横向构件可以定位在每个转子悬臂104的远侧端部处并且经布置以将推进器108彼此间隔开(例如，垂直于转子悬臂104的长度)或者以其他方式防止螺旋桨108b之间的干涉(例如，交错/重叠配置)。飞行器100的组件可以由金属、复合材料或其组合制造。
如图所示，飞行器100配备有一个或多个3D扫描仪112和一个或多个相机114，其中的每一个可以经由一个或多个万向节设备可旋转地且可枢转地耦合到机身102(例如，在下侧)。3D扫描仪112可以是例如具有两个分量即RGB(红/绿/蓝)和D(深度)分量的RGB-D相机。一个或多个3D扫描仪112可以沿着机身102的周边定位，以向飞行器100提供视场以扫描并生成非平行于地面的表面(例如，基本上垂直于地面的表面)的3D图像。例如，飞行器100可以经配置以使用3D扫描仪112扫描和/或映射墙壁或其他结构的表面以识别缺陷。一个或多个相机114可以是例如，配备有广角镜头以覆盖相对大的FOV的相机，诸如宽视野或鱼眼镜头相机。与3D扫描仪112不同，一个或多个相机114可以被定位或引导朝向待扫描的感兴趣表面。在一些实施例中，可以向下(相对于飞行器100)引导一个或多个相机114以对基本平行于地面的表面(诸如安装到飞行器100的漫射器208的表面)进行成像。在操作中，飞行器100可以经配置以使用一个或多个相机114和投射到漫射器208上的激光散斑来检测飞行器100的任何偏移。
图1b示出了用于飞行器100的示例飞行器控制系统的框图。飞行器控制系统经配置以控制飞行器100的各种飞行器组件和功能。如图所示，飞行器100包括与至少一个存储器设备118、一个或多个3D扫描仪112、一个或多个相机114、飞行控制器120、无线收发器122和导航系统124通信地耦合的一个或多个处理器116。
一个或多个处理器116可以经配置以至少部分地基于存储到存储器设备118(例如，硬盘驱动器、闪速存储器等)的指令(例如，软件)和一个或多个数据库来执行一个或多个操作。飞行器控制系统可以进一步包括其他期望的服务，诸如在飞行器100和远程设备130(例如，便携式电子设备，诸如智能手机、平板电脑和膝上型计算机)之间通信数据的无线收发器122或其他控制器(例如，基站)。例如，飞行器100可以通过网络128与远程设备130通信数据(经处理的数据、未经处理的数据等)。
处理器116可以可操作地耦合到飞行控制器120以响应于经由无线收发器122来自操作员、自动驾驶仪、导航系统124或其他高级系统的命令，(例如，经由ESC 106)控制各种致动器(例如控制任何飞行表面的运动的那些致动器)和/或电动马达108a的操作。在操作中，飞行控制器120可以动态地(即，实时地或接近实时地)并且独立地在各个飞行阶段(例如，起飞、巡航、着陆)期间，经由ESC 106调节来自每个转子悬臂104上的电动马达108a中的每一个的推力，以控制飞行器100的侧倾、俯仰或偏航。换句话说，飞行控制器120可以独立地控制给定转子悬臂104上的电动马达108a中的每一个，以为电动马达108a中的每一个生成期望的升程推力。例如，当使用具有转子叶片(例如螺旋桨)的转子时，飞行控制器120可以改变转子的RPM和/或在需要时改变转子叶片的倾斜度。具体地，电动马达108a可以通过经由ESC 106调节从电源(例如，电池包或电池组)供应到每个电动马达的电力来控制。
处理器116可以可操作地耦合到导航系统124，导航系统124可以包括与惯性导航系统(“INS”)124b和/或惯性测量单元(IMU)124c通信地耦合的全球定位系统(GPS)124a。GPS 124a给出了可用于重置INS解决方案的绝对无漂移方位值，或者GPS 124a给出了可以通过使用数学算法(例如卡尔曼滤波器)与其混合的绝对无漂移方位值。
处理器116可以与一个或多个3D扫描仪112和/或一个或多个相机114可操作地耦合。当飞行器100扫描无特征表面(例如，以检测表面中的缺陷)时，一个或多个处理器116可以经配置以通过配准从一个或多个3D扫描仪112所接收的两个或更多个点云来生成无特征表面的完整3D模型。一个或多个处理器116可以进一步经配置以至少部分地基于从一个或多个3D扫描仪112和/或一个或多个相机114所接收的数据来定位安装有3D扫描仪的飞行器。沿着类似的方式，为了收集数据和/或监测区域，飞行器100可以进一步配备有包括例如一个或多个相机、音频设备和其他传感器的情报、监视和侦察(ISR)有效载荷126，以促进ISR功能并提供ISR数据(例如照片、视频、音频、传感器测量等)。ISR有效载荷126可操作地耦合到处理器116以促进ISR数据在ISR有效载荷126和处理器116之间的通信。ISR有效载荷126可以例如经由万向节设备可旋转地且可枢转地耦合到机身102(或另一结构组件，诸如转子悬臂104)的下侧，以使得ISR有效载荷126能够更容易地向下定向以监测地面下和/或地面上的物体。
完整3D模型、ISR数据和/或其他信息可以经由无线收发器122通过网络128从飞行器100动态地或周期性地通信到远程设备130。完整的3D模型、ISR数据和/或其他信息也可以被存储到存储器设备118以供以后访问或处理。在某些方面，来自各种机载传感器(例如，3D扫描仪112、相机114、ISR有效载荷126等)的未处理数据可以作为原始数据经由无线收发器122从飞行器100通信以用于远程处理。例如，飞行器100可以将由一个或多个3D扫描仪112捕获的两个或更多个点云连同任何基准标记数据(例如，与激光散斑图案有关的数据)一起经由无线收发器122动态地通信给远程设备130，由此远程设备130可以经配置以通过配准两个或更多个点云来生成无特征表面的完整3D模型。远程数据处理的优点是可以减少飞行器100上需要的处理资源，由此减少飞行器100的重量和成本。
激光散斑系统200。参考图2，示出了示例激光散斑系统200，其具有散斑发生器202以向上投射激光散斑以将一个或多个伪随机激光散斑图案显示在无特征表面206和/或安装到飞行器100上和下方的漫射器208上。无特征表面206可以是例如建筑物的墙壁、桥梁的表面或供飞行器100检查的另一个结构。散斑发生器202可以被定位在大气空间204的底部的已知位置处，并经配置以将激光散斑作为激光束的阵列向上(例如，垂直或成角度)朝向飞行器100投射，其然后可以由3D扫描仪112和/或相机114使用，以尤其配置限定飞行器100的飞行路径的边界。
点云配准。在3D成像中，点云是三维坐标系(由X、Y和Z坐标限定)中的数据点的集合，其表示诸如无特征表面206的对象的外表面。当飞行器100穿过无特征表面206时，可以由3D扫描仪112创建点云。在操作中，3D扫描仪112可以在无特征表面206上的几米的范围内测量大约每秒1000万个点，其然后可以在点云数据文件中作为每秒1000万点的点云输出。点云数据文件可用于多种目的，包括创建3D计算机辅助设计(CAD)模型、计量检查、质量检查等。虽然可以直接渲染(rendered)和检查点云，但是通常将点云转换为一个或多个3D模型是有用的，诸如通过通常称为表面重建的过程将其转换为多边形网格或三角形网格模型、非均匀有理基本样条(NURBS)表面模型或CAD模型。
当多个3D扫描仪112被用于观察无特征表面206时，或者单个3D扫描仪112从多个视图观察无特征表面206时(例如，当飞行器100穿过无特征表面206时)，来自每个3D扫描仪112的各种点云必须对准以生成完整的3D模型。将各种点云对准成完整3D模型的过程称为配准。配准过程的目标是确定在全球坐标框架中单独获取的视图的相对方位和方向，使得视图(或点云)之间的相交区域可以对准。
对于从不同视图/区域获取的每组点云数据文件，可以使用例如基准标记将点云数据集对准到单个点云模型中。生成单点云模型便于随后的处理步骤(例如，分割、对象重建等)。虽然表面的物理特征和物理边缘可以用作基准标记以配准多个点云，但是在3D扫描仪112扫描无特征表面206时配准两个点云可能是具有挑战性的，因为无特征表面206通常缺少可以用作用于参考点跟踪的基准标记的此类界标。现有方法仅通过用物理基准标记(例如标签、反射标记等)补充无特征表面206以用作参考点而绕过该挑战。然而，可以理解，将物理基准标记添加到表面206会增加检查的劳动力和成本。
为了避免对物理基准标记的需要，散斑发生器202可用于从已知的稳定中心位置在无特征表面206上生成伪随机激光散斑图案308。伪随机激光散斑图案308用作基准标记以使3D扫描仪112能够配准来自(一个或多个)3D扫描仪112的多个点云。一个或多个3D扫描仪112与散斑发生器202一起可以由图像处理器(例如，处理器116或远程处理器)使用以配准从飞行器100测量的壁的点云。换句话说，激光散斑系统200以激光散斑的形式在无特征表面206上生成基准标记，而不需要任何物理制品(artifact)的放置。
校准散斑发生器202还可以在耦合到飞行器100且在其下方的漫射器208上生成伪随机激光散斑图案308。一个或多个相机114与散斑发生器202和漫射器208一起可以用于沿X、Y和Z轴定位飞行器100。例如，使用投射在漫射器208上的激光散斑图案，飞行器100也能够经由相机114检测飞行器100相对于散斑发生器的任何水平偏移。为了防止激光简单地穿过漫射器208，可以使用例如不透明材料来制造漫射器208以吸收来自散斑发生器202的光，使得伪随机激光散斑图案308被显示在漫射器208面向相机114的表面上。例如，与处理器116通信地耦合的面向下的相机114可以经配置以对漫射器208的第一表面进行成像，而散斑发生器202可以经配置以将激光散斑图案投射到漫射器的第二表面上。面向下的相机114经配置以对第一表面进行成像以捕获第二激光散斑图案，因为漫射器208吸收和扩散伪随机激光散斑图案308。漫射器208可以由多种材料中的一种制造，包括玻璃、塑料等，其可以是完全不透明的或者在至少一个表面上涂有不透明膜。例如，漫射器208可以是磨砂玻璃漫射器、漫射器、全息漫射器、蛋白石玻璃漫射器、灰色玻璃漫射器等。
投射到无特征表面206上的伪随机激光散斑图案的一部分可以由安装到飞行器100的(一个或多个)3D扫描仪112进行成像。在操作中，飞行器100可以在邻近无特征表面206的大气空间204内飞行并且经配置以使用一个或多个3D扫描仪112针对缺陷映射无特征表面206。至少部分基于激光散斑的图案，激光散斑系统200能够配准由3D扫描仪生成的多个点云。例如，3D扫描仪112的D分量可用于创建无特征表面206的表面的3D点云，而RGB分量可以用于使用3D扫描仪112的RGB分量来检测无特征表面206上的激光散斑图案，然后其可以用于配准来自3D扫描仪112的3D点云。飞行器100相对于校准散斑发生器202的已知位置的位置可以使用投射到无特征表面206和/或漫射器208上的伪随机激光散斑图案来确定。例如，通过用相机(相机114或3D扫描仪112的RGB分量)识别激光散斑图案，也可以检测和校正飞行器100的水平偏移。
散斑发生器202。图3示出了示例散斑发生器202。如图所示，散斑发生器202通常包括激光源302、光学元件304以及一个或多个附加聚焦透镜318，以生成伪随机激光散斑图案308。激光源302可以使用多种激光介质中的一种，包括例如固态、气体、准分子、染料或半导体。例如，固态激光器具有分布在固体基质(例如红宝石或钕-YAG(钇铝石榴石)激光器)中的激光材料。钕YAG激光器发射1.064微米的红外光。半导体激光器，有时称为二极管激光器，不是固态激光器，但通常小，使用的功率低，并且可内置于较大的阵列中。
光学元件304可以包括衍射元件310和一个或多个透镜306以引导和聚焦由散斑发生器202投射的激光束。衍射元件310可以是例如衍射光栅、多焦点衍射透镜、棱镜、色散元件或其他光学元件，以将来自激光源302的入射光束312划分或分成多级的激光束316。衍射光栅例如采用大量平行的、间隔紧密的狭缝(通常，每毫米线数为80线/毫米至3000线/毫米)。当单波长(例如，来自氦氖激光器的632.8nm红光)的入射光束312照射衍射光栅时，入射光束312以多级316的光束被衍射到传播轴314的每一侧。然而，根据光栅关系，不同的波长在不同的角度衍射。在另一个示例中，衍射元件310可以是多焦点衍射透镜，其允许来自激光源302的入射光束312同时聚焦在沿着传播轴314的若干位置处。更具体地，在多焦点衍射透镜中，入射光束312沿着传播轴314被开槽衍射图案偏转成多级316。还可以采用一个或多个附加聚焦透镜318以聚焦和/或调节多级316的光束。
可以将散斑发生器202放置在感兴趣的位置(例如，着陆区、检查点等)，由此将点402的伪随机激光散斑图案308朝向飞行器100的预期位置或者朝向另一个目标投射。例如，散斑发生器202可以定位在检查点(例如，结构)处以辅助飞行器扫描、映射和/或监测结构的完整性。在该示例中，散斑发生器202可以将伪随机激光散斑图案308向上投射到待扫描、映射和/或监测的结构上。
在某些方面，散斑发生器202可以定位在着陆区，以便于将货物(例如包裹)运送到有人或无人着陆区，无论是平用的还是军用的。在一个示例中，散斑发生器202可以在耦合到飞行器100上且在其下方的漫射器208上生成伪随机激光散斑图案308。一个或多个相机114与散斑发生器202和漫射器208一起可以用于相对于散斑发生器202沿着X轴、Y轴和Z轴定位飞行器100。在另一个示例中，飞行器100可以接近区域，在区域处扫描散斑发生器202周围的着陆区域，至少部分地基于由散斑发生器202生成的伪随机激光散斑图案308来识别着陆区内(例如，在接近期间)的触地区，并且在跟踪(或至少部分地基于)伪随机激光散斑图案308的同时自主着陆在触地区。当漫射器208不可用/不期望和/或散斑发生器202邻近地面/着陆表面(例如，垫、机场、场地、院子、屋顶等)被采用时，散斑发生器202可以定位成离开地面/着陆表面(例如，使用立柱、三脚架、塔架或其他升高的结构)并且经配置以将伪随机激光散斑图案308向下朝着地面/着陆表面投射，其然后可由飞行器100的(一个或多个)光学捕获设备扫描/跟踪以识别触地区。在某些方面，散斑发生器202可以与2017年1月31日授予Paduano等人的共同拥有的美国专利第9,557,742号所公开的自主货物递送系统结合使用。
术语散斑图案是指当高度相干光束(例如来自激光器)在具有复杂结构的表面处漫反射时可以观察到的粒状图案。由于用于生成激光散斑的图案是预先定义的，所以散斑图案308被固定并且提前知道；由于制造不确定性的限制，散斑图案可以是不同的样本-样本，并且图案保持伪随机图案。伪随机激光散斑图案308的尺寸和形状与到距激光源的距离保持线性不变缩放比例。散斑发生器202创建基于多个相邻点402的随机选择的距离关系可以独特地识别的伪随机激光散斑图案308。
图4a至图4c示出了使用来自3D扫描仪112的宽视场的示例激光散斑处理技术。激光散斑处理技术可以结合点云的配准和/或飞行器定位来使用。具体地，图4a示出了由3D扫描仪112(或相机114)捕获的来自散斑发生器202的示例伪随机激光散斑图案308。处理器116可采用多种图像处理技术以增强对伪随机激光散斑图案308的点402的检测。为此，处理器116可采用图像分割以将伪随机激光散斑图案308的数字图像分割成多个片段(例如，组)。举例来说，处理器116可使用一个或多个图像阈值化技术以生成其中点是一种颜色(例如黑色)并且无特征表面206(或漫射器208)的其余部分是第二对比颜色(例如白色)的二值图像(或其他高对比度图像)。
从伪随机激光散斑图案308内的点402，选择多个随机最近相邻点402(例如，约4至20、更优选地约6至14、最优选地约8至10)以创建散斑图案400，其示例在图4b中示出。散斑图案400的点402之间的距离被归一化(normalized)并且点402中的每一个的半径可以测量。例如，处理器可以经配置以通过测量所述多个点402中的至少一个的直径来确定第二激光散斑图案的点尺寸和/或通过测量所述多个点402中的至少两个(例如，两个相邻的点402)之间的距离来确定点距离。
然后可以使用例如查找表将散斑图案400与已知散斑图案404a、散斑图案404b、散斑图案404n的数据库进行比较，直到识别出最佳匹配。已知散斑图案404a、散斑图案404b、散斑图案404n的数据库可以存储到飞行器100的存储器设备118或另一个存储器设备(例如，在远程设备130处)。提取散斑图案400并将散斑图案400与已知散斑图案404进行比较的该过程可以使用不同组的随机点402来重复以生成一致性，该过程可以被称为随机抽样一致性(RANSAC)。
图5a至图5d示出了用于基于来自3D扫描仪112的宽视场在平行于地面的平面中定位飞行器100的横向位置的示例激光散斑处理技术。具体地，图5a示出了在地面实况(0，0)处的伪随机激光散斑图案308，而图5b至图5d分别示出了在地面实况(0，-0.4)、地面实况(0.5，0)和地面实况(1.9，2)处的伪随机激光散斑图案308。一旦多个随机最近邻点402被识别以定义散斑图案400，散斑图案400的横向中心就可以被采用以将飞行器100定位到激光散斑天空(sky)。更具体地，因为散斑发生器202的位置是已知的，伪随机激光散斑图案308在二维(例如，XY)坐标平面内的位置是已知的。
作为说明，假设在地面实况(0，0)处的伪随机激光散斑图案308表示期望的位置。利用该知识，当地面实况偏离(0，0)时，飞行器100可以调整飞行器100的横向位置。例如，图5b示出了飞行器100的横向方位沿着Y轴横向移位0.4，并且因此需要在Y轴上的-0.4(即，0，-0.4)的调整。类似地，图5c示出了飞行器100的横向方位沿着X轴横向移位0.5，而图5d示出了飞行器100的横向方位沿着X轴横向移位1.9和沿着Y轴横向移位2.0，因此分别保证(0.5，0)和(1.9，2)的横向调整。
图6a至图6c示出了基于来自相机114的图像的飞行器100相对于散斑发生器202的竖直方位的示例定位过程。也就是说，点402之间的距离与点半径将提供距散斑发生器202的z距离。例如，当距离散斑发生器202的飞行器100的距离改变时，点402之间的距离的线性变化是预期的并且可以被观察到。同样，每个点402的半径将相对于飞行器100和散斑发生器202之间的距离线性地变化。作为说明，图6a示出了距离A处的伪随机激光散斑图案308，而图6b和图6c示出了距离2A(距离的两倍)和距离0.5A(距离的一半)处的伪随机激光散斑图案。距离A处的点402之间的直径和间距是距离2A处的两倍，同时是距离0.5A处的一半。
由于光束发散度，点402的尺寸随着距离而增加。实际上，激光束的光束发散度是光束直径(或半径)随着离开光束出射的光学孔径(例如，散斑发生器202)的距离的增加的角度量度。然而，当伪随机激光散斑图案308变得太大时(例如，图6b)或者当伪随机激光散斑图案308太小时(例如，图6c)，会出现限制。然而，对于图6b的场景，可以从较近的距离追踪伪随机激光散斑图案308以减轻该问题，而对于图6c的场景，散斑在传感器上没有很好地定义，并且只有一个点(平均所有激光强度)可以被成像以定位为“中心”。然而，可以通过调整激光散斑发生器上的透镜318以根据需要调整和聚焦或散焦激光散斑图案308来减轻这些担忧。
图7a至图7c示出了用于配准点云的示例技术。如图所示，散斑发生器202在飞行器100沿着Z轴(即上和下)行进以扫描无特征表面206的垂直长度时将伪随机激光散斑图案308投射到无特征表面206上。
如图7a所示，飞行器100经由3D扫描仪112扫描无特征表面206的第一区域700a以生成第一局部点云。一旦完成第一区域700a，如图7b所示，飞行器100在Z轴上沿着无特征表面206前进以经由3D扫描仪112扫描无特征表面206的第二区域700b以生成第二局部点云。一旦完成第二区域700b，如图7c所示，飞行器100在Z轴上沿着无特征表面206前进以经由3D扫描仪112扫描无特征表面206的第三区域700c以生成第三局部点云。飞行器100可以针对每个区域重复该过程，直到扫描整个无特征表面206。
为了确保无特征表面206的所有部分都被扫描，各个连续扫描区域可以至少部分重叠。例如，第一区域700a可以至少部分地与第二区域700b重叠，而第二区域700b可以至少部分地与第三区域700c重叠。使用至少部分地与第一区域700a、第二区域700b和第三区域700c中的每一个重叠的伪随机激光散斑图案308，飞行器100可以配准来自(一个或多个)3D扫描仪112的第一点云、第二点云和第三点云以形成完整的3D模型。事实上，飞行器100可以经由一个或多个3D扫描仪112以不同角度捕获同一区域(例如，第一区域700a)的多个视图，其中每个视图具有点云。尽管使用单个3D扫描仪112描述了图7a至图7c，但是在整个扫描过程中可以使用多个3D扫描仪112以扫描相同的区域(例如，从略微不同的角度)或可能邻近无特征表面206的第二无特征表面。例如，当单个3D扫描仪112用于扫描第一区域700a时，3D扫描仪112可以使用万向节枢转或以其他方式调整以捕获第一区域700a的第二视图。当使用多个3D扫描仪112时，每个3D扫描仪112可以从不同角度同时捕获第一区域700a的视图。
飞行器100可以在扫描过程期间遵循一个或多个扫描飞行图案。图8a至图8d示出了被划分成16个区域700的示例无特征表面206。为了扫描16个区域700中的每一个，飞行器100可以采用一个或多个扫描路径。例如，飞行器100可以扫描无特征表面206作为一系列竖直区域(例如，如图8a的竖直扫描路径800a所指示的)、一系列水平区域(例如，如图8b的水平扫描路径800b所指示的)、一系列螺旋区域(例如，如图8c的螺旋扫描路径800c所指示的)或者如图8d的混合扫描路径800d所指示的其组合。
在扫描过程期间，3D扫描仪112可以采用一个或多个光源以及具有两种不同模式的一个或多个成像器。在操作中，3D扫描仪112投射来自3D扫描仪112的结构化光以在成像器上可视化无特征表面206的区域以生成给定区域的局部点云。3D扫描仪112然后可以关闭来自3D扫描仪112的结构化光以可视化伪随机激光散斑图案308以确定时间相邻(或空间相邻)捕获点云之间的基准关系。例如，3D扫描仪112可以扫描第一区域以生成第一点云，然后继续扫描第二区域以生成第二点云。基于基准关系，飞行器100可以执行捕获点云的粗略配准(例如，第一点云到第二点云)。飞行器100可以使用一个或多个算法来执行捕获点云的精细配准，以最小化两个云点之间的差异。例如，飞行器100可以执行迭代最接近点(ICP)算法以从多个不同的云点重建2D表面或3D表面，以定位飞行器100，并且实现飞行器100的最佳扫描路径规划。
图9示出了示例扫描过程900。扫描过程900开始于步骤902(例如，在扫描软件的启动时)。在步骤904，3D扫描仪112投射来自3D扫描仪112的结构化光以在成像器上可视化无特征表面206的第一区域700a。
在步骤906，处理器116生成与第一区域700a相关联的第一局部点云。在步骤908，3D扫描仪112关闭来自3D扫描仪112的结构化光。在步骤910，处理器116可视化伪随机激光散斑图案308。在步骤912，处理器116确定时间相邻(或空间相邻)捕获点云之间的基准关系。如果先前未捕获到时间相邻(或空间相邻)点云，则绕过步骤912至步骤916，并且扫描过程900进行至步骤918。
在步骤914，处理器116至少部分地基于在步骤912处确定的基准关系来执行捕获点云的粗略配准。在步骤916，处理器116使用一个或多个算法(例如，ICP算法)进行捕获点云的精细配准以最小化两个云点之间的差异。
在步骤918，处理器116确定扫描过程900是否应该终止。当扫描过程完成时(即，所有区域已被取消)，检测到错误，操作员评论(例如，放弃指令)等时，扫描过程900可以终止。
如果扫描过程900要终止，则扫描过程900进行到步骤922，其中扫描过程900终止直到复位或重新启动；否则扫描过程900继续到步骤920以扫描随后的区域(例如，随后的时间相邻或空间相邻的区域)。在步骤920，飞行器100导航到待扫描的下一个区域。例如，处理器116可以命令飞行控制器120将飞行器100从其当前位置导航到随后的位置以扫描随后的区域。
上面引用的专利和专利公开在本文通过引用整体并入。在通过引用并入本文的参考文献中的术语的定义或使用与本文所提供的术语的定义或理解不一致或相反时，本文所提供的术语的含义为主并且参考文献中该术语的定义不一定适用。虽然已经参考部件、特征等的特定布置描述了各种实施例，但是这些并不意图穷尽所有可能的布置或特征，并且实际上许多其他实施例、修改和变化对于本领域技术人员将是可确定的。因此，应该理解，因此可以以不同于上面具体描述的方式来实践本主题公开的教导。

Claims (13)

1.一种用于配准多个点云的系统，所述系统包括：
散斑发生器，用于将第一激光散斑图案投射到表面上；
至少一个三维扫描仪即3D扫描仪，其耦合到具有漫射器和面向下的相机的飞行器，用于扫描所述表面，其中所述至少一个3D扫描仪经配置以生成所述表面的多个点云并且对所述第一激光散斑图案的至少一部分进行成像；以及
处理器，与所述至少一个3D扫描仪通信地耦合以至少部分地基于所述第一激光散斑图案配准所述多个点云以生成所述表面的3D模型，其中所述面向下的相机与所述处理器通信地耦合，并且所述面向下的相机经配置以对所述漫射器的第一表面进行成像。
2.根据权利要求1所述的系统，其中所述散斑发生器包括生成激光束的激光源以及用于将所述激光束衍射成多级的多个激光束的光学元件，其中所述多个激光束限定所述第一激光散斑图案。
3.根据权利要求1所述的系统，其中所述散斑发生器经配置以将第二激光散斑图案投射到所述漫射器的第二表面上。
4.根据权利要求1所述的系统，其中所述处理器经配置以通过从所述第一激光散斑图案中选择多个随机最近邻点来识别散斑图案。
5.根据权利要求4所述的系统，其中所述处理器经配置以将所述散斑图案与多个已知散斑图案进行比较以从所述多个已知散斑图案中识别最佳匹配散斑图案。
6.根据权利要求5所述的系统，其中所述散斑发生器的物理位置是已知的，并且所述处理器经配置以至少部分地基于所述最佳匹配散斑图案相对于所述散斑发生器定位所述飞行器。
7.根据权利要求1所述的系统，其中所述处理器经配置以至少部分地基于所述第一激光散斑图案执行所述多个点云的粗略配准。
8.根据权利要求7所述的系统，其中所述处理器经配置以使用一个或多个算法来执行所述多个点云的精细配准以最小化两个云点之间的差异。
9.一种用于识别着陆区内的飞行器的触地区的系统，其中所述飞行器包括具有第一表面和第二表面的不透明漫射器，其中所述不透明漫射器的所述第二表面是其上投射有激光散斑图案的表面，所述系统包括：
散斑发生器，其定位在所述着陆区处以将激光散斑图案投射到表面上，其中所述散斑发生器包括生成激光束的激光源以及将所述激光束衍射成多级的多个激光束的光学元件，其中所述多个激光束限定所述激光散斑图案；
至少一个光学捕获设备，其与所述飞行器耦合，其中所述至少一个光学捕获设备经配置以对投射到所述表面上的所述激光散斑图案的至少一部分进行成像，所述至少一个光学捕获设备是面向下的相机，其经配置以对所述不透明漫射器的所述第一表面进行成像以捕获投射在所述第二表面上的所述激光散斑图案；以及
处理器，其与所述至少一个光学捕获设备通信地耦合以至少部分地基于所述激光散斑图案的所述至少一部分在所述着陆区内相对于所述触地区定位所述飞行器。
10.根据权利要求9所述的系统，其中所述飞行器的所述第一表面位于第一平面中以及所述飞行器的所述第二表面位于第二平面中，所述第二平面基本平行于所述第一平面。
11.根据权利要求9所述的系统，其中所述处理器经配置以生成至少部分地基于所述激光散斑图案的所述至少一部分以使所述飞行器在所述触地区着陆的指令。
12.根据权利要求9所述的系统，其中所述处理器经配置以至少部分地基于已知坐标系中的所述激光散斑图案方位来确定所述飞行器的横向位置。
13.根据权利要求9所述的系统，其中所述激光散斑图案包括多个点，并且所述处理器经配置以：(1)通过测量所述多个点中的至少一个的直径来确定所述激光散斑图案的点尺寸；或者(2)通过测量所述多个点中的至少两个点之间的距离来确定点距离。
CN201810493720.4A 2017-07-10 2018-05-22 用于飞行器的激光散斑系统和方法 Active CN109242890B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/645,148 US10527711B2 (en) 2017-07-10 2017-07-10 Laser speckle system and method for an aircraft
US15/645,148 2017-07-10

Publications (2)

Publication Number Publication Date
CN109242890A CN109242890A (zh) 2019-01-18
CN109242890B true CN109242890B (zh) 2023-09-08

Family

ID=62916452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810493720.4A Active CN109242890B (zh) 2017-07-10 2018-05-22 用于飞行器的激光散斑系统和方法

Country Status (7)

Country Link
US (2) US10527711B2 (zh)
EP (1) EP3435282B1 (zh)
JP (1) JP7175652B2 (zh)
KR (1) KR102669474B1 (zh)
CN (1) CN109242890B (zh)
AU (1) AU2018202211B2 (zh)
IL (1) IL259219B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180068411A (ko) * 2016-12-14 2018-06-22 삼성전자주식회사 무인 비행 전자 장치의 운행 제어 방법 및 이를 지원하는 전자 장치
CN109285220B (zh) * 2018-08-30 2022-11-15 阿波罗智能技术(北京)有限公司 一种三维场景地图的生成方法、装置、设备及存储介质
US11094112B2 (en) * 2018-09-06 2021-08-17 Foresight Ai Inc. Intelligent capturing of a dynamic physical environment
USD928072S1 (en) * 2018-12-03 2021-08-17 SZ DJI Technology Co., Ltd. Aerial vehicle
WO2020149139A1 (ja) * 2019-01-16 2020-07-23 株式会社小糸製作所 イメージング装置、その演算処理装置、車両用灯具、車両、センシング方法
DK180562B1 (en) * 2019-01-31 2021-06-28 Motional Ad Llc Merging data from multiple lidar devices
US20220146677A1 (en) * 2019-02-15 2022-05-12 Arizona Board Of Regents On Behalf Of The University Of Arizona Mobile 3d imaging system and method
US10837761B1 (en) * 2019-04-30 2020-11-17 The Boeing Company Component heating sub-systems and methods for laser shearography testing systems
US10955241B2 (en) * 2019-06-26 2021-03-23 Aurora Flight Sciences Corporation Aircraft imaging system using projected patterns on featureless surfaces
CN114788256A (zh) * 2019-12-09 2022-07-22 富士胶片株式会社 移动体、控制装置以及摄像方法
EP3848900A1 (en) 2020-01-10 2021-07-14 Aptiv Technologies Limited Methods and systems for calibrating a camera
CN111325779B (zh) * 2020-02-07 2020-12-11 贝壳找房(北京)科技有限公司 点云配准方法和装置、电子设备和存储介质
JP7360983B2 (ja) 2020-03-31 2023-10-13 関西電力株式会社 データ取得装置および該方法
US11656072B2 (en) * 2020-07-02 2023-05-23 Virtek Vision International Inc. Classification of laser speckle profiles for validation of part placement in an assembly task
CN112258494B (zh) * 2020-10-30 2021-10-22 北京柏惠维康科技有限公司 一种病灶位置确定方法、装置及电子设备
KR102366847B1 (ko) * 2020-12-04 2022-02-25 한국전자기술연구원 가상 카메라를 이용한 증강현실 객체 생성 장치 및 방법
CN112904361B (zh) * 2020-12-10 2022-05-10 成都飞机工业（集团）有限责任公司 一种基于激光扫描的发动机推力线精确测量方法
US11623738B1 (en) * 2021-11-12 2023-04-11 Beta Air, Llc System and method for the prioritization of flight controls in an electric aircraft
CN113048886B (zh) * 2021-05-31 2021-08-17 山东捷瑞数字科技股份有限公司 计量工件不规则体尺寸的测量方法及设备
WO2022255912A1 (en) * 2021-06-01 2022-12-08 Telefonaktiebolaget Lm Ericsson (Publ) Alignment of dense point clouds of a physical object
CN118251696A (zh) * 2021-11-03 2024-06-25 瑞典爱立信有限公司 表示物理对象的点云的对齐
CN114131293B (zh) * 2021-11-25 2022-11-01 南京航空航天大学 一种飞机结构加强件自动化加工方法
CN114415202B (zh) * 2022-03-28 2022-07-01 北京中科飞鸿科技股份有限公司 一种基于图像处理的激光侦查设备用追踪系统
KR102439313B1 (ko) * 2022-06-15 2022-09-01 주식회사 모쓰 프로펠러 날개의 단면 특성 정보 획득 방법
US20240169583A1 (en) * 2022-11-21 2024-05-23 The Boeing Company Laser Strike Origin Determination for an Aircraft

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008145431A (ja) * 1996-12-15 2008-06-26 Cognitens Ltd ３次元表面形状再構築のための装置および方法
CN101520319A (zh) * 2008-02-27 2009-09-02 邹小平 复合式三维激光测量系统及测量方法
CN101608908A (zh) * 2009-07-20 2009-12-23 杭州先临三维科技股份有限公司 数字散斑投影和相位测量轮廓术相结合的三维数字成像方法
CN102831642A (zh) * 2011-01-27 2012-12-19 深圳泰山在线科技有限公司 一种物体表面重建的系统和方法
CN105046746A (zh) * 2015-08-05 2015-11-11 西安新拓三维光测科技有限公司 一种数字散斑人体三维快速扫描方法
CN106796728A (zh) * 2016-11-16 2017-05-31 深圳市大疆创新科技有限公司 生成三维点云的方法、装置、计算机系统和移动设备
CN206311076U (zh) * 2017-01-04 2017-07-07 苏州西博三维科技有限公司 基于散斑的极速三维人体扫描仪

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001066123A (ja) 1999-08-27 2001-03-16 Ricoh Co Ltd ３次元形状の形状測定装置及び形状測定方法
US6377353B1 (en) * 2000-03-07 2002-04-23 Pheno Imaging, Inc. Three-dimensional measuring system for animals using structured light
WO2005026661A1 (en) * 2003-09-05 2005-03-24 Bae Systems Information And Electronic Systems Integration Inc. Method and apparatus for detecting submarines
US7543780B1 (en) 2004-10-04 2009-06-09 The United States Of America As Represented By The Secretary Of The Air Force Unmanned air vehicle transmission line docking surveillance
CN101288105B (zh) * 2005-10-11 2016-05-25 苹果公司 用于物体重现的方法和系统
CN101496032B (zh) * 2006-02-27 2011-08-17 普莱姆传感有限公司 使用斑纹解相关的距离映射的方法及设备
KR101408959B1 (ko) * 2006-03-14 2014-07-02 프라임센스 엘티디. 삼차원 감지를 위한 깊이 가변 광 필드
CN101496033B (zh) * 2006-03-14 2012-03-21 普莱姆森斯有限公司 利用散斑图案的三维传感
US8581981B2 (en) 2006-04-28 2013-11-12 Southwest Research Institute Optical imaging system for unmanned aerial vehicle
JP5167248B2 (ja) * 2006-05-11 2013-03-21 プライムセンス リミテッド 深度マップによるヒューマノイド形状のモデル化
US7978892B2 (en) 2006-10-25 2011-07-12 D4D Technologies, Llc 3D photogrammetry using projected patterns
US7643147B2 (en) * 2006-11-03 2010-01-05 Neuropace, Inc. Method and system for device identification
WO2008087652A2 (en) * 2007-01-21 2008-07-24 Prime Sense Ltd. Depth mapping using multi-beam illumination
US8150142B2 (en) * 2007-04-02 2012-04-03 Prime Sense Ltd. Depth mapping using projected patterns
US8068136B2 (en) * 2007-05-16 2011-11-29 Honeywell International Inc. Method and system for determining angular position of an object
CN101984767B (zh) * 2008-01-21 2014-01-29 普莱姆森斯有限公司 用于使零级减少的光学设计
US8290305B2 (en) 2009-02-13 2012-10-16 Harris Corporation Registration of 3D point cloud data to 2D electro-optical image data
CA2655001C (en) 2009-02-20 2015-11-24 Queen's University At Kingston Marker localization using intensity-based registration of imaging modalities
JP5583761B2 (ja) 2009-06-01 2014-09-03 ホスラー ゲルト 動的基準フレームを用いた３次元表面検出方法及び装置
KR101030763B1 (ko) * 2010-10-01 2011-04-26 위재영 이미지 획득 유닛, 방법 및 연관된 제어 유닛
WO2013033954A1 (zh) 2011-09-09 2013-03-14 深圳市大疆创新科技有限公司 陀螺式动态自平衡云台
US8611692B2 (en) 2011-09-26 2013-12-17 Northrop Grumman Systems Corporation Automated image registration with varied amounts of a priori information using a minimum entropy method
US8958911B2 (en) * 2012-02-29 2015-02-17 Irobot Corporation Mobile robot
DE112013003612T5 (de) 2012-07-20 2015-06-03 Lely Patent N.V. Melkanordnung
US8933820B1 (en) * 2012-08-01 2015-01-13 Rockwell Collins, Inc. System and method for indicating a landing zone to an inbound helicopter
US10049281B2 (en) * 2012-11-12 2018-08-14 Shopperception, Inc. Methods and systems for measuring human interaction
US8874283B1 (en) 2012-12-04 2014-10-28 United Dynamics Advanced Technologies Corporation Drone for inspection of enclosed space and method thereof
US8903568B1 (en) 2013-07-31 2014-12-02 SZ DJI Technology Co., Ltd Remote control method and terminal
JP2016541026A (ja) 2013-10-08 2016-12-28 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 安定化と振動低減のための装置および方法
CN105705903A (zh) * 2013-11-06 2016-06-22 凸版印刷株式会社 3维形状计测装置、3维形状计测方法及3维形状计测程序
US9557742B2 (en) 2013-11-27 2017-01-31 Aurora Flight Sciences Corporation Autonomous cargo delivery system
JP2015184056A (ja) 2014-03-20 2015-10-22 株式会社東芝 計測装置、方法及びプログラム
CN104062977B (zh) 2014-06-17 2017-04-19 天津大学 基于视觉slam的四旋翼无人机全自主飞行控制方法
WO2016059930A1 (ja) 2014-10-17 2016-04-21 ソニー株式会社 装置、方法及びプログラム
US9922459B2 (en) * 2015-03-09 2018-03-20 D4D Technologies, Llc Real-time detail highlighting on 3D models
US20160314592A1 (en) * 2015-04-23 2016-10-27 Nokia Technologies Oy Method and apparatus for registration of interior and exterior three dimensional scans based on a semantic feature of a structure
CN105203044B (zh) * 2015-05-27 2019-06-11 珠海真幻科技有限公司 以计算激光散斑为纹理的立体视觉三维测量方法及系统
US9989357B2 (en) * 2015-09-09 2018-06-05 Faro Technologies, Inc. Aerial device that cooperates with an external projector to measure three-dimensional coordinates
EP3168704B1 (en) * 2015-11-12 2021-02-24 Hexagon Technology Center GmbH 3d surveying of a surface by mobile vehicles
WO2017151641A1 (en) * 2016-02-29 2017-09-08 Optecks, Llc Aerial three-dimensional scanner
CA3018604C (en) * 2016-04-12 2023-11-07 Quidient, Llc Quotidian scene reconstruction engine

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008145431A (ja) * 1996-12-15 2008-06-26 Cognitens Ltd ３次元表面形状再構築のための装置および方法
CN101520319A (zh) * 2008-02-27 2009-09-02 邹小平 复合式三维激光测量系统及测量方法
CN101608908A (zh) * 2009-07-20 2009-12-23 杭州先临三维科技股份有限公司 数字散斑投影和相位测量轮廓术相结合的三维数字成像方法
CN102831642A (zh) * 2011-01-27 2012-12-19 深圳泰山在线科技有限公司 一种物体表面重建的系统和方法
CN105046746A (zh) * 2015-08-05 2015-11-11 西安新拓三维光测科技有限公司 一种数字散斑人体三维快速扫描方法
CN106796728A (zh) * 2016-11-16 2017-05-31 深圳市大疆创新科技有限公司 生成三维点云的方法、装置、计算机系统和移动设备
CN206311076U (zh) * 2017-01-04 2017-07-07 苏州西博三维科技有限公司 基于散斑的极速三维人体扫描仪

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘烈金 ; 梁晋 ; 尤威 ; 梁瑜 ; .三维人体扫描系统的研究及其应用.中国工程机械学报.2017,(第01期),全文. *

Also Published As

Publication number Publication date
JP7175652B2 (ja) 2022-11-21
EP3435282A2 (en) 2019-01-30
KR102669474B1 (ko) 2024-05-24
EP3435282B1 (en) 2023-06-28
US10527711B2 (en) 2020-01-07
KR20190006432A (ko) 2019-01-18
CN109242890A (zh) 2019-01-18
US20190011529A1 (en) 2019-01-10
IL259219B (en) 2022-02-01
IL259219A (en) 2018-06-28
US11327149B2 (en) 2022-05-10
AU2018202211B2 (en) 2024-02-29
JP2019035736A (ja) 2019-03-07
AU2018202211A1 (en) 2019-01-24
US20200150217A1 (en) 2020-05-14
EP3435282A3 (en) 2019-04-17

Similar Documents

Publication Publication Date Title
CN109242890B (zh) 用于飞行器的激光散斑系统和方法
US9989357B2 (en) Aerial device that cooperates with an external projector to measure three-dimensional coordinates
JP6843773B2 (ja) 環境の走査及び無人航空機の追跡
US8554395B2 (en) Method and system for facilitating autonomous landing of aerial vehicles on a surface
CN109073498B (zh) 用于对象的损坏分析的系统
Kalinov et al. High-precision uav localization system for landing on a mobile collaborative robot based on an ir marker pattern recognition
JP7025156B2 (ja) データ処理装置、データ処理方法およびデータ処理用プログラム
CN106970377A (zh) 可变分辨率光雷达系统
US20190113937A1 (en) Measuring device, control device for unmanned aerial vehicle and computer program product for controlling unmanned aerial vehicle
JP7007137B2 (ja) 情報処理装置、情報処理方法および情報処理用プログラム
Mader et al. UAV-based acquisition of 3D point cloud–a comparison of a low-cost laser scanner and SFM-tools
JP2016080572A (ja) レーザ計測システム
JP2018119852A (ja) 位置特定装置、位置特定方法、位置特定システム、位置特定用プログラム、無人航空機および無人航空機識別用ターゲット
CN113597587A (zh) 自主移动飞行器检查系统
CN112146627B (zh) 在无特征表面上使用投影图案的飞行器成像系统
Merkle et al. Concept of an autonomous mobile robotic system for bridge inspection
RU2785076C1 (ru) Способ автономной посадки беспилотного летательного аппарата
US20240111311A1 (en) Control apparatus, base station, control method, and program
JP2024519280A (ja) 航空機を使用した太陽光発電デバイスの自動イメージング、および、それを実施するための航空機の自動飛行
RU2782702C1 (ru) Устройство для поддержки позиционирования объекта
RU2792974C1 (ru) Способ и устройство для автономной посадки беспилотного летательного аппарата
US20240129616A1 (en) Reality capture using cloud based computer networks
US20240054789A1 (en) Drone data collection optimization for evidence recording
US20240231391A1 (en) Automated imaging of photovoltaic devices using an aerial vehicle and automated flight of the aerial vehicle for performing the same
US20240054731A1 (en) Photogrammetry system for generating street edges in two-dimensional maps

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant