CN111226092A - 无人机地平面检查系统 - Google Patents

无人机地平面检查系统 Download PDF

Info

Publication number
CN111226092A
CN111226092A CN201780095879.4A CN201780095879A CN111226092A CN 111226092 A CN111226092 A CN 111226092A CN 201780095879 A CN201780095879 A CN 201780095879A CN 111226092 A CN111226092 A CN 111226092A
Authority
CN
China
Prior art keywords
image
infrared
laser
computing system
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780095879.4A
Other languages
English (en)
Inventor
施·平·杰克·舒
李超
杜家豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honeywell International Inc
Original Assignee
Honeywell International Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honeywell International Inc filed Critical Honeywell International Inc
Publication of CN111226092A publication Critical patent/CN111226092A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B10/00—Integration of renewable energy sources in buildings
    • Y02B10/30—Wind power

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

计算系统获得由第一无人机(UAV)在图像捕获位置处捕获的结构的第一红外图像。图像捕获位置与结构无关，使得结构的位置的任何变化不会改变图像捕获位置。另外，计算系统获得由第一UAV或第二UAV在图像捕获位置处捕获的结构的第二红外图像。该计算系统基于第一图像中所示的来自激光器的光束与第二图像中所示的来自激光器的光束之间的角度，确定第二红外图像的分数。该计算系统基于第二红外图像的分数，确定在第一红外图像的捕获与第二红外图像的捕获之间的时间间隔期间结构的位置是否已改变。

Description

无人机地平面检查系统
技术领域
本公开涉及用于检查结构的系统。
背景技术
地震、土壤沉降、地面塌陷、渗水、地下水抽取、沉洞开发、隧穿以及其他自然或人为现象都可能导致结构下方的地面发生变化。地平面变化是结构崩溃的常见原因。例如，大坝下面的地平面变化可能表明大坝有倒塌的危险。
但是，地平面的变化很难检测。例如，可能难以确定结构的地平面的变化，因为对结构进行观察的地面也可能已经改变。例如，可能难以确定结构是否已凹陷或观察站是否已升高。
发明内容
一般来讲，本公开涉及用于检测由于地平面变化引起的结构的位置变化的系统。如本文所述，激光器在固定位置处附接到结构。无人机(UAV)从各种图像捕获位置捕获结构的第一组图像。第一组图像中的图像揭示附接到结构的激光器发射的激光束的路径。随后，UAV返回到相同的图像捕获位置并捕获揭示由附接到结构的激光器发射的激光束的路径的一组新图像。因为UAV是机载的，所以无论UAV下面的地平面是否改变，图像捕获位置都是相同的。通过将第一组图像和第二组图像中的激光束的角度进行比较，计算系统可确定在UAV捕获第一组图像和UAV捕获第二组图像之间的时间间隔期间结构的位置是否已改变。
在一个示例中，本公开描述了一种用于检测结构的位置变化的方法，该方法包括：由计算系统获得由第一无人机(UAV)在图像捕获位置处捕获的结构的第一红外图像，其中图像捕获位置与所述结构无关，使得结构的位置的任何变化都不会改变图像捕获位置，并且其中附接到结构的激光器的光束在第一红外图像中表示；由计算机系统获得第一UAV或第二UAV在第一红外图像被捕获之后在图像捕获位置处捕获的结构的第二红外图像，其中激光器的光束在第二红外图像中表示；由计算系统基于第一图像中所示的来自激光器的光束与第二图像中所示的来自激光器的光束之间的角度确定第二红外图像的分数；由计算系统基于第二红外图像的分数确定在第一红外图像的捕获和第二红外图像的捕获之间的时间间隔期间结构的位置是否已改变，其中激光器在时间间隔期间保持附接到结构；以及由计算系统输出结构的位置在时间间隔期间是否已改变的指示。
在另一个示例中，本公开描述了一种计算系统，该计算系统包括：存储器，该存储器被配置为：存储由第一无人机(UAV)在图像捕获位置处捕获的结构的第一红外图像，其中图像捕获位置与结构无关，使得结构的位置的任何变化都不会改变图像捕获位置，并且其中附接到结构的激光器的光束在第一红外图像中表示；存储由第一UAV或第二UAV在第一红外图像被捕获之后在图像捕获位置处捕获的结构的第二红外图像，其中激光器的光束在第二红外图像中表示；以及一个或多个处理电路，该一个或多个处理电路被配置为：基于第一图像中所示的来自激光器的光束和第二图像中所示的来自激光器的光束之间的角度，确定第二红外图像的分数；基于第二红外图像的分数，确定在第一红外图像的捕获和第二红外图像的捕获之间的时间间隔期间结构的位置是否已改变，其中激光器在时间间隔期间保持附接到结构；以及输出结构的位置在时间间隔期间是否已改变的指示。
在另一个示例中，本公开描述了一种其上存储有指令的非暂态计算机可读存储介质，该指令在被执行时，使得计算系统：获得由第一无人机(UAV)在图像捕获位置处捕获的结构的第一红外图像，其中图像捕获位置与结构无关，使得结构的位置的任何变化都不会改变图像捕获位置，并且其中附接到结构的激光器的光束在第一红外图像中表示；获得第一UAV或第二UAV在第一红外图像被捕获之后在图像捕获位置处捕获的结构的第二红外图像，其中激光器的光束在第二红外图像中表示；基于第一图像中所示的来自激光器的光束与第二图像中所示的来自激光器的光束之间的角度确定第二红外图像的分数；基于第二红外图像的分数确定在第一红外图像的捕获和第二红外图像的捕获之间的时间间隔期间结构的位置是否已改变，其中激光器在时间间隔期间保持附接到结构；以及输出结构的位置在时间间隔期间是否已改变的指示。
本公开的一个或多个示例的细节在以下附图和说明书中阐述。其他特征、目的和优点将从描述、附图以及权利要求书中显而易见。
附图说明
图1示出了示例性无人机(UAV)系统，其可以被配置为实现本公开的技术。
图2是示出根据本公开的技术的示例性结构和图像捕获位置的概念图。
图3是示出可用于实现本公开的技术的UAV的示例性部件的框图。
图4是示出根据本公开的技术的计算系统的示例性部件的框图。
图5A示出了根据本公开的技术的具有附接的激光器的桥的示例性图像。
图5B示出了在稍后时间捕获的图5A的桥的示例性图像。
图6示出了根据本公开的技术的具有附接的激光器的示例性建筑物。
图7是示出根据本公开的技术的用于检测结构的位置变化的示例性操作的流程图。
图8是示出根据本公开的技术的用于比较图片的技术的概念图。
图9示出了根据本公开的技术的用于地平面运动的决策图。
具体实施方式
图1示出了无人机(UAV)系统100的示例，其可以被配置为实现本公开的技术。UAV系统100包括UAV 102、控制器设备104和计算系统106。在UAV系统100中，控制器设备104控制UAV 102的飞行路径和数据采集功能。计算系统106处理由UAV 102收集的数据。尽管在图1中示出为单独的设备，在一些UAV系统中，控制器设备104和计算系统106的功能可以由公共设备执行。
UAV 102在图1中示出为四轴飞行器，但是UAV 102可以是任何类型的UAV，包括但不限于旋翼飞行器、固定翼飞机、复合飞机(诸如倾斜旋翼飞机、X2和X3)、浮空器或任何其他这种类型的UAV，包括所有垂直起降(VTOL)飞机、立式起落飞机等。UAV 102可被配置成以不同程度的自主性飞行。在一些示例中，UAV 102可以在控制器设备104的用户的恒定或接近恒定的控制下。在其他示例中，控制器设备104可向UAV 102递送任务(包括飞行计划)，并且UAV 102的机载处理电路可被配置为在几乎没有或没有附加用户输入的情况下执行任务。在一些示例中，UAV 102可以使用LIDAR来避免碰撞。
虽然本公开的技术不限于任何特定类型的UAV，但是UAV 102可以是例如相对小型的低空低速UAV，其中在这种情况下，小型对应于低于100磅，低空对应于地面上方低于3000英尺的操作高度，并且低空速对应于低于250节的空度。此外，设想UAV 102可具有悬停能力，意味着UAV102可具有保持在空气中的大致恒定位置的能力。
在一些示例中，控制器设备104包括通用设备，诸如个人数字助理(PDA)、膝上型计算机或台式计算机、平板电脑、蜂窝或卫星无线电电话、“智能电话”或另一种此类设备。在控制器设备104是通用设备的示例中，控制器设备104可以被加载有并被配置为执行被设计为控制UAV102的软件。在其他示例中，控制器设备104是专门设计用于控制UAV102的专用设备。
控制器设备104经由通信链路108与UAV 102通信。通信链路108可以例如是通过诸如WiFi、蓝牙、ZigBee、专有协议或任何其他合适协议的无线电通信协议的直接链路。在其他示例中，通信链路108可以是基于网络的链路，其中控制器设备104通过一个或多个中间设备诸如网关、路由器、交换机、中继器或其他此类网络设备与UAV 102通信。
计算系统106包括一个或多个计算设备。例如，计算系统106可包括通用设备，诸如个人数字助理(PDA)、膝上型计算机或台式计算机、平板电脑、智能电话、服务器设备或另一此类设备。计算系统106可被加载有并被配置为执行被设计为处理由UAV 102收集的数据的软件。在一些示例中，UAV 102被配置为经由例如无线通信链路110实时或接近实时地将数据流式传输到计算系统106。在其他示例中，UAV 102在飞行期间存储数据，并且在稍后时间将数据传输到计算系统106，诸如在飞行完成之后。
一个或多个相机112安装在UAV 102上。根据本公开的技术，相机112可以包括能够捕获红外辐射的图像的一个或多个相机。另外，在本公开的一些示例中，相机112可以包括能够捕获可见光的图像的一个或多个相机。
如图1的示例中所示，激光器113附接到结构114。尽管在图1中示出具有矩形块形状，但是结构114可以具有多种形式。例如，结构114可以是建筑物、水坝、太阳能电池板阵列、风力涡轮机、纪念碑、桥梁、堤坝、海堤、码头、天线、火山、泵站或其他类型的人造或自然结构。附接到结构114的激光器113的数量可以是任意的。在一些示例中，为确保地平面检查的准确度，可存在至少三个激光器，其光束在x、y和z检查轴上取向。在本公开中，x轴可以对应于纵向方向，y轴可以对应于横向方向，并且z轴可以对应于竖直方向。使用过多的激光器可能增加检查时间并且可导致捕获和存储过量的图像。然而，使用过少的激光器可能会降低检查准确度。
附接到结构114的激光器113发射红外辐射的激光束。在图1的示例中，激光束表示为虚线。由于激光束加热激光束穿过的空气，因此沿着激光束路径的空气发射红外辐射。因此，由安装在UAV 102上的相机112捕获的红外图像可以揭示激光束的路径。在安装激光器113期间或之后，技术人员可以校准激光器113。例如，为了校准激光器113，技术人员可以调整激光器以确保激光器113发射的激光束平行于或正交于重力方向。
根据本公开的技术，UAV 102飞到预先确定的图像捕获位置。在每个图像捕获位置处，UAV 102的相机112捕获结构114的一个或多个红外图像，从而捕获结构114的第一组红外图像。可以根据x，y和z坐标来定义每个图像捕获位置。在一些示例中，UAV 102将捕获的图像保存在安全数字(SD)卡或其他类型的存储卡上，并且也可以使用3G、4G、5D、窄带物联网(NBIOT)或其他无线类型的传输技术在线转移到基于云的web服务器。在一些示例中，UAV102配备有一个或多个差分全球导航卫星系统(GNSS)设备，以帮助UAV 102导航到图像捕获位置。例如，UAV 102可配备用于实时运动学，其是一种可以为基站附近的UAV 102提供高定位性能的差分GNSS。在一些示例中，GNSS设备的准确度可以在1厘米内。
第一组红外图像可以示出从附接到结构114的激光器113发射的激光束的路径。计算系统106存储第一组捕获的红外图像以供以后的分析。UAV 102的相机112还可以在图像捕获位置处捕获结构114的第一组可见光图像，该第一组可见光图像可以与相同的GNSS位置相关联。计算系统106还可以存储第一组捕获的可见光图像以供以后的分析。
随后，UAV 102返回到相同的预先确定的图像捕获位置，并捕获结构114的第二组红外图像。计算系统106可以存储第二组红外图像以供以后的分析。UAV 102的相机112还可以在图像捕获位置处捕获结构114的第二组可见光图像。计算系统106还可以存储第二组捕获的可见光图像以供以后的分析。
在各种示例中，UAV 102在经过各种时间段之后或发生各种事件之后捕获第二组图像。例如，UAV 102可以每月、每年或在经过一些其他时间段之后捕获图像组。在一些示例中，在发生诸如地震或隧道活动的事件之后，UAV 102捕获一组图像。
预先确定的图像捕获位置不取决于在预先确定的图像捕获位置正下方的地平面。例如，在预先确定的图像捕获位置中的一者的正下方的地面可以上升或下降而不改变预先确定的图像捕获位置。在本公开中，对应的图像是从相同图像捕获位置捕获的图像。换句话讲，从相同图像捕获位置捕获的两个图像被视为对应的图像。
对于第二组红外图像中的每个相应的红外图像，计算系统106尝试识别第一组红外图像中的对应图像。可以从与第二组红外图像中的红外图像相同的图像捕获位置捕获对应的红外图像。计算系统106可以各种方式识别对应的图像。例如，计算系统106可以接收每个图像的图像捕获位置坐标(例如，x，y和z维的坐标)。图像的图像捕获位置坐标指示当相机112捕获图像时UAV 102的坐标。在该示例中，计算系统106可以基于与相同图像捕获位置坐标相关联的图像来确定一个图像对应于另一图像。
计算系统106将第一组红外图像中的红外图像与第二组红外图像中的对应红外图像进行比较。例如，计算系统106可以将对应的红外图像中的激光束的角度进行比较。激光束角度的变化可以指示图像中所示结构下方的地面已偏移。例如，如果激光束在第一红外图像中为0°，而相同的激光束在第二红外图像中为5°，则该结构下的地平面可能已经向上或向下偏移。
在一些示例中，计算系统106还可以或另选地将两个或更多个不同激光束之间的相对角度进行比较。例如，一组两个或多个激光器可以初始在给定方向上发射平行激光束。平行激光束中的每个可以被称为单独的“层”。在该示例中，计算系统106可以确定在第二组红外图像中激光束是否在公差极限内保持平行。不再平行的激光束表明该结构的位置可能已经偏移。
此外，在一些示例中，附接到结构的一对激光器可初始发射正交激光束。例如，激光器中的一个可以发射竖直激光束，而激光器中的另一个可以发射水平激光束。在另一种情况下，两个激光器可以发射相对于地面水平但彼此正交的激光束。在此类示例中，计算系统106可以确定激光束在第二组红外图像中是否在公差极限内保持正交。不再正交的激光束表明该结构的位置可能已经偏移。
另外，计算系统106可以将对应的可见光图像进行比较以识别检查目标。检查目标的示例类型可以包括结构元件的裂缝、剥落、翘曲或弯曲、碎屑堆积(例如，灰尘、金属屑、铁锈薄片、禽粪便)等。例如，在结构为桥的示例中，具有相同图像捕获位置的可见光图像的比较可确定桥表面是否损坏(例如，混凝土损耗)，桥连接间隙(例如，热膨胀接头)的尺寸是否正确，桥支撑点是否具有变化的距离等。在一些示例中，计算系统106可以将可见光图像(其与(x，y，z)空间中的特定图像捕获位置相关联)映射到结构的2-D和/或3-D模型。因此，在一些示例中，计算系统106可以将结构的各个特征(诸如角部)与可见光图像相关联。这可以允许计算系统106和/或用户识别并存储指示结构中需要维护或修理的位置的数据。
在一些示例中，响应于计算系统106基于红外图像的比较确定在该时间间隔期间结构的位置已经改变，计算系统106检索(例如，自动地，响应于用户输入等)对应于红外图像的可见光图像。用户可以使用检索到的可见光图像对结构执行进一步检查并识别检查目标。例如，在该结构包括一组太阳能电池板的情况下，用户可以使用可见光图像来识别太阳能电池板的破裂或堵塞。可见光图像的使用可以帮助用户验证红外图像的分析结果，并且可以出于维护和修理的目的帮助识别受损表面的位置。在一些示例中，用户可以使用可见光图像来确定材料、过程、程序、时间表估计和工作订单发布中的维护或修理要求。
在一些示例中，计算系统106基于图像与历史图像的比较来生成图像的分数。本公开可以将图像的分数称为异相分数，因为该分数可以是对图像中所示的结构的位置和历史图像中所示的结构的位置之间的差异的度量。在一些示例中，计算系统106可以确定红外图像的异相分数，使得红外图像的异相分数与基线和图像中所示的激光线之间的角度成比例。例如，较高的异相分数可对应于较高的角度。如果可见光图像示出该结构需要维护、修理或不合规格的可见迹象，则计算系统106或用户可以将可见光图像分类为异相。
计算系统106还可基于图像确定该结构的总分数。总分数可用于评估是否已达到触发点以进行结构维护、结构修理或该结构是否必须撤离或者废弃。在一些示例中，为了确定总分数，计算系统106可以将结构的总分数确定为一组图像(例如，上述的第二组红外图像)中具有大于特定阈值的异相分数的图像百分比。例如，在一个示例中，计算系统106可以对一组图像中的图像根据它们各自的异相分数进行排名(例如，以降序或升序)。累积警报分数曲线是图表中用于将排名后的图像映射到其异相分数的曲线。在该示例中，在对图像进行排名之后，计算系统106可以确定具有落入最严重类别的异相分数的图像的百分比。在此示例中，该百分比可以是结构的总分数。具有在最严重类别中的异相分数的图像称为不合规格的图像。下面详细讨论的图9示出了另一示例，该示例为如何确定是否已达到触发点以进行结构维护、结构修理或确定结构是否必须撤离或废弃。
在一些示例中，计算系统106调整图像以校正图像和历史图像之间的偏航、姿态和倾斜差异。在一些示例中，UAV 102包括各种传感器以检测UAV 102的飞行取向。此类传感器可以包括用于检测偏航的指南针和/或陀螺仪，用于检测姿态和倾斜的陀螺仪等。UAV 102可以发送历史图像组中的每个图像的取向数据，诸如上述的第一组红外图像。例如，历史图像组中的第一图像的取向数据可以指示当安装在UAV 102上的相机捕获图像时UAV 102倾斜2°。在该示例中，第二图像(例如，第二组红外图像中的图像)的取向数据可以指示当安装在UAV 102上的相机捕获第二图像时UAV 102倾斜5°。此外，在该示例中，计算系统106可以将第二图像旋转-3°以使第一图像和第二图像对准。这样，第一图像和第二图像可以对准。在其他示例中，计算系统106可以将偏斜效果应用于图片以补偿偏航和姿态差异。计算系统106可以接收针对红外图像和可见光图像两者执行类似的处理。
计算系统106还可以对图像执行各种其他类型的预处理。例如，计算系统106可以将各种滤波器应用于图像(例如，以增加对比度、减少噪声等)。在一些示例中，计算系统106可以放大或缩小图像以获得一致的视图。在一些示例中，计算系统106可以放大图像中的其他特殊特征。例如，各种环境条件(诸如明亮的天空、多云的天空、雨、雾等)可能会影响UAV102捕获的红外和可见光图像的质量。另外，风可导致UAV 102振动，从而潜在地导致模糊的图像。计算系统106可将各种效果应用于图像以补偿环境条件。例如，计算系统106可应用滤波器以去除模糊，并且可以放大或缩小。对于红外图像，计算系统106可添加对比度颜色因子以强调和澄清激光线。
在一些示例中，计算系统106将红外图像与同时可见光图像叠加。例如，计算系统106可以使用控制表面将彩色层掩模施加到可见光图像，以将对应的红外图像叠加在可见光图像上。控制表面可以在图像中包括可识别的界标，该界标可用于匹配可见光图像和红外图像中的对应的位置。例如，UAV 102可以同时捕获红外图像和可见光图像。在该示例中，计算系统106可以将红外图像叠加到可见光图像上，使得所得图像示出由附接到结构的激光器发射的激光束以及该结构的普通可见光图像。
图2是示出根据本公开的技术的示例性结构和图像捕获位置的概念图。在图2的示例中，激光器附接到结构200。地平线202示出在背景中，并且道路204朝向地平线202延伸。激光器的光束在图2中示出为虚线。图像捕获位置在图2中示出为“X”标记。“X”标记下方的箭头指示图像捕获位置正下方的地面上的位置。
UAV诸如UAV 102(图1)可以在图像捕获位置中的每个处捕获图像。如图2的示例中所示，图像捕获位置可以包括彼此更靠近并且远离结构200对准的图像捕获位置。
一般来讲，为了捕获结构200的3维运动，可能需要最少两个图像捕获位置。图像捕获位置可以在水平面(即，与重力向量正交的平面)中彼此分开90°。
图3示出了UAV 102的示例图示。UAV 102包括飞行设备300、处理器302、存储器304、收发器306、天线308、导航系统310、相机312、传感器314和电源316。通信信道318将飞行设备300、处理器302、存储器304、收发器306、天线308、导航系统310、相机312、传感器314和电源316中的每一者互连以用于部件间通信(物理地、通信地和/或可操作地)。在一些示例中，通信信道318包括系统总线、网络连接、进程间通信数据结构，或用于传送数据的任何其他方法，包括各种类型的无线通信技术。电源316可向UAV 102的每个其他部件提供电能。在一些示例中，电源316是电池。
处理器302旨在表示UAV 102的所有处理电路和所有处理能力。例如，处理器302可包括一个或多个数字信号处理器(DSP)、通用微处理器、集成电路(IC)或一组IC(例如，芯片组)、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)、或其他等效的集成或离散逻辑电路。因此，如本文所使用的术语“处理器”可以指任何前述结构或适用于实施本文所描述的技术的任何其他结构。
存储器304旨在表示UAV 102内的所有各种存储器设备。存储器304构成计算机可读存储介质，并且可采用一旦UAV 102关闭就不保持存储内容的易失性存储器的形式或将内容存储更长时间段(包括UAV 102处于未供能状态的时间段)的非易失性存储器的形式。易失性存储器的示例包括随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、集成随机存取存储器(IRAM)、半导体闸流管随机存取存储器(TRAM)、零电容随机存取存储器(ZRAM)或任何其他类型的合适易失性存储器。非易失性存储器的示例包括光盘驱动器、磁盘驱动器、闪存存储器、只读存储器(ROM)、电可编程存储器(EPROM)或电可擦除可编程存储器(EEPROM)形式，或任何其他这种类型的非易失性存储器。
UAV 102的功能由硬件、软件、固件或其组合实现。存储器304可以存储包括指令集的软件和固件。处理器302和UAV 102的其他硬件部件可执行指令以执行本公开的技术。
收发器306被配置为使用天线308发送和接收数据。收发器306可根据本公开中其他地方描述的任何无线通信协议来发送和接收数据。例如，收发器306可被配置为接收导航指令。另外，收发器306可以被配置为将图像和其他数据发送到计算系统诸如控制器设备104(图1)或计算系统106(图1)。
导航系统310控制UAV 102的飞行路径。例如，导航系统310可以向飞行设备300输出信号以指示UAV 102飞行到预先确定的图像捕获位置、着陆或以其他方式导航到沿着UAV102的飞行路径的位置。
相机312被配置为捕获红外图像。另外，在一些示例中，相机312被配置为捕获可见光图像。在一些示例中，用同一相机捕获红外图像和可见光图像两者。在其他示例中，UAV102具有单独的相机来捕获红外图像和可见光图像。处理器302可以被配置为控制相机312。
传感器314旨在表示UAV 102中包括的所有各种传感器。UAV 102可例如包括用于飞行管理的一个或多个传感器，诸如加速度计、陀螺仪、磁力计、气压计、GNSS传感器、倾斜传感器、惯性测量传感器、速度传感器等。
图4是示出根据本公开的一种或多种技术的计算系统106的示例性部件的框图。在图4的示例中，计算系统106包括一个或多个处理电路400、电源402、存储器404、收发器406、显示器408。通信通道110将处理电路400、存储器404、收发器406和显示器408互连。电源402为处理电路400、存储器404、收发器406和显示器408提供电力。处理电路400、存储器404、收发器406和显示器408可以类似于上文关于图3所述的处理电路302、存储器304和收发器306的方式来实现。显示器408可包括用于输出数据的各种类型的显示器，诸如液晶显示器、等离子显示器、发光二极管(LED)显示器等。
在图4的示例中，存储器404存储检查单元410和图像档案库412。此外，如图4的示例中所示，检查单元410包括图像修改单元414和图像分析单元416。检查单元410、图像修改单元414和图像分析单元416可以包括指令，所述指令当由处理电路400执行时，使计算系统106执行本公开中赋予检查单元410、图像修改单元414和图像分析单元416的动作。
在图4的示例中，检查单元410可以配置收发器406以从UAV 102接收数据(图1；图3：)。因此，检查单元410可从UAV 102接收各种类型的数据。例如，检查单元410可从UAV 102接收图像数据、取向数据、图像捕获位置坐标数据和其他类型的数据。因此，收发器406可以被配置为接收由安装在UAV上的相机捕获的图像，其中该图像为结构的。
在一些示例中，图像修改单元414对图像执行图像预处理功能。例如，图像修改单元414可以旋转或偏斜从UAV 102接收的图像，使得图像看起来是从与在相同的图像捕获位置处捕获的历史图像相同的角度拍摄的。例如，如果历史图像全部相对于与重力矢量正交的平面倾斜0°拍摄，但是当UAV 102捕获新图像时发生的阵风导致新图像相对于平面倾斜5°拍摄，图像修改单元414可以将新图像旋转-5°以确保新图像来自与历史图像一致的角度。类似地，在特定图像捕获位置处拍摄的结构的历史图像可以直接在结构轴承上拍摄，但是当在相同的图像捕获位置处拍摄结构的新图像时，UAV 102的相机可能会偏航或俯仰4°。因此，在该示例中，图像修改单元414可以向新图像施加-4°的偏斜以校正偏航或俯仰。图像修改单元414可以基于UAV 102在捕获图像时生成的取向数据来确定倾斜、偏航或俯仰。
图像分析单元416可以分析结构的图像以确定该结构是否已经改变位置。例如，图像分析单元416可以获得在相同图像捕获位置处在不同时间拍摄的第一红外图像和第二红外图像。在该示例中，图像分析单元416可以基于第一图像中所示的来自激光器的光束和第二图像中所示的来自激光器的光束之间的角度，确定第二红外图像的分数。另外，图像分析单元416可以基于第二红外图像的分数，确定在第一红外图像的捕获与第二红外图像的捕获之间的时间间隔期间结构的位置是否已经改变，其中所述激光器在所述时间间隔期间保持附接到所述结构。此外，图像分析单元416可以输出在该时间间隔期间结构的位置是否已经改变的指示。
图5A示出了具有附接的激光器的桥500的示例性图像。在图5A的示例中，激光器502A-502C(统称为“激光器502”)附接到桥500。激光器502中的每一个发射竖直激光束和水平激光束。在图5A的示例中，激光束被示出为散布有两个点的虚线。激光束504A、504B和504C(统称为“激光束504”)初始彼此平行。因此，激光束504可被认为是不同的层。类似地，激光束506A、506B和506C(统称为“激光束506”)初始彼此平行。激光束504A与激光束506A正交，激光束504B与激光束506B正交，并且激光束504C与激光束506C正交。激光束504沿着x轴导向，并且激光束506沿着z轴导向。沿着y轴发射激光束的激光器也可安装在桥500上，但为了清楚起见，省略了这些激光器。
图5B示出了在稍后时间所捕获的图5A的桥500的示例性图像。在图5B的示例中，桥500右侧下方的地面已沉降。因此，激光器502发射的激光束的角度相对于水平和竖直已经改变。在图5B的示例中，激光器502在稍后时间发射的激光束的路径示出为散布有较短虚线的虚线。散布有两个点的短划线示出了图5A中的激光束的初始路径以进行比较。计算系统106可以能够确定由激光器502发射的激光束在相对于图5A的时间稍后的时间具有不同的角度。
另外，在一些示例中，计算系统106可以确定激光束504在稍后时间捕获的红外图像中是否保持彼此平行。因此，一般来讲，计算系统106可针对沿x轴导向的每对激光束来确定该对激光束是否保持彼此平行。计算系统106还可确定在稍后时间捕获的红外图像中激光束506是否保持彼此平行。因此，一般来讲，计算系统106可针对沿z轴导向的每对激光束来确定该对激光束是否保持彼此平行。计算系统106可对沿y轴导向的一对激光束进行类似的确定。因此，一般来讲，对于初始沿给定轴(例如x轴、y轴或z轴)导向的第一激光束，计算系统106可确定初始沿着给定轴导向的第二激光束是否保持平行于第一激光束。
在一些示例中，计算系统106可确定激光束504是否保持与激光束506正交。例如，不再与激光束506C正交的激光束504A可能是桥500破裂或扭曲的指示。一般来讲，对于初始沿第一轴(例如x轴、y轴或z轴)导向的第一激光束，计算系统106可确定初始沿第二正交轴导向的第二激光束是否保持与第一激光束正交。
此外，在一些示例中，激光器初始安装在结构上，使得激光器发出的激光束不正交，而是可以具有其他相对角度，例如25°、45°、65°等。计算系统106可以执行类似的过程以检查从如此安装的激光器发射的激光束之间的角度是否保持一致。
图6示出了根据本公开的技术的具有附接的激光器的示例性建筑物600。在图6的示例中，附接到建筑物600的激光器发射的激光束被示出为虚线。基于附接到建筑物600的激光器的配置，由UAV在预先确定的图像捕获位置处捕获的红外图像可以用于确定建筑物600是否已沿x、y或z方向中的任何一个倾斜。
图7是示出根据本公开的技术的用于检测结构的位置变化的示例性操作的流程图。例如，图7的操作可用于检测结构114(图1)、结构200(图2)、桥500(图5A和图5B)和建筑物600(图6)的位置变化。
在图7的示例中，计算系统106可以获得由第一UAV(例如，图1和图3的UAV 102)在图像捕获位置处捕获的结构的第一红外图像(700)。图像捕获位置与结构无关，使得结构位置的任何变化都不会改变第一位置。附接至结构的激光器的光束在第一红外图像中表示。
计算系统106还可以获得第一UAV或第二UAV在捕获第一红外图像之后在图像捕获位置处捕获的结构的第二红外图像(702)。激光器的光束也在第二红外图像中表示。计算系统106可以以各种方式获得图像。例如，计算系统106可以从本地或远程图像档案库(诸如图像档案库412(图4))中检索图像。在一些示例中，计算系统106可直接从UAV获得图像。
另外，计算系统106可以基于第一图像中所示的来自激光器的光束和第二图像中所示的来自激光器的光束之间的角度来确定第二红外图像的分数(例如，异相分数)(704)。例如，计算系统106可以将第二红外图像的分数确定为等于角度。
在一些示例中，在第一图像和第二图像中示出两个激光束。可以将两个激光束初始取向为使得在光束之间存在预限定角度，诸如0°(光束平行)、90°(光束正交)或另一角度。在此类示例中，计算系统106可以基于第二图像中所示的两个激光束之间的角度来确定第二图像的分数。例如，该分数可以等于第二图像中所示的两个激光束之间的角度。如果两个激光束不再具有预限定角度，则激光束中的一个的角度必须从第一图像改变为第二图像。因此，基于初始具有相对于彼此的相同预限定角度的两个激光束之间的角度的分数可等于基于第一图像中所示的来自激光器中的一个的光束与第二图像中所示的来自激光器的光束之间的角度的分数。
此外，在图7的示例中，计算系统可以基于第二红外图像的分数来确定在第一红外图像的捕获与第二红外图像的捕获之间的时间间隔期间结构的位置是否已经改变(706)。例如，计算系统可以基于第二图像的分数大于预定义的阈值(例如，0.5°、1°等)来确定结构的位置已改变，在该时间间隔期间该结构的位置已改变。在时间间隔期间，激光器保持附接到结构，并且不相对于结构移动或旋转。
在一些示例中，计算系统106还可以在捕获第一红外图像的同时，获得由第一UAV从图像捕获位置捕获的结构的第一可见光图像。此外，在该示例中，计算系统可以获得由第一UAV或第二UAV在与第二红外图像的相同时间从图像捕获位置捕获的结构的第二可见光图像。在该示例中，如果计算系统基于第二红外图像的分数确定结构的位置在时间间隔期间已改变，则用户可以使用第一可见光图像和第二可见光图像作为参考，以验证确实从相同位置捕获了第一红外图像和第二红外图像，和/或寻找结构的位置已改变的视觉证据。此外，即使计算系统基于第一红外图像和第二红外图像确定结构的位置没有改变，用户或计算系统可以检查第一可见光图像和第二可见光图像以寻找结构的位置已改变的证据。此类证据可以包括裂缝、剥落、结构相对于固定背景或前景物体的角度或位置的变化等。可以训练该计算系统(例如，通过机器学习过程)以识别此类证据。如果在第二可见光图像中有证据表明该结构需要维护、修理或完全不合规格，则用户或计算系统可以将第二可见光图像分类为不合规格。因此，通过这种方式，计算系统可以基于第二组红外图像的分数以及基于第一可见光图像与第二组可见光图像中对应的图像之间的可见差异，来确定在第一组可见光图像的捕获和第二组可见光图像的捕获之间的时间间隔期间结构的位置已改变。
在一些示例中，计算系统106获得由第一UAV在多个图像捕获位置处捕获的第一组红外图像。在该示例中，第一组红外图像包括第一红外图像，并且图像捕获位置被包括在多个图像捕获位置中。图像捕获位置中的每一个可以对应于源自GNSS的位置。此外，在该示例中，计算系统106获得由第一UAV或第二UAV在捕获第一组红外图像之后在多个图像捕获位置处捕获的第二组红外图像。第二组红外图像可以包括第二红外图像。另外，在该示例中，计算系统106基于第一组红外图像和第二组红外图像中的对应图像中所示的来自附接到结构的多个激光器的光束之间的角度，确定第二组红外图像的分数。作为确定结构的位置是否已经改变的一部分，计算系统106基于第二组红外图像的分数，确定在第一组红外图像的捕获与第二组红外图像的捕获之间的时间间隔期间结构的位置是否已改变。例如，计算系统106可以基于第二组图片中分数高于阈值的图片的百分比来确定结构的位置已经改变。在一些示例中，源自GNSS的位置可以精确到一厘米以内。
在一些示例中，附接到结构的激光器中的一者或多者包括第一激光器、第二激光器和第三激光器。第一激光器、第二激光器和第三激光器附接到该结构，使得在捕获第一组红外图像的时刻，第一激光器沿第一方向发射激光束，第二激光器沿第二方向发射激光束，并且第三激光器沿第三方向发射激光束(例如，x、y和z方向)。在该示例中，第一方向、第二方向和第三方向相互正交。在一些示例中，第一方向平行于重力矢量，使得第二方向和第三方向正交于重力矢量并且彼此正交。在一些示例中，方向中的一个(例如，第一方向)平行于该结构下方的地面坡度。
在一些示例中，计算系统106还获得由第一UAV在与第一组红外图像相同的时间在多个图像捕获位置处捕获的第一组可见光图像。在该示例中，计算系统106还获得由第一UAV或第二UAV在与第二组红外图像相同的时间在多个图像捕获位置处捕获的第二组可见光图像。此外，在该示例中，计算系统106自动确定或接收用户输入的指示，该指示指定第二组可见光图像是否不合规格。第二组可见光图像中的可见光图像可用于基于第二组可见光图像中的可见光图像与第一组可见光图像中的对应图像之间是否存在显著的可见差异来重新验证结构是否不合规格。显著的可见差异是可能与需要结构的维护或修修理相关联的差异。显著的可见差异的示例可以包括裂纹线的出现或变化、伸展接合部位置不正确等。
计算系统还可输出在时间间隔期间结构的位置是否已改变的指示(708)。例如，计算系统可以输出屏幕上的警告，指出结构的位置已改变。在一些示例中，计算系统可以生成电子消息，诸如电子邮件消息，指示结构的位置已改变。
图8是示出根据本公开的技术的用于比较图片的技术的概念图。在图8的示例中，UAV在各个图像捕获位置处捕获多个图像。图像捕获位置由(x，y和z)坐标标识。例如，在单个会话中，UAV可以在(1，1，1)、(2，1，1)等位置捕获图像(即，拍摄图片)，如图8的示例中所示。所捕获的图像可以包括x方向图像、y方向图像和z方向图像。x方向图像包括具有相同的y和z坐标但具有不同的x坐标的图像。y方向图像包括具有相同的x和z坐标但具有不同的y坐标的图像。z方向图像包括具有不同的x和y坐标但具有不同的z坐标的图像。然后将所捕获的图像存储在数据库中，如标有加号的圆圈所示。在一些示例中，使用3G、4G、5G、NBIOT或其他无线技术将所捕获的图像传输到预先确定的云服务器进行评估。使用这两种存储技术可以有助于确保所捕获的图像的安全存储。
在图8的示例中，对于每个图像，计算系统106可以从数据库(例如，图像档案库412(图4))检索具有与图像相同的坐标，但是为在其期间对应于图8的“拍摄图片”框的图像被捕获的会话时间之前的时间拍摄的图像。在图8中用包含X标记的圆圈表示检索。例如，对于从具有坐标(2，1，1)的图像捕获位置拍摄的图像，计算系统106可从数据库(其可位于云服务器或其他位置)检索从具有坐标(2，1，1)的图像捕获位置拍摄的历史图像。计算系统106然后可将两个对应的图像进行比较。如果对应图像之间存在显著的差异，则可执行结构的检查过程。否则，在UAV下一次飞行之前，将不采取进一步操作来测试结构是否已移动。所述结构的检查过程可以各种方式进行。例如，结构的检查过程可以是离线的、在线的或半在线的。当检查过程离线时，将手动执行红外图像的检查和可见光图像的检查。当检查过程在线时，红外图像的检查和可见光图像的检查由计算系统106自动执行。当检查过程为半在线时，红外图像的检查和可见光图像的检查由计算系统106自动执行，但工人检查检查的结果，并提供修理或维护结构的任务计划。在图8的示例中，计算系统106可以针对x方向图像、y方向图像和z方向图像中的每一者执行该处理。
图9示出了根据本公开的技术的用于地平面运动的决策图。计算系统106可以使用此类图表来确定结构的位置是否已经改变。在图9的示例中，UAV既可以捕获结构的可见光图片(即，标准图片)，又可以捕获结构的红外图像。如本公开中其他地方所述，计算系统106可以将结构的新一批图像中的图像与从相同图像捕获位置拍摄的结构的对应图像进行比较。对新一批图像的分析可能揭示，新一批图像中只有一些图像示出了结构的运动。如果示出结构运动的图像百分比足够小，则该结构实际上可能没有运动。另选地，当示出结构运动的图像百分比在特定百分比范围内时，可能需要对结构进行维护或修理。
在图9的示例中，如果图像与从相同图像捕获位置捕获的对应图像示出足够大的差异，则该图像被视为“不合规格的”。例如，如果红外图像中示出的激光线与对应红外图像中的激光线之间的角度大于特定的预定义阈值，则红外图像可被视为“不合规格的”。又如，如果标准可见光图像与从相同图像捕获位置拍摄的一个或多个对应的历史可见光图像示出检查目标中的差异，则该标准可见光图像可以被视为“不合规格的”。检查目标的示例类型可以包括结构元件的裂缝、剥落、翘曲或弯曲、碎屑堆积(例如，灰尘、金属屑、铁锈薄片、禽粪便)等。
计算系统106可以确定结构是否处于良好状态，确定结构是否需要维护，确定结构是否需要修理，或者基于结构的标准图像“不合规格”的百分比以及基于结构的红外图片“不合规格”的百分比确定结构的地平面是否为不合规格的。例如，在图9的示例中，如果“不合规格的”的结构的标准图像的数量小于2％，并且“不合规格”的结构的红外图像的数量也小于2％，则计算系统106可以确定该结构处于良好状态。类似地，在图9的示例中，如果“不合规格”的结构的标准图像的数量小于2％并且“不合规格”的结构的红外图像为2％至5％，则计算系统106可以确定该结构需要维护。在其他示例中，可以使用图9的示例中所示的那些百分比以外的百分比。
在一个或多个示例中，所描述的功能可以通过硬件、软件、固件或其任何组合来实现。如果以软件实施，则可将功能作为一个或多个指令或代码存储在计算机可读介质上或经由计算机可读介质上传输，并且由基于硬件的处理单元执行。计算机可读介质可包括对应于有形介质诸如数据存储介质的计算机可读存储介质，或者包括例如根据通信协议促进计算机程序从某个地方传输到另一个地方的任何介质的通信介质。这样，计算机可读介质通常可对应于：(1)非暂态的有形计算机可读存储介质，或者(2)通信介质诸如信号或载波。数据存储介质可以是可以由一个或多个计算机或一个或多个处理器访问以检索用于实现本公开中描述的技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可以包括计算机可读介质。
以举例而非限制的方式，此类计算机可读存储介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储设备、磁盘存储设备或其他磁存储设备、闪存，或者可用于存储指令或数据结构形式的所需程序代码并且可由计算机访问的任何其他介质。而且，任何连接都被适当地称为计算机可读介质。例如，如果使用同轴电缆、光纤电缆、双绞线、数字用户线路(DSL)或无线技术诸如红外线、无线电和微波从网站、服务器或其他远程源传输指令，则同轴电缆、光纤电缆、双绞线、DSL或无线技术诸如红外线、无线电和微波都包含在介质的定义中。然而，应该理解，计算机可读存储介质和数据存储介质不包括连接、载波、信号或其他暂态介质，而是针对非暂态有形存储介质。如本文所用，磁盘和光盘包括压缩光盘(CD)、激光盘、光学光盘、数字通用光盘(DVD)、软磁盘及Blu-ray光盘，其中磁盘通常以磁性方式复制数据，而光盘则利用激光以光学方式复制数据。上述的组合也应该被包括在计算机可读介质的范围内。
可以由一个或多个处理器诸如一个或多个DSP、通用微处理器、ASIC、FPGA或其他等效集成或离散逻辑电路执行指令。因此，如本文所使用的术语“处理器”可以指任何前述结构或适用于实施本文所描述的技术的任何其他结构。此外，在一些方面中，可以在被配置用于编码和解码的专用硬件和/或软件模块内提供本文描述的功能，或者将其结合到组合编解码器中。而且，这些技术可以完全在一个或多个电路或逻辑元件中实现。
本公开的技术可以在各种设备或装置包括无线手机、集成电路(IC)或一组IC(例如，芯片组)中实现。在本公开中描述了各种部件、模块或单元，以强调被构造成执行所公开的技术的装置的功能方面，但是不一定需要通过不同的硬件单元来实现。相反，如上所述，各种单元可以组合在编解码器硬件单元中，或者由互操作的硬件单元的集合(包括如上所述的一个或多个处理器)结合合适的软件和/或固件来提供。
用于自动将图像保存在Web服务器上的云技术不仅限于本地或全球互联网云。其可以是受用户ID和密码保护的私有和/或公共云。密码不能限制为一个或两个。
已经描述了各种示例。这些示例和其他示例在以下权利要求书的范围内。

Claims (17)

1.一种用于检测结构的位置变化的方法，所述方法包括：
由计算系统获得由第一无人机(UAV)在图像捕获位置处捕获的所述结构的第一红外图像，其中所述图像捕获位置与所述结构无关，使得所述结构的位置的任何变化不改变所述图像捕获位置，并且其中附接至所述结构的激光器的光束在所述第一红外图像中表示；
由所述计算系统获得所述第一UAV或第二UAV在所述第一红外图像被捕获之后在所述图像捕获位置处捕获的所述结构的第二红外图像，其中所述激光器的所述光束在所述第二红外图像中表示；
由所述计算系统基于所述第一图像中所示的来自所述激光器的所述光束与所述第二图像中所示的来自所述激光器的所述光束之间的角度来确定所述第二红外图像的分数；
由所述计算系统基于所述第二红外图像的所述分数确定在所述第一红外图像的捕获与所述第二红外图像的捕获之间的时间间隔期间所述结构的位置是否已改变，其中所述激光器在所述时间间隔期间保持附接到所述结构；以及
由所述计算系统输出所述结构的所述位置在所述时间间隔期间是否已改变的指示。
2.根据权利要求1所述的方法，其中所述值为第一值，并且所述方法还包括：
由所述计算系统获得由所述第一UAV在与所述第一红外图像被捕获的相同时间从所述图像捕获位置捕获的所述结构的第一可见光图像；以及
由所述计算系统获得由所述第一UAV或所述第二UAV在与所述第二红外图像相同的时间从所述图像捕获位置捕获的所述结构的第二可见光图像，
其中确定所述结构的所述位置是否已改变包括由所述计算系统基于所述第二红外图片的所述分数并且基于所述第一可见光图像与所述第二组可见光图片中的对应图像之间的可见差异来确定所述结构的所述位置在所述时间间隔期间是否已改变。
3.根据权利要求1所述的方法，还包括：
由所述计算系统获得由所述第一UAV在多个图像捕获位置处捕获的第一组红外图像，其中所述第一组红外图像包括所述第一红外图像并且所述图像捕获位置被包括在所述多个图像捕获位置中；
由所述计算系统获得所述第一UAV或所述第二UAV在所述第一组红外图像被捕获之后在所述多个图像捕获位置处捕获的第二组红外图像，其中所述第二组红外图像包括所述第二红外图像；以及
由所述计算系统基于所述第一组红外图像和所述第二组红外图像中的对应图像中所示的来自附接至所述结构的多个激光器的光束之间的角度来确定所述第二组红外图像的分数，并且
其中确定所述结构的所述位置是否已改变包括由所述计算系统基于所述第二组红外图像的所述分数来确定在所述第一组红外图像的捕获与所述第二组红外图像的捕获之间的时间间隔期间所述结构的所述位置是否已改变。
4.根据权利要求3所述的方法，其中确定所述结构的所述位置是否已改变包括由所述计算系统基于所述第二组图片中具有高于阈值的分数的图片的百分比确定所述结构的所述位置已改变。
5.根据权利要求3所述的方法，其中：
附接到所述结构的所述激光器中的一个或多个包括第一激光器、第二激光器和第三激光器，
所述第一激光器、所述第二激光器和所述第三激光器附接到所述结构，使得在所述第一组红外图像被捕获的时间，所述第一激光器在第一方向上发射激光束，所述第二激光器在第二方向上发射激光束，并且所述第三激光器在第三方向上发射激光束，并且
所述第一方向、所述第二方向和所述第三方向相互正交。
6.根据权利要求5所述的方法，其中所述第一方向平行于重力矢量。
7.根据权利要求5所述的方法，其中所述第一方向平行于结构下方的地面坡度。
8.根据权利要求3所述的方法，还包括：
由所述计算系统获得由所述第一UAV在与所述第一组红外图像相同的时间在所述多个图像捕获位置处捕获的第一组可见光图像；以及
由所述计算系统获得由所述第一UAV或所述第二UAV在与所述第二组红外图像相同的时间在所述多个图像捕获位置处捕获的第二组可见光图像，
其中确定所述结构的所述位置是否已改变包括由所述计算系统基于所述第二组红外图像的所述分数以及基于所述第一可见光图像与所述第二组可见光图像中的对应图像之间的可见差异来确定在所述第一组红外图像的捕获与所述第二组红外图像的捕获之间的所述时间间隔期间所述结构的所述位置是否已改变。
9.一种计算系统，所述计算系统包括：
存储器，所述存储器被配置为：
存储由第一无人机(UAV)在图像捕获位置处捕获的结构的第一红外图像，其中所述图像捕获位置与所述结构无关，使得所述结构的位置的任何变化不改变所述图像捕获位置，并且其中附接至所述结构的激光器的光束在所述第一红外图像中表示；
存储由所述第一UAV或第二UAV在所述第一红外图像被捕获之后在所述图像捕获位置处捕获的所述结构的第二红外图像，其中所述激光器的所述光束在所述第二红外图像中表示；和
一个或多个处理电路，所述一个或多个处理电路被配置为：
基于所述第一图像中所示的来自所述激光器的所述光束与所述第二图像中所示的来自所述激光器的所述光束之间的角度来确定所述第二红外图像的分数；
基于所述第二红外图像的所述分数确定在所述第一红外图像的捕获与所述第二红外图像的捕获之间的时间间隔期间所述结构的位置是否已改变，其中所述激光器在所述时间间隔期间保持附接到所述结构；以及
输出所述结构的所述位置在所述时间间隔期间是否已改变的指示。
10.根据权利要求9所述的计算系统，其中所述值为第一值，并且所述一个或多个处理电路被进一步配置为：
获得由所述第一UAV在与所述第一红外图像被捕获的相同时间从所述图像捕获位置捕获的所述结构的第一可见光图像；以及
获得由所述第一UAV或所述第二UAV在与所述第二红外图像相同的时间从所述图像捕获位置捕获的所述结构的第二可见光图像，
其中所述一个或多个处理电路被配置为使得，作为确定所述结构的所述位置是否已改变的一部分，所述一个或多个处理电路基于所述第二红外图片的所述分数并且基于所述第一可见光图像与所述第二组可见光图片中的对应图像之间的可见差异来确定所述结构的所述位置在所述时间间隔期间是否已改变。
11.根据权利要求9所述的计算系统，
其中所述一个或多个处理电路被进一步配置为：
获得由所述第一UAV在多个图像捕获位置处捕获的第一组红外图像，其中所述第一组红外图像包括所述第一红外图像并且所述图像捕获位置被包括在所述多个图像捕获位置中；
获得由所述第一UAV或所述第二UAV在所述第一组红外图像被捕获之后在所述多个图像捕获位置处捕获的第二组红外图像，其中所述第二组红外图像包括所述第二红外图像；以及
基于所述第一组红外图像和所述第二组红外图像中的对应图像中所示的来自附接至所述结构的多个激光器的光束之间的角度来确定所述第二组红外图像的分数，并且
其中所述一个或多个处理电路被配置为使得，作为确定所述结构的所述位置是否已改变的一部分，所述一个或多个处理电路基于所述第二组红外图像的所述分数来确定在所述第一组红外图像的捕获与所述第二组红外图像的捕获之间的时间间隔期间所述结构的所述位置是否已改变。
12.根据权利要求11所述的计算系统，其中所述一个或多个处理电路被配置为使得，作为确定所述结构的所述位置是否已改变的一部分，所述一个或多个处理电路：
基于所述第二组图片中具有高于阈值的分数的图片的百分比确定所述结构的所述位置已改变。
13.根据权利要求11所述的计算系统，其中：
附接到所述结构的所述激光器中的一个或多个包括第一激光器、第二激光器和第三激光器，
所述第一激光器、所述第二激光器和所述第三激光器附接到所述结构，使得在所述第一组红外图像被捕获的时间，所述第一激光器在第一方向上发射激光束，所述第二激光器在第二方向上发射激光束，以及所述第三激光器在第三方向上发射激光束，并且
所述第一方向、所述第二方向和所述第三方向相互正交。
14.根据权利要求13所述的计算系统，其中所述第一方向平行于重力矢量。
15.根据权利要求13所述的计算系统，其中所述第一方向平行于所述结构下方的地面坡度。
16.根据权利要求11所述的计算系统，
其中所述一个或多个处理电路被进一步配置为：
获得由所述第一UAV在与所述第一组红外图像相同的时间在所述多个图像捕获位置处捕获的第一组可见光图像；
获得由所述第一UAV或所述第二UAV在与所述第二组红外图像相同的时间在所述多个图像捕获位置处捕获的第二组可见光图像，
其中所述一个或多个处理电路被配置为使得，作为确定所述结构的所述位置是否已改变的一部分，所述一个或多个处理电路基于所述第二组红外图像的所述分数以及基于所述第一可见光图像与所述第二组可见光图像中的对应图像之间的可见差异来确定在所述第一组红外图像的捕获与所述第二组红外图像的捕获之间的所述时间间隔期间所述结构的所述位置是否已改变。
17.一种其上存储有指令的非暂态计算机可读存储介质，所述指令在被执行时，使得计算系统：
获得由第一无人机(UAV)在图像捕获位置处捕获的所述结构的第一红外图像，其中所述图像捕获位置与所述结构无关，使得所述结构的位置的任何变化不改变所述图像捕获位置，并且其中附接至所述结构的激光器的光束在所述第一红外图像中表示；
获得所述第一UAV或第二UAV在所述第一红外图像被捕获之后在所述图像捕获位置处捕获的所述结构的第二红外图像，其中所述激光器的所述光束在所述第二红外图像中表示；
基于所述第一图像中所示的来自所述激光器的所述光束与所述第二图像中所示的来自所述激光器的所述光束之间的角度来确定所述第二红外图像的分数；
基于所述第二红外图像的所述分数确定在所述第一红外图像的捕获与所述第二红外图像的捕获之间的时间间隔期间所述结构的位置是否已改变，其中所述激光器在所述时间间隔期间保持附接到所述结构；以及
输出所述结构的所述位置在所述时间间隔期间是否已改变的指示。
CN201780095879.4A 2017-10-13 2017-10-13 无人机地平面检查系统 Pending CN111226092A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/106041 WO2019071569A1 (en) 2017-10-13 2017-10-13 FLOOR LEVEL INSPECTION SYSTEM FOR AERIAL VEHICLE WITHOUT PILOT

Publications (1)

Publication Number Publication Date
CN111226092A true CN111226092A (zh) 2020-06-02

Family

ID=66101146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780095879.4A Pending CN111226092A (zh) 2017-10-13 2017-10-13 无人机地平面检查系统

Country Status (4)

Country Link
US (1) US20200234043A1 (zh)
EP (1) EP3695191A1 (zh)
CN (1) CN111226092A (zh)
WO (1) WO2019071569A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112179401A (zh) * 2020-08-20 2021-01-05 唐山哈船科技有限公司 一种海洋港口安全无人机检测系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110032148A (zh) * 2018-01-11 2019-07-19 西门子（中国）有限公司 用于电厂管理的系统和用于建立电厂的3d虚拟模型的设备
JP7303658B2 (ja) * 2019-04-24 2023-07-05 株式会社トプコン 赤外線写真画像の処理方法、赤外線写真画像の処理装置、および赤外線写真画像の処理用プログラム
US11790521B2 (en) * 2020-04-10 2023-10-17 Hughes Network Systems, Llc System and method to use machine learning to ensure proper installation and/or repair by technicians
CN113237389A (zh) * 2021-05-26 2021-08-10 北京航天兴科高新技术有限公司 无源反无人机设备及其方法
US11804038B1 (en) * 2021-06-22 2023-10-31 Amazon Technologies, Inc. Aerial array surveying of surfaces and subsurfaces
CN114024605B (zh) * 2021-11-03 2023-09-01 浙江大学湖州研究院 一种小型化无人机激光通信终端

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011069797A (ja) * 2009-09-28 2011-04-07 Saxa Inc 変位量測定装置及び変位量測定方法
CN103105140A (zh) * 2013-01-28 2013-05-15 唐山学院 大型建筑物变形监测装置以及用其监测的方法
CN104897067A (zh) * 2015-06-19 2015-09-09 天津大学 一种测量相对位移的激光图像实时监测方法
CN105783878A (zh) * 2016-03-11 2016-07-20 三峡大学 一种基于小型无人机遥感的边坡变形检测及量算方法
CN105987683A (zh) * 2015-04-16 2016-10-05 北京蚁视科技有限公司 一种基于高反光红外标识的视觉定位系统及方法
CN106323243A (zh) * 2016-08-18 2017-01-11 广州地理研究所 一种基于无人机的大坝变形观测预警系统及方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8737685B2 (en) * 2011-04-25 2014-05-27 Honeywell International Inc. Systems and methods for detecting the movement of an object
CZ2013164A3 (cs) * 2013-03-05 2014-01-02 Univerzita PalackĂ©ho Způsob bezkontaktní detekce absolutní polohy pohybujícího se předmětu s využitím jevu koherenční zrnitosti a zařízení k provádění tohoto způsobu

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011069797A (ja) * 2009-09-28 2011-04-07 Saxa Inc 変位量測定装置及び変位量測定方法
CN103105140A (zh) * 2013-01-28 2013-05-15 唐山学院 大型建筑物变形监测装置以及用其监测的方法
CN105987683A (zh) * 2015-04-16 2016-10-05 北京蚁视科技有限公司 一种基于高反光红外标识的视觉定位系统及方法
CN104897067A (zh) * 2015-06-19 2015-09-09 天津大学 一种测量相对位移的激光图像实时监测方法
CN105783878A (zh) * 2016-03-11 2016-07-20 三峡大学 一种基于小型无人机遥感的边坡变形检测及量算方法
CN106323243A (zh) * 2016-08-18 2017-01-11 广州地理研究所 一种基于无人机的大坝变形观测预警系统及方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112179401A (zh) * 2020-08-20 2021-01-05 唐山哈船科技有限公司 一种海洋港口安全无人机检测系统

Also Published As

Publication number Publication date
WO2019071569A1 (en) 2019-04-18
EP3695191A1 (en) 2020-08-19
US20200234043A1 (en) 2020-07-23

Similar Documents

Publication Publication Date Title
CN111226092A (zh) 无人机地平面检查系统
US20220003213A1 (en) Unmanned Aerial Vehicle Wind Turbine Inspection Systems And Methods
JP6997750B2 (ja) 移動体用の改良型環境表示を生成するためのシステムおよび方法
US11828599B2 (en) Dynamically adjusting UAV flight operations based on thermal sensor data
US11150654B2 (en) Dynamically adjusting UAV flight operations based on radio frequency signal data
US10564649B2 (en) Flight planning for unmanned aerial tower inspection
CN111770880A (zh) 无人驾驶飞行器进行的太阳能电池板检查
CN101201248B (zh) 基于无人机的航空近景摄影位移测量系统及其方法
CN109945874B (zh) 一种桥梁巡检航线规划方法
US20150314885A1 (en) Vision-Based Aircraft Landing Aid
US10423831B2 (en) Unmanned aerial vehicle based expansion joint failure detection system
US20200184194A1 (en) Object of interest database management using inspection data
CN103822631A (zh) 一种面向旋翼的卫星和光流场视觉结合的定位方法与装置
CN108255190A (zh) 基于多传感器的精确着陆方法及使用该方法的系留无人机
KR20180070070A (ko) 무인항공기를 이용한 침수흔적도 작성 시스템 및 방법
EP3916356A1 (en) Global positioning denied navigation
Pecho et al. UAV usage in the process of creating 3D maps by RGB spectrum
Hecker et al. Optical aircraft positioning for monitoring of the integrated navigation system during landing approach
Yaprak et al. The role of unmanned aerial vehicles (uavs) in monitoring rapidly occuring landslides
Williams et al. Intelligent landing system for landing uavs at unsurveyed airfields
Kong et al. A ground-based multi-sensor system for autonomous landing of a fixed wing UAV
CN112146627B (zh) 在无特征表面上使用投影图案的飞行器成像系统
Małek ASSESSMENT OF THE USE OF UNMANNED AERIAL VEHICLES FOR ROAD PAVEMENT CONDITION SURVEYING.
Dyachenko et al. On the methods of recognition and classification of laser reflection points based on the Terrasolid software module on the Bentley Microstation platform
CN109084733A (zh) 一种智能遥感测绘系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200602