CN112146627A - 在无特征表面上使用投影图案的飞行器成像系统 - Google Patents

在无特征表面上使用投影图案的飞行器成像系统 Download PDF

Info

Publication number
CN112146627A
CN112146627A CN202010594253.1A CN202010594253A CN112146627A CN 112146627 A CN112146627 A CN 112146627A CN 202010594253 A CN202010594253 A CN 202010594253A CN 112146627 A CN112146627 A CN 112146627A
Authority
CN
China
Prior art keywords
aircraft
image
featureless
featureless surface
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010594253.1A
Other languages
English (en)
Other versions
CN112146627B (zh
Inventor
J·A·图拉巴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aurora Flight Sciences Corp
Original Assignee
Aurora Flight Sciences Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aurora Flight Sciences Corp filed Critical Aurora Flight Sciences Corp
Publication of CN112146627A publication Critical patent/CN112146627A/zh
Application granted granted Critical
Publication of CN112146627B publication Critical patent/CN112146627B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G01C11/025—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures by scanning the object
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C5/00—Measuring height; Measuring distances transverse to line of sight; Levelling between separated points; Surveyors' levels
    • G01C5/005—Measuring height; Measuring distances transverse to line of sight; Levelling between separated points; Surveyors' levels altimeters for aircraft
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/46—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being of a radio-wave signal type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10—Scanning systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/006—Apparatus mounted on flying objects
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/20—Lamp housings
    • G03B21/2006—Lamp housings characterised by the light source
    • G03B21/2033—LED or laser light sources
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/20—Lamp housings
    • G03B21/2066—Reflectors in illumination beam
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请题为“在无特征表面上使用投影图案的飞行器成像系统”，描述了用于处理图像(214)的方法、设备和系统。在飞行器(212)的至少一部分飞行(216)期间检测到无特征表面(220)。在飞行器(212)的至少该部分飞行(216)期间，当无特征表面(220)处于由飞行器(212)携带的相机系统(222)的视野(234)中时，图案(244)被显示在无特征表面(220)上的固定位置(250)处。在飞行器(212)的至少该部分飞行(216)期间，使用相机系统(222)生成在固定位置(250)中具有图案(244)的无特征表面(220)的图像(214)。

Description

在无特征表面上使用投影图案的飞行器成像系统
技术领域
本发明总体上涉及航空成像系统，并且特别地涉及使用由航空成像系统生成的地形和物体的图像来生成地形和物体的模型。更具体地，本发明涉及用于通过在飞行器上携带的相机系统以可用于生成模型的方式生成无特征表面的图像的方法、设备和系统。
背景技术
摄影测量术是利用摄影来进行测量的。摄影测量术在勘测和制图中使用图像来测量对象之间的距离。例如，摄影测量术可用于在地形图上绘制等高线。摄影测量术也可用于为环境的三维模型创建点云模型。例如，可以从农田作物、公园、城市街区、体育场、地形或其他感兴趣的物体的照片生成点云模型。
带有相机系统的飞行器可以飞越一个区域，例如公园、有庄稼的田地、城市或其他区域。飞行器生成区域的图像，其中在该区域的图像中存在重叠。作为生成模型的过程的一部分，重叠区中的特征被用于精确地三角测量和识别图像中的关键点。
当区域包含具有无特征表面的区块时，会发生问题。例如，具有相同颜色的建筑物的屋顶可能导致生成具有无特征表面的屋顶的图像。作为另一示例，跑道可能具有无特征表面。结果，在点云生成过程中，为确定特征之间的距离而执行的三角测量可能会对具有无特征表面的区域的这些部分产生不希望的错误。
这些无特征表面可能在点云模型中显示为空白区域，在点云中产生不准确的重影和变形，或者不仅在点云中显示为空白区域而且在点云模型中产生不准确的重影和变形。
因此，可能期望具有至少考虑到上面讨论的一些问题以及其他可能的问题的方法和装置。例如，可能期望具有能够克服使用摄影测量术生成存在无特征表面的区域的模型的技术问题的方法和设备。
发明内容
本发明的一个实施例提供了一种航空成像系统，其包括相机系统、表面检测器和激光投影仪系统。相机系统由飞行器携带，并且具有用于在飞行器的至少一部分飞行期间生成图像的视野。表面检测器由飞行器携带，并且检测无特征表面。激光投影仪系统由飞行器携带，并且在飞行器的至少一部分飞行期间，当无特征表面处于相机系统的视野中时，发射一组激光束以在无特征表面上的固定位置处将图案显示在无特征表面上。
本发明的另一实施例提供了一种航空成像系统，其包括与激光投影仪系统和相机系统通信的计算机系统中的控制器。控制器控制激光投影仪的操作以发射一组激光束，从而在飞行器的至少一部分飞行期间在相机系统的视野中将图案显示在无特征表面上的固定位置处。控制器控制相机系统的操作，以在飞行器的至少一部分飞行期间在视野中生成具有图案的无特征表面的图像。
本发明的另一实施例提供了一种用于处理图像的方法。在飞行器的至少一部分飞行期间检测到无特征表面。在飞行器的至少一部分飞行期间，当无特征表面处于由飞行器携带的相机系统的视野中时，在无特征表面上的固定位置处显示图案。在飞行器的至少一部分飞行期间，使用相机系统生成具有在固定位置处的图案的无特征表面的图像。
这些特征和功能可以在本发明的各个实施例中独立地实现，或者可以在其他实施例中进行组合，其中参考以下描述和附图可以看到更多的细节。
附图说明
所附权利要求中阐述了说明性实施例的新颖特征。然而，当结合附图阅读时，最好参考以下对本发明的说明性实施例的详细描述来理解说明性实施例以及优选的使用模式、其进一步目标和特征，其中：
图1是根据说明性实施例的航空成像系统生成图像的图示；
图2是根据说明性实施例的航空成像环境的框图的图示；
图3是根据说明性实施例的飞行器及其部件的框图的图示；
图4是根据说明性实施例的用于处理图像的过程的流程图的图示；
图5是根据说明性实施例的用于检测无特征表面的过程的流程图的图示；
图6是根据说明性实施例的用于在无特征表面上显示图案的过程的流程图的图示；
图7是根据说明性实施例的用于使用图像生成区域的模型的过程的流程图的图示；
图8是根据说明性实施例的用于对象检测的过程的流程图的图示；
图9是根据说明性实施例的用于着陆区评估的过程的流程图的图示；以及
图10是根据说明性实施例的数据处理系统的框图的图示。
具体实施方式
说明性实施例认识并考虑到一个或多个不同的因素。例如，说明性实施例识别并考虑到，向无特征的表面添加一个或多个特征可以提供允许用于创建模型(例如具有一个或多个无特征表面的地区的点云)的期望精度水平的点或地标。
说明性实施例认识并考虑到可以向无特征表面添加特征的一种方式是通过在无特征表面上显示图案，使得相机系统生成无特征表面的图像，所述图像包括无特征表面与图案的重叠图像。
因此，说明性实施例提供了用于处理图像以创建模型的方法、设备和系统。在一个说明性的示例中，飞行器携带相机系统和激光投影仪系统。在飞行器飞行过程中当无特征表面处于相机系统的视野中时，激光投影系统发射一组激光束，以在无特征表面上的固定位置处将图案显示在无特征表面上。如本文所用，当用于指示项目时，“一组”的意思是一个或多个项目。例如，一组激光束是一个或多个激光束。
激光投影系统调整该组激光束的发射，使图案在飞行器飞行期间保持在同一位置。相机系统生成带有该图案的无特征表面的图像。带有该图案的无特征表面的至少一些图像与带有该图案的无特征表面的其他图像重叠。带有该图案的无特征表面的图像也可以与没有图案的无特征表面的图像重叠。换言之，图案可以覆盖无特征表面的一部分而不是全部无特征表面。
图像中的此图案提供了将图像彼此对齐所需的特征，以生成模型(如点云模型)。例如，可以使用摄影测量技术对无特征表面内的距离进行三角测量，以更容易地处理带有图案的图像的重叠部分。在无特征表面上显示的图案提供了视觉特征，这些视觉特征可被识别并且用于三角测量和生成点云。以这种方式，在说明性示例中，利用无特征表面生成的点云模型可以比当前使用的技术更精确。
现在参考附图，特别是参考图1，其根据说明性实施例描绘了由航空成像系统生成图像的图示。在该说明性示例中，飞行器100沿着飞行路径102飞行。如图所示，飞行路径102使飞行器100在感兴趣区域104上方飞行。
在该说明性示例中，飞行器100在沿着飞行路径102行进时生成图像。如所预期的，在多个航路点106中的每个航路点(waypoint)处生成图像。例如，飞行器100在多个航路点106中的航路点108、航路点110、航路点112、航路点114、航路点116、航路点118、航路点120、航路点122、航路点124、航路点126、航路点128、航路点130和航路点132处生成图像。
在该描述的示例中，每个图像具有相同的尺寸。例如，图像134具有宽度136和高度138。
如图所示，飞行路径102导致图像之间的重叠。例如，在航路点112处生成的图像140和在航路点114处生成的图像142在正面交叠区144中具有正面交叠。当飞行器100沿着飞行路径102从一个航路点行进到另一个航路点时，发生这种重叠。作为另一示例，在航路点116处生成的图像146和在航路点120处生成的图像148在侧面重叠区150中具有侧面重叠。
当从在航路点106处生成的图像产生感兴趣区域104的模型时，这些重叠区被用于使图像彼此对齐。可以基于图像之间的这些重叠区中的特征来执行图像的对齐。在生成模型时，相邻图像的重叠区中的特征可以用于对相机位置进行三角测量。
在说明性示例中，特征是例如纹理、颜色、拐角、边缘、对比图案或阴影。例如，在该说明性示例中，只要该表面在光到达相机传感器时产生不同的像素颜色或像素值中的至少一个，则该表面可以被认为具有特征。
无特征表面会降低对图像中的特征进行精确地三角测量和识别的能力。结果，在对这些图像中的无特征表面执行三角测量时会出现不准确性。
例如，当存在大块的像素且这些像素具有几乎相同值时，识别关键点比期望的更困难。例如，建筑物上的屋顶的图像可以具有许多相同颜色的区块。结果，对多个图像中的相同的点进行三角测量可能非常困难或几乎不可能，因为没有纹理可以用作参考。
因此，感兴趣区域104的不同部分的一些图像是不可用。无特征表面在点云模型中可能显示为空白部分，并可能导致根据这些图像生成的点云模型的不精确性和变形。
然而，在该说明性示例中，飞行器100是航空成像系统的一部分，该航空成像系统包括由飞行器100携带的相机系统。该相机系统具有用于在飞行器100沿着飞行路径102的至少一部分飞行期间生成图像的视野。
此外，飞行器100携带表面检测器。在飞行器100沿着飞行路径102的至少一部分飞行期间，在无特征表面进入相机系统的视野之前，表面检测器检测到无特征表面。
此外，飞行器100携带激光投影仪系统。当无特征表面处于相机系统的视野中时，在飞行器的至少一部分飞行期间，激光投影仪系统发射一组激光束以在无特征表面上的固定位置处将图案显示在无特征表面上。如本文所用，当用于指示项目时，“一组”的意思是一个或多个项目。例如，一组激光束是一个或多个激光束。
在说明性示例中，图案在无特征表面上的投影使得能够利用摄影测量技术根据由飞行器100生成的无特征表面的图像在模型中重建无特征表面。图案的投影还使用由飞行器100携带的相机系统生成的无特征表面的图像来改善边缘检测和精确的摄影测量制图。该图案提供了可在图像中识别的特征以生成模型，在该模型中，可以比当前的摄影测量技术更精确地对无特征表面建模。
在该说明性示例中，可以在飞行器100飞越航路点116上方以生成图像146时在无特征表面上显示图案。可以直到飞行器100沿着飞行路径102接近并到达航路点120为止才停止图案的投影。在这个描绘的示例中，当检测器在转过拐角并从航路点116返回到航路点120时没有找到沿着飞行路径102行进的任何更多的无特征表面时，图像的投影可以停止。
在航路点120处或航路点120的正前方，该图案被显示在与飞行器100位于航路点116处时相同的固定位置。
在该说明性示例中，飞行器100的位置变化被跟踪，使得当飞行器100到达航路点120时，可以在与飞行器100位于航路点116处时相同的位置处显示图像。在该说明性示例中，飞行器100可以跟踪例如位置、速度以及其他信息，以便即使飞行器100发生移动也可以在无特征表面上的相同位置处显示图案。该位置包括三维的位置以及飞行器100的取向。
接下来参考图2，其根据说明性实施例描绘了航空成像环境的框图的图示。在该说明性示例中，航空成像环境200包括区域202。如图所示，区域202是地面204上的感兴趣区域。在该说明性示例中，地面204是一块土地、水域或其某种组合。区域202可以具有任何形状或大小。例如，区域202可以具有矩形、正方形、圆形、椭圆形、五边形，六边形、不规则形状或某种其他合适形状的形状。
区域202可以包括地形206，也可以包括对象208。对象208可以包括车辆、道路、建筑物、树木、人、动物、巨石、墙、标牌或其他合适的对象。具有地形206和对象208的区域202可以包括具有农作物的田地、公园、体育场、机场、城市街区、办公大楼、制造设施、水坝或一些其他合适的对象中的至少一个。
如本文所用，短语“至少一个”当与一系列项目一起使用时，意味着可以使用一个或多个所列项目的不同组合，并且可能仅需要列表中的每个项目的一个。换句话说，“至少一个”意味着可以使用来自列表的项目的任意组合和任何数量的项目，但是并非列表中的所有项目都是必需的。该项目可以是特定的对象、事物或类别。
例如但非限制地，“项目A、项目B或项目C中的至少一个”可以包括项目A，项目A和项目B，或者项目B。该示例还可以包括项目A、项目B和项目C，或者项目B和项目C。当然，这些项目的任何组合都可以存在。在一些说明性示例中，“至少一个”可以是例如但不限于：两个项目A；一个项目B；以及十个项目C；四个项目B和七个项目C；或者其他合适的组合。
在该说明性示例中，航空器成像系统210中的一个或多个部件可以由飞行器212携带，以在飞行器212的至少一部分飞行216期间生成区域202的图像214。如图所示，当沿着飞行路径218在区域202上方行进时，航空成像系统210可以生成区域202的图像214。在该示例中，区域202包括无特征表面220。在该描绘的示例中，当飞行器212在空中运行时存在飞行216，并且飞行路径218是飞行器212在空中运行时所行进的路线。
飞行器212可以采取许多不同的形式。例如，飞行器212可以选自包括飞行器的组，该飞行器包括有人驾驶飞机、固定翼飞机、无人机系统、旋翼飞机以及其他合适类型的飞行器。
在该说明性示例中，区域202中的无特征表面220可以采取多种不同形式。例如，无特征表面220可以位于地形206或对象208中的一个对象中的至少一个上。
如图所示，航空成像系统210是物理硬件系统，并且还可以包括软件。在该说明性示例中，航空成像系统210包括相机系统222、表面检测器224和激光投影仪系统226。在该说明性示例中，航空成像系统210还包括计算机系统230中的控制器228。
相机系统222是物理硬件系统，并且还可以包括软件。相机系统222包括一组相机232或一组光学传感器233中的至少一个。相机系统222具有视野234。该组光学传感器233可以是紫外线传感器、可见光传感器、近红外传感器、短波红外传感器、中波红外传感器、长波红外(LWIR)传感器、辐射热测定器、电光相机、红外传感器、热传感器或某种适当类型的传感器中的至少一种。
如图所示，相机系统222的视野234包括该组相机232的使用场所。在该说明性示例中，视野234是相机系统222在任何给定时刻可以看到的可观察环境的范围。例如，相机系统222的视野234可以是一个角度，通过该角度，相机系统222中的一组传感器在生成图像214时对例如光的电磁辐射敏感。
在该说明性示例中，相机系统222生成位于在相机系统222的视野234内的区域202的图像214。图像214包括区域202中的无特征表面220。
如图所示，表面检测器224是物理硬件系统，并且还可以包括软件。表面检测器224生成表面图像238。
表面检测器224包括一组相机236或一组传感器237中的至少一个。该组光学传感器237可以是紫外线传感器、可见光传感器、近红外传感器、短波红外传感器、中波红外传感器、长波红外(LWIR)传感器、辐射热测定器、电光相机、红外传感器、热传感器或某种合适类型的传感器中的至少一种。
在该说明性示例中，计算机视觉处理可以分析表面图像238以确定在任何表面图像238中是否存在无特征表面220。例如，在确定图像中的表面是否为无特征表面时，计算机视觉处理可以识别阈值内的类似像素。这些阈值可以针对像素的强度或颜色中的至少一种。
例如，可以对100×100正方形的像素内的像素进行关于强度、颜色或两者的分析。如果相似度在选定的阈值内，则该正方形内图像中的表面可以被视为无特征表面。
表面检测器224在飞行器212的至少一部分飞行216期间识别无特征表面220。在该说明性示例中，表面检测器224在无特征表面220进入相机系统222的视野234之前检测无特征表面220。
在该说明性示例中，激光投影仪系统226是物理硬件系统，并且可以包括软件。激光投影仪系统226包括发射一组激光束242的一组激光发生器240。该组激光发生器240中的激光发生器可以包括反光镜系统、一组激光二极管和反光镜控制器。该组激光二极管可以对准微机电系统镜。反光镜控制器可以移动反光镜系统，使得一组激光二极管发射一组激光束242以在无特征表面220上显示图案。
反光镜系统可以包括若干不同类型的反光镜。例如，反光镜系统可以包括微机电系统镜、多边形扫描镜或其他合适类型的镜中的至少一种。
从激光投影仪系统226发射的一组激光束242可以移动以扫描表面，从而生成图案244。在该说明性示例中，由频率246大于相机系统222的快门速度248的激光投影仪系统226显示图案244。
如图所示，在飞行器212的至少一部分飞行216期间，激光投影仪系统226发射一组激光束242以在无特征表面220上的固定位置250处将图案244显示在无特征表面220上。在该说明性示例中，当无特征表面220在相机系统222的视野234中时，投射激光束242以在无特征表面220上显示图案244。在该说明性示例中，选择图案244以在图像214中提供可用于生成区域202的模型252的特征。
图案244可以选自随机图案、伪随机图案、随机干涉图案、基于噪声函数的图案、散斑图案、几何图案、二维图案或者当在区域202中存在无特征表面220时提高从图像214生成模型252的准确性的某种其他合适的图案。
在该说明性示例中，激光投影仪系统226调整一组激光束242的发射以考虑飞行器212的移动，使得当飞行器212相对于无特征表面220移动时，图案244保持在无特征表面220上的固定位置250处。在该说明性示例中，激光投影仪系统226与飞行器212中的传感器系统256通信。
传感器系统256可以包括全球定位系统接收器、高度计、惯性导航系统、加速度计、旋转传感器、陀螺仪、相机或可产生用于确定飞行器212相对于无特征表面220上的固定位置250的位置、取向和移动的信息的其它合适类型的传感器中的至少一个。传感器系统256可以生成传感器数据258，该传感器数据258包括高度、经纬度位置、姿态、速度、加速度或可用于确定飞行器212相对于无特征表面220上的固定位置250的位置和移动的其他合适信息中的至少一个。
在该说明性示例中，计算机系统230中的控制器228与相机系统222、表面检测器224或激光投影仪系统226中的至少一个通信。控制器228控制相机系统222、表面检测器224或激光投影仪系统226中的至少一个的操作。
如图所示，控制器228可以用软件、硬件、固件或其组合来实现。当使用软件时，由控制器228执行的操作可以以被配置为在例如处理器单元的硬件上运行的程序代码来实现。当使用固件时，可以以程序代码和数据来实现由控制器228执行的操作，并且可以将其存储在永久性存储器中以在处理器单元上运行。当采用硬件时，硬件可以包括用于执行控制器228中的操作的电路。
在该说明性示例中，硬件可以采取选自电路系统、集成电路、专用集成电路(ASIC)、可编程逻辑器件或配置为执行若干操作的某种其他合适类型的硬件中的至少一个的形式。通过使用可编程逻辑器件，可以将该器件配置为执行若干操作。该设备可以稍后被重新配置，或者可以被永久配置以执行若干操作。可编程逻辑器件包括例如可编程逻辑阵列、可编程阵列逻辑、现场可编程逻辑阵列、现场可编程门阵列以及其他合适的硬件器件。
计算机系统230是物理硬件系统并且包括一个或多个数据处理系统。当计算机系统230中存在多于一个数据处理系统时，这些数据处理系统使用通信介质彼此通信。通信介质可以是网络。数据处理系统可以选自计算机、服务器计算机、平板计算机或一些其他合适的数据处理系统中的至少一个。
在该说明性示例中，图像处理器254可以用软件、硬件、固件或其组合来实现。图像处理器254可以位于若干不同的位置处。例如，图像处理器可以位于地面位置或飞行器212中的至少一个处。在该说明性示例中，图像处理器254可以分布在多于一个位置处。
如该示例中所描绘，图像处理器254进行操作以使用图像214来生成模型252。模型252可以采取若干不同的形式。例如，模型252可以是二维模型、三维模型、等高线图、摄影图、点云模型、计算机辅助设计模型以及其他合适类型的模型。
在该说明性示例中，航空成像系统210中的部件可以被集成为飞行器212的一部分，或者可以是可移除地附接到飞行器212的可移除平台。例如，可以在航空成像模块270中实现相机系统222、表面检测器224和激光投影仪系统226。航空成像模块270可以是附接到飞行器212的外部吊舱、由飞行器212携带的内部部件或者其具有这种类型的实施方式的某种组合。
在一个说明性示例中，提出了一种或多种技术方案，其克服了使用摄影测量术从存在无特征表面的图像生成区域的模型的技术问题。结果，一种或多种技术方案可以提供一种技术效果，该技术效果使得能够在航空成像系统的飞行期间生成无特征表面的图像，其中可以处理这些图像以生成比当前技术更准确的模型。一个或多个说明性示例提供了一种或多种技术方案，其中在航空成像系统的飞行期间使用例如激光投影仪系统的成像系统在无特征表面上显示图案。一个或多个说明性示例提供了一种技术方案，其中，与当前用于生成模型的技术(其中在航空成像系统飞行期间不在无特征表面上显示图案)相比，可以使用摄影测量术对带有图案的无特征表面的图像进行处理以便以更高的精度生成包含无特征表面的模型。
计算机系统230可以被配置成使用软件、硬件、固件或其组合来执行不同示例中描述的步骤、操作或动作中的至少一个。结果，计算机系统230作为专用计算机系统来运行，其中计算机系统230中的控制器228以期望的精确度水平生成包括无特征表面的地面的模型。特别地，与不具有控制器228的当前可用的通用计算机系统相比，控制器228将计算机系统230转换为专用计算机系统。
在该说明性示例中，在计算机系统230中使用控制器228将处理集成到用于处理图像的实际应用中，这提高了计算机系统230的性能。性能提高是使用摄影测量术从图像生成的模型的精确度的提高。换句话说，计算机系统230中的控制器228针对集成到计算机系统230中的控制器228中的处理的实际应用，其在无特征表面上显示图案，使得无特征表面的图像的生成包括该图案。
在该说明性示例中，计算机系统230中的控制器228在飞行器212的至少一部分飞行216期间检测无特征表面；当在飞行器212的至少一部分飞行216期间无特征表面220处于由飞行器212携带的相机系统222的视野234中时，将图案224投射到无特征表面220上的固定位置250处；并且在飞行器212的至少一部分飞行216期间，使用相机系统222生成在固定位置250处具有图案244的无特征表面220的图像214。以这种方式，计算机系统230中的控制器228提供生成可用于生成具有期望精确度水平的模型的无特征表面的图像的实际应用。
图3是根据说明性实施例描绘的飞行器的框图的图示。在该说明性示例中，相同的附图标记可用在多于一个附图中。在不同的附图中重复使用一个附图标记表示不同附图中的相同元素。该附图显示了图2中飞行器212的一种可能的实施方式。
在该说明性示例中，飞行器212包括机架(airframe)303、电子设备300、推进系统305和转向机构304。机身303是飞行器212的机械结构。例如，机架303可以包括机身(fuselage)、底盘、机翼、起落架和其他物理结构。在该说明性示例中，机架303携带电子设备300、推进系统305和转向机构304。
如图所示，电子设备300包括航空成像模块270、电源336、通信系统338和飞行控制系统306。在该描绘的示例中，航空成像模块270包括承载相机系统222、表面检测器224和激光投影仪系统226的框架或壳体，如图2所示。
尽管在图3中示出了部件的特定布置，但是部件的布置在其他说明性示例中可能有所不同。例如，航空成像模块270可以位于可从飞行器212上移除的一个或多个壳体内。可替代地，航空成像模块270中的部件可以被集成到飞行器212中，而不是放置在附接到飞行器212的壳体中或放置在飞行器212中。
此外，航空成像模块270、飞行控制系统306或通信系统338中的至少一个可以共享例如存储器、传感器、处理器或控制器等部件。另外，航空成像模块270可以可移除地耦合到飞行器212，或者该模块中的部件可以以任何期望的方式集成到飞行器212的机架303中。因此，各种部件的布置可以由设计者或操作者根据需要配置，因此不应局限于本文描述或图示的特定示例。
在该说明性示例中，航空成像模块270的模块化壳体可以由塑料、金属、木材、复合材料、陶瓷或适合于特定交通工具或特定类型的交通工具的任何材料构成。模块化壳体可以是可拆卸的或可弹出的，或者它可以永久地耦合到车辆上。模块化壳体可以以本领域普通技术人员已知的任何方式附接到飞行器212。模块化壳体可以包括用于诸如航空成像模块270中的相机系统222、表面检测器224和激光投影仪系统226的器件的开口。在一些说明性示例中，控制器228也可以位于航空成像模块270中，或者可以位于飞行控制系统306中，或者位于飞行器212中的某一其他合适的部件中。
尽管该示例将这些部件显示为位于用于航空成像模块270的壳体中，但该图示是为了说明可以实现这些部件的一种方式。该图示并不意味着限制可以实现其他说明性示例的方式。例如，在其他说明性示例中，这些部件可以分布在其他位置，或者被集成为飞行器212的一部分。
在该说明性示例中，转向机构304可以被配置为使飞行器在飞行路径上转向以达到目标。转向机构304可以自主地或在有人的控制下操作。在该说明性示例中，转向机构304响应来自飞行控制系统306中的控制器318的信号，该控制器可以采用反馈或其他控制系统来沿着飞行路径引导飞行器212。
如图所示，通信系统338是物理设备，并且例如可以是无线收发器和天线。通信系统338可以与远程计算机系统交换信息。通信系统338可以操作以将由航空成像模块270生成的图像214发送到远程位置以便处理或生成模型。例如，通信系统338可以将图像214发送到地面位置处的图像处理器254。
当在飞行器212中实现时，图像处理器254可以执行模型生成和诸如摄影测量的其他处理，模型生成以及作为在图像214的生成之后发生的后处理操作被执行的其他操作可以在飞行器212上执行。通过在飞行器212上执行这些操作，通过避免在地面位置处下载和处理图像214的需求，可以大大提高图像处理和模型生成中的数据输出速度。
如图所示，飞行控制系统306可以基于从导航系统的部件接收的信号来确定飞行器212到达期望位置的一条或多条飞行路径。飞行控制系统306可以计算、生成导航命令(例如数据信号)并将其发送到转向机构304，以沿着飞行路径引导飞行器212。
在该说明性示例中，飞行控制系统306包括地图系统310、全球定位系统(GPS)接收器312、处理器314、陀螺仪316、控制器318、加速度计320和存储器330。飞行控制系统306还可以包括上述作为电子设备300的一部分的部件以及其他传感器332。例如，其它传感器332还可以包括其它飞行仪表、传感器、处理线路、通信线路、包括相机的光学系统和对于无人驾驶航空系统或其它自主或人工驾驶的飞行器的操作是必要的或有用的其它传感器。
如图所示，地图系统310可以是基于地图的飞行控制系统的一部分，其提供关于区域内的自然特征和人造特征的位置信息。地图系统310可以与飞行控制系统306中的其他部件通信以支持飞行器212的导航。虽然此功能可以包括为计算路线提供地图信息，但此功能也可以包括独立的导航功能。例如，地图系统310可以提供基于地图的导航系统，该导航系统存储包括一个或多个对象的操作环境的地图。基于地图的导航系统可以耦合到相机，并且配置成通过将所存储的对象与可视环境进行比较来确定交通工具的位置，该可视环境可以在没有全球定位系统数据或其他位置信息的情况下提供位置数据。
在该示例中，全球定位系统接收器312是物理系统，并且可以是配置成确定飞行器212的位置的全球定位系统的一部分。全球定位系统接收器312可以包括任何当前使用的全球定位系统硬件，包括传统的基于卫星的系统以及使用信标、位置信号和/或其他定位信息源的其他系统。
如图所示，陀螺仪316是被配置为检测飞行器212的旋转的物理设备。陀螺仪316可以与飞行控制系统306中的其他部件通信以控制飞行器212的操作并沿着飞行路径导航飞行器212。陀螺仪316可以生成识别飞行器212的取向的信息。
在该说明性示例中，加速度计320是被配置成检测飞行器212的线性运动的物理设备。加速度计320可以包括当前使用的加速度计，并且可以与飞行控制系统306中的其他部件通信，以控制飞行器212的操作并沿着飞行路径导航飞行器212。
在该说明性示例中，处理器314是物理设备，并且可以与控制器318、飞行控制系统306中的其他部件、转向机构304、航空成像模块270以及飞行器212中可能存在的其他各种其他部件、系统和子系统通信。处理器314可以是例如飞行器212中的数据处理系统中的内部处理器，以支持各种功能，例如导航功能或图像处理功能。处理器314可以被配置成控制飞行器212、飞行控制系统306或航空成像模块270中的至少一个的操作。
如图所示，处理器314可以执行处理功能和计算功能以支持导航、生成图像、在无特征表面上显示图案或处理图像以生成模型中的至少一种。处理器314可以包括协同执行本文描述的步骤的若干不同的处理器，例如其中飞行器212中的内部处理器控制飞行器212的操作，而分配给航空成像模块270的另一个处理器控制检测无特征表面，在无特征表面上显示图案，并且生成具有该图案的无特征表面的图像。
在一个说明性示例中，处理器314可以被配置成确定激光投影仪系统226将一组激光束242发射到无特征表面220上的方向。处理器314可以使用各种输入来确定发射一组激光束242以在无特征表面220上显示图案244的方向。这些输入包括来自全球定位系统接收器312、地图系统310、陀螺仪316、加速度计320和包括光学系统和回声定位系统的其他合适的传感器设备的位置信息、移动信息或其他合适信息中的至少一个。此外，来自这些部件的信息也可以由处理器314用于调整一组激光束242的发射，以考虑到飞行器212的移动，使得当飞行器212相对于无特征表面220移动时，图案244保持在无特征表面220上的固定位置250处。
控制器318可以操作以控制飞行器212中的部件，例如飞行控制系统306、航空成像模块270、推进系统305或转向机构304。控制器318与处理器314、飞行器212、飞行控制系统306、航空成像模块270、转向机构304以及本文描述的设备和系统的其他各种部件通信。控制器318也可以控制航空成像模块270的操作。该控制可以是关于处理器314所描述的控制的补充或替代。
如图所示，控制器318可以包括用于控制本文所述的飞行器212和飞行控制系统306中的各个部件的任何硬件、软件或其某种组合，包括但不限于微处理器、微控制器、专用集成电路、可编程门阵列和任何其他数字和/或模拟部件及其组合，以及用于传递控制信号、驱动信号、功率信号、传感器信号和其他合适类型的信号的输入和输出。
因此，处理器314、控制器318和电子设备300中的飞行控制系统306中的其他部件也可以提供信息并控制航空成像模块270的操作。例如，这些部件可以控制航空成像模块270以检测无特征表面220，引导一组激光束242的发射以在特征表面220上显示图案244，并生成带有显示在无特征表面220上的图案244的无特征表面220的图像214。
在该说明性示例中，存储器330是物理设备，并且可以包括本地存储器或远程存储设备，其存储用于飞行控制系统306的数据的日志，包括但不限于由航空成像模块270生成的图像214、根据图像214生成的模型、取向、速度、飞行路径、转向规范、全球定位系统坐标、传感器读数和其他合适的信息。在该示例中，存储在存储器330中的信息可以由处理器314或控制器318中的至少一个访问。
图2中的航空成像环境200的图示并不意味着对可以实现说明性实施例的方式的物理或架构限制。可以使用附加于或替换所示部件的其他部件。某些部件可能是不必要的。还展示了一些方框以说明一些功能部件。当在说明性实施例中实现时，这些方框中的一个或多个可以被组合、分割或者组合并分割为不同的方框。
在另一个说明性示例中，还可以调整从激光投影仪系统226发射的一组激光束242，以考虑附加于或替换飞行器212的移动的无特征表面220的移动。例如，无特征表面220可以位于诸如交通工具(例如水面船只、卡车、火车或移动的某种其它对象)之类的对象上。可以使用目前可用于跟踪对象移动的各种对象跟踪技术来确定这种移动。
作为另一个示例，激光投影仪系统226中的一组激光发生器240可以使用附加于或替换反光镜的其他机构来扫描一组激光束242。例如，可以使用扫描折射光学器件、相控阵列、电光偏转器、声光偏转器或其他合适类型的扫描机构。
此外，尽管计算机系统230被示出为与飞行器212分离的方框，但是计算机系统230的一些或全部可以在飞行器212中实现。例如，控制器228可以在由飞行器212携带的计算机系统230中的一个或多个计算设备中实现。在该示例中，图像处理器254可以位于在飞行器212的远程位置处的或由飞行器212携带的计算设备上。
在另一个说明性示例中，区域202可以具有附加于或替换无特征表面220的一个或多个无特征表面。为了生成包括无特征表面的图像，图案被投射到每个无特征表面上。所显示的图案可以在无特征表面之间变化，以增强区分和对齐图像的能力。
在又一个示例中，图3中的飞行器212还可以包括除所描绘的部件之外的其他部件。飞行器212还可以包括液压系统。作为另一个示例，当飞行器212是有人驾驶飞行器时，飞行器212还可以包括环境系统。
接着转到图4，其根据说明性实施例描绘了用于处理图像的过程的流程图的图示。图4中的过程可以用硬件、软件或两者来实现。当用软件实现时，该过程可以采取由位于一个或多个计算机系统中的一个或多个硬件设备中的一个或多个处理器单元运行的程序代码的形式。例如，该过程可以在图2中的计算机系统230中的控制器228中实现。在该说明性示例中，控制器228控制由飞行器携带的相机系统、表面检测器和激光投影系统的操作。
该过程开始于在飞行器的至少一部分飞行期间检测无特征表面(操作400)。在操作400中，可以在飞行器的至少一部分飞行期间在无特征表面进入相机的视野之前执行检测无特征表面的存在。
该过程在飞行器的至少一部分飞行期间当无特征表面处于由飞行器携带的相机系统的视野中时，在无特征表面上的固定位置处显示图案(操作402)。在操作402中，激光投影仪系统调整一组激光束的发射以考虑飞行器的移动，使得当飞行器相对于无特征表面移动时，图案保持在无特征表面上的固定位置处。
该过程在飞行器的至少一部分飞行期间使用相机系统生成具有在固定位置处的图案的无特征表面的图像(操作404)。此后该过程终止。在操作404中，使用航空成像系统中的相机系统来生成图像。
参考图5，其根据说明性实施例描绘了用于检测无特征表面的过程的流程图的图示。图5中的过程可以用硬件、软件或两者来实现。当以软件实施时，该过程可以采取由位于一个或多个计算机系统中的一个或多个硬件设备中的一个或多个处理器单元运行的程序代码的形式。例如，该过程可以在图2的计算机系统230中的控制器228中实现。控制器228可以包括用于检测无特征图像的过程，其中该过程位于表面检测器中或计算机系统中的另一个位置处。控制器228可以分析由表面检测器中的一个或多个相机生成的表面图像238，以检测无特征表面的存在。此外，控制器228可以确定无特征表面的位置。
该过程开始于从表面检测器中的一组相机接收表面图像(操作500)。操作500中的表面图像可以是图2中的表面图像238中的一个表面图像。该处理确定测试图像中是否存在无特征表面(操作502)。操作502可以以多种不同的方式执行。例如，该过程可以实施计算机视觉技术以检测图像中的无特征表面的存在。
在该操作中，测试图像可以具有在阈值内的一组参数，该阈值指示无特征表面存在于固定位置处。例如，图像可以分为像素群组。可以检查测试图像中的这些群组中的每一个，以确定在所分析的群组中是否存在无特征表面。
例如，可以检查测试图像中的100×100正方形的像素，以确定该组像素是否在参数(例如颜色和强度)的阈值之内。例如，如果像素的颜色或强度中的至少一个的值在阈值内彼此不同，则存在无特征表面。换句话说，如果该组像素中的像素之间的强度，颜色或强度和颜色的差异足够小，则存在无特征表面。
如果存在无特征表面，则该过程确定无特征表面的目标信息(操作504)。目标信息可以是例如目标位置、目标的尺寸、飞行器的速度、目标与飞行器之间的距离以及可用于在无特征表面上显示图案的其他合适信息。
在该描述的示例中，激光束最初被检测器系统定向到无特征表面。一旦该地区被识别，就可以使用由检测系统捕获的图像中的无特征表面的像素坐标来确定到无特征表面的矢量。一旦在图像中识别出无特征表面，就可以使用透镜光学几何学与图像传感器之间的关系(给定相机系统的已知量)来提供从飞行器到无特征表面的方向矢量。
此后该过程终止。再次参考操作502，如果未检测到无特征表面，则该过程返回到操作500以接收用于处理的另一测试图像。
现在参考图6，其根据说明性实施例描绘了用于在无特征表面上显示图案的过程的流程图的图示。可以用硬件、软件或两者来实现图6中的过程。当以软件实施时，该过程可以采取由位于一个或多个计算机系统中的一个或多个硬件设备中的一个或多个处理器单元运行的程序代码的形式。例如，该过程可以在图2的计算机系统230中的控制器228中实现。控制器228可以包括用于使用激光投影仪在无特征表面上显示图案的过程。在该说明性示例中，图案被显示在无特征表面上的位置处。换句话说，随着携带激光投影仪系统的飞行器移动，一组激光束的发射被调整以使得图案不会在无特征表面上移动。
该过程开始于接收针对无特征表面的目标信息(操作600)。该过程发射一组激光束以使用目标信息在无特征表面上显示图案(操作602)。该过程从传感器系统接收传感器数据(操作604)。该过程确定飞行器相对于无特征表面的位置变化(操作606)。飞行器的位置是飞行器(特别是激光投影仪系统)的三维位置和取向。可以使用三维坐标系(例如笛卡尔坐标系或包括高程或海拔的地理坐标系)中的坐标来描述三维位置。
该过程调整一组激光束的发射以考虑飞行器的移动，使得当飞行器相对于无特征表面移动时，图案保持在无特征表面上的固定位置处(操作608)。在操作608中，可以使用基本瞄准技术来考虑飞行器的移动。例如，可以使用扩展卡尔曼滤波器来执行矢量加法和目标状态估计。例如，洋流中的船只将沿洋流和船速之和的方向行进。
在该说明性示例中，飞行器与目标(无特征表面上的固定位置)之间的角度和相对位置是受制于目标信息量的不断变化的变量。目标信息可以包括：(a)飞行器与表面所在的地面之间的相对速度矢量；(b)飞行器竖直矢量和无特征表面之间的角度和倾斜范围(可使用飞行时间光传感器或几何学来确定)；(c)相对于表面的飞行器姿态(滚转/俯仰/偏航)(由飞行器传感器/惯性导航系统提供)；以及(d)飞行器在表面上方的高度(可使用飞行时间光传感器/防静电系统/惯性导航/GPS来确定)。
以上信息以及来自其他来源的信息都可以被输入到扩展卡尔曼滤波器功能中，以产生对目标位置的更准确的估计以及对目标未来位置的前瞻性预测。扩展卡尔曼滤波器的输出将报告激光器的初始位置，并在基本矢量相加的基础上提高跟踪性能。
该过程返回到操作600。只要图案将被显示在无特征表面上的固定位置处，该过程就继续。
转到图7，其根据说明性实施例描绘了用于使用图像生成区域的模型的过程的流程图的图示。可以用硬件、软件或两者来实现图7中的过程。当以软件实施时，该过程可以采取由位于一个或多个计算机系统中的一个或多个硬件设备中的一个或多个处理器单元运行的程序代码的形式。例如，可以在计算机系统230中的图像处理器254中实现该过程以生成图2中的模型252。
该过程开始于接收区域的图像(操作700)。这些图像可以是该区域的图像的全部或部分。换句话说，可以在拍摄了感兴趣区域的所有图像之后通过后处理来生成模型。在其他说明性示例中，当飞行器在生成图像的区域上方的飞行路径上飞行时，这些图像可用于生成模型。
该过程过滤图像(操作702)。操作702中的过滤可以包括例如去除未指向该位置正下方的非最低点图像。该过滤还可以去除具有低质量的图像。例如，如果图像的焦点小于期望的阈值，则可以去除该图像。
该过程对图像执行图像直方图均衡化(操作704)。执行此操作是为了在将用于生成模型的图像之间具有均匀或相等的亮度。
该过程对齐图像(操作706)。在该示例中，图像的对齐涉及基于图像中的特征将图像彼此对齐。在操作706中，图像中的无特征表面上的图案可用于提供用于对齐图像的特征。以这种方式，该过程可以使用图像中的无特征表面上显示的图案使具有无特征表面的图像彼此对齐。这种对齐方式可以用于形成模型，例如摄影地图。此外，该对齐还可以包括对图像进行正射校正(ortho-rectifying)的过程，以使得图像具有均匀的比例。当在操作706中执行对齐时，校正是可选的。
然后，该过程使用图像生成区域的点云模型(操作708)。此后该过程终止。
在操作708中，当前使用的摄影测量技术可以用于从图像生成点云。在一个说明性示例中，从运动恢复结构(structure from motion，SFM)技术可用于从图像生成点云模型。该技术是一种利用多个重叠和偏移图像重建该区域的三维点云时的基于摄影测量原理的计算机视觉技术。作为另一示例，可以采用在计算机视觉中使用的半全局匹配(SGM)技术来从图像生成点云模型。
接下来参考图8，其根据说明性实施例描绘了用于对象检测的过程的流程图的图示。可以用硬件、软件或两者来实现图8中的过程。当以软件实施时，该过程可以采取由位于一个或多个计算机系统中的一个或多个硬件设备中的一个或多个处理器单元运行的程序代码的形式。例如，可以在计算机系统230中的图像处理器254中实现该过程以生成图2中的模型252。图像处理器254可以实现当前使用的对象检测和对象识别过程。
该过程开始于接收区域的图像(操作800)。该过程对图像执行对象检测以检测该区域中的一个或多个对象(操作802)。此后该过程终止。
在操作802中，可以使用当前可用的计算机视觉或图像处理技术中的至少一种来检测对象的存在。这些对象可以包括建筑物、汽车、人、树、菌株或其他一些合适的对象中的至少一种。除了检测是否存在对象之外，还可以使用对象识别过程将该对象识别为属于特定类别。该过程可以在人工智能系统中实现，该人工智能系统已使用机器学习技术对识别出的对象进行了训练。人工智能系统还可以检测对象的存在。在该说明性示例中，处理器可以与将特征与对象类型相关联的数据库进行通信。处理器可以使用可通过数据库获得的信息来识别对象。
接下来参考图9，其根据说明性实施例描绘了用于着陆区评估的过程的流程图的图示。可以用硬件、软件或两者来实现图9中的过程。当以软件实施时，该过程可以采取由位于一个或多个计算机系统中的一个或多个硬件设备中的一个或多个处理器单元运行的程序代码的形式。例如，可以在计算机系统230中的图像处理器254中实现该过程以生成图2中的模型252。
该过程开始于接收图像(操作900)。这些图像用于在其中存在着陆区以进行评估的区域。
该过程开始于接收用于区域的图像(操作902)。该过程在该区域的图像中识别潜在的着陆区(操作904)。在该说明性示例中，该区域中待评估的着陆区具有无特征表面。换句话说，使用当前技术通常难以确定形成着陆区的区域是否足够平坦以适合于飞行器的着陆。例如，操作904可以基于地形、高程、不平坦的地面、大小、长度或用于特定飞行器所需的着陆要求的其他参数中的至少一个来识别潜在的着陆区。
该过程根据图像生成着陆区的模型(操作906)。在该说明性示例中，该模型是点云模型。着陆区的这种模型可以仅包括着陆区，或者除着陆区以外还可以包括区域的其他部分。
在该示例中，操作906可以是可选的。在该示例中，该模型可以在着陆区评估中用作自主函数，以基于传感器收集的信息来评估潜在的着陆区。在该示例中，在收集区域的数据时，传感器收集足够的信息以识别潜在的着陆区。例如，无特征表面可以是可行的潜在着陆区，因为感知系统指示存在无特征表面，该无特征表面可以是用于着陆的光滑表面。但是，无特征表面的存在并不能确定该区域实际上适合于着陆。例如，该无特征表面可能是光滑的，但可能不够平坦。因此，可以对区域进行映射、建模或二者以识别关于无特征表面的更多细节。在确定无特征表面如何被实际定位或形成时，可以使用映射或建模中的至少一个来确定被识别为潜在着陆区的无特征表面实际上是否合适。
该过程确定潜在的着陆区是否适合于使飞行器着陆(操作908)。该飞行器可以是为另一架将使用着陆区的飞行器生成图像的飞行器。通过评估一组参数来进行该确定，该组参数选自以下至少之一：着陆区的尺寸、着陆区中是否存在障碍物、着陆区的粗糙度和着陆区的坡度或者可能影响飞行器的着陆区的适用性的其他参数。在该说明性示例中，合适的参数对于不同类型的飞行器可以是不同的。例如，与有人驾驶的固定翼飞机相比，无人驾驶的四翼飞机形式的飞行器对适用性的要求会有所不同。
如果潜在的着陆区合适，则生成指示适合性(操作910)。此后该过程终止。否则，将针对潜在的着陆区生成不适合性的指示(操作912)，此后该过程终止。
所描绘的不同实施例中的流程图和框图示出了说明性实施例中的装置和方法的一些可能的实施方式的架构、功能和操作。就此而言，流程图或框图中的每个框可以代表模块、区段、功能或操作或步骤的一部分中的至少一个。例如，一个或多个框可以被实现为程序代码、硬件或者程序代码和硬件的组合。当以硬件实现时，该硬件可以例如采用集成电路的形式，该集成电路被制造或配置为执行流程图或框图中的一个或多个操作。当以程序代码和硬件的组合方式实现时，实施方式可以采用固件的形式。可以使用执行不同操作的专用硬件系统或专用硬件与专用硬件运行的程序代码的组合来实现流程图或框图中的每个框。
在说明性实施例的一些替代实施方式中，方框中标注的一个或多个功能可以不按图中标注的顺序发生。例如，在某些情况下，取决于所涉及的功能，可以基本上同时执行连续示出的两个方框，或者有时可以以相反的顺序执行这些方框。此外，除了流程图或框图中的所示方框之外，还可以添加其他方框。
在一些说明性示例中，除了生成点云模型之外，图7中的过程还可以被实现为从图像生成其他类型的模型。例如，该过程可以通过生成模型的操作来实现，该模型例如为三维模型、等高线图、摄影图、计算机辅助设计模型以及附加于点云的其他期望类型的模型。
现在转到图10，其根据说明性实施例描绘了数据处理系统的框图的图示。数据处理系统1000可用于实现图2中的计算机系统230和图3中的飞行控制系统306二者中的一个或多个计算设备。在该说明性示例中，数据处理系统1000包括通信框架1002，该通信框架提供处理器单元1004、存储器1006、永久存储装置1008、通信单元1010、输入/输出(I/O)单元1012和显示器1014之间的通信。在该示例中，通信框架1002采用总线系统的形式。
处理器单元1004用于执行可被加载到存储器1006中的软件的指令。处理器单元1004包括一个或多个处理器。例如，处理器单元1004可以选自多核处理器、中央处理单元(CPU)、图形处理单元(GPU)、物理处理单元(PPU)、数字信号处理器(DSP)、网络处理器或某些其他合适类型的处理器中的至少一种。
存储器1006和永久存储装置1008是存储设备1016的示例。存储设备是能够在临时基础上、在永久基础上或者在临时基础和永久基础上存储信息(例如但不限于数据、功能形式的程序代码或其他合适信息中的至少一种)的任何一块硬件。在这些说明性示例中，存储设备1016也可以被称为计算机可读存储设备。在这些示例中，存储器1006可以是例如随机存取存储器或任何其它合适的易失性或非易失性存储设备。永久存储装置1008可以取决于特定的实施方式而采取各种形式。
例如，永久存储装置1008可以包含一个或多个部件或设备。例如，永久存储装置1008可以是硬盘驱动器、固态驱动器(SSD)、闪存、可重写光盘、可重写磁带或上述各项的某种组合。永久存储装置1008使用的介质也可以是可移除的。例如，可移除的硬盘驱动器可以用于永久存储装置1008。
在这些说明性示例中，通信单元1010提供与其他数据处理系统或设备的通信。在这些说明性示例中，通信单元1010是网络接口卡。
输入/输出单元1012允许通过与可连接到数据处理系统1000的其他设备输入和输出数据。例如，输入/输出单元1012可以通过键盘、鼠标或某种其他合适的输入设备中的至少一种为用户输入提供连接。此外，输入/输出单元1012可以将输出发送到打印机。显示器1014提供了向用户显示信息的机制。
用于操作系统、应用程序或程序中的至少一个的指令可以位于通过通信框架1002与处理器单元1004通信的存储设备1016中。不同实施例的处理过程可以由处理器单元1004使用计算机实现的指令来执行，这些指令可以位于存储器(例如存储器1006)中。
这些指令被称为程序代码、计算机可用程序代码或计算机可读程序代码，其可由处理器单元1004中的处理器读取和执行。不同实施例中的程序代码可以体现在不同的物理存储介质或计算机可读存储介质上，例如存储器1006或永久存储装置1008。
程序代码1018以功能形式位于计算机可读介质1020上，该程序代码是选择性可移除的，并且可以被加载到数据处理系统1000上或被转移到数据处理系统1000中以供处理器单元1004执行。在这些说明性示例中，程序代码1018和计算机可读介质1020形成计算机程序产品1022。在该说明性示例中，计算机可读介质1020是计算机可读存储介质1024。
在这些说明性示例中，计算机可读存储介质1024是用于存储程序代码1018的物理或有形存储设备，而不是传播或发送程序代码1018的介质。
可替代地，可以使用计算机可读信号介质将程序代码1018转移到数据处理系统1000。计算机可读信号介质可以是例如包含程序代码1018的传播数据信号。例如，计算机可读信号介质可以是电磁信号、光信号或任何其他合适类型的信号中的至少一种。这些信号可以通过例如无线连接、光纤光缆、同轴电缆、电线或任何其他合适类型的连接件来传输。
针对数据处理系统1000示出的不同部件并不意味着对可实现不同实施例的方式提供架构限制。在一些说明性示例中，一个或多个部件可以合并到另一部件中或以其他方式形成另一部件的一部分。例如，在一些说明性示例中，存储器1006或其一些部分可以并入处理器单元1004中。不同的说明性实施例可以在数据处理系统中实现，该数据处理系统包括附加于或替换为数据处理系统1000示出的那些部件的部件。图10中所示的其他部件可以与所示的说明性示例不同。可以使用能够运行程序代码1018的任何硬件设备或系统来实现不同的实施例。
因此，说明性示例提供了用于执行航空成像的方法、装置和系统。在一个说明性示例中，一种方法处理由飞行器生成的图像。在飞行器的至少一部分飞行期间检测到无特征表面。在飞行器的至少一部分飞行期间，当无特征表面处于由飞行器携带的相机系统的视野中时，在无特征表面上的固定位置处显示图案。该过程在飞行器的至少一部分飞行期间使用相机系统生成具有在固定位置处的图案的无特征表面的图像。
结果，无特征表面的图像包括在固定位置处的图案。以这种方式，从不同位置拍摄的不同图像可以使用来自在无特征表面上显示的图案的特征彼此对齐。以这种方式，从具有无特征表面的图像生成的模型比当前技术更精确。
因此，从图像生成的模型可以应用于许多不同的用途。例如，诸如等高线图或点云模型之类的模型可以用于地图绘制和测量目的。此外，可以使用这些图像来绘制建筑物。建筑物的绘图可以用于建筑目的，包括维护、修复、增加或改进。可以生成包括用于检查的结构的区域的模型。例如，区域可以包括电力线、蜂窝塔、输气管道、堤坝或其他需要检查的结构中的至少一个。田间作物的模型可以用于农业操作，例如规划、收获或其他操作。可以利用从具有无特征表面的图像生成的模型更有效且准确地执行这些和其他用途，其中在生成这些图像期间在固定位置处将图案显示在该无特征表面上。
为了说明和描述的目的呈现了不同的说明性实施例的描述，并且其并不旨在穷举或局限于公开形式的实施例。不同的说明性示例描述了执行动作或操作的部件。在说明性实施例中，部件可以被配置为执行所描述的动作或操作。例如，部件可以具有用于结构的配置或设计，该结构向该部件提供执行在说明性实施例中描述为由该部件执行的动作或操作的能力。
此外，本发明包括根据以下条款所述的实施例：
条款1：一种航空成像系统(210)，包括：
由飞行器(212)携带的相机系统(222)，其中相机系统(222)具有用于在飞行器(212)的至少一部分飞行期间生成图像(214)的视野(234)；
由飞行器(212)携带的表面检测器(224)，其中表面检测器(224)检测无特征表面(220)；以及
由飞行器(212)携带的激光投影仪系统(226)，其中在飞行器(212)的至少一部分飞行(216)期间，当无特征表面(220)处于相机系统(222)的视野(234)中时，激光投影仪系统(226)发射一组激光束(242)以在无特征表面(220)上的固定位置处将图案(244)显示在无特征表面(220)上。
条款2：根据条款1所述的航空成像系统(210)，进一步包括：
计算机系统(230)中的控制器(228)，其中控制器(228)与相机系统(222)、表面检测器(224)或激光投影仪系统(226)中的至少一个通信，并且其中控制器(228)控制相机系统(222)、表面检测器(224)或激光投影仪系统(226)中的至少一个的操作。
条款3：根据前述任一条款所述的航空成像系统(210)，进一步包括：
计算机系统(230)中的图像处理器(254)，其中图像处理器(254)使用显示在图像(214)中的无特征表面(220)上的图案(244)将图像(214)彼此对齐以形成摄影地图。
条款4：根据条款2所述的航空成像系统(210)，其中图像处理器(254)对图像(214)进行正射校正，以使图像(214)具有均匀的比例。
条款5：根据条款3所述的航空成像系统(210)，其中图像处理器(254)位于地面位置处或飞行器(212)中的至少一个。
条款6：根据前述任一条款所述的航空成像系统(210)，其中激光投影仪系统(226)调整一组激光束(242)的发射以考虑飞行器(212)的移动，使得当飞行器(212)相对于无特征表面(220)移动时，图案(244)保持在无特征表面(220)上的固定位置(250)处。
条款7：根据前述任一条款所述的航空成像系统(210)，其中激光投影仪系统(226)包括：
反光镜系统；
对准反光镜系统的一组激光二极管；以及
反光镜控制器，其移动反光镜系统，使得一组激光二极管发射一组激光束(242)以在无特征表面(220)上显示图案(244)。
条款8：根据条款7所述的航空成像系统(210)，其中反光镜系统包括微机电系统镜或多边形扫描镜中的至少一个。
条款9：根据前述任一条款所述的航空成像系统(210)，其中由激光投影仪系统(226)以大于相机系统(222)的快门速度(248)的频率(246)显示图案(244)。
条款10：一种航空成像系统(210)，其包括：
在计算机系统(230)中与激光投影仪系统(226)和相机系统(222)通信的控制器(228)，其中控制器(228)控制激光投影仪的操作以在飞行器212的至少一部分飞行(216)期间发射一组激光束(242)，从而在相机系统(222)的视野(234)中将图案(244)显示在无特征表面(220)上的固定位置(250)处，并且控制相机系统(222)的操作以在飞行器(212)的至少一部分飞行(216)期间生成在视野(234)中具有图案(244)的无特征表面(220)的图像(214)。
条款11：根据条款10所述的航空成像系统(210)，进一步包括：
与识别无特征表面(220)的控制器(228)通信的表面检测器(224)，其中当表面检测器(224)检测到无特征表面(220)时，控制器(228)控制激光投影仪的操作以发射一组激光束(242)，从而在相机系统(222)的视野(234)中的无特征表面(220)上显示图案(244)。
条款12：根据条款10-11中任一项所述的航空成像系统(210)，其中激光投影仪系统(226)调整一组激光束(242)的发射以考虑飞行器(212)的移动，使得当飞行器(212)相对于无特征表面(220)移动时，图案(244)保持在无特征表面(220)上的固定位置(250)处。
条款13：根据条款10-12中任一项所述的航空成像系统(210)，其中在飞行器(212)的至少一部分飞行(216)期间，在控制激光投影仪系统(226)发射一组激光束(242)以在相机系统(222)的视野(234)中的无特征表面(220)的固定位置(250)处显示图案(244)时，控制器(228)控制激光投影仪系统(226)在飞行器(212)的至少一部分飞行(216)期间当无特征表面(220)进入相机系统(222)的视野(234)中时发射一组激光束(242)以在无特征表面(220)上的固定位置(250)处显示图案(244)。
条款14：根据条款11所述的航空成像系统(210)，其中当飞行器(212)朝向无特征表面(220)移动时，表面检测器(224)在无特征表面(220)进入相机系统(222)的视野(234)之前检测无特征表面(220)。
条款15：根据条款11所述的航空成像系统(210)，其中在飞行器(212)的至少一部分飞行期间检测无特征表面(220)时，控制器(228)生成表面图像(238)并确定表面图像(238)在固定位置(250)处具有在阈值内的一组参数。
条款16：根据条款10-15中任一项所述的航空成像系统(210)，其中图像(214)用于地面上的区域(202)，并且进一步包括：
图像处理器(254)，其使用图像(214)生成区域(202)的模型(252)。
条款17：根据条款16所述的航空成像系统(210)，其中在使用图像(214)生成区域(202)的模型(252)时，图像处理器(254)使用图像(214)生成地图或点云模型(252)中的至少一个。
条款18：根据条款10-17中任一项所述的航空成像系统(210)，进一步包括：
图像处理器(254)，其使用图像(214)和对象识别过程来识别对象。
条款19：根据条款16所述的航空成像系统(210)，其中图像处理器(254)使用模型(252)识别区域(202)中用于使飞行器(212)着陆的着陆区。
条款20：一种用于处理图像(214)的方法，该方法包括：
在飞行器(212)的至少一部分飞行(216)期间检测(400)无特征表面(220)；
在飞行器(212)的至少一部分飞行(216)期间，在无特征表面(220)处于由飞行器(212)携带的相机系统(222)的视野(234)中时，在无特征表面(220)上的固定位置(250)处显示(402)图案(244)；以及
在飞行器(212)的至少一部分飞行(216)期间，使用相机系统(222)生成(404)带有在固定位置(250)处的图案(244)的无特征表面(220)的图像(214)。
条款21：根据条款20所述的方法，其中在飞行器(212)的至少一部分飞行(216)期间检测无特征表面(220)包括：
在飞行器(212)的至少一部分飞行(216)期间，在无特征表面(220)进入相机的视野(234)之前检测无特征表面(220)的存在。
条款22：根据条款20-21中任一项所述的方法，进一步包括：
使用图像(214)和对象识别过程识别模型(252)中的对象。
条款23：根据条款20-22中任一项所述的方法，其中图像(214)用于地面上的区域(202)，并且进一步包括：
使用图像(214)生成(708)区域(202)的模型(252)。
条款24：根据条款23所述的方法，其中使用图像(214)生成区域(202)的模型(252)包括：
使用图像(214)生成地图或点云模型(252)中的至少一个。
条款25：根据条款23所述的方法，进一步包括：
使用模型(252)识别在区域(202)中用于使飞行器(212)着陆的着陆区。
条款26：根据条款20-25中任一项所述的方法，进一步包括：
使用图像(214)中的图案(244)将无特征表面(220)的图像(214)彼此对齐(706)。
条款27：根据条款20-26中任一项所述的方法，其中使用具有大于相机系统(222)的快门速度(248)的频率(246)的一组激光束(242)显示图案(244)。
对于本领域普通技术人员而言，许多修改和变型将是显而易见的。此外，与其他期望的实施例相比，不同的说明性实施例可以提供不同的特征。选择和描述所选的一个或多个实施例是为了最好地解释实施例的原理、实际应用，并使本领域的其他普通技术人员能够理解具有各种修改的各种实施例的公开内容，这些实施例具有适合于所设想的特定用途的各种修改。

Claims (15)

1.一种航空成像系统(210)，其包括：
由飞行器(212)携带的相机系统(222)，其中所述相机系统(222)具有用于在所述飞行器(212)的至少一部分飞行期间生成图像(214)的视野(234)；
由所述飞行器(212)携带的表面检测器(224)，其中所述表面检测器(224)检测无特征表面(220)；以及
由所述飞行器(212)携带的激光投影仪系统(226)，其中在所述飞行器(212)的所述至少一部分飞行(216)期间，当所述无特征表面(220)在所述相机系统(222)的所述视野(234)中时，所述激光投影仪系统(226)发射一组激光束(242)以在所述无特征表面(220)上的固定位置(250)处将图案(244)显示在所述无特征表面(220)上。
2.根据权利要求1所述的航空成像系统(210)，其还包括：
在计算机系统(230)中的控制器(228)，其中所述控制器(228)与所述相机系统(222)、所述表面检测器(224)或所述激光投影仪系统(226)中的至少一个通信，并且其中所述控制器(228)控制所述相机系统(222)、所述表面检测器(224)或所述激光投影仪系统(226)中的至少一个的操作。
3.根据上述任一权利要求所述的航空成像系统(210)，其进一步包括：
在计算机系统(230)中的图像处理器(254)，其中所述图像处理器(254)使用在所述图像(214)中显示在所述无特征表面(220)上的图案(244)将所述图像(214)彼此对齐，以形成摄影地图。
4.根据权利要求2所述的航空成像系统(210)，其中所述图像处理器(254)对所述图像(214)进行正射校正，使得所述图像(214)具有均匀的比例。
5.根据权利要求3所述的航空成像系统(210)，其中所述图像处理器(254)位于地面位置或所述飞行器(212)中的至少一个中。
6.根据权利要求1-2和4中的任一项所述的航空成像系统(210)，其中所述激光投影仪系统(226)调节所述一组激光束(242)的发射以考虑到所述飞行器(212)的移动，使得当所述飞行器(212)相对于所述无特征表面(220)移动时，所述图案(244)保持在所述无特征表面(220)上的所述固定位置(250)处。
7.根据权利要求1-2和4所述的航空成像系统(210)，其中所述激光投影仪系统(226)包括：
反光镜系统；
对准所述反光镜系统的一组激光二极管；以及
反光镜控制器，其移动所述反光镜系统，使得一组激光二极管发射所述一组激光束(242)以在所述无特征表面(220)上显示所述图案(244)。
8.根据权利要求7所述的航空成像系统(210)，其中所述反光镜系统包括微机电系统镜或多边形扫描镜中的至少一个。
9.根据权利要求1-2和4所述的航空成像系统(210)，其中由激光投影仪系统(226)以大于所述相机系统(222)的快门速度(248)的频率(246)显示所述图案(244)。
10.一种用于处理图像(214)的方法，所述方法包括：
在飞行器(212)的至少一部分飞行(216)期间检测(400)无特征表面(220)；
在所述飞行器(212)的所述至少一部分飞行(216)期间，当所述无特征表面(220)处于由所述飞行器(212)携带的相机系统(222)的视野(234)中时，在所述无特征表面(220)上的固定位置(250)处显示(402)图案(244)；以及
在所述飞行器(212)的所述至少一部分飞行(216)期间，使用所述相机系统(222)生成(404)在所述固定位置(250)处带有所述图案(244)的所述无特征表面(220)的图像(214)。
11.根据权利要求10所述的方法，其中在所述飞行器(212)的所述至少一部分飞行(216)期间检测所述无特征表面(220)包括：
在所述飞行器(212)的所述至少一部分飞行(216)期间，在所述无特征表面(220)进入所述相机的所述视野(234)之前检测所述无特征表面(220)的存在。
12.根据权利要求10-11中任一项所述的方法，还包括：
使用所述图像(214)和对象识别过程来识别所述模型(252)中的对象，或者可选地，其中所述图像(214)用于地面上的区域(202)，并且进一步可选地包括：
使用所述图像(214)生成(708)所述区域(202)的模型(252)。
13.根据权利要求12所述的方法，其中使用所述图像(214)生成所述区域(202)的所述模型(252)包括：
使用所述图像(214)生成地图或点云模型(252)中的至少一个。
14.根据权利要求12所述的方法，还包括：
使用所述模型(252)识别在所述区域(202)中用于使所述飞行器(212)着陆的着陆区。
15.根据权利要求10-11中任一项所述的方法，还包括：
使用所述图像(214)中的所述图案(244)将所述无特征表面(220)的所述图像(214)彼此对齐(706)，或者可选地，其中使用具有大于所述相机系统(222)的快门速度(248)的频率(246)的一组激光束(242)来显示所述图案(244)。
CN202010594253.1A 2019-06-26 2020-06-28 在无特征表面上使用投影图案的飞行器成像系统 Active CN112146627B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/453,635 2019-06-26
US16/453,635 US10955241B2 (en) 2019-06-26 2019-06-26 Aircraft imaging system using projected patterns on featureless surfaces

Publications (2)

Publication Number Publication Date
CN112146627A true CN112146627A (zh) 2020-12-29
CN112146627B CN112146627B (zh) 2024-01-09

Family

ID=71105253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010594253.1A Active CN112146627B (zh) 2019-06-26 2020-06-28 在无特征表面上使用投影图案的飞行器成像系统

Country Status (3)

Country Link
US (1) US10955241B2 (zh)
EP (1) EP3757512A1 (zh)
CN (1) CN112146627B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837109B (zh) * 2021-09-27 2024-06-04 桂林长海发展有限责任公司 一种飞机降落效果评估方法、装置以及存储介质
CN113642681B (zh) * 2021-10-13 2022-01-04 中国空气动力研究与发展中心低速空气动力研究所 一种飞行器模型表面标记点的匹配方法

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0005918A1 (en) * 1979-05-09 1979-12-12 Hughes Aircraft Company Scene tracker system
US6912464B1 (en) * 1997-07-14 2005-06-28 Bae Systems Plc Inertial navigation accuracy enhancement
US20070031004A1 (en) * 2005-08-02 2007-02-08 Casio Computer Co., Ltd. Apparatus and method for aligning images by detecting features
US20100277587A1 (en) * 2006-11-30 2010-11-04 Visionmap Ltd. Digital mapping system based on continuous scanning line of sight
US20110115950A1 (en) * 2006-04-03 2011-05-19 Omnivision Technologies, Inc. Advanced Imaging Systems And Methods Utilizing Nonlinear and/Or Spatially Varying Image Processing
CN102711611A (zh) * 2009-12-29 2012-10-03 株式会社岛津制作所 放射线图像处理装置以及放射线图像处理程序
US20140081459A1 (en) * 2012-09-20 2014-03-20 Marc Dubois Depth mapping vision system with 2d optical pattern for robotic applications
US20150049170A1 (en) * 2013-08-16 2015-02-19 Indiana University Research And Technology Corp. Method and apparatus for virtual 3d model generation and navigation using opportunistically captured images
CN105069623A (zh) * 2014-03-28 2015-11-18 恩塞拉多斯Ip控股有限责任公司 用于使用来源图案来检验宿主对象的真实性的系统及方法
US20160105649A1 (en) * 2014-10-10 2016-04-14 IEC Infrared Systems LLC Panoramic View Imaging System With Drone Integration
US20160227193A1 (en) * 2013-03-15 2016-08-04 Uber Technologies, Inc. Methods, systems, and apparatus for multi-sensory stereo vision for robotics
CN106442570A (zh) * 2016-11-23 2017-02-22 中国计量大学 管道内缺陷检测装置、检测方法和相机的开启设置方法
CN106796656A (zh) * 2014-10-14 2017-05-31 微软技术许可有限责任公司 距飞行时间相机的深度
US20170201738A1 (en) * 2015-06-13 2017-07-13 Alberto Daniel Lacaze Senising on uavs for mapping and obstacle avoidance
US20180088581A1 (en) * 2015-05-18 2018-03-29 Booz Allen Hamilton Inc. Portable aerial reconnaissance targeting intelligence device
US10029804B1 (en) * 2015-05-14 2018-07-24 Near Earth Autonomy, Inc. On-board, computerized landing zone evaluation system for aircraft
CN108602565A (zh) * 2016-05-13 2018-09-28 极光飞行科学公司 太阳能电力系统及其方法
US20190011529A1 (en) * 2017-07-10 2019-01-10 Aurora Flight Sciences Corporation Laser speckle system and method for an aircraft
US20190066317A1 (en) * 2017-08-24 2019-02-28 General Electric Company Image and video capture architecture for three-dimensional reconstruction
CN109416399A (zh) * 2016-04-26 2019-03-01 深瞳科技公司 三维成像系统
US20190094344A1 (en) * 2017-09-22 2019-03-28 Leica Geosystems Ag Hybrid lidar-imaging device for aerial surveying

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2292605B (en) 1994-08-24 1998-04-08 Guy Richard John Fowler Scanning arrangement and method
AU3991799A (en) 1998-05-14 1999-11-29 Metacreations Corporation Structured-light, triangulation-based three-dimensional digitizer
US10577101B2 (en) * 2017-12-21 2020-03-03 Autel Robotics Co., Ltd. Water surface detection method and apparatus, unmanned aerial vehicle landing method and apparatus and unmanned aerial vehicle
US10767996B2 (en) * 2018-05-08 2020-09-08 Honeywell International Inc. System and methods for reducing the map search space requirements in a vision-inertial navigation system

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0005918A1 (en) * 1979-05-09 1979-12-12 Hughes Aircraft Company Scene tracker system
US6912464B1 (en) * 1997-07-14 2005-06-28 Bae Systems Plc Inertial navigation accuracy enhancement
US20070031004A1 (en) * 2005-08-02 2007-02-08 Casio Computer Co., Ltd. Apparatus and method for aligning images by detecting features
US20110115950A1 (en) * 2006-04-03 2011-05-19 Omnivision Technologies, Inc. Advanced Imaging Systems And Methods Utilizing Nonlinear and/Or Spatially Varying Image Processing
US20100277587A1 (en) * 2006-11-30 2010-11-04 Visionmap Ltd. Digital mapping system based on continuous scanning line of sight
CN102711611A (zh) * 2009-12-29 2012-10-03 株式会社岛津制作所 放射线图像处理装置以及放射线图像处理程序
US20140081459A1 (en) * 2012-09-20 2014-03-20 Marc Dubois Depth mapping vision system with 2d optical pattern for robotic applications
US20160227193A1 (en) * 2013-03-15 2016-08-04 Uber Technologies, Inc. Methods, systems, and apparatus for multi-sensory stereo vision for robotics
US20150049170A1 (en) * 2013-08-16 2015-02-19 Indiana University Research And Technology Corp. Method and apparatus for virtual 3d model generation and navigation using opportunistically captured images
CN105069623A (zh) * 2014-03-28 2015-11-18 恩塞拉多斯Ip控股有限责任公司 用于使用来源图案来检验宿主对象的真实性的系统及方法
US20160105649A1 (en) * 2014-10-10 2016-04-14 IEC Infrared Systems LLC Panoramic View Imaging System With Drone Integration
CN106796656A (zh) * 2014-10-14 2017-05-31 微软技术许可有限责任公司 距飞行时间相机的深度
US10029804B1 (en) * 2015-05-14 2018-07-24 Near Earth Autonomy, Inc. On-board, computerized landing zone evaluation system for aircraft
US20180088581A1 (en) * 2015-05-18 2018-03-29 Booz Allen Hamilton Inc. Portable aerial reconnaissance targeting intelligence device
US20170201738A1 (en) * 2015-06-13 2017-07-13 Alberto Daniel Lacaze Senising on uavs for mapping and obstacle avoidance
CN109416399A (zh) * 2016-04-26 2019-03-01 深瞳科技公司 三维成像系统
CN108602565A (zh) * 2016-05-13 2018-09-28 极光飞行科学公司 太阳能电力系统及其方法
CN106442570A (zh) * 2016-11-23 2017-02-22 中国计量大学 管道内缺陷检测装置、检测方法和相机的开启设置方法
US20190011529A1 (en) * 2017-07-10 2019-01-10 Aurora Flight Sciences Corporation Laser speckle system and method for an aircraft
US20190066317A1 (en) * 2017-08-24 2019-02-28 General Electric Company Image and video capture architecture for three-dimensional reconstruction
US20190094344A1 (en) * 2017-09-22 2019-03-28 Leica Geosystems Ag Hybrid lidar-imaging device for aerial surveying

Also Published As

Publication number Publication date
EP3757512A1 (en) 2020-12-30
US10955241B2 (en) 2021-03-23
CN112146627B (zh) 2024-01-09
US20200408518A1 (en) 2020-12-31

Similar Documents

Publication Publication Date Title
CN110832279B (zh) 对准由自主车辆捕获的数据以生成高清晰度地图
Khan et al. A comparative survey of lidar-slam and lidar based sensor technologies
US11218689B2 (en) Methods and systems for selective sensor fusion
EP3635500B1 (en) Method of navigating a vehicle and system thereof
AU2019217205B2 (en) Method of and apparatus for analyzing images
JP6843773B2 (ja) 環境の走査及び無人航空機の追跡
JP2022000636A (ja) オンボードセンサの外部パラメータを較正する方法及び装置、並びに関連する車両
KR102627453B1 (ko) 위치 추정 장치 및 방법
US11512975B2 (en) Method of navigating an unmanned vehicle and system thereof
Levinson Automatic laser calibration, mapping, and localization for autonomous vehicles
JP2015006874A (ja) ３次元証拠グリッドを使用する自律着陸のためのシステムおよび方法
CN110865650B (zh) 基于主动视觉的无人机位姿自适应估计方法
CN109827574A (zh) 一种无人机室内外切换导航系统
US10527423B1 (en) Fusion of vision and depth sensors for navigation in complex environments
JP6527726B2 (ja) 自律移動ロボット
EP3799618B1 (en) Method of navigating a vehicle and system thereof
Al-Darraji et al. A technical framework for selection of autonomous uav navigation technologies and sensors
CN111413708A (zh) 基于激光雷达的无人机自主识别着陆选址方法
CN112146627B (zh) 在无特征表面上使用投影图案的飞行器成像系统
CN106969721A (zh) 一种三维测量方法及其测量装置
JP2017068639A (ja) 自律移動ロボット
CN109901589B (zh) 移动机器人控制方法和装置
KR101181742B1 (ko) 토지 이용 현황도 갱신 장치 및 방법
US20240054789A1 (en) Drone data collection optimization for evidence recording
US20240054731A1 (en) Photogrammetry system for generating street edges in two-dimensional maps

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant