CN112507774A - 使用点云的分辨率自适应融合的障碍物检测的方法和系统 - Google Patents

使用点云的分辨率自适应融合的障碍物检测的方法和系统 Download PDF

Info

Publication number
CN112507774A
CN112507774A CN202010956498.4A CN202010956498A CN112507774A CN 112507774 A CN112507774 A CN 112507774A CN 202010956498 A CN202010956498 A CN 202010956498A CN 112507774 A CN112507774 A CN 112507774A
Authority
CN
China
Prior art keywords
resolution
type
scanning sensor
point cloud
surface function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010956498.4A
Other languages
English (en)
Inventor
尤里·奥维什科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of CN112507774A publication Critical patent/CN112507774A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G01S13/426—Scanning radar, e.g. 3D radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726—Multiple target tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

公开了使用点云的分辨率自适应融合的障碍物检测的方法和系统。一种使用分辨率自适应融合进行障碍物检测和交通工具导航的方法，包括由处理器执行至少第一三维(3D)点云和第二3D点云的分辨率自适应融合以产生融合的、经过降噪的和分辨率优化的3D点云，其代表与交通工具相关的环境。第一3D点云由第一类型的3D扫描传感器生成，第二3D点云由第二类型的3D扫描传感器生成。相对于第一类型的3D扫描传感器，第二类型3D扫描传感器在多个不同的测量维度的每一个维度中具有不同的分辨率。该方法还包括使用融合的、经过降噪的和分辨率优化的3D点云检测障碍物并为交通工具导航。

Description

使用点云的分辨率自适应融合的障碍物检测的方法和系统
技术领域
本公开涉及障碍物检测和交通工具导航，并且更具体地涉及使用点云的分辨率自适应融合进行障碍物检测和交通工具导航。
背景技术
自主交通工具可使用三维(3D)扫描装置，例如光检测和测距(LIDAR)传感器、视觉传感器、雷达或其他3D传感装置，以用于障碍物检测和交通工具导航。这样的传感器能够产生可使用传感器融合方法或过程进行组合的点云。一些现有的传感器融合方法分别并独立地处理来自每个传感器的原始点云数据，然后通过组合来自不同传感器的对象轨迹来执行融合。其他传感器融合方法在点云层级执行融合，但是仅通过在公共坐标系中配准并对齐点云，然后将网眼或表面拟合到复合点云来进行融合。这些现有的点云融合方法没有考虑传感器的分辨率差异，并且不能补偿特定类型传感器在一个或多个维度上的低劣分辨率。因此，需要处理来自不同类型传感器的点云，其考虑传感器分辨率并自动补偿传感器的低劣分辨率，以检测障碍物，从而用于交通工具的导航。
发明内容
根据实施方式，一种用于使用分辨率自适应融合进行障碍物检测和交通工具导航的方法包括：由处理器执行至少第一三维(3D)点云和第二3D点云的分辨率自适应融合，以生成融合的、经过降噪的和分辨率优化的3D点云，其代表与所述交通工具关联的环境。所述第一3D点云由第一类型的3D扫描传感器生成和并且所述第二3D点云由第二类型的3D扫描传感器生成。相对于所述第一类型的3D扫描传感器，所述第二类型的3D扫描传感器在多个不同的测量维度的每一个维度中包括不同的分辨率。该方法还包括使用融合的、经过降噪的和分辨率优化的3D点云检测障碍物并为所述交通工具导航。
根据实施方式，一种用于使用分辨率自适应融合来进行障碍物检测和交通工具导航的系统包括处理器和与所述处理器相关联的存储器。所述存储器包括计算机可读程序指令，该指令在由所述处理器执行时使所述处理器执行一组功能。该组功能包括：执行至少第一三维(3D)点云和第二3D点云的分辨率自适应融合，以生成融合的、经过降噪的和分辨率优化的3D点云，其代表与所述交通工具相关的环境。所述第一3D点云由第一类型3D扫描传感器生成，并且所述第二3D点云由第二类型3D扫描传感器生成。相对于所述第一类型的3D扫描传感器，所述第二类型3D扫描传感器在多个不同的测量维度中的每个维度中都具有不同的分辨率。该组功能还包括：使用融合的、经过降噪的和分辨率优化的3D点云检测障碍物并为所述交通工具导航。
根据实施方式和前述实施方式中的任何一个，其中，执行所述分辨率自适应融合包括通过以下方式生成第一体积表面函数：将所述第一3D点云的多个测量点中的每个测量点与用于表示每个测量点空间位置的不确定性的第一类型的3D扫描传感器的关联3D点扩展函数进行3D卷积。所述第一体积表面函数结合了所述第一类型的3D扫描传感器的分辨率。执行所述分辨率自适应融合还包括通过以下方式生成第二体积表面函数：将所述第二3D点云的多个测量点中的每个测量点与用于表示每个测量点空间位置的不确定性的第二类型的3D扫描传感器的关联3D点扩展函数进行3D卷积。所述第二体积表面函数结合了所述第二类型的3D扫描传感器的分辨率。
根据实施方式和前述实施方式中的任何一个，其中，执行所述分辨率自适应融合还包括：通过将用于所述第一类型3D扫描传感器的第一体积表面函数和用于所述第二类型的3D扫描传感器的第二体积表面函数相乘或相加来形成3D复合体积表面函数。通过形成所述3D复合体积表面函数，使得来自一种类型的3D扫描传感器的不精确点云数据将由来自所述另一种类型的扫描传感器的精确点云数据来补偿。
根据实施方式和前述实施方式中的任何一个，其中，形成所述3D复合体积表面函数包括响应于使所述3D扫描传感器之一无效的情况将所述第一体积表面函数和所述第二体积表面函数相加。
根据实施方式和前述实施方式中的任何一个，其中，形成所述3D复合体积表面函数包括将所述第一体积表面函数和所述第二体积表面函数相乘，以便与仅使用所述3D扫描传感器之一的体积表面函数相比，增强用于检测与所述交通工具相关的环境中的障碍物的分辨率。
根据实施方式和前述实施方式中的任何一个，其中，执行所述分辨率自适应融合还包括通过以下方式来生成所述3D复合体积表面函数的等值线(iso-contour)：进行自动基于边缘的阈值化以找到所述3D复合体积表面函数的最佳分辨率自适应等值线。自动基于边缘的阈值化基于体积表面函数边缘图优化。
根据实施方式和前述实施方式中的任何一个，其中，执行自动基于边缘的阈值化包括在值的预设范围内递增阈值，以确定使所述3D复合体积表面函数的等值线的二维(2D)边缘图中的边缘数量最大化的阈值。
根据实施方式和前述实施方式中的任何一个，其中，执行所述分辨率自适应融合还包括：在均匀网格上对所述3D复合体积表面函数的等值线进行重采样，以形成融合的、经过降噪的和分辨率优化的3D点云。
根据实施方式和前述实施方式中的任何一个，其中，所述方法和系统的所述一组功能还包括使用融合的、经过降噪的和分辨率优化的3D点云来呈现与所述交通工具相关联的环境的表示。
根据实施方式和前述实施方式中的任何一个，其中，所述方法和系统的所述一组功能还包括：使用融合的、经过降噪的和分辨率优化的3D点云来检测并避开所述交通工具的障碍物。
根据实施方式和前述实施方式中的任何一个，其中，所述方法和系统的所述一组功能还包括：生成一系列融合的、经过降噪的和分辨率优化的3D点云；和使用所述一系列融合的、经过降噪的和分辨率优化的3D点云跟踪障碍物中中移动障碍物。
根据实施方式和前述实施方式中的任何一个，其中，所述第一类型的3D扫描传感器包括雷达、立体视觉传感器、单眼视觉传感器或LIDAR传感器中的一种，并且其中，所述第二类型的3D扫描传感器包括与所述第一类型3D扫描传感器不同类型的传感器。
已经讨论的特征、功能和优点可在各种实施方式中独立地实现，或者可在其他实施方式中组合，其进一步的细节可参考下面的描述和附图来看到。
附图说明
图1A是根据本公开的实施方式的交通工具的实例的示意框图，该交通工具包括用于使用点云的分辨率自适应融合来进行障碍物检测和交通工具导航的系统。
图1B是根据本公开的另一实施方式的交通工具的实例的示意框图，该交通工具包括用于使用点云的分辨率自适应融合来进行障碍物检测和交通工具导航的系统。
图2A和图2B是根据本公开的实施方式的使用点云的分辨率自适应融合来对进行障碍物检测和交通工具导航的方法的实例的流程图。
图3A和图3B是图2A和图2B的分辨率自适应融合处理流程的图示。
图4A和图4B分别是不同3D点云的测量点的实例以及每个测量点的相关分辨率或测量不确定性的实例的图示。
图5是根据本公开的实施方式的通过将3D点云的测量点与产生3D点云的特定类型3D扫描传感器的相关联的点扩展函数(PSF)卷积来形成包含了传感器分辨率的体积表面函数的图示。
图6是根据本公开的实施方式的用于执行自动基于边缘的阈值化以找到3D复合体积表面函数(VSF)的最佳分辨率自适应等值线的方法的实例的流程图。
图7是图6的自动基于边缘的阈值化以找到3D复合VSF的最佳分辨率自适应等值线的图示。
图8是根据本公开的实施方式的VSF的等值线的2D投影边缘图中的边缘的总长度的变化对阈值的曲线图的实例的图示。
具体实施方式
实施方式的以下详细描述参考附图，其示出了本公开的具体实施方式。具有不同结构和操作的其他实施方式不脱离本公开的范围。在不同附图中，相似的参考标号可指代相同的元件或组件。
本公开可以是系统、方法和/或计算机程序产品。该计算机程序产品可包括计算机可读存储介质，该计算机可读存储介质上具有用于使处理器执行本公开的各方面的计算机可读程序指令。
计算机可读存储介质可以是有形的装置，其可保留和存储由指令执行装置使用的指令。计算机可读存储介质可以是例如但不限于电子存储装置、磁存储装置、光存储装置、电磁存储装置、半导体存储装置或前述的任何合适的组合。计算机可读存储介质的更具体实例的非穷举列表包括以下内容：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字多功能磁盘(DVD)、记忆棒、软盘、机械编码的装置，例如打孔卡或上面记录了指令的凹槽中凸起的结构，以及上述内容的任何合适组合。如本文所使用的，计算机可读存储介质不应被理解为本身是瞬时信号，例如无线电波或其他自由传播的电磁波，通过波导或其他传输介质(例如，通过光纤电缆的光脉冲)传播的电磁波或通过电线传输的电信号。
此处描述的计算机可读程序指令可从计算机可读存储介质下载到相应的计算/处理装置，或者经由网络，例如，互联网、局域网、广域网和/或无线网络，下载到外部计算机或外部存储装置。该网络可包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理装置中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并转发计算机可读程序指令以存储在相应的计算/处理装置内的计算机可读存储介质中。
用于执行本公开的操作的计算机可读程序指令可以是汇编程序指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据或者源代码或以一种或多种编程语言(包括诸如Smalltalk、C++等面向对象的编程语言和诸如“C”编程语言或类似编程语言的常规过程编程语言)的任意组合编写的对象代码。计算机可读程序指令可作为独立软件包完全在用户计算机上，部分在用户计算机上执行，部分在用户计算机上并且部分在远程计算机上或完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户计算机，或者可与外部计算机建立连接(例如，通过使用互联网服务提供商的互联网)。在一些实施方式中，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令，以使电子电路个性化，以执行本公开的方面。
这里参考根据本公开的实施方式的方法、设备(系统)和计算机程序产品的流程图和/或框图描述了本公开的各方面。将理解的是，流程图图示和/或框图的每个框以及流程图图示和/或框图中的框的组合可通过计算机可读程序指令来实现。
可将这些计算机可读程序指令提供给通用计算机的处理器、专用计算机或其他可编程数据处理设备，以产生机器，从而使得经由计算机的处理器或其他可编程数据处理处理设备执行的指令创建用于实现在流程图和/或框图方框中指定的功能/动作的装置。这些计算机可读程序指令还可存储在计算机可读存储介质中，该计算机可读存储介质可指导计算机、可编程数据处理设备和/或其他装置以特定方式起作用，从而使存储有指令的计算机可读存储介质包括制品，该制品包括实现在流程图和/或框图方框中指定的功能/动作的各方面的指令。
还可将计算机可读程序指令加载到计算机、其他可编程数据处理设备或其他装置上，以使一系列操作步骤在计算机、其他可编程设备或其他装置上执行以产生计算机实现的过程，使得在计算机、其他可编程设备或其他装置上执行的指令实现流程图和/或框图方框中指定的功能/动作。
图1A是根据本公开的实施方式的交通工具100的实例的示意性框图，该交通工具100包括用于使用3D点云106和108的分辨率自适应融合138来进行障碍物104a或104b检测和交通工具100导航的系统102。将参考图2A和图2B描述用于执行分辨率自适应融合138的方法200的实例。根据图1A中的实例，障碍物104在与交通工具100相关联的环境110中包括一个或多个固定障碍物104a和一个或多个移动障碍物104b。根据不同的实例，交通工具100是飞机、无人飞行器(UAV)，或其他类型的自动驾驶交通工具。
系统102包括第一类型的3D扫描传感器112和至少第二类型的3D扫描传感器114。在其他实施方式中，系统102包括多于两种类型的3D扫描传感器112和114。3D扫描传感器的类型的实例包括但不限于任何类型的视觉传感器，诸如立体视觉传感器或单眼视觉传感器、光检测和测距(LIDAR)传感器、雷达以及测量和跟踪大空间体积中物体的任何其他类型的3D传感系统。每个不同类型的3D扫描传感器112和114分别收集与交通工具100相关联的环境110的一个或多个电子图像118和120。如本文中更详细描述的，电子图像118和120基于用于不同方向和距离的特定类型的3D扫描传感器112和114的传感器分辨率，对于与3D扫描传感器112或114不同的视图方向和距离具有不同的分辨率。在图1A的实例中，环境110包括地平面122、一个或多个固定障碍物104a和一个或多个移动障碍物104b。
每个电子图像118包括3D点云106，每个电子图像120包括3D点云108。每个3D点云106和108包括多个测量点124，并且每个测量点124包括点云数据126。每个测量点124对应于与交通工具100相关联的环境110中障碍物104a和104b之一的表面130上的点128。点云数据126包括障碍物104a或104b的表面130上对应点128的位置或定位信息以及参照图4A和图4B和图5更详细地描述的测量不确定性。
系统102还包括处理器132和与处理器132相关联的存储器134。在图1A的实例中，存储器134被示为处理器132的一部分。在其他实施方式中，存储器134是与处理器132分离的组件。存储器134包括计算机可读程序指令136，其在由处理器132执行时使处理器132执行一组功能137。一组功能137定义分辨率自适应融合138处理。如参考图2A和图2B更详细描述的，分辨率自适应融合138将来自多种类型的3D扫描传感器(例如3D扫描传感器112和114)的3D点云(诸如点云106和108)组合成单个均匀采样的点云，例如融合的、经过降噪的和分辨率优化的3D点云140，多种类型的3D扫描传感器在不同维度或方向具有不同的分辨率。融合的、经过降噪的和分辨率优化的3D点云140在每个维度上的分辨率大约等于在该维度或该方向具有最佳分辨率的特定类型3D扫描传感器112或114的分辨率。分辨率自适应融合138使用针对不同方向和距离的传感器分辨率模型，以在创建融合的、经过降噪的和分辨率优化的3D点云140中优先选择最准确的数据。如参考图2A和图2B详细描述的，分辨率自适应融合138包含了传感器分辨率模型，以通过自动抑制低分辨率数据并将其替换为来自在一个维度表现更好的另一个3D扫描传感器112或114的数据，来补偿3D扫描传感器112或114那个维度的较差分辨率。这通过使用不同类型的3D扫描传感器112和114能够在所有维度上实现高性能感测。例如，至少第一类型3D扫描传感器112在一个或多个维度上具有良好的性能，而至少第二类型的3D扫描传感器114在第一类型扫描传感器114的性能较差的维度上具有良好的性能。作为进一步的实例，分辨率自适应融合138能够用视觉和雷达3D扫描传感器代替LIDAR，这是因为视觉和雷达在不同维度和环境条件下具有互补的性能。分辨率自适应融合138的另一个优点是，所有参数都可从传感器分辨率模型中计算出来，或者由系统102自动确定，这使得分辨率自适应融合138能够自动适应环境110。如参照图2A和图2B详细描述的，分辨率自适应融合138将第一3D点云106的每个测量点124与第一类型3D扫描传感器112的相关联的3D点扩展函数(PSF)142进行3D卷积，以在生成融合的、经过降噪的和分辨率优化的3D点云140时结合有第一类型3D扫描传感器112的传感器分辨率。分辨率自适应融合138还将第二3D点云108的每个测量点124与第二类型扫描传感器114的关联3D PSF 144进行3D卷积，以在生成融合的、经过降噪的和分辨率优化的3D点云140时结合有第二类型3D扫描传感器114的传感器分辨率。传感器分辨率模型由3D PSF 142和144表示。PSF 142和144可在空间上变化。例如，立体视觉传感器的分辨率范围取决于来自传感器的每个3D测量点124的范围。
根据不同的示例性实施方式，交通工具100包括感知系统146和显示器148中的至少一种、交通工具控制系统150和移动障碍物跟踪系统152。感知系统146被配置为使用融合的、经过降噪的和分辨率优化的3D点云140，以检测和避开环境110中的障碍物104a和104b并导航交通工具100。例如，在交通工具100是飞机的情况下，融合的、经过降噪的和分辨率优化的3D点云140呈现在显示器148上，以例如在诸如低能见度的不利条件下向飞行机组提供障碍物104a和104b的增强的情形感知。在交通工具100是无人飞行器或自动驾驶交通工具的实例中，感知系统146使用融合的、经过降噪的和分辨率优化的3D点云140来检测并避开障碍物104a和104b。
交通工具控制系统150被配置为使用融合的、经过降噪的和分辨率优化的3D点云140用于交通工具100的导航并避开障碍物104a和104b。
移动障碍物跟踪系统152被配置为使用一系列融合的、经过降噪的和分辨率优化的3D点云140来跟踪一个或多个移动障碍物104b。将参考图2A和图2B更详细地描述生成用于跟踪移动障碍物104b的一系列融合的、经过降噪的和分辨率优化的3D点云的实例。
图1B是根据本公开的另一实施方式的交通工具101的实例的示意框图，该交通工具101包括系统102，系统102使用点云106和108的分辨率自适应融合138来进行障碍物104a和104b检测和交通工具101的导航。交通工具101类似于图1A中的交通工具100，不同之处在于，感知系统146和相关联的显示器148中的至少一种、交通工具控制系统150和移动障碍物跟踪系统152位于地面站154或远程站。根据实例，交通工具101是自动驾驶交通工具，例如无人飞行器。交通工具101包括收发器156，用于将融合的、经过降噪的和分辨率优化的3D点云140发送到地面站154的另一个收发器158，以供感知系统146、交通工具控制系统150和移动障碍物跟踪系统152使用，与前面描述的类似。收发器156还被配置为从地面站154的收发器158接收控制信号以控制交通工具101的操作。
根据另一实施方式，处理器132和相关联的存储器134也位于地面站154处。在该实施方式中，收发器156将包括各个3D点云106和108的电子图像118和120发送到地面站154的收发器158。然后，由地面站154执行分辨率适应性融合138，并且由地面站154将控制信号发送至交通工具101，用于进行交通工具101导航和障碍物104a和104b的避开。
图2A和图2B是根据本公开的实施方式的使用来自不同类型的3D扫描传感器112和114(图1A和图1B)的3D点云106和108的分辨率自适应融合138来进行障碍物104a和104b(图1A和图1B)检测和诸如图1A和图1B中的交通工具100或101的交通工具导航的方法200的实例的流程图。根据图1A中的实例，方法200的至少一些功能以计算机可读程序指令136和分辨率自适应融合138来实施。
在框202中，使用第一类型3D扫描传感器112(图1A和图1B)执行第一扫描操作，以收集与交通工具100或101相关联的环境110的一个或多个电子图像118。在框204中，使用第二类型3D扫描传感器114至少执行第二扫描操作以收集一个或多个电子图像120。来自第一类型3D扫描传感器112的每个电子图像118包括第一3D点云106并且来自第二类型扫描传感器114的每个电子图像120包括第二3D点云。如先前所述，每个3D点云106和108包括多个测量点124。每个测量点124对应于障碍物104a或104b的表面130上的点128。每个测量点124包括点云数据126。点云数据126至少包括定义点128在障碍物104a和104b的表面130上的位置的信息。
在框206中，至少对第一3D点云106和第二3D点云108执行分辨率自适应融合138，以生成融合的、经过降噪的和分辨率优化的3D点云140。在图2A和图2B的示例性实施方式中，框206中的分辨率自适应融合138包括框208-224。融合的、经过降噪的和分辨率优化的3D点云140代表与交通工具100或101关联的环境110。如前所述，第一3D点云106由第一类型3D扫描传感器112生成并且第二3D生成点云108由第二类型3D扫描传感器114生成。相对于第一类型3D扫描传感器112，第二类型3D扫描传感器114在多个不同的测量维度中的每一个中具有不同的分辨率。如前所述，融合的、经过降噪的和分辨率优化的3D点云140用于检测任何障碍物104a和104b并为交通工具100或101导航。
至少第一类型3D扫描传感器112和第二类型3D扫描传感器114的典型组合包括但不限于视觉传感器、雷达和LIDAR传感器。这些不同类型的3D扫描传感器112和114中的每一个都具有优势，但也具有劣势，而劣势可由其他类型的3D扫描传感器112和114中的一个来补偿。由于没有一个类型的3D扫描传感器112或114具有理想的功能集，利用多种不同类型的3D扫描传感器112和114并将其融合在一起以形成交通工具100或101的环境110的一体(unified)表示，以用于障碍物104a和104b的检测和分类。例如，立体或单眼视觉3D扫描传感器在方位角和仰角上具有良好的分辨率，并且在短距离上具有良好的范围分辨率，但是对于较长的范围却迅速退化。视觉3D扫描传感器价格低廉且紧凑。LIDAR传感器具有出色的范围分辨率以及中间方位角和仰角分辨率，但它们体积庞大且价格昂贵。视觉传感器和LIDAR传感器都会受到天气条件的影响。雷达具有良好的测距分辨率，但方位角和仰角分辨率较差。与其他两个传感器不同，雷达还可使用多普勒频移测量朝着雷达方向的速度，并且可在所有天气条件下运行。虽然图1A和图1B中的示例性实施方式示出了至少第一类型的3D扫描传感器112和第二类型的3D扫描传感器114，其他实施方式包括具有不同分辨率特性的多于两种类型的3D扫描传感器，从而来自不同类型传感器的点云数据126可用于使用本文所述的分辨率适应性融合138过程来生成融合的、经过降噪的和分辨率优化的3D点云140。
还参考图3A和图3B，图3A和图3B是图2A和图2B的框206中的分辨率自适应融合138处理流程的图示。在图2A的框208中，通过在三个空间维度的每一个中使用快速傅里叶变换(FFT)来生成第一体积表面函数(VSF)212，以生成来自第一3D点云106的多个测量点124的每个测量点124与代表每个测量点124的空间位置的不确定性的第一类型3D扫描传感器112的关联3D PSF 142的3D卷积302(图3A)。第一VSF 212结合有第一类型3D扫描传感器112的分辨率。
在框210中，通过以下方式生成第二VSF 214：将来自所述第二3D点云108的多个测量点124的每个测量点124与用于表示第二3D点云108的每个测量点124的空间位置不确定性的第二类型的3D扫描传感器114的关联3D PSF 144进行3D卷积304。第二VSF 214结合有第二类型3D扫描传感器114的分辨率。
分辨率自适应融合138假定传感器分辨率模型可用于每个3D扫描传感器112和114在不同观察方向和距离上的分辨率。这些分辨率模型可通过传感器物理模型进行解析确定，也可通过在多个位置进行的分辨率目标测量来经验确定，然后对多个位置的分辨率目标的测量进行内插以覆盖整个测量体积。如图4A和图4B所示，分辨率或测量不确定性的值与3D点云106和108中的每个测量点124相关联。图4A和图4B是不同3D点云106和108的测量点124以及每个测量点124的相关分辨率或测量不确定性402的实例的图示。每个测量点124由其位置和其位置相关测量不确定性3D点扩展函数(PSF)142或144定义，该函数由每个维度的高斯积形成。PSF轴对应于从障碍物104a或104b上的测量点128的范围和两个横向方向上的分辨率或标准偏差σx，σy和σz(图5)，如从测量点128的3D扫描传感器112或114看到的那样。PSF 142和144的方向由方位角(θ)和仰角(φ)两个角度表示。总共八个参数值与每个测量点124相关联，以表示在任何方向和任何距离上的点124的位置和测量不确定性。PSF 142或144可能会根据传感器的特性而随着测量体积中的位置而变化。
由于3D扫描传感器112和114在不同的方向和距离上具有不同的分辨率，因此分辨率自适应融合138被配置为优先利用来自每个3D扫描传感器112和114的具有最佳分辨率的点云数据126。分辨率自适应融合138的基本原理在图5中示出。分辨率自适应融合138使用空间体积中的物体表面的迹象(evidence)的中间“隐式”体积表示502来生成具有降低的噪声的新的更高精确度的点云504，其在均匀的空间网格上被采样。与作为具有3D坐标的表面上的点列表的表面的“显式”表示不同，隐式方法根据3D空间中定义的函数来表示表面。例如，一种可能的隐式表示是3D函数，其每个3D体素的值由该位置上点的密度给出。分辨率自适应融合138利用的另一种隐式表示是将表面定义为3D函数的等值线或水平集，其对3D扫描传感器112和114在不同位置和不同方向上的分辨率进行建模。在分辨率自适应融合138中，3D函数是通过将每个3D扫描传感器112和114所测量的测量点124与每个3D扫描传感器112和114的相关联的3D PSF 142和144进行卷积而形成的体积表面函数(VSF)212和214。PSF 142和144表示所有方向上每个测量点124的位置的不确定性，可建模为高斯积，其中PSF 142和144的位置、形状和方向反映了特定3D扫描传感器112和114的分辨率特性。PSF142和144是从先验传感器模型导出的，或者是根据数据经验地测量的。3D卷积302和304用该位置的关联传感器的3D PSF 142或144替换每个测量点124，如图5所示，并使用快速傅里叶变换有效地实现。
VSF 212和214分别是3D点云106或108的基于3D体素的3D体积表示，它是每个3D空间位置上障碍物104a或104b的表面130的迹象的量度，结合了对应的3D扫描传感器112和114的分辨率。VSF 212和214类似于计算的轴向断层摄影(CAT)扫描如何成为映射人体组织密度的3D函数。随着更多点124被测量，由于来自多个测量点124的PSF重叠，最可能的表面位置将对应于具有最高VSF值的体素。
在框216中，通过将用于第一类型3D扫描传感器112(图1A和图1B)的第一VSF 212和用于第二类型3D扫描传感器114(图1A和图1B)的第二VSF 214相乘或相加来形成3D复合VSF 218。通过形成3D复合VSF 218，来自一个类型的3D扫描传感器112或114的不精确的点云数据126将由来自另一类型的3D扫描传感器112或114的精确点云数据126进行补偿。3D复合VSF 218通过响应于导致3D扫描传感器112或114中的一个无效的情况将第一VSF 212和第二VSF 214相加来形成。通过将第一VSF 212和第二VSF 214相乘来形成3D复合VSF 218，以便与仅使用3D扫描传感器112或114的VSF 212或214相比，增强用于检测与交通工具100或101相关的环境110中的障碍物104a或104b的分辨率。由于每个维度上的复合分辨率都将是在该维度具有更高分辨率的3D扫描传感器112或114的分辨率，当由两个或更多个3D扫描传感器112和114检测环境中的所有障碍物时，VSF 212和214的相乘是合适的。但是，如果仅一个3D扫描传感器112或114检测到障碍物104a或104b，则另一个传感器112或114的VSF212或214不会覆盖该障碍物104a和104b并且对于该障碍物104a或104b，VSF 212和214的乘积将为零。但是，如果将VSF 212和214加到一起，则仅一个3D扫描传感器112或114检测到的障碍物104a或104b将以3D复合VSF 218表示。多个3D扫描传感器112和114检测到的障碍物104a和104b的分辨率可能没有在乘法情况下改进得那么多，但是模拟表明性能提高依然很高。优选的操作模式可以是使用加法VSF来初始检测障碍物104a和104b，然后使用乘法VSF精细化障碍物104a和104b的分辨率，以计算VSF 212和214的相乘和相加的结果。
在图2B的框220中，通过执行自动基于边缘的阈值化306(图3B)以找到3D复合VSF218的最佳分辨率自适应等值线222，来生成3D复合VSF 218的等值线222(也参见图3B)。自动基于边缘的阈值化306基于VSF边缘图优化。将参考图6和图7描述用于基于自动基于边缘的阈值化的方法的实例。如参考图7和图8更详细描述的，执行自动基于边缘的阈值化306包括在值的预设范围内递增阈值702a-702c以确定使3D复合VSF218的等值线222的二维(2D)边缘图704b中的边缘的数量最大化的阈值(在图7的实例中为702b)。
在框224中，执行分辨率自适应融合138还包括在均匀网格308(图3B)上对3D复合VSF 218的等值线222重新采样，以形成融合的、经过降噪的和分辨率优化的3D点云140。根据实例，重采样包括：3D复合VSF 218的等值线222的基于体素的点云重采样310(图3B)以提供融合的、经过降噪的和分辨率优化的3D点云140。基于体素的点云重采样使用由传感器112和114测量的点云点(测量点)124作为输入，由于感测环境的局部地形，点云点124在3D空间中不规则地分布。3D复合VSF 218是在3D空间中定义的连续函数，通过将每个点云106和108中的每个测量点124与关联传感器的局部PSF 142和144卷积而生成。3D复合VSF 218的3D体积域可细分为规则间隔的连续体素，其值是3D复合VSF 218在体素体积上的局部平均值，从而执行3D复合VSF 218的空间采样。对3D复合VSF 218进行阈值化会产生在体素位置采样的3D复合VSF 218的等值线222表面。然后，可将高于阈值的体素(voxel)替换为以高于阈值的体素为中心的点。这些新点在规则间隔的3D网格上形成重采样的点云，其是由各个传感器测量的点云106和108形成的融合的、经过降噪的和分辨率优化的点云140。
根据实施方式，方法200返回到框202和204，并且方法200如上所述重复。方法200在交通工具100或101的操作期间重复预定次数或连续重复，以产生一系列融合的、经过降噪的和分辨率优化的3D点云140。在框226中，所述一系列融合的、经过降噪的和分辨率优化的3D点云140用于为交通工具100或101导航，并在框226中检测并避开静止障碍物104a和移动障碍物104b。
在框228中，使用一系列融合的、经过降噪的和分辨率优化的3D点云140来跟踪移动障碍物104b。在框230中，使用融合的、经过降噪的和分辨率优化的3D点云140或一系列融合的、经过降噪的和分辨率优化的3D点云140，将与交通工具100或101相关联的环境110的表示呈现在显示器148上。
图6是根据本公开实施方式的用于执行自动基于边缘的阈值化306(图3B)以找到3D复合VSF 218的最佳分辨率自适应等值线222的方法600的实例的流程图。自动基于边缘的阈值化306基于由方法600执行并在图7中示出的体积表面函数(VSF)边缘图优化700。在图6的框602中，阈值被设置为零(0)。在框604中，通过将具有高于阈值的值的所有体素设置为1，否则设置为0，来生成3D复合VSF 218的等值线222。
在框606中，将3D复合VSF 218的等值线222在Z方向上投影，以在X-Y平面上形成二维(2D)图像706(图7)。
在框608中，执行2D边缘检测，并且形成边缘的二进制图(binary map，二值化图)704a-704c。二进制图704a-704c可被认为是图像，其中在边缘位置处像素值为1，而在其他位置处像素值为0。因此，对二进制图图像中的所有像素求和是边缘像素数量的度量。
在框610中，对二进制图(也被称为二进制边缘图)704a-704c中的所有像素求和以测量边缘的数量。保存所有边缘的和的值。
在框612中，确定阈值是否等于一(1)。如果阈值不等于一(1)，则阈值的值被增加小于一(1)的预设量，并且方法600返回到框604。然后，方法600如前所述进行。
如果框612中的阈值等于一(1)，则方法600前进至框616。在框616中，将阈值设置为使边缘数量最大化的值。在框618中，所设置的阈值用于生成3D复合VSF 218的最佳等值线222。
还参考图7。图7是图6的自动基于边缘的阈值化306以找到3D复合VSF 218的最佳分辨率自适应等值线222的图示。如图7所示，随着阈值702a-702c从较小的值，即0.1，增加到较大的阈值，等值线222在XY平面上的2D投影(图6中的框606)由单个大的3D斑点708a组成，然后随着阈值702a-702c的增加，斑点708a分离为以每个障碍物104a或104b为中心的较小的3D斑点708b-708c(框614)。然后，这些斑点708a-708c继续缩小，直到达到某个阈值，例如702b，在该处，斑点708b分解成以每个测量点124为中心的3D“岛”。就以下意义而言该阈值702b是最佳的：它是使等值线222的体积最小化(从而提高了分辨率)的最大阈值，同时仍保持了障碍物104a或104b的完全覆盖。随着阈值702a-702c增加而超过此点，斑点708a-708c将缩小，直到它们实际上消失为止(斑点708c)。可用来检测最佳阈值的简单的计算变量是等值线222在图7所示的2D平面或X-Y平面上的投影的边缘图706中的边缘的总长度。通过在阈值范围内增加阈值702a-702c并选择使3D复合VSF等值线222总边缘长度最大化的阈值，如图7和图8所示，可自动设置阈值702a-702c。
图8是根据本公开的实施方式的VSF的等值线222的2D投影边缘图706(图7)中的边缘的总长度的变化对阈值的曲线图800的实例的图示。如图8所示，用于组合传感器数据的最佳阈值702b是使总边缘长度最大化的阈值。
虽然图2A和图2B中的示例性方法200包括两个扫描操作以产生第一和第二3D点云106和108，根据其他实施方式，执行了多于两个的扫描操作。在另一个实施方式中，至少第三扫描操作由第三类型3D扫描传感器执行以产生至少第三3D点云。然后，使用至少三种3D点云来执行分辨率自适应融合138。可使用由不同类型的3D扫描传感器生成的任意数量的3D点云来执行分辨率自适应融合138，以生成融合的、经过降噪的和分辨率优化的3D点云140。
从本文描述的实施方式中，本领域技术人员将认识到，分辨率自适应融合138适用于利用多个传感器感测3D环境的任何平台，以用于诸如滑行飞机、无人驾驶飞机和其他自动驾驶交通工具的障碍物检测和导航的应用。分辨率自适应融合138通过使一个传感器能够补偿第二传感器在特定测量方向上的较差分辨率或第二传感器在当前天气和/或光照条件下无法有效发挥作用，从而提高了传感器系统的3D分辨率。例如，分辨率自适应融合138可配置为在低成本和紧凑型视觉和雷达传感器之间针对不同范围和方位角/仰角自动切换，以使用针对每个维度的最佳传感器来创建高分辨率融合3D点云。一种潜在的应用是使用雷达和视觉传感器的组合来减少或消除对昂贵、低分辨率和LIDAR传感器的需求。
附图中的流程图和框图示出了根据本公开的各种实施方式的系统、方法和计算机程序产品的可能实现的架构、功能和操作。就这一点而言，流程图或框图中的每个方框可表示指令的模块、片段或部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。在一些替代实施方式中，方框中指出的功能可不按图中指出的顺序发生。例如，取决于所涉及的功能，实际上可基本上同时执行连续示出的两个框，或者有时可以以相反的顺序执行这些框。还应注意，框图和/或流程图的每个方框以及框图和/或流程图的方框的组合可由执行指定功能或动作或执行特殊用途的硬件和计算机指令的组合的特定目的的基于硬件的专用系统来实现。
本文所使用的术语仅出于描述具体实施方式的目的，并且不旨在限制本公开的实施方式。如本文所使用的，单数形式“一”、“一个”和“该”也旨在包括复数形式，除非上下文另外明确指出。将进一步理解的是，当在本说明书中使用时，术语“包括”、“包含”、“含有”和/或“涵盖”指定所述特征、整数、步骤、操作、元件和/或组件的存在，但不排除一个或多个其他特征、整数、步骤、操作、元件、组件和/或其组的存在或增加。
所附权利要求中的所有装置或步骤加上功能元件的相应结构、材料、动作和等同物旨在包括用于与如具体要求保护的其他要求保护的元件组合地执行功能的任何结构、材料或动作。已经出于说明和描述的目的给出了本实施方式的描述，但是这些描述并不旨在是穷举性的或限于所公开形式的实施方式。在不脱离实施方式的范围和精神的情况下，许多修改和变型对于本领域普通技术人员将是显而易见的。
尽管这里已经示出和描述了具体的实施方式，但是本领域的普通技术人员可理解，为实现相同目的而设计的任何布置都可代替所示的具体实施方式，并且这些实施方式在其他环境中具有其他应用。本申请旨在涵盖任何改编或变化。所附权利要求绝不旨在将本公开的实施方式的范围限制为本文所述的具体实施方式。

Claims (20)

1.一种使用分辨率自适应融合(138)进行障碍物(104)检测和交通工具(100，101)导航的方法(200)，所述方法(200)包括：
由处理器(132)执行(206)至少第一三维3D点云(106)和第二3D点云(108)的分辨率自适应融合(138)，以生成融合的、经过降噪的和分辨率优化的3D点云(140)，所述融合的、经过降噪的和分辨率优化的3D点云(140)代表与所述交通工具(100，101)关联的环境(110)，其中，所述第一3D点云(106)由第一类的3D扫描传感器(112)生成，并且所述第二3D点云(108)由第二类型的3D扫描传感器(114)生成，其中，相对于所述第一类型的3D扫描传感器(112)，所述第二类型的3D扫描传感器(114)在多个不同的测量维度的每一个维度中具有不同的分辨率；和
使用所述融合的、经过降噪的和分辨率优化的3D点云(140)检测(226)障碍物(104a和104b)，并为所述交通工具(100，101)导航(226)。
2.根据权利要求1所述的方法(200)，其中，执行(206)所述分辨率自适应融合(138)包括：
通过以下方式生成(208)第一体积表面函数(212)：将来自所述第一3D点云(106)的多个测量点(124)的每个测量点(124)与用于表示每个测量点(124)的空间位置不确定性的所述第一类型的3D扫描传感器(112)的关联3D点扩展函数(142)进行(208)3D卷积(302)，其中，所述第一体积表面函数(212)结合有所述第一类型的3D扫描传感器(112)的分辨率；和
通过以下方式生成(210)第二体积表面函数(214)：将来自所述第二3D点云(108)的多个测量点(124)的每个测量点(124)与用于表示每个测量点(124)空间位置不确定性的所述第二类型的3D扫描传感器(114)的关联3D点扩展函数(144)进行(210)3D卷积(302，304)，其中，所述第二体积表面函数(214)结合有所述第二类型的3D扫描传感器(114)的分辨率。
3.根据权利要求2所述的方法(200)，其中，执行(206)所述分辨率自适应融合(138)还包括：通过将用于所述第一类型的3D扫描传感器(112)的所述第一体积表面函数(212)和用于所述第二类型的3D扫描传感器(114)的所述第二体积表面函数(214)相乘或相加(216)来形成(216)3D复合体积表面函数(218)，其中，通过形成(216)所述3D复合体积表面函数(218)，来自一种类型的3D扫描传感器(112或114)的不精确点云数据(126)将由来自另一种类型的扫描传感器(112或114)的精确点云数据(126)来补偿。
4.根据权利要求3所述的方法(200)，其中，形成(216)所述3D复合体积表面函数(218)包括响应于使所述第一类型的3D扫描传感器(112)和所述第二类型的3D扫描传感器(114)中之一无效的情况，将所述第一体积表面函数(212)和所述第二体积表面函数(214)相加(216)。
5.根据权利要求3所述的方法(200)，其中，形成(216)所述3D复合体积表面函数(218)包括将所述第一体积表面函数(212)和所述第二体积表面函数(214)相乘(216)，从而与仅使用所述第一类型的3D扫描传感器(112)和所述第二类型的3D扫描传感器(114)中之一的体积表面函数(212或214)相比，增强用于检测(226)与所述交通工具(100，101)相关的环境(110)中的障碍物(104a或104b)的分辨率。
6.根据权利要求3所述的方法(200)，其中，执行(206)所述分辨率自适应融合(138)还包括通过以下方式来生成(220)所述3D复合体积表面函数(218)的等值线(222)：进行(220)自动基于边缘的阈值化(306)以找到所述3D复合体积表面函数(218)的最佳分辨率自适应等值线(222)，其中，所述自动基于边缘的阈值化(306)基于体积表面函数边缘图优化(700)。
7.根据权利要求6所述的方法(200)，其中，执行(206)所述自动基于边缘的阈值化(306)包括在值的预设范围(702a-702c)内递增(614)阈值(702a-702c)，以确定使所述3D复合体积表面函数(218)的等值线(222)的二维(2D)边缘图(706)中的边缘数量最大化的阈值(702a-702c)。
8.根据权利要求6所述的方法(200)，其中，执行(206)所述分辨率自适应融合(138)还包括：在均匀网格(308)上对所述3D复合体积表面函数(218)的等值线(222)进行重采样(224)，以形成所述融合的、经过降噪的和分辨率优化的3D点云(140)。
9.根据权利要求1所述的方法(200)，进一步包括使用所述融合的、经过降噪的和分辨率优化的3D点云(140)来呈现(230)与所述交通工具(100，101)相关联的环境(110)的表示。
10.根据权利要求9所述的方法(200)，还包括：使用所述融合的、经过降噪的和分辨率优化的3D点云(140)来检测(226)并避开所述交通工具(100，101)的障碍物(104a和104b)。
11.根据权利要求1所述的方法(200)，还包括：
生成(202-224)一系列融合的、经过降噪的和分辨率优化的3D点云(140)；和
使用所述一系列融合的、经过降噪的和分辨率优化的3D点云(140)跟踪(228)所述障碍物(104a和104b)中的移动障碍物(104b)。
12.根据权利要求1所述的方法(200)，其中，所述第一类型的3D扫描传感器(112)包括雷达、立体视觉传感器、单眼视觉传感器或LIDAR传感器，并且其中，所述第二类型的3D扫描传感器(114)包括与所述第一类型的3D扫描传感器(112)不同的传感器。
13.一种用于使用分辨率自适应融合(138)来进行障碍物(104)检测和交通工具(100，101)导航的系统(102)，所述系统(102)包括：
处理器(132)；和
与所述处理器(132)相关联的存储器(134)，其中，所述存储器(134)包括计算机可读程序指令(136)，所述计算机可读程序指令在由所述处理器(132)执行时使所述处理器(132)执行一组功能(137)，包括：
执行(206)至少第一三维3D点云(106)和第二3D点云(108)的分辨率自适应融合(138)以生成融合的、经过降噪的和分辨率优化的3D点云(140)，所述融合的、经过降噪的和分辨率优化的3D点云(140)代表与所述交通工具(100，101)相关的环境(110)，其中，所述第一3D点云(106)由第一类型的3D扫描传感器(112)生成并且所述第二3D点云(108)是由第二类型的3D扫描传感器(114)生成，其中，相对于所述第一类型的3D扫描传感器(112)，所述第二类型的3D扫描传感器(114)在多个不同的测量维度中的每个维度中都具有不同的分辨率；和
使用所述融合的、经过降噪的和分辨率优化的3D点云(140)检测(226)障碍物(104a和104b)，并为所述交通工具(100，101)导航。
14.根据权利要求13所述的系统(102)，其中，执行(206)所述分辨率自适应融合(138)包括：
通过以下方式生成(208)第一体积表面函数(212)：将来自所述第一3D点云(106)的多个测量点(124)的每个测量点(124)与用于表示每个测量点(124)空间位置不确定性的所述第一类型的3D扫描传感器(112)的关联3D点扩展函数(142)进行3D卷积(302)，其中，所述第一体积表面函数(212)结合有所述第一类型的3D扫描传感器(112)的分辨率；和
通过以下方式生成(210)第二体积表面函数(214)：将来自所述第二3D点云(108)的多个测量点(124)的每个测量点(124)与用于表示每个测量点(124)空间位置不确定性的所述第二类型的3D扫描传感器(114)的关联3D点扩展函数(144)进行3D卷积(304)，其中，所述第二体积表面函数(214)结合有所述第二类型的3D扫描传感器(114)的分辨率。
15.根据权利要求14所述的系统(102)，其中，执行(206)所述分辨率自适应融合(138)还包括：通过将用于所述第一类型的3D扫描传感器(112)的所述第一体积表面函数(212)和用于所述第二类型的3D扫描传感器(114)的所述第二体积表面函数(214)相乘或相加(216)来形成(216)3D复合体积表面函数(218)，其中，通过形成(216)所述3D复合体积表面函数(218)，来自一种类型的3D扫描传感器(112或114)的不精确点云数据(126)将由来自另一种类型的扫描传感器(112或114)的精确点云数据(126)来补偿。
16.根据权利要求15所述的系统(102)，其中，形成(216)所述3D复合体积表面函数(218)包括响应于使所述第一类型的3D扫描传感器(112)和所述第二类型的3D扫描传感器(114)中之一无效的情况将所述第一体积表面函数(212)和所述第二体积表面函数(214)相加(216)。
17.根据权利要求15所述的系统(102)，其中，形成(216)所述3D复合体积表面函数(218)包括将所述第一体积表面函数(212)和所述第二体积表面函数(214)相乘(216)，以便与仅使用所述第一类型的3D扫描传感器(112)和所述第二类型的3D扫描传感器(114)中之一的体积表面函数(212或214)相比，增强用于检测(226)与所述交通工具(100，101)相关的环境(110)中的障碍物(104a或104b)的分辨率。
18.根据权利要求16所述的系统(102)，其中，执行(206)所述分辨率自适应融合(138)还包括通过以下方式来生成(220)所述3D复合体积表面函数(218)的等值线(222)：进行自动基于边缘的阈值化(306)以找到所述3D复合体积表面函数(218)的最佳分辨率自适应等值线(222)，其中，所述自动基于边缘的阈值化(306)基于体积表面函数边缘图优化(700)。
19.根据权利要求18所述的系统(102)，其中，执行(206)所述自动基于边缘的阈值化(306)包括在值的预设范围(702a-702c)内递增(614)阈值(702a-702c)，以确定使所述3D复合体积表面函数(218)的等值线(222)的二维(2D)边缘图(706)中的边缘数量最大化的阈值(702a-702c)。
20.根据权利要求18所述的系统(102)，其中，执行(206)所述分辨率自适应融合(138)还包括：在均匀网格(308)上对所述3D复合体积表面函数(218)的等值线(222)进行重采样(224)，以形成所述融合的、经过降噪的和分辨率优化的3D点云(140)。
CN202010956498.4A 2019-09-13 2020-09-11 使用点云的分辨率自适应融合的障碍物检测的方法和系统 Pending CN112507774A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/570,139 US11592820B2 (en) 2019-09-13 2019-09-13 Obstacle detection and vehicle navigation using resolution-adaptive fusion of point clouds
US16/570,139 2019-09-13

Publications (1)

Publication Number Publication Date
CN112507774A true CN112507774A (zh) 2021-03-16

Family

ID=72517113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010956498.4A Pending CN112507774A (zh) 2019-09-13 2020-09-11 使用点云的分辨率自适应融合的障碍物检测的方法和系统

Country Status (3)

Country Link
US (1) US11592820B2 (zh)
EP (1) EP3792658A1 (zh)
CN (1) CN112507774A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298715A (zh) * 2021-05-26 2021-08-24 深圳优地科技有限公司 机器人栅格地图构建方法、装置、机器人及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115685137A (zh) * 2021-07-30 2023-02-03 武汉万集光电技术有限公司 一种opa激光雷达及噪点识别方法
CN115249349B (zh) * 2021-11-18 2023-06-27 上海仙途智能科技有限公司 一种点云去噪方法、电子设备及存储介质
CN117274605B (zh) * 2023-11-20 2024-03-01 北京飞渡科技股份有限公司 一种从无人机拍摄的照片中提取水域轮廓的方法及装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5886702A (en) 1996-10-16 1999-03-23 Real-Time Geometry Corporation System and method for computer modeling of 3D objects or surfaces by mesh constructions having optimal quality characteristics and dynamic resolution capabilities
US20050140670A1 (en) 2003-11-20 2005-06-30 Hong Wu Photogrammetric reconstruction of free-form objects with curvilinear structures
US7593565B2 (en) 2004-12-08 2009-09-22 Rudolph Technologies, Inc. All surface data for use in substrate inspection
CN101198964A (zh) 2005-01-07 2008-06-11 格斯图尔泰克股份有限公司 使用红外图案照射创建对象的三维图像
CN101464999B (zh) 2007-12-19 2011-01-05 鸿富锦精密工业（深圳）有限公司 三维色阶比对系统及方法
US20110316978A1 (en) 2009-02-25 2011-12-29 Dimensional Photonics International, Inc. Intensity and color display for a three-dimensional metrology system
US8983794B1 (en) 2010-10-04 2015-03-17 The Boeing Company Methods and systems for non-destructive composite evaluation and repair verification
FR2992762B1 (fr) 2012-06-29 2014-07-11 Real Fusio France Procede de generation d’un maillage d’au moins un objet en trois dimensions
ES2780575T3 (es) 2013-01-21 2020-08-26 Vricon Systems Ab Un procedimiento y disposición para proporcionar un modelo 3d
AU2014239979B2 (en) * 2013-03-15 2017-06-22 Aurora Operations, Inc. Methods, systems, and apparatus for multi-sensory stereo vision for robotics
US9524582B2 (en) 2014-01-28 2016-12-20 Siemens Healthcare Gmbh Method and system for constructing personalized avatars using a parameterized deformable mesh
EP2930691A1 (en) 2014-04-10 2015-10-14 Dassault Systèmes Fitting sample points with an isovalue surface
CN104063894B (zh) 2014-06-13 2017-02-22 中国科学院深圳先进技术研究院 点云三维模型重建方法及系统
US10260866B2 (en) 2015-03-06 2019-04-16 Massachusetts Institute Of Technology Methods and apparatus for enhancing depth maps with polarization cues
US9646410B2 (en) 2015-06-30 2017-05-09 Microsoft Technology Licensing, Llc Mixed three dimensional scene reconstruction from plural surface models
WO2017007535A1 (en) 2015-07-07 2017-01-12 Quality Vision International, Inc. Method and apparatus for scanning object
EP3188033B1 (en) 2015-12-31 2024-02-14 Dassault Systèmes Reconstructing a 3d modeled object
US20190064364A1 (en) * 2016-01-29 2019-02-28 Motion Engine, Inc. METHODS AND SYSTEMS FOR MOTION DETERMINATION OF SENSOR ELEMENTS IN SENSOR SYSTEMS USING MEMS IMUs
CN110573901A (zh) * 2017-04-28 2019-12-13 深圳市大疆创新科技有限公司 激光传感器和视觉传感器的校准
US10444761B2 (en) * 2017-06-14 2019-10-15 Trifo, Inc. Monocular modes for autonomous platform guidance systems with auxiliary sensors
US10354444B2 (en) * 2017-07-28 2019-07-16 The Boeing Company Resolution adaptive mesh that is generated using an intermediate implicit representation of a point cloud

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298715A (zh) * 2021-05-26 2021-08-24 深圳优地科技有限公司 机器人栅格地图构建方法、装置、机器人及存储介质

Also Published As

Publication number Publication date
EP3792658A1 (en) 2021-03-17
US20210080952A1 (en) 2021-03-18
US11592820B2 (en) 2023-02-28

Similar Documents

Publication Publication Date Title
JP7297017B2 (ja) オンボードセンサの外部パラメータを較正する方法及び装置、並びに関連する車両
CN112507774A (zh) 使用点云的分辨率自适应融合的障碍物检测的方法和系统
CN108319655B (zh) 用于生成栅格地图的方法和装置
CN108352056B (zh) 用于校正错误深度信息的系统和方法
US11132611B2 (en) Information processing apparatus and information processing method for determining presence probability of object
He et al. Recent advances in 3D data acquisition and processing by time-of-flight camera
EP3637313A1 (en) Distance estimating method and apparatus
US8199977B2 (en) System and method for extraction of features from a 3-D point cloud
US10574967B2 (en) Autonomous performance of an operation on an object using a generated dense 3D model of the object
JP6804991B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
US20170345182A1 (en) Information processing apparatus, vehicle, and information processing method
KR101864127B1 (ko) 무인 차량을 위한 주변 환경 매핑 방법 및 장치
CN111257882B (zh) 数据融合方法、装置、无人驾驶设备和可读存储介质
CN111353453B (zh) 用于车辆的障碍物检测方法和装置
CN109444916A (zh) 一种无人驾驶可行驶区域确定装置及方法
JP2017524932A (ja) ビデオ支援着艦誘導システム及び方法
CN115272452A (zh) 一种目标检测定位方法、装置、无人机及存储介质
CN114384492B (zh) 用于激光雷达的点云处理方法及装置、存储介质
CN111780744A (zh) 移动机器人混合导航方法、设备及存储装置
EP3203266A1 (en) Stereo range with lidar correction
CN114219770A (zh) 地面检测方法、装置、电子设备及存储介质
CN113734176A (zh) 智能驾驶车辆的环境感知系统、方法、车辆及存储介质
US20230341558A1 (en) Distance measurement system
JP6813436B2 (ja) 情報処理装置、移動体、情報処理方法、およびプログラム
CN112651405B (zh) 目标检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination