CN116507984A - 点云滤波技术 - Google Patents

点云滤波技术 Download PDF

Info

Publication number
CN116507984A
CN116507984A CN202180070499.1A CN202180070499A CN116507984A CN 116507984 A CN116507984 A CN 116507984A CN 202180070499 A CN202180070499 A CN 202180070499A CN 116507984 A CN116507984 A CN 116507984A
Authority
CN
China
Prior art keywords
poi
points
neighborhood
filter
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180070499.1A
Other languages
English (en)
Inventor
K·托什尼瓦尔
M·雷兹克
B·赫克赛尔
K·B·维斯瓦纳萨
J·克劳萨佩瑞
R·T·穆尔蒂
J·纳卡穆拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eva Ltd
Original Assignee
Eva Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eva Ltd filed Critical Eva Ltd
Publication of CN116507984A publication Critical patent/CN116507984A/zh
Pending legal-status Critical Current

Links

Classifications

    • G06T5/70—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/493—Extracting wanted echo signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

在第一滤波器(315)处接收LiDAR系统的点云(311)的兴趣点即POI的集合，其中POI集合中的各POI包括一个或多于一个点。对POI集合中的各POI进行滤波。选择(322)POI的邻域点集合。计算(322)邻域点集合的度量。基于该度量，确定(324)是接受POI、修改POI、拒绝POI还是将POI发送到第二滤波器以提取与目标相关的范围和速度信息至少之一。如果POI被接受或修改，则将POI发送到经滤波的点云；如果POI被拒绝，则防止POI到达经滤波的点云；如果POI未被接受、修改或拒绝，则将POI发送到第二滤波器。对度量进行计算可以基于依据速度、强度或范围的相似性的置信度或基于速度、强度或范围的阈值；或者可以基于邻域点集合和POI的上啁啾频率或下啁啾频率的方差。LiDAR系统可以辅助自动化驾驶员辅助系统或自动驾驶运载工具的空间感知，从而去除例如重影点或噪声点的假警报(非真实)点。因此可以提高所估计目标范围/速度的准确性。

Description

点云滤波技术
相关申请
本申请根据35U.S.C.§119(e)要求2021年8月10日提交的美国专利申请17/398,895的权益，上述申请要求2020年10月15日提交的美国临时专利申请63/092,228的优先权和权益，这些申请的全部内容通过引用整体并入本文。
技术领域
本发明一般涉及点集或点云滤波技术，并且更具体地，涉及在光检测和测距(LiDAR)系统中使用的点集或点云滤波技术。
背景技术
频率调制连续波(FMCW)LiDAR系统包括若干可能的相位损伤，诸如激光相位噪声、电路相位噪声、驱动电子器件注入激光的闪烁噪声、随温度/天气的漂移和啁啾率偏移。FMCW LiDAR点云可能表现出不同的噪声模式，这可能是由于不正确的峰匹配导致错误地检测到出现在现场中的点(即使什么都不存在)而引起的。例如，当FMCW LiDAR指向围栏或灌木丛时，在LiDAR与围栏之间的现场中可能出现多个重影点。如果不对也被分类为假警报(FA)点的这些重影点或噪声点进行滤波，可能引入重影对象并导致所估计目标范围/速度的错误。
发明内容
本发明描述了LiDAR系统中的点云滤波器的各种示例。
在一些示例中，本文公开了一种对点云进行滤波的方法。可以利用FA点的将FA点与真检测区别开的特性特征来识别FA点和区域。当点云被传送到滤波算法(本文称为滤波器)时，该滤波器在给定时间对称为兴趣点(POI)的单个点或多个点进行工作。可以将来自POI的邻域的一些点和统计信息提供给滤波器以提供上下文(context)。可以使用上下文做出针对POI的决策，以检查POI的特性是否与邻域点一致。上下文可以包括围绕POI的上下文数据，以通过检查POI与邻域点的一致性来帮助滤波器做出针对POI的决策。可以制定不同的度量来量化这些统计信息/特性。可以设计多个滤波器来识别具有不同于点云的特性的FA点。然后，所识别的FA点随后被修改或从点云中去除。所得点云是原始点云的没有FA点的滤出版本。例如，滤波器可以迭代地从点云获取POI，选择POI的邻域中的点以向滤波器提供上下文，并且对POI及其邻域点计算度量，然后(例如，基于所计算的度量)做出保留、去除或修改POI的决策。
在一些示例中，本文公开了对点云中的点进行滤波的方法。在第一滤波器处接收点云的POI集合，其中POI集合中的各POI包括一个或多于一个点。对POI集合中的各POI进行滤波。选择POI的邻域点集合。计算邻域点集合的度量。基于度量，确定是接受POI、修改POI、拒绝POI还是将POI发送到第二滤波器以提取与目标相关的范围和速度信息至少之一。如果POI被接受或修改，则该POI被发送到经滤波的点云以提取与目标相关的范围和速度信息至少之一；如果POI被拒绝，则防止该POI到达经滤波的点云；如果POI未被接受、修改或拒绝，则将该POI发送到第二滤波器以确定是接受该POI、修改该POI还是拒绝该POI，从而提取与目标相关的范围和速度信息至少之一。
在一些示例中，本文公开了LiDAR系统。LiDAR系统包括处理器和用于存储指令的存储器，所述指令在由处理器执行时使系统在第一滤波器处接收点云的POI集合，其中POI集合中的各POI包括一个或多于一个点。系统还用于对POI集合中的各POI进行滤波。系统用于选择POI的邻域点集合；计算邻域点集合的度量；以及基于度量确定是接受POI、修改POI、拒绝POI还是将POI发送到第二滤波器以提取与目标相关的范围和速度信息至少之一。如果POI被接受或修改，则系统将该POI发送到经滤波的点云以提取与目标相关的范围和速度信息至少之一；如果POI被拒绝，则系统防止该POI到达经滤波的点云；如果POI未被接受、修改或拒绝，则系统将该POI发送到第二滤波器以确定是接受该POI、修改该POI还是拒绝该POI以提取与目标相关的范围和速度信息至少之一。
在一些示例中，本文公开了LiDAR系统。LiDAR系统包括用于向目标发射光信号的一部分的光源、用于接收基于光信号的来自目标的返回束的光学接收器、电路、以及用于存储指令的存储器，所述指令在由处理器执行时使系统在第一滤波器处接收点云的POI集合，其中POI集合中的各POI包括一个或多于一个点。系统还对POI集合中的各POI进行滤波。系统用于选择POI的邻域点集合；计算邻域点集合的度量；以及基于度量确定是接受POI、修改POI、拒绝POI还是将POI发送到第二滤波器以提取与目标相关的范围和速度信息至少之一。如果POI被接受或修改，则系统将该POI发送到经滤波的点云以提取与目标相关的范围和速度信息至少之一；如果POI被拒绝，则系统防止该POI到达经滤波的点云；如果POI未被接受、修改或拒绝，则系统将该POI发送到第二滤波器以确定是接受该POI、修改该POI还是拒绝该POI以提取与目标相关的范围和速度信息至少之一。
应当理解，尽管本发明中的一个或多于一个实施例描述了点云的使用，但是本发明的实施例不限于此，并且可以包括但不限于点集的使用等。
通过阅读下面的详细描述以及将在下面简要描述的附图，本发明的这些和其他方面将是明显的。本发明包括本发明中阐述的两个、三个、四个或更多个特征或要素的任何组合，而不管这些特征或要素是否在本文描述的特定示例实现中被明确地组合或以其他方式阐述。本发明旨在被整体地阅读，使得本发明的任何可分离特征或要素在本发明的任何方面和示例中应当被视为可组合的，除非本发明的上下文清楚地另有规定。
因此，应当理解，提供该发明内容仅仅是为了总结一些示例以提供对本发明的一些方面的基本理解，而不以任何方式限制或缩小本发明的范围或精神。通过下面结合例示了所描述的实施例的原理的附图进行的详细描述，其它示例、方面和优点将变得明显。
附图说明
为了更全面地理解各种示例，现在参考结合附图进行的以下详细描述，，在附图中，相似的附图标记对应于相似的要素：
图1A是例示根据本发明的实施例的示例LiDAR系统的框图。
图1B是例示根据本发明的实施例的LiDAR系统的点云滤波模块的示例的框图。
图2是例示根据本发明的实施例的FMCW LiDAR波形的示例的时频图。
图3A是例示根据本发明的实施例的点云滤波器的示例的框图。
图3B是例示根据本发明的实施例的点云滤波器的滤波器核的示例的框图。
图4A是例示根据本发明的实施例的滤波器核的示例的框图。
图4B是例示根据本发明的实施例的滤波器核的另一示例的框图。
图5A是例示根据本发明的实施例的滤波器核的又一示例的框图。
图5B是例示根据本发明的实施例的滤波器核的又一示例的框图。
图6是例示根据本发明的实施例的点云滤波器的滤波处理的示例的流程图。
图7是例示根据本发明的实施例的对点云进行滤波的处理的示例的框图。
具体实施方式
将参考下面讨论的细节来描述本发明的各种实施例和方面，并且附图将例示各种实施例。以下描述和附图是本发明的例示，并且不应被解释为限制本发明。描述了许多特定细节以提供对本发明的各种实施例的透彻理解。然而，在某些情况下，为了提供本发明的实施例的简明讨论，没有描述公知的或传统的细节。
本文描述的LiDAR系统可以在任何感测市场(诸如但不限于运输、制造、计量、医疗、虚拟现实、增强现实和安全系统)中实现。根据一些实施例，所描述的LiDAR系统可以被实现为调频连续波(FMCW)装置的前端的一部分，该装置辅助自动化驾驶员辅助系统或自动驾驶运载工具的空间感知。
图1A例示根据本发明的示例实现的LiDAR系统100。LiDAR系统100包括多个组件各自中的一个或多于一个，但是可以包括比图1A中所示的更少或更多的组件。根据一些实施例，可以在光子芯片上实现本文描绘的关于LiDAR系统100的组件中的一个或多于一个组件。光学电路101可以包括有源光学组件和无源光学组件的组合。有源光学组件可以生成、放大和/或检测光学信号等。在一些示例中，有源光学组件包括不同波长的光束，并且包括一个或多于一个光学放大器、一个或多于一个光学检测器等。
自由空间光学器件115可以包括一个或多于一个光学波导，以携带光学信号，并将光学信号选路和操纵到有源光学电路的适当输入/输出端口。自由空间光学器件115还可以包括一个或多于一个光学组件，诸如抽头、波分多路复用器(WDM)、分束器/组合器、偏振分束器(PBS)、准直器、耦合器等。在一些示例中，自由空间光学器件115例如可以包括变换偏振状态以及使用PBS将所接收的偏振光引导到光学检测器的组件。自由空间光学器件115还可以包括衍射元件，以按不同角度偏转具有不同频率的光束。
在一些示例中，LiDAR系统100包括光学扫描器102，光学扫描器102包括可沿着与衍射元件的快移动轴正交或基本正交的轴(例如，慢移动轴)旋转的一个或多于一个扫描镜，以引导光学信号根据扫描图案扫描目标环境。例如，扫描镜可通过一个或多于一个检流计旋转。目标环境中的对象可以将入射光散射成回波光束或目标回波信号。光学扫描器102还收集回波光束或目标回波信号，回波光束或目标回波信号可以返回到光学电路101的无源光学电路组件。例如，回波光束可以通过偏振分束器被引导到光学检测器。除了镜和检流计之外，光学扫描器102还可以包括诸如四分之一波片、透镜、抗反射涂层窗口等组件。
为了控制和支持光学电路101和光学扫描器102，LiDAR系统100包括LiDAR控制系统110。LiDAR控制系统110可以包括用于LiDAR系统100的处理装置。在一些示例中，处理装置可以是一个或多于一个通用处理装置，诸如微处理器、中央处理单元等。更具体地，处理装置可以是复杂指令集计算(CISC)微处理器、简化指令集计算机(RISC)微处理器、非常长指令字(VLIW)微处理器、或实现其他指令集的处理器、或实现指令集的组合的处理器。处理装置还可以是一个或多于一个专用处理装置，诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、网络处理器等。
在一些示例中，LiDAR控制系统110可以包括诸如数字信号处理器(DSP)等的信号处理单元112。LiDAR控制系统110被配置为输出数字控制信号以控制光学驱动器103。在一些示例中，可以通过信号转换单元106将数字控制信号转换为模拟信号。例如，信号转换单元106可以包括数模转换器。然后，光学驱动器103可以向光学电路101的有源光学组件提供驱动信号以驱动诸如激光器和放大器等的光源。在一些示例中，可以提供若干光学驱动器103和信号转换单元106来驱动多个光源。
LiDAR控制系统110还被配置为输出用于光学扫描器102的数字控制信号。运动控制系统105可以基于从LiDAR控制系统110接收的控制信号来控制光学扫描器102的检流计。例如，数模转换器可以将来自LiDAR控制系统110的坐标选路信息转换为可由光学扫描器102中的检流计解释的信号。在一些示例中，运动控制系统105还可以向LiDAR控制系统110返回与光学扫描器102的组件的位置或操作有关的信息。例如，模数转换器可以转而将关于检流计位置的信息转换为可由LiDAR控制系统110解释的信号。
LiDAR控制系统110还被配置为分析传入的数字信号。在这方面，LiDAR系统100包括用于测量由光学电路101接收的一个或多于一个束的光学接收器104。例如，参考束接收器可以测量来自有源光学组件的参考束的幅度，并且模数转换器将来自参考接收器的信号转换成可由LiDAR控制系统110解释的信号。目标接收器测量拍频调制光学信号的形式的携带与目标的范围和速度有关的信息的光学信号。反射束可以与来自本地振荡器的第二信号混合。光学接收器104可以包括高速模数转换器，以将来自目标接收器的信号转换成可由LiDAR控制系统110解释的信号。在一些示例中，来自光学接收器104的信号可以在被LiDAR控制系统110接收之前由信号调节单元107进行信号调节。例如，来自光学接收器104的信号可以被提供给运算放大器以放大接收信号，并且放大的信号可以被提供给LiDAR控制系统110。
在一些应用中，LiDAR系统100可以另外包括被配置为捕获环境的图像的一个或多于一个成像装置108、被配置为提供系统的地理位置的全球定位系统109或其他传感器输入。LiDAR系统100还可以包括图像处理系统114。图像处理系统114可以被配置为接收图像和地理位置，并且将图像和位置或与其相关的信息发送到LiDAR控制系统110或连接到LiDAR系统100的其他系统。
在根据一些示例的操作中，LiDAR系统100被配置为使用非退化光源来同时测量跨二维的范围和速度。该功能允许实时、远程测量周围环境的范围、速度、方位角和仰角。
在一些示例中，扫描处理以光学驱动器103和LiDAR控制系统110开始。LiDAR控制系统110指示光学驱动器103独立地调制一个或多于一个光束，并且这些调制的信号通过无源光学电路传播到准直器。准直器在光学扫描系统处引导光，光学扫描系统在由运动控制系统105定义的预编程图案上扫描环境。光学电路101还可以包括偏振波片(PWP)，以在光离开光学电路101时变换光的偏振。在一些示例中，偏振波片可以是四分之一波片或半波片。偏振光的一部分也可以被反射回到光学电路101。例如，在LiDAR系统100中使用的透镜或准直系统可以具有自然反射特性或反射涂层，以将光的一部分反射回到光学电路101。
从环境反射回的光学信号通过光学电路101传送到接收器。由于光的偏振已经被变换，因此可以与被反射回到光学电路101的偏振光的部分一起被偏振分束器反射。因此，反射光不是返回到与光源相同的光纤或波导，而是反射到独立的光学接收器。这些信号相互干扰并生成组合信号。从目标返回的各个束信号产生时移波形。两个波形之间的时间相位差生成在光学接收器(光电检测器)上测量的拍频。然后可以将组合信号反射到光学接收器104。
使用ADC将来自光学接收器104的模拟信号转换为数字信号。然后将数字信号发送到LiDAR控制系统110。然后，信号处理单元112可以接收数字信号并解释它们。在一些实施例中，信号处理单元112还接收来自运动控制系统105和检流计(未示出)的位置数据以及来自图像处理系统114的图像数据。然后，随着光学扫描器102扫描附加点，信号处理单元112可以利用与环境中的点的范围和速度有关的信息来生成3D点云。信号处理单元112还可以用图像数据覆盖3D点云数据以确定周围区域中的对象的速度和距离。该系统还处理基于卫星的导航定位数据以提供精确的全球定位。
图1B是例示根据本发明的实施例的LiDAR系统中的点云滤波模块140的示例的框图100b。信号处理单元112可以包括点云滤波模块140。应当注意，尽管点云滤波模块被描绘为驻留在信号处理单元112内，但本发明的实施例不限于此。例如，在一个实施例中，点云滤波模块140可以驻留在系统100内(例如，LiDAR控制系统110)的计算机存储器(例如，RAM、ROM、闪速存储器等)中。
参照图1B，点云滤波模块140包括使用一个或多于一个滤波器的从点的集合中选择邻域数据点、计算度量、以及做出与相对于点集或点云接受、修改、去除和/或发送点有关的确定的功能性。
例如，点云滤波模块140可以包括滤波器121。在一些场景中，点云滤波模块140可以在滤波器121处接收(例如，获取、获得、生成等)来自点云的POI集合，其中POI集合中的各POI包括一个或多于一个点。滤波器121包括对由特定点云提供的给定POI集合中的POI进行滤波的功能性。
如在图1B中所描绘的，滤波器121可以包括邻域上下文模块122、度量计算模块123和决策模块124。邻域上下文模块122包括选择POI的邻域点集合的功能性。度量计算模块123包括计算给定邻域点集合的一个或多于一个度量的功能性。
决策模块124包括基于特定度量来确定是接受POI、修改POI、拒绝POI还是将POI发送到后续滤波器(未示出)的功能性等。在某些场景中，如果在特定滤波器模块处接受或修改了POI，则决策模块124包括将POI发送到另一点云的功能性。在一些场景中，如果在特定滤波器处拒绝了POI，则决策模块124可以被配置为防止POI到达特定点云，例如输出点云。
在某些场景中，如果在特定滤波器处不接受、修改或拒绝POI，则决策模块124可以被配置为将POI发送到后续滤波器模块以确定是接受POI、修改POI还是拒绝POI。
图2是根据一些实施例的可以由诸如系统100等的LiDAR系统用于扫描目标环境的FMCW扫描信号201的时频图200。在一个示例中，标记为fFM(t)的扫描波形201是具有啁啾带宽ΔfC和啁啾周期TC的锯齿波形(锯齿“啁啾”)。锯齿的斜率给出为k＝(ΔfC/TC)。图2还描绘根据一些实施例的目标回波信号202。标记为fFM(t-Δt)的目标回波信号202是扫描信号201的延时版本，其中Δt是相对于被扫描信号201照射的目标的往返时间。往返时间给出为Δt＝2R/v，其中R是目标范围，并且v是光束的速度，即光速c。因此，目标范围R可以计算为R＝c(Δt/2)。当回波信号202与扫描信号光学混合时，生成与范围相关的差频(“拍频”)ΔfR(t)。通过锯齿的斜率k，拍频ΔfR(t)与时间延迟Δt线性相关。即ΔfR(t)＝kΔt。由于目标范围R与Δt成比例，因此目标范围R可以计算为R＝(c/2)(ΔfR(t)/k)。也就是说，范围R与拍频ΔfR(t)线性相关。拍频ΔfR(t)可以例如作为系统100的光学接收器104中的模拟信号生成。然后，例如在诸如LiDAR系统100中的信号调节单元107等的信号调节单元中，可以通过模数转换器(ADC)对拍频进行数字化。然后，可以例如在诸如系统100中的信号处理单元112等的信号处理单元中对数字化拍频信号进行数字处理。应当注意，如果目标具有相对于LiDAR系统100的速度，则目标回波信号202通常还将包括频率偏移(多普勒偏移)。多普勒偏移可以单独确定，并且用于校正回波信号的频率，因此为了简单和易于解释，在图2中未示出多普勒偏移。还应注意，ADC的采样频率将确定可以在没有混叠的情况下由系统处理的最高拍频。一般而言，可以处理的最高频率为采样频率的一半(即“奈奎斯特极限(Nyquistlimit)”)。在一个示例中，并且不限于，如果ADC的采样频率是1GHz，则可以在没有混叠的情况下处理的最高拍频(ΔfRmax)是500MHz。该限制转而确定系统的最大范围为Rmax＝(c/2)(ΔfRmax/k)，这可以通过改变啁啾斜率k进行调整。在一个示例中，虽然来自ADC的数据样本可以是连续的，但是下面描述的后续数字处理可以被划分为可以与LiDAR系统100中的一些周期性相关联的“时间段”。在一个示例中，但不限于，时间段可以对应于预定数量的啁啾周期T，或光学扫描器在方位上的全旋转的数量。
图3A是描绘根据本发明的实施例的、包括使用点云滤波器(例如，点云滤波器310)的系统300a的框图。在一些场景中，点云(例如，311)是使用光扫描系统(例如，LiDAR系统100)的一个或多于一个组件收集的现场中的数据点集合(或多个点)。应当注意，术语“数据点”和“点”在本发明中可互换地使用。
各点具有坐标集合，例如(X，Y，Z)和/或(范围，方位，仰角)，LiDAR系统100可以使用坐标集合来确定点相对于LiDAR系统100使用的一个或多于一个传感器的位置的在现场中的点位。还可以针对特定点计算诸如速度、强度、反射率、记录的时间、元数据等的附加属性。真检测(TD)点是现场中表示对象或现场的片段(诸如地面、枝叶等)的点。假警报(FA)点是现场中的不真实检测点，例如重影点或噪声点。FA点不能与现场的任何对象或片段相关联。
在一些场景中，点云(例如，FMCW LiDAR点云)表现出不同的噪声模式，这些噪声模式主要是由于不正确的峰匹配导致出现在现场中的FA点(即使什么都不存在)而引起的。例如，当FMCW LiDAR系统扫描与围栏或灌木丛相对应的点时，在LiDAR系统与围栏之间的现场中可能出现许多FA点，例如重影点。FA点具有将其与真检测(TD)点区别开的特性特征。如本文更详细地描述的，本发明的实施例可以利用这些区别特征来识别这些点和区域，然后随后修改它们或从点云去除它们而不触动TD点。所得点云(例如，经滤波的点云319)是原始点云(例如，点云311)的没有FA点的滤出版本。
如本文所述，由实施例进行的点云滤波可以从点云去除不满足度量的预定阈值的点。例如，滤波器可以指处理点云并输出经滤波的点云的滤波技术或算法。在一些实施例中，滤波器可以包括处理点云的过程，例如，去除不满足度量的预定阈值的点，并且输出经滤波的点云。通过本文描述的实施例产生的经滤波的点云可以有一些点被修改并有一些点被去除。
本文描述的根据实施例的滤波器处理可以一次处理预定数量的点，例如单个点或多个点。滤波器被配置为在给定时间对其进行工作的预定数量的点包括POI。各POI可以包括一个或多于一个点。通过实施例可以基于预定阈值(诸如速度阈值或其他类型的常见标识符等)来识别POI。本文描述的滤波器可以被配置为一次对POI进行工作，其中POI可以包括单个点或多个点。
如将更详细地说明的，在从点云接收到一个或多于一个点时，本文描述的滤波器可以在给定时间对POI、单个点或多个点进行工作。这些滤波器可以被配置为使用点，并且可以将来自POI的邻域的统计信息提供给滤波器以提供上下文。滤波器可以被配置为使用上下文信息来做出针对POI做出的决策，并且检查POI的特性是否与邻域点一致。上下文信息可以包括围绕POI的上下文数据，以通过检查POI与邻域点的一致性来帮助滤波器做出针对POI的决策。本文描述的实施例可以被配置为使用不同的度量来量化这些统计信息/特性。可以使用多个滤波器来识别具有不同于点云的特性的FA点。然后通过所描述的实施例修改或从点云中去除所识别的FA点。所得点云是原始点云的没有FA点的滤出版本。
例如，如图3A中所描绘的实施例，可以例如由滤波器310接收点云311。在一个场景中，滤波器310可以包括点云划分器312、POI分配器313、滤波器核315、POI收集器316和/或点云构建器317。点云311可以被馈送到点云划分器312中，点云划分器312识别点云311中的滤波器310对其进行工作的区域，并且创建可以被发送到点云分配器313的一个或多于一个POI。点云311中的滤波器310不对其进行工作的部分被通信或发送到点云构建器317。点云划分器312识别点云311的可能具有FA点的区域，这进而识别滤波器将对其进行工作的POI集合。点云划分器312基于预定阈值(例如，速度阈值)来识别滤波器310将对其进行工作的区域中的POI集合。例如，如果滤波器310对速度>10m/s的所有点进行工作，则点云划分器312被配置为忽略速度<10m/s的任何点。然后在点云划分器312与点云构建器317之间通过链路318将被忽略的点发送(例如，通信)到点云构建器317。滤波器310不对其进行工作的点可以被认为是经滤波器310批准的，并因此存在于输出点云319中。
在一个场景中，可以选择POI的大小，例如POI中的点的数量。然后，可以识别点云311中的滤波器310将对其进行工作的区域。POI的大小和区域信息可以帮助点云划分器312将点云311划分成滤波器核315可以工作的POI集合。
POI分配器313从点云划分器312接收POI，并且将POI一次一个POI地发送到滤波器核315以供处理。在某些场景中，这种分配机制可以在多个线程/图形处理单元(GPU)核上或在现场可编程门阵列(FPGA)上并行化以实现更快的处理。由实施例选择的分配策略可以取决于滤波器核315如何对POI进行操作。在场景中，可以初始化多个滤波器核以处理多个线程或GPU核。在这些场景中，可以将POI分配器313配置为处理该协调。
滤波器核315容纳滤波器310的一个或多于一个模块，各模块可以被配置为处理POI，这将在下面讨论。滤波器核315可以被配置为选择邻域上下文策略、度量和将由滤波器做出的决策的组合。该组合可以取决于滤波器被配置为所针对的噪声模式。
在一些实施例中，滤波器310可以被配置为做出针对POI的决策，包括批准、修改、拒绝或委派(发送到另一滤波器)。一旦处理了POI，滤波器可以确定“经滤波的POI”，其包括针对POI做出的决策(例如，包括但不限于批准、修改、拒绝或委派)。
例如，一旦所有POI都被处理，POI收集器316可以被配置为收集从滤波器核315接收的经滤波的POI，并且将经滤波的POI发送到点云构建器317。
点云构建器317可以被配置为根据POI中的所有经批准的点和从点云划分器312接收的分流(bypassed)POI来构造点云319。经滤波的点云319从滤波器310输出。在一些场景中，经滤波的点云319可以具有比输入点云311更少数量的点，因为由滤波器310拒绝的点可以被从输入点云311去除。点云构建器317可以被配置为与点云划分器312协同操作。点云构建器317被配置为接收与未被滤波器核315处理的点相关的信息。
滤波器310还可以被配置为选择性地对较小的点组进行操作，而不是等待构建整个点云帧，以减少总体系统等待时间。
图3B是例示根据本发明的实施例的点云滤波器310的滤波器核315的示例的框图。滤波器核可以被配置以针对具有特定特性的噪声。可以设计多个滤波器核来处理现场中的不同潜在噪声模式。如本文所描述的，滤波器核可以包括滤波器的功能。应当理解，术语“滤波器”和“滤波器核”在本文可以互换使用。在一些实施例中，滤波器核315可以包括邻域上下文模块322、度量计算模块323和决策模块324。邻域上下文模块322被配置为选择POI的邻域点集合。度量计算模块323被配置为计算邻域点集合的度量。决策模块124被配置为基于度量来确定是接受POI、修改POI、拒绝POI还是将POI发送到另一滤波器。
在一些实现中，滤波器核315可以被配置为一次仅处理一个POI。邻域上下文模块322还可以被配置为接收一个或多于一个邻域POI、邻域POI的统计信息和/或整个点云311。该上下文信息可以用于通过检查特性是否与邻域点一致来对POI做出决策。在一些情形下，本文描述的实施例可以将度量用于滤波器正在处理的噪声的类型。在处理POI之后，决策模块124可以被配置为进行一个或多于一个动作，包括但不限于接受、修改、丢弃或发送(委派)POI。
图4A是根据本发明的实施例的包括如使用的滤波器核415a的系统400a的框图。应当注意，术语“滤波器”和“滤波器核”可以在本发明中可互换地使用。根据一些实施例，滤波器可以对点云中的POI集合进行操作，这可以基于例如对邻域数据点的不同选择、不同度量和/或决策的组合。应当理解，本文描述的实施例仅用于说明目的。可以存在基于本发明的滤波器核的许多其他实施例。
如图4A中所描绘的，滤波器核415a可以包括邻域上下文模块422a、度量计算模块423a和决策模块424a。邻域上下文模块422a可以被配置为针对POI 430a选择附近的点的窗口，例如，围绕POI的具有相同方位/仰角的数据点的窗口。
度量计算模块423a可以被配置为基于遍及POI和所选择的邻域数据点的点属性(例如，速度)的相似性来计算置信度度量。滤波器核415a可以被配置为检查POI是否具有不与邻域点显著差异的属性。例如，如果POI的最小速度、最大速度或速度的范围在邻域点的最小速度、最大速度或速度的范围的相应预定阈值内，则POI的置信度度量可以被确定为高。
决策模块424a可以被配置为基于置信度度量来确定是接受POI、修改POI、拒绝POI还是将POI委派/发送到滤波器核，例如515a。如果POI的置信度确定为高，则可以批准POI。例如，当置信度度量在第一预定阈值内时，POI 430a被接受并成为经滤波的POI 440a。当置信度度量在第一预定阈值内、但检测到在特定预定阈值内与邻域上下文不一致时，可以对POI进行修改。例如，可以修改诸如范围和/或速度等的点属性。当POI的置信度度量与邻域点不一致、例如与第二预定或指定阈值不一致时，POI被分类为FA。POI将被丢弃、去除或滤出。
当不能做出决策、但发现POI可疑时，则POI可以被标记为委派的POI 450a，并被发送(例如，委派)到后续滤波器核，例如，滤波器核515a。POI可以被传送到后续滤波器核515a。滤波器核(例如，后续滤波器核515a)可以被配置为做出接受、修改或拒绝POI的决策。以这种方式委派确定可以减小后续滤波器核(例如，滤波器核515a)上的负载，因为后续滤波器核515a不对整个点云、而只对点的子集(即，未确定的或被发送的POI)进行操作。
图4B是根据本发明的实施例的包括如使用的滤波器核415b的系统400b的框图。图4B提供了另外的示例，该示例演示了本文描述的滤波器基于其相应的硬件/软件简档可以进行的功能的类型。例如，滤波器可以被配置为进行本文描述的由计算时间、功耗等约束的操作。
参照图4B，滤波器核415b可以包括邻域上下文模块422b、度量计算模块423b和决策模块424b。邻域上下文模块422b可以被配置为绕过针对POI 430b选择邻域。度量计算模块423b可以被配置为检查POI是否具有非常低的速度(低于第一预定阈值，例如1m/s)或者POI点是否具有非常高的速度(高于第二预定阈值，例如100m/s)。如果POI具有非常低的速度，则决策模块424b可以批准POI，POI可以成为经滤波的POI 440b。如果POI点具有非常高的速度，则决策模块424b可以被配置为拒绝POI。决策模块424b可以被配置为委派(发送)任何POI，例如，具有在第一预定阈值与第二预定阈值之间的速度的POI，然后POI可以成为被委派的POI 450b。由于大部分现场通常是静态的，因此可以由后续滤波器核(例如，515b)应对任何有噪声的动态点。
图5A是根据本发明的实施例的包括如使用的滤波器核515a的系统500a的框图。例如，现在参照图5A，在一个实施例中，滤波器核515a可以包括邻域上下文模块522a、度量计算模块523a和决策模块524a。邻域上下文模块522a可以被配置为针对被委派的POI 530a(例如，450a)选择3D空间邻域。为了获取邻域中的邻域数据点，可以针对所有POI构造搜索树(KD树、OctTree或变型)。
度量计算模块523a可以被配置为计算包括速度、强度或范围等的点属性的方差。可以在3D空间邻域上计算或算出POI属性的方差。POI属性可以包括数据点/POI的速度、强度、范围或甚至诸如偏度和峰度等的更高阶矩。可以在邻域(例如，邻域数据点)上计算POI属性(例如，速度或强度)的方差。
决策模块524a可以被配置为基于置信度度量来确定是接受POI、修改POI、拒绝POI还是将POI委派/发送到另一滤波器核。可以将数据点/POI属性(例如，速度或强度)的方差与预定阈值进行比较。当POI属性(例如，速度或强度)低于预定阈值时，可以接受或批准数据点/POI成为经滤波的POI 540a。可以将经滤波的POI 540a添加到滤出的输出点云。当POI属性(例如，速度或强度)不低于预定阈值时，可以拒绝数据点/POI。当不能做出决策时，POI可以被发送到后续滤波器核。
参照图5B，滤波器核515b可以包括邻域上下文模块522b、度量计算模块523b和决策模块524b。邻域上下文模块522b可以选择围绕POI 530b的相同方位或仰角的数据点的窗口。邻域上下文模块522b可以选择扫描模式中相邻的点的窗口。在一些实施例中，可以选择包括2D或3D空间邻域的多个邻域数据点，以考虑数据点的附加范围。
可以存储来自扫描图案中相邻的点的窗口的上啁啾和下啁啾频率。度量计算模块823可以计算度量，该度量可以是来自点的窗口的上啁啾或下啁啾频率的方差。例如，可以将上啁啾频率的方差、或下啁啾频率的方差、或上啁啾频率的方差与下啁啾频率的方差之间的差与相应的预定阈值进行比较。
如果上啁啾频率的方差、或下啁啾频率的方差、或上啁啾频率的方差与下啁啾频率的方差之间的差不低于相应的预定阈值，则决策模块524b可以确定拒绝POI。否则，数据POI可以被批准成为经滤波的POI 540b或被委派/发送到另一滤波器(未示出)。
图6是例示根据本发明的实施例的点云滤波器的滤波处理的示例的流程图。在步骤602处，可以例如在(如图1B所示的)滤波器121处接收输入点云。输入点云可以包括多个点/数据点。
在步骤604处，可以识别或获得输入点云中的POI集合。滤波器(例如，滤波器121、315、415a、415b、515a、515b)可以例如通过对输入点云中的POI集合中的各POI进行迭代来对POI集合中的各POI进行滤波。
在步骤606处，在滤波器的邻域上下文模块(例如，122、322、422a，422b，522a，522b)处，可以选择POI的邻域中的邻域点集合。例如，可以选择POI的邻域中的多个邻域数据点。邻域上下文模块可以从邻近POI和/或从点云中选择点。必须选择邻域中的邻域点以向滤波器的度量计算模块(例如，123、323、423a、423b、523a、523b)提供上下文。
在一个实施例中，可以选择以相同方位或仰角围绕POI的数据点的窗口。可以选择在一维阵列中的、围绕POI的、具有相同方位或仰角的邻域数据点集合。
在一个实施例中，可以选择围绕POI的2D网格邻域点。可以选择POI周围的二维网格中的邻域数据点集。
在一个实施例中，可以选择围绕POI的3D空间/网格邻域点。可以选择围绕POI的三维空间/网格中的邻域数据点集。为了获取邻域中的邻域数据点，可以针对所有点构造搜索树(k维(KD)树、OctTree或变型)。KD树是用于组织k维空间中的数据点的空间划分数据结构。KD树是若干应用(诸如涉及多维搜索键(例如范围搜索和最近邻居搜索)的搜索以及创建点云等)的有用数据结构。OctTree是如下的树数据结构，其中各内部节点恰好具有八个子节点。OctTree最常用于通过递归地将三维空间细分为八个八分部分来对三维空间进行划分。在一个实施例中，可以选择围绕POI的来自先前帧的3D时空邻域点。
在步骤608处，在度量计算模块(例如，123、323、423a、423b、523a、523b)处，计算邻域点集合的度量。一旦选择了POI的邻域，就可以计算邻域点集合的度量。例如，可以计算一个或多于一个属性以将FA点和真实检测区别开。度量可以包括POI和/或邻域点集合的一个或多于一个属性。
在一个实施例中，可以计算点属性的方差，包括速度、强度、范围或甚至诸如偏度和峰度的更高阶矩等的方差等。点属性可以包括速度、强度、范围、诸如偏度和峰度的更高阶矩等。度量可以包括点属性的方差，包括速度、强度、范围、或甚至诸如偏度和峰度的更高阶矩等的方差。
在一个实施例中，可以基于遍及POI和所选择的邻域数据点的包括速度、强度、范围等的属性的相似性来确定置信度(例如，置信度度量或值)。例如，可以基于速度、强度或范围的相似性来确定置信度度量或值。置信度度量可以检查POI是否具有与邻域点没有显著差异的属性。例如，如果POI的最小速度、最大速度或速度的范围在邻域点的速度的最小速度、最大速度或相似性的相应预定阈值内，则POI的置信度度量可以被确定为高。置信度度量指示POI的点属性与邻域点的点属性的相似性水平。如果不能做出确定，则置信度度量可能低，并且可以添加更复杂的滤波器来做出针对这种POI的决策。显然是异常值的POI可以被拒绝。
在一个实施例中，可以确定属性(例如，速度、强度和范围)的绝对阈值。例如，包括速度、强度、范围或更高阶矩(诸如偏度和峰度等)的POI属性可以具有预定阈值。度量可以包括属性的绝对阈值。
在一个实施例中，可以针对上啁啾检测和下啁啾检测两者确定频率估计和/或强度估计的方差、置信度度量、差。例如，可以存储来自扫描模式中相邻点的窗口的上啁啾频率和/或下啁啾频率(如图2所示)，并且可以计算上啁啾频率和/或下啁啾频率的方差。度量可以包括针对上啁啾检测和下啁啾检测这两者的频率估计和/或强度估计的方差、置信度度量、差。
在步骤610处，在滤波器的决策模块(例如，124、324、424a、424b、524a、524b)处，在度量计算模块上处理了POI之后，可以做出针对POI的决策。以下选项可能可用，包括接受POI、修改POI、丢弃POI、将POI委派或发送到后续滤波器或对POI进行评分。
当POI的度量或属性在第一预定或指定阈值内时，POI不被分类为FA。因此，POI被接受为真检测，并且POI被发送到经滤波的点云(例如，319)。
当POI的度量或属性在第一预定或指定阈值内、但与邻域上下文存在轻微不一致时，可以对POI进行轻微修改。例如，可以修改POI以使点云平滑。
当基于度量的POI的度量或属性与邻域点不一致、或与第二预定或指定阈值不一致时，POI被分类为FA。POI将被丢弃、去除或滤出。POI不会出现在经滤波的点云中。
当不能做出决策、但发现POI可疑为FA时，则可以标记POI、或者将POI发送或委派给后续滤波器。POI可以被传送到后续更复杂的滤波器。后续滤波器可以做出是否接受、修改或拒绝POI的决策。
在一个实施例中，滤波器可以以POI不是FA的概率对数据点/POI进行评分。来自多个滤波器的POI的多个分数可以例如通过不同的算法进行审核，并且当多个分数之一为低时可以去除POI。
在步骤612处，确定是否已经处理了输入点云中的所有POI。
在步骤614处，如果尚未处理输入点云中的所有POI，则滤波器可以获取另一POI，并重复上述步骤，例如步骤604至610，直到已经处理了输入点云中的所有POI。重复这些步骤，直到处理了点云中的所有区域。
在步骤616处，当已经处理了输入点云中的所有POI时，可以输出经滤波的点云。
可以通过选择邻域上下文策略、度量和滤波器可以做出的决策的特定组合来选择滤波器。
在一个实施例中，滤波器被设计成根据范围或方位对特定区域进行操作，因为不同的区域可以具有不同的属性，并且PD/FA点的期望和/或POI属性的预定阈值逐个区域地变化。因此，滤波器可以逐个区域地变化。在一个实施例中，滤波器可以立即对点云的一部分进行操作，而不是等待构建整个点云，以减少总等待时间。
图7是例示根据本发明的实施例的用于对点云进行滤波的处理的示例的框图。例如，该处理可以由如图1A至图1B所示的LiDAR系统的信号处理单元112进行。在该处理中，可以去除FA点，从而可以提高所估计目标范围/速度的精度。
在框701处，例如在第一滤波器处接收点云的POI集合。POI集合中的各POI包括一个或多于一个点。在一个实施例中，接收POI集合还包括基于预定阈值来识别点云中的POI集合。
在框702处，对POI集合中的各POI进行滤波，例如，在第一滤波器处进行滤波。
在框703处，选择POI的邻域点集合。
在框704处，计算邻域点集合的度量。
在框705处，基于度量，确定是接受POI、修改POI、拒绝POI还是将POI发送到第二滤波器以提取与目标相关的范围和速度信息至少之一。
在框706处，如果在第一滤波器处接受或修改了POI，则将POI发送到经滤波的点云以提取与目标相关的范围和速度信息至少之一。经滤波的点云可以是输出点云。在一个实施例中，响应于度量满足针对该度量建立的第一预定阈值，接受或修改POI。
在框707处，如果在第一滤波器处拒绝了POI，则防止POI到达经滤波的点云。在一个实施例中，响应于度量不满足针对该度量建立的第二预定阈值，拒绝POI。
在框708处，如果在第一滤波器处不接受、修改或拒绝POI，则将POI发送到第二滤波器以确定是接受POI、修改POI还是拒绝POI，从而提取与目标相关的范围和速度信息至少之一。
前面的描述阐述了许多具体细节，诸如具体系统、组件、方法等的示例，以提供对本发明中若干示例的透彻理解。然而，对于本领域技术人员而言明显的是，可以在没有这些具体细节的情况下实施本发明的至少一些示例。在其他实例中，为了避免不必要地混淆本发明，没有详细描述公知的组件或方法或者以框图形式呈现公知的组件或方法。因此，所阐述的具体细节仅仅是示例性的。特定示例可以与这些示例性细节不同，并且仍然被设想在本发明的范围内。
贯穿本说明书对“一个实施例”或“示例”的任何引用意味着结合示例描述的特定特征、结构或特性包括在至少一个示例中。因此，贯穿本说明书在各个地方出现的短语“在一个示例中”或“在示例中”并不一定都是指同一示例。
尽管本文以特定顺序示出和描述方法的操作，但是可以改变各个方法的操作的顺序，使得可以以相反顺序进行某些操作，或者使得可以至少部分地与其他操作同时进行某些操作。可以以间歇或交替的方式进行不同操作的指令或子操作。
本发明的所示实现的上述描述，包括在摘要中描述的内容，并不旨在将本发明穷尽或限制到所公开的精确形式。虽然为了说明的目的在此描述了本发明的具体实现和示例，但是如相关领域的技术人员将认识到的，在本发明的范围内可以进行各种等效的修改。词语“示例”或“示例性”在这里被用来表示用作示例、实例或图示。这里描述为“示例”或“示例性”的任何方面或设计不必被解释为比其他方面或设计更优选或有利。而是，使用词语“示例”或“示例”意在以具体的方式呈现概念。如在本申请中所使用的，术语“或”意指包容的“或”而不是排斥的“或”。也就是说，除非另有规定或上下文明确，“X包括A或B”意指任何自然的包括排列。即，如果X包括A；X包括B；或X包括A和B这两者，则在上述任一实例下满足“X包括A或B”。此外，在本申请和所附权利要求书中使用的条款“a”和“an”通常应被解释为意指“一个或多于一个”，除非另有规定或从上下文中清楚地指示为单数形式。此外，本文中使用的术语“第一”、“第二”、“第三”、“第四”等意指用于在不同要素之间区分的标签，并且不一定具有根据其数字名称的顺序含义。

Claims (22)

1.一种在光检测和测距系统即LiDAR系统中对点进行滤波的方法，包括：
在第一滤波器处接收点云的兴趣点集合即POI集合，其中，所述POI集合中的各POI包括一个或多于一个点；
对所述POI集合中的各POI进行滤波，包括：
选择POI的邻域点集合；
计算所述邻域点集合的度量；
基于所述度量确定是接受该POI、修改该POI、拒绝该POI还是将该POI发送到第二滤波器以提取与目标相关的范围和速度信息至少之一；
在该POI被接受或修改的情况下，将该POI发送到经滤波的点云以提取所述与目标相关的范围和速度信息至少之一；
在该POI在所述第一滤波器处被拒绝的情况下，防止该POI到达所述经滤波的点云；以及
在该POI在所述第一滤波器处未被接受、修改或拒绝的情况下，将该POI发送到所述第二滤波器以确定是接受该POI、修改该POI还是拒绝该POI，从而提取所述与目标相关的范围和速度信息至少之一。
2.根据权利要求1所述的方法，其中，选择POI的邻域点集合包括选择围绕该POI的具有相同方位或仰角的数据点的窗口。
3.根据权利要求1所述的方法，其中，选择POI的邻域点集合包括选择围绕该POI的2D网格邻域中的点的集合。
4.根据权利要求1所述的方法，其中，选择POI的邻域点集合包括选择围绕该POI的3D空间邻域中的点的集合。
5.根据权利要求1所述的方法，其中，选择POI的邻域点集合包括选择围绕该POI的来自先前帧的3D时空邻域中的点的集合。
6.根据权利要求1所述的方法，其中，计算所述邻域点集合的度量包括基于所述邻域点集合和所述POI的属性的方差来计算所述度量，其中，所述属性包括速度、强度或范围。
7.根据权利要求6所述的方法，其中，所述度量还基于所述邻域点集合和所述POI的所述属性的更高阶矩而计算出，并且其中，所述更高阶矩包括偏度或峰度。
8.根据权利要求1所述的方法，其中，计算所述邻域点集合的度量包括基于依据所述邻域点集合和所述POI的速度、强度或范围的相似性的置信度来计算所述度量。
9.根据权利要求1所述的方法，其中，计算所述邻域点集合的度量包括基于所述邻域点集合和所述POI的速度、强度或范围的阈值来计算所述度量。
10.根据权利要求1所述的方法，其中，计算所述邻域点集合的度量包括基于所述邻域点集合和所述POI的上啁啾频率或下啁啾频率的方差来计算所述度量。
11.一种光检测和测距系统即LiDAR系统，包括：
处理器；以及
存储器，其存储有指令，所述指令在由所述处理器执行时使所述系统：
在第一滤波器处接收第一点云的兴趣点集合即POI集合，其中，所述POI集合中的各POI包括一个或多于一个点；
对所述POI集合中的各POI进行滤波，其中，所述系统用于：
选择POI的邻域点集合；
计算所述邻域点集合的度量；
基于所述度量确定是接受该POI、修改该POI、拒绝该POI还是将该POI发送到第二滤波器以提取与目标相关的范围和速度信息至少之一；
在该POI被接受或修改的情况下，将该POI发送到经滤波的点云以提取所述与目标相关的范围和速度信息至少之一；
在该POI被拒绝的情况下，防止该POI到达所述经滤波的点云；以及
在该POI未被接受、修改或拒绝的情况下，将该POI发送到所述第二滤波器以确定是接受该POI、修改该POI、还是拒绝该POI，从而提取所述与目标相关的范围和速度信息至少之一。
12.根据权利要求11所述的系统，其中，所述系统用于选择围绕所述POI的具有相同方位或仰角的数据点的窗口。
13.根据权利要求11所述的系统，其中，所述系统用于选择围绕所述POI的2D网格邻域、3D空间邻域或来自先前帧的3D时空邻域中的点的集合。
14.根据权利要求11所述的系统，其中，所述系统用于基于所述邻域点集合和所述POI的属性的方差来计算所述度量，其中，所述属性包括速度、强度或范围，或者其中，所述系统用于基于所述邻域点集合和所述POI的上啁啾频率或下啁啾频率的方差来计算所述度量。
15.根据权利要求11所述的系统，其中，所述系统用于基于依据所述邻域点集合和所述POI的速度、强度或范围的相似性的置信度来计算所述度量。
16.根据权利要求11所述的系统，其中，所述系统用于基于所述邻域点集合和所述POI的速度、强度或范围的阈值来计算所述度量。
17.一种光检测和测距系统即LiDAR系统，包括：
光源，其用于向目标发射光信号的一部分；
光学接收器，其用于接收基于所述光信号的来自所述目标的返回束，
电路；以及
存储器，其存储有指令，所述指令在由所述电路执行时使所述系统：
在第一滤波器处接收第一点云的兴趣点集合即POI集合，其中，所述POI集合中的各POI包括一个或多于一个点；
对所述POI集合中的各POI进行滤波，其中，所述系统用于：
选择POI的邻域点集合；
计算所述邻域点集合的度量；
基于所述度量确定是接受该POI、修改该POI、拒绝该POI还是将该POI发送到第二滤波器以提取与目标相关的范围和速度信息至少之一；
在该POI被接受或修改的情况下，将该POI发送到经滤波的点云以提取所述与目标相关的范围和速度信息至少之一；
在该POI被拒绝的情况下，防止该POI到达所述经滤波的点云；以及
在该POI未被接受、修改或拒绝的情况下，将该POI发送到所述第二滤波器以确定是接受该POI、修改该POI、还是拒绝该POI，从而提取所述与目标相关的范围和速度信息至少之一。
18.根据权利要求11所述的系统，其中，所述系统用于选择围绕所述POI的具有相同方位或仰角的数据点的窗口。
19.根据权利要求11所述的系统，其中，所述系统用于选择围绕所述POI的2D网格邻域、3D空间邻域或来自先前帧的3D时空邻域中的点的集合。
20.根据权利要求11所述的系统，其中，所述系统用于基于所述邻域点集合和所述POI的属性的方差来计算所述度量，其中，所述属性包括速度、强度或范围，或者其中，所述系统用于基于所述邻域点集合和所述POI的上啁啾频率或下啁啾频率的方差来计算所述度量。
21.根据权利要求11所述的系统，其中，所述系统用于基于依据所述邻域点集合和所述POI的速度、强度或范围的相似性的置信度来计算所述度量。
22.根据权利要求11所述的系统，其中，所述系统用于基于所述邻域点集合和所述POI的速度、强度或范围的阈值来计算所述度量。
CN202180070499.1A 2020-10-15 2021-10-08 点云滤波技术 Pending CN116507984A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063092228P 2020-10-15 2020-10-15
US63/092,228 2020-10-15
US17/398,895 2021-08-10
US17/398,895 US11610286B2 (en) 2020-10-15 2021-08-10 Techniques for point cloud filtering
PCT/US2021/054248 WO2022081432A1 (en) 2020-10-15 2021-10-08 Techniques for point cloud filtering

Publications (1)

Publication Number Publication Date
CN116507984A true CN116507984A (zh) 2023-07-28

Family

ID=78467369

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180070499.1A Pending CN116507984A (zh) 2020-10-15 2021-10-08 点云滤波技术

Country Status (6)

Country Link
US (7) US11170476B1 (zh)
EP (1) EP4229446A1 (zh)
JP (1) JP2023546144A (zh)
KR (1) KR20230084560A (zh)
CN (1) CN116507984A (zh)
WO (1) WO2022081432A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11170476B1 (en) 2020-10-15 2021-11-09 Aeva, Inc. Techniques for fast point cloud filtering using a series cascaded filter
CN114418887B (zh) * 2022-01-19 2022-12-20 北京百度网讯科技有限公司 一种图像增强方法、装置、电子设备及存储介质
CN114897026A (zh) * 2022-05-24 2022-08-12 上海枢光科技有限公司 一种点云滤波的方法
US11693118B1 (en) * 2022-09-14 2023-07-04 Aeva, Inc. Techniques for improving probability of detection in light detection and ranging (LIDAR) systems

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012243049A (ja) * 2011-05-19 2012-12-10 Fuji Heavy Ind Ltd 環境認識装置および環境認識方法
MX361868B (es) * 2013-08-23 2018-12-18 Insight Robotics Ltd Método para determinar ubicación de punto de interés y el sistema del mismo.
US9547901B2 (en) * 2013-11-05 2017-01-17 Samsung Electronics Co., Ltd. Method and apparatus for detecting point of interest (POI) in three-dimensional (3D) point clouds
US11675078B2 (en) * 2016-10-06 2023-06-13 GM Global Technology Operations LLC LiDAR system
WO2018074055A1 (ja) 2016-10-19 2018-04-26 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US10380755B2 (en) * 2016-11-21 2019-08-13 University Of New Hampshire Whole object surface area and volume of partial-view 3-D models
US11535568B2 (en) 2016-11-30 2022-12-27 Hrl Laboratories, Llc Monomer formulations and methods for 3D printing of preceramic polymers
EP3548841A4 (en) * 2016-11-30 2020-06-10 Blackmore Sensors And Analytics Inc. METHOD AND SYSTEM FOR DOPPLER DETECTION AND DOPPLER CORRECTION OF THE OPTICAL DETECTION OF THE CHIRPED AREA
GB2559157A (en) * 2017-01-27 2018-08-01 Ucl Business Plc Apparatus, method and system for alignment of 3D datasets
US10380890B2 (en) 2017-02-08 2019-08-13 Baidu Usa Llc Autonomous vehicle localization based on walsh kernel projection technique
US10602242B2 (en) * 2017-06-14 2020-03-24 GM Global Technology Operations LLC Apparatus, method and system for multi-mode fusion processing of data of multiple different formats sensed from heterogeneous devices
US11274929B1 (en) * 2017-10-17 2022-03-15 AI Incorporated Method for constructing a map while performing work
EP3710864A4 (en) * 2017-11-17 2021-08-04 DeepMap Inc. NEAREST POINT IERATIVE PROCESS BASED ON AN INTEGRATED MOTION ESTIMATE LIDAR FOR HIGH DEFINITION CARDS
US20190049561A1 (en) * 2017-12-28 2019-02-14 Intel Corporation Fast lidar data classification
US10909727B2 (en) * 2018-04-10 2021-02-02 Apple Inc. Hierarchical point cloud compression with smoothing
US10826786B2 (en) * 2018-04-11 2020-11-03 Nvidia Corporation Fast multi-scale point cloud registration with a hierarchical gaussian mixture
US11561284B2 (en) * 2018-11-02 2023-01-24 Waymo Llc Parallax compensating spatial filters
US10871579B2 (en) * 2018-11-16 2020-12-22 Swift Navigation, Inc. System and method for satellite positioning
US20200191971A1 (en) * 2018-12-17 2020-06-18 National Chung-Shan Institute Of Science And Technology Method and System for Vehicle Detection Using LIDAR
US11454710B2 (en) * 2019-01-08 2022-09-27 Apple Inc. Point cloud compression using a space filling curve for level of detail generation
US20200256999A1 (en) 2019-02-07 2020-08-13 Atulya Yellepeddi Lidar techniques for autonomous vehicles
DE102019123483B4 (de) * 2019-09-02 2021-12-09 Audi Ag Verfahren sowie Kraftfahrzeug-Steuereinheit zum Erfassen einer Umgebung eines Kraftfahrzeugs durch Fusionieren von Sensordaten auf Punktwolkenebene
US10984815B1 (en) * 2019-09-27 2021-04-20 Cypress Semiconductor Corporation Techniques for removing non-linear echo in acoustic echo cancellers
WO2021066626A1 (en) * 2019-10-03 2021-04-08 Lg Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US20210133947A1 (en) * 2019-10-31 2021-05-06 Dalong Li Deep neural network with image quality awareness for autonomous driving
US11821990B2 (en) * 2019-11-07 2023-11-21 Nio Technology (Anhui) Co., Ltd. Scene perception using coherent doppler LiDAR
US11532168B2 (en) * 2019-11-15 2022-12-20 Nvidia Corporation Multi-view deep neural network for LiDAR perception
US11120280B2 (en) * 2019-11-15 2021-09-14 Argo AI, LLC Geometry-aware instance segmentation in stereo image capture processes
US11164369B2 (en) * 2019-12-20 2021-11-02 Argo AI, LLC Methods and systems for constructing map data using poisson surface reconstruction
US20210278523A1 (en) * 2020-03-05 2021-09-09 Uatc, Llc Systems and Methods for Integrating Radar Data for Improved Object Detection in Autonomous Vehicles
US11295521B2 (en) * 2020-03-25 2022-04-05 Woven Planet North America, Inc. Ground map generation
US11163062B1 (en) * 2020-10-05 2021-11-02 Aeva, Inc. Method to improve probability of detection in dynamic scenarios in coherent LIDAR systems
US11170476B1 (en) * 2020-10-15 2021-11-09 Aeva, Inc. Techniques for fast point cloud filtering using a series cascaded filter

Also Published As

Publication number Publication date
US20230267575A1 (en) 2023-08-24
US20220122226A1 (en) 2022-04-21
US20230090917A1 (en) 2023-03-23
US11508040B2 (en) 2022-11-22
US20220236388A1 (en) 2022-07-28
US20220120878A1 (en) 2022-04-21
WO2022081432A1 (en) 2022-04-21
US20220120879A1 (en) 2022-04-21
US11307295B1 (en) 2022-04-19
US11610286B2 (en) 2023-03-21
KR20230084560A (ko) 2023-06-13
US11783456B2 (en) 2023-10-10
US11170476B1 (en) 2021-11-09
JP2023546144A (ja) 2023-11-01
EP4229446A1 (en) 2023-08-23

Similar Documents

Publication Publication Date Title
CN116507984A (zh) 点云滤波技术
US11808854B2 (en) Multiple pixel scanning LIDAR
CA3017735C (en) Integrated illumination and detection for lidar based 3-d imaging
US20060221250A1 (en) Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
CN111712828A (zh) 物体检测方法、电子设备和可移动平台
KR102628929B1 (ko) 모드 필드 확장기를 갖는 lidar 시스템
US11054524B2 (en) Optimizing a lidar system using sub-sweep sampling
CN114612598A (zh) 一种点云的处理方法、装置及激光雷达
US20230176219A1 (en) Lidar and ambience signal fusion in lidar receiver
Lee et al. Highly precise AMCW time-of-flight scanning sensor based on parallel-phase demodulation
RU2679923C1 (ru) Способ получения пространственной модели окружающей обстановки в режиме реального времени на основе данных лазерной локации и устройство для его осуществления
WO2020237663A1 (zh) 一种多通道激光雷达点云插值的方法和测距装置
CN210128694U (zh) 深度成像装置
US11809059B2 (en) Techniques for adjusting an optical beam trajectory
US20220108493A1 (en) Encoding/decoding method and device for three-dimensional data points
KR20230088809A (ko) 코히어런트 lidar 시스템들의 다중-타겟 시나리오들에서 피크들을 연관시키기 위한 기법들
CN111830525A (zh) 一种激光三角测距系统
JP2006322856A (ja) 距離計測装置、距離計測方法および距離計測プログラム
US20230161040A1 (en) Electromagnetic wave detection apparatus and range finder
CN114897026A (zh) 一种点云滤波的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination