CN110914703A - 对点云中基于运动的不准确性的校正 - Google Patents
对点云中基于运动的不准确性的校正 Download PDFInfo
- Publication number
- CN110914703A CN110914703A CN201780093179.1A CN201780093179A CN110914703A CN 110914703 A CN110914703 A CN 110914703A CN 201780093179 A CN201780093179 A CN 201780093179A CN 110914703 A CN110914703 A CN 110914703A
- Authority
- CN
- China
- Prior art keywords
- point
- vehicle
- scan
- point cloud
- scanning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 118
- 238000012937 correction Methods 0.000 title description 4
- 238000000034 method Methods 0.000 claims abstract description 67
- 238000005259 measurement Methods 0.000 claims description 21
- 230000003190 augmentative effect Effects 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims description 5
- 238000013519 translation Methods 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 11
- 230000000875 corresponding effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4808—Evaluating distance, position or velocity data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/12—Acquisition of 3D measurements of objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Traffic Control Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本文公开了校正由扫描平台所承载的一个或多个传感器所生成的点云数据中的基于运动的不准确性、以及相关联的系统和方法。有代表性的方法包括:将运动模型与点云的目标对象相关联;基于运动模型估计调整因子;以及使用调整因子调整点云中的扫描点。
Description
技术领域
本技术总体上针对例如由扫描平台所承载的一个或多个发射器/检测器传感器(例如,激光传感器)所生成的点云中基于运动的不准确性的校正。
背景技术
扫描平台的周围的环境通常可以使用一个或多个发射器/检测器传感器来扫描或以其他方式检测。发射器/检测器传感器(例如,LiDAR传感器)通常向外发射脉冲信号(例如,激光信号)、检测脉冲信号反射、并识别环境中的三维信息(例如,激光扫描点),从而便于对象检测和/或识别。典型的发射器/检测器传感器可以提供在短的时间段上累积的三维几何信息(例如,在与传感器或扫描平台相关联的三维坐标系中表示的扫描点)。所获得的关于对象位置的信息可以便于检测行人、载具和/或环境中的其他对象的过程,由此为目标跟踪、避障、路线规划和/或自动化或辅助导航操作中的其他应用提供基础。然而,存在至少部分由于扫描点的累积所引起的不准确性,其可以影响各种高层应用。因此,仍然存在对于改进的感测技术和装置的需要。
发明内容
以下概述为了读者的方便而提供,并且标识出所公开的技术的几个代表性实施例。
在一些实施例中,一种用于调整使用扫描平台所承载的至少扫描单元所生成的点云的计算机实现的方法包括:获得包括多个扫描点的基础点云,所述多个扫描点是由所述扫描单元在一时间段期间产生的,其中,所述扫描点中的每个扫描点指示目标对象的至少一个部分的位置,并且其中,所述目标对象与运动模型相关联。所述方法可以还包括:至少部分基于运动模型,确定适用于扫描点的一个或多个调整因子;以及至少部分基于所述一个或多个调整因子,变换扫描点的至少一个子集,以生成目标对象的经调整的点云。
在一些实施例中,由所述扫描点中的至少两个扫描点所指示的位置与不同的时间点相对应。在一些实施例中,由所述扫描点中的至少两个扫描点所指示的位置与目标对象的不同部分相对应。在一些实施例中,所述扫描点是在与所述至少一个扫描单元或扫描平台相关联的三维参照系之内表示的。在一些实施例中,运动模型包括平移运动分量和/或旋转运动分量。在一些实施例中,平移运动分量包括恒定平移速度因子。在一些实施例中,运动模型包括旋转运动分量。在一些实施例中,旋转运动分量包括恒定旋转速度因子。
在一些实施例中,确定所述一个或多个调整因子包括:至少部分基于与扫描点有关的体积来评估点云测量。在一些实施例中,评估点云测量包括:对扫描点应用运动模型;以及根据运动模型的应用,搜索在目标时间点由扫描点占据的最小数量的体积像素(体素)。在一些实施例中,评估点云测量包括:对扫描点应用运动模型;以及根据运动模型的应用,搜索在目标时间点由扫描点所包围的最小体积。
在一些实施例中,目标时间点与所述时间段的末尾相对应。在一些实施例中,所述一个或多个调整因子包括平移速度或旋转速度中的至少一项。在一些实施例中,变换扫描点的至少一个子集包括:至少部分基于所述一个或多个调整因子,重新定位所述子集的每个扫描点。在一些实施例中,重新定位每个扫描点至少部分基于与所述扫描点相关联的在产生所述扫描点的时间点与后续目标时间点之间的移动。在一些实施例中,目标对象和扫描平台之间的相对距离在所述时间段期间改变。
在一些实施例中,扫描平台包括以下中的至少一项:无人飞行器(UAV)、有人驾驶飞行器、自动驾驶汽车、自平衡载具、机器人、智能可穿戴式装置、虚拟现实(VR)头戴式显示器、或增强现实(AR)头戴式显示器。在一些实施例中,所述方法还包括:至少部分基于经调整的点云来定位目标对象。
前述方法中的任何方法可以经由存储计算机可执行指令的非暂时性计算机可读介质实现,所述计算机可执行指令在被执行时,使与扫描平台相关联的一个或多个处理器执行对应的动作;或者经由包括编程控制器的载具实现,所述编程控制器至少部分地控制载具的一个或多个运动,并且包括一个或多个处理器,所述一个或多个处理器被配置为执行对应的动作。
附图说明
图1A示出目标载具的示例点云,该示例点云包括基于平移运动的不准确性和基于旋转运动的不准确性二者。
图1B示出没有基于运动的不准确性的图1A的目标载具的示例点云。
图2示出根据当前公开的技术的一些实施例的用于生成基础点云和校正基于运动的不准确性的过程。
图3示出根据当前公开的技术的一些实施例的用于基于运动模型重新定位扫描点的过程。
图4示出根据当前公开的技术的一些实施例的用于确定误差的过程,其中使用统一运动模型。
图5是示出根据当前公开的技术的一些实施例的用于对点云中基于运动的不准确性的校正的方法的流程图。
图6示出根据当前公开的技术的各个实施例所配置的扫描平台的示例。
图7是示出可以用于实现当前公开的技术的各个部分的计算机系统或其他控制装置700的架构的示例的框图。
具体实施方式
1、概述
当使用发射器/检测器传感器(例如,LiDAR传感器)扫描对象时,被扫描对象和例如由移动扫描平台所承载的传感器之间的相对移动可以引起三维(3D)点云中的不准确性(例如,污迹或模糊),该三维点云包括在一时间段上累积的扫描点。因为不准确的扫描点不反映对象(或其部分)的真实位置,基于3D点云所重构的对象可能是不准确的,因此影响高层应用,例如,对象跟踪、避障等。当前所公开的技术可以使用传统的3D点云作为输入,分析移动对象的扫描结果,并且根据运动模型来校正基于运动的不准确性。基于当前所公开的技术所生成的经校正或经调整的点云可以促进高效和准确的对象检测或识别,因此为自动化或辅助导航过程中的各种应用提供可靠的基础。
为了清楚起见,在下面的描述中没有阐述描述结构和/或过程的若干细节,这些结构和/或过程是众所周知的并且经常与扫描平台(例如,UAV或其他类型的可移动平台)以及对应的系统和子系统相关联,但可能不必要地模糊当前所公开的技术的一些重要方面。而且,尽管以下公开阐述当前公开的技术的不同方面的若干实施例,但是若干其他实施例可以具有与本文所描述的配置或部件不同的配置或不同的部件。因此,当前所公开的技术可以具有其他实施例,这些其他实施例具有附加元件和/或不具有下面参考图1至图7所描述的若干元件。
提供图1-图7来示出当前所公开的技术的有代表性的实施例。除非另外提出,否则附图不旨在将权利要求的范围限制在本申请之中。
下文所描述的技术的许多实施例可以采用计算机可执行或控制器可执行的指令的形式,这些指令包括由可编程计算机或控制器执行的例程。可编程计算机或控制器可以或可以不驻留在对应的扫描平台上。例如,可编程计算机或控制器可以是扫描平台上安装的计算机,或者可以是单独的却与扫描平台相关联的专用计算机,或者可以是基于网络或云的计算服务的一部分。相关领域的技术人员将了解,所述技术可以在下文所示出和所描述的那些计算机或控制器系统之外的计算机或控制器系统上实践。所述技术可以被实现在被专门编程、配置或构造为执行下文描述的一个或多个计算机可执行指令的专用计算机或数据处理器中。因此,本文通常使用的术语“计算机”和“控制器”指任何数据处理器,并且可以包括互联网设备和手持装置(包括掌上计算机、可穿戴计算机、蜂窝或移动电话、多处理器系统、基于处理器的或可编程的消费电子产品、网络计算机、微型计算机等)。由这些计算机和控制器处理的信息可以被呈现在包括液晶显示器(LCD)在内的任何合适的显示介质上。用于执行计算机或控制器可执行任务的指令可以被存储在包括硬件、固件、或硬件和固件的组合的任何合适的计算机可读介质中或其上。指令可以被包含在任何合适的存储器装置中,例如,该存储器装置包括闪存驱动器、通用串行总线(USB)装置和/或其他合适的介质。在特定实施例中,相应地,指令是非暂时性的。
2、代表性实施例
典型的3D点云可以包括在一个或多个时间段(例如,由传感器所产生的一帧或连续的几帧)上累积的扫描点。当正被扫描的目标对象在所述时间段期间相对于传感器移动时,点云的某些部分可以指示对象在空间中(关于当前时间点)的错误位置,产生污迹、模糊或拖曳“阴影”效果。阴影的长度和形状可能取决于目标对象的相对移动的性质。例如,目标对象的平移运动可以对平的、矩形的阴影有贡献,而旋转运动可以留下弧状轨迹。图1A示出目标载具的示例点云,该示例点云包括基于平移运动的不准确性和基于旋转运动的不准确性二者,而图1B示出没有基于运动的不准确性的目标载具的示例点云。
因为对象在空间中的运动可以是任意的,所以基于运动的不准确性的数学描述可能是复杂的。传统的点云处理系统不优化和处理这种现象,且仅将错误点云部分当作是在物理空间中存在的所谓的对象部分。然而,对象形状和/或位置的这种错误感知可能导致在目标跟踪、避障、路径规划和/或其他应用中的错误估计或过度保守的决策。
图2示出根据当前公开的技术的一些实施例的用于生成基础点云和校正基于运动的不准确性的过程。如图2中所示,在时间段Δt期间,传感器210扫描目标对象205。在该时间段内的各个时间点t∈[0,Δt]产生扫描点215a-215e。换言之,每个扫描点215a-215e反映在对应时间点目标对象205的一部分距离传感器210的距离。如果目标对象205在时间段Δt期间相对于传感器210移动,则由传感器210在时间点t=Δt之前所扫描的任一点反映在过去某个时间在目标对象部分和传感器210之间的距离(因此该距离要比应该的距离长)。这些扫描点215a-215e通常在单个或公共坐标系中累积,以形成基础点云225。
因此,基础点云225包括反映与目标对象205(或其一部分)在时间段Δt期间移动时的轨迹的信息。基础点云225的长度和形状至少部分地取决于目标对象205在扫描时间段期间的实际移动。当前所公开的技术可以经由重新定位扫描点215a-215e的至少子集,生成经校正或经调整的点云235,使得经校正或经调整的点云235更准确地反映目标对象205的至少某部分(例如,如图2中所示的车辆的前部)在特定时间点(例如,时间点t=Δt)的形状和/或距离。
图3示出根据当前公开的技术的一些实施例的用于基于运动模型重新定位扫描点(例如,图2的扫描点215a-215d)的过程。目标对象的基础点云(例如,如图2中所示的目标对象205的基础点云225)中所包括的扫描点的集合可以被表示为:
其中,每个扫描点p∈PΔt与采集或产生该扫描点的扫描时间点tp相关联。
如果目标对象在时间点t以速度vt行进,则扫描点重新定位之后的经校正或经调整的点云可以包括以下集合:
其中,积分操作计算基础点云中的每个扫描点在扫描时间点tp之后应该已经产生的附加位移量。如果产生对象的平移运动vt和旋转运动rt二者,则经校正或经调整的点云中所包括的点集合可以被表示为:
其中,ct与对象在时间点t绕其旋转的点(例如,对象的质心)相对应,pt与在时间点t的点p的位置相对应,而数学运算符*代表对应的旋转变换。
图4示出根据当前公开的技术的一些实施例的用于确定误差的过程,其中使用一个或多个统一运动模型。给定目标对象的实际线速度v和加速度a,目标对象在时间段Δt中行进的距离是:
类似的分析可以被应用于减速的对象。因此,如图4中所示,在使用统一运动模型的实施例中,经校正或经调整的点云的误差对应于加速度方向上和减速度的反方向上的距离给定目标对象加速度a上的限制或约束,该误差距离可以与安全驾驶距离或期望应用的其他安全性或操作阈值相比,从而确定用于基础点云生成的最大时间段Δt。
图5是示出根据当前公开的技术的一些实施例的用于校正点云中的一个或多个基于运动的不准确性的方法500的流程图。图5的方法可以通过控制器(例如,扫描平台上安装的计算机、相关联的计算装置和/或相关联的计算服务)实现。
在框505处,该方法包括:获得关于对象(例如,载具、行人、飞行器等)的扫描点的基础点云。如上文所讨论的,在一时间段期间采集扫描点,且各个扫描点可以指示对象的不同部分在不同时间点的位置。例如,基础点云可以包括由发射器/检测器传感器(例如,LiDAR传感器)所产生的单帧的扫描点。一帧内的各个扫描点可以不同时生成。例如,在一些实施例中,尽管传感器数据(例如,扫描点)被连续地采集,但扫描点的帧根据一些离散时间间隔生成或发送。换言之,帧可以与在特定时间段(例如,0.1秒)上累积的传感器数据(例如,扫描点)的集合相对应。在一些实施例中,基础点云还可以包括由一个或多个传感器所产生的多个连续帧的扫描点。
在框510处,该方法包括:确定用于该时间段期间的对象的移动的运动模型。该运动模型可以包括平移运动分量、旋转运动分量、振动运动分量和/或其他运动分量。例如,如上文所讨论的公式(2)可以被选择为在该时间段期间与对象相关联的运动模型。
在框515处,该方法包括:评估点云测量,以确定适用于扫描点的估计运动模型因子。基于运动的不准确性可以引起基础点云的错误的、增大的尺寸。因此,该方法可以包括:评估与体积或尺寸有关的点云测量,以确定估计运动模型因子。例如,该方法可以搜索最少数量的体积像素或体素(例如,围绕扫描平台的三维空间上均匀划分的0.001立方米的立方体),每个体素包含至少一个扫描点。换言之,描述点云的最少数量的体素可以与静态位置中的对象的最接近的近似相对应。在数学上,最小化函数可以被表示为:
其中,v,r代表对象的恒定平移速度和旋转速度(它们是要被估计的运动模型因子),函数GIRD(P)计算由P占据的体素量,而函数Es(v,r)可以与用于观测平移速度和旋转速度的先验项相对应,其可以采用以下形式:
Es(v,r)=|v-v′|2+|r-r′|2 (5)
其中,v′,r′可以与根据不同的传感器方法(例如,通过对准与不同时间相对应的对象的点云,或通过使用其他传感器(例如,激光转速计或毫米波雷达))所获得的观测相对应。在一些实施例中,公式(3)不需要Es(v,r)项。在这些实施例中,最小化搜索可能在计算上更昂贵(例如,更久才收敛)。
基于公式(4)的体素量最小化过程可以包括确定对象的多个旋转中心ct。在一些实施例中,为了计算的高效和方便,该方法包括两步近似,在该两步近似中,旋转变换在平移变换之后。例如,在这些实施例中,点云测量评估可以根据以下公式执行:
在一些实施例中,该方法可以包括评估由点云所包围的体积。类似于体素量评估,这种方法可以使用基于运动模型的公式,以计算测量(例如,由点云的外表面(例如,连接所有外表面扫描点的网格)所包围的体积)。与寻求最小化“骨架”体积的体素量评估不同,所包围的体积的评估可以评估整个尺寸的点云。在一些实施例中,该方法可以包括:评估点云的多个测量(例如,体素量和所包围的体积测量二者);以及计算根据多个评估所产生的估计运动模型因子的加权平均。在一些实施例中,运动模型可以包括非恒定形式的因子。例如,要被估计的对象的平移速度和/或旋转速度可以被定义为时间t的函数。
根据一些实施例,搜索点云测量(例如,体素量或所包围的体积)的最小化可以包括:找到测量的全局最小值或局部最小值,或者(例如,出于计算效率、约束和/或经济的原因)仅找到减小的(但不一定是最小的)测量值。
在框520处,该方法包括:根据估计运动模型因子来变换基础点云中的扫描点,以形成经校正或经调整的点云。例如,该方法可以包括:根据适用的运动模型(例如,公式(1)或公式(2)),至少部分基于所估计的平移速度v和/或所估计的旋转速度r,重新定位最初在基础点云中包括的扫描点的至少子集。重新定位将子集中的每个扫描点从扫描点被采集或被产生的时间点tp的位置移动到在时间段Δt的末尾的扫描点的估计位置。该方法可以标记或另外结合在时间段的末尾采集或产生的任何扫描点使用变换后的扫描点,以形成针对该对象的经校正或经调整的点云。
在框525处,该方法包括:基于经校正或经调整的点云,采取一个或多个其他动作。例如,控制器可以确定质心、轮廓、形状,和/或可以基于经校正的点云来识别对象,其可以比使用基础点云更准确。控制器还可以基于经校正的点云,确定传感器(或扫描平台)和对象的各个部分之间的距离,并由此促进避障、目标跟踪、路线规划和/或其他自动化/辅助导航应用。图5的方法可以响应于获得每个传感器数据帧、响应于某些事件(例如,扫描平台进入具有更多数量的障碍物的区域)和/或基于用户命令实现。
图6示出根据当前公开的技术的各个实施例所配置的扫描平台的示例。如图所示,如本文所公开的有代表性的扫描平台可以包括以下中的至少一项:无人飞行器(UAV)602、有人驾驶飞行器604、自动驾驶汽车606、自平衡载具608、陆上机器人610、智能可穿戴式装置612、虚拟现实(VR)头戴式显示器614或增强现实(AR)头戴式显示器616。
图7是示出可以用于实现当前公开的技术的各个部分的计算机系统或其他控制装置700的架构的示例的框图。在图7中,计算机系统700包括经由互连部725连接的一个或多个处理器705和存储器710。互连部725可以表示以下中的任何一项或多项:通过适合的网桥、适配器或控制器连接的单独的物理总线、点对点连接或二者。因此,例如,互连部725可以包括:系统总线、外围部件互联(PCI)总线、超传输或工业标准结构(ISA)总线、小型计算机系统接口(SCSI)总线、通用串行总线(USB)、IIC(I2C)总线或国际电气和电子工程师协会(IEEE)标准674总线(有时被称为“火线”)。
处理器705可以包括用于控制(例如,主计算机的)总体操作的中央处理单元(CPU)。在某些实施例中,处理器705通过执行存储器710中存储的软件或固件完成控制。处理器705可以是或可以包括:一个或多个可编程通用或专用微处理器、数字信号处理器(DSP)、可编程控制器、专用集成电路(ASIC)、可编程逻辑器件(PLD)等、或这些装置的组合。
存储器710可以是或可以包括计算机系统的主存储器。存储器710表示任何合适形式的随机存取存储器(RAM)、只读存储器(ROM)、闪存等、或这些装置的组合。在使用时,存储器710可以包含机器指令集等,当机器指令集由处理器705执行时,使处理器705执行用于实现当前所公开的技术的实施例的操作。
(可选的)网络适配器715也通过互连部725被连接至处理器705。网络适配器715提供具有与远程装置(例如,存储客户端和/或其他存储服务器)通信的能力的计算机系统700,并且,例如,可以是以太网适配器或光纤信道适配器。
例如,本文描述的技术可以通过以下实现:利用软件和/或固件编程的、或完全在专用硬件电路中的、或在这些形式的组合中的可编程电路(例如,一个或多个微处理器)。例如,专用硬件电路可以是以下形式:一个或多个专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)等。
用于实现此处所介绍的技术的软件或固件可以被存储在机器可读存储介质上并且可以由一个或多个通用或专用可编程微处理器执行。如本文所使用的术语“机器可读存储介质”包括可以存储由机器可访问的形式的信息的任何装置(例如,所述机器可以是计算机、网络装置、蜂窝电话、个人数字助理(PDA)、制造工具、具有一个或多个处理器的任何装置等)。例如,机器可访问的存储介质包括:可记录/不可记录介质(例如,只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪存装置等)等。
例如,如本文使用的术语“逻辑”可以包括:利用特定软件和/或固件、专用硬件电路或其组合编程的可编程电路。
本公开的一些实施例具有上文所述的方面、元素、特征和/或步骤之外或替换其的其他方面、元素、特征和/或步骤。这些可能的添加或替换在整个说明书的其余部分中描述。在本说明书中对“各个实施例”、“某些实施例”或“一些实施例”的引用表示结合实施例所描述的特定特征、结构或特性被包括在本公开的至少一个实施例中。这些实施例,甚至是备选实施例(例如,被称为“其他实施例”)不与其他实施例相互排斥。而且,各种特征被描述为可以通过一些实施例而不通过其他实施例体现。类似地,各种要求被描述为可以是针对一些实施例而不针对其他实施例的要求。例如,一些实施例仅说明平移运动,其他实施例仅说明旋转运动,还有一些考虑二者。作为另一个示例,一些实施例寻求最小化体素量,其他实施例寻求最小化所包围的体积,还有一些使用这两种技术。
就本文通过引用并入的任何材料与本公开相冲突的方面而言,以本公开为准。
Claims (61)
1.一种用于调整使用扫描平台所承载的至少一个扫描单元所生成的点云的计算机实现的方法,所述方法包括:
获得包括多个扫描点的基础点云,所述多个扫描点是由所述扫描单元在一时间段期间产生的,其中,所述扫描点中的每个扫描点指示目标对象的至少一个部分的位置,并且其中,所述目标对象在所述时间段期间相对于所述扫描单元移动;
将运动模型与目标单元相关联,其中,所述运动模型包括恒定速度平移运动分量和恒定速度旋转运动分量;
至少部分基于在所述时间段上应用所述运动模型,评估与所述基础点云有关的体积测量;
至少部分基于所述体积测量的评估,确定适用于所述扫描点的一个或多个调整因子;
至少部分基于所述一个或多个调整因子,变换所述扫描点的至少子集,以生成经校正的点云;以及
至少部分基于所述经校正的点云,定位所述目标对象。
2.一种用于调整使用扫描平台所承载的至少一个扫描单元所生成的点云的计算机实现的方法,所述方法包括:
获得包括多个扫描点的基础点云,所述多个扫描点是由所述扫描单元在一时间段期间产生的,其中,所述扫描点中的每个扫描点指示目标对象的至少一个部分的位置,并且其中,所述目标对象与运动模型相关联;
至少部分基于所述运动模型,确定适用于所述扫描点的一个或多个调整因子;以及
至少部分基于所述一个或多个调整因子,变换所述扫描点的至少一个子集,以生成所述目标对象的经调整的点云。
3.根据权利要求2所述的方法,其中,由所述扫描点中的至少两个扫描点所指示的位置与不同的时间点相对应。
4.根据权利要求2或3中任一项所述的方法,其中,由所述扫描点中的至少两个扫描点所指示的位置与所述目标对象的不同部分相对应。
5.根据权利要求2-4中任一项所述的方法,其中,所述扫描点是在与所述至少一个扫描单元或所述扫描平台相关联的三维参照系之内表示的。
6.根据权利要求2所述的方法,其中,所述运动模型包括平移运动分量。
7.根据权利要求6所述的方法,其中,所述平移运动分量包括恒定平移速度因子。
8.根据权利要求6所述的方法,其中,所述平移运动分量包括非恒定平移速度因子。
9.根据权利要求2或6-8中任一项所述的方法,其中,所述运动模型包括旋转运动分量。
10.根据权利要求9所述的方法,其中,所述旋转运动分量包括恒定旋转速度因子。
11.根据权利要求9所述的方法,其中,所述旋转运动分量包括非恒定旋转速度因子。
12.根据权利要求2所述的方法,其中,确定所述一个或多个调整因子包括:至少部分基于与所述扫描点有关的体积来评估点云测量。
13.根据权利要求12所述的方法,其中,评估所述点云测量包括:
对所述扫描点应用所述运动模型;以及
根据所述运动模型的应用,搜索在目标时间点由所述扫描点占据的最小数量的体积像素。
14.根据权利要求12所述的方法,其中,评估所述点云测量包括:
对所述扫描点应用所述运动模型;以及
根据所述运动模型的应用,搜索在目标时间点由所述扫描点所包围的最小体积。
15.根据权利要求13或14所述的方法,其中,所述目标时间点与所述时间段的末尾相对应。
16.根据权利要求2或12-15中任一项所述的方法,其中,所述一个或多个调整因子包括平移速度或旋转速度中的至少一项。
17.根据权利要求2所述的方法,其中,变换所述扫描点的所述至少一个子集包括:至少部分基于所述一个或多个调整因子,重新定位所述子集的每个扫描点。
18.根据权利要求17所述的方法,其中,重新定位每个扫描点至少部分基于与所述扫描点相关联的、在产生所述扫描点的时间点与后续目标时间点之间的移动。
19.根据权利要求2所述的方法,其中,所述目标对象和所述扫描平台之间的相对距离在所述时间段期间改变。
20.根据权利要求2或19中任一项所述的方法,其中,所述扫描平台包括以下中的至少一项:无人飞行器UAV、有人驾驶飞行器、自动驾驶汽车、自平衡载具、机器人、智能可穿戴式装置、虚拟现实VR头戴式显示器、或增强现实AR头戴式显示器。
21.根据权利要求2-20中任一项所述的方法,还包括:至少部分基于所述经调整的点云来定位所述目标对象。
22.一种存储计算机可执行指令的非暂时性计算机可读介质,所述计算机可执行指令在被执行时使与扫描平台相关联的一个或多个处理器执行动作,所述动作包括:
获得包括多个扫描点的基础点云,所述多个扫描点是由至少一个扫描单元在一时间段期间产生的,其中,所述扫描点中的每个扫描点指示目标对象的至少一个部分的位置,并且其中,所述目标对象与运动模型相关联;
至少部分基于所述运动模型,确定适用于所述扫描点的一个或多个调整因子;以及
至少部分基于所述一个或多个调整因子,变换所述扫描点的至少一个子集,以生成所述目标对象的经调整的点云。
23.根据权利要求22所述的计算机可读介质,其中,由所述扫描点中的至少两个扫描点所指示的位置与不同时间点相对应。
24.根据权利要求22或23中任一项所述的计算机可读介质,其中,由所述扫描点中的至少两个扫描点所指示的位置与所述目标对象的不同部分相对应。
25.根据权利要求中22-24中任一项所述的计算机可读介质,其中,所述扫描点是在与所述至少一个扫描单元或所述扫描平台相关联的三维参照系之内表示的。
26.根据权利要求22所述的计算机可读介质,其中,所述运动模型包括平移运动分量。
27.根据权利要求26所述的计算机可读介质,其中,所述平移运动分量包括恒定平移速度因子。
28.根据权利要求26所述的计算机可读介质,其中,所述平移运动分量包括非恒定平移速度因子。
29.根据权利要求22或26-28中任一项所述的计算机可读介质,其中,所述运动模型包括旋转运动分量。
30.根据权利要求29所述的计算机可读介质,其中,所述旋转运动分量包括恒定旋转速度因子。
31.根据权利要求29所述的计算机可读介质,其中,所述旋转运动分量包括非恒定旋转速度因子。
32.根据权利要求22所述的计算机可读介质,其中,确定所述一个或多个调整因子包括:至少部分基于与所述扫描点有关的体积来评估点云测量。
33.根据权利要求32所述的计算机可读介质,其中,评估所述点云测量包括:
对所述扫描点应用所述运动模型;以及
根据所述运动模型的应用,搜索在目标时间点由所述扫描点占据的最小数量的体积像素(体素)。
34.根据权利要求32所述的计算机可读介质,其中,评估所述点云测量包括:
对所述扫描点应用所述运动模型;以及
根据所述运动模型的应用,搜索在目标时间点由所述扫描点所包围的最小体积。
35.根据权利要求33或34中任一项所述的计算机可读介质,其中,所述目标时间点与所述时间段的末尾相对应。
36.根据权利要求22或32-35中任一项所述的计算机可读介质,其中,所述一个或多个调整因子包括平移速度或旋转速度中的至少一项。
37.根据权利要求22所述的计算机可读介质,其中,变换所述扫描点的所述至少一个子集包括:至少部分基于所述一个或多个调整因子,重新定位所述子集的每个扫描点。
38.根据权利要求37所述的计算机可读介质,其中,重新定位每个扫描点至少部分基于与所述扫描点相关联的、在产生所述扫描点的时间点与后续目标时间点之间的移动。
39.根据权利要求22所述的计算机可读介质,其中,所述目标对象和所述扫描平台之间的相对距离在所述时间段期间改变。
40.根据权利要求22或39中任一项所述的计算机可读介质,其中,所述扫描平台包括以下中的至少一项:无人飞行器UAV、有人驾驶飞行器、自动驾驶汽车、自平衡载具、机器人、智能可穿戴式装置、虚拟现实VR头戴式显示器、或增强现实AR头戴式显示器。
41.根据权利要求22-40中任一项所述的计算机可读介质,其中,所述动作还包括:至少部分基于所述经调整的点云来定位所述目标对象。
42.一种包括编程控制器的载具,所述编程控制器至少部分地控制所述载具的一个或多个运动,其中,所述编程控制器包括一个或多个处理器,所述一个或多个处理器被配置为:
获得包括多个扫描点的基础点云,所述多个扫描点是由至少一个扫描单元在一时间段期间产生的,其中,所述扫描点中的每个扫描点指示目标对象的至少一个部分的位置,并且其中,所述目标对象与运动模型相关联;
至少部分基于所述运动模型,确定适用于所述扫描点的一个或多个调整因子;以及
至少部分基于所述一个或多个调整因子,变换所述扫描点的至少一个子集,以生成所述目标对象的经调整的点云。
43.根据权利要求42所述的载具,其中,由所述扫描点中的至少两个扫描点所指示的位置与不同的时间点相对应。
44.根据权利要求42或43中任一项所述的载具,其中,由所述扫描点中的至少两个扫描点所指示的位置与所述目标对象的不同部分相对应。
45.根据权利要求42-44中任一项所述的载具,其中,所述扫描点是在与所述至少一个扫描单元或所述载具相关联的三维参照系之内表示的。
46.根据权利要求42所述的载具,其中,所述运动模型包括平移运动分量。
47.根据权利要求46所述的载具,其中,所述平移运动分量包括恒定平移速度因子。
48.根据权利要求46所述的载具,其中,所述平移运动分量包括非恒定平移速度因子。
49.根据权利要求42或46-48中任一项所述的载具,其中,所述运动模型包括旋转运动分量。
50.根据权利要求49所述的载具,其中,所述旋转运动分量包括恒定旋转速度因子。
51.根据权利要求49所述的载具,其中,所述旋转运动分量包括非恒定旋转速度因子。
52.根据权利要求42所述的载具,其中,确定所述一个或多个调整因子包括:至少部分基于与所述扫描点有关的体积来评估点云测量。
53.根据权利要求52所述的载具,其中,评估所述点云测量包括:
对所述扫描点应用所述运动模型;以及
根据所述运动模型的应用,搜索在目标时间点由所述扫描点占据的最小数量的体积像素(体素)。
54.根据权利要求52所述的载具,其中,评估所述点云测量包括:
对所述扫描点应用所述运动模型;以及
根据所述运动模型的应用,搜索在目标时间点由所述扫描点所包围的最小体积。
55.根据权利要求53或54中任一项所述的载具,其中,所述目标时间点与所述时间段的末尾相对应。
56.根据权利要求42或52-55中任一项所述的载具,其中,所述一个或多个调整因子包括平移速度或旋转速度中的至少一项。
57.根据权利要求42所述的载具,其中,变换所述扫描点的所述至少一个子集包括:至少部分基于所述一个或多个调整因子,重新定位所述子集的每个扫描点。
58.根据权利要求57所述的载具,其中,重新定位每个扫描点至少部分基于与所述扫描点相关联的、在产生所述扫描点的时间点与后续目标时间点之间的移动。
59.根据权利要求42所述的载具,其中,所述目标对象和所述扫描平台之间的相对距离在所述时间段期间改变。
60.根据权利要求42或59中任一项所述的载具,其中,所述载具包括以下中的至少一项:无人飞行器UAV、有人驾驶飞行器、自动驾驶汽车、自平衡载具、机器人、智能可穿戴式装置、虚拟现实VR头戴式显示器、或增强现实AR头戴式显示器。
61.根据权利要求42-60中任一项所述的载具,其中,所述一个或多个处理器还被配置为:至少部分基于所述经调整的点云来定位所述目标对象。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2017/095300 WO2019023892A1 (en) | 2017-07-31 | 2017-07-31 | MOTION-BASED IMPRESSION CORRECTION IN POINT CLOUDS |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110914703A true CN110914703A (zh) | 2020-03-24 |
Family
ID=64502747
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780093179.1A Pending CN110914703A (zh) | 2017-07-31 | 2017-07-31 | 对点云中基于运动的不准确性的校正 |
Country Status (5)
Country | Link |
---|---|
US (3) | US10152771B1 (zh) |
EP (1) | EP3631508A4 (zh) |
KR (1) | KR102284565B1 (zh) |
CN (1) | CN110914703A (zh) |
WO (1) | WO2019023892A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114442101A (zh) * | 2022-01-28 | 2022-05-06 | 南京慧尔视智能科技有限公司 | 基于成像毫米波雷达的车辆导航方法、装置、设备及介质 |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009137672A1 (en) | 2008-05-07 | 2009-11-12 | Salix Pharmaceuticals, Ltd. | Methods of treating bowel disease by administering a bowel cleanser and an antibiotic |
PL2773205T3 (pl) | 2011-11-02 | 2024-09-02 | Salix Pharmaceuticals, Inc. | Ryfaksymina w leczeniu ustępującej biegunki z przewagą zespołu jelita drażliwego |
JP2019128641A (ja) * | 2018-01-22 | 2019-08-01 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
US11204605B1 (en) * | 2018-08-03 | 2021-12-21 | GM Global Technology Operations LLC | Autonomous vehicle controlled based upon a LIDAR data segmentation system |
DE102018213554A1 (de) * | 2018-08-10 | 2020-02-13 | Audi Ag | Verfahren und Anzeigeeinrichtung zur Visualisierung einer Anordnung sowie Wirkungsweise von Umfeldsensoren eines Kraftfahrzeugs |
US11048254B2 (en) | 2019-04-10 | 2021-06-29 | Waymo Llc | Generating simplified object models to reduce computational resource requirements for autonomous vehicles |
RU2767955C1 (ru) | 2019-05-27 | 2022-03-22 | Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" | Способы и системы для определения компьютером наличия динамических объектов |
CN112015938B (zh) * | 2019-05-28 | 2024-06-14 | 杭州海康威视数字技术股份有限公司 | 点云标签传递方法、装置及系统 |
GB202311795D0 (en) * | 2019-12-19 | 2023-09-13 | Motional Ad Llc | Foreground extraction using surface fitting |
US11151788B2 (en) * | 2019-12-27 | 2021-10-19 | Woven Planet North America, Inc. | Systems and methods for presenting a reconstructed representation of a moving object detected in a scene |
CN112150635B (zh) * | 2020-09-02 | 2024-07-26 | 北京捷安申谋科技有限公司 | 基于数字孪生的ar单兵与机器人混编作战系统及其方法 |
US11792644B2 (en) | 2021-06-21 | 2023-10-17 | Motional Ad Llc | Session key generation for autonomous vehicle operation |
CN115661935B (zh) * | 2022-10-31 | 2023-07-11 | 海信集团控股股份有限公司 | 一种人体动作准确度确定方法和设备 |
CN116091533B (zh) * | 2023-01-03 | 2024-05-31 | 中国人民解放军海军航空大学 | 一种Qt开发环境下的激光雷达目标演示与提取方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110124892A (ko) * | 2010-05-12 | 2011-11-18 | 삼성전자주식회사 | 움직임 보상 3차원 필터링 방법 및 장치 |
CN102317972A (zh) * | 2009-02-13 | 2012-01-11 | 哈里公司 | 3d点云数据对于2d电光图像数据的对准 |
US20140071121A1 (en) * | 2012-09-11 | 2014-03-13 | Digital Signal Corporation | System and Method for Off Angle Three-Dimensional Face Standardization for Robust Performance |
US9031809B1 (en) * | 2010-07-14 | 2015-05-12 | Sri International | Method and apparatus for generating three-dimensional pose using multi-modal sensor fusion |
CN105628026A (zh) * | 2016-03-04 | 2016-06-01 | 深圳大学 | 一种移动物体的定位定姿方法和系统 |
US9383753B1 (en) * | 2012-09-26 | 2016-07-05 | Google Inc. | Wide-view LIDAR with areas of special attention |
CN106093963A (zh) * | 2016-05-31 | 2016-11-09 | 中铁第四勘察设计院集团有限公司 | 一种提高铁路车载激光雷达扫描数据精度的方法 |
WO2017021778A2 (en) * | 2015-08-03 | 2017-02-09 | Tomtom Global Content B.V. | Methods and systems for generating and using localisation reference data |
CN106461383A (zh) * | 2014-06-25 | 2017-02-22 | 微软技术许可有限责任公司 | 机器人臂/传感器/工作区系统的自动现场配准和校准 |
CN106570905A (zh) * | 2016-11-02 | 2017-04-19 | 北京控制工程研究所 | 一种非合作目标点云初始姿态验证方法 |
Family Cites Families (108)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4283116A (en) | 1977-04-22 | 1981-08-11 | Jersey Nuclear-Avco Isotopes, Inc. | Beam combiner |
JPS6076541A (ja) | 1983-10-01 | 1985-05-01 | Sekisui Chem Co Ltd | 発泡用組成物 |
JPS63194211A (ja) | 1987-02-09 | 1988-08-11 | Sony Corp | カメラのレンズ駆動装置 |
US5179565A (en) | 1990-06-07 | 1993-01-12 | Hamamatsu Photonics, K.K. | Low noise pulsed light source utilizing laser diode and voltage detector device utilizing same low noise pulsed light source |
US5249046A (en) | 1992-03-30 | 1993-09-28 | Kaman Aerospace Corporation | Method and apparatus for three dimensional range resolving imaging |
US6101455A (en) | 1998-05-14 | 2000-08-08 | Davis; Michael S. | Automatic calibration of cameras and structured light sources |
US6344937B1 (en) | 1999-03-03 | 2002-02-05 | Raytheon Company | Beam steering optical arrangement using Risley prisms with surface contours for aberration correction |
US6246258B1 (en) | 1999-06-21 | 2001-06-12 | Xilinx, Inc. | Realizing analog-to-digital converter on a digital programmable integrated circuit |
US6666855B2 (en) | 1999-09-14 | 2003-12-23 | Visx, Inc. | Methods and systems for laser calibration and eye tracker camera alignment |
US7085400B1 (en) | 2000-06-14 | 2006-08-01 | Surgical Navigation Technologies, Inc. | System and method for image based sensor calibration |
JP2002199682A (ja) | 2000-12-26 | 2002-07-12 | Toshiba Corp | 中空モータおよび光波距離計 |
JP2006521536A (ja) | 2002-11-26 | 2006-09-21 | ジェームス エフ. マンロ | 高精度の距離測定装置およびその方法 |
EP1524494A1 (en) | 2003-10-17 | 2005-04-20 | inos Automationssoftware GmbH | Method for calibrating a camera-laser-unit in respect to a calibration-object |
JP2005321547A (ja) | 2004-05-07 | 2005-11-17 | Fujinon Corp | 光源装置 |
US20050248749A1 (en) | 2004-05-10 | 2005-11-10 | Ibeo Automobile Sensor Gmbh | Method and an apparatus for distance measurement |
FR2870428A1 (fr) | 2004-05-11 | 2005-11-18 | Gen Electric | Machine a rayons x mobile |
EP1600564A1 (de) * | 2004-05-24 | 2005-11-30 | Leica Geosystems AG | Verfahren zur Steuerung einer oberflächenverändernden Maschine |
EP1612511B1 (en) | 2004-07-01 | 2015-05-20 | Softkinetic Sensors Nv | TOF rangefinding with large dynamic range and enhanced background radiation suppression |
DE102005017624A1 (de) * | 2005-04-15 | 2006-10-19 | Robert Bosch Gmbh | Verfahren zum Bestimmen der Rad- und/oder Achsgeometrie von Kraftfahrzeugen |
US7336407B1 (en) | 2005-07-28 | 2008-02-26 | Lockheed Martin Corporation | Scanner/pointer apparatus having super-hemispherical coverage |
US7843448B2 (en) | 2005-11-21 | 2010-11-30 | Leica Geosystems Ag | Identification of occluded edge regions from 3D point data |
US7236299B1 (en) | 2006-04-11 | 2007-06-26 | Bae Systems Information And Electronic Systems Integration Inc. | Compact periscopic beam director |
US8490489B2 (en) | 2006-11-10 | 2013-07-23 | Siemens Medical Solutions Usa, Inc. | Transducer array imaging system |
CN101216562A (zh) | 2007-01-05 | 2008-07-09 | 薛志强 | 激光测距系统 |
CN101256232A (zh) | 2007-02-28 | 2008-09-03 | 电装波动株式会社 | 用于目标三维探测的激光雷达装置 |
DE602007012321D1 (de) * | 2007-11-07 | 2011-03-10 | Tele Atlas Bv | Verfahren und anordnung zur abbildung von entfernungssensordaten auf bildsensordaten |
US8224097B2 (en) | 2008-06-12 | 2012-07-17 | Sri International | Building segmentation for densely built urban regions using aerial LIDAR data |
EP2304489B1 (en) | 2008-06-27 | 2013-01-23 | Danmarks Tekniske Universitet | Rotating prism scanning device and method for scanning |
NO332432B1 (no) | 2008-08-12 | 2012-09-17 | Kongsberg Seatex As | System for deteksjon og avbildning av objekter i banen for marine fartoy |
EP2399150B1 (en) * | 2009-02-20 | 2020-10-07 | StereoVision Imaging, Inc. | System and method for generating three dimensional images using lidar and video measurements |
US20120170024A1 (en) | 2009-09-22 | 2012-07-05 | Medhat Azzazy | Long Range Acquisition and Tracking SWIR Sensor System Comprising Micro-Lamellar Spectrometer |
US20110285981A1 (en) | 2010-05-18 | 2011-11-24 | Irvine Sensors Corporation | Sensor Element and System Comprising Wide Field-of-View 3-D Imaging LIDAR |
US20120170029A1 (en) | 2009-09-22 | 2012-07-05 | ISC8 Inc. | LIDAR System Comprising Large Area Micro-Channel Plate Focal Plane Array |
US8488877B1 (en) | 2009-12-02 | 2013-07-16 | Hrl Laboratories, Llc | System for object recognition in colorized point clouds |
JP5480914B2 (ja) | 2009-12-11 | 2014-04-23 | 株式会社トプコン | 点群データ処理装置、点群データ処理方法、および点群データ処理プログラム |
US8620089B1 (en) | 2009-12-22 | 2013-12-31 | Hrl Laboratories, Llc | Strip histogram grid for efficient segmentation of 3D point clouds from urban environments |
US8396293B1 (en) | 2009-12-22 | 2013-03-12 | Hrl Laboratories, Llc | Recognizing geometrically salient objects from segmented point clouds using strip grid histograms |
US20130107243A1 (en) | 2010-05-03 | 2013-05-02 | Irvine Sensors Corporation | Fast, High Resolution 3-D Flash LADAR Imager |
US9396545B2 (en) | 2010-06-10 | 2016-07-19 | Autodesk, Inc. | Segmentation of ground-based laser scanning points from urban environment |
CA2805701C (en) | 2010-07-22 | 2018-02-13 | Renishaw Plc | Laser scanning apparatus and method of use |
US8324775B2 (en) | 2010-08-05 | 2012-12-04 | Hiwin Mikrosystem Corp. | Brush DC motor with reduction mechanism |
US20120121166A1 (en) | 2010-11-12 | 2012-05-17 | Texas Instruments Incorporated | Method and apparatus for three dimensional parallel object segmentation |
RU2013129992A (ru) | 2010-12-02 | 2015-01-10 | Макита Корпорейшн | Инструмент с приводом |
JP5787699B2 (ja) | 2010-12-06 | 2015-09-30 | 株式会社アルファラボ・ソリューション | 像ぶれ補正ユニット、像ぶれ補正装置及び光学装置 |
US9470548B2 (en) | 2011-01-31 | 2016-10-18 | Agency For Defense Development | Device, system and method for calibration of camera and laser sensor |
EP2682784B1 (en) | 2011-03-02 | 2015-06-24 | Toyota Jidosha Kabushiki Kaisha | Laser radar device |
US8581168B2 (en) | 2011-03-29 | 2013-11-12 | Flir Systems, Inc. | Dual well read-out integrated circuit (ROIC) |
US8605998B2 (en) | 2011-05-06 | 2013-12-10 | Toyota Motor Engineering & Manufacturing North America, Inc. | Real-time 3D point cloud obstacle discriminator apparatus and associated methodology for training a classifier via bootstrapping |
CN202182717U (zh) | 2011-08-30 | 2012-04-04 | 公安部第三研究所 | 一种基于tdc技术的激光测距装置 |
KR101740259B1 (ko) | 2011-10-07 | 2017-05-29 | 한국전자통신연구원 | 3차원 포인트 클라우드의 공간 분할 방법 |
CN102508255A (zh) | 2011-11-03 | 2012-06-20 | 广东好帮手电子科技股份有限公司 | 车载四线激光雷达系统及其电路、方法 |
US8798372B1 (en) | 2012-03-07 | 2014-08-05 | Hrl Laboratories, Llc | Method for detecting bridges using lidar point cloud data |
EP2856240A4 (en) | 2012-04-26 | 2016-03-02 | Neptec Design Group Ltd | LIDAR HEAD FOR HIGH-SPEED 360 DEGREE SCAN |
JP5963353B2 (ja) | 2012-08-09 | 2016-08-03 | 株式会社トプコン | 光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム |
US9453907B2 (en) | 2012-08-15 | 2016-09-27 | Digital Signal Corporation | System and method for field calibrating video and lidar subsystems using facial features |
CN102944224B (zh) | 2012-11-09 | 2014-08-27 | 大连理工大学 | 一种无人驾驶车的自动环境感知系统的工作方法 |
US20140132723A1 (en) | 2012-11-13 | 2014-05-15 | Osmose Utilities Services, Inc. | Methods for calibrating a digital photographic image of utility structures |
CN103257342B (zh) | 2013-01-11 | 2014-11-05 | 大连理工大学 | 三维激光传感器与二维激光传感器的联合标定方法 |
JP2014145744A (ja) | 2013-01-30 | 2014-08-14 | Ricoh Co Ltd | 物体検出装置 |
US8773182B1 (en) | 2013-02-01 | 2014-07-08 | Intel Corporation | Stochastic beating time-to-digital converter (TDC) |
US9830736B2 (en) * | 2013-02-18 | 2017-11-28 | Tata Consultancy Services Limited | Segmenting objects in multimedia data |
US9128190B1 (en) | 2013-03-06 | 2015-09-08 | Google Inc. | Light steering device with an array of oscillating reflective slats |
JP6181388B2 (ja) | 2013-03-08 | 2017-08-16 | 株式会社トプコン | 計測装置 |
CN103257348B (zh) | 2013-05-17 | 2015-05-20 | 南京航空航天大学 | 一种飞行器相对高度和相对姿态的测量系统及其测量方法 |
US9110163B2 (en) * | 2013-06-14 | 2015-08-18 | Microsoft Technology Licensing, Llc | Lidar-based classification of object movement |
US9430822B2 (en) | 2013-06-14 | 2016-08-30 | Microsoft Technology Licensing, Llc | Mobile imaging platform calibration |
US8825260B1 (en) | 2013-07-23 | 2014-09-02 | Google Inc. | Object and ground segmentation from a sparse one-dimensional range data |
CN103499819B (zh) | 2013-09-22 | 2015-06-24 | 中国科学院光电技术研究所 | 一种目标视线角偏移量及距离的测量装置和方法 |
CN203645633U (zh) | 2013-12-31 | 2014-06-11 | 青岛歌尔声学科技有限公司 | 红外信号放大电路 |
US10061111B2 (en) | 2014-01-17 | 2018-08-28 | The Trustees Of Columbia University In The City Of New York | Systems and methods for three dimensional imaging |
JP6278721B2 (ja) | 2014-01-31 | 2018-02-14 | 鎌倉光機株式会社 | 像安定化装置 |
WO2015148824A1 (en) | 2014-03-27 | 2015-10-01 | Hrl Laboratories, Llc | System for filtering, segmenting and recognizing objects in unconstrained environments |
JP2015200555A (ja) | 2014-04-08 | 2015-11-12 | パナソニックIpマネジメント株式会社 | 距離測定装置 |
GB201407270D0 (en) | 2014-04-24 | 2014-06-11 | Cathx Res Ltd | 3D data in underwater surveys |
US9098753B1 (en) | 2014-04-25 | 2015-08-04 | Google Inc. | Methods and systems for object detection using multiple sensors |
JP6249881B2 (ja) | 2014-05-22 | 2017-12-20 | オリンパス株式会社 | 固体撮像装置および撮像装置 |
CN103983963B (zh) | 2014-06-09 | 2016-08-17 | 北京数字绿土科技有限公司 | 一种多站地基激光雷达数据的自动配准方法 |
CN106030431B (zh) | 2014-08-15 | 2017-11-03 | 深圳市大疆创新科技有限公司 | 传感器的自动标定系统及方法 |
JP6442193B2 (ja) | 2014-08-26 | 2018-12-19 | 株式会社トプコン | 点群位置データ処理装置、点群位置データ処理システム、点群位置データ処理方法およびプログラム |
JP2016057108A (ja) | 2014-09-08 | 2016-04-21 | 株式会社トプコン | 演算装置、演算システム、演算方法およびプログラム |
JP6132983B2 (ja) | 2014-09-24 | 2017-05-24 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 雲台とそれを用いる画像形成装置、及び無人機 |
GB2532948B (en) | 2014-12-02 | 2021-04-14 | Vivo Mobile Communication Co Ltd | Object Recognition in a 3D scene |
CN104463872B (zh) | 2014-12-10 | 2018-01-12 | 武汉大学 | 基于车载LiDAR点云数据的分类方法 |
CN104600902A (zh) | 2015-01-09 | 2015-05-06 | 广东韦达尔科技有限公司 | 一种空心电机 |
CN107110958B (zh) | 2015-01-21 | 2020-11-17 | 三菱电机株式会社 | 激光雷达装置 |
WO2016127357A1 (zh) | 2015-02-12 | 2016-08-18 | 中国科学技术大学 | 一种基于fpga的时间数字变换器 |
US10315759B2 (en) | 2015-04-04 | 2019-06-11 | California Institute Of Technology | Multi-rotor vehicle with yaw control and autorotation |
GB2537681B (en) | 2015-04-24 | 2018-04-25 | Univ Oxford Innovation Ltd | A method of detecting objects within a 3D environment |
KR101665938B1 (ko) | 2015-04-28 | 2016-10-13 | 전자부품연구원 | 미러 회전 방식의 다채널 라이더 스캐너 광학계 |
CN106063089B (zh) | 2015-04-29 | 2018-06-12 | 深圳市大疆灵眸科技有限公司 | 电机、动力装置及使用该动力装置的无人飞行器 |
EP3098626B1 (de) | 2015-05-29 | 2021-05-19 | Hexagon Technology Center GmbH | Zeitmessschaltung und optoelektronischer distanzmesser mit einer ebensolchen zeitmessschaltung |
US9760996B2 (en) | 2015-08-11 | 2017-09-12 | Nokia Technologies Oy | Non-rigid registration for large-scale space-time 3D point cloud alignment |
EP3411660A4 (en) | 2015-11-30 | 2019-11-27 | Luminar Technologies, Inc. | LIDAR SYSTEM WITH DISTRIBUTED LASER AND MULTIPLE SENSOR HEADS AND PULSED LASER FOR LIDAR SYSTEM |
US9644857B1 (en) * | 2015-12-01 | 2017-05-09 | Nasser Ashgriz | Virtual thermostat for a zonal temperature control |
US11010910B2 (en) | 2015-12-18 | 2021-05-18 | Iris Automation, Inc. | Systems and methods for dynamic object tracking using a single camera mounted on a moving object |
US20170242104A1 (en) * | 2016-02-18 | 2017-08-24 | Aeye, Inc. | Ladar Transmitter with Induced Phase Drift for Improved Gaze on Scan Area Portions |
CN105759253B (zh) | 2016-03-02 | 2018-01-12 | 四川经曼光电科技有限公司 | 激光扫描测距仪 |
CN115027676A (zh) | 2016-04-29 | 2022-09-09 | 美国联合包裹服务公司 | 无人机拾取及递送系统 |
CN106019923B (zh) | 2016-05-18 | 2018-11-13 | 中国科学技术大学 | 一种基于fpga的时间数字变换器 |
CN106019296A (zh) | 2016-07-26 | 2016-10-12 | 北醒(北京)光子科技有限公司 | 一种混合固态多线光学扫描测距装置 |
CN106093958A (zh) | 2016-08-24 | 2016-11-09 | 武汉万集信息技术有限公司 | 基于双apd的激光测距方法及装置 |
US10210320B2 (en) * | 2016-09-21 | 2019-02-19 | Lextron Systems, Inc. | System and method for secure 5-D user identification |
CN106597414B (zh) | 2016-10-18 | 2020-01-10 | 浙江大学 | 一种定标偏振激光雷达增益比的方法 |
JP7061964B2 (ja) * | 2016-11-01 | 2022-05-02 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | データ生成方法及びデータ生成装置 |
CN106597416B (zh) * | 2016-11-18 | 2019-04-09 | 长安大学 | 一种地面GPS辅助的LiDAR数据高程差的误差修正方法 |
US10866101B2 (en) | 2017-06-13 | 2020-12-15 | Tusimple, Inc. | Sensor calibration and time system for ground truth static scene sparse flow generation |
US10762635B2 (en) | 2017-06-14 | 2020-09-01 | Tusimple, Inc. | System and method for actively selecting and labeling images for semantic segmentation |
CN107037721B (zh) | 2017-06-16 | 2019-06-21 | 中国科学技术大学 | 一种自修正型时间数字转换器 |
-
2017
- 2017-07-31 EP EP17919926.0A patent/EP3631508A4/en not_active Withdrawn
- 2017-07-31 CN CN201780093179.1A patent/CN110914703A/zh active Pending
- 2017-07-31 WO PCT/CN2017/095300 patent/WO2019023892A1/en unknown
- 2017-07-31 KR KR1020207000421A patent/KR102284565B1/ko active IP Right Grant
- 2017-10-10 US US15/729,533 patent/US10152771B1/en active Active
-
2018
- 2018-09-28 US US16/145,173 patent/US11238561B2/en active Active
-
2022
- 2022-01-19 US US17/578,750 patent/US11961208B2/en active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102317972A (zh) * | 2009-02-13 | 2012-01-11 | 哈里公司 | 3d点云数据对于2d电光图像数据的对准 |
KR20110124892A (ko) * | 2010-05-12 | 2011-11-18 | 삼성전자주식회사 | 움직임 보상 3차원 필터링 방법 및 장치 |
US9031809B1 (en) * | 2010-07-14 | 2015-05-12 | Sri International | Method and apparatus for generating three-dimensional pose using multi-modal sensor fusion |
US20140071121A1 (en) * | 2012-09-11 | 2014-03-13 | Digital Signal Corporation | System and Method for Off Angle Three-Dimensional Face Standardization for Robust Performance |
US9383753B1 (en) * | 2012-09-26 | 2016-07-05 | Google Inc. | Wide-view LIDAR with areas of special attention |
CN106461383A (zh) * | 2014-06-25 | 2017-02-22 | 微软技术许可有限责任公司 | 机器人臂/传感器/工作区系统的自动现场配准和校准 |
WO2017021778A2 (en) * | 2015-08-03 | 2017-02-09 | Tomtom Global Content B.V. | Methods and systems for generating and using localisation reference data |
CN105628026A (zh) * | 2016-03-04 | 2016-06-01 | 深圳大学 | 一种移动物体的定位定姿方法和系统 |
CN106093963A (zh) * | 2016-05-31 | 2016-11-09 | 中铁第四勘察设计院集团有限公司 | 一种提高铁路车载激光雷达扫描数据精度的方法 |
CN106570905A (zh) * | 2016-11-02 | 2017-04-19 | 北京控制工程研究所 | 一种非合作目标点云初始姿态验证方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114442101A (zh) * | 2022-01-28 | 2022-05-06 | 南京慧尔视智能科技有限公司 | 基于成像毫米波雷达的车辆导航方法、装置、设备及介质 |
CN114442101B (zh) * | 2022-01-28 | 2023-11-14 | 南京慧尔视智能科技有限公司 | 基于成像毫米波雷达的车辆导航方法、装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
US10152771B1 (en) | 2018-12-11 |
US20220138908A1 (en) | 2022-05-05 |
EP3631508A1 (en) | 2020-04-08 |
KR20200015722A (ko) | 2020-02-12 |
US11961208B2 (en) | 2024-04-16 |
WO2019023892A1 (en) | 2019-02-07 |
US20190043170A1 (en) | 2019-02-07 |
KR102284565B1 (ko) | 2021-07-30 |
US11238561B2 (en) | 2022-02-01 |
EP3631508A4 (en) | 2020-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11961208B2 (en) | Correction of motion-based inaccuracy in point clouds | |
US10436884B2 (en) | Calibration of laser and vision sensors | |
US11460563B2 (en) | Calibration of laser sensors | |
CN109521756B (zh) | 用于无人驾驶车辆的障碍物运动信息生成方法和装置 | |
Kellner et al. | Instantaneous ego-motion estimation using multiple Doppler radars | |
CN112631266A (zh) | 一种移动机器人感知障碍信息的方法、装置 | |
CN111708048B (zh) | 点云的运动补偿方法、装置和系统 | |
US20180075614A1 (en) | Method of Depth Estimation Using a Camera and Inertial Sensor | |
CN110007313A (zh) | 基于无人机的障碍物检测方法及装置 | |
CN113933818A (zh) | 激光雷达外参的标定的方法、设备、存储介质及程序产品 | |
EP3155369B1 (en) | System and method for measuring a displacement of a mobile platform | |
Sakic et al. | Camera-LIDAR object detection and distance estimation with application in collision avoidance system | |
CN113160280B (zh) | 一种基于激光雷达的动态多目标跟踪方法 | |
CN117387604A (zh) | 基于4d毫米波雷达和imu融合的定位与建图方法及系统 | |
Matsuyama et al. | Estimation of pedestrian pose and velocity considering arm swing using point-cloud data | |
CN117968682B (zh) | 基于多线激光雷达和惯性测量单元的动态点云去除方法 | |
WO2023017624A1 (en) | Drive device, vehicle, and method for automated driving and/or assisted driving | |
CN113865588B (zh) | 一种机器人定位方法和装置 | |
Vu et al. | Targeted trajectories optimization from 2D LIDAR measurements | |
CN118226401A (zh) | 基于激光雷达三维点云的固定翼飞机位姿测量方法及装置 | |
CN116678396A (zh) | 一种数据处理方法、装置、计算设备及存储介质 | |
Liseykin | Computer Vision System for Precise Hovering and Landing of Vertical Take-Off and Landing Unmanned Aerial Vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200324 |