CN114026463A - 基于部分点云的行人速度估计方法 - Google Patents

基于部分点云的行人速度估计方法 Download PDF

Info

Publication number
CN114026463A
CN114026463A CN202080003292.8A CN202080003292A CN114026463A CN 114026463 A CN114026463 A CN 114026463A CN 202080003292 A CN202080003292 A CN 202080003292A CN 114026463 A CN114026463 A CN 114026463A
Authority
CN
China
Prior art keywords
pedestrian
points
points corresponding
bounding box
minimum bounding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080003292.8A
Other languages
English (en)
Other versions
CN114026463B (zh
Inventor
刘祥
高斌
朱帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu com Times Technology Beijing Co Ltd
Baidu USA LLC
Original Assignee
Baidu com Times Technology Beijing Co Ltd
Baidu USA LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu com Times Technology Beijing Co Ltd, Baidu USA LLC filed Critical Baidu com Times Technology Beijing Co Ltd
Publication of CN114026463A publication Critical patent/CN114026463A/zh
Application granted granted Critical
Publication of CN114026463B publication Critical patent/CN114026463B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0011—Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20068—Projection on vertical or horizontal image axis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

公开一种用于在自主驾驶车辆(ADV)处估计被检测的行人的移动速度的方法、装置和系统。在由安装在自主驾驶车辆(ADV)处的LIDAR设备生成的点云的多个帧中检测行人。在点云的多个帧中的至少两个帧的每个帧中，生成包围对应于行人的点、排除对应于行人肢体的点的最小边界框。至少部分地基于跨点云的多个帧中的至少两个帧的最小边界框估计行人的移动速度。至少基于行人的移动速度规划ADV的轨迹。此后，基于规划的轨迹生成驾驶ADV的控制信号。

Description

基于部分点云的行人速度估计方法
技术领域
本公开的实施例一般涉及操作自主驾驶车辆。更特别地，本公开的实施例涉及自主驾驶车辆的操作中的对象速度估计。
背景技术
以自主模式(例如，无人驾驶)操作的车辆可以减轻乘坐者，尤其是驾驶员的一些驾驶相关责任。当在自主模式下操作时，车辆可以使用车载传感器导航到各种位置，从而允许车辆以最小的人机交互或者在没有任何乘客的一些情况下行驶。
LIDAR(光检测和测距，或光和雷达的混成词)技术已广泛用于军事、地理学、海洋学，以及最近十年来的自主驾驶车辆。LIDAR设备可以扫描场景以聚集表示对象的反射表面的点云时估计到对象的距离。点云中的各个点可以通过以下方式确定：发射激光脉冲并且检测(如果有)从对象反射的返回脉冲，以及根据所发射脉冲和所反射脉冲的接收之间的时间延迟确定到对象的距离。可以跨场景快速且重复地扫描一束激光或多束激光，以提供关于到场景中的反射对象的距离的连续实时信息。一个激光束的每个完整旋转产生一个点环。
基于LIDAR点的行人速度估计在本领域中是已知的。常规地，针对对应于行人的LIDAR点跨点云的至少两个帧(例如，当前帧和紧邻的前一帧)构造最小边界框。可以基于跨帧的最小边界框之间的差异估计行人的移动速度。但是，由于行人在其移动时不断变化的身体姿势，可能导致小于理想的最小边界框(出于速度估计的目的)。因此，也可能导致基于最小边界框的速度估计中的误差。
附图说明
本公开的实施例通过示例的方式示出并且不限于附图中的图，在附图中相同的附图标记表示相似的元件。
图1是图示根据一个实施例的联网系统的框图。
图2是图示根据一个实施例的自主驾驶车辆的示例的框图。
图3A-图3B是图示根据一个实施例的与自主驾驶车辆一起使用的自主驾驶系统的示例的框图。
图4是图示根据一个实施例的在自主驾驶车辆处估计被检测的行人的移动速度中所利用的各种模块的框图。
图5是图示根据一个实施例的在点云的一个帧内对应于行人的LIDAR点的示例性图。
图6A-图6C是图示根据一个实施例的从不同角度的行人的视图以及对应于行人的相应LIDAR点的图。
图7是图示根据一个实施例的用于在自主驾驶车辆(ADV)处估计被检测的行人的移动速度的示例性方法的流程图。
图8是图示根据一个实施例的用于生成最小边界框的示例性方法的流程图，最小边界框包围对应于行人的点、排除对应于行人肢体的点。
具体实施方式
将参考下面讨论的细节描述本公开的各个实施例和方面，并且附图将示出各个实施例。以下描述和附图是本公开的说明并且不应被解释为限制本公开。描述了许多具体细节以提供对本公开的各种实施例的全面理解。然而，在某些情况下，为了提供对本公开的实施例的简要讨论，没有描述公知或常规的细节。
说明书中对“一个实施例”或“实施例”的引用意味着结合该实施例描述的特别特征、结构或特性可以包括在本公开的至少一个实施例中。在说明书中的各个地方出现的短语“在一个实施例中”不一定都指同一实施例。
公开一种用于在自主驾驶车辆(ADV)处估计被检测的行人的移动速度的方法、装置和系统。根据一些实施例，在由安装在自主驾驶车辆(ADV)处的LIDAR设备生成的点云的多个帧中检测行人。在点云的多个帧中的至少两个帧的每个帧中，生成包围对应于行人的点、排除对应于行人肢体的点的最小边界框。至少部分地基于跨点云的多个帧中的至少两个帧的最小边界框估计行人的移动速度。至少基于行人的移动速度规划ADV的轨迹。此后，基于规划的轨迹生成控制信号以驾驶ADV。
在一个实施例中，在点云的多个帧中的至少两个帧的每个帧中，为了生成包围对应于行人的点、排除对应于行人肢体的点的最小边界框，过滤对应于行人的点以去除低点并且仅保留高点。应当理解的是，低点对应于行人的腿和脚。对应于行人的点中剩余的高点被投影到水平面。
确定与水平面上投影的高点相关联的主轴。进一步将水平面上投影的高点投影到主轴。过滤两次投影的高点以去除主轴的两个方向上最偏远点。应当理解的是，最偏远点对应于行人的手臂和手。确定在对应于行人的点中对应于剩余的两次投影的高点的点的子集。此后，生成包围点的子集的最小边界框。应当理解的是，包围点的子集的最小边界框是包围对应于行人的点、排除对应于行人肢体的点的最小边界框。
在一个实施例中，过滤对应于行人的点以去除低点并且仅保留高点包括去除相对于对应于行人的点中的最高点的高度差高于第一阈值的点。在一个实施例中，第一阈值为约0.6米(m)。
在一个实施例中，确定与投影的高点相关联的主轴包括对协方差矩阵执行奇异值分解(SVD)或特征值分解。
在一个实施例中，对两次投影的高点进行过滤以去除主轴的两个方向上的最偏远点包括去除与两次投影的高点的质心的距离大于第二阈值的点。
图1是图示根据本公开的一个实施例的自主驾驶网络配置的框图。参考图1，网络配置100包括自主驾驶车辆(ADV)101，其可以通过网络102通信地耦接到一个或多个服务器103-104。尽管示出一个ADV，但是多个ADV可以通过网络102彼此耦接和/或耦接到服务器103-104。网络102可以是任何类型的有线或无线网络，诸如局域网(LAN)、诸如因特网的广域网(WAN)、蜂窝网络、卫星网络、或其组合。(一个或多个)服务器103-104可以是任何类型的服务器或服务器集群，诸如Web或云服务器、应用服务器、后端服务器或其组合。服务器103-104可以是数据分析服务器、内容服务器、交通信息服务器、地图和感兴趣点(MPOI)服务器或位置服务器等。
ADV指的是能够被配置为处于自主模式，在自主模式中车辆在很少或没有驾驶员输入的情况下导航通过环境。这种ADV可以包括具有一个或多个传感器的传感器系统，一个或多个传感器被配置为检测关于车辆在其中操作的环境的信息。车辆及其相关的(一个或多个)控制器使用检测的信息以导航通过环境。ADV 101可以以手动模式、全自主模式或部分自主模式操作。
在一个实施例中，ADV 101包括但不限于自主驾驶系统(ADS)110、车辆控制系统111、无线通信系统112、用户接口系统113和传感器系统115。ADV 101还可以包括在普通车辆中包括的某些常见组件，诸如引擎、车轮、转向盘、变速器等，这些组件可以被车辆控制系统111和/或ADS 110使用各种通信信号和/或命令(例如加速信号或命令、减速信号或命令、转向信号或命令、制动信号或命令等)控制。
组件110-115可以经由互连、总线、网络或其组合彼此通信地耦接。例如，组件110-115可以经由控制器局域网(CAN)总线彼此通信地耦接。CAN总线是一种车辆总线标准，其被设计为允许微控制器和设备在没有主机的应用中彼此通信。它是基于消息的协议，最初被设计用于车辆内的多路复用电气布线，但是也用于许多其他环境中。
现在参考图2，在一个实施例中，传感器系统115包括但不限于一个或多个相机211、全球定位系统(GPS)单元212、惯性测量单元(IMU)213、雷达单元214以及光检测和范围(LIDAR)单元215。GPS系统212可以包括可操作以提供关于ADV的位置的信息的收发器。IMU单元213可以基于惯性加速度感测ADV的位置和方位变化。雷达单元214可以表示使用无线电信号感测ADV的局部环境内的对象的系统。在一些实施例中，除了感测对象之外，雷达单元214还可以附加地感测对象的速度和/或航向。LIDAR单元215可以使用激光感测ADV所处的环境中的对象。LIDAR单元215可以包括一个或多个激光源、激光扫描器以及一个或多个检测器，以及其他系统组件。相机211可以包括一个或多个设备以捕获ADV周围的环境的图像。相机211可以是静态相机和/或摄像机。相机可以是机械可移动的，例如通过将相机安装在旋转和/或倾斜的平台上。
传感器系统115还可以包括其他传感器，诸如声纳传感器、红外传感器、转向传感器、油门传感器、制动传感器和音频传感器(例如麦克风)。音频传感器可以被配置为捕获来自ADV周围的环境的声音。转向传感器可以被配置为感测车辆的转向盘、车轮或其组合的转向角。油门传感器和制动传感器分别感测车辆的油门位置和制动位置。在一些情况下，油门传感器和制动传感器可以集成为集成的油门/制动传感器。
在一个实施例中，车辆控制系统111包括但不限于转向单元201、油门单元202(也称为加速单元)和制动单元203。转向单元201用于调节车辆的方向或航向。油门单元202用于控制马达或引擎的速度，马达或引擎的速度转而控制车辆的速度和加速度。制动单元203通过提供摩擦以使车辆的车轮或轮胎变慢来使车辆减速。注意，图2所示的组件可以用硬件、软件或其组合来实现。
返回参考图1，无线通信系统112允许在ADV 101和外部系统，诸如设备、传感器、其他车辆等之间的通信。例如，无线通信系统112可以直接或经由通信网络与一个或多个设备(诸如在网络102上的服务器103-104)无线通信。无线通信系统112可以使用任何蜂窝通信网络或无线局域网(WLAN)，例如使用WiFi与另一组件或系统通信。无线通信系统112可以例如使用红外链路、蓝牙等直接与设备(例如，乘客的移动设备、显示设备、车辆101内的扬声器)通信。用户接口系统113可以是在车辆101内实现的外围设备的一部分，包括例如键盘、触摸屏显示设备、麦克风和扬声器等。
ADV 101的功能中的一些或所有可以由ADS 110控制或管理，尤其是当以自主驾驶模式操作时。ADS 110包括必要的硬件(例如，(一个或多个)处理器、存储器、存储设备)和软件(例如，操作系统、规划和路线程序)，以从传感器系统115、控制系统111、无线通信系统112和/或用户接口系统113接收信息、处理接收的信息、规划从起点到目的地点的路线或路径、然后基于规划和控制信息驾驶车辆101。可替换地，ADS 110可以与车辆控制系统111集成。
例如，作为乘客的用户可以例如经由用户接口指定行程的起始位置和目的地。ADS110获得与行程有关的数据。例如，ADS 110可以从MPOI服务器获得位置和路线信息，MPOI服务器可以是服务器103-104的一部分。位置服务器提供位置服务，以及MPOI服务器提供地图服务和某些位置的POI。可替换地，这种位置和MPOI信息可以本地缓存在ADS 110的永久存储设备中。
当ADV 101沿着路线移动时，ADS 110还可以从交通信息系统或服务器(TIS)获得实时交通信息。注意，服务器103-104可以由第三方实体操作。可替换地，服务器103-104的功能可以与ADS 110集成。基于实时交通信息、MPOI信息和位置信息，以及由传感器系统115检测或感测的实时局部环境数据(例如，障碍物、对象、附近车辆)，ADS 110可以规划最佳路线，并且例如经由控制系统111根据规划的路线驾驶车辆101，以安全且高效地到达指定目的地。
服务器103可以是用以执行用于各种客户端的数据分析服务的数据分析系统。在一个实施例中，数据分析系统103包括数据收集器121和机器学习引擎122。数据收集器121从各种车辆(ADV或者是由人类驾驶员驾驶的常规车辆)收集驾驶统计123。驾驶统计123包括指示发出的驾驶命令(例如，油门、制动、转向命令)和由车辆的传感器在不同时间点捕获的车辆的响应(例如，速度、加速度、减速度、方向)的信息。驾驶统计123还可以包括描述不同时间点的驾驶环境的信息，诸如路线(包括起始位置和目的地位置)、MPOI、道路状况、天气状况等。
基于驾驶统计123，机器学习引擎122出于各种目的而生成或训练一组规则、算法和/或预测模型124。算法124包括使用LIDAR点云确定行人的速度的算法。算法124然后可以被上传在ADV上以在自主驾驶期间实时地被使用。
图3A和图3B是图示根据一个实施例的与ADV一起使用的自主驾驶系统的示例的框图。系统300可以被实现为图1的ADV 101的一部分，包括但不限于ADS 110、控制系统111和传感器系统115。参考图3A-图3B，ADS 110包括但不限于定位模块301、感知模块302、预测模块303、决策模块304、规划模块305、控制模块306、路由模块307和最小边界框生成模块308。
模块301-308中的一些或全部可以以软件、硬件或其组合实现。例如，这些模块可以被安装在永久存储设备352中，加载到存储器351中，并由一个或多个处理器(未示出)执行。注意，这些模块中的一些或全部可以通信地耦接到图2的车辆控制系统111的一些或全部模块或与图2的车辆控制系统111的一些或全部模块集成。模块301-308中的一些可以被集成在一起作为集成模块。
定位模块301确定ADV 300的当前位置(例如，利用GPS单元212)并且管理与用户的行程或路线有关的任何数据。定位模块301(也称为地图和路线模块)管理与用户的行程或路线有关的任何数据。用户可以例如经由用户接口登录并指定行程的起始位置和目的地。定位模块301与ADV 300的其他组件(诸如地图和路线数据311)通信，以获得与行程有关的数据。例如，定位模块301可以从位置服务器和地图与POI(MPOI)服务器获得位置和路线数据。位置服务器提供位置服务，以及MPOI服务器提供地图服务和某些位置的POI，它们可以作为地图和路线数据311的一部分被缓存。当ADV 300沿着路线移动时，定位模块301还可以从交通信息系统或服务器获得实时交通信息。
基于由传感器系统115提供的传感器数据和由定位模块301获得的定位信息，由感知模块302确定对周围环境的感知。感知信息可以表示普通驾驶员将感知到的驾驶员正在驾驶的车辆周围的情况。感知可以包括车道配置、交通灯信号、例如以对象形式的另一车辆、行人、建筑物、人行横道或其他交通相关标志(例如，停止标志、让步标志)等的相对位置。车道配置包括描述一个或多个车道的信息，诸如，例如车道的形状(例如，直的或弯曲的)、车道的宽度、道路中的车道数量、单向或双向车道、合并或分离车道、驶离车道等。
感知模块302可以包括计算机视觉系统或计算机视觉系统的功能，以处理和分析由一个或多个相机捕获的图像，以便识别ADV的环境中的对象和/或特征。对象可以包括交通信号、车行道边界、其他车辆、行人和/或障碍物等。计算机视觉系统可以使用对象识别算法、视频跟踪和其他计算机视觉技术。在一些实施例中，计算机视觉系统可以映射环境、跟踪对象、并估计对象的速度等。感知模块302还可以基于由诸如雷达和/或LIDAR的其他传感器提供的其他传感器数据检测对象。
对于对象中的每个，预测模块303预测对象将在环境下表现什么行为。根据一组地图/路线信息311和交通规则312，基于在该时间点的驾驶环境感知的感知数据，执行预测。例如，如果对象是在相反方向上的车辆并且当前驾驶环境包括交叉路口，则预测模块303将预测车辆将可能直线向前移动还是转弯。如果感知数据指示交叉路口没有交通灯，则预测模块303可以预测车辆在进入交叉路口之前可能必须完全停止。如果感知数据指示车辆当前处于仅向左转弯车道或仅向右转弯车道，则预测模块303可以预测车辆将更可能分别左转弯或右转弯。
对于对象中的每个，决策模块304做出关于如何处理该对象的决策。例如，对于特定对象(例如，在交叉路线中的另一车辆)及其描述对象的元数据(例如，速度、方向、转角)，决策模块304决定如何遇到对象(例如，超车、让行、停止、通过)。决策模块304可根据一组规则(诸如交通规则或驾驶规则312)做出这些决策，这组规则可以存储于永久存储设备352中。
路由模块307被配置为提供从起点到目的地点的一条或多条路线或路径。对于例如从用户接收到的从起始位置到目的地位置的给定行程，路由模块307获得路线和地图信息311并且确定从起始位置到达目的地位置的所有可能的路线或路径。路由模块307可以为从起始位置到达目的地位置确定的每条路线生成地形图形式的参考线。参考线是指没有来自诸如其他车辆、障碍物或交通状况的其他任何干扰的理想路线或路径。也就是说，如果在道路上没有其他车辆、行人或障碍物，则ADV应该精确地或紧密地遵循参考线。然后，地形图被提供给决策模块304和/或规划模块305。决策模块304和/或规划模块305检查所有可能的路线，以根据由其他模块提供的其他数据(诸如来自定位模块301的交通状况、由感知模块302感知的驾驶环境和由预测模块303预测的交通状况)选择和修改最佳路线中的一个。取决于在时间点的特定驾驶环境，用于控制ADV的实际路径或路线可以接近或不同于由路由模块307提供的参考线。
基于针对感知对象中的每个的决策，规划模块305使用由路由模块307提供的参考线作为基础规划ADV的路径或路线以及驾驶参数(例如，距离、速度和/或转角)。也就是说，对于给定对象，决策模块304决策对该对象做什么，而规划模块305确定如何做。例如，对于给定对象，决策模块304可以决策经过对象，而规划模块305可以确定是在对象的左侧还是右侧经过。规划和控制数据由规划模块305生成，包括描述车辆300在下一个移动周期(例如，下一个路线/路径段)中将如何移动的信息。例如，规划和控制数据可以指示车辆300以每小时30英里(mph)的速度移动10米，然后以25mph的速度改变到右车行道。
基于规划和控制数据，控制模块306通过根据由规划和控制数据限定的路线或路径向车辆控制系统111发送适当的命令或信号，控制和驾驶ADV。规划和控制数据包括足够的信息以沿着路径或路线在不同时间点使用适当的车辆设置或驾驶参数(例如，油门、制动、转向命令)将车辆从路线或路径的第一点驾驶到第二点。
在一个实施例中，在多个规划周期中执行规划阶段，规划周期也称为驾驶周期，诸如在100毫秒(ms)的每个时间间隔中。对于每个规划周期或驾驶周期，将基于规划和控制数据发出一个或多个控制命令。也就是说，对于每100ms，规划模块305规划下一个路线段或路径段，例如包括目标位置和ADV到达目标位置所需的时间。可替换地，规划模块305还可以指定具体速度、方向和/或转向角等。在一个实施例中，规划模块305为下一个预定时间段(诸如5秒)规划路线段或路径段。对于每个规划周期，规划模块305基于在先前周期中规划的目标位置规划用于当前周期(例如，下一个5秒)的目标位置。然后控制模块306基于当前周期的规划和控制数据生成一个或多个控制命令(例如，油门控制命令、制动控制命令、转向控制命令)。
注意，决策模块304和规划模块305可以集成为集成模块。决策模块304/规划模块305可以包括导航系统或导航系统的功能，以确定用于ADV的驾驶路径。例如，导航系统可以确定一系列速度和方向航向，以影响ADV沿着基本上避开感知的障碍物的路径的移动，同时大体上使ADV沿着通向最终目的地的基于车行道的路径前进。目的地可以根据经由用户接口系统113的用户输入而被设置。当ADV在操作时，导航系统可以动态地更新驾驶路径。导航系统可以合并来自GPS系统的数据和一个或多个地图，以便确定用于ADV的驾驶路径。
参考图4，示出图示根据一个实施例的在自主驾驶车辆处估计被检测的行人的移动速度中所利用的各种模块的框图400。在行人检测模块402处，在由安装在自主驾驶车辆(ADV)101处的LIDAR设备215生成的点云的多个帧中检测行人。在点云的多个帧中的至少两个帧的每个帧中，在最小边界框生成模块308处生成包围对应于行人的点、排除对应于行人肢体的点的最小边界框。在行人速度估计模块418处至少部分地基于跨点云的多个帧中的至少两个帧的最小边界框估计行人的移动速度。
跨点云的两个或更多个帧基于最小边界框估计行人移动速度的技术在本领域中是公知的。因为当行人正在移动(例如，步行或奔跑)时，对应于行人的躯干和头部的点比对应于整个行人的点更稳定，因此与基于包围对应于行人的所有点的最小边界框估计速度相比，基于包围对应于行人的点、排除对应于行人肢体的点的最小边界框估计行人的移动速度更可取，并且可以导致更准确的速度估计。在规划模块305处，至少基于行人的移动速度规划ADV 101的轨迹。此后在控制模块306处，基于规划的轨迹生成驾驶ADV 101的控制信号。
在一个实施例中，在点云的多个帧中的至少两个帧的每个帧中，为了在最小边界框生成模块308内生成包围对应于行人的点、排除对应于行人肢体的点的最小边界框，在点过滤模块404处，过滤对应于行人的点以去除低点并且仅保留高点。应当理解的是，低点对应于行人的腿和脚。在一个实施例中，过滤对应于行人的点以去除低点并且仅保留高点包括去除相对于对应于行人的点中的最高点的高度差高于第一阈值的点。
在一个实施例中，第一阈值为约0.6米(m)。在点投影模块406处，将对应于行人的点中剩余的高点投影到水平面。在主轴确定模块408处，确定与水平面上投影的高点相关联的主轴。主轴(也称为第一主分量)可以是最小化从点集合到线的平均平方距离的线。应当理解的是，当相对于与行人相关联的投影的高点进行确定时，主轴应近似对应于相对于行人沿着左右方向延伸的线。确定主轴的技术在本领域中是公知的。在一个实施例中，确定与投影的高点相关联的主轴包括对协方差矩阵执行奇异值分解(SVD)或特征值分解。
在点投影模块410处，将水平面上投影的高点进一步投影到主轴。在点过滤模块412处对两次投影的高点进行过滤以去除在主轴的两个方向上的最偏远点。应当理解的是，最偏远点对应于行人的手臂和手。在一个实施例中，对两次投影的高点进行过滤以去除主轴的两个方向上的最偏远点包括去除与两次投影的高点的质心的距离大于第二阈值的点。在对应点确定模块414处，确定对应于行人的点中对应于剩余的两次投影的高点的点的子集。此后在最小边界框生成模块416处，生成包围点的子集的最小边界框。应当理解的是，包围点的子集的最小边界框是包围对应于行人的点、排除对应于行人肢体的点的最小边界框。
应当理解的是，在其他实施例中，此后描述的技术可以适于基于最小边界框估计行人的速度，最小边界框仅包围对应于行人的头的点，或者可替换地仅包围对应于行人的躯干的点。注意，如图4所示的所有模块中的一些或全部可以集成到较少数量的模块或单个模块中。最小边界框生成模块308可以被实现为感知模块302的一部分。
参考图5，示出图示根据一个实施例的在点云的一个帧内对应于行人的LIDAR点的示例性图500。如图5所示，对应于行人的点包括对应于行人的不同部位的点。特别地，点508(即，低点)对应于行人的腿和脚。点502、506对应于行人的手臂和手。根据实施例的兴趣点504对应于行人的头和躯干。因为与其他点(包括点502、506、508)相比，点504更稳定并且更能表示行人的总体运动，所以基于仅包围兴趣点504的最小边界框估计行人的移动速度是更可取的。
参考图6A-图6C，示出图示根据一个实施例的从不同角度的行人的视图以及对应于行人的相应LIDAR点的图600A-C。图6A-图6C中的每个包括从特定角度的行人602的视图、对应于从该角度观看的行人602的LIDAR点的相应集合以及投影到水平面并覆盖基于主轴的坐标系的相同的点集合。特别地，图6A图示行人的正视图，图6B图示侧视图以及图6C图示斜视图。从图6A-图6C应当理解的是，无论如何观看，基于投影点确定的主轴始终相对于行人沿着左右方向延伸。因此，还应当理解的是，此后描述的用于估计行人的移动速度的方法应同样有效地工作，而不管LIDAR从哪个角度感知行人。
参考图7，示出图示根据一个实施例的示例性方法700的流程图，示例性方法700用于在自主驾驶车辆(ADV)处估计被检测的行人的移动速度。在框710处，在由安装在自主驾驶车辆(ADV)处的LIDAR设备生成的点云的多个帧中检测行人。在框720处，在点云的多个帧中的至少两个帧的每个帧中，生成包围对应于行人的点、排除对应于行人肢体的点的最小边界框。在框730处，至少部分地基于跨点云的多个帧中的至少两个帧的最小边界框估计行人的移动速度。在框740处，至少基于行人的移动速度规划ADV的轨迹。此后，在框750处，基于规划的轨迹生成驾驶ADV的控制信号。
参考图8，示出图示根据一个实施例的示例性方法800的流程图，示例性方法800用于生成包围对应于行人的点、排除对应于行人肢体的点的最小边界框。在框810处，过滤对应于行人的点以去除低点并且仅保留高点。应当理解的是，低点对应于行人的腿和脚。在框820处，将对应于行人的点中剩余的高点投影到水平面。在框830处，确定与水平面上投影的高点相关联的主轴。在框840处，进一步将水平面上投影的高点投影到主轴。在框850处，对两次投影的高点进行过滤以去除主轴的两个方向上的最偏远点。应当理解的是，最偏远点对应于行人的手臂和手。在框860处，确定对应于行人的点中对应于剩余的两次投影的高点的点的子集。此后，在框870处，生成包围点的子集的最小边界框。应当理解的是，包围点的子集的最小边界框是包围对应于行人的点、排除对应于行人肢体的点的最小边界框。
在一个实施例中，过滤对应于行人的点以去除低点并且仅保留高点包括去除相对于对应于行人的点中的最高点的高度差高于第一阈值的点。在一个实施例中，第一阈值为约0.6米(m)。
在一个实施例中，确定与所投影的高点相关联的主轴包括对协方差矩阵执行奇异值分解(SVD)或特征值分解。
在一个实施例中，对两次投影的高点进行过滤以去除主轴的两个方向上的最偏远点包括去除与两次投影的高点的质心的距离大于第二阈值的点。
因此，本公开的实施例涉及基于LIDAR点对行人的速度的估计，其中在速度估计中利用包围对应于行人的点、排除对应于行人肢体的点的最小边界框。因为当行人正在移动时行人的头和躯干比肢体更稳定，所以可以通过利用本文描述的实施例获得更准确的速度估计。
注意，如上所示和所述的组件中的一些或所有可以以软件、硬件或其组合实现。例如，这些组件可以被实现为安装并存储在永久存储设备中的软件，软件可以由处理器(未示出)在存储器中加载并执行以执行贯穿本申请所述的过程或操作。可替换地，这些组件可被实现为被编程或嵌入到专用硬件中的可执行代码，专用硬件诸如集成电路(例如，专用IC或ASIC)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)，其可经由来自应用的对应的驱动器和/或操作系统访问。此外，这些组件可以被实现为处理器或中的特定硬件逻辑或处理器内核，作为经由一个或多个特定指令软件组件可访问的指令集的部分。
已经关于对计算机存储器内的数据位的操作的算法和符号表示呈现了前述详细描述的一些部分。这些算法描述和表示是数据处理领域的技术人员用来最有效地将其工作实质传达给本领域的其他技术人员的方式。算法在这里并且通常被认为是导致期望结果的自洽操作序列。这些操作是需要对物理量进行物理操作的那些操作。
然而，应当记住的是，所有这些和类似的术语都与适当的物理量相关联，并且仅仅是应用于这些量的方便的标记。除非另有特别声明，从以上讨论中显而易见的是，应当理解的是，在整个说明书中，使用诸如所附权利要求书中所阐述的术语的讨论指的是计算机系统或类似电子计算设备的动作和过程，该计算机系统或类似电子计算设备将计算机系统的寄存器和存储器内的表示为物理(电子)量的数据操纵和变换成计算机系统存储器或寄存器或其他这样的信息存储、传输或显示设备内的类似表示为物理量的其他数据。
本公开的实施例还涉及用于执行本文的操作的装置。这种计算机程序存储在非暂时性计算机可读介质中。机器可读介质包括用于以机器(例如，计算机)可读的形式存储信息的任何机制。例如，机器可读(例如，计算机可读)介质包括机器(例如，计算机)可读存储介质(例如，只读存储器(“ROM”)、随机存取存储器(“RAM”)、磁盘存储介质、光存储介质、闪存设备)。
在前述附图中描述的过程或方法可以由包括硬件(例如，电路、专用逻辑等)、软件(例如，体现在非暂时性计算机可读介质上)或两者的组合的处理逻辑来执行。尽管以上关于一些顺序操作描述了过程或方法，应当理解的是，可以以不同的顺序执行所述的一些操作。此外，一些操作可以并行地而不是顺序地执行。
本公开的实施例不是参考任何特定编程语言描述的。将了解的是，可使用各种编程语言实施如本文所述的本公开的实施例的教示。
在前述说明书中，已经参考本公开的具体示例性实施例描述了本公开的实施例。显然，在不背离如所附权利要求书中所阐述的本公开的更宽的精神和范围的情况下，可以对其进行各种修改。因此，说明书和附图应被认为是说明性的而不是限制性的。

Claims (20)

1.一种用于操作自主驾驶车辆的计算机实现的方法，方法包括：
在由安装在自主驾驶车辆(ADV)处的LIDAR设备生成的点云的多个帧中检测行人；
在点云的多个帧中的至少两个帧的每个帧中，生成包围对应于行人的点并且排除对应于行人肢体的点的最小边界框；
至少部分地基于跨点云的多个帧中的至少两个帧的最小边界框估计行人的移动速度；
至少基于行人的移动速度规划ADV的轨迹；以及
基于规划的轨迹生成驾驶ADV的控制信号。
2.如权利要求1所述的方法，其中生成包围对应于行人的点并且排除对应于行人肢体的点的最小边界框还包括：
过滤对应于行人的点以去除低点并且仅保留高点，低点对应于行人的腿和脚；
将对应于行人的点中剩余的高点投影到水平面；以及
确定与水平面上投影的高点相关联的主轴。
3.根据权利要求2所述的方法，还包括：
将水平面上投影的高点投影到主轴；以及
过滤两次投影的高点以去除主轴的两个方向上的最偏远点，最偏远点对应于行人的手臂和手。
4.根据权利要求3所述的方法，还包括：
确定在对应于行人的点中对应于剩余的两次投影的高点的点的子集；以及
生成包围点的子集的最小边界框，包围点的子集的最小边界框是包围对应于行人的点并且不包括对应于行人肢体的点的最小边界框。
5.根据权利要求3所述的方法，其中过滤两次投影的高点以去除主轴的两个方向上的最偏远点包括，去除与两次投影的高点的质心的距离大于第二阈值的点。
6.根据权利要求2所述的方法，其中过滤对应于行人的点以去除低点并且仅保留高点包括，去除相对于对应于行人的点中的最高点的高度差高于第一阈值的点。
7.根据权利要求6所述的方法，其中第一阈值为约0.6米(m)。
8.根据权利要求2所述的方法，其中确定与投影的高点相关联的主轴包括，对协方差矩阵执行奇异值分解(SVD)或特征值分解。
9.一种非暂时性机器可读介质，具有存储在其中的指令，所述指令在由处理器执行时使得所述处理器执行操作，操作包括：
在由安装在自主驾驶车辆(ADV)处的LIDAR设备生成的点云的多个帧中检测行人；
在点云的多个帧中的至少两个帧的每个帧中，生成包围对应于行人的点并且排除对应于行人肢体的点的最小边界框；
至少部分地基于跨点云的多个帧中的至少两个帧的最小边界框估计行人的移动速度；
至少基于行人的移动速度规划ADV的轨迹；以及
基于规划的轨迹生成驾驶ADV的控制信号。
10.如权利要求9所述的机器可读介质，其中生成包围对应于行人的点并且排除对应于行人肢体的点的最小边界框还包括：
过滤对应于行人的点以去除低点并且仅保留高点，低点对应于行人的腿和脚；
将对应于行人的点中剩余的高点投影到水平面；以及
确定与水平面上投影的高点相关联的主轴。
11.如权利要求10所述的机器可读介质，其中操作还包括：
将水平面上投影的高点投影到主轴；以及
过滤两次投影的高点以去除主轴的两个方向上的最偏远点，最偏远点对应于行人的手臂和手。
12.如权利要求10所述的机器可读介质，其中操作还包括：
确定在对应于行人的点中对应于剩余的两次投影的高点的点的子集；以及
生成包围点的子集的最小边界框，包围点的子集的最小边界框是包围对应于行人的点并且排除对应于行人肢体的点的最小边界框。
13.如权利要求11所述的机器可读介质，其中过滤两次投影的高点以去除主轴的两个方向上的最偏远点包括，去除与两次投影的高点的质心的距离大于第二阈值的点。
14.如权利要求10所述的机器可读介质，其中过滤对应于行人的点以去除低点并且仅保留高点包括，去除相对于对应于行人的点中的最高点的高度差高于第一阈值的点。
15.如权利要求12所述的机器可读介质，其中第一阈值为约0.6米(m)。
16.如权利要求12所述的机器可读介质，其中确定与投影的高点相关联的主轴包括，对协方差矩阵执行奇异值分解(SVD)或特征值分解。
17.一种数据处理系统，包括：
处理器；以及
存储器，耦接到处理器并存储指令，指令在由处理器执行时使得处理器执行操作，操作包括：
在由安装在自主驾驶车辆(ADV)处的LIDAR设备生成的点云的多个帧中检测行人；
在点云的多个帧中的至少两个帧的每个帧中，生成包围对应于行人的点并且排除对应于行人肢体的点的最小边界框；
至少部分地基于跨点云的多个帧中的至少两个帧的最小边界框估计行人的移动速度；
至少基于行人的移动速度规划ADV的轨迹；以及
基于规划的轨迹生成驾驶ADV的控制信号。
18.如权利要求17所述的系统，其中生成包围对应于行人的点并且排除对应于行人肢体的点的最小边界框还包括：
过滤对应于行人的点以去除低点并且仅保留高点，低点对应于行人的腿和脚；
将对应于行人的点中剩余的高点投影到水平面；以及
确定与水平面上投影的高点相关联的主轴。
19.根据权利要求18所述的系统，其中操作还包括：
将水平面上投影的高点投影到主轴；以及
过滤两次投影的高点以去除主轴的两个方向上的最偏远点，最偏远点对应于行人的手臂和手。
20.根据权利要求19所述的系统，其中操作还包括：
确定在对应于行人的点中对应于剩余的两次投影的高点的点的子集；以及
生成包围点的子集的最小边界框，包围点的子集的最小边界框是包围对应于行人的点并且排除对应于行人肢体的点的最小边界框。
CN202080003292.8A 2020-05-15 2020-05-15 基于部分点云的行人速度估计方法 Active CN114026463B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/090419 WO2021226980A1 (en) 2020-05-15 2020-05-15 Partial point cloud-based pedestrians' velocity estimation method

Publications (2)

Publication Number Publication Date
CN114026463A true CN114026463A (zh) 2022-02-08
CN114026463B CN114026463B (zh) 2024-06-21

Family

ID=78513246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080003292.8A Active CN114026463B (zh) 2020-05-15 2020-05-15 基于部分点云的行人速度估计方法

Country Status (5)

Country Link
US (1) US11703599B2 (zh)
EP (1) EP3935413B1 (zh)
JP (1) JP7196205B2 (zh)
CN (1) CN114026463B (zh)
WO (1) WO2021226980A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116540252A (zh) * 2023-07-06 2023-08-04 上海云骥跃动智能科技发展有限公司 基于激光雷达的速度确定方法、装置、设备及存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11592570B2 (en) * 2020-02-25 2023-02-28 Baidu Usa Llc Automated labeling system for autonomous driving vehicle lidar data
GB2611096A (en) * 2021-09-28 2023-03-29 Airbus Operations Ltd Determining the position of one or more components of a landing gear assembly of an aircraft
US12030528B2 (en) * 2021-12-03 2024-07-09 Zoox, Inc. Vehicle perception system with temporal tracker
CN115321322A (zh) * 2022-08-22 2022-11-11 日立楼宇技术（广州）有限公司 一种电梯轿厢门的控制方法、装置、设备及存储介质
US20240092359A1 (en) * 2022-09-16 2024-03-21 GM Global Technology Operations LLC Vehicle camera-based prediction of change in pedestrian motion
NL2033730B1 (en) * 2022-12-15 2024-06-20 Lely Patent Nv Method of navigating an unmanned, self-propelled vehicle, and unmanned, self-propelled vehicle configured to perform the method

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9063548B1 (en) * 2012-12-19 2015-06-23 Google Inc. Use of previous detections for lane marker detection
US20180374359A1 (en) * 2017-06-22 2018-12-27 Bakhi.com Times Technology (Beijing) Co., Ltd. Evaluation framework for predicted trajectories in autonomous driving vehicle traffic prediction
US20190315357A1 (en) * 2018-04-17 2019-10-17 Baidu Usa Llc Novel method for speed adjustment of autonomous driving vehicles prior to lane change
CN110588653A (zh) * 2018-05-24 2019-12-20 通用汽车环球科技运作有限责任公司 自主车辆的控制系统、控制方法以及控制器
CN110667591A (zh) * 2018-07-02 2020-01-10 百度（美国）有限责任公司 用于自动驾驶车辆的规划驾驶感知系统
CN111033422A (zh) * 2018-05-18 2020-04-17 百度时代网络技术（北京）有限公司 操作自动驾驶车辆的规划阶段和控制阶段之间的漂移校正

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8564534B2 (en) * 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
US9904852B2 (en) * 2013-05-23 2018-02-27 Sri International Real-time object detection, tracking and occlusion reasoning
KR101543105B1 (ko) * 2013-12-09 2015-08-07 현대자동차주식회사 보행자 인식 장치 및 그의 처리 방법과 이를 지원하는 차량
US10262234B2 (en) * 2017-04-24 2019-04-16 Baidu Usa Llc Automatically collecting training data for object recognition with 3D lidar and localization
US11282389B2 (en) * 2018-02-20 2022-03-22 Nortek Security & Control Llc Pedestrian detection for vehicle driving assistance
US20190310651A1 (en) 2018-04-10 2019-10-10 Uber Technologies, Inc. Object Detection and Determination of Motion Information Using Curve-Fitting in Autonomous Vehicle Applications
US11550061B2 (en) * 2018-04-11 2023-01-10 Aurora Operations, Inc. Control of autonomous vehicle based on environmental object classification determined using phase coherent LIDAR data
US10906536B2 (en) 2018-04-11 2021-02-02 Aurora Innovation, Inc. Control of autonomous vehicle based on determined yaw parameter(s) of additional vehicle
EP3803736A1 (en) 2018-06-07 2021-04-14 DEKA Products Limited Partnership System and method for distributed utility service execution
KR20200037736A (ko) * 2018-09-28 2020-04-09 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드 자율 주행 차량의 저속 정경을 위한 보행자 상호 작용 시스템
US11428817B2 (en) 2018-10-11 2022-08-30 Baidu Usa Llc Automatic LIDAR calibration based on cross validation for autonomous driving
CN109886113A (zh) * 2019-01-17 2019-06-14 桂林远望智能通信科技有限公司 一种基于区域候选网络的旷视行人再识别方法
KR102593948B1 (ko) * 2019-01-23 2023-10-25 모셔널 에이디 엘엘씨 주석 달기를 위한 데이터 샘플의 자동 선택
CN110554379A (zh) * 2019-09-18 2019-12-10 南京慧尔视智能科技有限公司 基于微多普勒的人员检测方法及系统
US11074438B2 (en) * 2019-10-01 2021-07-27 Toyota Research Institute, Inc. Disentangling human dynamics for pedestrian locomotion forecasting with noisy supervision
US11460857B1 (en) * 2020-02-21 2022-10-04 Zoox, Inc. Object or person attribute characterization
EP4149807A4 (en) * 2020-05-14 2024-05-15 Perceptive Automata, Inc. TURN-AWARE MACHINE LEARNING FOR TRAFFIC BEHAVIOR PREDICTION

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9063548B1 (en) * 2012-12-19 2015-06-23 Google Inc. Use of previous detections for lane marker detection
US20180374359A1 (en) * 2017-06-22 2018-12-27 Bakhi.com Times Technology (Beijing) Co., Ltd. Evaluation framework for predicted trajectories in autonomous driving vehicle traffic prediction
CN109937343A (zh) * 2017-06-22 2019-06-25 百度时代网络技术（北京）有限公司 用于自动驾驶车辆交通预测中的预测轨迹的评估框架
US20190315357A1 (en) * 2018-04-17 2019-10-17 Baidu Usa Llc Novel method for speed adjustment of autonomous driving vehicles prior to lane change
CN111033422A (zh) * 2018-05-18 2020-04-17 百度时代网络技术（北京）有限公司 操作自动驾驶车辆的规划阶段和控制阶段之间的漂移校正
CN110588653A (zh) * 2018-05-24 2019-12-20 通用汽车环球科技运作有限责任公司 自主车辆的控制系统、控制方法以及控制器
CN110667591A (zh) * 2018-07-02 2020-01-10 百度（美国）有限责任公司 用于自动驾驶车辆的规划驾驶感知系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王灿;孔斌;杨静;王智灵;祝辉;: "基于三维激光雷达的道路边界提取和障碍物检测算法", 模式识别与人工智能, no. 04, 15 April 2020 (2020-04-15) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116540252A (zh) * 2023-07-06 2023-08-04 上海云骥跃动智能科技发展有限公司 基于激光雷达的速度确定方法、装置、设备及存储介质
CN116540252B (zh) * 2023-07-06 2023-09-26 上海云骥跃动智能科技发展有限公司 基于激光雷达的速度确定方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2021226980A1 (en) 2021-11-18
US20210356599A1 (en) 2021-11-18
JP2022535465A (ja) 2022-08-09
US11703599B2 (en) 2023-07-18
EP3935413A1 (en) 2022-01-12
JP7196205B2 (ja) 2022-12-26
CN114026463B (zh) 2024-06-21
EP3935413B1 (en) 2024-07-24
EP3935413A4 (en) 2022-03-30

Similar Documents

Publication Publication Date Title
CN111775933B (zh) 用于基于车辆周围障碍物的移动轨迹自主驾驶车辆的方法
US10915766B2 (en) Method for detecting closest in-path object (CIPO) for autonomous driving
CN114026463B (zh) 基于部分点云的行人速度估计方法
US11485360B2 (en) Dynamic speed limit adjustment system based on perception results
CN113950703B (zh) 确定外参矩阵是否准确的方法、装置及数据处理系统
CN113496189B (zh) 基于静态障碍物地图的感知方法及系统
CN112124318A (zh) 自主驾驶车辆的障碍物感知校准系统
CN113064143A (zh) 用于具有多LiDAR传感器的自动驾驶车辆的再校准确定系统
US11661085B2 (en) Locked pedestrian detection and prediction for autonomous vehicles
CN113748059B (zh) 离线和在线解决方案相结合的停车轨迹生成方法
CN113508350B (zh) 基于反馈的实时转向校准系统
CN112985435A (zh) 用于操作自主驾驶车辆的方法及系统
EP3838696A1 (en) A post collision, damage reduction brake system
CN113815526B (zh) 用于自动驾驶车辆的早期制动灯警告系统
CN113728324B (zh) 基于点云的低高度障碍物检测系统
CN212391730U (zh) 用于自动驾驶车辆的光探测和测距装置
US11288528B2 (en) Differentiation-based traffic light detection
US11529969B2 (en) Pull over method based on quadratic programming for path planning
CN212515471U (zh) 用于自动驾驶车辆的光探测和测距装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant