CN113984084A - 自动驾驶协作感测 - Google Patents

自动驾驶协作感测 Download PDF

Info

Publication number
CN113984084A
CN113984084A CN202111295172.2A CN202111295172A CN113984084A CN 113984084 A CN113984084 A CN 113984084A CN 202111295172 A CN202111295172 A CN 202111295172A CN 113984084 A CN113984084 A CN 113984084A
Authority
CN
China
Prior art keywords
sensor input
autonomous driving
pose
determining
cooperative sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111295172.2A
Other languages
English (en)
Inventor
黄浴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Black Sesame Intelligent Technology Co ltd
Original Assignee
Black Sesame Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Black Sesame Intelligent Technology Co ltd filed Critical Black Sesame Intelligent Technology Co ltd
Publication of CN113984084A publication Critical patent/CN113984084A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G01C21/3415—Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/007—Transform coding, e.g. discrete cosine transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/40—High definition maps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Discrete Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种自动驾驶协作感测的方法，包括：接收至少一个传感器输入；基于所述至少一个传感器输入来确定位姿；将所述至少一个传感器输入与所述位姿同步；对所述至少一个传感器输入、所述位姿和所述同步进行变换；基于所述变换来确定中间表示；基于所述变换来确定对象提取；将所述至少一个传感器输入、所述中间表示和所述对象提取聚合；以及确定所述聚合的鸟瞰图。

Description

自动驾驶协作感测
技术领域
本发明涉及自动驾驶，更具体地涉及用于自动驾驶的协作感测。
背景技术
目前，自动驾驶的方法是基于被称为本车(ego vehicle)的单个车辆。这导致了一种传感器孤岛式驾驶方法，其中本车本身就是一个孤岛，不允许本车获得从外部观察驾驶条件的益处。这种传感器孤岛式方法可能导致非常有限的优势点，并且不给车辆额外的时间来考虑驾驶状况。
发明内容
一种自动驾驶协作感测的示例性方法，包括：接收至少一个传感器输入；基于所述至少一个传感器输入来确定位姿；将所述至少一个传感器输入与所述位姿同步；对所述至少一个传感器输入等所述位姿和所述同步进行变换；基于所述变换来确定中间表示；基于所述变换来确定对象提取；将所述至少一个传感器输入、所述中间表示和所述对象提取聚合，并确定所述聚合的鸟瞰图。
一种自动驾驶协作感测的另一示例性方法，包括：接收至少一个传感器输入；基于所述至少一个传感器输入来确定位姿；将所述至少一个传感器输入与所述位姿同步；对所述至少一个传感器输入、所述位姿和所述同步进行变换；基于所述变换来确定对象提取；将所述至少一个传感器输入和所述对象提取进行聚合；检测所提取的对象；分割所提取的对象；将检测到的对象和经分割的对象融合并确定所述聚合的鸟瞰图。
附图说明
在附图中：
图1是根据本公开的一个实施例的第一示例性系统示意图；
图2是根据本公开的一个实施例的第二示例性系统示意图；
图3是根据本公开的一个实施例的示例性V2X(vehicle to everythin，车联网)感测系统；
图4是根据本公开的一个实施例的V2X传感器融合的示例；
图5是根据本公开的一个实施例的没有用于V2X中的传感器融合的HD(高清晰度)地图的车辆定位的示例；
图6是根据本公开的一个实施例的具有用于V2X中的传感器融合的HD地图的车辆定位的示例；
图7是根据本公开的一个实施例的V2X中的道路传感器网络的示例；
图8是根据本公开的一个实施例的第一示例性方法；以及
图9是根据本公开的一个实施例的第二示例性方法。
具体实施方式
以下列出的实施例仅是为了说明对本设备和方法的应用而进行的撰写，并不限制其范围。对这种设备和方法的等同的修改形式应归入权利要求的范围内。
在整个以下描述和权利要求书中，使用某些术语来指代特定系统部件。如本领域技术人员将领会的，不同的团体可用不同的名称来指代部件和/或方法。本文档不意在区分名称不同但功能相同的部件和/或方法。
在以下的论述和权利要求书中，术语“包括”和“包含”以开放式方式使用，因此可被解释为表示“包括但不限于……”。此外，术语“耦合”或“耦接”意在表示间接或直接的连接。因此，如果第一装置连接到第二装置，则该连接可以是直接的连接或经由其他装置和连接的间接的连接。
图1描绘了示例性混合计算系统100，该混合计算系统100可用于实现与附图6和图7中描述的过程的一个或多个部分或步骤的操作相关联的神经网络。在该示例中，与混合系统相关联的处理器包括现场可编程门阵列(Field Programmable Gate Array，FPGA)122、图形处理器单元(Graphical Processor Unit，GPU)120、和中央处理器(CentralProcessing Unit，CPU)118。
CPU 118、GPU 120和FPGA 122具有提供神经网络的能力。CPU是可执行许多不同功能的通用处理器，CPU的通用性导致了用以执行多种不同任务的能力。然而，CPU对多个数据流的处理受到限制，并且CPU相对于神经网络的功能受到限制。GPU是图形处理器，具有能够按顺序处理并行任务的许多小型处理核心。FPGA是一种现场可编程装置，FPGA具有被重新配置并且以硬连线电路的方式执行可被编程到CPU或GPU中的任意功能的能力。由于以电路形式对FPGA进行编程，因此其速度比CPU快许多倍，并且明显快于GPU。
系统还可包含其他类型的处理器，诸如加速处理单元(Accelerated ProcessingUnit，APU)和数字信号处理器(Digital Signal Processor，DSP)，APU包括具有片上GPU元件的CPU，DSP被设计为用于执行高速数字数据处理。专用集成电路(Application SpecificIntegrated Circuit，ASIC)也可执行FPGA的硬连线功能。然而，用以设计和生产ASIC的交付周期大约为三个月，而不是在对FPGA进行编程中可用的快速周转实施方案。
图形处理器单元120、中央处理器118和现场可编程门阵列122彼此连接，并且图形处理器单元120、中央处理器118和现场可编程门阵列122连接到存储器接口控制器112。FPGA通过可编程逻辑电路到存储器互连130连接到存储器接口控制器112。利用该额外的装置是因为FPGA在非常大的带宽下运行并且为了使FPGA用以执行存储任务所利用的电路最小化。存储器接口控制器112另外地连接到永久性存储器盘110、系统存储器114和只读存储器(ROM)116。
图1的系统可用于对FPGA进行编程和训练。GPU与非结构化数据一起很好地运行，并且可用于训练，一旦训练了数据，就可找到确定性的推理模型，并且CPU可利用由GPU确定的模型数据对FPGA进行编程。
存储器接口控制器112连接到中央互连124，中央互连另外连接到GPU 120、CPU118和FPGA 122。中央互连124另外连接到输入和输出接口128和网络接口126。
图2描绘了第二示例性混合计算系统200，该混合计算系统200可用于实现与过程800和900的一个或多个部分或步骤的操作相关的神经网络。在该示例中，与混合系统相关的处理器包括现场可编程门阵列(FPGA)210和中央处理器(CPU)220。
FPGA电连接到FPGA控制器212，FPGA控制器212与直接存储器存取(Direct MemoryAccess，DMA)218接口连接。DMA连接到输入缓冲器214和输出缓冲器216，输入缓冲器214和输出缓冲器216耦合到FPGA以分别将数据缓冲到FPGA中以及将数据从FPGA缓冲出。DMA 218包括两个先进先出(First In First Out，FIFO)缓冲器，一个用于主CPU，另一个用于FPGA。DMA允许数据被写入适当的缓冲器以及从适当的缓冲器读取数据。
在DMA的CPU侧的是主交换机228，主交换机228将数据和命令往返传送到DMA。DMA还连接到SDRAM控制器224，该SDRAM控制器224允许将数据从CPU 220传送到FPGA并且允许数据从FPGA传送到CPU 220。SDRAM控制器还连接到外部SDRAM 226和CPU 220。主交换机228连接到外围设备接口230。闪存控制器222控制持久性存储器，并连接到CPU 220。
V2X是使车辆能够与交通和车辆周围的环境通信的车辆技术系统，V2X包括车辆到车辆(Vehicle-to-Vehicle，V2V)通信和车辆到基础设施(Vehicle-to-Infrastructure，V2I)通信。通过累积来自对等体的详细信息，可以减少本车的缺点，例如感测距离和盲点。
V2X允许从其他车辆或路边设备传送信息以增强本车的感知能力。传送可以考虑时间延迟和空间位姿差异。V2V感知将考虑车载传感器数据处理代理。一个示例是在本车前面的车辆，该车辆可以感知本车看不到的场景并共享检测到的信息，例如车道、交通标志和障碍物。
车辆到基础设施通信处理从路边(例如在十字路口处)捕获的传感器数据，使得路边感知可以共享交通信号、道路车道信息和车辆/行人状态。
在车联网中，车载单元(On-Board Unit，OBU，)或车载设备(Vehicle On-Board，OBE)可以包括天线、定位系统、处理器、车辆操作系统和人机界面(Human MachineInterface，HMI)。
路边单元(Roadside Unit，RSU)或路边设备(Roadside Equipment，RSE)可以包括天线、定位系统、处理器、车辆基础设施接口和其他接口。
车联网感测可以类似于自动驾驶中的感测，并且另外包括路边处的传感器，所述路边处的传感器可以是静态的或移动的。路边处的传感器可具有较高的位姿以观看更宽广的视野并避免在本车处发生的大量遮挡，其可不受车辆调节和成本的限制。另外，路边处的边缘计算可以提供计算能力超过本车的计算平台。
如图3所示，时间考虑(temporal consideration)可以包括从不同代理接收的数据之间的时间差。即时系统可以包括具有时间窗口的数据容器，例如，一秒、针对激光雷达(光检测和测距)/雷达的10帧、和针对相机的30帧。可以包括用于空间配准的位姿数据，该位姿数据根据车辆定位获取并且基于与高清(High Definition，HD)内部测量单元(Inertial Measurement Unit，IMU)地图中的信息的匹配。
图3描绘了包括第一发送器模块310的示例性车联网感测系统300，第一发送器模块包括来自相机320的输入、针对位姿322的输入、和针对时间同步324的输入。第一发送器模块包括耦合到编码器332的数据变换模块326，编码器332又连接到解码器334和全连接层330。数据变换模块326还经由压缩模块328连接到数据聚合模块352。
第二发送器模块312包括来自激光雷达336的输入、针对位姿338的输入、和针对时间同步340的输入。第二发送器模块包括耦合到编码器348的数据变换模块342，编码器348又连接到解码器350和全连接层346。数据变换模块342还经由压缩模块344连接到数据聚合模块352。
数据变换模块326和数据变换模块342都连接到高清晰度地图314，高清晰度地图314又连接到数据聚合模块352。
数据聚合模块352连接到具有解压缩354和插值356的接收器318，解压缩354和插值356都通向鸟瞰图362输出。运动补偿模块358连接到对象364输出、中间表示(Intermediate Representation，IR)366和分割368。数据聚合模块352可以通过接收器路由以输出姿势370和时间同步372。
本车传感器可以包括相机和激光雷达。神经网络模型可以处理原始数据以输出中间表示、场景分割和对象检测。为了统一融合空间，可以将原始数据映射到鸟瞰图(BirdEye View，BEV)，并且可以将处理的结果寄存在同一空间中。
标记为压缩和解压缩的模块可以用于原始数据，模块插值和运动补偿可以基于时间同步信号和基于高清晰度(HD)地图和本车定位的相对位姿在接收器处使用。为了保持有限的尺度空间，可以保留红外中的多个层，例如三层，这可以允许增加不同数据分辨率的灵活融合，例如机械式激光雷达传感器中的16、32、64扫描线的灵活融合。
图4描绘了包括第一发送器模块310的另一示例性车联网感测系统400。所述第一发送器模块包括来自相机320的输入、针对位姿322的输入、和针对时间同步324的输入。第一发送器模块包括耦合到编码器332的数据变换模块326，编码器332又连接到解码器334和全连接层330。数据变换模块326还经由压缩模块328连接到数据聚合模块352。
第二发送器模块312包括来自激光雷达336的输入、针对位姿338的输入、和针对时间同步340的输入。第二发送器模块包括耦合到编码器348的数据变换模块342，编码器348又连接到解码器350和全连接层346。数据变换模块342还经由压缩模块344连接到数据聚合模块352。
数据变换模块326和数据变换模块342都连接到高清晰度地图314，高清晰度地图314又连接到数据聚合模块352。
数据聚合模块352连接到具有解压缩354和插值356的接收器418，解压缩354和插值356都通向鸟瞰图362输出。运动补偿模块358连接到鸟瞰图输出362、对象融合模块410、全连接层412和用于分割模块414输出对象364的对象融合。数据聚合模块352可以通过接收器路由以输出姿势370和时间同步372。
图4示出了V2X融合，其中IR、分割和检测信道分别被融合。原始数据可以在接收器侧由模块运动补偿和模块插值来融合。同时，可以将IR发送到神经网络以生成对象级结果。诸如经检测和经分割的对象级结果可以在模块对象融合中进行融合。
可以利用用于V2X传感器融合的基于HD地图的定位。利用传感器融合框架来处理传感器缺点和利用信息可能是有益的。图5描绘了没有HD地图的车辆定位的传感器融合框架。激光雷达和相机测距(odometry)可以与全球定位系统/内部测量单元(InertialMeasurement Unit，IMU)/车轮编码器一起工作到融合滤波器，例如卡尔曼滤波器或粒子滤波器。激光雷达测距可以利用点云匹配来估计车辆运动。视觉测距(Visual Odometry)可以应用诸如基于图像的直接方法、诸如特征提取和匹配的基于特征的方法以及诸如边缘和/或梯度的半直接方法。
图5描绘了没有用于V2X中的传感器融合的HD地图的车辆定位。激光雷达测距模块510包括来自激光雷达516、GPS 518和内部测量单元520的输入，并且激光雷达测距模块510将信号输出到融合滤波器514。视觉测距单元512从IMU 522、CPS 524和相机526接收输入，并且向融合滤波器514输出信号。融合滤波器还接收来自GPS 530和车轮编码器528的输入以输出定位534。
图6示出了具有HD地图、GPS和其它测距设备的定位平台。HD地图匹配可以导致更精确的定位。直方图/粒子滤波器可用于基于激光雷达反射率图的匹配，并且正态分布变换(Normal Distribution Transform，NDT)可用于基于激光雷达点云的匹配。
安装有相机传感器的车辆可用于检测诸如道路车道/标记、交通标志/灯光等地标，被识别并与用于匹配的HD地图中的对应元素进行匹配。IPM(Inverse PerspectiveMapping，逆透视映射)可用于将图像平面中的地标位置转换为道路平面，以与HD地图进行合理匹配。可以将高清地图中的交通标志和灯投射到图像平面上以进行匹配。PnP(Perspective-n-Points，n点透视)可用于与二维图像特征点匹配的三维点云。
图6描绘了具有用于V2X中的传感器融合的HD地图的车辆定位的示例。在激光雷达测距模块610、直方图粒子滤波器612和正态分布变换614中接收激光雷达634输入。来自激光雷达测距模块610、直方图粒子滤波器612和正态分布变换614的输出由地图匹配模块626与来自HD地图模块628的数据同时地接收。
相机642向道路车道和标记检测单元616、交通标志和灯光检测单元618、n点透视模块620和视觉测距单元622输入数据。由逆透视映射单元624接收来自道路车道和标记检测单元616的输出，然后将其输出到地图匹配单元626。除了车轮编码器信号636、IMU 638和GPS 640之外，交通标志和灯光检测单元618、n点透视模块620和视觉测距单元622的输出也被输入到地图匹配单元626。
除了车轮编码器信号636、IMU 638和GPS 640之外，融合滤波器630还从模块610接收激光雷达测距数据和从626接收地图匹配数据。融合滤波器输出定位信号632。
神经网络模型可用于V2X框架中的信息，如图7中所示。从路边和其他车辆的感知，本车可以接收关于道路网络和交通规则的更多信息，这些信息可以与其自身的感知集成以更自信地识别驾驶环境。本地道路网络发送与交通规则有关的信息，这种车道合并、车道分割和坡道进入和离开高速公路、人行道、交叉路口的位置、T形交叉口的位置和环形交叉口的位置以及在非城市环境中的可驾驶空间。此外，可以发送与交通灯、停车标志/让行标志、速度限制、转弯/直箭头、交通锥标、用于学校区域的警告、建筑区域等有关的数据。运动补偿和插值可以将检测到的地标和道路标记与本车对准。
本公开提出了V2X中的传感器融合平台和融合网络，以将有关原始数据、IR和对象级别结果的信息与时间延迟和位姿信号相结合。该方法可以在V2X中提供定位框架以辅助协作感知。
图7描绘了V2X中的道路传感器网络的示例。车辆710和车辆712将数据718、时间延迟720和位姿722输出到编码器730、解码器732和全连接层734，以发送到聚合模块746。道路传感器714和道路传感器716将数据724、时间延迟726和位姿728输出到编码器736、解码器738和全连接层740，以发送到聚合模块746。
聚合模块746耦合到运动补偿模块742和运动补偿模块748、编码器752、解码器751全连接层756、插值模块744和插值模块750、以及用于本车762的融合模块758和融合模块760。
图8描绘了自动驾驶协作感测的示例性方法，该方法包括：接收810至少一个传感器输入；基于所述至少一个传感器输入来确定812位姿；以及将至少一个传感器输入与位姿同步814。该方法还包括：对所述至少一个传感器输入、所述位姿和所述同步进行变换816；基于所述变换确定818中间表示；基于所述变换确定820对象提取；将所述至少一个传感器输入、所述中间表示和所述对象提取进行聚合822；以及确定824所述聚合的鸟瞰图。
该方法还可以包括：对所述变换进行编码、对所述变换进行解码和对所述变换进行压缩。至少一个传感器输入可以包括相机信号和激光雷达信号中的至少一者。该方法还可以包括：接收区域的高清晰度地图，其中该区域为接收到至少一个传感器输入的区域；对聚合进行解压缩和插值；以及对聚合、中间表示和对象提取进行运动补偿。至少一个传感器输入可以从附近车辆和路边传感器中的至少一者接收，并且所述路边传感器可以包括激光雷达、车轮编码器、内部测量单元、GPS和相机。
图9描绘了自动驾驶协作感测的另一示例性方法，包括：接收910至少一个传感器输入；基于所述至少一个传感器输入确定912位姿；以及将所述至少一个传感器输入与所述位姿同步914。该方法还包括：对所述至少一个传感器输入、所述位姿和所述同步进行变换916；基于所述变换确定918对象提取；以及将所述至少一个传感器输入和所述对象提取进行聚合920。该方法还包括：检测922所提取的对象；分割924所提取的对象；将所检测和所分割的对象进行融合926；以及确定928所述聚合的鸟瞰图。
该方法还可以包括：对所述变换进行编码、对所述变换进行解码和对所述变换进行压缩。至少一个传感器输入可以包括相机信号和激光雷达信号中的至少一者。该方法还可以包括：接收区域的高清晰度地图，其中该区域为接收到至少一个传感器输入的区域；对聚合进行解压缩和插值；以及对聚合、中间表示和对象提取进行运动补偿。至少一个传感器输入可以从附近车辆和路边传感器中的至少一者接收，并且所述路边传感器可以包括激光雷达、车轮编码器、内部测量单元、GPS和相机。至少一个传感器输入可以从附近车辆和路边传感器中的至少一者接收。
本领域技术人员将领会的是，本文所描述的各种说明性块、模块、元件、部件、方法和算法可被实现为电子硬件、计算机软件或两者的组合。为了说明硬件和软件的这种可互换性，以上已经根据其功能大体上描述了各种说明性的块、模块、元件、组件、方法和算法。将这样的功能实现为硬件还是软件取决于具体的应用和施加在系统上的设计约束条件。技术人员可针对每个具体的应用以不同方式来实现所描述的功能。在均不背离本主题技术的范围的情况下，各种部件和块可被不同地布置(例如，以不同的顺序布置或以不同的方式划分)。
应理解的是，所公开的过程中步骤的特定顺序或层级是对示例方法的说明。基于设计偏好，应理解的是，可重新排列过程中步骤的特定顺序或层级。一些步骤可被同时执行。随附的方法权利要求以示例顺序呈现了各个步骤的要素，并不意味着受限于所呈现的特定顺序或层级。
提供先前的描述以使得本领域的任意技术人员能够实践本文所描述的各个方面。先前的描述提供了本主题技术的各种示例，并且本主题技术不限于这些示例。对这些方面的各种修改对于本领域技术人员而言将是明显的，并且本文中定义的一般原理可应用于其他方面。因此，不意在将权利要求受限于本文中所示出的各方面，而是意在使全部范围与权利要求的语言表述相一致，其中以单数形式所提及的元素并不意在表示“一个且仅一个”，除非明确如此阐明，而是表示“一个或多个”。除非另有明确阐明，否则术语“一些”是指一个或多个。男性代词(例如，他的)包括女性和中性性别(例如，她及它)，反之亦然。标题和副标题，如果有的话，仅是为了方便起见，并不限制本发明。谓语词“被配置以”、“可操作以”和“被编程以”并不意味着对对象进行任意具体的有形或无形修改，而是意在将其互换使用。例如，被配置以监测和控制操作或部件的处理器也可意味着处理器被编程以监测和控制操作或处理器可被操作以监测和控制操作。同样地，被配置以执行代码的处理器可被解释为被编程以执行代码或可被操作以执行代码的处理器。
诸如“方面”的短语并不意味着这样的方面对于本主题技术是必不可少的，也不意味着这样的方面适用于本主题技术的配置。与一方面有关的公开内容可应用于配置，或者一个或多个配置。一个方面可提供一个或多个示例。诸如方面的短语可指一个或多个方面，反之亦然。诸如“实施例”的短语并不意味着这样的实施例对于本主题技术是必不可少的，也不意味着这样的实施例适用于本主题技术的配置。与一实施例有关的公开内容可适用于实施例，或者一个或多个实施例。一实施例可提供一个或多个示例。诸如“实施例”的短语可指一个或多个实施例，反之亦然。诸如“配置”的短语并不意味着这样的配置对于本主题技术是必不可少的，也不意味着这样的配置适用于本主题技术的配置。与一个配置有关的公开内容可适用于配置，或者一个或多个配置。一个配置可提供一个或多个示例。诸如“配置”的短语可指一个或多个配置，反之亦然。
词语“示例”在本文中用来表示“用作示例或说明”。本文中被描述为“示例”的任意方面或设计不必然被解释为比其他方面或设计更优选或更有利。
对于本领域普通技术人员而言是已知或以后将知道的是，在整个本公开中所描述的各个方面的元件的结构和功能等同物均通过引用明确地并入本文，并且意在被权利要求书所涵盖。此外，无论在权利要求书中是否明确叙述了本文所描述的公开内容，都不意在将这样的公开内容捐献于公众。除非使用短语“用于……的手段”明确叙述该要素，或者在方法权利要求的情况下，使用短语“用于……的步骤”来叙述该元素，否则任何权利要求的要素均不得根据美国专利法35U.S.C.、§112、第六段的规定进行解释。此外，针对说明书或权利要求书中使用术语“包括(include)”、“具有(have)”等的程度，这样的术语旨在被包括在术语“包含”的方式内，类似于当“包括”在权利要求中被用作连接词时，对“包括”的解释那样。
对“一个实施例”、“实施例”、“一些实施例”、“各种实施例”等的引用指示具体的要素或特征被包括在本发明的至少一个实施例中。虽然这些短语可出现在各个地方，但是这些短语不一定指的是同一实施例。结合本公开，本领域技术人员将能够设计和结合适用于实现上述功能的各种机构中的任意一者。
应理解的是，本公开仅教导了说明性实施例的一个示例，并且本领域技术人员在阅读了本公开之后可容易地设计出本发明的许多变型，并且本发明的范围将由以下权利要求所确定。

Claims (15)

1.一种自动驾驶协作感测的方法，包括：
接收至少一个传感器输入；
基于所述至少一个传感器输入来确定位姿；
将所述至少一个传感器输入与所述位姿同步；
对所述至少一个传感器输入、所述位姿和所述同步进行变换；
基于所述变换来确定中间表示；
基于所述变换来确定对象提取；
将所述至少一个传感器输入、所述中间表示和所述对象提取进行聚合；以及
确定所述聚合的鸟瞰图。
2.根据权利要求1所述的自动驾驶协作感测的方法，其特征在于，还包括：
对所述变换进行编码；
对经编码的所述变换进行解码；以及
对所述变换进行压缩。
3.根据权利要求1所述的自动驾驶协作感测的方法，其特征在于，所述至少一个传感器输入包括相机信号和激光雷达信号中的至少一者。
4.根据权利要求1所述的自动驾驶协作感测的方法，其特征在于，还包括：接收区域的高清晰度地图，其中所述区域为接收所述至少一个传感器输入的区域。
5.根据权利要求1所述的自动驾驶协作感测的方法，其特征在于，还包括：对所述聚合进行解压缩和插值。
6.根据权利要求1所述的自动驾驶协作感测的方法，其特征在于，还包括：对所述聚合、所述中间表示和所述对象提取进行运动补偿。
7.根据权利要求1所述的自动驾驶协作感测的方法，其特征在于，所述至少一个传感器输入是从附近车辆和路边传感器中的至少一者接收的。
8.根据权利要求1所述的自动驾驶协作感测的方法，其特征在于，所述至少一个传感器输入是从激光雷达、车轮编码器、内部测量单元、GPS和相机中的至少一者接收的。
9.一种自动驾驶协作感测的方法，包括：
接收至少一个传感器输入；
基于所述至少一个传感器输入来确定位姿；
将所述至少一个传感器输入与所述位姿同步；
对所述至少一个传感器输入、所述位姿和所述同步进行变换；
基于所述变换来确定对象提取；
将所述至少一个传感器输入和所述对象提取进行聚合；
检测所提取的对象；
对所述所提取的对象进行分割；
将所检测的对象和所分割的对象进行融合；以及
确定所述聚合的鸟瞰图。
10.根据权利要求9所述的自动驾驶协作感测所述的方法，其特征在于，还包括：
对所述变换进行编码；
对经编码的所述变换进行解码；以及
对所述变换进行压缩。
11.根据权利要求9所述的自动驾驶协作感测所述的方法，其特征在于，所述至少一个传感器输入包括相机信号和激光雷达信号中的至少一者。
12.根据权利要求9所述的自动驾驶协作感测所述的方法，其特征在于，还包括：接收区域的高清晰度地图，其中所述区域为接收所述至少一个传感器输入的区域。
13.根据权利要求9所述的自动驾驶协作感测所述的方法，其特征在于，还包括：对所述聚合进行解压缩和插值。
14.根据权利要求9所述的自动驾驶协作感测所述的方法，其特征在于，所述至少一个传感器输入是从附近车辆和路边传感器中的至少一者接收的。
15.根据权利要求9所述的自动驾驶协作感测所述的方法，其特征在于，所述至少一个传感器输入是从激光雷达、车轮编码器、内部测量单元、GPS和相机中的至少一者接收的。
CN202111295172.2A 2021-03-05 2021-11-03 自动驾驶协作感测 Pending CN113984084A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/193,886 US20220281459A1 (en) 2021-03-05 2021-03-05 Autonomous driving collaborative sensing
US17/193,886 2021-03-05

Publications (1)

Publication Number Publication Date
CN113984084A true CN113984084A (zh) 2022-01-28

Family

ID=79746194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111295172.2A Pending CN113984084A (zh) 2021-03-05 2021-11-03 自动驾驶协作感测

Country Status (2)

Country Link
US (1) US20220281459A1 (zh)
CN (1) CN113984084A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115294766A (zh) * 2022-07-31 2022-11-04 东风汽车集团股份有限公司 虚拟红绿灯构建方法、装置、设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7019731B2 (ja) * 2019-01-30 2022-02-15 バイドゥ ドットコム タイムス テクノロジー （ベイジン） カンパニー リミテッド 自動運転車のためのリアルタイム地図生成システム
US11967161B2 (en) * 2020-06-26 2024-04-23 Amazon Technologies, Inc. Systems and methods of obstacle detection for automated delivery apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115294766A (zh) * 2022-07-31 2022-11-04 东风汽车集团股份有限公司 虚拟红绿灯构建方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US20220281459A1 (en) 2022-09-08

Similar Documents

Publication Publication Date Title
US11774261B2 (en) Automatic annotation of environmental features in a map during navigation of a vehicle
CN111102986B (zh) 用于运载工具导航的尺寸缩小的地图的自动生成以及时空定位
US11092456B2 (en) Object location indicator system and method
JP2023153943A (ja) 検出された障壁に基づく車両のナビゲーション
US20180288320A1 (en) Camera Fields of View for Object Detection
CN110799804A (zh) 地图生成系统和方法
WO2022104774A1 (zh) 目标检测方法和装置
EP3647733A1 (en) Automatic annotation of environmental features in a map during navigation of a vehicle
CN112543876B (zh) 用于自动驾驶车辆中的传感器同步性数据分析的系统
US20220122363A1 (en) IDENTIFYING OBJECTS USING LiDAR
CN113970924A (zh) 用于运载工具的方法和系统
WO2019147569A1 (en) Visual sensor fusion and data sharing across connected vehicles for active safety
GB2601024A (en) Identifying background features using LIDAR
CN113984084A (zh) 自动驾驶协作感测
CN110794821B (zh) 车载控制装置、场端定位装置、车辆控制系统及车辆
CN110775054B (zh) 车载控制装置、场端定位装置、车辆控制系统及车辆
US20230042450A1 (en) Training a neural network using a data set with labels of multiple granularities
US20230039935A1 (en) Scalable and realistic camera blockage dataset generation
US20240054661A1 (en) Point cloud alignment systems for generating high definition maps for vehicle navigation
CN110775055B (zh) 车载控制装置、场端定位装置、车辆控制系统及车辆
WO2022196316A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN115705722A (zh) 计算机实现方法、系统和计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination