CN112562314A - 基于深度融合的路端感知方法、装置、路端设备和系统 - Google Patents

基于深度融合的路端感知方法、装置、路端设备和系统 Download PDF

Info

Publication number
CN112562314A
CN112562314A CN202011201258.XA CN202011201258A CN112562314A CN 112562314 A CN112562314 A CN 112562314A CN 202011201258 A CN202011201258 A CN 202011201258A CN 112562314 A CN112562314 A CN 112562314A
Authority
CN
China
Prior art keywords
data
road
perception
information
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011201258.XA
Other languages
English (en)
Other versions
CN112562314B (zh
Inventor
汪浩伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Freetech Intelligent Systems Co Ltd
Original Assignee
Freetech Intelligent Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Freetech Intelligent Systems Co Ltd filed Critical Freetech Intelligent Systems Co Ltd
Priority to CN202011201258.XA priority Critical patent/CN112562314B/zh
Publication of CN112562314A publication Critical patent/CN112562314A/zh
Application granted granted Critical
Publication of CN112562314B publication Critical patent/CN112562314B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control

Abstract

本申请涉及一种基于深度融合的路端感知方法、装置、路端设备和系统，该方法包括：获取基于路端传感器采集到的感知数据和基于云端设备采集到的云端数据；根据所述感知数据和云端数据计算得到路端感知信息；所述路端感知信息包括半静态目标物体和可行驶区域；所述半静态目标物体为在第一时间范围内为静态，在第二时间范围内为动态的物体；将所述路端感知信息发送至车端，以使车端将车端感知信息和所述路端感知信息进行深度融合后得到融合信息，并根据所述融合信息驱动车辆运行。本申请基于路端传感器采集的原始数据和云端数据进行深度融合，计算得到半静态目标物体和可行驶区域下发至车端，增强了车端的自动驾驶决策规划能力。

Description

基于深度融合的路端感知方法、装置、路端设备和系统
技术领域
本申请涉及智能交通技术领域，特别是涉及一种基于深度融合的路端感知方法、装置、路端设备和系统。
背景技术
高度自动驾驶系统实际运用已经有十几年时间，相关的技术已经逐渐成熟完善，主要可以分为：1)感知技术：包括毫米波雷达，摄像头感知，激光雷达，超声波雷达等；2)融合技术：包括动态目标物融合，可驾驶区域融合和静态目标物融合；3)决策规划技术：包括行为决策，轨迹规划，横纵向控制，车辆动态模型适配等。
然而，尽管近期车载的自动驾驶硬件成本进一步降低，自动驾驶仍然面临许多挑战。首先，自动驾驶硬件的成本仍然过高，不利于车载自动驾驶系统的量产和普及。其次，感知和决策算法受到传感器安装位置、车载运算平台算力和车规级器件要求等影响，不能识别所有的情景，会出现漏检错检的情况。最后，车载传感器容易受到附件车流和障碍物的遮挡，无法正确识别目标物的情况。
车路协同被认为是辅助自动驾驶系统的有效手段，车路协同依托于路端通讯协议(比如DSRC或C-V2X)将辅助交通信息下发给途径的车辆，自动驾驶车辆可以获得更多更广范围的感知信息，以利于自身的自动驾驶决策。事实上，自动驾驶对于感知性能，不论是空间还是时域上要求都非常高，然而当前的车路协同技术更多强调落地场景的运用，路端感知设备往往只具有简单的目标级别的融合能力，且只是融合运动或静止目标物(比如来往的行人，车辆，路牌，停车亭等)，导致车辆得到的感知信息不全面。
发明内容
本申请实施例提供了一种基于深度融合的路端感知方法、装置、路端设备和系统，以至少解决相关技术中车辆得到的感知信息不全面的问题。
第一方面，本申请实施例提供了一种基于深度融合的路端感知方法，包括：
获取基于路端传感器采集到的感知数据和基于云端设备采集到的云端数据；
根据所述感知数据和云端数据计算得到路端感知信息；所述路端感知信息包括半静态目标物体和可行驶区域；所述半静态目标物体为在第一时间范围内为静态，在第二时间范围内为动态的物体；
将所述路端感知信息发送至车端，以使车端将车端感知信息和所述路端感知信息进行深度融合后得到融合信息，并根据所述融合信息驱动车辆运行。
在其中一些实施例中，所述路端感知信息包括半静态目标物体，则所述根据所述感知数据和云端数据计算得到路端感知信息，包括：
对所述感知数据进行预处理；所述预处理包括数据时空对齐；
基于时空对齐后的感知数据获取感知目标物体以及动态目标物体；
基于所述云端数据获取静态物体列表，并根据所述静态物体列表筛选所述感知目标物体得到预选目标物体；
根据所述动态目标物体筛选所述预选目标物体得到半静态目标物体。
在其中一些实施例中，根据所述动态目标物体筛选所述预选目标物体得到半静态目标物体之后，还包括：
对所述半静态目标物体进行速度跟踪；
当所述半静态目标物体速度在预设时间段内不改变时，将对应的半静态目标物体添加至静态物体列表；
将所述静态物体列表同步至车端和云端设备。
在其中一些实施例中，所述路端感知信息包括可行驶区域，则根据所述感知数据和云端数据计算得到路端感知信息，包括：
对所述感知数据进行预处理；所述预处理包括数据时空对齐；
获取所述感知数据中的各个子数据；所述路端传感器包括激光雷达、毫米波雷达和摄像头，所述子数据包括基于所述激光雷达得到的点云数据、基于所述毫米波雷达得到的点迹数据以及基于摄像头得到的图像数据；
基于点云数据、点迹数据和/或图像数据，计算确定可行使区域。
在其中一些实施例中，还包括：获取所述感知数据对应的检测区域，并将所述检测区域划分为多个分块区域；
则基于点云数据、点迹数据以及图像数据中的至少一种数据，计算确定可行使区域包括以下至少之一：
根据所述点云数据获取对应的地面距离，并根据所述地面距离和预设距离阈值确定地表点云，以将所有地表点云对应的分块区域集合确定为可行驶区域；
将所述点迹数据未覆盖的分块区域集合确定为可行驶区域；
将所述图像数据进行语义分割，得到可行驶区域。
在其中一些实施例中，根据所述感知数据和云端数据计算得到路端感知信息还包括：
基于所述路端传感器获取对应的各个子数据的权值，并将所述权值赋予基于所述各个子数据得到的对应的可行驶区域；
基于所述各个子数据的权值得到所述感知数据的空间预测权值。
在其中一些实施例中，对所述感知数据进行预处理包括：
根据所述感知数据获取数据时间戳；
根据所述数据时间戳获取绝对时间，并根据所述绝对时间将所述感知数据同步至同一时间域；
根据路端传感器的相对安装位置和空间坐标，将所述感知数据同步至同一空间域。
第二方面，本申请实施例提供了一种基于深度融合的路端感知装置，包括：
数据获取单元，用于获取基于路端传感器采集到的感知数据和基于云端设备采集到的云端数据；
路端感知信息计算单元，用于根据所述感知数据和云端数据计算得到路端感知信息；所述路端感知信息包括半静态目标物体和可行驶区域；所述半静态目标物体为在第一时间范围内为静态，在第二时间范围内为动态的物体；
路端感知信息发送单元，用于将所述路端感知信息发送至车端，以使车端将车端感知信息和所述路端感知信息进行深度融合后得到融合信息，并根据所述融合信息驱动车辆运行。
第三方面，本申请实施例提供了一种路端设备，包括路端传感器、通讯模块、存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述路端传感器包括激光雷达、毫米波雷达和摄像头，所述处理器分别连接所述处理器、路端传感器和通讯模块，所述处理器执行所述计算机程序时实现如上述第一方面所述的基于深度融合的路端感知方法。
第四方面，本申请实施例提供了一种深度融合的路端感知系统，包括：车端设备、云端设备以及如上述第三方面所述的路端设备；其中，所述路端设备连接所述云端设备和所述车端设备；
所述云端设备用于采集云端数据并发送至所述计算机设备；
所述车端设备用于将车端感知信息和所述路端感知信息进行深度融合后得到融合信息，并根据所述融合信息驱动车辆运行；
所述路端设备用于执行如上述第一方面所述的基于深度融合的路端感知方法。
相比于相关技术，本申请实施例提供的基于深度融合的路端感知方法、装置、路端设备和系统，通过获取基于路端传感器采集到的感知数据和基于云端设备采集到的云端数据，并根据所述感知数据和云端数据计算得到路端感知信息并发送至车端，实现了利用布置于路端的路端传感器采集的原始数据和云端数据进行深度融合，计算得到半静态目标物体和可行驶区域。一方面路端传感器视角不易被遮挡，路段设备能够根据完整的全局道路信息计算得到的更加全面的感知信息，如易于被遮挡的视角、道路目标物的识别和跟踪。另一方面，路端设备对元器件功耗和和车规级要求相对车载器件低，可以使用能力更强的传感器与处理器，减少漏检错检的情况出现。通过使车端将车端感知信息和所述路端感知信息进行深度融合后得到融合信息，并根据所述融合信息驱动车辆运行，增强了车端的自动驾驶决策规划能力。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本申请其中一个实施例中基于深度融合的路端感知方法的流程示意图；
图2是本申请其中一个实施例中基于深度融合的路端感知系统的框架结构示意图；
图3是本申请其中一个实施例中半静态目标物体的计算流程示意图；
图4是本申请其中一个实施例中半静态目标物体的计算过程框图；
图5是本申请其中一个实施例中可行驶区域的计算流程示意图；
图6是本申请其中一个实施例中可行驶区域的计算过程框图；
图7是本申请其中一个实施例中可行驶区域的空间预测过程框图；
图8是本申请其中一个实施例中基于深度融合的路端感知装置的结构框图；
图9是本申请其中一个实施例中计算机设备的结构示意图。
附图说明：201、数据获取单元；202、路端感知信息计算单元；203、路端感知信息发送单元；70、总线；71、处理器；72、存储器；73、路端传感器；74、通讯模块；75、通信接口。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
自动驾驶系统(Autonomous Driving System，简称ADS)是利用安装于车辆上的环境感知系统，实时感知周围环境，采用先进的通信、计算机、网络和控制技术，对列车实现实时、连续控制。其中，环境感知的内容可以分为两大部分，分别为道路信息和目标信息，其中目标信息可以为ADS的决策系统提供本车周围各个区域的目标，让决策系统做出正确的反应(超车、减速、跟随等行为)，实现自动控制，而道路信息为ADS进行车辆横向控制提供了可行驶道路以进行路径规划，将车辆带到指定区域位置。因此，对目标信息和道路信息的数据融合影响整个ADS的安全和稳定，在自动驾驶中能起到很关键的作用。
车路协同被认为是辅助自动驾驶系统的有效手段，是采用先进的无线通信和新一代互联网等技术，全方位实施车车、车路动态实时信息交互，并在全时空动态交通信息采集与融合的基础上开展车辆主动安全控制和道路协同管理，充分实现人车路的有效协同，保证交通安全，提高通行效率，从而形成的安全、高效和环保的道路交通系统。车路协同依托于路端通讯协议(比如DSRC或C-V2X)将辅助交通信息和融合感知结果下发给途径的车辆，以利于车端的自动驾驶决策。
本实施例提供了一种基于深度融合的路端感知方法，可由路端设备来执行，具体的，可由该设备内的一个或多个处理器来执行，图1是根据本申请实施例的基于深度融合的路端感知方法的流程图，如图1所示，该流程包括如下步骤：
步骤S101，获取基于路端传感器采集到的感知数据和基于云端设备采集到的云端数据。
在本实施例中，所述路端设备包括路端传感器，所述路端传感器安装于路侧、十字路口等，路端传感器的视角不易被遮挡，能够获知更加全面的感知数据。路端传感器包括多个传感器集合，例如可以是摄像头、激光雷达、微波雷达、气象检测器等，通过多传感器配合实现路端信息的全覆盖。所述感知数据为对应的路端传感器采集得到的原始数据如图像、点云等；所述云端数据包括但不限于信号灯相位、天气状况、实时交通信息等。可选的，各传感器检测范围有一定程度重叠以便传感器数据的拼接与进一步融合。
步骤S102，根据所述感知数据和云端数据计算得到路端感知信息；所述路端感知信息包括半静态目标物体和可行驶区域；所述半静态目标物体为在第一时间范围内为静态，在第二时间范围内为动态的物体。
在本实施例中，对于高度自动驾驶系统来说，需要的不仅仅是获知运动或静止目标物(如来往的行人、车辆、路牌，停车亭等)的信息，还需要通过对感知数据和云端数据进行深度融合获知半静态目标物体和可行驶区域。其中，所述可行驶区域指没有被动态、静止或半静止目标物所覆盖的区域，这些区域自动驾驶车辆可以自由驶入。所述半静态目标物体例如可以是在较长时间范围内为静态，但在更大时间范围内为动态的物体的信息(如车辆洒在道路上的油渍)，半静态目标物体的感知可以进一步增强车辆的自动驾驶决策规划能力。
需要说明的是，所述感知信息还可以包括过往车辆、行人等动态目标物体或静态目标物体等其他交通参与者的数据信息，本申请不做具体限定。
步骤S103，将所述路端感知信息发送至车端，以使车端将车端感知信息和所述路端感知信息进行深度融合后得到融合信息，并根据所述融合信息驱动车辆运行。
在本实施例中，通过将路端感知信息发送至车端，与自动驾驶车辆进行交互。使自动驾驶车辆将自身所感知的周围环境信息和所接收到的路端感知信息进行深度融合处理，以获取更全面的道路环境信息，并根据所接收的道路环境信息进行自动驾驶。由此，突破了视觉死角，实现了跨越遮挡物获取并共享道路信息，为自动驾驶车辆获知到更全面的道路环境信息，提高了自动驾驶的安全性。
如图2所示，在一种具体的实施方式中，路端设备中路端传感器(摄像头、毫米波雷达和激光雷达)采集的感知数据(如图像数据、点迹数据和点云数据)发送至MEC(边缘计算单元)，云端设备采集到的云端数据(如交通信息、气象信息等)发送至MEC。边缘计算单元基于所述感知数据和云端数据得到行人、工地标志、地面文字、交通标识牌、车辆、油渍/水渍等原始数据并进行深度融合得到感知信息，同时实现时间同步、自动标定，诊断和数据存储等功能。然后，将所述感知信息通过V2X通讯单元下发至车端，使车端将车端感知信息和所述路端感知信息进行深度融合后得到融合信息，基于所述融合信息进行决策规划和车辆控制。
综上，本申请实施例提供的基于深度融合的路端感知方法，通过获取基于路端传感器采集到的感知数据和基于云端设备采集到的云端数据，并根据所述感知数据和云端数据计算得到路端感知信息并发送至车端，实现了利用布置于路端的路端传感器采集的原始数据和云端数据进行深度融合，计算得到半静态目标物体和可行驶区域。一方面路端传感器视角不易被遮挡，路段设备能够根据完整的全局道路信息计算得到的更加全面的感知信息，如易于被遮挡的视角、道路目标物的识别和跟踪。另一方面，路端设备对元器件功耗和和车规级要求相对车载器件低，可以使用能力更强的传感器与处理器，减少漏检错检的情况出现。通过使车端将车端感知信息和所述路端感知信息进行深度融合后得到融合信息，并根据所述融合信息驱动车辆运行，增强了车端的自动驾驶决策规划能力。
下面通过优选实施例对本申请实施例进行描述和说明。
如图3-4所示，在其中一些实施例中，所述路端感知信息包括半静态目标物体，则所述步骤S102，包括：
步骤S1021，对所述感知数据进行预处理；所述预处理包括数据时空对齐。
在本实施例中，当获取到感知数据后，需要先对感知数据进行预处理，预处理包括但不限于数据筛选、数据时空对齐和数据缓存。具体的，首先对感知数据进行数据筛选，将无效的数据剔除，然后对剔除后的感知数据进行数据时空对齐，以保证所有的数据处于同一时空域。最后将时空对齐后的感知数据进行数据缓存。
在其中一些实施例中，对所述感知数据进行预处理包括：根据所述感知数据获取数据时间戳；根据所述数据时间戳获取绝对时间，并根据所述绝对时间将所述感知数据同步至同一时间域。具体的，路端传感器采集的感知数据记录有对应的时间戳。所述时间戳可以是相对时间(即记录从传感器上电后的偏移时间)，也可以是绝对时间(即记录传感器本地的绝对时间)。不管采用哪种记录方式，都可以通过同步协议得到相对时间与绝对时间之间的差值，再根据该差值来换算出绝对时间(即传感器采集感知数据的瞬时时间)，从而根据所述绝对时间进行空间对齐，将所述感知数据同步至同一时间域。
接着，根据路端传感器的相对安装位置和空间坐标，将所述感知数据同步至同一空间域。具体的，通过将所述感知数据获取路端传感器的空间坐标，再根据路端传感器之间的相对安装位置换算出其他传感器的位置坐标，从而将所述感知数据的空间区域进行对齐。
例如；当获取到所述感知数据包括激光雷达的点云数据和毫米波雷达的电迹数据。其中，激光雷达的原始数据可以表示为：lidartl(pt1,pt2,…,ptn)。其中，lidartl表示在时间tl上采集到的雷达点云数据包；ptn表示点云数据包内的某一组点云数据，一般有三个轴上相对位置组成，即(xn,yn,zn)，此时，激光雷达所采集的每帧点云数据的时间轴为激光雷达内部时间轴。毫米波雷达的数据可以表示为：radartr(pt1,pt2,…,ptn)。其中，radartr表示在时间tr上根据原始反射点播采集到的雷达点迹；每一个点迹数据ptn由距离、方向角速度与航向角组成，即(dn,θn,vn,ρn)。在进行空间对齐时，首先将毫米波雷达的点迹数据转换成转换成空间坐标，即将(dn,θn,vn,ρn)转换成相对空间坐标(x1n,y1n,z1n)，然后再根据毫米波雷达与激光雷达的相对安装位置推算出相对于激光雷达的位置坐标，即(x′n,y′n,z′n)。
步骤S1022，基于时空对齐后的感知数据获取感知目标物体以及动态目标物体。
步骤S1023，基于所述云端数据获取静态物体列表，并根据所述静态物体列表筛选所述感知目标物体得到预选目标物体。
步骤S1024，根据所述动态目标物体筛选所述预选目标物体得到半静态目标物体。
对所述感知数据进行预处理后得到感知数据缓存，基于所述感知数据缓存获取感知目标物体并进行筛选。具体的，在一些实施例中，可以通过深度学习算法对图像数据进行目标识别获取感知目标物体，也可以辅助以激光雷达探测获取感知目标物体。进一步地，根据感知数据中的速度信息可以得到动态目标物体。然后，根据云端数据(如高精度地图)获取静态物体列表，根据所述静态物体列表筛选所述感知目标物体得到预选目标物体，根据所述动态目标物体筛选所述预选目标物体得到半静态目标物体。
可选的，根据所述动态目标物体筛选所述预选目标物体得到半静态目标物体之后，还包括：对所述半静态目标物体进行速度跟踪，当所述半静态目标物体速度在预设时间段内不改变时，将对应的半静态目标物体添加至静态物体列表；将所述静态物体列表同步至车端和云端设备。
在本实施例中，当确定半静态目标物体后，继续对该半静态目标物体进行速度跟踪，当跟踪了一段时间，所述半静态目标物体速度在预设时间段内不改变时，表明对应的半静态目标物体可以近似看作静态目标物体，可以将其添加至静态物体列，得到更新的静态物体列表。然后，可以将更新后的静态物体列表下发至车端，使车端获取更加全面的感知信息，进行动态报警、地图动态更新和车辆决策规划等，也可以将更新后的静态物体列表上报至云端设备进行云端数据更新。
如图5-6所示，在其中一些实施例中，所述路端感知信息包括可行驶区域，则步骤S102，包括：
步骤S1025，对所述感知数据进行预处理；所述预处理包括数据时空对齐。
步骤S1026，获取所述感知数据中的各个子数据；
步骤S1026，基于点云数据、点迹数据和/或图像数据，计算确定可行使区域。
在本实施例中，所述路端传感器包括激光雷达、毫米波雷达和摄像头，所述子数据包括基于所述激光雷达得到的点云数据、基于所述毫米波雷达得到的点迹数据以及基于摄像头得到的图像数据，基于点云数据、点迹数据和/或图像数据，计算确定可行使区域。其中，对所述感知数据进行预处理的步骤与上述实施例相同，本申请在此不做赘述。
在其中一些实施例中，还包括：获取所述感知数据对应的检测区域，并将所述检测区域划分为多个分块区域。则步骤S1026，包括以下至少之一：
(1)根据所述点云数据获取对应的地面距离，并根据所述地面距离和预设距离阈值确定地表点云，以将所有地表点云对应的分块区域集合确定为可行驶区域；
(2)将所述点迹数据未覆盖的分块区域集合确定为可行驶区域；
(3)将所述图像数据进行语义分割，得到可行驶区域。
在本实施例中，所述检测区域为路端传感器覆盖的区域，所述检测区域划分为m*n个分块区域，分块区域分的越细，感知结果就越精确，但同时会消耗更多的算力。可选的，将感知区域切割到10cm*10cm的分块区域。
然后，对于每一帧感知数据缓存，分别获取所述感知数据中的各个子数据(点云数据、点迹数据和图像数据)进行可行驶区域的计算，根据计算得到的可行驶区域进行空间预测更新，得到可行驶空间点阵并发往车端。具体的，可以将基于激光雷达得到的点云数据得到地面距离，将符合预设距离阈值的点云甄选出来得到地表点云，将所有地表点云对应的分块区域进行空间扩充后得到的分块区域集合确定为可行驶区域；也可以将基于毫米波雷达获取的点迹数据获取点迹数据未覆盖的分块区域，将所有未覆盖的分块区域进行空间扩充后得到的分块区域集合可行驶区域；还可以将图像数据经过语义分割(segmentation)得到可行驶区域，对图像数据进行语义分割得到可行驶区域为本领域常规技术，本申请不再做赘述。
在其中一些实施例中，根据所述感知数据和云端数据计算得到路端感知信息还包括：
步骤S1027，基于所述路端传感器获取对应的各个子数据的权值，并将所述权值赋予基于所述各个子数据得到的对应的可行驶区域；
步骤S1028，基于所述各个子数据的权值得到所述感知数据的空间预测权值。
如图7所示，在本实施例中，获取所述感知数据对应的检测区域，并将所述检测区域划分为多个分块区域。对于每一帧感知数据，可根据所述传感器的类型和检测精度获取对应的各个子数据的权值，并将该权值赋予基于所述各个子数据得到的对应的可行驶区域。其中，所述权值的大小对应所述可行驶区域的置信度。例如，将符合预设距离阈值的点云甄选出来得到地表点云，将所有地表点云对应的分块区域进行空间扩充后得到的分块区域集合确定为可行驶区域。由于激光雷达传感器检测精度较高，可将基于激光雷达传感器计算得到的可行驶区域赋予较高的权值，当探测距离增大时，点云数据变得稀疏，对应可行驶区域的置信度减小，权值的大小随检测距离增加而缩减。将图像数据经过语义分割(segmentation)得到可行驶区域，将基于摄像头得到的图像数据计算得到的可行驶区域赋予一个适中的权值，因为摄像头的感知能力随着距离递减，所以相关权值也随着距离递减。将基于毫米波雷达获取的点迹数据获取点迹数据未覆盖的分块区域，将所有未覆盖的分块区域进行空间扩充后得到的分块区域集合可行驶区域。由于毫米波雷达的地面感知能力较弱，可将基于毫米波雷达传感器计算得到的可行驶区域赋予较低的权值。
当得到各个子数据的权值后进行加权平均得到当前帧感知数据的空间预测权值。
可选的，可根据所述空间预测权值生成区域权值列表发送至车端进行深度融合。所述区域权值列表为：
Figure BDA0002755207050000111
Figure BDA0002755207050000112
其中，pti为i分块区域；
Figure BDA0002755207050000113
为时间k时间点对应分块区域的空间预测权值，即对应分块区域的物体占有概率；
Figure BDA0002755207050000114
为k时间点下pti代表的分块区域，由于分块区域是固定的，
Figure BDA0002755207050000115
随时间保持不变，将所述分块区域对应的空间预测权值加和，得到对应可行驶区域的空间预测权值。
其中，物体阻挡概率随着观测的增强而不停的演变，时间k时间点对应分块区域的空间预测权值
Figure BDA0002755207050000116
不断变化。对于一个分块区域pti，后验概率
Figure BDA0002755207050000117
分两步计算得到：1)首先计算移动物体从j分块区域移动到i分块区域的概率，具体的，将移动物体在j分块区域ptj上在k-1时间点的空间预测权值
Figure BDA0002755207050000121
乘以k-1到k时间段内从j分块区域移动到i分块区域的概率，得到i分块区域在当前时间点的先验概率，本实施例不估计这部分概率，所以可以将
Figure BDA0002755207050000122
设为1。2)将i分块区域在当前时间点k的先验概率乘以基于当前帧感知数据(点云数据、点迹数据和图像数据)计算得到的i分块区域的空间预测权值，即得到i分块区域在当前时间点k的后验概率
Figure BDA0002755207050000123
如图3-7所示，在其中一个实施例中，所述感知数据包括半静态目标物体、可行驶区域和感知数据的空间预测权值，则根据所述感知数据和云端数据计算得到路端感知信息，包括以下步骤：
当获取到感知数据后，先对感知数据进行预处理得到感知数据缓存，预处理包括但不限于数据筛选、数据时空对齐和数据缓存。然后基于所述感知数据缓存获取感知目标物体并进行筛选。具体的，通过对图像数据进行目标识别获取感知目标物体，根据感知数据中的速度信息得到动态目标物体。然后，根据云端数据(如高精度地图)获取静态物体列表，根据所述静态物体列表筛选所述感知目标物体得到预选目标物体，根据所述动态目标物体筛选所述预选目标物体得到半静态目标物体。对所述半静态目标物体进行速度跟踪，当所述半静态目标物体速度在预设时间段内不改变时，将对应的半静态目标物体添加至静态物体列表并同步至车端和云端设备。
当获取到感知数据后，先对感知数据进行预处理得到感知数据缓存，预处理包括但不限于数据筛选、数据时空对齐和数据缓存。获取所述感知数据对应的检测区域，并将所述检测区域划分为m*n个分块区域。对于每一帧感知数据缓存，分别获取所述感知数据中的各个子数据(点云数据、点迹数据和图像数据)进行可行驶区域的计算。具体的，对于每一帧感知数据，将符合预设距离阈值的点云甄选出来得到地表点云，将所有地表点云对应的分块区域进行空间扩充后得到的分块区域集合确定为可行驶区域，将基于激光雷达传感器计算得到的可行驶区域赋予较高的权值；将图像数据经过语义分割(segmentation)得到可行驶区域，将基于摄像头得到的图像数据计算得到的可行驶区域赋予一个适中的权值；将基于毫米波雷达获取的点迹数据获取点迹数据未覆盖的分块区域，将所有未覆盖的分块区域进行空间扩充后得到的分块区域集合可行驶区域，将基于毫米波雷达传感器计算得到的可行驶区域赋予较低的权值，最后将各个子数据(点云数据、点迹数据以及图像数据)的权值进行加权平均得到当前帧感知数据的空间预测权值。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种基于深度融合的路端感知装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图8是根据本申请实施例的基于深度融合的路端感知装置的结构框图，如图8所示，该装置包括：数据获取单元201、路端感知信息计算单元202和路端感知信息发送单元203。
数据获取单元201，用于获取基于路端传感器采集到的感知数据和基于云端设备采集到的云端数据；
路端感知信息计算单元202，用于根据所述感知数据和云端数据计算得到路端感知信息；所述路端感知信息包括半静态目标物体和可行驶区域；所述半静态目标物体为在第一时间范围内为静态，在第二时间范围内为动态的物体；
路端感知信息发送单元203，用于将所述路端感知信息发送至车端，以使车端将车端感知信息和所述路端感知信息进行深度融合后得到融合信息，并根据所述融合信息驱动车辆运行。
在其中一个实施例中，所述路端感知信息包括半静态目标物体，则路端感知信息计算单元202，包括：第一预处理模块、目标物体获取模块、第一筛选模块和第二筛选模块。
第一预处理模块，用于对所述感知数据进行预处理；所述预处理包括数据时空对齐；
目标物体获取模块，用于基于时空对齐后的感知数据获取感知目标物体以及动态目标物体；
第一筛选模块，用于基于所述云端数据获取静态物体列表，并根据所述静态物体列表筛选所述感知目标物体得到预选目标物体；
第二筛选模块，用于根据所述动态目标物体筛选所述预选目标物体得到半静态目标物体。
在其中一个实施例中，路端感知信息计算单元202，还包括：速度跟踪模块和静态物体列表更新模块。
速度跟踪模块，用于对所述半静态目标物体进行速度跟踪；
静态物体列表更新模块，用于当所述半静态目标物体速度在预设时间段内不改变时，将对应的半静态目标物体添加至静态物体列表；
将所述静态物体列表同步至车端和云端设备。
在其中一个实施例中，所述路端感知信息包括可行驶区域，则路端感知信息计算单元202，包括：第二预处理模块、子数据获取模块和可行使区域计算模块。
第二预处理模块，用于对所述感知数据进行预处理；所述预处理包括数据时空对齐；
子数据获取模块，用于获取所述感知数据中的各个子数据；所述路端传感器包括激光雷达、毫米波雷达和摄像头，所述子数据包括基于所述激光雷达得到的点云数据、基于所述毫米波雷达得到的点迹数据以及基于摄像头得到的图像数据；
可行使区域计算模块，用于基于点云数据、点迹数据和/或图像数据，计算确定可行使区域。
在其中一个实施例中，基于深度融合的路端感知装置还包括：分块区域获取模块。
分块区域获取模块，用于获取所述感知数据对应的检测区域，并将所述检测区域划分为多个分块区域；
则可行使区域计算模块，包括以下至少之一：
第一计算模块，用于根据所述点云数据获取对应的地面距离，并根据所述地面距离和预设距离阈值确定地表点云，以将所有地表点云对应的分块区域集合确定为可行驶区域；
第二计算模块，用于将所述点迹数据未覆盖的分块区域集合确定为可行驶区域；
第三计算模块，用于将所述图像数据进行语义分割，得到可行驶区域。
在其中一个实施例中，路端感知信息计算单元202还包括：子数据的权值获取模块和空间预测权值获取模块。
子数据的权值获取模块，用于基于所述路端传感器获取对应的各个子数据的权值，并将所述权值赋予基于所述各个子数据得到的对应的可行驶区域；
空间预测权值获取模块，用于基于所述各个子数据的权值得到所述感知数据的空间预测权值。
在其中一个实施例中，第一预处理模块或第一预处理模块包括：数据时间戳获取模块、时间域同步模块和空间域同步模块。
数据时间戳获取模块，用于根据所述感知数据获取数据时间戳；
时间域同步模块，用于根据所述数据时间戳获取绝对时间，并根据所述绝对时间将所述感知数据同步至同一时间域；
空间域同步模块，用于根据路端传感器的相对安装位置和空间坐标，将所述感知数据同步至同一空间域。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
另外，结合图1描述的本申请实施例基于深度融合的路端感知方法可以由路端设备来实现。图9为根据本申请实施例的路端设备的硬件结构示意图。
路端设备可以包括处理器71、存储有计算机程序指令的存储器72、路端传感器73和通讯模块74。
具体地，上述处理器71可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器72可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器72可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器72可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器72可在数据处理装置的内部或外部。在特定实施例中，存储器72是非易失性(Non-Volatile)存储器。在特定实施例中，存储器72包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(RandomAccess Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory，简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-Access Memory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。
存储器72可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器71所执行的可能的计算机程序指令。
处理器71通过读取并执行存储器72中存储的计算机程序指令，以实现上述实施例中的任意一种基于深度融合的路端感知方法。
路端传感器73包括激光雷达、毫米波雷达和摄像头，相对于毫米波雷达，激光雷达探测范围更广、探测精度更高，但在雨雪雾等极端天气下性能较差；而毫米波导引头穿透雾、烟、灰尘的能力强，探测距离和精度受到频段损耗的制约，可抗雨雪的干扰，因此，通过激光雷达、毫米波雷达可以实现精准探测。
通讯模块74可以是V2X通讯单元或其他基于路端通讯协议的无线通信模块，可以实现路端与道路上的车端的数据交互。
在其中一些实施例中，路端设备还可包括通信接口75和总线70。其中，如图9所示，处理器71、存储器72、通信接口75、路端传感器73和通讯模块74通过总线70连接并完成相互间的通信。
通信接口75用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信接口75还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线70包括硬件、软件或两者，将路端设备的部件彼此耦接在一起。总线70包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(Address Bus)、控制总线(ControlBus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线70可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，简称为EISA)总线、前端总线(FrontSide Bus，简称为FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count，简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture，简称为MCA)总线、外围组件互连(Peripheral Component Interconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment，简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus，简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线70可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
该路端设备可以基于获取到的程序指令，执行本申请实施例中的基于深度融合的路端感知方法，从而实现结合图1描述的基于深度融合的路端感知方法。
本实施例还提供了一种深度融合的路端感知系统，包括：车端设备、云端设备以及如上所述的路端设备；其中，所述路端设备连接所述云端设备和所述车端设备；
所述云端设备用于采集云端数据并发送至所述计算机设备。所述云端设备包括但不限于智能交通灯、气象站、数据库服务器等，可以提供给车辆有助于自动驾驶决策所需的信息，这些信息通过车辆自身的感知设备会较难获取到。
所述车端设备用于将车端感知信息和所述路端感知信息进行深度融合后得到融合信息，并根据所述融合信息驱动车辆运行。
所述路端设备用于执行如上述任一种基于深度融合的路端感知方法。
另外，结合上述实施例中的基于深度融合的路端感知方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种基于深度融合的路端感知方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于深度融合的路端感知方法，其特征在于，包括：
获取基于路端传感器采集到的感知数据和基于云端设备采集到的云端数据；
根据所述感知数据和云端数据计算得到路端感知信息；所述路端感知信息包括半静态目标物体和可行驶区域；所述半静态目标物体为在第一时间范围内为静态，在第二时间范围内为动态的物体；
将所述路端感知信息发送至车端，以使车端将车端感知信息和所述路端感知信息进行深度融合后得到融合信息，并根据所述融合信息驱动车辆运行。
2.根据权利要求1所述的基于深度融合的路端感知方法，其特征在于，所述路端感知信息包括半静态目标物体，则所述根据所述感知数据和云端数据计算得到路端感知信息，包括：
对所述感知数据进行预处理；所述预处理包括数据时空对齐；
基于时空对齐后的感知数据获取感知目标物体以及动态目标物体；
基于所述云端数据获取静态物体列表，并根据所述静态物体列表筛选所述感知目标物体得到预选目标物体；
根据所述动态目标物体筛选所述预选目标物体得到半静态目标物体。
3.根据权利要求2所述的基于深度融合的路端感知方法，其特征在于，根据所述动态目标物体筛选所述预选目标物体得到半静态目标物体之后，还包括：
对所述半静态目标物体进行速度跟踪；
当所述半静态目标物体速度在预设时间段内不改变时，将对应的半静态目标物体添加至静态物体列表；
将所述静态物体列表同步至车端和云端设备。
4.根据权利要求1所述的基于深度融合的路端感知方法，其特征在于，所述路端感知信息包括可行驶区域，则根据所述感知数据和云端数据计算得到路端感知信息，包括：
对所述感知数据进行预处理；所述预处理包括数据时空对齐；
获取所述感知数据中的各个子数据；所述路端传感器包括激光雷达、毫米波雷达和摄像头，所述子数据包括基于所述激光雷达得到的点云数据、基于所述毫米波雷达得到的点迹数据以及基于摄像头得到的图像数据；
基于点云数据、点迹数据和/或图像数据，计算确定可行使区域。
5.根据权利要求4所述的基于深度融合的路端感知方法，其特征在于，还包括：获取所述感知数据对应的检测区域，并将所述检测区域划分为多个分块区域；
则基于点云数据、点迹数据以及图像数据中的至少一种数据，计算确定可行使区域包括以下至少之一：
根据所述点云数据获取对应的地面距离，并根据所述地面距离和预设距离阈值确定地表点云，以将所有地表点云对应的分块区域集合确定为可行驶区域；
将所述点迹数据未覆盖的分块区域集合确定为可行驶区域；
将所述图像数据进行语义分割，得到可行驶区域。
6.根据权利要求4所述的基于深度融合的路端感知方法，其特征在于，根据所述感知数据和云端数据计算得到路端感知信息还包括：
基于所述路端传感器获取对应的各个子数据的权值，并将所述权值赋予基于所述各个子数据得到的对应的可行驶区域；
基于所述各个子数据的权值得到所述感知数据的空间预测权值。
7.根据权利要求4所述的基于深度融合的路端感知方法，其特征在于，对所述感知数据进行预处理包括：
根据所述感知数据获取数据时间戳；
根据所述数据时间戳获取绝对时间，并根据所述绝对时间将所述感知数据同步至同一时间域；
根据路端传感器的相对安装位置和空间坐标，将所述感知数据同步至同一空间域。
8.一种基于深度融合的路端感知装置，其特征在于，包括：
数据获取单元，用于获取基于路端传感器采集到的感知数据和基于云端设备采集到的云端数据；
路端感知信息计算单元，用于根据所述感知数据和云端数据计算得到路端感知信息；所述路端感知信息包括半静态目标物体和可行驶区域；所述半静态目标物体为在第一时间范围内为静态，在第二时间范围内为动态的物体；
路端感知信息发送单元，用于将所述路端感知信息发送至车端，以使车端将车端感知信息和所述路端感知信息进行深度融合后得到融合信息，并根据所述融合信息驱动车辆运行。
9.一种路端设备，包括路端传感器、通讯模块、存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述路端传感器包括激光雷达、毫米波雷达和摄像头，所述处理器分别连接所述处理器、路端传感器和通讯模块，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的基于深度融合的路端感知方法。
10.一种深度融合的路端感知系统，其特征在于，包括：车端设备、云端设备以及如权利要求9所述的路端设备；其中，所述路端设备连接所述云端设备和所述车端设备；
所述云端设备用于采集云端数据并发送至所述计算机设备；
所述车端设备用于将车端感知信息和所述路端感知信息进行深度融合后得到融合信息，并根据所述融合信息驱动车辆运行；
所述路端设备用于执行如权利要求1至7中任一项所述的深度融合的路端感知方法。
CN202011201258.XA 2020-11-02 2020-11-02 基于深度融合的路端感知方法、装置、路端设备和系统 Active CN112562314B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011201258.XA CN112562314B (zh) 2020-11-02 2020-11-02 基于深度融合的路端感知方法、装置、路端设备和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011201258.XA CN112562314B (zh) 2020-11-02 2020-11-02 基于深度融合的路端感知方法、装置、路端设备和系统

Publications (2)

Publication Number Publication Date
CN112562314A true CN112562314A (zh) 2021-03-26
CN112562314B CN112562314B (zh) 2022-06-24

Family

ID=75041476

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011201258.XA Active CN112562314B (zh) 2020-11-02 2020-11-02 基于深度融合的路端感知方法、装置、路端设备和系统

Country Status (1)

Country Link
CN (1) CN112562314B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112929852A (zh) * 2021-04-07 2021-06-08 兆边(上海)科技有限公司 一种基于多接入边缘计算的车路联网协同系统
CN113255504A (zh) * 2021-05-19 2021-08-13 燕山大学 一种基于深度学习的路侧视角超视距全域融合感知系统
CN113470354A (zh) * 2021-06-24 2021-10-01 上海智能网联汽车技术中心有限公司 全天候路测感知系统
CN113610099A (zh) * 2021-08-26 2021-11-05 吉林大学 一种环境感知方法及系统
CN113895442A (zh) * 2021-10-11 2022-01-07 苏州智加科技有限公司 一种基于路侧与车端协同感知的车辆行驶决策方法及系统
CN114049767A (zh) * 2021-11-10 2022-02-15 刘鹏 一种边缘计算方法、装置及可读存储介质
CN114079665A (zh) * 2022-01-19 2022-02-22 浙江吉利控股集团有限公司 数据采集方法、装置、设备及存储介质
CN115002176A (zh) * 2022-07-15 2022-09-02 合肥工业大学 车路协同系统中多设备覆盖区域内的车辆控制权分配方法
CN115331421A (zh) * 2021-05-10 2022-11-11 北京万集科技股份有限公司 路侧多传感环境感知方法、装置及系统
CN115776506A (zh) * 2023-02-07 2023-03-10 深圳开鸿数字产业发展有限公司 车路协同的数据融合系统及方法
WO2024001573A1 (zh) * 2022-06-30 2024-01-04 中国第一汽车股份有限公司 数据显示方法、系统及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003257865B1 (en) * 2002-10-25 2004-04-08 Yallonga Pty Ltd Traffic speed control
US20170039765A1 (en) * 2014-05-05 2017-02-09 Avigilon Fortress Corporation System and method for real-time overlay of map features onto a video feed
CN108010360A (zh) * 2017-12-27 2018-05-08 中电海康集团有限公司 一种基于车路协同的自动驾驶环境感知系统
CN108182817A (zh) * 2018-01-11 2018-06-19 北京图森未来科技有限公司 自动驾驶辅助系统、路侧端辅助系统和车载端辅助系统
CN109657031A (zh) * 2018-12-28 2019-04-19 国汽(北京)智能网联汽车研究院有限公司 一种基于智能网联汽车的高精度动态地图生成与应用方法
CN110276972A (zh) * 2019-07-16 2019-09-24 启迪云控(北京)科技有限公司 一种基于车联网的目标物感知方法及系统
CN110491156A (zh) * 2019-08-27 2019-11-22 无锡物联网创新中心有限公司 一种感知方法、装置及系统
CN110781891A (zh) * 2019-11-28 2020-02-11 吉林大学 一种基于激光雷达传感器的识别车辆可行驶区域的方法
CN111033510A (zh) * 2017-09-26 2020-04-17 奥迪股份公司 用于运行驾驶员辅助系统的方法和装置以及驾驶员辅助系统和机动车

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003257865B1 (en) * 2002-10-25 2004-04-08 Yallonga Pty Ltd Traffic speed control
US20170039765A1 (en) * 2014-05-05 2017-02-09 Avigilon Fortress Corporation System and method for real-time overlay of map features onto a video feed
CN111033510A (zh) * 2017-09-26 2020-04-17 奥迪股份公司 用于运行驾驶员辅助系统的方法和装置以及驾驶员辅助系统和机动车
CN108010360A (zh) * 2017-12-27 2018-05-08 中电海康集团有限公司 一种基于车路协同的自动驾驶环境感知系统
CN108182817A (zh) * 2018-01-11 2018-06-19 北京图森未来科技有限公司 自动驾驶辅助系统、路侧端辅助系统和车载端辅助系统
CN109657031A (zh) * 2018-12-28 2019-04-19 国汽(北京)智能网联汽车研究院有限公司 一种基于智能网联汽车的高精度动态地图生成与应用方法
CN110276972A (zh) * 2019-07-16 2019-09-24 启迪云控(北京)科技有限公司 一种基于车联网的目标物感知方法及系统
CN110491156A (zh) * 2019-08-27 2019-11-22 无锡物联网创新中心有限公司 一种感知方法、装置及系统
CN110781891A (zh) * 2019-11-28 2020-02-11 吉林大学 一种基于激光雷达传感器的识别车辆可行驶区域的方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112929852B (zh) * 2021-04-07 2021-09-17 兆边(上海)科技有限公司 一种基于多接入边缘计算的车路联网协同系统
CN112929852A (zh) * 2021-04-07 2021-06-08 兆边(上海)科技有限公司 一种基于多接入边缘计算的车路联网协同系统
CN115331421A (zh) * 2021-05-10 2022-11-11 北京万集科技股份有限公司 路侧多传感环境感知方法、装置及系统
CN113255504A (zh) * 2021-05-19 2021-08-13 燕山大学 一种基于深度学习的路侧视角超视距全域融合感知系统
CN113470354A (zh) * 2021-06-24 2021-10-01 上海智能网联汽车技术中心有限公司 全天候路测感知系统
CN113610099A (zh) * 2021-08-26 2021-11-05 吉林大学 一种环境感知方法及系统
CN113610099B (zh) * 2021-08-26 2024-02-02 吉林大学 一种环境感知方法及系统
CN113895442A (zh) * 2021-10-11 2022-01-07 苏州智加科技有限公司 一种基于路侧与车端协同感知的车辆行驶决策方法及系统
CN114049767A (zh) * 2021-11-10 2022-02-15 刘鹏 一种边缘计算方法、装置及可读存储介质
CN114079665A (zh) * 2022-01-19 2022-02-22 浙江吉利控股集团有限公司 数据采集方法、装置、设备及存储介质
WO2024001573A1 (zh) * 2022-06-30 2024-01-04 中国第一汽车股份有限公司 数据显示方法、系统及存储介质
CN115002176A (zh) * 2022-07-15 2022-09-02 合肥工业大学 车路协同系统中多设备覆盖区域内的车辆控制权分配方法
CN115776506A (zh) * 2023-02-07 2023-03-10 深圳开鸿数字产业发展有限公司 车路协同的数据融合系统及方法

Also Published As

Publication number Publication date
CN112562314B (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
CN112562314B (zh) 基于深度融合的路端感知方法、装置、路端设备和系统
CN108417087B (zh) 一种车辆安全通行系统及方法
WO2021023102A1 (zh) 地图更新方法、装置及存储介质
EP4152204A1 (en) Lane line detection method, and related apparatus
US20210302585A1 (en) Smart navigation method and system based on topological map
CN112347999B (zh) 障碍物识别模型训练方法、障碍物识别方法、装置及系统
US11814039B2 (en) Vehicle operation using a dynamic occupancy grid
CN112106124A (zh) 用于使用v2x和传感器数据的系统和方法
CN112215306A (zh) 一种基于单目视觉与毫米波雷达融合的目标检测方法
CN112329754B (zh) 障碍物识别模型训练方法、障碍物识别方法、装置及系统
WO2021218388A1 (zh) 高精度地图的生成方法、定位方法及装置
KR102472075B1 (ko) 실시간 도로영상 및 레이다 신호를 분석한 결과에 기초하여 돌발상황 자동검지 서비스를 지원하는 시스템 및 방법
CN114463986B (zh) 一种车联网车路协同方法
CN116071729A (zh) 可行驶区域和路沿的检测方法、装置及相关设备
Bai et al. Cyber mobility mirror: Deep learning-based real-time 3d object perception and reconstruction using roadside lidar
CN113792598B (zh) 基于车载摄像头的汽车碰撞预测系统和方法
US20230394694A1 (en) Methods and apparatus for depth estimation using stereo cameras in a vehicle system
CN115359332A (zh) 基于车路协同的数据融合方法、装置、电子设备及系统
CN113050081A (zh) 遮挡物的检测方法和装置、雷达、车辆、存储介质
CN115817466A (zh) 一种碰撞风险评估方法及装置
US20230103178A1 (en) Systems and methods for onboard analysis of sensor data for sensor fusion
CN114449481A (zh) 基于v2x技术确定所在车道当前信号灯灯色的方法及系统
JP7170922B2 (ja) 障害物検出強化データを得るとともに送信する方法
US11544899B2 (en) System and method for generating terrain maps
US20200081430A1 (en) Methods and apparatuses for transmitting and receiving data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant