CN116170779B - 一种协同感知数据传输方法、装置及系统 - Google Patents
一种协同感知数据传输方法、装置及系统 Download PDFInfo
- Publication number
- CN116170779B CN116170779B CN202310414683.4A CN202310414683A CN116170779B CN 116170779 B CN116170779 B CN 116170779B CN 202310414683 A CN202310414683 A CN 202310414683A CN 116170779 B CN116170779 B CN 116170779B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- cloud data
- data
- current vehicle
- characteristic information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 125
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000002787 reinforcement Effects 0.000 claims description 49
- 230000000694 effects Effects 0.000 claims description 47
- 230000008447 perception Effects 0.000 claims description 32
- 238000004891 communication Methods 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 11
- 238000012546 transfer Methods 0.000 claims description 10
- 238000013500 data storage Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 abstract description 6
- 238000012545 processing Methods 0.000 description 8
- 230000007613 environmental effect Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
- H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
- G08G1/096775—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
- G08G1/096783—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a roadside individual element
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
- G08G1/096791—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is another vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
- H04W4/46—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Atmospheric Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请公开了一种协同感知数据传输方法、装置及系统,通过获取当前车辆的周围地图数据、当前车辆的第一点云数据、协同感知系统中其他车辆的第二点云数据的特征信息;并且根据周围地图数据、第一点云数据和第二点云数据的特征信息,确定第二点云数据的传输策略;即判断第二点云数据对于当前车辆是否有用,并据此确定是否传输第二点云数据,并且第二点云数据的特征信息由各自的车辆处理得到,仅仅传输特征信息可以大幅降低了传输至当前车辆的数据量,只有在第二点云数据有用的前提下才执行传输操作,即对协同感知得到的数据进行筛选,以降低传输的数据量,不仅可以提高传输效率,而且可以有助于提高协同感知系统的响应速度,继而提高安全性。
Description
技术领域
本申请涉及协同感知技术领域,具体涉及一种协同感知数据传输方法、装置及系统。
背景技术
随着智能网联汽车产业快速发展,智能技术也得到了极大的发展,然而单个车辆的环境感知能力非常有限,单视角或单智能体感知总是存在视角受限、点云密度低、遮挡等无法解决的问题。在单车智能技术路线已经发展到瓶颈的情况下,多个空间稀疏分布的传感器可以提供协同感知,为自动驾驶安全性可靠性提供了一层强有力的保障。
然而,协同感知往往伴随着数据量过大的问题。由于网络带宽和速度的限制,所有自动驾驶汽车之间若采用简单地共享所有传感数据,则当道路上有多辆联网车辆拥堵时,不同车辆发送的关于同一对象的冗余信息会很多,从而导致有限网络资源被浪费,并且会因为数据过多而导致数据包延迟甚至丢失。
发明内容
为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种协同感知数据传输方法、装置及系统,解决了上述技术问题。
根据本申请的一个方面,提供了一种协同感知数据传输方法,应用于协同感知系统中的单辆车辆上,所述协同感知系统包括通信连接的多辆车辆;所述协同感知数据传输方法包括:获取当前车辆的周围地图数据;其中,所述当前车辆为所述协同感知系统中的任一辆所述车辆,所述周围地图数据表征所述当前车辆第一预设范围内的地图信息;获取所述当前车辆的第一点云数据;其中,所述第一点云数据表示所述当前车辆获取的点云数据;获取其他车辆的第二点云数据的特征信息;其中,所述其他车辆为所述协同感知系统中的所述车辆、且所述其他车辆位于所述当前车辆的第二预设范围内,所述第二点云数据表示所述其他车辆获取的点云数据,所述第二点云数据的特征信息由所述其他车辆根据所述第二点云数据得到;以及根据所述周围地图数据、所述第一点云数据和所述第二点云数据的特征信息,确定所述第二点云数据的传输策略;其中,所述传输策略表征是否将所述第二点云数据传输至所述当前车辆,所述传输策略根据所述第二点云数据对于提高所述当前车辆的感知效果的作用确定。
在一实施例中,所述根据所述周围地图数据、所述第一点云数据和所述第二点云数据的特征信息,确定所述第二点云数据的传输策略包括:将所述周围地图数据、所述第一点云数据和所述第二点云数据的特征信息输入强化学习模型,并计算所述强化学习模型的奖励值;其中,所述奖励值根据所述第二点云数据的特征信息对于提高所述当前车辆的感知效果的作用计算得到;以及当所述奖励值大于预设的奖励阈值时,所述强化学习模型输出表征将所述第二点云数据传输至所述当前车辆的传输策略。
在一实施例中,所述根据所述周围地图数据、所述第一点云数据和所述第二点云数据的特征信息,确定所述第二点云数据的传输策略包括:当所述奖励值小于或等于所述奖励阈值时,所述强化学习模型输出表征不将所述第二点云数据传输至所述当前车辆的传输策略。
在一实施例中,所述将所述周围地图数据、所述第一点云数据和所述第二点云数据的特征信息输入强化学习模型,并计算所述强化学习模型的奖励值包括:获取加入所述第二点云数据的特征信息后的第一图像;其中,所述第一图像表征所述周围地图数据、所述第一点云数据和所述第二点云数据的特征信息综合得到的边框图像;以及根据所述第一图像和第二图像的边界框的置信度差值,计算得到所述强化学习模型的奖励值;其中,所述第二图像表征所述周围地图数据和所述第一点云数据综合得到的边框图像。
在一实施例中,所述根据所述第一图像和第二图像的边界框的置信度差值,计算得到所述强化学习模型的奖励值包括:当所述第一图像和第二图像的边界框的置信度差值大于预设的差异阈值时,所述强化学习模型的奖励值大于所述奖励阈值。
在一实施例中,所述根据所述第一图像和第二图像的边界框的置信度差值,计算得到所述强化学习模型的奖励值包括:当所述第一图像和第二图像的边界框的置信度差值小于或等于所述差异阈值时,所述强化学习模型的奖励值小于所述奖励阈值。
在一实施例中,在所述根据所述周围地图数据、所述第一点云数据和所述第二点云数据的特征信息,确定所述第二点云数据的传输策略之前,所述协同感知数据传输方法还包括:将所述第一点云数据投影至平面网格上,得到第一点云数据的点云网格图;其中,所述点云网格图包括预设的多个网格,每个所述网格的值为0或1,所述网格的值为1表征该网格中存在所述第一点云数据的投影点,所述网格的值为0表征该网格中不存在所述第一点云数据的投影点;
所述根据所述周围地图数据、所述第一点云数据和所述第二点云数据的特征信息,确定所述第二点云数据的传输策略包括:根据所述周围地图数据、所述点云网格图和所述第二点云数据的特征信息,计算所述点云网格图中每个网格的网格奖励值;其中,所述网格奖励值根据该网格对应的所述第二点云数据的特征信息对于提高所述当前车辆的感知效果的作用计算得到;以及当所述网格奖励值大于预设的奖励阈值时,确定将该网格对应的所述第二点云数据传输至所述当前车辆。
在一实施例中,所述第二点云数据的特征信息包括多个多帧点云数据;其中,所述获取其他车辆的第二点云数据的特征信息包括:分别获取所述多帧点云数据;所述根据所述周围地图数据、所述第一点云数据和所述第二点云数据的特征信息,确定所述第二点云数据的传输策略包括:根据所述周围地图数据、所述第一点云数据和所述多帧点云数据,确定所述第二点云数据的传输策略。
根据本申请的另一个方面,提供了一种协同感知数据传输装置,设置于协同感知系统中的单辆车辆上,所述协同感知系统包括通信连接的多辆车辆;所述协同感知数据传输装置包括:地图获取模块,用于获取当前车辆的周围地图数据;其中,所述当前车辆为所述协同感知系统中的任一辆所述车辆,所述周围地图数据表征所述当前车辆第一预设范围内的地图信息;点云获取模块,用于获取所述当前车辆的第一点云数据;其中,所述第一点云数据表示所述当前车辆获取的点云数据;特征获取模块,用于获取其他车辆的第二点云数据的特征信息;其中,所述其他车辆为所述协同感知系统中的所述车辆、且所述其他车辆位于所述当前车辆的第二预设范围内,所述第二点云数据表示所述其他车辆获取的点云数据,所述第二点云数据的特征信息由所述其他车辆根据所述第二点云数据得到;以及策略确定模块,用于根据所述周围地图数据、所述第一点云数据和所述第二点云数据的特征信息,确定所述第二点云数据的传输策略;其中,所述传输策略表征是否将所述第二点云数据传输至所述当前车辆,所述传输策略根据所述第二点云数据对于提高所述当前车辆的感知效果的作用确定。
根据本申请的另一个方面,提供了一种协同感知数据传输系统,包括:通信连接的多辆车辆;其中,每辆所述车辆上设置有如上述所述的协同感知数据传输装置。
在一实施例中,所述协同感知数据传输系统还包括:环境数据存储装置,所述环境数据存储装置与每辆所述车辆上的所述协同感知数据传输装置通信连接,用于存储所述协同感知数据传输系统的环境数据。
本申请提供的一种协同感知数据传输方法、装置及系统,通过获取当前车辆的周围地图数据;获取当前车辆的第一点云数据;获取协同感知系统中其他车辆的第二点云数据的特征信息;其中,第二点云数据表示其他车辆获取的点云数据,第二点云数据的特征信息由其他车辆根据第二点云数据得到;并且根据周围地图数据、第一点云数据和第二点云数据的特征信息,确定第二点云数据的传输策略;其中,传输策略表征是否将第二点云数据传输至当前车辆;即结合当前车辆获取的第一点云数据、其他车辆获取的第二点云数据的特征信息和当前车辆周围地图数据,综合判断第二点云数据对于当前车辆是否有用,并据此确定是否传输第二点云数据,并且第二点云数据的特征信息由各自的车辆处理得到,仅仅传输特征信息可以大幅降低了传输至当前车辆的数据量,只有在第二点云数据有用的前提下才执行传输操作,即对协同感知得到的数据进行筛选,以降低传输的数据量,不仅可以提高传输效率,而且可以有助于提高协同感知系统的响应速度,继而提高安全性。
附图说明
通过结合附图对本申请实施例进行更详细的描述,本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1是本申请一示例性实施例提供的一种协同感知数据传输方法的流程示意图。
图2是本申请另一示例性实施例提供的一种协同感知数据传输方法的流程示意图。
图3是本申请另一示例性实施例提供的一种协同感知数据传输方法的流程示意图。
图4是本申请另一示例性实施例提供的一种协同感知数据传输方法的流程示意图。
图5是本申请另一示例性实施例提供的一种协同感知数据传输方法的流程示意图。
图6是本申请一示例性实施例提供的一种协同感知数据传输装置的结构示意图。
图7是本申请另一示例性实施例提供的一种协同感知数据传输装置的结构示意图。
图8是本申请一示例性实施例提供的一种协同感知数据传输系统的结构示意图。
图9是本申请一示例性实施例提供的电子设备的结构图。
具体实施方式
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
图1是本申请一示例性实施例提供的一种协同感知数据传输方法的流程示意图。该协同感知数据传输方法应用于协同感知系统中的单辆车辆上,协同感知系统包括通信连接的多辆车辆;如图1所示,该协同感知数据传输方法包括如下步骤:
步骤100:获取当前车辆的周围地图数据。
其中,当前车辆为协同感知系统中的任一辆车辆,周围地图数据表征当前车辆第一预设范围内的地图信息,第一预设范围可以是包含协同感知系统内所有车辆及所有车辆周围环境的一定范围,对于当前车辆而言,第一预设范围可以是当前车辆的通讯范围及当前车辆的周围环境范围的总和。感知是自主驾驶系统的关键模块之一,然而单车的有限能力造成感知性能提高的瓶颈。得益于通信基础设施的建设和V2X等通信技术的发展,车辆可以以可靠的方式交换信息,为了突破单个感知的限制,协同感知或协作感知已经得到了有效利用,即同一区域内的车辆彼此共享共同感知信息(CPM,collectiveperceptionmessage),以使车辆能够共享信息,感知视线之外和视野以外的环境。对于协同感知系统中的每一辆车,本申请通过获取当前车辆的周围地图数据,以获知当前车辆周围的全局信息(范围较大但精度较低),从而可以对当前车辆或协同感知系统所在区域进行全局把控。
步骤200:获取当前车辆的第一点云数据。
其中,第一点云数据表示当前车辆获取的点云数据。利用设置于当前车辆上的激光点云传感器等设备实时获取当前车辆周围的第一点云数据,以得到当前车辆周围的局部信息(范围较小但精度较高),从而为当前车辆的自动行驶提供基础参考数据。
步骤300:获取其他车辆的第二点云数据的特征信息。
其中,其他车辆为协同感知系统中的车辆、且其他车辆位于当前车辆的第二预设范围内,第二点云数据表示其他车辆获取的点云数据,第二点云数据的特征信息由其他车辆根据第二点云数据得到。具体的,第二预设范围可以是上述第一预设范围,即包含协同感知系统内所有车辆及所有车辆周围环境;由于当前车辆在实际运行过程中,更多的是关注当前车辆周围一定范围内的数据,优选地,第二预设范围可以小于上述第一预设范围,即当前车辆仅获取较为接近当前车辆的点云数据的特征信息,以进一步减少传输的数据量。
在一实施例中,第二点云数据的特征信息的获取方式可以是:采用训练完成的卷积网络(稀疏卷积网络)处理第二点云数据,以得到第二点云数据的特征信息,该特征信息的数据量远小于第二点云数据的数据量。本申请通过将第二点云数据进行压缩处理以得到第二点云数据的特征信息,从而减少协同感知系统中数据量的传输。
步骤400:根据周围地图数据、第一点云数据和第二点云数据的特征信息,确定第二点云数据的传输策略。
其中,传输策略表征是否将第二点云数据传输至当前车辆,传输策略根据第二点云数据对于提高当前车辆的感知效果的作用确定。在获知了当前车辆的周围地图数据、当前车辆自身获取的第一点云数据后,再结合其他车辆获取的第二点云数据的特征信息(即可以表达第二点云数据的语义特征,例如第二点云数据所表达信息的简化),判断该第二点云数据的特征信息所代表的第二点云数据是否对当前车辆的感知效果有作用(积极效果,例如提高了感知精度或感知范围等),若第二点云数据对当前车辆的感知效果有作用,则获取第二点云数据(即其他车辆获取的初始点云数据),若第二点云数据对当前车辆的感知效果无作用或作用较小,则放弃该第二点云数据,以降低无效数据或作用较低数据的传输,从而提高数据传输的效率和效果。
本申请提供的一种协同感知数据传输方法,通过获取当前车辆的周围地图数据;获取当前车辆的第一点云数据;获取协同感知系统中其他车辆的第二点云数据的特征信息;其中,第二点云数据表示其他车辆获取的点云数据,第二点云数据的特征信息由其他车辆根据第二点云数据得到;并且根据周围地图数据、第一点云数据和第二点云数据的特征信息,确定第二点云数据的传输策略;其中,传输策略表征是否将第二点云数据传输至当前车辆;即结合当前车辆获取的第一点云数据、其他车辆获取的第二点云数据的特征信息和当前车辆周围地图数据,综合判断第二点云数据对于当前车辆是否有用,并据此确定是否传输第二点云数据,并且第二点云数据的特征信息由各自的车辆处理得到,仅仅传输特征信息可以大幅降低了传输至当前车辆的数据量,只有在第二点云数据有用的前提下才执行传输操作,即对协同感知得到的数据进行筛选,以降低传输的数据量,不仅可以提高传输效率,而且可以有助于提高协同感知系统的响应速度,继而提高安全性。
图2是本申请另一示例性实施例提供的一种协同感知数据传输方法的流程示意图。如图2所示,上述步骤400可以包括:
步骤410:将周围地图数据、第一点云数据和第二点云数据的特征信息输入强化学习模型,并计算强化学习模型的奖励值。
其中,奖励值根据第二点云数据的特征信息对于提高当前车辆的感知效果的作用计算得到。本申请通过学习训练得到强化学习模型,并且在协同感知系统中的每一辆车上均设置训练完成的强化学习模型,该强化学习模型的输入量为单车的周围地图数据、第一点云数据和第二点云数据的特征信息,训练过程中也采用周围地图数据、第一点云数据和第二点云数据的特征信息作为强化学习模型的样本输入量,并且采用对应的奖励值或第二点云数据的传输策略作为该强化学习模型的样本输出值,以样本训练该强化学习模型,以实现将单车的周围地图数据、第一点云数据和第二点云数据的特征信息输入该强化学习模型,即可生成对应的奖励值或第二点云数据的传输策略。其中,该奖励值表征第二点云数据的特征信息是否对于当前车辆的感知有作用,即加入第二点云数据的特征信息(表征加入第二点云数据)后是否可以提高当前车辆的感知效果。
具体的,在计算奖励值之前,本申请还可以在当前车辆上将第一点云数据投影至平面网格上,得到第一点云数据的点云网格图;其中,点云网格图包括预设的多个网格,每个网格的值为0或1,网格的值为1表征该网格中存在第一点云数据的投影点,网格的值为0表征该网格中不存在第一点云数据的投影点,即将第一点云数据栅格化,以降低第一点云数据的数据量。优选地,可以根据当前车辆的观测范围和分辨率的大小设置点平面网格中每个网格的大小,以确定第一点云数据的数据量大小;然后将第一点云数据投影至该平面网格,并且将该平面网格中有投影点的网格的值设置为1、没有投影点的网格的值设置为0,从而可以将数据量较多的第一点云数据转换为数据量较少的栅格信息,也就是说,本申请通过将第一点云数据进行栅格化(或进一步压缩)以得到栅格化的第一点云数据,从而减少协同感知系统中的计算数据量。
在得到第一点云数据的点云网格图后,根据周围地图数据、点云网格图和第二点云数据的特征信息,计算点云网格图中每个网格的网格奖励值。网格奖励值表示对应网格中的数据(第二点云数据的特征信息)对于提高当前车辆的感知效果的作用,也就是说,将第二点云数据的特征信息(对应第二点云数据)划分为与点云网格图对应的多个区域数据,分别计算每个网格对应的第二点云数据的特征信息对于当前车辆的感知效果的提高程度,从而得到每个网格的网格奖励值。
步骤420:当奖励值大于预设的奖励阈值时,强化学习模型输出表征将第二点云数据传输至当前车辆的传输策略。
若奖励值大于预设的奖励阈值,说明此时的第二点云数据的特征信息对当前车辆的感知作用较大,也说明第二点云数据对于提高当前车辆的感知效果的作用较大,此时强化学习模型则输出表征将第二点云数据传输至当前车辆的传输策略。也就是说,强化学习模型计算得到的奖励值较大时,输出传输第二点云数据的特征信息对应的第二点云数据的策略指令或策略标识(例如输出标识1),当前车辆在接收到该策略指令或策略标识后,即获取第二点云数据,以进一步优化当前车辆的感知效果。
在一实施例中,如图2所示,上述步骤400还可以包括:
步骤430:当奖励值小于或等于奖励阈值时,强化学习模型输出表征不将第二点云数据传输至当前车辆的传输策略。
若奖励值小于或等于预设的奖励阈值,说明此时的第二点云数据的特征信息对当前车辆的感知作用较小,也说明第二点云数据对于提高当前车辆的感知效果的作用较小,此时强化学习模型则输出表征不将第二点云数据传输至当前车辆的传输策略。也就是说,强化学习模型计算得到的奖励值较小时,输出不传输第二点云数据的特征信息对应的第二点云数据的策略指令或策略标识(例如输出标识0),当前车辆在接收到该策略指令或策略标识后,即放弃第二点云数据,以减少传输的数据量、同时提高传输数据的效率和利用率。
具体的,若当前网格的网格奖励值大于预设的奖励阈值,则说明该网格处的第二点云数据对于当前车辆的感知效果有明显提升,则可以确定需要将该网格处的第二点云数据传输至当前车辆;若当前网格的网格奖励值小于或等于预设的奖励阈值时,则说明该网格处的第二点云数据对于当前车辆的感知效果无明显提升,则可以确定不需要将该网格处的第二点云数据传输至当前车辆,即放弃该网格处的第二点云数据。可选的,本申请的强化学习模型可以输出与点云网格图相同尺寸(网格大小和数量)的0/1矩阵,该矩阵中的元素为0或1,其中,1表示需要将该网格处的第二点云数据传输至当前车辆,0表示不需要将该网格处的第二点云数据传输至当前车辆。
应当理解,本申请可以对应点云网格图将第二点云数据划分为多个区域数据,并且单次仅传输一个区域数据或少数几个区域数据的特征信息至当前车辆,以降低单次传输数据量,从而提高传输速率。
图3是本申请另一示例性实施例提供的一种协同感知数据传输方法的流程示意图。如图3所示,上述步骤410可以包括:
步骤411:获取加入第二点云数据的特征信息后的第一图像。
其中,第一图像表征周围地图数据、第一点云数据和第二点云数据的特征信息综合得到的边框图像。当前车辆在获取到第二点云数据的特征信息后,根据周围地图数据、第一点云数据和第二点云数据的特征信息综合生成第一图像,其中第一图像为表征当前车辆周围物体的边框图像。
步骤412:根据第一图像和第二图像的边界框的置信度差值,计算得到强化学习模型的奖励值。
其中,第二图像表征周围地图数据和第一点云数据综合得到的边框图像。当前车辆实时获取第一点云数据,并且在获取到第一点云数据后,会结合第一点云数据和周围地图数据生成表征当前车辆周围信息的第二图像,其中,第二图像为表征当前车辆周围物体的边框图像。本申请的第一图像也可以是在第二图像的基础上加入第二点云数据的特征信息得到。
具体的,可以对第一图像和第二图像进行打分,以得到第一图像的分数图和第二图像的分数图,其中,分数图表征图像中每个边界框置信度(即目标识别边框和真值之间的差异),本申请通过比对第一图像的分数图和第二图像的分数图之间的差异,即可得到加入第二点云数据的特征信息后的第一图像的分数图是否有所提升,譬如某一部分边界框的置信度提高了一定值,具体的,若第二图像中某一物体(障碍物等)的边界框的置信度不高(无法确定该处是否为障碍物),而加入第二点云数据的特征信息后的第一图像中对应位置的边界框的置信度较高(从而可以确定该处为障碍物),说明加入第二点云数据的特征信息对于感知该障碍物是有利的,此时可以将第二点云数据的特征信息对应的奖励值设置较高,以获取第二点云数据的特征信息对应的第二点云数据。
在一实施例中,上述步骤412的具体实现方式可以是:当第一图像和第二图像的边界框的置信度差值大于预设的差异阈值时,强化学习模型的奖励值大于奖励阈值。第一图像和第二图像的边界框的置信度差值大于预设的差异阈值,即第一图像和第二图像的边界框的置信度差值较大,说明加入的第二点云数据的特征信息对当前车辆的感知有较大影响(有利影响),此时可以将第二点云数据的特征信息对应的奖励值设置较高,以获取第二点云数据的特征信息对应的第二点云数据。
在一实施例中,上述步骤412的具体实现方式可以是:当第一图像和第二图像的边界框的置信度差值小于或等于差异阈值时,强化学习模型的奖励值小于奖励阈值。第一图像和第二图像的边界框的置信度差值小于或等于预设的差异阈值,即第一图像和第二图像的边界框的置信度差值较小,说明加入的第二点云数据的特征信息对当前车辆的感知有较小影响(有利影响),此时可以将第二点云数据的特征信息对应的奖励值设置较低(例如为0),以放弃第二点云数据的特征信息对应的第二点云数据。
应当理解,本申请还可以根据实际需求而选取其他计算奖励值的方法,例如交并比(loU)函数(计算第一图像和第二图像的边界框交集和并集之比),本申请对于奖励值的具体计算方法不做限定。
图4是本申请另一示例性实施例提供的一种协同感知数据传输方法的流程示意图。第二点云数据的特征信息可以包括多个多帧点云数据;如图4所示,上述步骤300可以包括:
步骤310:分别获取多帧点云数据。
由于当前车辆会对每帧点云数据进行传输策略的确定,为了提高传输效率和响应速度,本申请可以将单个车辆的每帧点云数据作为一个或多个数据包发送至当前车辆,以供当前车辆判断是否需要获取该帧点云数据对应的第二点云数据。
对应的,步骤400可以包括:
步骤440:根据周围地图数据、第一点云数据和多帧点云数据,确定第二点云数据的传输策略。
本申请可以根据周围地图数据、第一点云数据和第二点云数据的特征信息中的每一帧数据分别计算得到一个单帧奖励值,从而形成一个奖励矩阵,根据该奖励矩阵得到对应的第二点云数据的传输策略。
图5是本申请另一示例性实施例提供的一种协同感知数据传输方法的流程示意图。如图5所示,该协同感知数据传输方法包括如下步骤:
步骤510:获取当前车辆的第一点云数据、位置信息、周围地图数据,以得到初始状态。
此步骤与上述步骤100和步骤200的具体实现方式相同或类似,此处不再赘述。
步骤520:获取当前车辆通讯范围内协同车辆信息。
在当前车辆的通讯范围(即第二预设范围)内搜索其他协同车辆(协同感知系统中的车辆),以获知协同车辆的位置信息、身份信息等。
步骤530:判断是否向通讯范围内的所有协同车辆发送过数据请求,若是则结束,否则转步骤540。
步骤540:选取一辆未发送过数据请求的协同车辆,向其发送数据请求以获取该协同车辆的第二点云数据的特征信息。
此步骤与上述步骤300的具体实现方式相同或类似,此处不再赘述。
步骤550:将周围地图数据、第一点云数据和第二点云数据的特征信息输入强化学习模型,以得到第二点云数据的传输策略。
此步骤与上述步骤400的具体实现方式相同或类似,此处不再赘述。
步骤560:若第二点云数据的传输策略为获取该第二点云数据,则获取第二点云数据并与第一点云数据融合,转步骤530。
图6是本申请一示例性实施例提供的一种协同感知数据传输装置的结构示意图。该协同感知数据传输装置设置于协同感知系统中的单辆车辆上,协同感知系统包括通信连接的多辆车辆;如图6所示,该协同感知数据传输装置60包括:地图获取模块61,用于获取当前车辆的周围地图数据;其中,当前车辆为协同感知系统中的任一辆车辆,周围地图数据表征当前车辆第一预设范围内的地图信息;点云获取模块62,用于获取当前车辆的第一点云数据;其中,第一点云数据表示当前车辆获取的点云数据;特征获取模块63,用于获取其他车辆的第二点云数据的特征信息;其中,其他车辆为协同感知系统中的车辆、且其他车辆位于当前车辆的第二预设范围内,第二点云数据表示其他车辆获取的点云数据,第二点云数据的特征信息由其他车辆根据第二点云数据得到;以及策略确定模块64,用于根据周围地图数据、第一点云数据和第二点云数据的特征信息,确定第二点云数据的传输策略;其中,传输策略表征是否将第二点云数据传输至当前车辆,传输策略根据第二点云数据对于提高当前车辆的感知效果的作用确定。
本申请提供的一种协同感知数据传输装置,通过地图获取模块61获取当前车辆的周围地图数据;点云获取模块62获取当前车辆的第一点云数据;特征获取模块63获取协同感知系统中其他车辆的第二点云数据的特征信息;其中,第二点云数据表示其他车辆获取的点云数据,第二点云数据的特征信息由其他车辆根据第二点云数据得到;并且策略确定模块64根据周围地图数据、第一点云数据和第二点云数据的特征信息,确定第二点云数据的传输策略;其中,传输策略表征是否将第二点云数据传输至当前车辆;即结合当前车辆获取的第一点云数据、其他车辆获取的第二点云数据的特征信息和当前车辆周围地图数据,综合判断第二点云数据对于当前车辆是否有用,并据此确定是否传输第二点云数据,并且第二点云数据的特征信息由各自的车辆处理得到,仅仅传输特征信息可以大幅降低了传输至当前车辆的数据量,只有在第二点云数据有用的前提下才执行传输操作,即对协同感知得到的数据进行筛选,以降低传输的数据量,不仅可以提高传输效率,而且可以有助于提高协同感知系统的响应速度,继而提高安全性。
在一实施例中,上述策略确定模块64可以进一步配置为:将周围地图数据、第一点云数据和第二点云数据的特征信息输入强化学习模型,并计算强化学习模型的奖励值,其中,奖励值根据第二点云数据的特征信息对于提高当前车辆的感知效果的作用计算得到;当奖励值大于预设的奖励阈值时,强化学习模型输出表征将第二点云数据传输至当前车辆的传输策略;当奖励值小于或等于奖励阈值时,强化学习模型输出表征不将第二点云数据传输至当前车辆的传输策略。
在一实施例中,上述协同感知数据传输装置60可以进一步配置为:将第一点云数据投影至平面网格上,得到第一点云数据的点云网格图;其中,点云网格图包括预设的多个网格,每个网格的值为0或1,网格的值为1表征该网格中存在第一点云数据的投影点,网格的值为0表征该网格中不存在第一点云数据的投影点;策略确定模块64可以进一步配置为:根据周围地图数据、点云网格图和第二点云数据的特征信息,计算点云网格图中每个网格的网格奖励值,当网格奖励值大于预设的奖励阈值时,确定将该网格对应的第二点云数据传输至当前车辆,否则放弃该网格对应的第二点云数据。
图7是本申请另一示例性实施例提供的一种协同感知数据传输装置的结构示意图。如图7所示,上述策略确定模块64可以包括:图像获取单元641,用于获取加入第二点云数据的特征信息后的第一图像,其中,第一图像表征周围地图数据、第一点云数据和第二点云数据的特征信息综合得到的边框图像;奖励计算单元642,用于根据第一图像和第二图像的边界框的置信度差值,计算得到强化学习模型的奖励值,其中,第二图像表征周围地图数据和第一点云数据综合得到的边框图像。
在一实施例中,上述奖励计算单元642可以进一步配置为:当第一图像和第二图像的边界框的置信度差值大于预设的差异阈值时,强化学习模型的奖励值大于奖励阈值。
在一实施例中,上述奖励计算单元642可以进一步配置为:当第一图像和第二图像的边界框的置信度差值小于或等于差异阈值时,强化学习模型的奖励值小于奖励阈值。
在一实施例中,第二点云数据的特征信息可以包括多个多帧点云数据;上述特征获取模块63可以进一步配置为:分别获取多帧点云数据;上述策略确定模块64可以进一步配置为:根据周围地图数据、第一点云数据和多帧点云数据,确定第二点云数据的传输策略。
图8是本申请一示例性实施例提供的一种协同感知数据传输系统的结构示意图。如图8所示,该协同感知数据传输系统包括:通信连接的多辆车辆10;其中,每辆车辆10上设置有如上述的协同感知数据传输装置。
本申请提供的一种协同感知数据传输系统,通过获取当前车辆的周围地图数据;获取当前车辆的第一点云数据;获取协同感知系统中其他车辆的第二点云数据的特征信息;其中,第二点云数据表示其他车辆获取的点云数据,第二点云数据的特征信息由其他车辆根据第二点云数据得到;并且根据周围地图数据、第一点云数据和第二点云数据的特征信息,确定第二点云数据的传输策略;其中,传输策略表征是否将第二点云数据传输至当前车辆;即结合当前车辆获取的第一点云数据、其他车辆获取的第二点云数据的特征信息和当前车辆周围地图数据,综合判断第二点云数据对于当前车辆是否有用,并据此确定是否传输第二点云数据,并且第二点云数据的特征信息由各自的车辆处理得到,仅仅传输特征信息可以大幅降低了传输至当前车辆的数据量,只有在第二点云数据有用的前提下才执行传输操作,即对协同感知得到的数据进行筛选,以降低传输的数据量,不仅可以提高传输效率,而且可以有助于提高协同感知系统的响应速度,继而提高安全性。
在一实施例中,如图8所示,上述协同感知数据传输系统还可以包括:环境数据存储装置20,环境数据存储装置20与每辆车辆10上的协同感知数据传输装置通信连接,用于存储协同感知数据传输系统的环境数据。
具体的,环境数据存储装置20中存储所有有关车辆的信息(位置姿态信息)、感知到的点云数据(第一点云数据)以及当前全局地图(周围地图数据)。车辆10上的协同感知数据传输装置会根据环境数据存储装置20的当前状态(例如当前车辆的数据请求)将对应的点云数据发送至环境数据存储装置20,环境数据存储装置20会反馈给协同车辆一个奖励值,协同车辆根据该奖励值执行对应的传输动作(传输或不传输点云数据)。
下面,参考图9来描述根据本申请实施例的电子设备。该电子设备可以是第一设备和第二设备中的任一个或两者、或与它们独立的单机设备,该单机设备可以与第一设备和第二设备进行通信,以从它们接收所采集到的输入信号。
图9图示了根据本申请实施例的电子设备的框图。
如图9所示,电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器11可以运行所述程序指令,以实现上文所述的本申请的各个实施例的方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中,电子设备10还可以包括:输入装置13和输出装置14,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
在该电子设备是单机设备时,该输入装置13可以是通信网络连接器,用于从第一设备和第二设备接收所采集的输入信号。
此外,该输入装置13还可以包括例如键盘、鼠标等等。
该输出装置14可以向外部输出各种信息,包括确定出的距离信息、方向信息等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然,为了简化,图9中仅示出了该电子设备10中与本申请有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备10还可以包括任何其他适当的组件。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (10)
1.一种协同感知数据传输方法,其特征在于,应用于协同感知系统中的单辆车辆上,所述协同感知系统包括通信连接的多辆车辆;所述协同感知数据传输方法包括:
获取当前车辆的周围地图数据;其中,所述当前车辆为所述协同感知系统中的任一辆所述车辆,所述周围地图数据表征所述当前车辆第一预设范围内的地图信息;
获取所述当前车辆的第一点云数据;其中,所述第一点云数据表示所述当前车辆获取的点云数据;
获取其他车辆的第二点云数据的特征信息;其中,所述其他车辆为所述协同感知系统中的所述车辆、且所述其他车辆位于所述当前车辆的第二预设范围内,所述第二点云数据表示所述其他车辆获取的点云数据,所述第二点云数据的特征信息由所述其他车辆根据所述第二点云数据得到;以及
根据所述周围地图数据、所述第一点云数据和所述第二点云数据的特征信息,确定所述第二点云数据的传输策略;其中,所述传输策略表征是否将所述第二点云数据传输至所述当前车辆,所述传输策略根据所述第二点云数据对于提高所述当前车辆的感知效果的作用确定。
2.根据权利要求1所述的协同感知数据传输方法,其特征在于,所述根据所述周围地图数据、所述第一点云数据和所述第二点云数据的特征信息,确定所述第二点云数据的传输策略包括:
将所述周围地图数据、所述第一点云数据和所述第二点云数据的特征信息输入强化学习模型,并计算所述强化学习模型的奖励值;其中,所述奖励值根据所述第二点云数据的特征信息对于提高所述当前车辆的感知效果的作用计算得到;以及
当所述奖励值大于预设的奖励阈值时,所述强化学习模型输出表征将所述第二点云数据传输至所述当前车辆的传输策略。
3.根据权利要求2所述的协同感知数据传输方法,其特征在于,所述根据所述周围地图数据、所述第一点云数据和所述第二点云数据的特征信息,确定所述第二点云数据的传输策略包括:
当所述奖励值小于或等于所述奖励阈值时,所述强化学习模型输出表征不将所述第二点云数据传输至所述当前车辆的传输策略。
4.根据权利要求2所述的协同感知数据传输方法,其特征在于,所述将所述周围地图数据、所述第一点云数据和所述第二点云数据的特征信息输入强化学习模型,并计算所述强化学习模型的奖励值包括:
获取加入所述第二点云数据的特征信息后的第一图像;其中,所述第一图像表征所述周围地图数据、所述第一点云数据和所述第二点云数据的特征信息综合得到的边框图像;以及
根据所述第一图像和第二图像的边界框的置信度差值,计算得到所述强化学习模型的奖励值;其中,所述第二图像表征所述周围地图数据和所述第一点云数据综合得到的边框图像。
5.根据权利要求4所述的协同感知数据传输方法,其特征在于,所述根据所述第一图像和第二图像的边界框的置信度差值,计算得到所述强化学习模型的奖励值包括:
当所述第一图像和第二图像的边界框的置信度差值大于预设的差异阈值时,所述强化学习模型的奖励值大于所述奖励阈值。
6.根据权利要求5所述的协同感知数据传输方法,其特征在于,所述根据所述第一图像和第二图像的边界框的置信度差值,计算得到所述强化学习模型的奖励值包括:
当所述第一图像和第二图像的边界框的置信度差值小于或等于所述差异阈值时,所述强化学习模型的奖励值小于所述奖励阈值。
7.根据权利要求1所述的协同感知数据传输方法,其特征在于,在所述根据所述周围地图数据、所述第一点云数据和所述第二点云数据的特征信息,确定所述第二点云数据的传输策略之前,所述协同感知数据传输方法还包括:
将所述第一点云数据投影至平面网格上,得到第一点云数据的点云网格图;其中,所述点云网格图包括预设的多个网格,每个所述网格的值为0或1,所述网格的值为1表征该网格中存在所述第一点云数据的投影点,所述网格的值为0表征该网格中不存在所述第一点云数据的投影点;
所述根据所述周围地图数据、所述第一点云数据和所述第二点云数据的特征信息,确定所述第二点云数据的传输策略包括:
根据所述周围地图数据、所述点云网格图和所述第二点云数据的特征信息,计算所述点云网格图中每个网格的网格奖励值;其中,所述网格奖励值根据该网格对应的所述第二点云数据的特征信息对于提高所述当前车辆的感知效果的作用计算得到;以及
当所述网格奖励值大于预设的奖励阈值时,确定将该网格对应的所述第二点云数据传输至所述当前车辆。
8.一种协同感知数据传输装置,其特征在于,设置于协同感知系统中的单辆车辆上,所述协同感知系统包括通信连接的多辆车辆;所述协同感知数据传输装置包括:
地图获取模块,用于获取当前车辆的周围地图数据;其中,所述当前车辆为所述协同感知系统中的任一辆所述车辆,所述周围地图数据表征所述当前车辆第一预设范围内的地图信息;
点云获取模块,用于获取所述当前车辆的第一点云数据;其中,所述第一点云数据表示所述当前车辆获取的点云数据;
特征获取模块,用于获取其他车辆的第二点云数据的特征信息;其中,所述其他车辆为所述协同感知系统中的所述车辆、且所述其他车辆位于所述当前车辆的第二预设范围内,所述第二点云数据表示所述其他车辆获取的点云数据,所述第二点云数据的特征信息由所述其他车辆根据所述第二点云数据得到;以及
策略确定模块,用于根据所述周围地图数据、所述第一点云数据和所述第二点云数据的特征信息,确定所述第二点云数据的传输策略;其中,所述传输策略表征是否将所述第二点云数据传输至所述当前车辆,所述传输策略根据所述第二点云数据对于提高所述当前车辆的感知效果的作用确定。
9.一种协同感知数据传输系统,其特征在于,包括:
通信连接的多辆车辆;其中,每辆所述车辆上设置有如权利要求8所述的协同感知数据传输装置。
10.根据权利要求9所述的协同感知数据传输系统,其特征在于,还包括:
环境数据存储装置,所述环境数据存储装置与每辆所述车辆上的所述协同感知数据传输装置通信连接,用于存储所述协同感知数据传输系统的环境数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310414683.4A CN116170779B (zh) | 2023-04-18 | 2023-04-18 | 一种协同感知数据传输方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310414683.4A CN116170779B (zh) | 2023-04-18 | 2023-04-18 | 一种协同感知数据传输方法、装置及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116170779A CN116170779A (zh) | 2023-05-26 |
CN116170779B true CN116170779B (zh) | 2023-07-25 |
Family
ID=86416582
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310414683.4A Active CN116170779B (zh) | 2023-04-18 | 2023-04-18 | 一种协同感知数据传输方法、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116170779B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116582838B (zh) * | 2023-07-10 | 2023-11-14 | 安徽深信科创信息技术有限公司 | 交通数据的传输方法、生成方法、装置、设备和介质 |
CN117459922B (zh) * | 2023-09-18 | 2024-08-27 | 北京佰才邦技术股份有限公司 | 数据传输方法、装置、终端及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111464978A (zh) * | 2019-01-22 | 2020-07-28 | 岳秀兰 | 主次无线设备通过物联网连接建立的车辆远程驾驶体系 |
CN111696373A (zh) * | 2019-03-15 | 2020-09-22 | 北京图森智途科技有限公司 | 车队协同感知方法、车队协同控制方法和系统 |
CN115187742A (zh) * | 2022-09-07 | 2022-10-14 | 西安深信科创信息技术有限公司 | 自动驾驶仿真测试场景生成方法、系统及相关装置 |
CN115619871A (zh) * | 2022-09-05 | 2023-01-17 | 中汽创智科技有限公司 | 一种车辆定位方法、装置、设备及存储介质 |
CN115691183A (zh) * | 2022-08-31 | 2023-02-03 | 广州软件应用技术研究院 | 一种基于端边云协同计算的车路协同驾驶方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3506040B8 (en) * | 2017-12-28 | 2021-09-22 | Einride AB | Cooperative sensing |
-
2023
- 2023-04-18 CN CN202310414683.4A patent/CN116170779B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111464978A (zh) * | 2019-01-22 | 2020-07-28 | 岳秀兰 | 主次无线设备通过物联网连接建立的车辆远程驾驶体系 |
CN111696373A (zh) * | 2019-03-15 | 2020-09-22 | 北京图森智途科技有限公司 | 车队协同感知方法、车队协同控制方法和系统 |
CN115691183A (zh) * | 2022-08-31 | 2023-02-03 | 广州软件应用技术研究院 | 一种基于端边云协同计算的车路协同驾驶方法及系统 |
CN115619871A (zh) * | 2022-09-05 | 2023-01-17 | 中汽创智科技有限公司 | 一种车辆定位方法、装置、设备及存储介质 |
CN115187742A (zh) * | 2022-09-07 | 2022-10-14 | 西安深信科创信息技术有限公司 | 自动驾驶仿真测试场景生成方法、系统及相关装置 |
Non-Patent Citations (1)
Title |
---|
基于人机交互的三维数据协同可视检测仿真;冀婷;计算机仿真;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN116170779A (zh) | 2023-05-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116170779B (zh) | 一种协同感知数据传输方法、装置及系统 | |
CN112835806B (zh) | 一种仿真测试平台、方法及存储介质 | |
US11403517B2 (en) | Proximity-based distributed sensor processing | |
US11689623B2 (en) | Adaptive real-time streaming for autonomous vehicles | |
US20230078241A1 (en) | Driving assistance processing method and apparatus, computer-readable medium, and electronic device | |
WO2022206414A1 (zh) | 三维目标检测方法及装置 | |
EP4261686A1 (en) | Data sharing method and apparatus applied to vehicle convoy, and medium and electronic device | |
CN115578709B (zh) | 一种车路协同的特征级协同感知融合方法和系统 | |
CN113269168B (zh) | 障碍物数据处理方法、装置、电子设备和计算机可读介质 | |
US20230300196A1 (en) | Data sharing method and apparatus applied between vehicles, medium, and electronic device | |
WO2023185564A1 (zh) | 基于多网联车空间对齐特征融合的视觉增强方法及系统 | |
US20230326352A1 (en) | Platoon driving control method and apparatus, medium, and electronic device | |
CN114550116A (zh) | 一种对象识别方法和装置 | |
CN117128979A (zh) | 一种多传感器融合方法、装置、电子设备及存储介质 | |
CN115203078A (zh) | 基于soa架构的车辆数据采集系统、方法、设备及介质 | |
CN114386481A (zh) | 一种车辆感知信息融合方法、装置、设备及存储介质 | |
CN113111692B (zh) | 目标检测方法、装置、计算机可读存储介质及电子设备 | |
US20230091574A1 (en) | Driving assistance processing method and apparatus, computer-readable medium, and electronic device | |
CN115061386B (zh) | 智能驾驶的自动化仿真测试系统及相关设备 | |
CN115578716A (zh) | 一种车载数据的处理方法、装置、设备及介质 | |
CN115359332A (zh) | 基于车路协同的数据融合方法、装置、电子设备及系统 | |
US20210402997A1 (en) | Methods and systems for evaluating vehicle behavior | |
US20210312729A1 (en) | Distributed autonomous vehicle data logger | |
US20230109494A1 (en) | Methods and devices for building a training dataset | |
CN115438712B (zh) | 一种基于卷积神经网络与车路协同的感知融合方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address |
Address after: Room 533, 5th Floor, Building A3A4, Phase I, Zhong'an Chuanggu Science and Technology Park, No. 900 Wangjiang West Road, High tech Zone, Hefei City, Anhui Province, 230031 Patentee after: Anhui Xinxin Science and Technology Innovation Information Technology Co.,Ltd. Address before: 2nd Floor, Building B2, Yunhui Valley, No. 156, Tiangu 8th Road, Software New Town, Yuhua Street Office, High-tech Zone, Xi'an City, Shaanxi Province 710000 Patentee before: Xi'an Xinxin Information Technology Co.,Ltd. |
|
CP03 | Change of name, title or address |