CN114845267A - 一种基于车联网的传感器数据共享方法和装置 - Google Patents
一种基于车联网的传感器数据共享方法和装置 Download PDFInfo
- Publication number
- CN114845267A CN114845267A CN202210178841.6A CN202210178841A CN114845267A CN 114845267 A CN114845267 A CN 114845267A CN 202210178841 A CN202210178841 A CN 202210178841A CN 114845267 A CN114845267 A CN 114845267A
- Authority
- CN
- China
- Prior art keywords
- terminal
- data
- target
- sharing
- shared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000006855 networking Effects 0.000 claims abstract description 39
- 230000004044 response Effects 0.000 claims abstract description 35
- 230000004927 fusion Effects 0.000 claims abstract description 33
- 238000001514 detection method Methods 0.000 claims abstract description 17
- 238000004891 communication Methods 0.000 claims abstract description 16
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 238000012790 confirmation Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 2
- 238000005265 energy consumption Methods 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 5
- 230000008447 perception Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/06—Selective distribution of broadcast services, e.g. multimedia broadcast multicast service [MBMS]; Services to user groups; One-way selective calling services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
- H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W76/00—Connection management
- H04W76/10—Connection setup
- H04W76/15—Setup of multiple wireless link connections
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W8/00—Network data management
- H04W8/26—Network addressing or numbering for mobility support
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于车联网的传感器数据共享方法和装置，其中，该方法包括：第一终端获取当前车辆的工况信息和联网状态信息，并广播共享请求，第一终端接收多个第二终端根据共享请求反馈的响应消息，第一终端根据响应信息、第一终端和第二终端的通信质量信息以及联网状态信息，从多个第二终端中确定至少一个目标第二终端，并建立与至少一个目标第二终端的共享连接，第一终端获取至少一个目标第二终端发送的共享数据，并将第一终端的原始级数据与共享数据进行融合，得到目标融合数据。本发明能够提升目标检测准确率，或在准确率要求固定情况下节省车辆能耗与车辆成本。
Description
技术领域
本发明涉及自动驾驶领域，尤其涉及一种基于车联网的传感器数据共享方法和装置。
背景技术
在自动驾驶的场景中，正确、完整地感知周围交通环境是安全驾驶的基础。因此，高级别的自动驾驶汽车往往配置高冗余的传感系统，包括摄像头、激光雷达、毫米波雷达等。然而，即使是车载传感器在视野被遮挡时也无法探测到遮挡区域的交通参与者，且在恶劣天气、夜晚亮度较低时可靠度会下降，且在一些极端情形下，辨认目标类型可能发生错误，从而有发生事故的可能性，例如在一次经典事故中，自动驾驶汽车将卡车的侧面识别成天空而并未减速。
现有传感器数据共享技术主要为感知结果的共享与融合，部分技术将检测的道路标识、红绿灯、道路情况等通过车联网共享给其他车辆；部分技术将路侧感知系统先将多个传感器采集的数据进行融合处理，得到目标信息，再通过车联网发给车辆终端进行融合；部分技术依赖于高清地图的动态层，针对被遮挡的视野和不确定的目标，向遮挡本车视野的车辆或其他周围车辆请求传感器检测的目标信息；部分技术通过传感器和故障车辆的车联网消息两种途径感知到前方紧急情况，然后将车辆信息实时上传云端，通过云端共享到后方车辆，以实现同时紧急制动；部分技术考虑了原始点云数据、特征数据和结果数据的协作感知，建模为线性规划问题，并提出一种带宽自适应数据分割算法和感知数据分割方案，在保证实时性的前提下，通过自适应调整在车辆间共享的感知数据，达到最优的感知精度。
目前现有技术主要基于目标种类、位置等信息的结果级数据对传感器进行融合，有的技术仅对各级数据的比例进行优化，也没有考虑原始数据、特征数据融合的具体方法。
与此同时，现有技术没有主动对联合感知中传感器分享源进行选择的算法，并同时考虑车联网信道的情况，也没有对请求传感器共享的具体通信方案进行设计。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的目的在于利用联合感知的思路，通过车联网实时接收来自其他车辆或路边单元共享的传感器数据，可为原始数据、特征数据或结果数据，并对来自不同来源的数据进行融合，从而获得视角和视野上的补充，此外在部分或全部车辆具有传感器和车联网通信功能的交通场景中，由于车载传感器的参数和性能不同，且动态遮挡关系复杂，往往难以直接判断哪辆车的传感器数据能够最大程度帮助本车的环境感知，本发明提出一种基于车联网的传感器数据共享方法。
本发明的另一个目的在于提出一种基于车联网的传感器数据共享装置。
为达上述目的，本发明一方面提出了基于车联网的传感器数据共享方法，包括以下步骤：
第一终端获取当前车辆的工况信息和联网状态信息；所述第一终端根据所述当前车辆的工况信息、所述当前车辆的可接受的传感器数据类型以及所述第一终端的网络地址生成共享请求，并通过所述当前车辆的车联网广播所述共享请求；所述第一终端接收多个第二终端根据所述共享请求反馈的响应消息，所述响应消息包括所述第二终端在满足可接受的传感器数据类型的条件时获取的共享设备的工况信息，其中，所述共享设备包括联网车辆和路侧单元；所述第一终端根据所述共享设备的工况信息、所述第一终端和所述第二终端的通信质量信息以及所述联网状态信息，从所述多个第二终端中确定至少一个目标第二终端，并建立与所述至少一个目标第二终端的共享连接；所述第一终端获取所述至少一个目标第二终端发送的共享数据，并将所述第一终端的原始级数据与所述共享数据进行融合，得到目标融合数据。
根据本发明实施例的基于车联网的传感器数据共享方法，通过第一终端获取当前车辆的工况信息和联网状态信息，并广播共享请求，所述第一终端接收多个第二终端根据所述共享请求反馈的响应消息，所述第一终端根据所述响应信息、所述第一终端和所述第二终端的通信质量信息以及所述联网状态信息，从所述多个第二终端中确定至少一个目标第二终端，并建立与所述至少一个目标第二终端的共享连接，所述第一终端获取所述至少一个目标第二终端发送的共享数据，并将所述第一终端的原始级数据与所述共享数据进行融合，得到目标融合数据。本发明能够提升目标检测准确率，或在准确率要求固定情况下节省车辆能耗与车辆成本。
另外，根据本发明上述实施例的基于车联网的传感器数据共享方法还包括：
进一步地，所述第一终端接收多个第二终端根据所述共享请求反馈的响应消息，包括：
所述第一终端接收所述多个第二终端根据共享请求提供的单帧样本数据；
所述第一终端判断所述单帧样本数据是否满足要求；
所述第一终端向满足要求的所述多个第二终端发送数据共享请求。
进一步地，所述第一终端根据所述共享设备的工况信息、所述第一终端和所述第二终端的通信质量信息以及所述联网状态信息，从所述多个第二终端中确定至少一个目标第二终端，包括：
所述第一终端根据所述联网状态信息确定可使用的车联网带宽预算；
所述第一终端根据所述共享设备的工况信息分别计算每个共享设备的信息价值；
在可使用的所述车联网带宽预算下，所述第一终端根据所述信息价值确定至少一个目标第二终端。
进一步地，所述第一终端根据所述共享设备的工况信息分别计算每个共享设备的信息价值，包括：
所述第一终端根据所述当前车辆的工况信息获取所述当前车辆的位置和传感器有效覆盖范围，根据所述共享设备的工况信息获取所述共享设备的传感器有效覆盖范围；
所述第一终端计算所述多个第二终端的传感器与所述当前车辆传感器有效覆盖范围的差集；
所述第一终端根据所述当前车辆的位置对所述传感器有效覆盖范围差集进行加权积分，分别计算出所述多个第二终端的信息价值。
进一步地，所述第一终端根据所述共享设备的工况信息分别计算每个共享设备的信息价值，包括：
所述第一终端根据所述共享设备的工况信息获取所述共享设备的目标结果列表；
所述第一终端根据所述目标位置的重要性进行加权求和，分别计算出所述多个第二终端的信息价值。
进一步地，所述建立与所述至少一个目标第二终端的共享连接，包括：
在所述第一终端未与所述目标第二终端连接的情况下，所述第一终端向所述目标第二终端发送新建连接请求，其中，所述新建连接请求包括指定的数据格式和发送频率；
所述第一终端接收到所述目标第二终端发送的指定格式的所述共享数据后，向所述目标第二终端回复确认信息，所述共享数据包括所述目标第二终端的运动信息、指定格式的传感器数据及时间戳。
进一步地，所述建立与所述至少一个目标第二终端的共享连接，还包括：
在所述第一终端与非目标第二终端存在连接的情况下，所述第一终端向所述非目标第二终端发送终止连接请求；
在仍可接收到所述非目标第二终端发送的所述共享数据的情况下，再次向所述非目标第二终端发送所述终止连接请求，直至不再接收到所述非目标第二终端发送的所述共享数据。
进一步地，所述第一终端获取所述至少一个目标第二终端发送的共享数据，并将所述第一终端的原始级数据与所述共享数据进行融合，得到目标融合数据，包括：
所述第一终端根据所述指定的数据格式将所述共享数据划分为所述原始级数据、所述特征级数据和所述结果级数据；
所述第一终端将所述原始级数据输入到物体检测神经网络，初步输出特征级数据，其中，在所述共享数据包括所述原始级数据的情况下，将所述第一终端的原始级数据与所述目标第二终端的原始级数据先执行原始级融合；
所述第一终端将所述特征级数据输入到神经网络得到物体检测的结果级数据，在所述共享数据包括所述特征级数据的情况下，将所述特征级数据先执行特征级融合；
在所述共享数据包括所述结果级数据的情况下，所述第一终端根据所述共享数据的时间戳对所述结果级数据执行结果级融合，获得目标融合数据。
进一步地，所述方法还包括：
在存在重选定时器超时、目标第二终端连接中断和目标第二终端主动终止共享的任一情况下，所述第一终端重选所述共享设备。
为达到上述目的，本发明另一方面提出了一种基于车联网的传感器数据共享装置，包括：
获取模块，用于通过第一终端获取当前车辆的工况信息和联网状态信息；
请求模块，用于通过所述第一终端根据所述当前车辆的工况信息、所述当前车辆的可接受的传感器数据类型以及所述第一终端的网络地址生成共享请求，并通过所述当前车辆的车联网广播所述共享请求；
响应模块，用于通过所述第一终端接收多个第二终端根据所述共享请求反馈的响应消息，所述响应消息包括所述第二终端在满足可接受的传感器数据类型的条件时获取的共享设备的工况信息，其中，所述共享设备包括联网车辆和路侧单元；
连接模块，用于通过所述第一终端根据所述共享设备的工况信息、所述第一终端和所述第二终端的通信质量信息以及所述联网状态信息，从所述多个第二终端中确定至少一个目标第二终端，并建立与所述至少一个目标第二终端的共享连接；
融合模块，用于通过所述第一终端获取所述至少一个目标第二终端发送的共享数据，并将所述第一终端的原始级数据与所述共享数据进行融合，得到目标融合数据。
根据本发明实施例的基于车联网的传感器数据共享装置，通过第一终端获取当前车辆的工况信息和联网状态信息，并广播共享请求，所述第一终端接收多个第二终端根据所述共享请求反馈的响应消息，所述第一终端根据所述响应信息、所述第一终端和所述第二终端的通信质量信息以及所述联网状态信息，从所述多个第二终端中确定至少一个目标第二终端，并建立与所述至少一个目标第二终端的共享连接，所述第一终端获取所述至少一个目标第二终端发送的共享数据，并将所述第一终端的原始级数据与所述共享数据进行融合，得到目标融合数据。本发明能够提升目标检测准确率，或在准确率要求固定情况下节省车辆能耗与车辆成本。
本发明的有益效果：
本发明利用来自至少一个共享源的传感器信息，获得视角和视野上的补充，可以提升自动驾驶车辆对较远目标、遮挡目标、或恶劣天气下的目标检测准确率，从而保证行驶安全；同时可以降低对自动驾驶系统中传感器冗余的要求；在固定准确率要求时，可降低传感装置的部署成本和系统计算开销，进而节省车辆的能耗，提升续航里程。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例的传感器数据共享场景的示意图；
图2为根据本发明实施例的基于车联网的传感器数据共享方法的流程图；
图3为根据本发明实施例的传感器共享源选择的流程示意图；
图4为根据本发明实施例的新建共享连接的流程示意图；
图5a为根据本发明实施例的当前车辆终止共享连接的流程示意图；
图5b为根据本发明实施例的共享源终止共享连接的流程示意图；
图6为根据本发明实施例的数据融合的流程示意图；
图7为根据本发明实施例的传感器数据共享系统流程的示意图；
图8为根据本发明实施例的基于车联网的传感器数据共享装置的结构示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
下面参照附图描述根据本发明实施例提出的基于车联网的传感器数据共享方法及装置，首先将参照附图描述根据本发明实施例提出的基于车联网的传感器数据共享方法。
自动驾驶车辆的感知系统用于对周围环境的目标进行检测，即识别并确定其位置。在部分交通场景中，本车的视野受到其他车辆的遮挡，如图1所示。
本发明实施例依赖于摄像头、激光雷达、毫米波雷达等车载传感器，C-V2X蜂窝车联网的两代标准LTE-V2X、NR-V2X、基于802.11标准的车联网等无线车联网技术。优选地，对应NR-V2X的模式2或LTE-V2X的模式4，传感器数据的周期性发送能够更好地利用车联网中半周期性调度的特性。
其中，车载传感器或路侧单元以10帧每秒、25帧每秒等一种固定帧率获取周围环境的信息，传感器产生原始级数据，包括雷达的点云数据、摄像头的高清图像数据。有时传感器数据会在车端进行实时处理，例如Faster-RCNN，YOLO，PointPillar等二维或三维物体检测神经网络、或其他基于卷积神经网络的结构，得到周围车辆、行人等交通目标的种类及二维或三维坐标，称为结果级数据，有时通过神经网络等方法进行特征提取，称为特征级数据。相比于结果级数据，往往特征级数据只需部分神经网络层进行处理，故计算速度更快，而相比原始层数据量更小。以上三个层级的数据统称传感数据，车载计算单元可通过对传感数据进行处理得到其在二维高清地图上的有效覆盖范围，该有效覆盖范围指的是能准确确定范围内目标的区域，并未受到遮挡。
车载传感器还可以获取当前车辆的经度、纬度，或高清地图上坐标的精确定位、速度、加速度、朝向、转弯角速度等，统称为运动信息。
无线车联网可将传感器的三种层级数据发送到其他联网车辆，接收方可以获取终端具有一定的感知网络拥塞情况的能力，例如蜂窝车联网协议中的信道占用率指标。
图2是本发明一个实施例的基于车联网的传感器数据共享方法的流程图。
如图2所示，该基于车联网的传感器数据共享方法包括以下步骤：
步骤S1，第一终端获取当前车辆的工况信息和联网状态信息。
具体地，步骤S1包括：
第一终端根据定位、传感系统的历史数据，确定当前车辆的运动信息、环境感知情况，以及车联网的拥塞情况，其中，环境感知情况包括传感器有效覆盖范围、检测到的目标列表。
步骤S2，第一终端根据当前车辆的工况信息、当前车辆的可接受的传感器数据类型以及第一终端的网络地址生成共享请求，并通过当前车辆的车联网广播共享请求。
具体地，步骤S2包括：
第一终端通过车联网广播传感器共享请求，该请求包括当前车辆的位置、速度、朝向等运动信息，终端的网络地址，可接受的传感器数据类型。应当理解的是，可接受的传感器数据类型指的是原始级数据、特征级数据和结果级数据。
对于原始级数据，根据当前车辆的计算平台与感知算法，指定使用摄像头图像或雷达点云数据；对于特征级数据，同样根据当前车辆的感知算法，指定计算特征的某个标准化数据。结果级数据往往只需按固定格式发送即可，例如类别+坐标的二元组。
应当理解的是，最节约通信资源的一种方式是只接受结果级数据；相反，最追求数据质量的方式是只接受原始数据。
步骤S3，第一终端接收多个第二终端根据共享请求反馈的响应消息，响应消息包括第二终端在满足可接受的传感器数据类型的条件时获取的共享设备的工况信息，其中，共享设备包括联网车辆和路侧单元。
具体地，步骤S3包括：
第二终端接收到共享请求后，若满足可接受传感器数据类型的条件，则发送响应消息，包括联网车辆或者路侧单元的运动信息、环境感知能力，其中，环境感知能力包括共享的传感器数据类型、传感器有效覆盖范围。可选地，包含一帧传感器数据供请求方评估，传感器数据附带时间戳。
需要说明的是，在当前车辆附近没有联网车辆或路侧单元的情况下，当前车辆执行单车感知。
步骤S4，第一终端根据共享设备的工况信息、第一终端和第二终端的通信质量信息以及联网状态信息，从多个第二终端中确定至少一个目标第二终端，并建立与至少一个目标第二终端的共享连接。
具体地，步骤S4包括：
第一终端在等待响应时间后，收到多个共享源的响应消息。根据共享源的运动信息、环境感知能力，当前车辆与共享源间的通信质量、车联网的拥塞情况等，根据算法选择一个或数个共享源建立传感器共享连接，如图3所示。
作为一种示例，共享源选择算法的步骤如下所示：
第一终端根据交通环境的复杂度确定所需共享频率，一般为1Hz-10Hz，再根据当前车联网拥塞情况决定可使用的车联网带宽预算，即得到每一帧用于联合感知的数据量，例如，在NR-V2X标准中信道繁忙率表示最近一段时间内时频资源的占用率；
第一终端对每个响应共享源的信息价值进行计算；
将问题转化为一个组合优化问题，在给定的车联网带宽预算下，最大化共享源的信息价值总和，该组合优化问题可通过分支定界、启发式搜索等方式进行求解。
作为信息价值计算的一种示例，计算每个响应共享源的传感器有效覆盖范围与当前车辆传感器有效覆盖范围的差集，即各个响应共享源传感器能补充的感知范围，再根据共享源位置的重要性进行加权积分计算出每个共享源的信息价值，其中，共享源位置的重要性可根据与当前车辆未来数秒内规划路径的距离进行计算。
作为信息价值计算的另一种示例，根据该传感器能检测到的结果列表，对于其中目标位置重要性的加权求和，计算出共享源的信息价值。
可选地，在响应消息包含传感器数据的情况下，可在当前车辆进行融合算法后更精准地根据上述两种信息价值计算的示例得到共享源的信息价值。
可以理解的是，第一终端需要根据当前的传感器共享连接状态，与选择的传感器共享源，新建或终止共享连接。
如图4所示，在与选择的传感器共享源未连接的情况下，第一终端向该类共享源发送新建连接请求，包括指定的数据格式、发送频率信息。共享源接收后开始按照指定频率发送指定格式的传感器数据信息，包括共享源运动信息、指定格式的传感器数据及时间戳，此后当前车辆每次接收数据后向分享源回复确认消息。可选地，共享源可以对数据进行压缩。
如图5a所示，在与未选择的传感器共享源存在连接的情况下，第一终端向该类共享源发送终止连接请求，共享源接收到后停止共享。若此后又接收到了该类中共享源的传感器数据，则再次向其发送终止连接请求。
如图5b所示，传感器共享源也可以根据自身实际状况主动结束共享连接，通过向第一终端发送终止共享连接消息，第一终端在接收到该消息后就停止接收该共享源的共享数据。
步骤S5，第一终端获取至少一个目标第二终端发送的共享数据，并将第一终端的原始级数据与共享数据进行融合，得到目标融合数据。
具体地，步骤S5如图6所示，包括：
第一终端选取成功建立连接的每个共享源的最新一次共享数据，共享数据的类型可为原始级数据、特征级数据和结果级数据，若最新一次共享数据的时间戳过早，例如延时达到0.2s，则本次数据融合不使用该共享源；
若有原始级的共享传感器数据，则将当前车辆传感器数据与共享数据进行原始级融合。融合算法随原始数据种类不同：若为图像数据，可通过图像拼接技术，或同时作为多目物体检测神经网络的输入数据；若为雷达数据，则可根据两车的运动信息进行坐标与旋转变换进行融合，或计算出特征点进行雷达配准；
将原始级传感器数据或者上一步融合后的原始级数据作为输入，通过例如Faster-RCNN、YOLO、PointPillar等二维或三维物体检测神经网络，初步得到特征级数据；
若有特征级的共享传感器数据，则将特征级数据进行特征级融合，特征级融合要求共享源与当前车辆采用相同的物体检测算法得到特征，例如基于图神经网络的V2VNet等，根据具体的检测算法执行相应的融合步骤，例如将特征拼接后再进行池化；
将特征级数据或者融合后的特征级数据再次经过神经网络得到物体检测结果，获得一个目标列表，包含目标的种类和边缘框坐标；
若有结果级的共享传感器数据，则将检测目标进行融合，需要根据传感数据的时间戳进行合并去重，也可根据目标种类与位置、目标速度、特征进行不同传感器结果之间的匹配。
可以理解的是，融合后的最终目标检测结果可用于路径规划、紧急避障等自动驾驶任务。
需要说明的是，当前车辆需要判断是否重选共享源，若重选定时器超时，或存在共享源连接中断，或存在共享源主动终止共享，则触发重新选择过程，其中，重选定时器的典型设定时间一般为2秒、5秒或10秒，可根据实际的历史重选情况决定重选计时器的设定时间。
基于传感器数据共享方法的传感器数据共享系统流程如图7所示，存在共享连接中断或任意方终止连接或达到重选时间，则重选共享源，否则继续进行数据融合执行联合感知任务。
通过上述步骤，第一终端获取当前车辆的工况信息和联网状态信息，并广播共享请求，第一终端接收多个第二终端根据共享请求反馈的响应消息，第一终端根据响应信息、第一终端和第二终端的通信质量信息以及联网状态信息，从多个第二终端中确定至少一个目标第二终端，并建立与至少一个目标第二终端的共享连接，第一终端获取至少一个目标第二终端发送的共享数据，并将第一终端的原始级数据与共享数据进行融合，得到目标融合数据。本发明能够提升目标检测准确率，或在准确率要求固定情况下节省车辆能耗与车辆成本。
为了实现上述实施例，如图8所示，本实施例中还提供了一种基于车联网的传感器数据共享装置10，该装置10包括：获取模块100，请求模块200，响应模块300，连接模块400，融合模块500。
获取模块100，用于通过第一终端获取当前车辆的工况信息和联网状态信息；
请求模块200，用于通过第一终端根据当前车辆的工况信息、当前车辆的可接受的传感器数据类型以及第一终端的网络地址生成共享请求，并通过当前车辆的车联网广播共享请求；
响应模块300，用于通过第一终端接收多个第二终端根据共享请求反馈的响应消息，响应消息包括第二终端在满足可接受的传感器数据类型的条件时获取的共享设备的工况信息，其中，共享设备包括联网车辆和路侧单元；
连接模块400，用于通过第一终端根据共享设备的工况信息、第一终端和第二终端的通信质量信息以及联网状态信息，从多个第二终端中确定至少一个目标第二终端，并建立与至少一个目标第二终端的共享连接；
融合模块500，用于通过第一终端获取至少一个目标第二终端发送的共享数据，并将第一终端的原始级数据与共享数据进行融合，得到目标融合数据。
根据本发明实施例的基于车联网的传感器数据共享装置，第一终端获取当前车辆的工况信息和联网状态信息，并广播共享请求，第一终端接收多个第二终端根据共享请求反馈的响应消息，第一终端根据响应信息、第一终端和第二终端的通信质量信息以及联网状态信息，从多个第二终端中确定至少一个目标第二终端，并建立与至少一个目标第二终端的共享连接，第一终端获取至少一个目标第二终端发送的共享数据，并将第一终端的原始级数据与共享数据进行融合，得到目标融合数据。本发明能够提升目标检测准确率，或在准确率要求固定情况下节省车辆能耗与车辆成本。
需要说明的是，前述对基于车联网的传感器数据共享方法实施例的解释说明也适用于该实施例的基于车联网的传感器数据共享装置，此处不再赘述。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种基于车联网的传感器数据共享方法，其特征在于，包括：
第一终端获取当前车辆的工况信息和联网状态信息；
所述第一终端根据所述当前车辆的工况信息、所述当前车辆的可接受的传感器数据类型以及所述第一终端的网络地址生成共享请求，并通过所述当前车辆的车联网广播所述共享请求；
所述第一终端接收多个第二终端根据所述共享请求反馈的响应消息，所述响应消息包括所述第二终端在满足可接受的传感器数据类型的条件时获取的共享设备的工况信息，其中，所述共享设备包括联网车辆和路侧单元；
所述第一终端根据所述共享设备的工况信息、所述第一终端和所述第二终端的通信质量信息以及所述联网状态信息，从所述多个第二终端中确定至少一个目标第二终端，并建立与所述至少一个目标第二终端的共享连接；
所述第一终端获取所述至少一个目标第二终端发送的共享数据，并将所述第一终端的原始级数据与所述共享数据进行融合，得到目标融合数据。
2.根据权利要求1所述的方法，其特征在于，所述第一终端接收多个第二终端根据所述共享请求反馈的响应消息，包括：
所述第一终端接收所述多个第二终端根据共享请求提供的单帧样本数据；
所述第一终端判断所述单帧样本数据是否满足要求；
所述第一终端向满足要求的所述多个第二终端发送数据共享请求。
3.根据权利要求2所述的方法，其特征在于，所述第一终端根据所述共享设备的工况信息、所述第一终端和所述第二终端的通信质量信息以及所述联网状态信息，从所述多个第二终端中确定至少一个目标第二终端，包括：
所述第一终端根据所述联网状态信息确定可使用的车联网带宽预算；
所述第一终端根据所述共享设备的工况信息分别计算每个共享设备的信息价值；
在可使用的所述车联网带宽预算下，所述第一终端根据所述信息价值确定至少一个目标第二终端。
4.根据权利要求3所述的方法，其特征在于，所述第一终端根据所述共享设备的工况信息分别计算每个共享设备的信息价值，包括：
所述第一终端根据所述当前车辆的工况信息获取所述当前车辆的位置和传感器有效覆盖范围，根据所述共享设备的工况信息获取所述共享设备的传感器有效覆盖范围；
所述第一终端计算所述多个第二终端的传感器与所述当前车辆传感器有效覆盖范围的差集；
所述第一终端根据所述当前车辆的位置对所述传感器有效覆盖范围差集进行加权积分，分别计算出所述多个第二终端的信息价值。
5.根据权利要求3所述的方法，其特征在于，所述第一终端根据所述共享设备的工况信息分别计算每个共享设备的信息价值，包括：
所述第一终端根据所述共享设备的工况信息获取所述共享设备的目标结果列表；
所述第一终端根据所述目标位置的重要性进行加权求和，分别计算出所述多个第二终端的信息价值。
6.根据权利要求4或5所述的方法，其特征在于，所述建立与所述至少一个目标第二终端的共享连接，包括：
在所述第一终端未与所述目标第二终端连接的情况下，所述第一终端向所述目标第二终端发送新建连接请求，其中，所述新建连接请求包括指定的数据格式和发送频率；
所述第一终端接收到所述目标第二终端发送的指定格式的所述共享数据后，向所述目标第二终端回复确认信息，所述共享数据包括所述目标第二终端的运动信息、指定格式的传感器数据及时间戳。
7.根据权利要求6所述的方法，其特征在于，所述建立与所述至少一个目标第二终端的共享连接，还包括：
在所述第一终端与非目标第二终端存在连接的情况下，所述第一终端向所述非目标第二终端发送终止连接请求；
在仍可接收到所述非目标第二终端发送的所述共享数据的情况下，再次向所述非目标第二终端发送所述终止连接请求，直至不再接收到所述非目标第二终端发送的所述共享数据。
8.根据权利要求7所述的方法，其特征在于，所述第一终端获取所述至少一个目标第二终端发送的共享数据，并将所述第一终端的原始级数据与所述共享数据进行融合，得到目标融合数据，包括：
所述第一终端根据所述指定的数据格式将所述共享数据划分为原始级数据、特征级数据和结果级数据；
所述第一终端将所述原始级数据输入到物体检测神经网络，初步输出特征级数据，其中，在所述共享数据包括所述原始级数据的情况下，将所述第一终端的原始级数据与所述目标第二终端的原始级数据先执行原始级融合；
所述第一终端将所述特征级数据输入到神经网络得到物体检测的结果级数据，在所述共享数据包括所述特征级数据的情况下，将所述特征级数据先执行特征级融合；
在所述共享数据包括所述结果级数据的情况下，所述第一终端根据所述共享数据的时间戳对所述结果级数据执行结果级融合，获得目标融合数据。
9.根据权利要求1所述的方法，其特征在于，还包括：
在存在重选定时器超时、目标第二终端连接中断和目标第二终端主动终止共享的任一情况下，所述第一终端重选所述共享设备。
10.一种基于车联网的传感器数据共享装置，其特征在于，包括：
获取模块，用于通过第一终端获取当前车辆的工况信息和联网状态信息；
请求模块，用于通过所述第一终端根据所述当前车辆的工况信息、所述当前车辆的可接受的传感器数据类型以及所述第一终端的网络地址生成共享请求，并通过所述当前车辆的车联网广播所述共享请求；
响应模块，用于通过所述第一终端接收多个第二终端根据所述共享请求反馈的响应消息，所述响应消息包括所述第二终端在满足可接受的传感器数据类型的条件时获取的共享设备的工况信息，其中，所述共享设备包括联网车辆和路侧单元；
连接模块，用于通过所述第一终端根据所述共享设备的工况信息、所述第一终端和所述第二终端的通信质量信息以及所述联网状态信息，从所述多个第二终端中确定至少一个目标第二终端，并建立与所述至少一个目标第二终端的共享连接；
融合模块，用于通过所述第一终端获取所述至少一个目标第二终端发送的共享数据，并将所述第一终端的原始级数据与所述共享数据进行融合，得到目标融合数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210178841.6A CN114845267B (zh) | 2022-02-25 | 2022-02-25 | 一种基于车联网的传感器数据共享方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210178841.6A CN114845267B (zh) | 2022-02-25 | 2022-02-25 | 一种基于车联网的传感器数据共享方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114845267A true CN114845267A (zh) | 2022-08-02 |
| CN114845267B CN114845267B (zh) | 2024-06-04 |
Family
ID=82562043
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210178841.6A Active CN114845267B (zh) | 2022-02-25 | 2022-02-25 | 一种基于车联网的传感器数据共享方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114845267B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116346862A (zh) * | 2023-05-26 | 2023-06-27 | 斯润天朗(无锡)科技有限公司 | 用于智能网联汽车的传感器共享方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170127246A1 (en) * | 2015-10-28 | 2017-05-04 | Leauto Intelligent Technology (Beijing) Co. Ltd | Method for Sharing Travelling Information, Vehicle Platform and Intelligent Traffic System |
| CN113079511A (zh) * | 2019-12-17 | 2021-07-06 | 中国移动通信集团河南有限公司 | 车辆之间信息共享的方法、设备、车辆和存储介质 |
| CN113498011A (zh) * | 2020-03-19 | 2021-10-12 | 中移(上海)信息通信科技有限公司 | 车联网方法、装置、设备、存储介质及系统 |
| CN113763738A (zh) * | 2021-09-14 | 2021-12-07 | 上海智能网联汽车技术中心有限公司 | 车路协同系统路侧感知与车端感知实时匹配的方法及系统 |
-
2022
- 2022-02-25 CN CN202210178841.6A patent/CN114845267B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170127246A1 (en) * | 2015-10-28 | 2017-05-04 | Leauto Intelligent Technology (Beijing) Co. Ltd | Method for Sharing Travelling Information, Vehicle Platform and Intelligent Traffic System |
| CN113079511A (zh) * | 2019-12-17 | 2021-07-06 | 中国移动通信集团河南有限公司 | 车辆之间信息共享的方法、设备、车辆和存储介质 |
| CN113498011A (zh) * | 2020-03-19 | 2021-10-12 | 中移(上海)信息通信科技有限公司 | 车联网方法、装置、设备、存储介质及系统 |
| CN113763738A (zh) * | 2021-09-14 | 2021-12-07 | 上海智能网联汽车技术中心有限公司 | 车路协同系统路侧感知与车端感知实时匹配的方法及系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116346862A (zh) * | 2023-05-26 | 2023-06-27 | 斯润天朗(无锡)科技有限公司 | 用于智能网联汽车的传感器共享方法及装置 |
| CN116346862B (zh) * | 2023-05-26 | 2023-10-24 | 斯润天朗(无锡)科技有限公司 | 用于智能网联汽车的传感器共享方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114845267B (zh) | 2024-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10349011B2 (en) | System and method for improved obstacle awareness in using a V2X communications system | |
| US10229590B2 (en) | System and method for improved obstable awareness in using a V2X communications system | |
| US10613547B2 (en) | System and method for improved obstacle awareness in using a V2X communications system | |
| US10328934B2 (en) | Temporal data associations for operating autonomous vehicles | |
| US20190138007A1 (en) | Methods and apparatus to update autonomous vehicle perspectives | |
| CN111554088A (zh) | 一种多功能v2x智能路侧基站系统 | |
| KR20210022570A (ko) | 정보 처리 장치 및 정보 처리 방법, 촬상 장치, 컴퓨터 프로그램, 정보 처리 시스템, 그리고 이동체 장치 | |
| CN111724616B (zh) | 基于人工智能的数据获取及共享的方法与装置 | |
| US20200189459A1 (en) | Method and system for assessing errant threat detection | |
| GB2560255A (en) | Advanced V2X event dissemination | |
| EP3910366A1 (en) | Online perception performance evaluation for autonomous and semi-autonomous vehicles | |
| JP2021099793A (ja) | インテリジェント交通管制システム及びその制御方法 | |
| EP3895950A1 (en) | Methods and systems for automated driving system monitoring and management | |
| CN110441790A (zh) | 激光雷达系统中的方法和装置串扰和多径降噪 | |
| CN114127822B (zh) | 信息处理装置、信息处理方法以及信息处理程序 | |
| CN113178076A (zh) | 一种车路协同系统和车路协同方法 | |
| GB2608201A (en) | Identifying objects using LiDAR | |
| CN113612844A (zh) | 车辆端的数据分享方法、装置、介质及电子设备 | |
| CN110789515B (zh) | 机动车辆中用于硬件验证的系统和方法 | |
| CN114845267B (zh) | 一种基于车联网的传感器数据共享方法和装置 | |
| CN111319610A (zh) | 用于控制自主车辆的系统和方法 | |
| CN115240470A (zh) | 基于nr-v2x的弱势交通参与者碰撞预警系统与方法 | |
| CN116346862B (zh) | 用于智能网联汽车的传感器共享方法及装置 | |
| WO2022264731A1 (ja) | 車両用装置及び誤差推定方法 | |
| WO2022255074A1 (ja) | 車両用装置及び誤差推定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20220802 Assignee: Chengdu Tongguang Wanglian Technology Co.,Ltd. Assignor: TSINGHUA University Contract record no.: X2023980050286 Denomination of invention: A sensor data sharing method and device based on the Internet of Vehicles License type: Common License Record date: 20231205 |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |