CN113848921B - 车路云协同感知的方法和系统 - Google Patents
车路云协同感知的方法和系统 Download PDFInfo
- Publication number
- CN113848921B CN113848921B CN202111149663.6A CN202111149663A CN113848921B CN 113848921 B CN113848921 B CN 113848921B CN 202111149663 A CN202111149663 A CN 202111149663A CN 113848921 B CN113848921 B CN 113848921B
- Authority
- CN
- China
- Prior art keywords
- information
- obstacle
- vehicle
- cloud server
- current detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000001514 detection method Methods 0.000 claims abstract description 102
- 230000008447 perception Effects 0.000 claims abstract description 49
- 238000012545 processing Methods 0.000 claims description 16
- 238000002372 labelling Methods 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 241000283070 Equus zebra Species 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明实施例公开了一种车路云协同感知的方法和系统。该方法包括：云端服务器获取当前检测区域内车辆终端检测到的车端感知信息及路侧终端检测到的路侧端感知信息；云端服务器基于车端感知信息和路侧端感知信息，确定出当前检测区域的目标障碍物信息；云端服务器基于目标障碍物信息，在预先存储的与当前检测区域对应的区域线路中确定出至少一个障碍物。本发明实施例的技术方案，可以结合车端感知信息、路侧端感知信息和预先存储的区域线路的多方面信息确定障碍物，有效提升确定障碍物的准确性，能够更精确地对车辆进行控制，提高驾驶员的驾驶体验感。
Description
技术领域
本发明实施例涉及人工智能技术领域，尤其涉及一种车路云协同感知的方法和系统。
背景技术
随着人工智能和无人驾驶技术的逐渐成熟，智能化汽车与智能化交通是未来发展的大趋势。如何通过已有的车联网建设来改进、完善现有的无人驾驶技术是我们目前亟待解决的问题。
现有技术中，自动驾驶车辆通过配备的相机和雷达等车载传感器获取车辆周围的感知信息，基于获取到的单车感知信息对路线中的障碍物进行检查，并对车辆轨迹进行规划和对车辆进行控制。但是，由于单车获取到的感知信息的信息内容少，并不能有效提升确定障碍物的准确性，导致车辆控制过程中稳定性、可靠性和精准性不高，驾驶员的驾驶体验感较差。
发明内容
本发明实施例提供了一种车路云协同感知的方法和系统，结合车端感知信息、路侧端感知信息和预先存储的区域线路的多方面信息确定障碍物，有效提升确定障碍物的准确性，能够更精确地对车辆进行控制，提高驾驶员的驾驶体验感。
第一方面，本发明实施例提供了一种车路云协同感知的方法，可以包括：
云端服务器获取当前检测区域内车辆终端检测到的车端感知信息及路侧终端检测到的路侧端感知信息；
云端服务器基于所述车端感知信息和所述路侧端感知信息，确定出所述当前检测区域的目标障碍物信息；
云端服务器基于所述目标障碍物信息，在预先存储的与当前检测区域对应的区域线路中确定出至少一个障碍物。
第二方面，本发明实施例还提供了一种车路云协同感知的系统，所述车路云协同感知的系统包括云端服务器，其中，所述云端服务器包括：
获取感知信息模块，用于获取当前检测区域内车辆终端检测到的车端感知信息及路侧终端检测到的路侧端感知信息；
确定目标障碍物信息模块，用于基于所述车端感知信息和所述路侧端感知信息，确定出所述当前检测区域的目标障碍物信息；
确定障碍物模块，用于基于所述目标障碍物信息，在预先存储的与当前检测区域对应的区域线路中确定出至少一个障碍物。
本发明实施例所提供的车路云协同感知的方法，云端服务器获取当前检测区域内车辆终端检测到的车端感知信息及路侧终端检测到的路侧端感知信息，从而结合车端感知信息和路侧端感知信息，能够更加全面的确定出当前检测区域的目标障碍物信息，基于目标障碍物信息，在预先存储的与当前检测区域对应的区域线路中确定出至少一个障碍物。由此可见，本发明实施例结合车端感知信息、路侧端感知信息和预先存储的区域线路的多方面信息确定障碍物，有效提升确定障碍物的准确性，能够更精确地对车辆进行控制，提高驾驶员的驾驶体验感。
此外，本发明所提供的一种车路云协同感知的系统与上述方法对应，具有同样的有益效果。
附图说明
为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种车路云协同感知的方法的流程图；
图2为本发明实施例提供的另一种车路云协同感知的方法的流程图；
图3本发明实施例提供的一种车端感知融合流程图；
图4为本发明实施例提供的另一种车路云协同感知的方法的流程图；
图5为本发明实施例提供的一种云端感知融合方法的示意图；
图6为本发明实施例提供的一种车路云协同感知的系统的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
本发明的核心是提供一种车路云协同感知的方法和系统，结合车端感知信息、路侧端感知信息和预先存储的区域线路的多方面信息确定障碍物，有效提升确定障碍物的准确性，能够更精确地对车辆进行控制，提高驾驶员的驾驶体验感。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。
实施例一
图1为本发明实施例提供的一种车路云协同感知的方法的流程图。该方法可以由本发明实施例提供的车路云协同感知的系统来执行，该系统可以由软件和/或硬件的方式实现，该系统可以集成在各种用户终端或服务器上。
如图1所示，本发明实施例的方法具体包括如下步骤：
S101、云端服务器获取当前检测区域内车辆终端检测到的车端感知信息及路侧终端检测到的路侧端感知信息。
在具体实施中，云端服务器接收车辆终端发送的当前检测区域内检测到的车端感知信息，接收路侧终端发送的当前检测区域内检测到的路侧端感知信息。具体的，车端感知信息包括通过车载传感器检测到的当前检测区域内的行人、机动车和非机动车等信息。路侧端感知信息包括通过路侧端设置的路侧传感器检测到的当前检测区域内的行人、机动车、非机动车、停车场、交通信号灯和交通标志等信息。需要说明的是，当前检测区域包括目标车辆的所在位置和目的地位置构成的区域。
可选的，车端感知信息包括目标车端感知信息和相邻车端感知信息，即获取两辆或两辆以上的车辆终端发送的车端感知信息，从而更全面地获取到当前检测区域内的障碍物信息。
具体的，云端服务器获取当前检测区域内车辆终端检测到的车端感知信息，包括：云端服务器获取当前检测区域内的目标车辆终端检测到的目标车端感知信息；云端服务器确定当前检测区域内与目标车辆相邻的相邻车辆，获取相邻车辆终端检测到的相邻车端感知信息。
需要说明的是，可将与目标车辆的距离在预设阈值范围内的全部车辆确定为目标车辆的相邻车辆。
S102、云端服务器基于车端感知信息和路侧端感知信息，确定出当前检测区域的目标障碍物信息。
在具体实施中，由于目标车辆处于运动状态，因此目标车辆终端、相邻车辆终端和路侧终端获取到的感知信息之间存在时间差值，需要基于同一时刻的目标车端感知信息、相邻车端感知信息和路侧端感知信息，才能准确地确定出当前检测区域的目标障碍物信息。
可选的，车端感知信息和路侧端感知信息均可为多个；云端服务器基于车端感知信息和路侧端感知信息，确定出当前检测区域的目标障碍物信息，包括：云端服务器确定获取目标车端感知信息时的第一时间戳、获取相邻车端感知信息时的第二时间戳和获取路侧端感知信息时的第三时间戳；云端服务器计算第一时间戳、第二时间戳和第三时间戳中任意两项之间的时间差值，确定时间差值是否超过预设阈值；若是，则云端服务器基于目标车端感知信息、相邻车端感知信息和路侧端感知信息，确定出当前检测区域的目标障碍物信息。
具体的，为确保获取到的目标车端感知信息、相邻车端感知信息和路侧端感知信息为对当前检测区域同一时刻检测得到的信息，可确定目标车端感知信息、相邻车端感知信息和路侧端感知信息对应的时间戳，当第一时间戳、第二时间戳和第三时间戳中两两之间的时间差值中出现时间差值超过预设阈值的情况，则需要重新获取目标车端感知信息、相邻车端感知信息和路侧端感知信息；当不存在时间差值超过预设阈值的情况，则可确定三者为同一时刻检测到的感知信息，可基于目标车端感知信息、相邻车端感知信息和路侧端感知信息，确定出当前检测区域的目标障碍物信息。
需要说明的是，对于车端感知信息、相邻车端感知信息和路侧端感知信息中，由于均为对当前检测区域获取到的信息，因此车端感知信息、相邻车端感知信息和路侧端感知信息中可能存在重复的障碍物。为确保确定出的障碍物信息的准确性，需基于车端感知信息、相邻车端感知信息和路侧端感知信息，删除掉重复的障碍物信息。示例性的，障碍物包括车道中行驶或静止的车辆，出现在车道、斑马线和人行横道的行人，交通锥、施工路牌等。
可选的，云端服务器基于目标车端感知信息、相邻车端感知信息和路侧端感知信息，确定出当前检测区域的目标障碍物信息，包括：云端服务器确定目标车端感知信息中包含的第一障碍物信息、相邻车端感知信息中包含的第二障碍物信息和路侧端感知信息中包含的第三障碍物信息；云端服务器基于第一障碍物信息、第二障碍物信息和第三障碍物信息，生成目标车辆对应的障碍物列表；云端服务器确定障碍物列表中存在的重复障碍物，删除障碍物列表中的重复障碍物；云端服务器基于删除重复障碍物后的障碍物列表中包含的剩余障碍物，生成目标障碍物信息。
具体的，由于第一障碍物信息、第二障碍物信息和第三障碍物信息分别为目标车辆坐标系、相邻车辆坐标系和路侧端坐标系中得到的障碍物信息，为确保确定的目标障碍物信息的有效性，可首先对第一障碍物信息、第二障碍物信息和第三障碍物信息的坐标系转换至同一个目标坐标系中。
进一步的，可基于坐标系转换后得到的第一障碍物信息、第二障碍物信息和第三障碍物信息，生成目标车辆对应的障碍物列表。示例性的，可将第一障碍物信息、第二障碍物信息和第三障碍物信息中出现的障碍物以枚举的方式存储与障碍物列表中，障碍物列表中的障碍物可能存在重复的情况。云端服务器可对障碍物列表中存在的重复障碍物进行删除操作，基于障碍物列表中包含的剩余障碍物生成目标障碍物信息。
可选的，云端服务器确定障碍物列表中存在的重复障碍物，包括：云端服务器将障碍物列表中的各障碍物分别作为选中障碍物，依次计算选中障碍物分别与障碍物列表中各剩余障碍物之间的区域交并比值；若区域交并比值大于预设阈值，则说明选中障碍物与当前的剩余障碍物相似度较高，则将选中障碍物确定为重复障碍物。进一步的，也可将与选中障碍物的区域交并比值大于预设阈值的剩余障碍物确定为重复障碍物。
S103、云端服务器基于目标障碍物信息，在预先存储的与当前检测区域对应的区域线路中确定出至少一个障碍物。
具体的，可预先存储与当前检测区域对应的区域线路。示例性的，区域线路包括当前检测区域对应的地图。目标障碍物信息包括目标障碍物的类别、坐标位置、运动速度、障碍物尺寸和方位角。可基于目标障碍物信息中目标障碍物的坐标位置，在预先存储的区域线路中确定出至少一个障碍物。示例性的，区域线路为当前检测区域对应的地图时，可将确定出的至少一个障碍物标注至地图中。
可选的，云端服务器基于目标障碍物信息，在预先存储的与当前检测区域对应的区域线路中确定出至少一个障碍物，包括：云端服务器将目标障碍物信息对应的障碍物坐标系和区域线路对应的线路坐标系进行坐标系坐标转换；云端服务器基于坐标系对准后的目标障碍物信息中包括的各目标障碍物的坐标信息，在预先存储的与当前检测区域对应的区域线路中确定出至少一个障碍物。
需要说明的是，将目标障碍物信息对应的障碍物坐标系与区域线路对应的线路坐标系进行坐标系坐标转换，可将障碍物坐标系作为标准坐标系，将线路坐标系按照障碍物坐标系进行转换；也可将线路坐标系作为标准坐标系，将障碍物坐标系按照线路坐标系进行转换；还可设定唯一的标准坐标系，将障碍物坐标系和线路坐标系均按照标准坐标系进行转换。本发明实施例对此不做限定，只要保证目标障碍物信息与区域线路处于同一坐标系即可。
本发明实施例所提供的车路云协同感知的方法，云端服务器获取当前检测区域内车辆终端检测到的车端感知信息及路侧终端检测到的路侧端感知信息，从而结合车端感知信息和路侧端感知信息，能够更加全面的确定出当前检测区域的目标障碍物信息，基于目标障碍物信息，在预先存储的与当前检测区域对应的区域线路中确定出至少一个障碍物。由此可见，本发明实施例结合车端感知信息、路侧端感知信息和预先存储的区域线路的多方面信息确定障碍物，有效提升确定障碍物的准确性，能够更精确地对车辆进行控制，提高驾驶员的驾驶体验感。
实施例二
图2为本发明实施例提供的另一种车路云协同感知的方法的流程图；本实施例以上述各技术方案为基础进行优化。可选的，在云端服务器获取当前检测区域内车辆终端检测到的车端感知信息之前，还包括：车辆终端获取车载图像采集器检测到的当前检测区域内的障碍物的图像信息，对图像信息进行图像识别处理，基于图像识别结果对图像信息中障碍物的类别进行标注操作；车辆终端获取车载雷达采集到的当前检测区域内的障碍物的状态信息；基于图像信息和状态信息生成包含障碍物的类别信息的车端感知信息，并将车端感知信息发送至云端服务器。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。
如图2所示，本发明实施例的方法具体包括如下步骤：
S201、车辆终端获取车载图像采集器检测到的当前检测区域内的障碍物的图像信息，对图像信息进行图像识别处理，基于图像识别结果对图像信息中障碍物的类别进行标注操作。
可选的，车载传感器可包括车载图像采集器和车载雷达。车载图像采集器可包括相机、摄像机和图像采集卡中的至少一种；车载雷达包括激光雷达和毫米波雷达。激光雷达可检测出障碍物的尺寸信息和位置信息，毫米波雷达经过对采集信息进行目标障碍物过滤，可检测出障碍物的运行速度、方位角、位置等信息。
图3本发明实施例提供的一种车端感知融合流程图。如图3所示，可获取车载图像采集器检测到的当前检测区域内的障碍物的图像信息，对图像信息进行图像识别处理。示例性的，车载图像采集器输出的图像信息的数据格式为RGB色彩模式。对图像信息进行图像识别处理包括对图像信息进行语义分割处理；基于图像识别结果对图像信息中障碍物的类别进行标注操作包括基于语义分割的处理结果为图像信息中各像素点标注类别。示例性的，类别包括卡车、行人、自行车和轿车等。
S202、车辆终端获取车载雷达采集到的当前检测区域内的障碍物的状态信息。
具体的，激光雷达可采集当前检测区域内的障碍物的状态信息，状态信息的输出形式为激光点云构成的N*4维矩阵；其中，N表示点云个数，4个维度包括三维坐标[x，y，z]以及反射率r。车辆终端将获取到的激光点云投影到图像以生成2D像素点集。
具体的，毫米波雷达采集的当前检测区域内的障碍物的状态信息的输出形式为目标列表，目标列表中包括障碍物的方位角、与毫米波雷达的距离和速度信息。
S203、基于图像信息和状态信息生成包含障碍物的类别信息的车端感知信息，并将车端感知信息发送至云端服务器。
可选的，对图像信息和状态信息进行融合处理，生成包含障碍物的类别信息的车端感知信息。如图3所示，将激光点云投影到图像生成的2D像素点集和已标注类别的像素点匹配生成带有类别的3D点云数据，并对其进行3D目标检测生成3D包围框，投影到图像以生成最小2D包围框。
具体的，为将图像信息和状态信息进行像素匹配，以完成各障碍物的图像信息和状态信息的融合，可将图像采集器检测到的当前检测区域内的障碍物的图像信息进行2D目标检测以得到2D包围框。计算最小2D包围框和2D包围框的交并比值，交并比值为两个包围框重叠的部分除以两个包围框的集合部分得到的结果。确定各交并比值中的最大值记作Max_iou。如果Max_iou大于或等于预设交并阈值，则说明该最小2D包围框和2D包围框相匹配，则保留该最小2D包围框对应的3D包围框；如果小于预设交并阈值，则删除该最小2D包围框对应的3D包围框。如此反复对3D包围框集合中各元素进行计算，确定筛选后的目标3D包围框集合。
进一步的，计算目标3D包围框集合中的3D包围框和毫米波雷达输出的障碍物列表的最短距离匹配，生成包含有障碍物速度信息的3D包围框，基于生成的3D包围框确定车端感知信息，并将车端感知信息发送至云端服务器。
S204、云端服务器获取当前检测区域内车辆终端检测到的车端感知信息及路侧终端检测到的路侧端感知信息。
S205、云端服务器基于车端感知信息和路侧端感知信息，确定出当前检测区域的目标障碍物信息。
S206、云端服务器基于目标障碍物信息，在预先存储的与当前检测区域对应的区域线路中确定出至少一个障碍物。
本发明实施例将图像信息和状态信息进行像素匹配，完成各障碍物的图像信息和状态信息的融合，使云端服务器获取的车端感知信息包括障碍物的尺寸、运行速度、方位角、位置等信息，有助于提升确定障碍物的准确性，能够更精确地对车辆进行控制，提高驾驶员的驾驶体验感。
实施例三
图4为本发明实施例提供的另一种车路云协同感知的方法的流程图；本实施例以上述各技术方案为基础进行优化。可选的，在云端服务器获取路侧终端检测到的路侧端感知信息之前，还包括：路侧终端获取路侧图像采集器检测到的当前检测区域内的障碍物的图像信息，对图像信息进行图像识别处理，基于图像识别结果对图像信息中障碍物的类别进行标注操作；路侧终端获取路侧雷达采集到的当前检测区域内的障碍物的状态信息；基于图像信息和状态信息生成包含障碍物的类别信息的路侧端感知信息，并将路侧端感知信息发送至云端服务器。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。
如图4所示，本发明实施例的方法具体包括如下步骤：
S301、路侧终端获取路侧图像采集器检测到的当前检测区域内的障碍物的图像信息，对图像信息进行图像识别处理，基于图像识别结果对图像信息中障碍物的类别进行标注操作。
具体的，路侧图像采集器可包括相机、摄像机和图像采集卡中的至少一种；路侧雷达包括激光雷达和毫米波雷达。激光雷达可检测出障碍物的尺寸信息，毫米波雷达可检测出障碍物的运行速度、方位角、位置等信息。
对图像信息进行图像识别处理，基于图像识别结果对图像信息中障碍物的类别进行标注操作。示例性的，图像信息的数据格式为RGB色彩模式。对图像信息进行图像识别处理包括对图像信息进行语义分割处理；基于图像识别结果对图像信息中障碍物的类别进行标注操作包括基于语义分割的处理结果为图像信息中各像素点标注类别。示例性的，类别包括停车场坐标和交通参与者。
S302、路侧终端获取路侧雷达采集到的当前检测区域内的障碍物的状态信息。
可选的，状态信息包括障碍物的运行速度、方位角、位置和尺寸中的至少一项。
S303、基于图像信息和状态信息生成包含障碍物的类别信息的路侧端感知信息，并将路侧端感知信息发送至云端服务器。
基于图像信息和状态信息生成包含障碍物的类别信息的路侧端感知信息的方式与生成车端感知信息的方式相同，本实施例不再赘述。
具体的，路侧终端可通过消息队列遥测传输协议将路侧端感知信息发送至云端服务器。示例性的，路侧终端可通过消息队列遥测传输协议与云端服务器建立通信，可通过移动应用部分协议发送路况信息或区域线路。
进一步的，可通过第四代的移动信息技术或第五代的移动信息技术将路侧段感知信息发送至云端服务器。路侧终端还可将路侧交通标志信息、交通事件信息、信号灯信息及地图发送至车辆终端。
S304、云端服务器获取当前检测区域内车辆终端检测到的车端感知信息及路侧终端检测到的路侧端感知信息。
S305、云端服务器基于车端感知信息和路侧端感知信息，确定出当前检测区域的目标障碍物信息。
S306、云端服务器基于目标障碍物信息，在预先存储的与当前检测区域对应的区域线路中确定出至少一个障碍物。
图5为本发明实施例提供的一种云端感知融合方法的示意图；如图5所示，云端服务器可预先获取当前检测区域对应的区域线路。示例性的，区域线路可为行驶区域高精度地图。进一步的，可周期性或按照预设时刻获取当前检测区域对应的行驶区域的高精度地图，基于最新获取的高精度地图，对预先存储在云端服务器的高精度地图进行更新。
如图5所示，可基于从车辆终端获取的车端感知信息、从路侧终端获取的路侧端感知信息及高精度地图，确定出当前检测区域中的障碍物信息，以对目标车辆的自动驾驶过程提供技术支持。具体的，基于从车辆终端获取的车端感知信息、从路侧终端获取的路侧端感知信息及高精度地图，确定出当前检测区域中的障碍物信息，包括：云端服务器基于车端感知信息和路侧端感知信息，确定出当前检测区域的目标障碍物信息，基于目标障碍物信息，在预先存储的与当前检测区域对应的区域线路中确定出至少一个障碍物。
进一步的，云端服务器可将确定出障碍物的区域线路发送至目标车辆终端；目标车辆终端还可通过通信单元获取交通服务数据平台发送的当前检测区域的交通信息计路侧终端发送的路况信息。示例性的，交通信息包括红绿灯信息及交通标志；路况信息包括交通事件信息、停车场坐标信息和交通参与者信息。
本发明实施例将图像信息和状态信息进行像素匹配，完成各障碍物的图像信息和状态信息的融合，使云端服务器获取的路侧端感知信息包括障碍物的尺寸、运行速度、方位角、位置等信息，有助于提升确定障碍物的准确性，能够更精确地对车辆进行控制，提高驾驶员的驾驶体验感。
实施例四
图6为本发明实施例提供的一种车路云协同感知的系统的结构图，该系统用于执行上述任意实施例所提供的车路云协同感知的方法。该系统与上述各实施例的车路云协同感知的方法属于同一个发明构思，在车路云协同感知的系统的实施例中未详尽描述的细节内容，可以参考上述车路云协同感知的方法的实施例。如图6所示，车路云协同感知的系统包括云端服务器10，其中，云端服务器10包括：
获取感知信息模块100，用于获取当前检测区域内车辆终端检测到的车端感知信息及路侧终端检测到的路侧端感知信息；
确定目标障碍物信息模块101，用于基于车端感知信息和路侧端感知信息，确定出当前检测区域的目标障碍物信息；
确定障碍物模块102，用于基于目标障碍物信息，在预先存储的与当前检测区域对应的区域线路中确定出至少一个障碍物。
可选的，车端感知信息包括目标车端感知信息和相邻车端感知信息；获取感知信息模块100，包括：
获取目标车端感知信息单元，用于获取当前检测区域内的目标车辆的目标车辆终端检测到的目标车端感知信息；
获取相邻车端感知信息单元，用于确定当前检测区域内与目标车辆相邻的相邻车辆，获取相邻车辆终端检测到的相邻车端感知信息。
可选的，确定目标障碍物信息模块101，包括：
确定时间戳单元，用于确定获取目标车端感知信息时的第一时间戳、获取相邻车端感知信息时的第二时间戳和获取路侧端感知信息时的第三时间戳；云端服务器计算第一时间戳、第二时间戳和第三时间戳中任意两项之间的时间差值，确定时间差值是否超过预设阈值；若否，则云端服务器基于目标车端感知信息、相邻车端感知信息和路侧端感知信息，确定出当前检测区域的目标障碍物信息。
可选的，确定时间戳单元包括：
删除重复障碍物单元，用于确定目标车端感知信息中包含的第一障碍物信息、相邻车端感知信息中包含的第二障碍物信息和路侧端感知信息中包含的第三障碍物信息；基于第一障碍物信息、第二障碍物信息和第三障碍物信息，生成目标车辆对应的障碍物列表；确定障碍物列表中存在的重复障碍物，删除障碍物列表中的重复障碍物；基于删除重复障碍物后的障碍物列表中包含的剩余障碍物，生成目标障碍物信息。
可选的，删除重复障碍物单元，包括：
计算区域交并比值单元，用于将障碍物列表中的各障碍物分别作为选中障碍物，依次计算选中障碍物分别与障碍物列表中各剩余障碍物之间的区域交并比值；若区域交并比值大于预设阈值，则将选中障碍物确定为重复障碍物。
可选的，确定障碍物模块102，包括：
坐标系对准单元，用于将目标障碍物信息对应的障碍物坐标系和区域线路对应的线路坐标系进行坐标系坐标转换；基于坐标系对准后的目标障碍物信息中包括的各目标障碍物的坐标信息，确定各目标障碍物在当前检测区域对应的区域线路中确定出目标障碍物。
可选的，该系统还包括车辆终端，其中，车辆终端包括：
车端感知信息生成模块，用于在云端服务器获取当前检测区域内车辆终端检测到的车端感知信息之前，取车载图像采集器检测到的当前检测区域内的障碍物的图像信息，对图像信息进行图像识别处理，基于图像识别结果对图像信息中障碍物的类别进行标注操作；获取车载雷达采集到的当前检测区域内的障碍物的状态信息；基于图像信息和状态信息生成包含障碍物的类别信息的车端感知信息，并将车端感知信息发送至云端服务器。
可选的，该系统还包括路侧终端，其中，路侧终端包括：
路侧端感知信息生成模块，用于获取路侧图像采集器检测到的当前检测区域内的障碍物的图像信息，对图像信息进行图像识别处理，基于图像识别结果对图像信息中障碍物的类别进行标注操作；获取路侧雷达采集到的当前检测区域内的障碍物的状态信息；基于图像信息和状态信息生成包含障碍物的类别信息的路侧端感知信息，并将路侧端感知信息发送至云端服务器。
可选的，状态信息包括障碍物的运行速度、方位角、位置和尺寸中的至少一项。
本发明实施例所提供的车路云协同感知的系统可执行本发明任意实施例所提供的车路云协同感知的方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，上述车路云协同感知的系统的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (8)
1.一种车路云协同感知的方法，其特征在于，包括：
云端服务器获取当前检测区域内车辆终端检测到的车端感知信息及路侧终端检测到的路侧端感知信息；
云端服务器基于所述车端感知信息和所述路侧端感知信息，确定出所述当前检测区域的目标障碍物信息；
云端服务器基于所述目标障碍物信息，在预先存储的与当前检测区域对应的区域线路中确定出至少一个障碍物；
其中，所述车端感知信息包括目标车端感知信息和相邻车端感知信息；所述区域线路包括所述当前检测区域对应的地图；
所述云端服务器基于所述车端感知信息和所述路侧端感知信息，确定出所述当前检测区域的目标障碍物信息，包括：
云端服务器确定获取所述目标车端感知信息时的第一时间戳、获取所述相邻车端感知信息时的第二时间戳和获取所述路侧端感知信息时的第三时间戳；
云端服务器计算所述第一时间戳、所述第二时间戳和所述第三时间戳中任意两项之间的时间差值，确定所述时间差值是否超过预设阈值；
若否，则云端服务器基于所述目标车端感知信息、所述相邻车端感知信息和所述路侧端感知信息，确定出所述当前检测区域的所述目标障碍物信息；
所述云端服务器基于所述目标障碍物信息，在预先存储的与当前检测区域对应的区域线路中确定出至少一个障碍物，包括：
云端服务器将所述目标障碍物信息对应的障碍物坐标系和所述区域线路对应的线路坐标系进行坐标系坐标转换；
云端服务器基于坐标系转换后的所述目标障碍物信息中包括的各目标障碍物的坐标信息，在预先存储的与当前检测区域对应的区域线路中确定出至少一个障碍物。
2.根据权利要求1所述的方法，其特征在于，所述云端服务器获取当前检测区域内车辆终端检测到的车端感知信息，包括：
云端服务器获取所述当前检测区域内的目标车辆的目标车辆终端检测到的目标车端感知信息；
云端服务器确定所述当前检测区域内与所述目标车辆相邻的相邻车辆，获取相邻车辆终端检测到的相邻车端感知信息。
3.根据权利要求2所述的方法，其特征在于，所述云端服务器基于所述目标车端感知信息、相邻车端感知信息和所述路侧端感知信息，确定出所述当前检测区域的所述目标障碍物信息，包括：
云端服务器确定所述目标车端感知信息中包含的第一障碍物信息、所述相邻车端感知信息中包含的第二障碍物信息和所述路侧端感知信息中包含的第三障碍物信息；
云端服务器基于所述第一障碍物信息、所述第二障碍物信息和所述第三障碍物信息，生成目标车辆对应的障碍物列表；
云端服务器确定所述障碍物列表中存在的重复障碍物，删除所述障碍物列表中的所述重复障碍物；
云端服务器基于删除所述重复障碍物后的障碍物列表中包含的剩余障碍物，生成所述目标障碍物信息。
4.根据权利要求3所述的方法，其特征在于，所述云端服务器确定所述障碍物列表中存在的重复障碍物，包括：
云端服务器将所述障碍物列表中的各障碍物分别作为选中障碍物，依次计算所述选中障碍物分别与障碍物列表中各剩余障碍物之间的区域交并比值；若所述区域交并比值大于预设阈值，则将所述选中障碍物确定为重复障碍物。
5.根据权利要求1所述的方法，其特征在于，在云端服务器获取当前检测区域内车辆终端检测到的车端感知信息之前，还包括：
车辆终端获取车载图像采集器检测到的所述当前检测区域内的障碍物的图像信息，对所述图像信息进行图像识别处理，基于图像识别结果对所述图像信息中障碍物的类别进行标注操作；
车辆终端获取车载雷达采集到的所述当前检测区域内的障碍物的状态信息；
车辆终端基于所述图像信息和所述状态信息生成包含障碍物的类别信息的所述车端感知信息，并将所述车端感知信息发送至所述云端服务器。
6.根据权利要求1所述的方法，其特征在于，在云端服务器获取路侧终端检测到的路侧端感知信息之前，还包括：
路侧终端获取路侧图像采集器检测到的所述当前检测区域内的障碍物的图像信息，对所述图像信息进行图像识别处理，基于图像识别结果对所述图像信息中障碍物的类别进行标注操作；
路侧终端获取路侧雷达采集到的所述当前检测区域内的障碍物的状态信息；
路侧终端基于所述图像信息和所述状态信息生成包含障碍物的类别信息的所述路侧端感知信息，并将所述路侧端感知信息发送至所述云端服务器。
7.根据权利要求5或6所述的方法，其特征在于，所述状态信息包括障碍物的运行速度、方位角、位置和尺寸中的至少一项。
8.一种车路云协同感知的系统，其特征在于，所述车路云协同感知的系统包括云端服务器，其中，所述云端服务器包括：
获取感知信息模块，用于获取当前检测区域内车辆终端检测到的车端感知信息及路侧终端检测到的路侧端感知信息；
确定目标障碍物信息模块，用于基于所述车端感知信息和所述路侧端感知信息，确定出所述当前检测区域的目标障碍物信息；
确定障碍物模块，用于基于所述目标障碍物信息，在预先存储的与当前检测区域对应的区域线路中确定出至少一个障碍物；
其中，所述车端感知信息包括目标车端感知信息和相邻车端感知信息；所述区域线路包括当前检测区域对应的地图；
所述确定目标障碍物信息模块包括：确定时间戳单元，用于确定获取所述目标车端感知信息时的第一时间戳、获取所述相邻车端感知信息时的第二时间戳和获取所述路侧端感知信息时的第三时间戳；
云端服务器计算所述第一时间戳、所述第二时间戳和所述第三时间戳中任意两项之间的时间差值，确定所述时间差值是否超过预设阈值；
若否，则云端服务器基于所述目标车端感知信息、所述相邻车端感知信息和所述路侧端感知信息，确定出所述当前检测区域的所述目标障碍物信息；
所述确定障碍物模块包括：坐标系对准单元，用于将所述目标障碍物信息对应的障碍物坐标系和所述区域线路对应的线路坐标系进行坐标系坐标转换；
基于坐标系转换后的所述目标障碍物信息中包括的各目标障碍物的坐标信息，在预先存储的与当前检测区域对应的区域线路中确定出至少一个障碍物。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111149663.6A CN113848921B (zh) | 2021-09-29 | 2021-09-29 | 车路云协同感知的方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111149663.6A CN113848921B (zh) | 2021-09-29 | 2021-09-29 | 车路云协同感知的方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113848921A CN113848921A (zh) | 2021-12-28 |
| CN113848921B true CN113848921B (zh) | 2023-10-13 |
Family
ID=78977026
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111149663.6A Active CN113848921B (zh) | 2021-09-29 | 2021-09-29 | 车路云协同感知的方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113848921B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114444895A (zh) * | 2021-12-31 | 2022-05-06 | 深圳云天励飞技术股份有限公司 | 清洁质量评估方法及相关设备 |
| CN114596706B (zh) * | 2022-03-15 | 2024-05-03 | 阿波罗智联(北京)科技有限公司 | 路侧感知系统的检测方法及装置、电子设备和路侧设备 |
| CN114913687B (zh) * | 2022-05-11 | 2023-11-10 | 智道网联科技(北京)有限公司 | 基于车-路-云的车辆内感知共享的方法、设备及系统 |
| CN115272531A (zh) * | 2022-06-30 | 2022-11-01 | 中国第一汽车股份有限公司 | 数据显示方法、系统及存储介质 |
| CN115273530A (zh) * | 2022-07-11 | 2022-11-01 | 上海交通大学 | 一种基于协同感知的停车场定位与感知系统 |
| WO2024045178A1 (zh) * | 2022-09-02 | 2024-03-07 | 华为技术有限公司 | 感知方法、装置和系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107924622A (zh) * | 2015-07-28 | 2018-04-17 | 日产自动车株式会社 | 行驶控制装置的控制方法及行驶控制装置 |
| CN110083163A (zh) * | 2019-05-20 | 2019-08-02 | 三亚学院 | 一种用于自动驾驶汽车的5g c-v2x车路云协同感知方法及系统 |
| CN111880174A (zh) * | 2020-07-03 | 2020-11-03 | 芜湖雄狮汽车科技有限公司 | 一种用于支持自动驾驶控制决策的路侧服务系统及其控制方法 |
| CN112068548A (zh) * | 2020-08-07 | 2020-12-11 | 北京航空航天大学 | 5g环境下面向特殊场景的无人驾驶车辆路径规划方法 |
| CN112925657A (zh) * | 2021-01-18 | 2021-06-08 | 国汽智控(北京)科技有限公司 | 一种车路云协同处理系统及方法 |
| CN112950678A (zh) * | 2021-03-25 | 2021-06-11 | 上海智能新能源汽车科创功能平台有限公司 | 一种基于车路协同的超视距融合感知系统 |
| CN113096442A (zh) * | 2021-03-29 | 2021-07-09 | 上海智能新能源汽车科创功能平台有限公司 | 一种基于车路云协同的智能公交车控制系统 |
| CN113378947A (zh) * | 2021-06-21 | 2021-09-10 | 北京踏歌智行科技有限公司 | 一种面向露天矿区无人运输的车路云融合感知系统及方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111371904B (zh) * | 2020-03-18 | 2020-11-10 | 交通运输部公路科学研究院 | 云边端协同的高速公路云控系统及控制方法 |
-
2021
- 2021-09-29 CN CN202111149663.6A patent/CN113848921B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107924622A (zh) * | 2015-07-28 | 2018-04-17 | 日产自动车株式会社 | 行驶控制装置的控制方法及行驶控制装置 |
| CN110083163A (zh) * | 2019-05-20 | 2019-08-02 | 三亚学院 | 一种用于自动驾驶汽车的5g c-v2x车路云协同感知方法及系统 |
| CN111880174A (zh) * | 2020-07-03 | 2020-11-03 | 芜湖雄狮汽车科技有限公司 | 一种用于支持自动驾驶控制决策的路侧服务系统及其控制方法 |
| CN112068548A (zh) * | 2020-08-07 | 2020-12-11 | 北京航空航天大学 | 5g环境下面向特殊场景的无人驾驶车辆路径规划方法 |
| CN112925657A (zh) * | 2021-01-18 | 2021-06-08 | 国汽智控(北京)科技有限公司 | 一种车路云协同处理系统及方法 |
| CN112950678A (zh) * | 2021-03-25 | 2021-06-11 | 上海智能新能源汽车科创功能平台有限公司 | 一种基于车路协同的超视距融合感知系统 |
| CN113096442A (zh) * | 2021-03-29 | 2021-07-09 | 上海智能新能源汽车科创功能平台有限公司 | 一种基于车路云协同的智能公交车控制系统 |
| CN113378947A (zh) * | 2021-06-21 | 2021-09-10 | 北京踏歌智行科技有限公司 | 一种面向露天矿区无人运输的车路云融合感知系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113848921A (zh) | 2021-12-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113848921B (zh) | 车路云协同感知的方法和系统 | |
| CN109739236B (zh) | 车辆信息的处理方法、装置、计算机可读介质及电子设备 | |
| US10613547B2 (en) | System and method for improved obstacle awareness in using a V2X communications system | |
| US10229590B2 (en) | System and method for improved obstable awareness in using a V2X communications system | |
| US20190052842A1 (en) | System and Method for Improved Obstable Awareness in Using a V2x Communications System | |
| JP6556939B2 (ja) | 車両制御装置 | |
| CN110807412B (zh) | 一种车辆激光定位的方法、车载设备和存储介质 | |
| JP2021099793A (ja) | インテリジェント交通管制システム及びその制御方法 | |
| US20230057394A1 (en) | Cooperative vehicle-infrastructure processing method and apparatus, electronic device, and storage medium | |
| CN111477030B (zh) | 车辆协同避险方法、车端平台、云端平台及存储介质 | |
| CN111768642A (zh) | 车辆的道路环境感知和车辆控制方法、系统、设备及车辆 | |
| CN104870289A (zh) | 用于为机动车提供运行策略的方法 | |
| CN113415275A (zh) | 车辆消息的处理方法、装置、可读介质及电子设备 | |
| CN115615445A (zh) | 处理地图数据的方法、系统和存储介质 | |
| CN114627451A (zh) | 运载工具、用于运载工具的方法和存储介质 | |
| CN113837127A (zh) | 一种地图和v2v数据融合模型和方法、系统及介质 | |
| CN114179829A (zh) | 多端协同的车辆行驶方法、装置、系统及介质 | |
| CN110765224A (zh) | 电子地图的处理方法、车辆视觉重定位的方法和车载设备 | |
| CN113205701A (zh) | 车路协同系统、基于车路协同的高程转换更新方法 | |
| CN115240470A (zh) | 基于nr-v2x的弱势交通参与者碰撞预警系统与方法 | |
| US11967159B2 (en) | Semantic annotation of sensor data with overlapping physical features | |
| CN117612127B (zh) | 场景生成方法、装置和存储介质及电子设备 | |
| Arencibia et al. | On the Road to Smart Cities: Preparing US Cities for the Deployment of Connected and Autonomous Vehicles (CAVs) | |
| US20240123975A1 (en) | Guided generation of trajectories for remote vehicle assistance | |
| US20240131984A1 (en) | Turn signal assignment for complex maneuvers |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |