CN113689695B - 路侧感知系统的数据采集、可视化和标定的方法及系统 - Google Patents

路侧感知系统的数据采集、可视化和标定的方法及系统 Download PDF

Info

Publication number
CN113689695B
CN113689695B CN202110919719.5A CN202110919719A CN113689695B CN 113689695 B CN113689695 B CN 113689695B CN 202110919719 A CN202110919719 A CN 202110919719A CN 113689695 B CN113689695 B CN 113689695B
Authority
CN
China
Prior art keywords
calibration
data
server
recording
package
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110919719.5A
Other languages
English (en)
Other versions
CN113689695A (zh
Inventor
李波
张宇超
高瑞金
王秋原
张雷波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Intelligent and Connected Vehicle R&D Center Co Ltd
Original Assignee
Shanghai Intelligent and Connected Vehicle R&D Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Intelligent and Connected Vehicle R&D Center Co Ltd filed Critical Shanghai Intelligent and Connected Vehicle R&D Center Co Ltd
Priority to CN202110919719.5A priority Critical patent/CN113689695B/zh
Publication of CN113689695A publication Critical patent/CN113689695A/zh
Application granted granted Critical
Publication of CN113689695B publication Critical patent/CN113689695B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H04L69/164—Adaptation or special uses of UDP protocol
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种路侧感知系统的数据采集、可视化和标定的方法及系统，包括：标定车端执行开始录包操作时，标定车端利用UDP通信下发开始录包指令给服务器，服务器将开始录包指令转发给自定义消息协议中待标定的路端超视距感知系统，超视距感知系统开始录包操作，记录各个传感器的感知结果数据，在超视距感知系统开始执行录包操作的同时，标定车立即开始录包操作，记录标定车上组合导航的定位数据；根据记录的路侧端各个传感器的感知结果数据以及标定车的绝对定位数据，利用标定算法实现对超视距感知系统中包含的激光雷达、毫米波雷达以及相机的标定；本发明能够实现一次性采集多个路口感知系统的数据，并且实现对各个路口各个传感器的标定工作。

Description

路侧感知系统的数据采集、可视化和标定的方法及系统
技术领域
本发明涉及路侧感知系统技术领域，具体地，涉及路侧感知系统的数据采集、可视化和标定的方法及系统，更为具体地，涉及一种针对路侧感知系统的数据采集、可视化及标定一体化的系统方案。
背景技术
专利文献CN110853393B(申请号：201911176850.6)公开了一种智能网联车辆测试场数据采集与融合方法及系统，该方法包括：步骤1，根据采集到的测试场内的静态数据，构建测试场内地图的静态层；步骤2，路侧动态数据采集模块对感知范围内的动态目标进行跟踪，并通过生成相应标号下的航迹数据管理文件；步骤3，通过车端动态数据采集模块获取自车位置数据、自车驾驶状态数据和自车周围环境数据，由车载计算单元对动态目标的航迹进行初步融合；步骤4，数据融合及可视化模块构建测试场内地图的动态层；步骤5，通过增添和更改的方式模拟智能网联车辆测试所需的各种交通场景；步骤6，通过数据融合及可视化模块实时显示以及输送给测试智能网联车辆进行测试。
目前针对路侧感知系统的标定方案，需要有技术人员驾驶标定车在感知系统的视野范围内缓慢在道路上行驶，并且通过终端命令采集标定车的定位数据，同时还需要技术人员在路侧感知系统端通过终端命令采集路侧感知系统各个传感器的感知数据。采集完数据之后，需要把数据都拷贝到计算单元，然后需要在终端中输入一系列的命令，把采集到的数据作为标定算法的输入，最终输出标定结果。由此可以看出，目前对于路侧感知系统的标定方案非常繁琐，对操作人员技术水平要求较高，时间成本也较高。
同时，目前的标定算法都只能标定单一的传感器，并不能同时标定感知系统中的激光雷达、毫米波雷达以及相机。
目前市场上还没有一套成熟并且完整的路侧传感器自动化标定系统能够同时实现对激光雷达、摄像头以及毫米波雷达传感器的数据采集、可视化及自动化标定。本发明的关键技术效果在于开发了一套集成激光雷达、相机以及毫米波雷达标定算法的路侧超视距感知系统数据采集、可视化及标定的系统方案。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种路侧感知系统的数据采集、可视化和标定的方法及系统。
根据本发明提供的一种路侧感知系统的数据采集、可视化和标定的方法，包括：
步骤S1：标定车端执行开始录包操作时，标定车端利用UDP通信下发开始录包指令给服务器，服务器将开始录包指令转发给自定义消息协议中待标定的路端超视距感知系统，超视距感知系统开始录包操作，记录各个传感器的感知结果数据，在超视距感知系统开始执行录包操作的同时，标定车立即开始录包操作，记录标定车上组合导航的定位数据；
步骤S2：标定车端执行结束录包操作时，标定车端利用UDP通信下发结束录包的指令给服务器，服务器将结束录包指令转发给自定义消息协议中待标定的路端超视距感知系统，超视距感知系统结束录包操作，停止记录各个传感器的感知结果数据，与此同时，标定车立即结束录包操作，停止记录标定车上组合导航的定位数据；
步骤S3：根据记录的路侧端各个传感器的感知结果数据以及标定车的绝对定位数据，利用标定算法实现对超视距感知系统中包含的激光雷达、毫米波雷达以及相机的标定；
步骤S4：可视化的输出组合导航实时的定位数据、激光雷达和毫米波雷达感知的点云数据以及相机拍摄的图像数据；
所述自定义消息协议包括待标定的路端超视距感知系统信息；
所述超视距感知系统包括激光雷达、毫米波雷达、相机以及融合工控机。
优选地，所述步骤S1采用：
步骤S1.1：利用UDP通信发送自定义消息协议给服务器，自定义消息协议包括待标定的路端超视距感知系统信息；
步骤S1.2：标定车的计算单元利用UDP通信发送开始录包指令给服务器；
步骤S1.3：服务器将开始录包指令发送至待标定的路端超视距感知系统；
步骤S1.4：待标定的超视距感知系统的融合工控机收到服务器发送的开始录包指令时，融合工控机通过UDP通信给予服务器反馈信息，服务器将反馈信息转发给标定车的计算单元，然后融合工控机开始执行录包操作，记录各个传感器的感知结果数据；执行成功的同时，标定车立即开始录包操作，记录标定车上组合导航的定位数据；当没有执行成功时，融合工控机给予服务器反馈信息，服务器再次下发开始录包指令至待标定的路端超视距感知系统，重复触发步骤S1.4，直至执行成功。
优选地，所述步骤S2采用：
步骤S2.1：标定车的计算单元利用UDP通信发送结束录包指令给服务器；
步骤S2.2：服务器将结束录包指令发送至待标定的路端超视距感知系统；
步骤S2.3：待标定的超视距感知系统的融合工控机收到服务器发送的结束录包指令时，融合工控机开始执行结束录包操作，停止记录各个传感器的感知结果数据；执行成功的同时，融合工控机通过UDP通信给予服务器反馈信息，服务器将反馈信息转发给标定车的计算单元，标定车立即结束录包操作，停止记录标定车上组合导航的定位数据；当没有执行成功时，融合工控机给与服务器反馈信息，服务器再次下发停止录包至待标定的路端超视距感知系统，重复触发步骤S2.3，直至执行成功。
优选地，所述步骤S3包括：
步骤S3.1：将路侧端各个传感器的感知结果原始数据以及标定车的绝对定位原始数据通过标定算法进行解析处理，得到解析后的数据；
步骤S3.2：根据解析后的数据判断标定车上标定靶标的运动状态，当靶标处于静止状态时，将解析后的数据存入数据缓存中，待靶标再次开始运动时，对缓存中的数据取平均值作为采样数据保存在数据存储中，重复触发步骤S3.1至步骤S3.2，直至待标定路端采样结束；
步骤S3.3：读取数据存储中存储的采样数据并进行标定，输出标定结果并对标定结果进行验证。
优选地，所述标定算法采用：支持对标定算法进行修改以及重新编译操作。
优选地，多线程处理各个传感器的感知结果数据以及标定车上组合导航的定位数据。
根据本发明提供的一种路侧感知系统的数据采集、可视化和标定的系统，包括：
模块M1：标定车端执行开始录包操作时，标定车端利用UDP通信下发开始录包指令给服务器，服务器将开始录包指令转发给自定义消息协议中待标定的路端超视距感知系统，超视距感知系统开始录包操作，记录各个传感器的感知结果数据，在超视距感知系统开始执行录包操作的同时，标定车立即开始录包操作，记录标定车上组合导航的定位数据；
模块M2：标定车端执行结束录包操作时，标定车端利用UDP通信下发结束录包的指令给服务器，服务器将结束录包指令转发给自定义消息协议中待标定的路端超视距感知系统，超视距感知系统结束录包操作，停止记录各个传感器的感知结果数据，与此同时，标定车立即结束录包操作，停止记录标定车上组合导航的定位数据；
模块M3：根据记录的路侧端各个传感器的感知结果数据以及标定车的绝对定位数据，利用标定算法实现对超视距感知系统中包含的激光雷达、毫米波雷达以及相机的标定；
模块M4：可视化的输出组合导航实时的定位数据、激光雷达和毫米波雷达感知的点云数据以及相机拍摄的图像数据；
所述自定义消息协议包括待标定的路端超视距感知系统信息；
所述超视距感知系统包括激光雷达、毫米波雷达、相机以及融合工控机。
优选地，所述模块M1采用：
模块M1.1：利用UDP通信发送自定义消息协议给服务器，自定义消息协议包括待标定的路端超视距感知系统信息；
模块M1.2：标定车的计算单元利用UDP通信发送开始录包指令给服务器；
模块M1.3：服务器将开始录包指令发送至待标定的路端超视距感知系统；
模块M1.4：待标定的超视距感知系统的融合工控机收到服务器发送的开始录包指令时，融合工控机通过UDP通信给予服务器反馈信息，服务器将反馈信息转发给标定车的计算单元，然后融合工控机开始执行录包操作，记录各个传感器的感知结果数据；执行成功的同时，标定车立即开始录包操作，记录标定车上组合导航的定位数据；当没有执行成功时，融合工控机给予服务器反馈信息，服务器再次下发开始录包指令至待标定的路端超视距感知系统，重复触发步骤S1.4，直至执行成功。
优选地，所述模块M2采用：
模块M2.1：标定车的计算单元利用UDP通信发送结束录包指令给服务器；
模块M2.2：服务器将结束录包指令发送至待标定的路端超视距感知系统；
模块M2.3：待标定的超视距感知系统的融合工控机收到服务器发送的结束录包指令时，融合工控机开始执行结束录包操作，停止记录各个传感器的感知结果数据；执行成功的同时，融合工控机通过UDP通信给予服务器反馈信息，服务器将反馈信息转发给标定车的计算单元，标定车立即结束录包操作，停止记录标定车上组合导航的定位数据；当没有执行成功时，融合工控机给与服务器反馈信息，服务器再次下发停止录包至待标定的路端超视距感知系统，重复触发模块M2.3，直至执行成功。
优选地，所述模块M3包括：
模块M3.1：将路侧端各个传感器的感知结果原始数据以及标定车的绝对定位原始数据通过标定算法进行解析处理，得到解析后的数据；
模块M3.2：根据解析后的数据判断标定车上标定靶标的运动状态，当靶标处于静止状态时，将解析后的数据存入数据缓存中，待靶标再次开始运动时，对缓存中的数据取平均值作为采样数据保存在数据存储中，重复触发模块M3.1至模块M3.2，直至待标定路端采样结束；
模块M3.3：读取数据存储中存储的采样数据并进行标定，输出标定结果并对标定结果进行验证。
与现有技术相比，本发明具有如下的有益效果：
1、本发明涉及大量数据的传输和存储，包括激光雷达的3D点云数据、摄像头的RGB像素阵列、毫米波雷达的2D反射图以及组合导航的标定物位置状态信息，因此开发了多种不同类型数据的集中处理算法架构，保证各类数据通信进程之间互补干扰，并且能够按照一定的格式记录保存下来；
2、本发明不再需要人工现场采集数据以及现场标定，只需要在标定车端进行操作，就可以实现对标定车上靶标的定位数据以及各个路口各个超视距感知系统感知数据的采集，并且完成对所有路侧超视距感知系统中激光雷达、毫米波雷达以及相机的标定，大大提升了标定效率；
3、本发明通过可视化的界面操作实现标定车端和路侧感知系统端的原始数据采集及可视化，并且实现感知系统中激光雷达、毫米波雷达以及相机的自动化标定，输出标定结果；
4、利用UDP通信实现标定车端、服务器端以及路侧感知端控制指令的传输，从而实现标定车端定位数据以及路侧感知端各传感器感知数据的自动化采集、存储，同时实现路侧端数据的远距离传输；
5、本发明能够实现一次性采集多个路口感知系统的数据，并且实现对各个路口各个传感器的标定工作。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为路测感知系统的数据采集、可视化及标定一体化系统示意图。
图2为路测感知系统的数据采集、可视化及标定一体化方法流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
实施例1
根据本发明提供的一种路侧感知系统的数据采集、可视化和标定的方法，包括：
步骤S1：标定车端执行开始录包操作时，标定车端利用UDP通信下发开始录包指令给服务器，服务器将开始录包指令转发给自定义消息协议中待标定的路端超视距感知系统，超视距感知系统开始录包操作，记录各个传感器的感知结果数据，在超视距感知系统开始执行录包操作的同时，标定车立即开始录包操作，记录标定车上组合导航的定位数据；
步骤S2：标定车端执行结束录包操作时，标定车端利用UDP通信下发结束录包的指令给服务器，服务器将结束录包指令转发给自定义消息协议中待标定的路端超视距感知系统，超视距感知系统结束录包操作，停止记录各个传感器的感知结果数据，与此同时，标定车立即结束录包操作，停止记录标定车上组合导航的定位数据；
步骤S3：根据记录的路侧端各个传感器的感知结果数据以及标定车的绝对定位数据，利用标定算法实现对超视距感知系统中包含的激光雷达、毫米波雷达以及相机的标定；
步骤S4：可视化的输出组合导航实时的定位数据、激光雷达和毫米波雷达感知的点云数据以及相机拍摄的图像数据；
所述自定义消息协议包括待标定的路端超视距感知系统信息；
所述超视距感知系统包括激光雷达、毫米波雷达、相机以及融合工控机等。
具体地，所述步骤S1采用：
步骤S1.1：利用UDP通信发送自定义消息协议给服务器，自定义消息协议包括待标定的路端超视距感知系统信息；
步骤S1.2：标定车的计算单元利用UDP通信发送开始录包指令给服务器；
步骤S1.3：服务器将开始录包指令发送至待标定的路端超视距感知系统；
步骤S1.4：待标定的超视距感知系统的融合工控机收到服务器发送的开始录包指令时，融合工控机通过UDP通信给予服务器反馈信息，服务器将反馈信息转发给标定车的计算单元，然后融合工控机开始执行录包操作，记录各个传感器的感知结果数据；执行成功的同时，标定车立即开始录包操作，记录标定车上组合导航的定位数据；当没有执行成功时，融合工控机给予服务器反馈信息，服务器再次下发开始录包指令至待标定的路端超视距感知系统，重复触发步骤S1.4，直至执行成功。
具体地，所述步骤S2采用：
步骤S2.1：标定车的计算单元利用UDP通信发送结束录包指令给服务器；
步骤S2.2：服务器将结束录包指令发送至待标定的路端超视距感知系统；
步骤S2.3：待标定的超视距感知系统的融合工控机收到服务器发送的结束录包指令时，融合工控机开始执行结束录包操作，停止记录各个传感器的感知结果数据；执行成功的同时，融合工控机通过UDP通信给予服务器反馈信息，服务器将反馈信息转发给标定车的计算单元，标定车立即结束录包操作，停止记录标定车上组合导航的定位数据；当没有执行成功时，融合工控机给与服务器反馈信息，服务器再次下发停止录包至待标定的路端超视距感知系统，重复触发步骤S2.3，直至执行成功。
具体地，所述步骤S3包括：
步骤S3.1：将路侧端各个传感器的感知结果原始数据以及标定车的绝对定位原始数据通过标定算法进行解析处理，得到解析后的数据；
步骤S3.2：根据解析后的数据判断标定车上标定靶标的运动状态，当靶标处于静止状态时，将解析后的数据存入数据缓存中，待靶标再次开始运动时，对缓存中的数据取平均值作为采样数据保存在数据存储中，重复触发步骤S3.1至步骤S3.2，直至待标定路端采样结束；
步骤S3.3：读取数据存储中存储的采样数据并进行标定，输出标定结果并对标定结果进行验证。
具体地，所述标定算法采用：支持对标定算法进行修改以及重新编译操作。
具体地，多线程处理各个传感器的感知结果数据以及标定车上组合导航的定位数据。
根据本发明提供的一种路侧感知系统的数据采集、可视化和标定的系统，包括：
模块M1：标定车端执行开始录包操作时，标定车端利用UDP通信下发开始录包指令给服务器，服务器将开始录包指令转发给自定义消息协议中待标定的路端超视距感知系统，超视距感知系统开始录包操作，记录各个传感器的感知结果数据，在超视距感知系统开始执行录包操作的同时，标定车立即开始录包操作，记录标定车上组合导航的定位数据；
模块M2：标定车端执行结束录包操作时，标定车端利用UDP通信下发结束录包的指令给服务器，服务器将结束录包指令转发给自定义消息协议中待标定的路端超视距感知系统，超视距感知系统结束录包操作，停止记录各个传感器的感知结果数据，与此同时，标定车立即结束录包操作，停止记录标定车上组合导航的定位数据；
模块M3：根据记录的路侧端各个传感器的感知结果数据以及标定车的绝对定位数据，利用标定算法实现对超视距感知系统中包含的激光雷达、毫米波雷达以及相机的标定；
模块M4：可视化的输出组合导航实时的定位数据、激光雷达和毫米波雷达感知的点云数据以及相机拍摄的图像数据；
所述自定义消息协议包括待标定的路端超视距感知系统信息；
所述超视距感知系统包括激光雷达、毫米波雷达、相机以及融合工控机。
具体地，所述模块M1采用：
模块M1.1：利用UDP通信发送自定义消息协议给服务器，自定义消息协议包括待标定的路端超视距感知系统信息；
模块M1.2：标定车的计算单元利用UDP通信发送开始录包指令给服务器；
模块M1.3：服务器将开始录包指令发送至待标定的路端超视距感知系统；
模块M1.4：待标定的超视距感知系统的融合工控机收到服务器发送的开始录包指令时，融合工控机通过UDP通信给予服务器反馈信息，服务器将反馈信息转发给标定车的计算单元，然后融合工控机开始执行录包操作，记录各个传感器的感知结果数据；执行成功的同时，标定车立即开始录包操作，记录标定车上组合导航的定位数据；当没有执行成功时，融合工控机给予服务器反馈信息，服务器再次下发开始录包指令至待标定的路端超视距感知系统，重复触发步骤S1.4，直至执行成功。
具体地，所述模块M2采用：
模块M2.1：标定车的计算单元利用UDP通信发送结束录包指令给服务器；
模块M2.2：服务器将结束录包指令发送至待标定的路端超视距感知系统；
模块M2.3：待标定的超视距感知系统的融合工控机收到服务器发送的结束录包指令时，融合工控机开始执行结束录包操作，停止记录各个传感器的感知结果数据；执行成功的同时，融合工控机通过UDP通信给予服务器反馈信息，服务器将反馈信息转发给标定车的计算单元，标定车立即结束录包操作，停止记录标定车上组合导航的定位数据；当没有执行成功时，融合工控机给与服务器反馈信息，服务器再次下发停止录包至待标定的路端超视距感知系统，重复触发模块M2.3，直至执行成功。
具体地，所述模块M3包括：
模块M3.1：将路侧端各个传感器的感知结果原始数据以及标定车的绝对定位原始数据通过标定算法进行解析处理，得到解析后的数据；
模块M3.2：根据解析后的数据判断标定车上标定靶标的运动状态，当靶标处于静止状态时，将解析后的数据存入数据缓存中，待靶标再次开始运动时，对缓存中的数据取平均值作为采样数据保存在数据存储中，重复触发模块M3.1至模块M3.2，直至待标定路端采样结束；
模块M3.3：读取数据存储中存储的采样数据并进行标定，输出标定结果并对标定结果进行验证。
实施例2
实施例2是实施例1的优选例
本发明通过可视化的界面操作实现标定车端和路侧感知系统端的原始数据采集及可视化，并且实现感知系统中激光雷达、毫米波雷达以及相机的自动化标定，输出标定结果；利用UDP通信实现标定车端、服务器端以及路侧感知端控制指令的传输，从而实现标定车端定位数据以及路侧感知端各传感器感知数据的自动化采集、存储，同时实现路侧端数据的远距离传输；实现组合导航定位数据以及路侧感知系统感知数据的可视化；通过可视化的操作界面实现路侧感知系统中激光雷达、毫米波雷达以及相机的绝对标定以及相对标定，并且输出标定结果。同时由于不再需要人工现场采集数据以及现场标定，从而提升标定效率；能够实现一次性采集多个路口感知系统的数据，并且实现对各个路口各个传感器的标定工作。
本发明提供的一种路侧感知系统的数据采集、可视化和标定的方法主要涉及三部分，标定车、服务器和路侧感知系统，如图1至2所示。
标定车端主要包括可视化和标定两个模块；
其中，可视化模块能够输出组合导航实时的定位数据，激光雷达和毫米波雷达感知的点云数据，以及相机拍摄的图像数据。
标定车端的核心在于标定模块，该模块又包含通信、预处理以及标定三个子模块。
在通信子模块中，支持设置服务器的IP地址和端口号，并且该子模块中存储了所有安装超视距感知系统(超视距感知系统包含有激光雷达、毫米波雷达、相机三种传感器以及融合工控机等)的路口信息以及每个路口包含的超视距感知系统信息(假设每个路口包含四根智能杆，每根杆上装有一套超视距感知系统，分别以Z、A、B和C进行标识)。由于标定车端的计算单元与5G路由器相互连接，因此通过“连接服务端”操作，就可以建立标定车端与服务器端之间的连接，然后通过“设置路口属性”操作，就可以利用UDP通信发送自定义消息协议给服务器，告知服务器当前标定车需要标定的是哪个路口的哪套超视距感知系统。
自定义消息协议中包括了待标定的路端超视距感知系统信息，一个路口需要部署4套超视距感知系统，分别用Z、A、B和C标识，该协议中需要告知服务器当前标定的是哪个路口以及具体是哪一套超视距感知系统，同时协议中还包含了“开始标定”、“结束标定”等控制指令信息，每个路口的四套超视距感知系统需要分别标定；
服务器相当于一个中转站，当执行“开始录包”操作时，标定车的计算单元利用UDP通信下发一个开始录包的指令给服务器，而服务器端也存储了所有安装超视距感知系统的路口信息以及每个路口包含的超视距感知系统信息，当收到标定车端开始录包的指令时，根据通信子模块的配置信息，服务器会把开始录包的指令转发给相应路口对应的超视距感知系统(Z、A、B或C)。
当超视距感知系统的融合工控机收到服务器下发的开始录包指令时，融合工控机开始执行录包(基于ROS指令，录制包含有激光雷达、毫米波雷达以及相机等节点发出来的话题的消息)操作，记录各个传感器的感知结果数据。执行成功的同时，融合工控机会通过UDP通信给予服务器一个反馈信息，然后服务器再转发给标定车的计算单元，接着标定车立即开始录包操作，记录标定车上组合导航的定位数据。从而只需要在标定车端进行操作就可以实现标定车端和路侧超视距感知系统的数据采集。当没有执行成功时，融合工控机也会给予服务器一个反馈信息，然后服务器试图再次下发开始录包指令，直至接收到融合工控机成功操作的反馈信息，然后再转发给标定车端。
当执行“结束录包”操作时，标定车的计算单元利用UDP通信下发一个结束录包的指令给服务器，当收到标定车端结束录包的指令时，根据第一步中的配置信息，服务器会把结束录包的指令转发给相应路口对应的超视距感知系统(Z、A、B或C)。当超视距感知系统的融合工控机收到服务器下发的结束录包指令时，融合工控机开始执行结束录包的指令，停止记录各个传感器的感知结果数据。执行成功的同时，融合工控机会通过UDP通信给予服务器一个反馈信息，然后服务器再转发给标定车的计算单元，接着标定车也立即结束录包操作，停止记录标定车上组合导航的定位数据。当没有执行成功时，融合工控机也会给予服务器一个反馈信息，然后服务器试图再次下发结束录包指令，直至接收到融合工控机成功操作的反馈信息，然后再转发给标定车端。
在预处理子模块中，通过“读取标定算法”操作，可以导入标定算法，该软件系统还支持对标定算法进行修改，重新编译等操作。然后执行“打开数据包”操作，播放前四步录制好的路侧超视距感知系统的感知结果数据以及标定车的绝对定位数据，作为标定算法的输入数据。
在标定子模块中，当标定算法接收到各传感器发来的数据时，由数据解析模块对其进行解析处理，并判断标定车上标定靶标(该靶标能够同时被激光雷达、摄像机以及毫米波雷达作为特征点识别，同时具有多面反射、对称结构等优点)的运动状态。当靶标处于静止状态时，将数据解析模块解析得到的数据存入数据缓存模块，待靶标再次开始运动时，对数据缓存模块中的数据取平均值作为一次采样数据，并存入数据存储模块，而播放数据包的过程可以理解为回放的过程，把前面记录的数据回放出来，一边回放一边进行处理，标定车是走走停停的，在一个位置停几秒钟然后运动一点点然后又停下来，一直这样循环，直至跑完一定的路程。然后标定算法模块读取数据存储模块中存储的采样点数据进行标定，输出标定结果文件，并对标定结果进行验证。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (8)

1.一种路侧感知系统的数据采集、可视化和标定的方法，其特征在于，包括：
步骤S1：标定车端执行开始录包操作时，标定车端利用UDP通信下发开始录包指令给服务器，服务器将开始录包指令转发给自定义消息协议中待标定的路端超视距感知系统，超视距感知系统开始录包操作，记录各个传感器的感知结果数据，在超视距感知系统开始执行录包操作的同时，标定车立即开始录包操作，记录标定车上组合导航的定位数据；
步骤S2：标定车端执行结束录包操作时，标定车端利用UDP通信下发结束录包的指令给服务器，服务器将结束录包指令转发给自定义消息协议中待标定的路端超视距感知系统，超视距感知系统结束录包操作，停止记录各个传感器的感知结果数据，与此同时，标定车立即结束录包操作，停止记录标定车上组合导航的定位数据；
步骤S3：根据记录的路侧端各个传感器的感知结果数据以及标定车的绝对定位数据，利用标定算法实现对超视距感知系统中包含的激光雷达、毫米波雷达以及相机的标定；
步骤S4：可视化的输出组合导航实时的定位数据、激光雷达和毫米波雷达感知的点云数据以及相机拍摄的图像数据；
所述自定义消息协议包括待标定的路端超视距感知系统信息；
所述超视距感知系统包括激光雷达、毫米波雷达、相机以及融合工控机；
所述步骤S3包括：
步骤S3.1：将路侧端各个传感器的感知结果原始数据以及标定车的绝对定位原始数据通过标定算法进行解析处理，得到解析后的数据；
步骤S3.2：根据解析后的数据判断标定车上标定靶标的运动状态，当靶标处于静止状态时，将解析后的数据存入数据缓存中，待靶标再次开始运动时，对缓存中的数据取平均值作为采样数据保存在数据存储中，重复触发步骤S3.1至步骤S3.2，直至待标定路端采样结束；
步骤S3.3：读取数据存储中存储的采样数据并进行标定，输出标定结果并对标定结果进行验证，进而完成激光雷达、毫米波雷达以及相机的标定。
2.根据权利要求1所述的路侧感知系统的数据采集、可视化和标定的方法，其特征在于，所述步骤S1采用：
步骤S1.1：利用UDP通信发送自定义消息协议给服务器，自定义消息协议包括待标定的路端超视距感知系统信息；
步骤S1.2：标定车的计算单元利用UDP通信发送开始录包指令给服务器；
步骤S1.3：服务器将开始录包指令发送至待标定的路端超视距感知系统；
步骤S1.4：待标定的超视距感知系统的融合工控机收到服务器发送的开始录包指令时，融合工控机通过UDP通信给予服务器反馈信息，服务器将反馈信息转发给标定车的计算单元，然后融合工控机开始执行录包操作，记录各个传感器的感知结果数据；执行成功的同时，标定车立即开始录包操作，记录标定车上组合导航的定位数据；当没有执行成功时，融合工控机给予服务器反馈信息，服务器再次下发开始录包指令至待标定的路端超视距感知系统，重复触发步骤S1.4，直至执行成功。
3.根据权利要求1所述的路侧感知系统的数据采集、可视化和标定的方法，其特征在于，所述步骤S2采用：
步骤S2.1：标定车的计算单元利用UDP通信发送结束录包指令给服务器；
步骤S2.2：服务器将结束录包指令发送至待标定的路端超视距感知系统；
步骤S2.3：待标定的超视距感知系统的融合工控机收到服务器发送的结束录包指令时，融合工控机开始执行结束录包操作，停止记录各个传感器的感知结果数据；执行成功的同时，融合工控机通过UDP通信给予服务器反馈信息，服务器将反馈信息转发给标定车的计算单元，标定车立即结束录包操作，停止记录标定车上组合导航的定位数据；当没有执行成功时，融合工控机给与服务器反馈信息，服务器再次下发停止录包至待标定的路端超视距感知系统，重复触发步骤S2.3，直至执行成功。
4.根据权利要求1所述的路侧感知系统的数据采集、可视化和标定的方法，其特征在于，所述标定算法采用：支持对标定算法进行修改以及重新编译操作。
5.根据权利要求1所述的路侧感知系统的数据采集、可视化和标定的方法，其特征在于，多线程处理各个传感器的感知结果数据以及标定车上组合导航的定位数据。
6.一种路侧感知系统的数据采集、可视化和标定的系统，其特征在于，包括：
模块M1：标定车端执行开始录包操作时，标定车端利用UDP通信下发开始录包指令给服务器，服务器将开始录包指令转发给自定义消息协议中待标定的路端超视距感知系统，超视距感知系统开始录包操作，记录各个传感器的感知结果数据，在超视距感知系统开始执行录包操作的同时，标定车立即开始录包操作，记录标定车上组合导航的定位数据；
模块M2：标定车端执行结束录包操作时，标定车端利用UDP通信下发结束录包的指令给服务器，服务器将结束录包指令转发给自定义消息协议中待标定的路端超视距感知系统，超视距感知系统结束录包操作，停止记录各个传感器的感知结果数据，与此同时，标定车立即结束录包操作，停止记录标定车上组合导航的定位数据；
模块M3：根据记录的路侧端各个传感器的感知结果数据以及标定车的绝对定位数据，利用标定算法实现对超视距感知系统中包含的激光雷达、毫米波雷达以及相机的标定；
模块M4：可视化的输出组合导航实时的定位数据、激光雷达和毫米波雷达感知的点云数据以及相机拍摄的图像数据；
所述自定义消息协议包括待标定的路端超视距感知系统信息；
所述超视距感知系统包括激光雷达、毫米波雷达、相机以及融合工控机；
所述模块M3包括：
模块M3.1：将路侧端各个传感器的感知结果原始数据以及标定车的绝对定位原始数据通过标定算法进行解析处理，得到解析后的数据；
模块M3.2：根据解析后的数据判断标定车上标定靶标的运动状态，当靶标处于静止状态时，将解析后的数据存入数据缓存中，待靶标再次开始运动时，对缓存中的数据取平均值作为采样数据保存在数据存储中，重复触发模块M3.1至模块M3.2，直至待标定路端采样结束；
模块M3.3：读取数据存储中存储的采样数据并进行标定，输出标定结果并对标定结果进行验证，进而完成激光雷达、毫米波雷达以及相机的标定。
7.根据权利要求6所述的路侧感知系统的数据采集、可视化和标定的系统，其特征在于，所述模块M1采用：
模块M1.1：利用UDP通信发送自定义消息协议给服务器，自定义消息协议包括待标定的路端超视距感知系统信息；
模块M1.2：标定车的计算单元利用UDP通信发送开始录包指令给服务器；
模块M1.3：服务器将开始录包指令发送至待标定的路端超视距感知系统；
模块M1.4：待标定的超视距感知系统的融合工控机收到服务器发送的开始录包指令时，融合工控机通过UDP通信给予服务器反馈信息，服务器将反馈信息转发给标定车的计算单元，然后融合工控机开始执行录包操作，记录各个传感器的感知结果数据；执行成功的同时，标定车立即开始录包操作，记录标定车上组合导航的定位数据；当没有执行成功时，融合工控机给予服务器反馈信息，服务器再次下发开始录包指令至待标定的路端超视距感知系统，重复触发步骤S1.4，直至执行成功。
8.根据权利要求6所述的路侧感知系统的数据采集、可视化和标定的系统，其特征在于，所述模块M2采用：
模块M2.1：标定车的计算单元利用UDP通信发送结束录包指令给服务器；
模块M2.2：服务器将结束录包指令发送至待标定的路端超视距感知系统；
模块M2.3：待标定的超视距感知系统的融合工控机收到服务器发送的结束录包指令时，融合工控机开始执行结束录包操作，停止记录各个传感器的感知结果数据；执行成功的同时，融合工控机通过UDP通信给予服务器反馈信息，服务器将反馈信息转发给标定车的计算单元，标定车立即结束录包操作，停止记录标定车上组合导航的定位数据；当没有执行成功时，融合工控机给与服务器反馈信息，服务器再次下发停止录包至待标定的路端超视距感知系统，重复触发模块M2.3，直至执行成功。
CN202110919719.5A 2021-08-11 2021-08-11 路侧感知系统的数据采集、可视化和标定的方法及系统 Active CN113689695B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110919719.5A CN113689695B (zh) 2021-08-11 2021-08-11 路侧感知系统的数据采集、可视化和标定的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110919719.5A CN113689695B (zh) 2021-08-11 2021-08-11 路侧感知系统的数据采集、可视化和标定的方法及系统

Publications (2)

Publication Number Publication Date
CN113689695A CN113689695A (zh) 2021-11-23
CN113689695B true CN113689695B (zh) 2022-07-08

Family

ID=78579474

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110919719.5A Active CN113689695B (zh) 2021-08-11 2021-08-11 路侧感知系统的数据采集、可视化和标定的方法及系统

Country Status (1)

Country Link
CN (1) CN113689695B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114413880A (zh) * 2021-12-31 2022-04-29 上海智能网联汽车技术中心有限公司 一种车路协同感知和数据融合方法、介质及自动驾驶系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210280A (zh) * 2019-03-01 2019-09-06 北京纵目安驰智能科技有限公司 一种超视距感知方法、系统、终端和存储介质
CN110412524A (zh) * 2019-07-04 2019-11-05 中国气象局气象探测中心 一种风廓线雷达标准输出控制器系统
CN110440801A (zh) * 2019-07-08 2019-11-12 浙江吉利控股集团有限公司 一种定位感知信息获取方法、装置及系统
CN110853393A (zh) * 2019-11-26 2020-02-28 清华大学 智能网联车辆测试场数据采集与融合方法及系统
CN111521982A (zh) * 2020-04-29 2020-08-11 一汽奔腾轿车有限公司 一种用于l2级驾驶辅助系统的标定系统及标定方法
CN111694010A (zh) * 2020-05-27 2020-09-22 东南大学 一种基于视觉与激光雷达融合的路侧车辆识别方法
CN111754581A (zh) * 2019-03-28 2020-10-09 阿里巴巴集团控股有限公司 一种摄像头标定方法、路侧感知设备和智慧交通系统
CN112017251A (zh) * 2020-10-19 2020-12-01 杭州飞步科技有限公司 标定方法、装置、路侧设备和计算机可读存储介质
CN112767475A (zh) * 2020-12-30 2021-05-07 重庆邮电大学 一种基于c-v2x、雷达与视觉的智能路侧感知系统
CN112836737A (zh) * 2021-01-29 2021-05-25 同济大学 一种基于车路数据融合的路侧组合感知设备在线标定方法
CN112950678A (zh) * 2021-03-25 2021-06-11 上海智能新能源汽车科创功能平台有限公司 一种基于车路协同的超视距融合感知系统
DE102021002437A1 (de) * 2021-05-07 2021-07-08 Daimler Ag Kalilbrierung und Justierung einer Kamera
CN113112840A (zh) * 2021-03-15 2021-07-13 上海交通大学 一种基于车路协同的无人车超视距导航系统及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111492403A (zh) * 2017-10-19 2020-08-04 迪普迈普有限公司 用于生成高清晰度地图的激光雷达到相机校准
US11159658B2 (en) * 2018-07-23 2021-10-26 Moj.Io, Inc. Homogenization of telematics data through unified messaging protocol

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210280A (zh) * 2019-03-01 2019-09-06 北京纵目安驰智能科技有限公司 一种超视距感知方法、系统、终端和存储介质
CN111754581A (zh) * 2019-03-28 2020-10-09 阿里巴巴集团控股有限公司 一种摄像头标定方法、路侧感知设备和智慧交通系统
CN110412524A (zh) * 2019-07-04 2019-11-05 中国气象局气象探测中心 一种风廓线雷达标准输出控制器系统
CN110440801A (zh) * 2019-07-08 2019-11-12 浙江吉利控股集团有限公司 一种定位感知信息获取方法、装置及系统
CN110853393A (zh) * 2019-11-26 2020-02-28 清华大学 智能网联车辆测试场数据采集与融合方法及系统
CN111521982A (zh) * 2020-04-29 2020-08-11 一汽奔腾轿车有限公司 一种用于l2级驾驶辅助系统的标定系统及标定方法
CN111694010A (zh) * 2020-05-27 2020-09-22 东南大学 一种基于视觉与激光雷达融合的路侧车辆识别方法
CN112017251A (zh) * 2020-10-19 2020-12-01 杭州飞步科技有限公司 标定方法、装置、路侧设备和计算机可读存储介质
CN112767475A (zh) * 2020-12-30 2021-05-07 重庆邮电大学 一种基于c-v2x、雷达与视觉的智能路侧感知系统
CN112836737A (zh) * 2021-01-29 2021-05-25 同济大学 一种基于车路数据融合的路侧组合感知设备在线标定方法
CN113112840A (zh) * 2021-03-15 2021-07-13 上海交通大学 一种基于车路协同的无人车超视距导航系统及方法
CN112950678A (zh) * 2021-03-25 2021-06-11 上海智能新能源汽车科创功能平台有限公司 一种基于车路协同的超视距融合感知系统
DE102021002437A1 (de) * 2021-05-07 2021-07-08 Daimler Ag Kalilbrierung und Justierung einer Kamera

Also Published As

Publication number Publication date
CN113689695A (zh) 2021-11-23

Similar Documents

Publication Publication Date Title
CN113687600A (zh) 仿真测试方法、装置、电子设备及存储介质
Reway et al. Test methodology for vision-based adas algorithms with an automotive camera-in-the-loop
CN115187742B (zh) 自动驾驶仿真测试场景生成方法、系统及相关装置
CN218332314U (zh) 一种基于智能驾驶域控制器hil仿真测试平台
CN109376664B (zh) 机器学习训练方法、装置、服务器和介质
CN113689695B (zh) 路侧感知系统的数据采集、可视化和标定的方法及系统
CN116224954A (zh) 一种融合真实道路场景的智能驾驶在环测试方、环境及存储介质
CN115479782A (zh) 多源数据孪生联动测试方法、装置、车辆及存储介质
CN117193041A (zh) 一种基于数字孪生的无人集卡在环测试平台
CN115344503A (zh) 面向自动驾驶规划控制测试的交通流仿真系统与仿真方法
CN110562170B (zh) 一种无人车3d场景显示数据记录与模块调试系统及方法
Deter et al. Simulating the Autonomous Future: A Look at Virtual Vehicle Environments and How to Validate Simulation Using Public Data Sets
CN109683491B (zh) 车载摄像头仿真系统
CN118276481A (zh) 智能驾驶调试方法、装置、系统、电子设备及存储介质
Bai et al. Cyber mobility mirror for enabling cooperative driving automation in mixed traffic: A co-simulation platform
CN117234192B (zh) 一种智能驾驶域控制器自动化hil仿真测试系统和方法
CN114844811A (zh) 一种车载终端的测试方法及测试系统
CN114415542A (zh) 自动驾驶仿真系统、方法、服务器及介质
CN113238546A (zh) 用于自动泊车控制器的多源传感器融合测试系统
CN111897241A (zh) 传感器融合多目标模拟硬件在环仿真系统
CN117131589A (zh) 智能网联车辆协同算法的仿真测试方法及装置
CN116540563A (zh) 一种自动驾驶的仿真测试系统
CN115469564A (zh) 车辆的自动泊车测试系统、方法、车辆及存储介质
CN112667366B (zh) 动态场景数据的导入方法、装置、设备及可读存储介质
CN116342773A (zh) 基于渲染引擎的自动驾驶信息可视化方法、装置及车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Method and system for data collection, visualization, and calibration of roadside perception system

Effective date of registration: 20230506

Granted publication date: 20220708

Pledgee: Bank of Hangzhou Limited by Share Ltd. Shanghai branch

Pledgor: Shanghai intelligent network Automobile Technology Center Co.,Ltd.

Registration number: Y2023310000165

PE01 Entry into force of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Granted publication date: 20220708

Pledgee: Bank of Hangzhou Limited by Share Ltd. Shanghai branch

Pledgor: Shanghai intelligent network Automobile Technology Center Co.,Ltd.

Registration number: Y2023310000165

PC01 Cancellation of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Methods and systems for data collection, visualization, and calibration of roadside perception systems

Granted publication date: 20220708

Pledgee: Shanghai Bank Co.,Ltd. Fengxian Branch

Pledgor: Shanghai intelligent network Automobile Technology Center Co.,Ltd.

Registration number: Y2024980025216

PE01 Entry into force of the registration of the contract for pledge of patent right