CN111860604A - 数据融合方法、系统及计算机存储介质 - Google Patents
数据融合方法、系统及计算机存储介质 Download PDFInfo
- Publication number
- CN111860604A CN111860604A CN202010589432.6A CN202010589432A CN111860604A CN 111860604 A CN111860604 A CN 111860604A CN 202010589432 A CN202010589432 A CN 202010589432A CN 111860604 A CN111860604 A CN 111860604A
- Authority
- CN
- China
- Prior art keywords
- data
- target
- mcu
- signal
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 32
- 230000001360 synchronised effect Effects 0.000 claims abstract description 131
- 230000004927 fusion Effects 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims description 29
- 238000005259 measurement Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
- G01S19/46—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being of a radio-wave signal type
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
- G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Electric Clocks (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明实施例提供了一种数据融合方法、系统及计算机存储介质。该数据融合方法，利用MCU获取GNSS数据，基于GNSS数据对MCU内部的RTC和定时器执行时间校准操作，并向目标传感器发送同步采集信号；利用目标传感器根据同步采集信号，执行数据同步采集操作，并向MCU和/或目标服务器发送所采集到的目标数据；利用目标服务器对目标数据执行时间对准操作得到感知结果，并向云服务器发送感知结果，以用于云服务器基于多个多源异构感知设备的感知结果执行数据融合操作；其中，目标服务器通过PTP与MCU时间同步。根据本发明实施例的数据融合方法、系统及计算机存储介质，能够提高数据融合的精度。
Description
技术领域
本发明属于智能交通技术领域，尤其涉及一种数据融合方法、系统及计算机存储介质。
背景技术
在智能交通技术领域，多源异构感知设备通常包括路侧端感知设备与车载端感知设备，两者分别在各自的系统时间维度和各自的坐标系中完成道路交通参与者的轨迹信息检测。
目前主流的车载感知设备和路侧感知设备，大都采用基于互联网的授时机制，存在授时精度低和可靠性差等问题。同时，大量基于非实时操作系统的服务器(如Linux)在读取指令时引入的误差，难以保障高精度的时钟。而数据融合的前提是同时降低时间偏差、单位时间测量误差和时钟偏差等三种时间误差以获得更高精度的对准时钟。
因此，如何提高数据融合的精度是本领域技术人员亟需解决的技术问题。
发明内容
本发明实施例提供一种数据融合方法、系统及计算机存储介质，能够提高数据融合的精度。
第一方面，本发明实施例提供一种数据融合方法，应用于数据融合系统，数据融合系统包括云服务器和至少一个多源异构感知设备，每个多源异构感知设备包括微控制器(Micro Control Unit，MCU)、目标传感器和目标服务器，该方法包括：
利用MCU获取全球导航卫星系统(Global Navigation Satellite System，GNSS)数据，基于GNSS数据对MCU内部的实时时钟(Real_Time Clock，RTC)和定时器执行时间校准操作，并向目标传感器发送同步采集信号；其中，GNSS数据包括协调世界时(CoordinatedUniversal Time，UTC)信号、每秒脉冲数(Pulse Per Second，PPS)信号和多源异构感知设备的位置信息；同步采集信号包括同步触发信号、同步脉冲信号、UTC信号及PPS信号中的至少一种；
利用目标传感器根据同步采集信号，执行数据同步采集操作，并向MCU和/或目标服务器发送所采集到的目标数据；
利用目标服务器对目标数据执行时间对准操作得到感知结果，并向云服务器发送感知结果，以用于云服务器基于多个多源异构感知设备的感知结果执行数据融合操作；其中，目标服务器通过精确时间协议(Precision Time Protocol，PTP)与MCU时间同步。
可选的，当目标传感器包括惯性测量单元(Inertial measurement unit，IMU)，目标数据包括IMU数据时，则利用目标传感器根据同步采集信号，执行数据同步采集操作，并向MCU和/或目标服务器发送所采集到的目标数据，包括：
利用IMU根据PPS信号执行数据同步采集操作，并向MCU发送IMU数据。
可选的，在利用目标服务器对目标数据执行时间对准操作得到感知结果，并向云服务器发送感知结果之前，方法还包括：
利用MCU向目标服务器发送IMU数据。
可选的，当目标传感器包括激光雷达，目标数据包括激光雷达数据时，则利用目标传感器根据同步采集信号，执行数据同步采集操作，并向MCU和/或目标服务器发送所采集到的目标数据，包括：
利用激光雷达根据UTC信号和PPS信号执行数据同步采集操作，并向目标服务器发送激光雷达数据。
可选的，当目标传感器包括摄像头，目标数据包括图像数据时，则利用目标传感器根据同步采集信号，执行数据同步采集操作，并向MCU和/或目标服务器发送所采集到的目标数据，包括：
利用摄像头根据同步触发信号执行数据同步采集操作，向目标服务器发送图像数据，并向MCU发送曝光时间信息。
可选的，在向MCU发送曝光时间信息之后，方法还包括：
利用MCU根据同步触发信号和曝光时间信息，确定摄像头的图像采集时间信息，并向目标服务器发送图像采集时间信息。
可选的，当目标传感器包括毫米波雷达，目标数据包括毫米波雷达数据时，则利用目标传感器根据同步采集信号，执行数据同步采集操作，并向MCU和/或目标服务器发送所采集到的目标数据，包括：
利用毫米波雷达根据同步触发信号执行数据同步采集操作，并向目标服务器发送毫米波雷达数据。
第二方面，本发明实施例提供了一种数据融合系统，数据融合系统执行第一方面或者第一方面任一可选的实现方式中的数据融合方法，数据融合系统包括云服务器和至少一个多源异构感知设备，每个多源异构感知设备包括：
微控制器MCU，用于获取全球导航卫星系统GNSS数据，基于GNSS数据对MCU内部的实时时钟RTC和定时器执行时间校准操作，并向目标传感器发送同步采集信号；其中，GNSS数据包括协调世界时UTC信号、每秒脉冲数PPS信号和多源异构感知设备的位置信息；同步采集信号包括同步触发信号、同步脉冲信号、UTC信号及PPS信号中的至少一种；
目标传感器，用于根据同步采集信号，执行数据同步采集操作，并向MCU和/或目标服务器发送所采集到的目标数据；
目标服务器，用于对目标数据执行时间对准操作得到感知结果，并向云服务器发送感知结果，以用于云服务器基于多个多源异构感知设备的感知结果执行数据融合操作；其中，目标服务器通过精确时间协议PTP与MCU时间同步。
可选的，当目标传感器包括惯性测量单元IMU，目标数据包括IMU数据时，则目标传感器，用于根据同步采集信号，执行数据同步采集操作，并向MCU和/或目标服务器发送所采集到的目标数据，包括：
IMU，用于根据PPS信号执行数据同步采集操作，并向MCU发送IMU数据。
可选的，在利用目标服务器对目标数据执行时间对准操作得到感知结果，并向云服务器发送感知结果之前，MCU还用于向目标服务器发送IMU数据。
可选的，目标传感器包括激光雷达，用于根据UTC信号和PPS信号执行数据同步采集操作，并向目标服务器发送激光雷达数据。
可选的，目标传感器包括摄像头，用于根据同步触发信号执行数据同步采集操作，向目标服务器发送图像数据，并向MCU发送曝光时间信息。
可选的，MCU还用于根据同步触发信号和曝光时间信息，确定摄像头的图像采集时间信息，并向目标服务器发送图像采集时间信息。
可选的，目标传感器包括毫米波雷达用于根据同步触发信号执行数据同步采集操作，并向目标服务器发送毫米波雷达数据。
第三方面，本发明实施例提供了一种计算机存储介质，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现第一方面或者第一方面任一可选的实现方式中的数据融合方法。
本发明实施例的数据融合方法、系统及计算机存储介质，能够提高数据融合的精度。该数据融合方法，利用MCU获取GNSS数据，基于GNSS数据对MCU内部的RTC和定时器执行时间校准操作，并向目标传感器发送同步采集信号；利用目标传感器根据同步采集信号，执行数据同步采集操作，并向MCU和/或目标服务器发送所采集到的目标数据；利用目标服务器对目标数据执行时间对准操作得到感知结果，并向云服务器发送感知结果，以用于云服务器基于多个多源异构感知设备的感知结果执行数据融合操作；其中，目标服务器通过PTP与MCU时间同步。如此，本发明实施例提供的数据融合方法，能够提高数据融合的精度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种数据融合方法的流程示意图；
图2是本发明实施例提供的一种基于智能网联汽车应用的多源异构设备之间数据同步处理系统的结构示意图；
图3是本发明实施例提供的一种系统硬件连接示意图；
图4是本发明实施例提供的一种同步采集板内部单元设计示意图；
图5是本发明实施例提供的一种同步授时流程示意图；
图6是本发明实施例提供的一种MCU产生同步触发信号流程图；
图7是本发明实施例提供的一种MCU产生同步脉冲信号流程图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
基于背景技术可知，目前主流的车载感知设备和路侧感知设备，大都采用基于互联网的授时机制，存在授时精度低和可靠性差等问题。同时，大量基于非实时操作系统的服务器(如Linux)在读取指令时引入的误差，难以保障高精度的时钟。而数据融合的前提是同时降低时间偏差、单位时间测量误差和时钟偏差等三种时间误差以获得更高精度的对准时钟。
为了解决现有技术问题，本发明实施例提供了一种数据融合方法、系统及计算机存储介质。
下面首先对本发明实施例所提供的数据融合方法进行介绍。
图1示出了本发明实施例提供的一种数据融合方法的流程示意图。该数据融合方法应用于数据融合系统，数据融合系统包括云服务器和至少一个多源异构感知设备，每个多源异构感知设备包括微控制器(Micro Control Unit，MCU)、目标传感器和目标服务器。如图1所示，该数据融合方法可以包括以下步骤：
S101、利用MCU获取GNSS数据，基于GNSS数据对MCU内部的RTC和定时器执行时间校准操作，并向目标传感器发送同步采集信号；其中，GNSS数据包括UTC信号、PPS信号和多源异构感知设备的位置信息；同步采集信号包括同步触发信号、同步脉冲信号、UTC信号及PPS信号中的至少一种。
S102、利用目标传感器根据同步采集信号，执行数据同步采集操作，并向MCU和/或目标服务器发送所采集到的目标数据。
在一个实施例中，当目标传感器包括惯性测量单元IMU，目标数据包括IMU数据时，则利用目标传感器根据同步采集信号，执行数据同步采集操作，并向MCU和/或目标服务器发送所采集到的目标数据，包括：
利用IMU根据PPS信号执行数据同步采集操作，并向MCU发送IMU数据。
在一个实施例中，当目标传感器包括激光雷达，目标数据包括激光雷达数据时，则利用目标传感器根据同步采集信号，执行数据同步采集操作，并向MCU和/或目标服务器发送所采集到的目标数据，包括：
利用激光雷达根据UTC信号和PPS信号执行数据同步采集操作，并向目标服务器发送激光雷达数据。
在一个实施例中，当目标传感器包括摄像头，目标数据包括图像数据时，则利用目标传感器根据同步采集信号，执行数据同步采集操作，并向MCU和/或目标服务器发送所采集到的目标数据，包括：
利用摄像头根据同步触发信号执行数据同步采集操作，向目标服务器发送图像数据，并向MCU发送曝光时间信息。
在一个实施例中，在向MCU发送曝光时间信息之后，方法还包括：
利用MCU根据同步触发信号和曝光时间信息，确定摄像头的图像采集时间信息，并向目标服务器发送图像采集时间信息。
在一个实施例中，当目标传感器包括毫米波雷达，目标数据包括毫米波雷达数据时，则利用目标传感器根据同步采集信号，执行数据同步采集操作，并向MCU和/或目标服务器发送所采集到的目标数据，包括：
利用毫米波雷达根据同步触发信号执行数据同步采集操作，并向目标服务器发送毫米波雷达数据。
S103、利用目标服务器对目标数据执行时间对准操作得到感知结果，并向云服务器发送感知结果，以用于云服务器基于多个多源异构感知设备的感知结果执行数据融合操作；其中，目标服务器通过PTP与MCU时间同步。
在一个实施例中，在利用目标服务器对目标数据执行时间对准操作得到感知结果，并向云服务器发送感知结果之前，方法还包括：
利用MCU向目标服务器发送IMU数据。
该数据融合方法，利用MCU获取GNSS数据，基于GNSS数据对MCU内部的RTC和定时器执行时间校准操作，并向目标传感器发送同步采集信号；利用目标传感器根据同步采集信号，执行数据同步采集操作，并向MCU和/或目标服务器发送所采集到的目标数据；利用目标服务器对目标数据执行时间对准操作得到感知结果，并向云服务器发送感知结果，以用于云服务器基于多个多源异构感知设备的感知结果执行数据融合操作；其中，目标服务器通过PTP与MCU时间同步。如此，本发明实施例提供的数据融合方法，能够提高数据融合的精度。
下面以一个具体实施例对上述内容进行说明，具体如下：
如图2所示，多源异构设备之间数据同步处理系统包括：MCU、服务器、卫星导航系统(GNSS授时系统)、惯性测量(IMU)、摄像头、毫米波及激光雷达。GNSS同步授时系统用于解析卫星信号，将UTC时间、PPS信号和定位信息传输到MCU。MCU处理器主要完成两方面工作：1)解析GNSS数据完成授时、单位时间校准和定位信息的获取；2)对IMU、摄像头、激光雷达、毫米波雷达完成同步。通过MCU内部RTC时钟和定时器完成时间的校准和同步采集信号(包括同步触发和同步脉冲信号)的产生，实现多传感器数据的同步采集功能。服务器基于相关驱动、时间对齐及算法完成激光雷达、毫米波雷达和摄像头数据的采集与时间对准，同时与MCU之间通过PTP进行时间同步，也即实现与MCU之间时间同步信息和传感器信息的交互。
针对智能网联汽车领域存在的多源异构设备的时间硬件同步问题，本发明选用“MCU+服务器”的方式，对相关传感器进行同步授时与同步采集。相关传感器包括IMU、GNSS、摄像头、激光雷达和毫米波雷达等。其连接关系如图3所示：
在卫星导航系统向微控制器发送PPS信号和UTC信号后，微控制器向惯性测量单元发送PPS信号，接收惯性测量单元反馈的惯性测量单元数据(即IMU数据)；微控制器向摄像头发送触发信号，摄像头向微控制器反馈曝光时间，并向服务器发送图像数据；微控制器向激光雷达发送PPS信号和UTC信号后，激光雷达向服务器发送激光雷达数据；微控制器向毫米波雷达发送触发信号后，毫米波雷达向服务器反馈毫米波雷达数据；微控制器向服务器发送IMU数据、图像采集时间和毫米波采集时间，并实现与服务器时间同步。
基于上述对图3的描述，下面对涉及到的各个硬件进行说明，具体如下：
1、同步采集板：同步采集板设计如图4所示，选用了ST公司的STM32系列处理器，完成同步授时和同步触发处理。采集板承载了一个IMU芯片，应用串行外设接口(SerialPeripheral Interface，SPI)协议完成和STM32的通信。对外接口包括与GNSS通信的串口，与激光雷达(Lidar)通信的串口，与服务器通信的网口，触发摄像头采集和捕获曝光时间的接口1，触发毫米波雷达采集的接口2。图4中微控制器与相关传感器、服务器的信息交互过程和图3所示的信息交互过程相同，在此不再赘述。
2、服务器：选用了X86架构的工控机平台，应用以太网接口实现与同步采集板、摄像头、毫米波雷达通信。内部完成与同步采集板的PTP系统时间校准、传感器数据的时间对准。
3、GNSS接收机：本发明采用我国自主研发、拥有自主知识产权的北斗卫星导航系统作为标准时间信息来源，具有独立自主、开放兼容、技术先进、稳定可靠等特点。目前北斗授时模块的PPS精度能达到10ns。GNSS与MCU的通信选用了RS232接口，通信波特率为115200。
4、IMU：本发明的IMU模块选用了ADIS16475模块，内部集成了3轴陀螺仪和3轴加速度计，同时内部做了温度补偿。通信接口选用SPI接口，MCU通过SYNC引脚向IMU实时发送PPS同步信号。IMU接收到PPS信号后，以200HZ向MCU发送数据包。数据包中带有每组数据采集时的精准时间戳。MCU接收到IMU数据后，将时间和MCU主时间对齐，将数据和时间戳通过串口发送给服务器。
5、摄像头：选用带有同步触发和曝光时间采集的工业机器视觉摄像头ProsilicaGT系列设备。MCU通过向摄像头发送固定频率的触发(Trigger)信号。摄像头接收到触发信号，进行拍摄并曝光。曝光后，将曝光时间发送给MCU，同时，将图像数据发送到服务器。MCU采集到曝光信号后，结合触发时间估算出摄像头实际采集图像时间，将时间发送给服务器。在服务器端将时间戳和当前帧的图像信息进行匹配。
6、激光雷达：选用了国产速腾聚创16线激光雷达，激光雷达通过接收GNSS的NMEA(National Marine Electronics Association，其为海用电子设备制定的标准格式)协议数据和PPS信号进行同步。本方案考虑到GNSS信号不稳定性。通过MCU给激光发送推荐定位信息(GPRMC)和PPS信号。当GNSS无信号后，MCU根据获取的主轴时间，模拟PPS脉冲和GPRMC信号发送给激光雷达，保证激光时间同步的稳定性。
7、毫米波雷达：毫米波雷达选用触发方式，通过MCU给毫米波雷达发送Trigger信号，服务器接收到雷达数据后，记录数据采集时间。通过触发时间和服务器采集时间解算出毫米波雷达获取障碍物信息时的具体时间。
系统硬件结构搭建完成后，需对系统进行相应的方法设计。主要包括两方面内容：同步授时设计和同步采集设计。
1、同步授时方式：MCU通过组数据传送方式(Direct Memory Access，DMA)采集NMEA协议帧数据，通过定时器捕获方式采集PPS信号。在第一次采集到PPS信号后，用同步采集到的UTC时间初始化MCU内部RTC模块。同时初始化32位定时器开始进行微秒(us)计时，计时周期为1s。也即，主时间的秒单位之上的时间由RTC提供，1s内的时间由定时器获得，最终可获得us级别精度的主时间。为了提高主时间的精度，RTC时间和定时器都通过PPS信息进行实时时间校准。流程如图5所示：
先启动MCU内部RTC，配置串口等待接收GNSS有效信号，捕获到PPS信号进入中断，将采集的UTC时间初始化RTC，并配置32位定时器2实现us计时，重载值为100000，然后判断两次定时器计时差值是否大于100，若两次定时器计时差值大于100，则修正定时器2的重载值，并输出主时间；若两次定时器计时差值不大于100，则直接输出主时间。
2、同步采集方式：同步采集根据传感器特性分为同步触发和同步脉冲两种方式。
1)同步触发：通过MCU输出触发信号，传感器接收到触发信号开始采集，同时将采集数据传输给MCU或者服务器。由MCU内部定时器实时记录每帧数据的采集时间，如摄像头和毫米波雷达。触发流程如图6所示：
初始化定时器5和定时器6周期为20ms，并配置定时器等待接收GNSS的PPS信号；捕获到PPS信号进入中断，先后相差100us启动定时器5和定时器6；在定时器5的中断中将Trigger的IO口置高，在定时器6的中断中将Trigger的IO口置低；等待采集曝光(Exposure)信号，将触发时间和曝光时间发送给服务器。
2)同步脉冲：由MCU实时输出帧同步信号，传感器内部进行时间同步。同时将带有时间的数据传输给MCU或者服务器，如IMU和激光雷达传感器。MCU处理流程如图7所示：
启动定时器5进行us计时，配置定时器捕获模式，等待接收GNSS有效信号；当定时器捕获到PPS信号后进入中断记录定时器5计时值，判断两次定时器计时差值是否大于100，若两次定时器计时差值大于100，则对同步定时器2、9和13进行校准，定时器脉冲宽度调制(Pulse width Modulation，PWM)模式输出给IMU同步PPS信号，并再次配置定时器捕获模式，等待接收GNSS有效信号；若两次定时器计时差值不大于100，则再次配置定时器捕获模式，等待接收GNSS有效信号。
由上可知，本发明实施例能够有效解决多源异构设备之间的时间校准，包括系统内的车载感知设备之间、路侧感知设备之间的时间校准，以及系统间的车路之间、路侧之间多源异构设备时间校准等问题，有效解决多个传感器同步采集问题，从而可以有效提高传感器融合的精度，进而提高数据融合的精度。
本发明实施例还提供一种数据融合系统，数据融合系统执行图1所示的数据融合方法，数据融合系统包括云服务器和至少一个多源异构感知设备，每个多源异构感知设备包括：
微控制器MCU，用于获取GNSS数据，基于GNSS数据对MCU内部的RTC和定时器执行时间校准操作，并向目标传感器发送同步采集信号；其中，GNSS数据包括UTC信号、PPS信号和多源异构感知设备的位置信息；同步采集信号包括同步触发信号、同步脉冲信号、UTC信号及PPS信号中的至少一种；
目标传感器，用于根据同步采集信号，执行数据同步采集操作，并向MCU和/或目标服务器发送所采集到的目标数据；
目标服务器，用于对目标数据执行时间对准操作得到感知结果，并向云服务器发送感知结果，以用于云服务器基于多个多源异构感知设备的感知结果执行数据融合操作；其中，目标服务器通过PTP与MCU时间同步。
可选的，在一个实施例中，当目标传感器包括IMU，目标数据包括IMU数据时，则目标传感器，用于根据同步采集信号，执行数据同步采集操作，并向MCU和/或目标服务器发送所采集到的目标数据，包括：
IMU，用于根据PPS信号执行数据同步采集操作，并向MCU发送IMU数据。
可选的，在一个实施例中，在利用目标服务器对目标数据执行时间对准操作得到感知结果，并向云服务器发送感知结果之前，MCU还用于向目标服务器发送IMU数据。
可选的，在一个实施例中，目标传感器包括激光雷达用于根据UTC信号和PPS信号执行数据同步采集操作，并向目标服务器发送激光雷达数据。
可选的，在一个实施例中，目标传感器包括摄像头用于根据同步触发信号执行数据同步采集操作，向目标服务器发送图像数据，并向MCU发送曝光时间信息。
可选的，在一个实施例中，MCU还用于根据同步触发信号和曝光时间信息，确定摄像头的图像采集时间信息，并向目标服务器发送图像采集时间信息。
可选的，在一个实施例中，目标传感器包括毫米波雷达用于根据同步触发信号执行数据同步采集操作，并向目标服务器发送毫米波雷达数据。
该数据融合系统中的各个模块/单元具有实现图1中各个步骤的功能，并能达到其相应的技术效果，为简洁描述，在此不再赘述。
另外，本发明实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现图1所示的数据融合方法。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RadioFrequency，RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种数据融合方法，其特征在于，应用于数据融合系统，所述数据融合系统包括云服务器和至少一个多源异构感知设备，每个所述多源异构感知设备包括微控制器MCU、目标传感器和目标服务器，所述方法包括：
利用所述MCU获取全球导航卫星系统GNSS数据，基于所述GNSS数据对所述MCU内部的实时时钟RTC和定时器执行时间校准操作，并向所述目标传感器发送同步采集信号；其中，所述GNSS数据包括协调世界时UTC信号、每秒脉冲数PPS信号和所述多源异构感知设备的位置信息；所述同步采集信号包括同步触发信号、同步脉冲信号、所述UTC信号及所述PPS信号中的至少一种；
利用所述目标传感器根据所述同步采集信号，执行数据同步采集操作，并向所述MCU和/或所述目标服务器发送所采集到的目标数据；
利用所述目标服务器对所述目标数据执行时间对准操作得到感知结果，并向所述云服务器发送所述感知结果，以用于所述云服务器基于多个所述多源异构感知设备的所述感知结果执行数据融合操作；其中，所述目标服务器通过精确时间协议PTP与所述MCU时间同步。
2.根据权利要求1所述的数据融合方法，其特征在于，当所述目标传感器包括惯性测量单元IMU，所述目标数据包括IMU数据时，则所述利用所述目标传感器根据所述同步采集信号，执行数据同步采集操作，并向所述MCU和/或所述目标服务器发送所采集到的目标数据，包括：
利用所述IMU根据所述PPS信号执行所述数据同步采集操作，并向所述MCU发送所述IMU数据。
3.根据权利要求2所述的数据融合方法，其特征在于，在所述利用所述目标服务器对所述目标数据执行时间对准操作得到感知结果，并向所述云服务器发送所述感知结果之前，所述方法还包括：
利用所述MCU向所述目标服务器发送所述IMU数据。
4.根据权利要求1所述的数据融合方法，其特征在于，当所述目标传感器包括激光雷达，所述目标数据包括激光雷达数据时，则所述利用所述目标传感器根据所述同步采集信号，执行数据同步采集操作，并向所述MCU和/或所述目标服务器发送所采集到的目标数据，包括：
利用所述激光雷达根据所述UTC信号和所述PPS信号执行所述数据同步采集操作，并向所述目标服务器发送所述激光雷达数据。
5.根据权利要求1所述的数据融合方法，其特征在于，当所述目标传感器包括摄像头，所述目标数据包括图像数据时，则所述利用所述目标传感器根据所述同步采集信号，执行数据同步采集操作，并向所述MCU和/或所述目标服务器发送所采集到的目标数据，包括：
利用所述摄像头根据所述同步触发信号执行所述数据同步采集操作，向所述目标服务器发送所述图像数据，并向所述MCU发送曝光时间信息。
6.根据权利要求5所述的数据融合方法，其特征在于，在向所述MCU发送曝光时间信息之后，所述方法还包括：
利用所述MCU根据所述同步触发信号和所述曝光时间信息，确定所述摄像头的图像采集时间信息，并向所述目标服务器发送所述图像采集时间信息。
7.根据权利要求1所述的数据融合方法，其特征在于，当所述目标传感器包括毫米波雷达，所述目标数据包括毫米波雷达数据时，则所述利用所述目标传感器根据所述同步采集信号，执行数据同步采集操作，并向所述MCU和/或所述目标服务器发送所采集到的目标数据，包括：
利用所述毫米波雷达根据所述同步触发信号执行所述数据同步采集操作，并向所述目标服务器发送所述毫米波雷达数据。
8.一种数据融合系统，其特征在于，所述数据融合系统执行如权利要求1至7任一项所述的数据融合方法，所述数据融合系统包括云服务器和至少一个多源异构感知设备，每个所述多源异构感知设备包括：
微控制器MCU，用于获取全球导航卫星系统GNSS数据，基于所述GNSS数据对所述MCU内部的实时时钟RTC和定时器执行时间校准操作，并向目标传感器发送同步采集信号；其中，所述GNSS数据包括协调世界时UTC信号、每秒脉冲数PPS信号和所述多源异构感知设备的位置信息；所述同步采集信号包括同步触发信号、同步脉冲信号、所述UTC信号及所述PPS信号中的至少一种；
所述目标传感器，用于根据所述同步采集信号，执行数据同步采集操作，并向所述MCU和/或目标服务器发送所采集到的目标数据；
所述目标服务器，用于对所述目标数据执行时间对准操作得到感知结果，并向所述云服务器发送所述感知结果，以用于所述云服务器基于多个所述多源异构感知设备的所述感知结果执行数据融合操作；其中，所述目标服务器通过精确时间协议PTP与所述MCU时间同步。
9.根据权利要求8所述的数据融合系统，其特征在于，当所述目标传感器包括惯性测量单元IMU，所述目标数据包括IMU数据时，则所述目标传感器，用于根据所述同步采集信号，执行数据同步采集操作，并向所述MCU和/或目标服务器发送所采集到的目标数据，包括：
所述IMU，用于根据所述PPS信号执行所述数据同步采集操作，并向所述MCU发送所述IMU数据。
10.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1至7任一项所述的数据融合方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010589432.6A CN111860604B (zh) | 2020-06-24 | 2020-06-24 | 数据融合方法、系统及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010589432.6A CN111860604B (zh) | 2020-06-24 | 2020-06-24 | 数据融合方法、系统及计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111860604A true CN111860604A (zh) | 2020-10-30 |
| CN111860604B CN111860604B (zh) | 2024-02-02 |
Family
ID=72989780
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010589432.6A Active CN111860604B (zh) | 2020-06-24 | 2020-06-24 | 数据融合方法、系统及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111860604B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112733907A (zh) * | 2020-12-31 | 2021-04-30 | 上海商汤临港智能科技有限公司 | 数据融合方法、装置、电子设备以及存储介质 |
| CN112769516A (zh) * | 2020-12-24 | 2021-05-07 | 深兰人工智能(深圳)有限公司 | 数据同步采集方法、装置、电子设备及存储介质 |
| CN113671483A (zh) * | 2021-08-19 | 2021-11-19 | 上海无线电设备研究所 | 一种基于秒脉冲的星载复合数据融合方法 |
| CN114285517A (zh) * | 2021-12-27 | 2022-04-05 | 深圳朗道智通科技有限公司 | 一种多传感器时间同步方法以及设备 |
| CN114545762A (zh) * | 2022-02-18 | 2022-05-27 | 广州导远电子科技有限公司 | 一种基于惯性测量单元的时间数据同步方法及系统 |
| CN114964175A (zh) * | 2022-03-30 | 2022-08-30 | 华南理工大学 | 多传感器数据同步采集装置及采集方法 |
| CN116068585A (zh) * | 2023-03-08 | 2023-05-05 | 深圳市掌锐电子有限公司 | 基于信号闭环的高清地图采集数据时间同步方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105281859A (zh) * | 2014-07-01 | 2016-01-27 | 福建吉星智能科技股份有限公司 | 一种基于gps的精确授时方法 |
| CN110018470A (zh) * | 2019-03-01 | 2019-07-16 | 北京纵目安驰智能科技有限公司 | 基于多传感器前融合的实例标注方法、模型、终端和存储介质 |
| CN110567453A (zh) * | 2019-08-21 | 2019-12-13 | 北京理工大学 | 仿生眼多通道imu与相机硬件时间同步方法和装置 |
| CN110873879A (zh) * | 2018-08-30 | 2020-03-10 | 沈阳航空航天大学 | 一种多源异构传感器特征深度融合的装置及方法 |
| CN111221932A (zh) * | 2019-12-31 | 2020-06-02 | 武汉市珞珈俊德地信科技有限公司 | 城市地表监测海量多源数据融合可视化方法 |
-
2020
- 2020-06-24 CN CN202010589432.6A patent/CN111860604B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105281859A (zh) * | 2014-07-01 | 2016-01-27 | 福建吉星智能科技股份有限公司 | 一种基于gps的精确授时方法 |
| CN110873879A (zh) * | 2018-08-30 | 2020-03-10 | 沈阳航空航天大学 | 一种多源异构传感器特征深度融合的装置及方法 |
| CN110018470A (zh) * | 2019-03-01 | 2019-07-16 | 北京纵目安驰智能科技有限公司 | 基于多传感器前融合的实例标注方法、模型、终端和存储介质 |
| CN110567453A (zh) * | 2019-08-21 | 2019-12-13 | 北京理工大学 | 仿生眼多通道imu与相机硬件时间同步方法和装置 |
| CN111221932A (zh) * | 2019-12-31 | 2020-06-02 | 武汉市珞珈俊德地信科技有限公司 | 城市地表监测海量多源数据融合可视化方法 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112769516A (zh) * | 2020-12-24 | 2021-05-07 | 深兰人工智能(深圳)有限公司 | 数据同步采集方法、装置、电子设备及存储介质 |
| CN112733907A (zh) * | 2020-12-31 | 2021-04-30 | 上海商汤临港智能科技有限公司 | 数据融合方法、装置、电子设备以及存储介质 |
| CN113671483A (zh) * | 2021-08-19 | 2021-11-19 | 上海无线电设备研究所 | 一种基于秒脉冲的星载复合数据融合方法 |
| CN113671483B (zh) * | 2021-08-19 | 2024-02-20 | 上海无线电设备研究所 | 一种基于秒脉冲的星载复合数据融合方法 |
| CN114285517A (zh) * | 2021-12-27 | 2022-04-05 | 深圳朗道智通科技有限公司 | 一种多传感器时间同步方法以及设备 |
| CN114545762A (zh) * | 2022-02-18 | 2022-05-27 | 广州导远电子科技有限公司 | 一种基于惯性测量单元的时间数据同步方法及系统 |
| CN114964175A (zh) * | 2022-03-30 | 2022-08-30 | 华南理工大学 | 多传感器数据同步采集装置及采集方法 |
| CN116068585A (zh) * | 2023-03-08 | 2023-05-05 | 深圳市掌锐电子有限公司 | 基于信号闭环的高清地图采集数据时间同步方法及系统 |
| CN116068585B (zh) * | 2023-03-08 | 2023-06-09 | 深圳市掌锐电子有限公司 | 基于信号闭环的高清地图采集数据时间同步方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111860604B (zh) | 2024-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111860604B (zh) | 数据融合方法、系统及计算机存储介质 | |
| CN112672415B (zh) | 多传感器时间同步方法、装置、系统、电子设备及介质 | |
| CN111381487B (zh) | 多传感器同步授时系统、方法、装置及电子设备 | |
| CN110329273B (zh) | 一种用于无人驾驶获取数据同步的方法及装置 | |
| CN110620632B (zh) | 一种时间同步方法及装置 | |
| CN111474532B (zh) | 车载移动激光雷达测量系统时间同步方法及装置 | |
| CN110133999B (zh) | 一种基于星云激光点云数采平台的时间同步方法及系统 | |
| CN109905194A (zh) | 一种车载终端系统和同步数据获取方法、装置 | |
| WO2021031604A1 (zh) | 仿生眼多通道imu与相机硬件时间同步方法和装置 | |
| EP3613648B1 (en) | A time source recovery system for an autonomous driving vehicle | |
| CN111065043B (zh) | 一种基于车路通信的隧道内车辆融合定位系统及方法 | |
| CN111007554A (zh) | 数据采集时间同步系统和方法 | |
| CN108282242B (zh) | 时空同步装置及系统、地图采集车及地图智能生产系统 | |
| CN114964175B (zh) | 多传感器数据同步采集装置及采集方法 | |
| CN112865902B (zh) | 数据采集和时间同步方法、装置、电子设备及存储介质 | |
| CN114025055A (zh) | 一种数据处理的方法、装置、系统、设备及存储介质 | |
| CN115242344A (zh) | 时间同步装置和方法、无人车、路侧单元、车联网系统 | |
| CN111193568A (zh) | 时间同步方法、装置、系统、存储介质及车辆 | |
| CN112995524A (zh) | 高精采集车及其照片曝光信息生成系统、方法和同步装置 | |
| CN114006672B (zh) | 一种车载多传感器数据同步采集方法及系统 | |
| CN110892671A (zh) | 一种飞行器、数据处理系统及针对飞行器的数据处理方法 | |
| CN116828281A (zh) | 车载摄像头系统数据处理方法、装置、设备及介质 | |
| CN113985431A (zh) | 一种数据采集方法、系统、装置、电子设备及存储介质 | |
| JPH11144199A (ja) | 車両用同期制御装置及びその記録装置並びにそのシステム | |
| CN111795702A (zh) | 惯性测量信息与星光测量信息数据同步方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |