CN113887557A - 一种多传感器数据融合的方法、系统、设备和存储介质 - Google Patents
一种多传感器数据融合的方法、系统、设备和存储介质 Download PDFInfo
- Publication number
- CN113887557A CN113887557A CN202110999243.0A CN202110999243A CN113887557A CN 113887557 A CN113887557 A CN 113887557A CN 202110999243 A CN202110999243 A CN 202110999243A CN 113887557 A CN113887557 A CN 113887557A
- Authority
- CN
- China
- Prior art keywords
- data
- sensor
- time
- sampling period
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000005070 sampling Methods 0.000 claims abstract description 55
- 230000007613 environmental effect Effects 0.000 claims abstract description 23
- 238000007499 fusion processing Methods 0.000 claims abstract description 15
- 230000004044 response Effects 0.000 claims abstract description 7
- 238000004891 communication Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 12
- 230000008447 perception Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 238000007500 overflow downdraw method Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Arrangements For Transmission Of Measured Signals (AREA)
Abstract
本发明提供一种多传感器数据融合的方法、系统、设备和存储介质，方法包括：使用第一类型的传感器根据预设采样周期采集第一数据；在每个预设采样周期中获取当前状态的环境因子并根据所述环境因子确定延时时间，并根据所述延时时间和所述预设采样周期确定发送触发信号的时刻；响应于在所述时刻发送所述触发信号，经过所述延时时间使用第二类型的传感器采集第二数据；将所述第一数据和所述第二数据进行融合处理。本发明根据环境因子确定延时时间，并基于延时时间确定发送触发信号的时刻，从而保证多个传感器时间同步，减少了对数据有效性的判断，提高了数据融合的速度。
Description
技术领域
本领域涉及自动驾驶领域，更具体地，特别是指一种多传感器数据融合的方法、系统、设备和存储介质。
背景技术
在自动驾驶和机器人领域，其感知域的多传感器数据融合已经成为一种趋势，这主要有两方面的原因：一方面是在感知域中所应用的传感器具有各自的优势和劣势，需要在对外界环境感知的过程中进行互补。例如：2D摄像头缺乏环境深度信息，激光雷达(3D-Lidar)缺乏环境的颜色信息，识别物体的纹理稀疏等缺陷；另一方面是感知融合算法的快速发展，推动了应用多种传感器融合对自动驾驶车辆或机器人对外接环境进行识别。知名的有关2D相机和3D-Lidar的融合算法有AVOD、MV3D、MMF、F-PointNet、ContFuse等。
多传感器的数据融合与多传感器时钟同步需求是绑定的。由于各传感器的物理实现、采样频率、数据量、通信机制等差异，未经处理的数据上传至核心计算单元后是未进行时间对齐的。对计算单元而言，它需要各传感器回传带有时间戳(timestamps)的数据，同时这些时间戳可以在同一时间基准(例如UTC时间)下对齐。
宏观地划分多传感器时钟同步方法，主要有硬件方法和软件方法。
硬件方法核心是基于触发信号，即计算单元向目标传感器发出触发信号(同时该信号也常作为回传数据的时间戳)。目前认为硬件方法是比较有效的时间同步方法，但仍然存在缺陷，一方面传感器硬件需要开发定制，开发周期和成本较高。另一方面，硬件触发传感器后，数据的回传仍有差异，例如面向不同应用场景摄像头，其曝光策略具有差异。典型的隧道口明暗差异大场景，需要摄像头的CMOS传感器采用高动态(HDR)曝光策略(多次曝光，数据叠加)，特别是经过图像处理器(ISP)处理后的数据，再回传计算单元的时间是有差异的。
软件方法主要是对多种传感器采样数据的时间偏置(offset)进行估计和优化，这些方法多假设传感器具有固定的时间偏置和传输延迟。软件数据对齐的方法如图1所示。软件对多传感器数据进行时钟方法策略是对长周期采样传感器进行数据处理时，选择时间较近的另一种传感器的数据，并通过算法判断选择数据的有效性。如图1中计算单元以激光雷达数据周期进行事件处理，同时判断摄像头数据A、B的有效性并与激光雷达数据进行融合。需要注意的是，两种传感器的采样周期是固定的，但是A、B图像与激光雷达数据的时间间隔δa、δb并不一致，而是随机的。特别是面向不同环境的自适应传感器应用，其数据回传的时间偏置也不是固定的。另外，对于自动驾驶和机器人这种实时性要求高的场景，计算单元在有限的时间片CC(t)中需要对融合数据的有效性进行判断，再进行数据融合，并进行决策控制等工作，对计算单元的处理能力和算法效率都有较高要求。
以太网为代表的通信传输中包括几种典型的时钟同步协议，其中有NTP协议，IEEE1588协议和TICSync，这些方法都是通过双向包的传输，将传输延迟记录于数据中，这需要通信的两端节点支持该功能，例如依靠以太网数据传输的激光雷达，目前大多支持IEEE1588协议，实现时间同步。但是大多车载、机器人传感器不能够支持基于双向传输实现同步的协议，例如摄像头、毫米波雷达、惯性导航(IMU)、超声波雷达等都不能支持上述时间同步协议。单向的硬件触发仍是传感器应用的主流方案。
综上所述，目前多传感器数据融合面临如下问题：
(1)传感器的时间戳信号(触发信号)大多是单向的，即主机触发传感器→回传数据；
(2)硬件触发传感器并回传至计算单元的时间需要校准，并可能因应用场景存在差异；
(3)实时数据流处理的时间片有限，复杂的数据有效性判断会占用宝贵的处理时间；
(4)感知和决策的中心计算机程序处理时间不一，由中心计算机触发和控制末端传感器是时间同步问题变得更加复杂。
发明内容
有鉴于此，本发明实施例的目的在于提出一种多传感器数据融合的方法、系统、计算机设备及计算机可读存储介质，本发明根据环境因子确定延时时间，并基于延时时间确定发送触发信号的时刻，也即是对传感器进行面向应用场景的校准，对多传感器组合的融合应用函数封装成应用块，提出针对外界环境自适应选择融合应用函数块，绑定融合应用软件与异构计算单元硬件成为感知单元块，以感知单元块为子系统同中心计算机进行通信、获取系统时间，将感知单元的时间同步问题和中心计算机系统分离。
基于上述目的，本发明实施例的一方面提供了一种多传感器数据融合的方法，包括如下步骤：使用第一类型的传感器根据预设采样周期采集第一数据；在每个预设采样周期中获取当前状态的环境因子并根据所述环境因子确定延时时间，并根据所述延时时间和所述预设采样周期确定发送触发信号的时刻；响应于在所述时刻发送所述触发信号，经过所述延时时间使用第二类型的传感器采集第二数据；以及将所述第一数据和所述第二数据进行融合处理。
在一些实施方式中，所述使用第一类型的传感器根据预设采样周期采集第一数据包括：将所述第一类型的传感器与控制单元进行时钟同步，以使得每个所述预设采样周期中获取所述第一数据的结束时刻为所述预设采样周期中所述第一类型的传感器的时间戳。
在一些实施方式中，所述根据所述延时时间和所述预设采样周期确定发送触发信号的时刻包括：将所述第二类型的传感器采集所述第二数据的中心时刻与所述第一类型的传感器的时间戳对齐。
在一些实施方式中，方法还包括：将所述第一数据和所述第二数据融合处理的过程封装成事件，并通过双向通信加时间戳的方式或单向触发调用的方式与中心计算机控制事件进行时间同步。
本发明实施例的另一方面，提供了一种多传感器数据融合的系统，包括：第一采集模块，配置用于使用第一类型的传感器根据预设采样周期采集第一数据；调整模块，配置用于在每个预设采样周期中获取当前状态的环境因子并根据所述环境因子确定延时时间，并根据所述延时时间和所述预设采样周期确定发送触发信号的时刻；第二采集模块，配置用于响应于在所述时刻发送所述触发信号，经过所述延时时间使用第二类型的传感器采集第二数据；以及执行模块，配置用于将所述第一数据和所述第二数据进行融合处理。
在一些实施方式中，所述第一采集模块配置用于：将所述第一类型的传感器与控制单元进行时钟同步，以使得每个所述预设采样周期中获取所述第一数据的结束时刻为所述预设采样周期中所述第一类型的传感器的时间戳。
在一些实施方式中，所述调整模块配置用于：将所述第二类型的传感器采集所述第二数据的中心时刻与所述第一类型的传感器的时间戳对齐。
在一些实施方式中，系统还包括同步模块，配置用于：将所述第一数据和所述第二数据融合处理的过程封装成事件，并通过双向通信加时间戳的方式或单向触发调用的方式与中心计算机控制事件进行时间同步。
本发明实施例的又一方面，还提供了一种计算机设备，包括：至少一个处理器；以及存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现如上方法的步骤。
本发明实施例的再一方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有被处理器执行时实现如上方法步骤的计算机程序。
本发明具有以下有益技术效果：根据环境因子确定延时时间，并基于延时时间确定发送触发信号的时刻，也即是对传感器进行面向应用场景的校准，对多传感器组合的融合应用函数封装成应用块，提出针对外界环境自适应选择融合应用函数块，绑定融合应用软件与异构计算单元硬件成为感知单元块，以感知单元块为子系统同中心计算机进行通信、获取系统时间，将感知单元的时间同步问题和中心计算机系统分离。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为多传感器融合的软件处理方法的示意图；
图2为本发明提供的多传感器数据融合的方法的实施例的示意图；
图3为本发明提供的多传感器数据融合的原理示意图；
图4为多传感器数据融合事件与中心计算机控制事件同步示意图；
图5为本发明提供的多传感器数据融合的系统的实施例的示意图；
图6为本发明提供的多传感器数据融合的计算机设备的实施例的硬件结构示意图；
图7为本发明提供的多传感器数据融合的计算机存储介质的实施例的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
本发明实施例的第一个方面，提出了一种多传感器数据融合的方法的实施例。图2示出的是本发明提供的多传感器数据融合的方法的实施例的示意图。如图2所示，本发明实施例包括如下步骤：
S1、使用第一类型的传感器根据预设采样周期采集第一数据；
S2、在每个预设采样周期中获取当前状态的环境因子并根据所述环境因子确定延时时间，并根据所述延时时间和所述预设采样周期确定发送触发信号的时刻；
S3、响应于在所述时刻发送所述触发信号，经过所述延时时间使用第二类型的传感器采集第二数据；以及
S4、将所述第一数据和所述第二数据进行融合处理。
鉴于硬件触发传感器后，回传数据的时间差异性，硬件触发后有效回传至计算单元的时间需要校准，而在多种传感器融合应用中，校准的方法应该是面向应用场景的。传感器携带时间戳的方式存在差异，因此也需要进行校准。
使用第一类型的传感器根据预设采样周期采集第一数据。
在一些实施方式中，所述使用第一类型的传感器根据预设采样周期采集第一数据包括：将所述第一类型的传感器与控制单元进行时钟同步，以使得每个所述预设采样周期中获取所述第一数据的结束时刻为所述预设采样周期中所述第一类型的传感器的时间戳。
图3为本发明提供的多传感器数据融合的原理示意图。传感器A是同控制单元进行时钟同步后，传输的数据即携带时间信息，例如无人驾驶应用的激光雷达即是一种A类型的传感器。传感器B是硬件单向触发的，计算单元发出触发动作后，经过延时时间ttrigger_delay后，计算单元开始获得数据，例如无人驾驶应用的摄像头即是一种B类型的传感器。需要注意的是对于B传感器，触发包含一个硬件引脚状态或一组报文，需要根据传感器实际应用计算延迟时间。
在每个预设采样周期中获取当前状态的环境因子并根据所述环境因子确定延时时间，并根据所述延时时间和所述预设采样周期确定发送触发信号的时刻。面向不同的应用场景，B传感器的ttrigger_delay可能是有差异的，因此，需要根据环境因子确定延时时间，并根据延时时间和预设采样周期确定发送触发信号的时刻。针对不同的应用场景，计算单元融合事件也存在差异，即不同的CC(t)事件，校准数据与上述事件紧密绑定。
在一些实施方式中，所述根据所述延时时间和所述预设采样周期确定发送触发信号的时刻包括：将所述第二类型的传感器采集所述第二数据的中心时刻与所述第一类型的传感器的时间戳对齐。将B传感器的数据与A传感器数据融合进行优化，例如将B数据的中心与A传感器的时间戳对齐。这些校准需要在感知事件CC(t1)校准。
响应于在所述时刻发送所述触发信号，经过所述延时时间使用第二类型的传感器采集第二数据。将所述第一数据和所述第二数据进行融合处理。
基于应用场景和计算单元融合事件，将传感器数据的采集和融合处理封装成函数，在该函数中传感器数据融合的时序关系是经过校准和优化的。
相同的传感器组合在面向不同的应用场景，其融合事件函数是不同的。例如激光雷达和环视相机的组合中，环视相机的线性应用是一种校准数据及其融合函数，高动态曝光是一种校准数据及其融合函数；车辆高速行驶状态下的激光雷达是需要进行点云修正的，与低速行驶区分开来也是不同融合函数。
感知环境差异形成感知环境因子，例如通过摄像头感受外接环境的亮度决定目前是采用高动态曝光策略或者线性采样策略。通过车载惯性单元(IMU)的数据判断车辆行驶速度，决定车辆的行驶状态并对激光点云进行修正。
根据上述传感器感知环境的因子，动态切换计算单元融合事件函数，将传感器感知环境的因子与函数匹配，实现面向应用场景的感知数据融合优化。
上述感知融合函数是与异构计算硬件单元紧密绑定的，经过时间校准的函数是软硬件一体化的单元，感知数据融合的流程不能被其他程序打断。异构计算单元中采用GPU或FPGA是两种典型的实现方式。采用GPU进行感知融合数据处理，则需要将融合事件封装成一个进程。采用FPGA作为硬件载体，可以通过状态机实现该感知融合事件。
在一些实施方式中，方法还包括：将所述第一数据和所述第二数据融合处理的过程封装成事件，并通过双向通信加时间戳的方式或单向触发调用的方式与中心计算机控制事件进行时间同步。图4为多传感器数据融合事件与中心计算机控制事件同步示意图。将传感器数据的感知和融合流程封装成事件，如图3和图4中的CC(t)，在该事件中，感知域传感器的时序关系被校准和控制。中心计算机控制流程以事件方式调用感知数据融合事件。时间同步的方式可以采用双向通信加时间戳的方式，例如IEEE1588协议。也可以采用单向触发调用的方式，调用该事件或作为触发时间入口。
本发明实施例根据环境因子确定延时时间，并基于延时时间确定发送触发信号的时刻，也即是对传感器进行面向应用场景的校准，对多传感器组合的融合应用函数封装成应用块，提出针对外界环境自适应选择融合应用函数块，绑定融合应用软件与异构计算单元硬件成为感知单元块，以感知单元块为子系统同中心计算机进行通信、获取系统时间，将感知单元的时间同步问题和中心计算机系统分离。
需要特别指出的是，上述多传感器数据融合的方法的各个实施例中的各个步骤均可以相互交叉、替换、增加、删减，因此，这些合理的排列组合变换之于多传感器数据融合的方法也应当属于本发明的保护范围，并且不应将本发明的保护范围局限在实施例之上。
基于上述目的，本发明实施例的第二个方面，提出了一种多传感器数据融合的系统。如图5所示，系统200包括如下模块：第一采集模块，配置用于使用第一类型的传感器根据预设采样周期采集第一数据；调整模块，配置用于在每个预设采样周期中获取当前状态的环境因子并根据所述环境因子确定延时时间，并根据所述延时时间和所述预设采样周期确定发送触发信号的时刻；第二采集模块，配置用于响应于在所述时刻发送所述触发信号，经过所述延时时间使用第二类型的传感器采集第二数据；以及执行模块，配置用于将所述第一数据和所述第二数据进行融合处理。
在一些实施方式中，所述第一采集模块配置用于：将所述第一类型的传感器与控制单元进行时钟同步，以使得每个所述预设采样周期中获取所述第一数据的结束时刻为所述预设采样周期中所述第一类型的传感器的时间戳。
在一些实施方式中，所述调整模块配置用于：将所述第二类型的传感器采集所述第二数据的中心时刻与所述第一类型的传感器的时间戳对齐。
在一些实施方式中，系统还包括同步模块，配置用于：将所述第一数据和所述第二数据融合处理的过程封装成事件，并通过双向通信加时间戳的方式或单向触发调用的方式与中心计算机控制事件进行时间同步。
基于上述目的，本发明实施例的第三个方面，提出了一种计算机设备，包括：至少一个处理器；以及存储器，存储器存储有可在处理器上运行的计算机指令，指令由处理器执行以实现如下步骤：S1、使用第一类型的传感器根据预设采样周期采集第一数据；S2、在每个预设采样周期中获取当前状态的环境因子并根据所述环境因子确定延时时间，并根据所述延时时间和所述预设采样周期确定发送触发信号的时刻；S3、响应于在所述时刻发送所述触发信号，经过所述延时时间使用第二类型的传感器采集第二数据；以及S4、将所述第一数据和所述第二数据进行融合处理。
在一些实施方式中，所述使用第一类型的传感器根据预设采样周期采集第一数据包括：将所述第一类型的传感器与控制单元进行时钟同步，以使得每个所述预设采样周期中获取所述第一数据的结束时刻为所述预设采样周期中所述第一类型的传感器的时间戳。
在一些实施方式中，所述根据所述延时时间和所述预设采样周期确定发送触发信号的时刻包括：将所述第二类型的传感器采集所述第二数据的中心时刻与所述第一类型的传感器的时间戳对齐。
在一些实施方式中，步骤还包括：将所述第一数据和所述第二数据融合处理的过程封装成事件，并通过双向通信加时间戳的方式或单向触发调用的方式与中心计算机控制事件进行时间同步。
如图6所示，为本发明提供的上述多传感器数据融合的计算机设备的一个实施例的硬件结构示意图。
以如图6所示的装置为例，在该装置中包括一个处理器301以及一个存储器302。
处理器301和存储器302可以通过总线或者其他方式连接，图6中以通过总线连接为例。
存储器302作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的多传感器数据融合的方法对应的程序指令/模块。处理器301通过运行存储在存储器302中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现多传感器数据融合的方法。
存储器302可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据多传感器数据融合的方法的使用所创建的数据等。此外，存储器302可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器302可选包括相对于处理器301远程设置的存储器，这些远程存储器可以通过网络连接至本地模块。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个多传感器数据融合的方法对应的计算机指令303存储在存储器302中，当被处理器301执行时，执行上述任意方法实施例中的多传感器数据融合的方法。
执行上述多传感器数据融合的方法的计算机设备的任何一个实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。
本发明还提供了一种计算机可读存储介质，计算机可读存储介质存储有被处理器执行时执行多传感器数据融合的方法的计算机程序。
如图7所示，为本发明提供的上述多传感器数据融合的计算机存储介质的一个实施例的示意图。以如图7所示的计算机存储介质为例，计算机可读存储介质401存储有被处理器执行时执行如上方法的计算机程序402。
最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，多传感器数据融合的方法的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，程序的存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。上述计算机程序的实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。
上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。
Claims (10)
1.一种多传感器数据融合的方法，其特征在于，包括如下步骤：
使用第一类型的传感器根据预设采样周期采集第一数据；
在每个预设采样周期中获取当前状态的环境因子并根据所述环境因子确定延时时间，并根据所述延时时间和所述预设采样周期确定发送触发信号的时刻；
响应于在所述时刻发送所述触发信号，经过所述延时时间使用第二类型的传感器采集第二数据；
将所述第一数据和所述第二数据进行融合处理。
2.根据权利要求1所述的方法，其特征在于，所述使用第一类型的传感器根据预设采样周期采集第一数据包括：
将所述第一类型的传感器与控制单元进行时钟同步，以使得每个所述预设采样周期中获取所述第一数据的结束时刻为所述预设采样周期中所述第一类型的传感器的时间戳。
3.根据权利要求2所述的方法，其特征在于，所述根据所述延时时间和所述预设采样周期确定发送触发信号的时刻包括：
将所述第二类型的传感器采集所述第二数据的中心时刻与所述第一类型的传感器的时间戳对齐。
4.根据权利要求1所述的方法，其特征在于，方法还包括：
将所述第一数据和所述第二数据融合处理的过程封装成事件，并通过双向通信加时间戳的方式或单向触发调用的方式与中心计算机控制事件进行时间同步。
5.一种多传感器数据融合的系统，其特征在于，包括：
第一采集模块，配置用于使用第一类型的传感器根据预设采样周期采集第一数据；
调整模块，配置用于在每个预设采样周期中获取当前状态的环境因子并根据所述环境因子确定延时时间，并根据所述延时时间和所述预设采样周期确定发送触发信号的时刻；
第二采集模块，配置用于响应于在所述时刻发送所述触发信号，经过所述延时时间使用第二类型的传感器采集第二数据；
执行模块，配置用于将所述第一数据和所述第二数据进行融合处理。
6.根据权利要求5所述的系统，其特征在于，所述第一采集模块配置用于：
将所述第一类型的传感器与控制单元进行时钟同步，以使得每个所述预设采样周期中获取所述第一数据的结束时刻为所述预设采样周期中所述第一类型的传感器的时间戳。
7.根据权利要求6所述的系统，其特征在于，所述调整模块配置用于：
将所述第二类型的传感器采集所述第二数据的中心时刻与所述第一类型的传感器的时间戳对齐。
8.根据权利要求5所述的系统，其特征在于，系统还包括同步模块，配置用于：
将所述第一数据和所述第二数据融合处理的过程封装成事件，并通过双向通信加时间戳的方式或单向触发调用的方式与中心计算机控制事件进行时间同步。
9.一种计算机设备，其特征在于，包括：
至少一个处理器；以及
存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现权利要求1-4任意一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-4任意一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110999243.0A CN113887557A (zh) | 2021-08-28 | 2021-08-28 | 一种多传感器数据融合的方法、系统、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110999243.0A CN113887557A (zh) | 2021-08-28 | 2021-08-28 | 一种多传感器数据融合的方法、系统、设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113887557A true CN113887557A (zh) | 2022-01-04 |
Family
ID=79011563
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110999243.0A Withdrawn CN113887557A (zh) | 2021-08-28 | 2021-08-28 | 一种多传感器数据融合的方法、系统、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113887557A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024051489A1 (zh) * | 2022-09-07 | 2024-03-14 | 安徽蔚来智驾科技有限公司 | 多传感器的同步控制方法、设备、无人驾驶系统和介质 |
-
2021
- 2021-08-28 CN CN202110999243.0A patent/CN113887557A/zh not_active Withdrawn
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024051489A1 (zh) * | 2022-09-07 | 2024-03-14 | 安徽蔚来智驾科技有限公司 | 多传感器的同步控制方法、设备、无人驾驶系统和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113273105B (zh) | 用于对自动驾驶车辆的多个辅助设备进行时间同步的方法、车辆、计算机设备和存储介质 | |
| WO2018045857A1 (en) | System and methods for network synchronization | |
| US11343317B2 (en) | Data transmission method and device | |
| CN109743128A (zh) | 一种车载多信息同步控制系统及方法 | |
| WO2010057398A1 (zh) | 透传时钟的实现装置和方法 | |
| US7593429B2 (en) | System and method for time synchronizing nodes in an automotive network using input capture | |
| CN112448896B (zh) | 确定性网络中的发送周期的确定方法和装置 | |
| CN113887557A (zh) | 一种多传感器数据融合的方法、系统、设备和存储介质 | |
| EP3738275B1 (en) | Method and arrangement for deterministic delivery of data traffic over wireless connection | |
| JP2016123009A (ja) | 半導体装置、電子デバイス・モジュール、及びネットワークシステム | |
| CN103731409A (zh) | 用于具有tcp加速的嵌入式汽车采集设备的分布式测量装置 | |
| Gutiérrez et al. | Time synchronization in modular collaborative robots | |
| EP2479979B1 (en) | Camera device | |
| CN117395307A (zh) | 一种数据传输的方法、装置及存储介质 | |
| CN111357243B (zh) | 总线系统的用户设备、运行方法及总线系统 | |
| CN113110141B (zh) | 一种控制方法、控制系统及智能设备 | |
| CN101420281A (zh) | 用于在网络要素之间传送日内时间值的方法和装置 | |
| CN114285517A (zh) | 一种多传感器时间同步方法以及设备 | |
| KR20190106745A (ko) | 산업 이미지 처리용 스마트 카메라의 카메라 코어 및 산업 이미지 처리 방법 | |
| CN116015523A (zh) | 一种时间同步的方法、装置及电子设备 | |
| JP7322693B2 (ja) | ネットワークシステム、及び制御装置 | |
| WO2006044139A2 (en) | System and method for time synchronizing nodes in an automotive network using input capture | |
| Do et al. | Time synchronization method between CAN-FD nodes | |
| CN114172610B (zh) | 一种多源数据同步处理方法、装置及系统 | |
| US20210314132A1 (en) | Method for Synchronizing Networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220104 |
|
| WW01 | Invention patent application withdrawn after publication |