CN114697771B - 一种多传感器异构数据同步采集匹配系统 - Google Patents

Abstract

本发明提供一种多传感器异构数据同步采集匹配系统以及多源异构数据的实时采集和时间匹配方法，实时数据采集模块可根据接入操作系统的传感器开辟多个线程，运行对应传感器通信接口程序，实现多传感器数据实时并发采集；数据时间匹配模块实现了异构传感器数据的时间匹配校准，为后续的数据融合算法提供了准确的匹配数据，以此提升传感器系统融合算法准确性和稳定性；通过设置数据通信接口，实现了传感器数据通信接口的统一封装方法，便于通信模块的开发扩展；设置线程池，创建与销毁传感器通信线程，与多个传感器并行化进行数据通信，不同采样速率的异构数据会在时间匹配模块中进行数据的时间校准匹配。

Description

一种多传感器异构数据同步采集匹配系统

技术领域

本发明涉及多模态数据采集处理领域，特别涉及一种多传感器异构数据并发采集以及异构数据适应性时间匹配方法。

背景技术

在智能感知领域，感知系统会根据不同探测环境需求，安装不同传感器感知不同环境状态，比如光电传感器、毫米波雷达、激光雷达等。

但由于感知环境的多样性以及复杂性，依靠单一的传感器进行环境感知探测的系统具有很大的局限性，其稳定性和鲁棒性较低，无法全面描述环境状态，导致在复杂的环境中感知系统无法准确进行环境的感知描述。多传感器融合处理感知基于多传感器数据，采用数据级、特征级和决策级融合方法对多传感器数据进行融合处理，可全方位描述被感知环境状态，但同时也对多传感器数据的采集和时间匹配提出了更高的要求。

现有传感器相对独立，数据格式、传输接口以及数据传输速率各不相同，各个传感器的时钟系统不同，数据处理方式和所需时间不一致，对多个传感器分别进行数据采集会造成多个异构数据时间延迟过大，影响多模态数据融合算法的正确性，其性能在一定条件下会低于单一传感器感知性能。

公开号为CN107948723A的现有技术提出了一种可扩展端口的车载数据采集装置及数据采集方法，包括以下步骤：1)判断主设备与从设备；2)主设备发送采集信号到从设备；3)主设备触发指令，该指令使从设备统一为主设备时间；4)主设备发送数据采集指令给从设备；5)从设备通过数据接口发送采集数据到主设备进行融合处理；6)融合处理的数据存储到主设备存储器中。

该现有技术利用主设备一个时间同步控制中心对从设备进行时间同步采集，实现了统一的采集时钟，提高了数据采集的精度。但该发明没有考虑到从设备无法接收主设备的指令，即从设备是独立的服务端数据发送设备的实际情况。

公开号为CN109769223A的现有技术提出了一种噪声信号无线同步的采集方法，包括以下步骤：1)数据采集设备基于路由器与总控设备连接；2)总控设备定时发送时钟同步信息，校准采集设备时钟；3)总控设备获取时间偏移量，基于偏移量依次下达采集指令。4)调整时间间隔采集，并实时校准时间偏移量；

该现有技术利用路由器作为数据交换中心，利用时间偏移量调整各设备传输数据的时间间隔，以达到数据时间匹配效果。但该发明没有考虑到采集设备没有可实时校准的时钟模块时，主控设备无法进行时间同步校准。

发明内容

本发明为解决上述技术问题所采用的技术方案是，提供一种使得多源传感器异构数据能在时间上匹配并实时存储或数据融合处理的系统。

本发明为解决上述技术问题所采用的技术方案是，一种多传感器异构数据同步采集匹配系统，包括主机、分别与主机连接的多个传感器；

主机用于与连接的多个传感器进行数据通信与采集匹配，多源异构数据在主机中进行格式转换、匹配、存储以及数据驱动；所述多源异构数据是不同传感器所生成的结构不同、采样率不同的数据；

主机包括通信接口适配模块、数据采集模块、数据匹配模块、数据库以及算法处理模块；通信接口适配模块的输入端与外部的传感器的输出端连接；通信接口适配模块的输出端与数据采集模块的输入端相连；数据采集模块的一个输出端与数据匹配模块的输入端相连，另一个输出端与算法处理模块相连，并向这两个模块提供传感器数据；数据采集模式与数据库相连；数据匹配模块的一个输出端与数据库相连，另一个输出端与算法处理模块相连，并向这两个模块提供传感器数据；

传感器包括光电传感器、毫米波雷达传感器以及多个可扩展融合的传感器；

通信接口适配模块用于轮询主机各传感器接口，查找与主机已连接的传感器，并将查找结果输出至数据采集模块；

数据采集模块用于根据轮询结果，线程池分配对应传感器数量的线程给统一的传感器数据通信接口；传感器通信接口根据不同类型的接口分配给线程对应的通信实例，并发与多传感器进行数据通信；统计每个传感器通信接口的数据传输速率并实时发送到数据匹配模块；将采集的实时数据存入本地数据缓存池中相应数据缓存队列中，并根据需求分类输出至数据库；

数据匹配模块用于根据接收到的每个传感器通信接口的数据传输速率后进行排序统计，提取最低传输速率数值作为匹配定时器的周期参数；开辟新的线程并触发匹配定时器，匹配定时器根据其周期参数触发数据匹配过程，数据匹配过程中根据匹配频率提取各传感器数据并按匹配顺序存入数据库中或者输出至算法处理模块；

算法处理模块用于将接收到的传感器数据存入匹配数据缓存中，为数据融合处理算法提供时间匹配数据。

本发明的有益效果是，数据采集模块通过轮询传感器的通信接入和线程池自动分配数据采集线程，实现了传感器灵活接入数据采集匹配系统，可根据需求获取不同传感器数据，采集数据种类可选择性组合。数据匹配模块通过设置通信传输速率反馈，实现了不同异构数据组合适应性匹配。

附图说明

图1为多源异构数据的实时采集和时间匹配方法的整体流程图；

图2为数据采集模块流程示意图；

图3为数据匹配模块流程示意图；

图4为多传感器异构数据同步采集匹配系统的结构示意图。

具体实施方式

如图1所示，应用于多传感器异构数据同步采集匹配系统，可以使多传感器异构数据时间匹配并且适应性针对多种不同传输速率传感器组合进行适应性异构数据匹配方法包括：

轮询主机各传感器接口，查找与主机已连接的传感器。可选的，所述传感器包括光电传感器、毫米波雷达等传感器；

根据轮询的可用传感器接口结果，线程池分配对应传感器数量的线程给统一的传感器数据通信接口；

传感器通信接口根据不同类型的接口，分配通信实例方法，基于分配的线程并发与多传感器进行数据通信。所述数据通信，包括：将图像、雷达数据接收后转换为数据帧，并记录获取每帧数据所需时间，即数据传输速率；将每个通信接口的数据传输速率实时发送到数据匹配模块；

将采集后的数据帧存入缓存池中相应数据缓存中，并根据需求分类存入数据库中；

统计各通信接口传输速率。所述统计各通信接口速率，包括：将各通信接口反馈的各传感器数据通信速率进行排序统计，提取最低传输速率数值作为异步定时器的周期参数。所述开启异步定时器进行数据匹配，包括：开辟新的线程并触发定时器，定时器根据传输速率统计结果定时触发数据匹配方法；

根据传输速率统计结果，开启异步定时器进行数据匹配。所述开启异步定时器进行数据匹配，包括：获取最低传输速率作为定时器周期，基于多传感器缓存，定时触发数据匹配方法获取实时传感器数据帧；

将实时数据匹配结果存入数据库或数据驱动缓存中。

由上可知，本申请实施例中的多传感器异构数据同步采集匹配系统和多源异构数据的实时采集和时间匹配方法，该多传感器异构数据同步采集匹配系统所采用的主机与光电传感器、毫米波雷达传感器以及可扩展传感器之间通过USB接口和千兆网口等形式进行传输连接，通过多数据通路使得数据传输延迟降低，不易阻塞。本申请实施例中的多源异构数据的实时采集和时间匹配方法利用线程池自动分配传感器通信接口，并行化对多源数据进行采集匹配以及存储，使得多个数据缓存可在同一时间内获得最新匹配的多源异构数据。

本发明实施例是基于Linux操作系统在QT框架环境下进行的，该框架具有良好的线程机制以及多种通信传递机制(如信号量、共享内存以及信号槽机制)，可借助QT丰富的线程间通信机制实现系统方法中各类参数和数据的高效传递。并且QT框架是对C++的进一步封装与扩展，支持C++编译和运行，在实时性要求高的多传感器系统中，C++的高性能最适合完成基于多线程的多源异构数据处理。

多传感器异构数据同步采集匹配系统设备部分包括：主机以及分别与主机连接的光电传感器、毫米波雷达传感器；所述光电传感器为USB接口摄像头，所述毫米波雷达传感器为千兆网口接口的车载毫米波雷达。

多传感器异构数据同步采集匹配系统如图4所示，包括数据采集模块、数据库、数据匹配模块以及算法处理模块。

多传感器异构数据同步采集匹配系统启动时，首先运行数据采集模块，通过延时操作，待数据通信稳定后通过定时器触发数据匹配模块，数据匹配模块匹配完成后的数据通过数据库接口存入数据库中，同时更新算法处理模块中匹配数据缓存中的数据，以便能实时为数据融合处理算法提供时间匹配数据。

运行数据采集模块流程示意图如图2所示，步骤包括：

步骤S1，加载存储有光电传感器以及毫米波雷达传感器通信l的数据内存；初始化通信线程池；初始化存储传输速率的动态数组；

步骤S2，轮询传感器，利用Linux平台的epoll机制进行轮询，对接入光电传感器和毫米波雷达传感器的接口进行轮询，并触发传感器通信事件；

步骤S3，根据触发的通信事件，分配对应的数据缓存。所述的数据缓存根据不同的传感器通信事件对应不同的数据格式，但数据转换后都以帧为单位；

步骤S4，根据触发的通信事件，生成对应的传感器通信接口，所述接口为USB图像帧数据通信接口以及毫米波雷达TCP数据通信接口；

步骤S5，线程池分配给两类通信接口实例对应线程并启动；

步骤S6，基于统一通信父类接口，USB摄像头通信接口和毫米波雷达传感器通信接口实时更新存储对应数据传输速率动态数组中对应的单元值，以提供给数据匹配模块进一步统计。所述的数据传输速率在本实施例中包括：USB摄像头传输速率为30帧/s，毫米波雷达传感器传输速率为20帧/s；

步骤S6所述通信父类接口使用抽象类进行实现。

通信父类接口：

运行数据匹配模块流程示意图如图3所示，实施例步骤包括：

步骤S1，对多通信接口反馈的数据传输速率进行统计排序，获取传输速率最低的毫米波雷达传输速率；可选的，每增加或是减少一个或多个传感器的连接，则对其重新统计；

步骤S2，根据步骤1的统计结果初始化定时器的时间触发周期为50ms，并周期性触发数据匹配函数；

步骤S3，所述数据匹配函数根据统计排序结果，基于定时器对缓存池中多个缓存中的图像帧和雷达帧异构数据进行时间匹配。该时间匹配方法基于最慢传输速率数据缓存，通过对同一时间段的数据进行内插外推达到数据的时间对齐。

步骤S4，输出的匹配数据更新算法处理模块对应融合算法驱动的匹配数据缓存，并且通过数据库存储接口存入数据库中。

Claims (4)

1.一种多传感器异构数据同步采集匹配系统，其特征在于，包括主机、分别与主机连接的多个传感器；

主机用于与连接的多个传感器进行数据通信与采集匹配，多源异构数据在主机中进行格式转换、匹配、存储以及数据驱动；所述多源异构数据是不同传感器所生成的结构不同、采样率不同的数据；

主机包括通信接口适配模块、数据采集模块、数据匹配模块、数据库以及算法处理模块；通信接口适配模块的输入端与外部的传感器的输出端连接；通信接口适配模块的输出端与数据采集模块的输入端相连；数据采集模块的一个输出端与数据匹配模块的输入端相连，另一个输出端与算法处理模块相连，向数据匹配模块与算法处理模块提供传感器数据；数据采集模块与数据库相连；数据匹配模块的一个输出端与数据库相连，另一个输出端与算法处理模块相连，向数据库与算法处理模块提供时间匹配的传感器数据；

传感器包括光电传感器、毫米波雷达传感器以及多个可扩展融合的传感器；

通信接口适配模块用于轮询主机各传感器接口，查找与主机已连接的传感器，并将查找结果输出至数据采集模块；

数据采集模块用于根据轮询结果，线程池分配对应传感器数量的线程给统一的传感器通信接口；传感器通信接口根据不同类型的接口分配给线程对应的通信实例，并发与多传感器进行数据通信；统计每个传感器通信接口的数据传输速率并实时发送到数据匹配模块；将采集的实时数据存入本地数据缓存池中相应数据缓存队列中，并根据需求分类输出至数据库；

数据匹配模块用于根据接收到的每个传感器通信接口的数据传输速率后进行排序统计，提取最低传输速率数值作为匹配定时器的周期参数；开辟新的线程并触发匹配定时器，匹配定时器根据其周期参数触发数据匹配过程，数据匹配过程中根据匹配频率提取各传感器数据并按匹配顺序存入数据库中或者输出至算法处理模块；

算法处理模块用于将接收到的传感器数据存入匹配数据缓存中，为数据融合处理算法提供时间匹配数据。

2.如权利要求1所述系统，其特征在于，系统的编译环境为QT环境，编程实现语言为C++。

3.如权利要求1所述系统，其特征在于，用于存储数据的数据库为MySQL数据库。

4.如权利要求1所述系统，其特征在于，光电传感器与主机通过USB接口连接，毫米波雷达传感器与主机通过千兆网口连接。