CN113656364B - 传感器数据处理方法、装置和计算机可读存储介质 - Google Patents

传感器数据处理方法、装置和计算机可读存储介质 Download PDF

Info

Publication number
CN113656364B
CN113656364B CN202110896993.5A CN202110896993A CN113656364B CN 113656364 B CN113656364 B CN 113656364B CN 202110896993 A CN202110896993 A CN 202110896993A CN 113656364 B CN113656364 B CN 113656364B
Authority
CN
China
Prior art keywords
sensor data
cache
data processing
information
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110896993.5A
Other languages
English (en)
Other versions
CN113656364A (zh
Inventor
韩东
周克林
吴斌
魏轲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Freetech Intelligent Systems Co Ltd
Original Assignee
Freetech Intelligent Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Freetech Intelligent Systems Co Ltd filed Critical Freetech Intelligent Systems Co Ltd
Priority to CN202110896993.5A priority Critical patent/CN113656364B/zh
Publication of CN113656364A publication Critical patent/CN113656364A/zh
Application granted granted Critical
Publication of CN113656364B publication Critical patent/CN113656364B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system
    • G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0877—Cache access modes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Bioethics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Recording Measured Values (AREA)

Abstract

本申请涉及一种传感器数据处理方法、传感器数据处理装置和计算机可读存储介质，通过将高速缓存中的多路传感器数据无损压缩为一路压缩数据，并将压缩数据写入到高速缓存，其中，多路传感器数据由多个传感器分别实时采集并直接写入到高速缓存；基于高速缓存中的压缩数据，生成存储文件，并将存储文件写入到存储系统，解决了相关技术中存在的存储系统对于传感器数据的处理效率低的问题，提升了存储系统对于传感器数据的处理效率。

Description

传感器数据处理方法、装置和计算机可读存储介质
技术领域
本申请涉及数据存储技术领域，特别是涉及传感器数据处理方法、传感器数据处理装置和计算机可读存储介质。
背景技术
在自动驾驶控制系统中，需要记录实车传感器的数据，该数据将会用于分析系统的功能和性能。随着实车传感器的数量增加和采样精度提高，对于存储的压力也越来越大，增加了存储成本和存储风险，同时要求存储系统可以在复杂的车辆环境下能够稳定运行。在相关技术中，存储数据通过RAID(Redundant Arrays of Independent Disks，独立磁盘冗余阵列)技术，使用多个机械硬盘获得近似固态硬盘的读写速度，并使用压缩算法对数据逐个压缩，通过减少数据量的方式提高空间利用率和释放数据传输带宽。但是，目前智能驾驶系统的传感器越来越多，导致同一场景中会生成很多传感器数据文件，相同数据量的情况下，文件越多写入速率越慢。
针对相关技术中存在的存储系统对于传感器数据的处理效率低的问题，目前还没有提出有效的解决方案。
发明内容
在本实施例中提供了一种传感器数据处理方法、传感器数据处理装置和计算机可读存储介质，以解决相关技术中存在的存储系统对于传感器数据的处理效率低的问题。
第一个方面，在本实施例中提供了一种传感器数据处理方法，包括：
将高速缓存中的多路传感器数据无损压缩为一路压缩数据，并将所述压缩数据写入到所述高速缓存，其中，所述多路传感器数据由多个传感器分别实时采集并直接写入到所述高速缓存；
基于所述高速缓存中的所述压缩数据，生成存储文件，并将所述存储文件写入到存储系统。
在其中一些实施例中，所述多路传感器中每路传感器数据包括相应传感器的标识信息。
在其中一些实施例中，所述无损压缩方法包括以下至少之一：哈夫曼编码方法、Lempel-Ziv压缩方法。
在其中一些实施例中，在将高速缓存中的多路传感器数据无损压缩为一路压缩数据之前，所述方法还包括：
获取当前时间，并确定与当前时间对应的时间区间；
基于为所述时间区间预先配置的传感器设置，确定所述多个传感器。
在其中一些实施例中，在基于所述高速缓存中的所述压缩数据，生成存储文件之前，所述方法还包括：
对所述高速缓存中的所述压缩数据进行加密处理。
在其中一些实施例中，所述方法还包括：实时获取所述多个传感器的位置信息、与该位置信息对应的关联信息，其中，所述关联信息包括：天气信息和/或交通信息；
基于所述高速缓存中的所述压缩数据，生成存储文件包括：通过所述位置信息和所述关联信息对所述压缩数据进行分段，并生成每个分段对应的存储文件，其中，每个存储文件中存储有相应的位置信息和相应的关联信息。
第二个方面，在本实施例中提供了一种传感器数据处理装置，包括：多个传感器、处理器、存储器、高速缓存和存储系统；
所述多个传感器，与所述高速缓存连接，用于分别实时采集多路传感器数据，并将所述多路传感器数据直接写入到所述高速缓存；
所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述第一个方面所述的传感器数据处理方法的步骤。
在其中一些实施例中，所述传感器数据处理装置还包括：定位模块和无线通讯模块；其中，所述定位模块用于获取所述多个传感器的位置信息；所述无线通讯模块用于获取与所述位置信息对应的关联信息。
在其中一些实施例中，所述存储系统包括电池单元，用于在所述存储系统的外部供电不稳定的情况下为所述存储系统的工作提供电能。
第三个方面，在本实施例中提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一个方面所述的传感器数据处理方法的步骤。
与相关技术相比，在本实施例中提供的传感器数据处理方法、传感器数据处理装置和计算机可读存储介质，通过将高速缓存中的多路传感器数据无损压缩为一路压缩数据，并将压缩数据写入到高速缓存，其中，多路传感器数据由多个传感器分别实时采集并直接写入到高速缓存；基于高速缓存中的压缩数据，生成存储文件，并将存储文件写入到存储系统，解决了相关技术中存在的存储系统对于传感器数据的处理效率低的问题，提升了存储系统对于传感器数据的处理效率。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本实施例的传感器数据处理方法的流程图；
图2是本优选实施例的传感器数据处理方法的流程图；
图3是本实施例的传感器数据处装置的结构图；
图4是又一实施例的传感器数据处理装置的结构图；
图5是优选实施例的感器数据处理系统的结构图；
图6是传感器数据处理系统的硬件结构图。
附图标记：31、传感器；32、处理器；33、存储器；34、高速缓存；35、存储系统；36、定位模块；37、无线通讯模块；38、电池单元；50、机械硬盘；51、控制模块；52、压缩模块；53、加密模块；54、分类模块；55、缓存模块；56、RAID管理模块；57、电池管理模块；58、电池模块；59、无线网络模块；60、有线网络模块；61、GPS模块；71、RAID控制器；72、控制器；73、压缩/加密芯片；74、DMA芯片；75、PCIE接口。
具体实施方式
为更清楚地理解本申请的目的、技术方案和优点，下面结合附图和实施例，对本申请进行了描述和说明。
除另作定义外，本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块(单元)的过程、方法和系统、产品或设备并未限定于列出的步骤或模块(单元)，而可包括未列出的步骤或模块(单元)，或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接，而可以包括电气连接，无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。通常情况下，字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等，只是对相似对象进行区分，并不代表针对对象的特定排序。
图1是本实施例的传感器数据处理方法的流程图，如图1所示，该流程包括如下步骤：
步骤S101，将高速缓存中的多路传感器数据无损压缩为一路压缩数据，并将压缩数据写入到高速缓存，其中，多路传感器数据由多个传感器分别实时采集并直接写入到高速缓存。
每当接收到各路传感器数据时，可以通过系统总线接收CPU下发的控制指令，根据该控制指令将各路传感器数据写入到高速缓存，写入完毕后再通过系统总线向CPU发送反馈指令，以指示传感器数据写入完毕，如此设置，可以不通过CPU而直接将各路传感器数据写入到高速缓存，初步提升传感器数据的传输速率。
在将各路传感器数据直接写入到高速缓存之后，可以将符合业务意义的多路传感器数据无损压缩为一路压缩数据，参与压缩的多路传感器数据可以携带有相同的采集场景信息，采集场景信息包括但不限于相同的采集时间、相同的采集位置、相同的天气信息、相同的交通信息，通过将携带有相同的采集场景信息进行压缩，在不减少传感器数据的情况下能够减少传感器数据的路数，进一步提升传感器数据的传输速率。其中，无损压缩方法包括但不限于哈夫曼编码方法、Lempel-Ziv压缩方法。
步骤S102，基于高速缓存中的压缩数据，生成存储文件，并将存储文件写入到存储系统。
以各路压缩数据为单位生成存储文件，并将存储文件写入存储系统，存储系可以是由多个存盘构成的磁盘阵列。
在上述步骤S101至S102中，在将传感器数据传输至高速缓存的过程中，不通过CPU而直接将各路传感器数据写入到高速缓存，初步提升传感器数据的传输速率；将符合业务意义的多路传感器数据无损压缩为一路压缩数据，在不减少传感器数据的情况下能够减少传感器数据的路数，进一步提升传感器数据的传输速率。通过上述步骤，解决了相关技术中存在的存储系统对于传感器数据的处理效率低的问题，提升了存储系统对于传感器数据的处理效率。
在其中的一些实施例中，多路传感器中每路传感器数据包括相应传感器的标识信息。
传感器的标识信息可以是用于识别单个传感器的信息，也可以是用于识别一类传感器的信息。在上述步骤S101中，在将符合业务意义的多路传感器数据无损压缩为一路压缩数据之前，可以事先配置传感器的标识信息和业务意义之间的映射关系，再根据传感器的标识信息提取符合某一业务意义的多路传感器数据，对这些多路传感器数据进行无损压缩，得到符合该业务意义的一路压缩数据。如此设置，实现对多路传感器数据的分类工作，在后期进行传感器数据处理时，只需根据传感器的标识信息便可进行传感器数据的筛选。
在其中一些实施例中，在将高速缓存中的多路传感器数据无损压缩为一路压缩数据之前，还将获取当前时间，并确定与当前时间对应的时间区间；基于为时间区间预先配置的传感器设置，确定多个传感器。
在本实施例中，可以根据传感器的采集时间进行传感器的分类，从同属于某一时间区间的多路传感器中获取传感器数据，将这些多路传感器数据进行无损压缩，得到对应于该时间区间的多路传感器。如此设置，实现对多路传感器数据按照时间区间的分类工作，在后期可以按照时间区间对传感器数据进行筛选。
相关技术通常采用网络传输的方式将传感器数据上传到服务器，这种方案会引入信息安全风险，造成数据泄露的损失。为解决该问题，在一些实施例中，在基于高速缓存中的压缩数据，生成存储文件之前，还对高速缓存中的压缩数据进行加密处理。
例如，在高速缓存中获取各路压缩数据的数据地址，采用AES加密算法处理这些数据地址，实现对传感器数据的加密。如此设置，避免传感器数据流出造成的信息泄露和经济损失。
优选地，在其中一些实施例中，可以通过GPS(Global Positioning System，全球定位系统)信息或者无线网络通讯实时获取多个传感器的位置信息、与该位置信息对应的关联信息，例如天气信息、交通信息。在基于高速缓存中的压缩数据，生成存储文件时，可以通过位置信息和关联信息对压缩数据进行分段，并生成每个分段对应的存储文件，其中，每个存储文件中存储有相应的位置信息和相应的关联信息。
如此设置，可以实现基于传感器的位置信息、天气信息、交通信息实现对多路传感器数据的分类，便于后期数据筛选。例如，根据位置信息从天气查询平台实时获取当前天气，根据位置信息从网络地图实时获取当前交通拥堵情况。
图2是本优选实施例的传感器数据处理方法的流程图，如图2所示，该流程包括如下步骤：
步骤S201，与多路传感器建立TCP(Transmission Control Protocol，传输控制协议)连接。
步骤S202，实时接收传感器数据。
步骤S203，将各路传感器数据写入高速缓存。
步骤S204，将多路传感器数据无损压缩成一路压缩数据。
步骤S205，对各路压缩数据进行加密。
步骤S206，为加密后的各路压缩数据添加数据分类信息。
步骤S207，将各路压缩数据写入磁盘阵列。
结合上述实施例的传感器数据处理方法，本实施例还提供了一种传感器数据处装置，图3是本实施例的传感器数据处装置的结构图，如图3所示，该装置包括：多个传感器31、处理器32、存储器33、高速缓存34和存储系统35；多个传感器31，与高速缓存34连接，用于分别实时采集多路传感器数据，并将多路传感器数据直接写入到高速缓存34；存储器33中存储有计算机程序，处理器32被设置为运行计算机程序以执行上述任一实施例的传感器数据处理方法的步骤。
传感器数据处理方法的介绍已在上述实施例做过介绍，本实施例不再赘述，本实施例的传感器数据处装置，在将传感器数据传输至高速缓存的过程中，不通过CPU而直接将各路传感器数据写入到高速缓存，初步提升传感器数据的传输速率；将符合业务意义的多路传感器数据无损压缩为一路压缩数据，在不减少传感器数据的情况下能够减少传感器数据的路数，进一步提升传感器数据的传输速率。通过上述步骤，解决了相关技术中存在的存储系统对于传感器数据的处理效率低的问题，提升了存储系统对于传感器数据的处理效率。
图4是又一实施例的传感器数据处理装置的结构图，如图4所示，在其中一些实施例中，传感器数据处理装置还包括：定位模块36和无线通讯模块37；其中，定位模块36用于获取多个传感器31的位置信息；无线通讯模块37用于获取与位置信息对应的关联信息。
参考图4，在其中一些实施例中，存储系统35包括电池单元38，用于在存储系统35的外部供电不稳定的情况下为存储系统35的工作提供电能。
本实施例的传感器数据处装置可以应用于智能驾驶数据采集场景，以下将通过优选实施例介绍传感器数据处装置。
图5是优选实施例的感器数据处理系统的结构图，如图5所示，该系统包括：机械硬盘50、控制模块51、压缩模块52、加密模块53、分类模块54、缓存模块55、RAID管理模块56、电池管理模块57、电池模块58、无线网络模块59、有线网络模块60和GPS模块61。其中，该感器数据处理系统的运行流程可参考图2。
控制模块51接收到来自有线网络模块60(网络适配器)的网络连接请求后，建立网络连接并开始实时接收传感器数据。智能驾驶数据采集过程中，不同传感器通常是以独立的文件进行存储。控制模块51根据用户设定的时间区间对传感器数据进行分组。控制模块51接收到一组传感器数据后可以使用DMA(Direct Memory Access，直接存储器访问)技术把传输过来的传感器数据存入缓存模块55。
控制模块51将一组传感器数据放入高速缓存后，发送该组传感器数据地址和压缩请求给压缩模块52。基于FPGA实现LZO压缩算法的压缩模块52，通过传感器数据地址将一组数据压缩为一个文件，最高压缩率可达20％，通过压缩模块52可以节省接近五分之一的存储空间。
传感器数据处理系统中可以包含多个压缩模块52，支持并发处理压缩请求，提高压缩效率。
压缩模块52完成某组传感器数据压缩工作后，发送该组传感器数据地址和加密请求给加密模块53。基于FPGA实现AES加密算法的加密模块53通过传感器数据地址对传感器数据进行加密，从而保证了数据安全。
感器数据处理系统中可以包含多个加密模块53，支持并发处理加密请求，提高加密效率。
分类模块54支持实时接收GPS信息和无线网络通讯等功能，通过上述功能该模块可以接收位置、天气、交通拥堵等信息。
分类模块54通过无线网络模块59实时获取GPS的位置信息，再根据位置信息从天气查询平台实时获取当前天气，分类模块54也可以根据位置信息从网络地图实时获取当前交通拥堵情况。
加密模块53完成一组传感器数据加密后会将该组传感器数据地址和分类请求给分类模块54。分类模块54会将位置、天气、交通拥堵等信息按照自定义格式添加到数据结束位置。数据上传后，会根据自定义格式获取该组数据的关键信息，用于后期数据筛选等工作。
RAID管理模块56用于根据多个机械硬盘获得近似固态硬盘的读写速度，并使用压缩算法对数据逐个压缩。
结合图5的感器数据处理系统，图6给出了感器数据处理系统的硬件结构图，如图6所示，该系统包括RAID控制器71、控制器72、压缩/加密芯片73、DMA芯片74、PCIE(Peripheral Component Interconnect Express，高速串行计算机扩展总线标准)接口75、高速缓存34和多个机械硬盘50。DMA芯片74和PCIE接口75连接，在本优选实施例中，控制器72在收到数据移动命令时，即驱动收到命令的情况下，就开始驱动DMA芯片74对通过PCIE接口75传输过来的数据进行数据迁移，存入高速缓存34。控制器72收到设置压缩/加密命令时，控制器72通过驱动设置压缩/加密芯片73，先清空数据区，同样地，控制器72取消压缩和加密选项时也要求先清空数据区。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
在本实施例中还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，将高速缓存中的多路传感器数据无损压缩为一路压缩数据，并将压缩数据写入到高速缓存，其中，多路传感器数据由多个传感器分别实时采集并直接写入到高速缓存。
S2，基于高速缓存中的压缩数据，生成存储文件，并将存储文件写入到存储系统。
需要说明的是，在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，在本实施例中不再赘述。
此外，结合上述实施例中提供的传感器数据处理方法，在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种传感器数据处理方法的步骤。
应该明白的是，这里描述的具体实施例只是用来解释这个应用，而不是用来对它进行限定。根据本申请提供的实施例，本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例，均属本申请保护范围。
显然，附图只是本申请的一些例子或实施例，对本领域的普通技术人员来说，也可以根据这些附图将本申请适用于其他类似情况，但无需付出创造性劳动。另外，可以理解的是，尽管在此开发过程中所做的工作可能是复杂和漫长的，但是，对于本领域的普通技术人员来说，根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段，不应被视为本申请公开的内容不足。
“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例，也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是，本申请中描述的实施例在没有冲突的情况下，可以与其它实施例结合。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对专利保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (9)

1.一种传感器数据处理方法，其特征在于，包括：
配置多路传感器中每路传感器数据的标识信息和业务意义之间的映射关系；
根据所述标识信息提取高速缓存中符合业务意义的多路传感器数据；
将所述多路传感器数据无损压缩为一路压缩数据，并将所述压缩数据写入到所述高速缓存，其中，所述多路传感器数据由多个传感器分别实时采集并直接写入到所述高速缓存；
基于所述高速缓存中的所述压缩数据，生成存储文件，并将所述存储文件写入到存储系统；
所述方法还包括：实时获取所述多个传感器的位置信息、与该位置信息对应的关联信息，其中，所述关联信息包括：天气信息和/或交通信息；
基于所述高速缓存中的所述压缩数据，生成存储文件包括：通过所述位置信息和所述关联信息对所述压缩数据进行分段，并生成每个分段对应的存储文件，其中，每个存储文件中存储有相应的位置信息和相应的关联信息。
2.根据权利要求1所述的传感器数据处理方法，其特征在于，所述多路传感器中每路传感器数据包括相应传感器的标识信息。
3.根据权利要求1所述的传感器数据处理方法，其特征在于，所述无损压缩方法包括以下至少之一：哈夫曼编码方法、Lempel-Ziv压缩方法。
4.根据权利要求1所述的传感器数据处理方法，其特征在于，在将高速缓存中的多路传感器数据无损压缩为一路压缩数据之前，所述方法还包括：
获取当前时间，并确定与当前时间对应的时间区间；
基于为所述时间区间预先配置的传感器设置，确定所述多个传感器。
5.根据权利要求1所述的传感器数据处理方法，其特征在于，在基于所述高速缓存中的所述压缩数据，生成存储文件之前，所述方法还包括：
对所述高速缓存中的所述压缩数据进行加密处理。
6.一种传感器数据处理装置，其特征在于包括：多个传感器、处理器、存储器、高速缓存和存储系统；
所述多个传感器，与所述高速缓存连接，用于分别实时采集多路传感器数据，并将所述多路传感器数据直接写入到所述高速缓存；
所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至5中任一项所述的传感器数据处理方法的步骤。
7.根据权利要求6所述的传感器数据处理装置，其特征在于，所述传感器数据处理装置还包括：定位模块和无线通讯模块；其中，所述定位模块用于获取所述多个传感器的位置信息；所述无线通讯模块用于获取与所述位置信息对应的关联信息。
8.根据权利要求6所述的传感器数据处理装置，其特征在于，所述存储系统包括电池单元，用于在所述存储系统的外部供电不稳定的情况下为所述存储系统的工作提供电能。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的传感器数据处理方法的步骤。
CN202110896993.5A 2021-08-05 2021-08-05 传感器数据处理方法、装置和计算机可读存储介质 Active CN113656364B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110896993.5A CN113656364B (zh) 2021-08-05 2021-08-05 传感器数据处理方法、装置和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110896993.5A CN113656364B (zh) 2021-08-05 2021-08-05 传感器数据处理方法、装置和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113656364A CN113656364A (zh) 2021-11-16
CN113656364B true CN113656364B (zh) 2024-02-20

Family

ID=78478504

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110896993.5A Active CN113656364B (zh) 2021-08-05 2021-08-05 传感器数据处理方法、装置和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113656364B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114356226A (zh) * 2021-12-17 2022-04-15 广州文远知行科技有限公司 一种传感器数据存储方法、装置、设备及存储介质
CN117135686B (zh) * 2023-10-24 2024-02-20 深圳市蓝鲸智联科技股份有限公司 一种基于蓝牙的车载信息交互方法及系统

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1561007A (zh) * 2004-02-27 2005-01-05 中兴通讯股份有限公司 用于数据传输中数据压缩解压缩的装置和方法
CN101984362A (zh) * 2010-08-12 2011-03-09 中国人民解放军海军航空工程学院 基于数据压缩的集中式多源广义相关跟踪器
CN102244680A (zh) * 2011-07-04 2011-11-16 东华大学 一种基于体域传感阵列的全景视频码流生成方法
CN103257038A (zh) * 2012-02-20 2013-08-21 成都太微电子科技有限公司 一种大坝泄洪闸门橡胶密封圈检测系统及检测方法
CN104899261A (zh) * 2015-05-20 2015-09-09 杜晓通 一种构建结构化视频图像信息的设备和方法
CN105451022A (zh) * 2015-11-17 2016-03-30 深圳联友科技有限公司 一种将多路视频流压缩成一路视频流的方法及系统
CN105678727A (zh) * 2016-01-12 2016-06-15 四川大学 基于异构多核构架的红外光与可见光图像实时融合系统
CN106575260A (zh) * 2014-09-26 2017-04-19 英特尔公司 采用数据压缩的高速缓存技术
CN107561990A (zh) * 2017-09-30 2018-01-09 华南理工大学 一种基于边缘计算的工业传感信号采集器及采集方法
CN108617007A (zh) * 2016-12-01 2018-10-02 富士通株式会社 数据传输方法和装置
CN109460667A (zh) * 2018-11-05 2019-03-12 国家电网有限公司 招投标过程中的文件处理方法、系统及终端设备
CN110073301A (zh) * 2017-08-02 2019-07-30 强力物联网投资组合2016有限公司 工业物联网中具有大数据集的数据收集环境下的检测方法和系统
CN110708513A (zh) * 2019-10-18 2020-01-17 中国科学院长春光学精密机械与物理研究所 一种8k视频多核异构处理装置
CN111435923A (zh) * 2019-01-13 2020-07-21 强力物联网投资组合2016有限公司 用于监测和管理工业环境的方法、系统、套件及设备
CN112166618A (zh) * 2019-04-29 2021-01-01 百度时代网络技术（北京）有限公司 自动驾驶车辆中具有压缩视频流的多传感器数据存储
CN112637123A (zh) * 2020-11-19 2021-04-09 苏州浪潮智能科技有限公司 一种边缘服务器数据传输方法、系统、终端及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9385751B2 (en) * 2014-10-07 2016-07-05 Protein Metrics Inc. Enhanced data compression for sparse multidimensional ordered series data
JP2022523564A (ja) * 2019-03-04 2022-04-25 アイオーカレンツ， インコーポレイテッド 機械学習を使用するデータ圧縮および通信

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1561007A (zh) * 2004-02-27 2005-01-05 中兴通讯股份有限公司 用于数据传输中数据压缩解压缩的装置和方法
CN101984362A (zh) * 2010-08-12 2011-03-09 中国人民解放军海军航空工程学院 基于数据压缩的集中式多源广义相关跟踪器
CN102244680A (zh) * 2011-07-04 2011-11-16 东华大学 一种基于体域传感阵列的全景视频码流生成方法
CN103257038A (zh) * 2012-02-20 2013-08-21 成都太微电子科技有限公司 一种大坝泄洪闸门橡胶密封圈检测系统及检测方法
CN106575260A (zh) * 2014-09-26 2017-04-19 英特尔公司 采用数据压缩的高速缓存技术
CN104899261A (zh) * 2015-05-20 2015-09-09 杜晓通 一种构建结构化视频图像信息的设备和方法
CN105451022A (zh) * 2015-11-17 2016-03-30 深圳联友科技有限公司 一种将多路视频流压缩成一路视频流的方法及系统
CN105678727A (zh) * 2016-01-12 2016-06-15 四川大学 基于异构多核构架的红外光与可见光图像实时融合系统
CN108617007A (zh) * 2016-12-01 2018-10-02 富士通株式会社 数据传输方法和装置
CN110073301A (zh) * 2017-08-02 2019-07-30 强力物联网投资组合2016有限公司 工业物联网中具有大数据集的数据收集环境下的检测方法和系统
CN107561990A (zh) * 2017-09-30 2018-01-09 华南理工大学 一种基于边缘计算的工业传感信号采集器及采集方法
CN109460667A (zh) * 2018-11-05 2019-03-12 国家电网有限公司 招投标过程中的文件处理方法、系统及终端设备
CN111435923A (zh) * 2019-01-13 2020-07-21 强力物联网投资组合2016有限公司 用于监测和管理工业环境的方法、系统、套件及设备
CN112166618A (zh) * 2019-04-29 2021-01-01 百度时代网络技术（北京）有限公司 自动驾驶车辆中具有压缩视频流的多传感器数据存储
CN110708513A (zh) * 2019-10-18 2020-01-17 中国科学院长春光学精密机械与物理研究所 一种8k视频多核异构处理装置
CN112637123A (zh) * 2020-11-19 2021-04-09 苏州浪潮智能科技有限公司 一种边缘服务器数据传输方法、系统、终端及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
An Evaluation of model-based approaches to sensor data compression;Karl Aberer等;《IEEE Transactions on knowledge and data engineering》;20171130;第25卷(第11期);2434-2447 *
地理空间实时流数据压缩与查询关键技术研究;高鹏;《中国优秀硕士学位论文全文数据库 基础科学辑》;20200215;A008-159 *

Also Published As

Publication number Publication date
CN113656364A (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
CN106202138B (zh) 用于自主空间压缩的存储设备和方法
US7970965B2 (en) Method and system for compression of data for block mode access storage
CN113656364B (zh) 传感器数据处理方法、装置和计算机可读存储介质
CA2564844C (en) Method and system for compression of files for storage and operation on compressed files
US8473652B2 (en) Systems and methods for compression of data for block mode access storage
US9667697B2 (en) Direct memory access with conversion or reverse conversion of data
US10180953B2 (en) Receiver-side data deduplication in data systems
KR101378270B1 (ko) Ｓａｓ 확장기를 포함하는 저장 시스템에서 데이터 판독을 가능하게 하기 위한 방법, 시스템 및 ｓａｓ 확장기 디바이스
US20150365345A1 (en) Reduced bandwidth data uploading in data systems
CN108650287B (zh) 物联网中的终端设备的升级方法、设备及计算机可读介质
US20060190643A1 (en) Method and system for compression of data for block mode access storage
CN107220348B (zh) 一种基于Flume与Alluxio的数据收集方法
EP2659405B1 (en) Receiver-side data deduplication in data systems
US9766812B2 (en) Method and system for storing data in compliance with a compression handling instruction
US11042328B2 (en) Storage apparatus and method for autonomous space compaction
WO2017132797A1 (zh) 数据整理方法、存储设备、存储控制器以及存储阵列
CN112214166A (zh) 用于传输数据处理请求的方法和装置
JP2008225558A (ja) データ中継集積回路、データ中継装置およびデータ中継方法
EP3396554A1 (en) Backup control method and backup control device
CN110896408A (zh) 一种数据处理方法及服务器集群
CN114465770A (zh) 数据处理方法及相关装置
CN112905575A (zh) 数据采集的方法、系统、存储介质及电子设备
CN105074654A (zh) 用于存储设备上的文件系统命令的特权化执行支持的方法和系统
CN110858147B (zh) Mcu信息获取方法及终端设备
CN117424888A (zh) 一种文件传输方法、文件传输系统以及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant