CN114661624A - 一种数据高效采集存储方法、系统、设备和存储介质 - Google Patents

一种数据高效采集存储方法、系统、设备和存储介质 Download PDF

Info

Publication number
CN114661624A
CN114661624A CN202210237493.5A CN202210237493A CN114661624A CN 114661624 A CN114661624 A CN 114661624A CN 202210237493 A CN202210237493 A CN 202210237493A CN 114661624 A CN114661624 A CN 114661624A
Authority
CN
China
Prior art keywords
data
buffer area
storage
annular
reading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210237493.5A
Other languages
English (en)
Inventor
李辰
姚远
孙逸奇
高成超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Weishi Rui Technology Co ltd
Original Assignee
Beijing Weishi Rui Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Weishi Rui Technology Co ltd filed Critical Beijing Weishi Rui Technology Co ltd
Priority to CN202210237493.5A priority Critical patent/CN114661624A/zh
Publication of CN114661624A publication Critical patent/CN114661624A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/023—Free address space management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0866—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches for peripheral storage systems, e.g. disk cache
    • G06F12/0871—Allocation or management of cache space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种数据高效采集存储方法、系统、设备和存储介质，方法包括：步骤1，主线程发起数据采集任务；步骤2，唤醒写入线程开辟一个固定大小的环形数据缓冲区；步骤3，写入线程执行写入操作流程将采集到的数据写入环形数据缓冲区；步骤4，唤醒读取线程根据写入后的数据执行读取操作流程，得到子存储数据，并将子存储数据在环形数据缓冲区对应的地址空间释放；步骤5，重复执行步骤3和步骤4累积子存储数据量，直至子存储数据的大小达到被采集文件大小，得到总存储数据；步骤6，将总存储数据保存至本地文件，等待主线程发起下次数据采集任务，返回步骤1，来解决丢包问题，提高数据缓存的效率和准确性，并且适用于大数据量的采集存储。

Description

一种数据高效采集存储方法、系统、设备和存储介质
技术领域
本发明涉及数据处理技术领域，具体涉及一种数据高效采集存储方法、系统设备和存储介质。
背景技术
随着科技的发展技术的进步，人们对数据进行的处理任务越来越重，大量的珍贵数据往往需要先在本地进行高速数据永久性存储，进而在需要的时候回放。这对数据采集流程的要求也越来越高，对于大容量数据进行存储时，由于传输限制等问题经常导致数据丢失，从而无法保证数据的完成性。
目前有以下几种技术方案来解决上述问题：第一种方式，直接在内存中开辟较大内存，采集数据至内存中，待申请的内存使用完后，停止采集然后将数据写入硬盘中；第二种方式，利用中断方式将采集到的一个个数据块直接送往硬盘存储；第三种方式，双缓冲区模式，先对第一个缓冲区进行数据写入，待第一个缓冲区写满后，移至第二个缓冲区继续写入，同时利用多线程技术对第一个缓冲区进行读操作。第一种方式受内存空间限制，存储数据有限，不能进行较长时间连续存储；第二种方式容易出现丢包问题，而丢失较多的数据；第三种方式更换缓冲区时，容易丢失个别数据。因此研究高性能的数据采集存储方法非常有必要。
发明内容
为了解决现有数据采集存储效率低准确性差的技术问题，本发明实施例创新的提出了一种数据高效采集存储方法、系统、设备和存储介质，解决丢包问题，提高数据缓存的效率和准确性，并且可以适用于大数据量的采集存储。
为解决上述技术问题，本发明提供以下技术方案：
第一方面，本发明提供一种数据高效采集存储方法，该方法包括如下步骤，
步骤1，主线程发起数据采集任务；
步骤2，唤醒写入线程开辟一个固定大小的环形数据缓冲区；
步骤3，写入线程执行写入操作流程将采集到的数据写入环形数据缓冲区；
步骤4，唤醒读取线程根据写入后的数据执行读取操作流程，得到子存储数据，并将子存储数据在环形数据缓冲区对应的地址空间释放；
步骤5，重复执行步骤3和步骤4不断累积子存储数据量，直至子存储数据的大小达到被采集文件大小，得到总存储数据；
步骤6，将总存储数据保存在本地文件中，等待主线程发起下次数据采集任务，返回步骤1。
进一步地，步骤3中，所述写入操作流程包括如下步骤：
步骤3.1，判断环形数据缓冲区剩余地址空间是否可以完整存储采集到的数据：如果是，则执行步骤3.2；如果否，在执行步骤3.3；
步骤3.2，将采集到的数据存储至环形数据缓冲区，并将环形数据缓冲区的写指针移动至本次环形数据缓冲区写入位置末端，并计算写指针当前地址信息及环形数据缓冲区剩余地址空间的大小；
步骤3.3，将采集到的数据部分存储至环形数据缓冲区的末尾，等待读取操作流程释放地址空间后将未存储的部分数据从环形数据缓冲区头部依次存储。
进一步地，步骤4中，所述读取操作流程包括如下步骤：
步骤4.1，判断采集到的数据是否已经存储至最小可读取块：如果是，则执行步骤4.2；如果否，在执行步骤4.3；
步骤4.2，将环形数据缓冲区的读指针移动至本次环形数据缓冲区读取位置末端，并计算可读取地址空间位置，将已读取地址空间标记为可写入部分；
步骤4.3，跳出本次读取，等待下次读取。
进一步地，采集存储方法还包括步骤7；
步骤1中，主线程发起数据采集任务之前需要指定被采集文件大小以及被采集文件位置；
步骤7，指定回放文件，利用回放软件对本地文件存储的数据进行回放。
第二方面，本发明提供一种数据高效采集存储系统，该系统包括：
数据采集发起模块：用于主线程发起数据采集任务；
缓冲区开辟模块：用于唤醒写入线程开辟一个固定大小的环形数据缓冲区；
数据写入模块：用于写入线程执行写入操作流程将采集到的数据写入环形数据缓冲区；
数据读取模块；用于唤醒读取线程根据写入后的数据执行读取操作流程，得到子存储数据，并将子存储数据在环形数据缓冲区对应的地址空间释放；
数据累积模块；用于重复执行数据写入模块和数据读取模块的流程不断累积子存储数据量，直至子存储数据的大小达到被采集文件大小，得到总存储数据；
数据存储模块，用于将总存储数据保存在本地文件中，并等待主线程发起下次数据采集任务。
进一步地，所述数据写入模块中的写入操作流程包括如下步骤：
步骤3.1，判断环形数据缓冲区剩余地址空间是否可以完整存储采集到的数据：如果是，则执行步骤3.2；如果否，在执行步骤3.3；
步骤3.2，将采集到的数据存储至环形数据缓冲区，并将环形数据缓冲区的写指针移动至本次环形数据缓冲区写入位置末端，并计算写指针当前地址信息及环形数据缓冲区剩余地址空间的大小；
步骤3.3，将采集到的数据部分存储至环形数据缓冲区的末尾，等待读取操作流程释放地址空间后将未存储的部分数据从环形数据缓冲区头部依次存储。
进一步地，所述数据读取模块中的读取操作流程包括如下步骤：
步骤4.1，判断采集到的数据是否已经存储至最小可读取块：如果是，则执行步骤4.2；如果否，在执行步骤4.3；
步骤4.2，将环形数据缓冲区的读指针移动至本次环形数据缓冲区读取位置末端，并计算可读取地址空间位置，将已读取地址空间标记为可写入部分；
步骤4.3，跳出本次读取，等待下次读取。
进一步地，所述数据采集发起模块中主线程发起数据采集任务之前需要指定被采集文件大小以及被采集文件位置；
还包括数据回放模块；用于指定回放文件，利用回放软件对本地文件存储的数据进行回放。
第三方面，本发明提供一种电子设备，包括：
处理器、存储器、与网关通信的接口；
存储器用于存储程序和数据，所述处理器调用存储器存储的程序，以执行第一方面任一项提供的一种数据高效采集存储方法。
第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质包括程序，所述程序在被处理器执行时用于执行第一方面任一项提供的一种数据高效采集存储方法。
从上述描述可知，本发明实施例提供一种数据高效采集存储方法，采用环形数据缓冲区来完成数据的高速采集存储功能，采集过程中只开辟一次地址空间，极大的减少频繁开辟地址的操作，有效解决了丢包问题，提高了数据缓存的准确性；其次子存储数据在存储时需要累积到被采集文件大小才能存储至本地文件中，进而减少存储次数，提高了数据缓存的效率；并且在每次获取子存储数据后释放环形数据缓冲区对应的地址空间，达到重复利用环形数据缓冲区的地址空间的目的，摆脱大容量数据采集存储受内存因素的限制，进而适用于大容量数据的采集及存储。
附图说明
图1所示为本发明一实施例提供的数据高效采集存储方法的流程示意图；
图2所示为本发明一实施例提供的数据高效采集存储系统的结构示意图；
图3所示为本发明一实施例中的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明白，以下结合附图及具体实施方式对本发明作进一步说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
基于现有技术的缺点，本发明实施例提供了一种一种数据高效采集存储方法的具体实施方式，如图1所示，该方法具体包括包括如下步骤：
步骤1，由主线程发起数据采集任务；
具体地，在步骤1中，主线程发起数据采集任务之前需要指定被采集文件大小以及被采集文件位置，提前明确采集任务，减少其它冗余操作，进而进行有目的的数据采集任务，提高数据采集任务的效率；
步骤2，唤醒写入线程开辟一个固定大小的环形数据缓冲区；
具体地，环形数据缓冲区的大小可以设置为512KB，当然并不排除将环形数据缓冲区的大小根据实际情况默认设置为其它数值。
步骤3，写入线程执行写入操作流程将采集到的数据写入环形数据缓冲区；
具体地，在步骤3中，写入操作流程包括如下步骤：
步骤3.1，判断环形数据缓冲区剩余地址空间是否可以完整存储采集到的数据：如果是，则执行步骤3.2；如果否，在执行步骤3.3；
步骤3.2，将采集到的数据存储至环形数据缓冲区，并将环形数据缓冲区的写指针移动至本次环形数据缓冲区写入位置末端，并计算写指针当前地址信息及环形数据缓冲区剩余地址空间的大小；
步骤3.3，将采集到的数据部分存储至环形数据缓冲区的末尾，等待读取操作流程释放地址空间后将未存储的部分数据从环形数据缓冲区头部依次存储。
在步骤3中，写入操作流程通过写指针进行顺序控制，每次写入操作流程完毕后写指针就会根据写入的数据对应向下移动，以便于写入环形数据缓冲区的数据均可被读取线程顺序读取，将未能一次性写入环形数据缓冲区的数据从读取操作流程释放地址空间依次存储，形成写入操作流程的循环，数据写入操作顺序循环进行，可以有效避免采集到的数据在写入过程中丢失。
步骤4，唤醒读取线程根据写入后的数据执行读取操作流程，得到子存储数据，并将子存储数据在环形数据缓冲区对应的地址空间释放；
具体地，在步骤4中，读取操作流程包括如下步骤：
步骤4.1，判断采集到的数据是否已经存储至最小可读取块：如果是，则执行步骤4.2；如果否，在执行步骤4.3；
步骤4.2，将环形数据缓冲区的读指针移动至本次环形数据缓冲区读取位置末端，并计算可读取地址空间位置，将已读取地址空间标记为可写入部分；
步骤4.3，跳出本次读取，等待下次读取。
在步骤4中，在进行读取操作前首先需要判断步骤3中采集到的数据是否存入了读取线程可以进行读取的最小可读取块中，可以有效避免空读造成的资源浪费；在数据读取过程中利用读指针进行顺序控制，每次读取操作流程完毕后，读指针就会根据已经读取完成的数据对应向下移动，并且在每次释放环形数据缓冲区的地址空间时生成子存储数据，保证了数据读取的完整性；释放的地址空间可以用于下次写入操作流程，达到环形数据缓冲区的重复利用的目的。
步骤5，重复执行步骤3和步骤4不断累积子存储数据量，直至子存储数据的大小达到被采集文件大小，得到总存储数据；
在本步骤中，步骤3和步骤4被重复执行，进而使得子存储数据在存储时需要累积到被采集文件大小才能存储至本地文件中，进而减少存储次数，提高数据缓存效率。
步骤6，将总存储数据保存在本地文件中，等待主线程发起下次数据采集任务，返回步骤1；
步骤7，指定回放文件，利用回放软件对本地文件存储的数据进行回放。
在步骤7中，实际生产中回放软件嵌入至下位机中，而下位机通常与信号设备连接，通过回放软件对本地文件存储的数据的采集以及读取，可以获得信号设备的历史状态，从而实现对信号设备状态的追踪，依据下位机记录的设备状态消息，实现对选定时间段的信号设备状态历史数据的获取，通过对每秒钟设备状态数据的逐步扫描方式，实现对历史信号设备状态以及信号设备故障的排查。
综上所述，本发明采用环形数据缓冲区来完成数据的高速采集存储功能，采集过程中只开辟一次地址空间，极大的减少频繁开辟地址的操作，有效解决了丢包问题，提高了数据缓存的准确性；其次子存储数据在存储时需要累积到被采集文件大小才能存储至本地文件中，进而减少存储次数，提高了数据缓存的效率；并且在每次获取子存储数据后释放环形数据缓冲区对应的地址空间，达到重复利用环形数据缓冲区的地址空间的目的，摆脱大容量数据采集存储受内存因素的限制，进而适用于大容量数据的采集及存储。
基于同一发明构思，本申请实施例还提供了一种数据高效采集存储系统，可以用于实现上述实施例所描述的一种数据高效采集存储方法，如下面的实施例所述。由于一种数据高效采集存储系统解决问题的原理与一种数据高效采集存储方法相似，因此一种数据高效采集存储系统的实施可以参见一种数据高效采集存储方法实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
本发明提供了一种数据高效采集存储系统，如图2所示，在图2中，该系统包括：
数据采集发起模块210：用于主线程发起数据采集任务；
缓冲区开辟模块220：用于唤醒写入线程开辟一个固定大小的环形数据缓冲区；
数据写入模块230：用于写入线程执行写入操作流程将采集到的数据写入环形数据缓冲区；
数据读取模块240；用于唤醒读取线程根据写入后的数据执行读取操作流程，得到子存储数据，并将子存储数据在环形数据缓冲区对应的地址空间释放；
数据累积模块250；用于重复执行数据写入模块和数据读取模块的流程不断累积子存储数据量，直至子存储数据的大小达到被采集文件大小，得到总存储数据；
数据存储模块260，用于将总存储数据保存在本地文件中，并等待主线程发起下次数据采集任务。
进一步地，本发明一实施例的数据高效采集存储系统，数据写入模块230中的写入操作流程包括如下步骤：
步骤3.1，判断环形数据缓冲区剩余地址空间是否可以完整存储采集到的数据：如果是，则执行步骤3.2；如果否，在执行步骤3.3；
步骤3.2，将采集到的数据存储至环形数据缓冲区，并将环形数据缓冲区的写指针移动至本次环形数据缓冲区写入位置末端，并计算写指针当前地址信息及环形数据缓冲区剩余地址空间的大小；
步骤3.3，将采集到的数据部分存储至环形数据缓冲区的末尾，等待读取操作流程释放地址空间后将未存储的部分数据从环形数据缓冲区头部依次存储。
进一步地，本发明一实施例的数据高效采集存储系统，数据读取模块240中的读取操作流程包括如下步骤：
步骤4.1，判断采集到的数据是否已经存储至最小可读取块：如果是，则执行步骤4.2；如果否，在执行步骤4.3；
步骤4.2，将环形数据缓冲区的读指针移动至本次环形数据缓冲区读取位置末端，并计算可读取地址空间位置，将已读取地址空间标记为可写入部分；
步骤4.3，跳出本次读取，等待下次读取。
进一步地，本发明一实施例的数据高效采集存储系统，数据采集发起模块210中主线程发起数据采集任务之前需要指定被采集文件大小以及被采集文件位置；
还包括数据回放模块270；用于指定回放文件，利用回放软件对本地文件存储的数据进行回放。
本申请的实施例还提供能够实现上述实施例中的一种数据高效采集存储方法中全部步骤的一种电子设备的具体实施方式，参见图3，电子设备300具体包括如下内容：
处理器310、存储器320、通信单元330和总线340；
其中，处理器310、存储器320、通信单元330通过总线340完成相互间的通信；通信单元330用于实现服务器端设备以及终端设备等相关设备之间的信息传输。
处理器310用于调用存储器320中的计算机程序，处理器执行计算机程序时实现上述实施例中的一种数据高效采集存储方法中的全部步骤。
本领域普通技术人员应理解：存储器可以是，但不限于，随机存取存储器(RandomAccess Memory，简称：RAM)，只读存储器(Read Only Memory，简称：ROM)，可编程只读存储器(Programmable Read-OnlyMemory，简称：PROM)，可擦除只读存储器(ErasableProgrammable Read-Only Memory，简称：EPROM)，电可擦除只读存储器(ElectricErasable Programmable Read-Only Memory，简称：EEPROM)等。其中，存储器用于存储程序，处理器在接收到执行指令后，执行程序。进一步地，上述存储器内的软件程序以及模块还可包括操作系统，其可包括各种用于管理系统任务(例如内存管理、存储设备控制、电源管理等)的软件组件和/或驱动，并可与各种硬件或软件组件相互通信，从而提供其他软件组件的运行环境。
处理器可以是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称：CPU)、网络处理器(NetworkProcessor，简称：NP)等。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质包括程序，所述程序在被处理器执行时用于执行前述任一方法实施例提供的一种数据高效采集存储方法。
本领域普通技术人员应理解：实现上述各一种数据高效采集存储方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质，具体的介质类型本申请不做限制。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (10)

1.一种数据高效采集存储方法，其特征在于，该方法包括如下步骤，
步骤1，主线程发起数据采集任务；
步骤2，唤醒写入线程开辟一个固定大小的环形数据缓冲区；
步骤3，写入线程执行写入操作流程将采集到的数据写入环形数据缓冲区；
步骤4，唤醒读取线程根据写入后的数据执行读取操作流程，得到子存储数据，并将子存储数据在环形数据缓冲区对应的地址空间释放；
步骤5，重复执行步骤3和步骤4不断累积子存储数据量，直至子存储数据的大小达到被采集文件大小，得到总存储数据；
步骤6，将总存储数据保存在本地文件中，等待主线程发起下次数据采集任务，返回步骤1。
2.如权利要求1所述的一种数据高效采集存储方法，其特征在于，
步骤3中，所述写入操作流程包括如下步骤：
步骤3.1，判断环形数据缓冲区剩余地址空间是否可以完整存储采集到的数据：如果是，则执行步骤3.2；如果否，在执行步骤3.3；
步骤3.2，将采集到的数据存储至环形数据缓冲区，并将环形数据缓冲区的写指针移动至本次环形数据缓冲区写入位置末端，并计算写指针当前地址信息及环形数据缓冲区剩余地址空间的大小；
步骤3.3，将采集到的数据部分存储至环形数据缓冲区的末尾，等待读取操作流程释放地址空间后将未存储的部分数据从环形数据缓冲区头部依次存储。
3.如权利要求1所述的一种数据高效采集存储方法，其特征在于，
步骤4中，所述读取操作流程包括如下步骤：
步骤4.1，判断采集到的数据是否已经存储至最小可读取块：如果是，则执行步骤4.2；如果否，在执行步骤4.3；
步骤4.2，将环形数据缓冲区的读指针移动至本次环形数据缓冲区读取位置末端，并计算可读取地址空间位置，将已读取地址空间标记为可写入部分；
步骤4.3，跳出本次读取，等待下次读取。
4.如权利要求1所述的一种数据高效采集存储方法，其特征在于，还包括步骤7；
步骤1中，主线程发起数据采集任务之前需要指定被采集文件大小以及被采集文件位置；
步骤7，指定回放文件，利用回放软件对本地文件存储的数据进行回放。
5.一种数据高效采集存储系统，其特征在于，包括：
数据采集发起模块：用于主线程发起数据采集任务；
缓冲区开辟模块：用于唤醒写入线程开辟一个固定大小的环形数据缓冲区；
数据写入模块：用于写入线程执行写入操作流程将采集到的数据写入环形数据缓冲区；
数据读取模块；用于唤醒读取线程根据写入后的数据执行读取操作流程，得到子存储数据，并将子存储数据在环形数据缓冲区对应的地址空间释放；
数据累积模块；用于重复执行数据写入模块和数据读取模块的流程不断累积子存储数据量，直至子存储数据的大小达到被采集文件大小，得到总存储数据；
数据存储模块，用于将总存储数据保存在本地文件中，并等待主线程发起下次数据采集任务。
6.如权利要求5所述的数据高效采集存储系统，其特征在于，所述数据写入模块中的写入操作流程包括如下步骤：
步骤3.1，判断环形数据缓冲区剩余地址空间是否可以完整存储采集到的数据：如果是，则执行步骤3.2；如果否，在执行步骤3.3；
步骤3.2，将采集到的数据存储至环形数据缓冲区，并将环形数据缓冲区的写指针移动至本次环形数据缓冲区写入位置末端，并计算写指针当前地址信息及环形数据缓冲区剩余地址空间的大小；
步骤3.3，将采集到的数据部分存储至环形数据缓冲区的末尾，等待读取操作流程释放地址空间后将未存储的部分数据从环形数据缓冲区头部依次存储。
7.如权利要求5所述的数据高效采集存储系统，其特征在于，所述数据读取模块中的读取操作流程包括如下步骤：
步骤4.1，判断采集到的数据是否已经存储至最小可读取块：如果是，则执行步骤4.2；如果否，在执行步骤4.3；
步骤4.2，将环形数据缓冲区的读指针移动至本次环形数据缓冲区读取位置末端，并计算可读取地址空间位置，将已读取地址空间标记为可写入部分；
步骤4.3，跳出本次读取，等待下次读取。
8.如权利要求5所述的数据高效采集存储系统，其特征在于，
所述数据采集发起模块中主线程发起数据采集任务之前需要指定被采集文件大小以及被采集文件位置；
还包括数据回放模块；用于指定回放文件，利用回放软件对本地文件存储的数据进行回放。
9.一种电子设备，其特征在于，包括：
处理器、存储器、与网关通信的接口；
存储器用于存储程序和数据，所述处理器调用存储器存储的程序，以执行权利要求1至4任一项所述的一种数据高效采集存储方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括程序，所述程序在被处理器执行时用于执行权利要求1至4任一项所述的一种数据高效采集存储方法。
CN202210237493.5A 2022-03-10 2022-03-10 一种数据高效采集存储方法、系统、设备和存储介质 Pending CN114661624A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210237493.5A CN114661624A (zh) 2022-03-10 2022-03-10 一种数据高效采集存储方法、系统、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210237493.5A CN114661624A (zh) 2022-03-10 2022-03-10 一种数据高效采集存储方法、系统、设备和存储介质

Publications (1)

Publication Number Publication Date
CN114661624A true CN114661624A (zh) 2022-06-24

Family

ID=82028556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210237493.5A Pending CN114661624A (zh) 2022-03-10 2022-03-10 一种数据高效采集存储方法、系统、设备和存储介质

Country Status (1)

Country Link
CN (1) CN114661624A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116028387A (zh) * 2023-01-31 2023-04-28 惠州市海葵信息技术有限公司 数据处理方法、从站、主站以及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116028387A (zh) * 2023-01-31 2023-04-28 惠州市海葵信息技术有限公司 数据处理方法、从站、主站以及存储介质

Similar Documents

Publication Publication Date Title
CN107643880A (zh) 基于分布式文件系统的文件数据迁移的方法及装置
CN103092700A (zh) 内存清理方法、装置和终端设备
US8266371B2 (en) Non-volatile storage device, host device, non-volatile storage system, data recording method, and program
CN110795400B (zh) 一种文件的管理方法、装置、设备及介质
CN106569913B (zh) 终端备份数据的方法及装置
CN109614045B (zh) 一种元数据落盘方法、装置及相关设备
CN103136215A (zh) 存储系统的数据读写方法和装置
CN114661624A (zh) 一种数据高效采集存储方法、系统、设备和存储介质
CN108829345B (zh) 日志文件的数据处理方法和终端设备
CN108170571B (zh) 一种芯片追踪调试装置及方法
CN102073578A (zh) 系统事件日志记录方法
CN112286454A (zh) 一种位图同步方法、装置及电子设备和存储介质
CN105488047A (zh) 元数据读写方法和装置
CN111611433B (zh) 一种视频的处理方法、装置、设备及介质
CN112068948B (zh) 数据散列方法、可读存储介质和电子设备
CN115794446B (zh) 一种消息处理方法、装置、电子设备和存储介质
CN111176571A (zh) 一种本地对象的管理方法、装置、设备及介质
CN106959888B (zh) 云存储系统中的任务处理方法及装置
CN106682082A (zh) 一种数据库的写方法和装置
CN109194500B (zh) 转发表状态切换方法、装置及通信设备
CN105706067A (zh) 内置闪存的微型计算机、向内置于微型计算机的闪存的数据写入方法、以及向闪存写入数据的程序
CN111078122B (zh) 数据处理方法、装置和设备
CN115079959B (zh) 一种文件管理的方法、装置及电子设备
CN117762317A (zh) 一种数据存储方法、装置、终端设备、无人车和存储介质
CN117591703A (zh) 一种图数据优化方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination