CN112181275A - 一种数据处理器及数据处理方法 - Google Patents

一种数据处理器及数据处理方法 Download PDF

Info

Publication number
CN112181275A
CN112181275A CN201910585568.7A CN201910585568A CN112181275A CN 112181275 A CN112181275 A CN 112181275A CN 201910585568 A CN201910585568 A CN 201910585568A CN 112181275 A CN112181275 A CN 112181275A
Authority
CN
China
Prior art keywords
data
circular buffer
physical memory
read
buffer area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910585568.7A
Other languages
English (en)
Inventor
黄柏满
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huiruisitong Information Technology Co Ltd
Original Assignee
Guangzhou Huiruisitong Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huiruisitong Information Technology Co Ltd filed Critical Guangzhou Huiruisitong Information Technology Co Ltd
Priority to CN201910585568.7A priority Critical patent/CN112181275A/zh
Publication of CN112181275A publication Critical patent/CN112181275A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Transfer Systems (AREA)

Abstract

本发明实施例提出的一种数据处理器及数据处理方法，通过设置第一循环缓冲区对与数据处理器通信连接的物理内存进行映射，再通过第一数据读写模块根据第一循环缓冲区与物理内存的映射关系，读取物理内存中的数据，将物理内存中的数据存储到第二循环缓冲区中。由于循环缓冲区的数据存储速度很快，所以通过上述方案可以快速的将物理内存中的数据取出，避免因为物理内存中的数据没有及时取出而导致未取出的数据被后续存储至物理内存中的数据覆盖，所造成的数据的丢失和损坏，而且将物理内存中的数据取出后，物理内存就可以重新写入数据，提高了物理内存的利用率。

Description

一种数据处理器及数据处理方法
技术领域
本发明实施例涉及数据处理技术领域，具体涉及一种数据处理器及数据处理方法。
背景技术
通过现有技术将DSP芯片(Digital Signal Processing即数字信号处理技术)的物理内存中存储的多路数据存储至U盘、移动硬盘等存储设备中时，常常由于存储设备的写入速度过慢，使得物理内存中的数据无法被及时取出，导致物理内部中没有来得及取出的数据被新写入的数据覆盖，进而导致数据的丢失。
上述对问题的发现过程的描述，仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本发明实施例提供了一种数据处理器及数据处理方法。
有鉴于此，第一方面，本发明实施例提供一种数据处理器，包括：
第一循环缓冲区、第二循环缓冲区和第一数据读写模块；
所述第一循环缓冲区用于映射与数据处理器通信连接的物理内存；
所述第一数据读写模块用于根据所述第一循环缓冲区与所述物理内存的映射关系读取所述物理内存中的数据，并将读取的数据写入所述第二循环缓冲区。
在一个可能的实施方式中，所述数据包含数据通道号和标志位，所述数据标志位用于标识数据是否可读，所述第一循环缓冲区和第二循环缓冲区均由预设长度的数据块组成，所述数据块的头部信息包含数据块中存储的数据的标志位和数据通道号。
在一个可能的实施方式中，所述数据处理器还包括：第二数据读写模块和数据文件创建模块；
所述第二数据读写模块用于读取所述第二循环缓冲区中的数据；
所述数据文件创建模块，用于在与所述数据处理器连接的存储设备中建立与所述第二数据读写模块读取的数据对应的数据文件；
所述第二数据读写模块将从所述第二循环缓冲区中读取的数据，分别写入对应的数据文件中。
在一个可能的实施方式中，所述数据处理器还包括：数据监控模块和控制模块；
所述数据监控模块，用于监控与所述第二循环缓冲区中存储数据对应的数据通道中是否有数据传输；
所述控制模块，用于在数据对应的数据通道中持续预设时长没有数据传输时，关闭与数据对应的数据文件。
第二方面，本申请实施例中还提供一种数据处理方法，应用于第一方面所述的数据处理器，所述数据处理方法包括：
第一循环缓冲区映射与数据处理器通信连接的物理内存；
第一数据读写模块根据所述第一循环缓冲区与所述物理内存的映射关系读取所述物理内存中的数据；
所述第一数据读写模块将读取的所述物理内存中的数据写入第二循环缓冲区。
在一个可能的实施方式中，所述第一数据读写模块根据所述第一循环缓冲区与所述物理内存的映射关系读取所述物理内存中的数据，包括：
所述第一数据读写模块获取所述第一循环缓冲区中各数据块的头部信息；
根据所述头部信息中的标志位确定所述第一循环缓冲区中数据可读的数据块；
根据所述第一循环缓冲区与所述物理内存的映射关系，确定所述数据可读的数据块中的数据的物理地址；
根据所述物理地址读取所述物理内存中的数据。
在一个可能的实施方式中，所述数据处理方法还包括：
第二数据读写模块从所述第二循环缓冲区中读取数据；
数据文件创建模块在与所述数据处理器连接的存储设备中建立与所述第二数据读写模块读取的数据对应的数据文件；
所述第二数据读写模块将从所述第二循环缓冲区中读取的数据，分别写入对应的数据文件中。
在一个可能的实施方式中，所述数据处理方法还包括：
数据监控模块监控与所述第二循环缓冲区中存储的数据分别对应的数据通道中是否有数据传输；
控制模块在数据对应的数据通道中持续预设时长没有数据传输时，关闭与数据对应的数据文件。
相比现有技术，本发明实施例提出的一种数据处理器，通过设置第一循环缓冲区对与数据处理器通信连接的物理内存进行映射，再通过第一数据读写模块根据第一循环缓冲区与物理内存的映射关系，读取物理内存中的数据，将物理内存中的数据存储到第二循环缓冲区中。由于循环缓冲区的数据存储速度很快，所以通过上述方案可以快速的将物理内存中的数据取出，避免因为物理内存中的数据没有及时取出而导致未取出的数据被后续存储至物理内存中的数据覆盖，所造成的数据的丢失和损坏，而且将物理内存中的数据取出后，物理内存就可以重新写入数据，提高了物理内存的利用率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的一种数据处理器的框图；
图2为本发明实施例一提供的另一种数据处理器的框图；
图3为本发明实施例二提供的一种数据处理器的框图；
图4为本发明实施例三提供的一种数据处理方法的流程图；
图5为本发明实施例三提供的另一种数据处理方法的流程图；
图6为本发明实施例提供的一种循环缓冲区的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了方便对数据的使用，用户通常会将DSP等设备的物理内存中存储的数据存储到U盘、移动硬盘等便于携带的存储设备中，但是由于U盘、移动硬盘等存储设备的写入数据比较慢，导致物理内存中的数据取出也慢，这就导致在将物理内存中的多路数据存储至存储设备中时，很容易发生物理内存中的数据没来得及取出，就被新写入的数据覆盖，导致了数据丢失。
所以为了方式上述情况的发生，应该提高物理内存中数据的取出速度。
本申请实施例提供了一种数据处理器，通过本申请提供的数据处理器将物理内存中的数据存储至存储设备中，可以加快物理内存中数据的取出速度，进而避免发生物理内存中未来得及取出的数据被覆盖。
实施例一
图1为本发明实施例提供了一种数据处理器的框图，如图1所述，该数据处理器包括：
第一循环缓冲区、第二循环缓冲区和第一数据读写模块。
所述第一循环缓冲区用于映射与数据处理器通信连接的物理内存，其中所述物理内存可以为与所述数据处理器通信连接的DSP芯片中物理内存。
所述第一数据读写模块用于根据所述第一循环缓冲区与所述物理内存的映射关系读取所述物理内存中的数据，并将读取的数据写入所述第二循环缓冲区，其中所述物理内存中的数据可以为DSP抓取的n路数据，n>＝1，数据可以为语音数据或其他数据，此处不做限定。
在本申请实施例中，该数据处理器与物理内存通信连接，第一循环缓冲区中设有虚拟内存，数据处理器将与其通信连接的物理内存映射到第一循环缓冲区的虚拟内存中，进而得到与物理内存中存储的数据的物理地址对应的虚拟地址，然后第一数据读写模块在读取物理内存中的数据时，根据第一循环缓冲区中的虚拟地址找到与虚拟地址存在映射关系的物理地址，进而根据物理地址从物理内存中读取数据，这种通过虚拟地址访问物理内存的方式具有如下优点：
1.数据处理器可以使用一系列相邻的虚拟地址来访问物理内存中不相邻内存缓冲区。
2.数据处理器可以使用一系列虚拟地址来访问大于可用物理内存的内存缓冲区。当物理内存的供应量变小时，内存管理器会将物理内存页(通常大小为4KB)保存到磁盘文件中，数据或代码页会根据需要在物理内存与磁盘之间移动。
3.不同进程使用的虚拟地址彼此隔离，一个进程中的代码无法更改正在由另一进程或操作系统使用的物理内存，及其他进程不会对数据处理器的进程造成影响。
通过本申请实施例提供的数据处理器，根据第一循环缓冲区与物理内存的映射关系，将物理内存中的数据复制到第二循环缓冲区中的速度远高于将物理内存中的数据直接写入存储设备的速度，所述通过本申请提供的数据处理器可以快速将物理内存中的数据取出，避免物理内存数据取出过慢，导致的数据被覆盖。
现有的循环缓冲区由数据块组成，数据块的长度决定了数据块中能写入的数据的多少，所以在向循环缓冲区中写入(存储)数据时，需要先对循环缓冲区中的数据块的长度进行解析，确定循环缓冲区中各数据块的长度，然后根据数据块的长度获取相应数量的数据进行写入，由于在数据写入循环缓冲区之前要对循环缓冲区中的数据块长度进行解析，很耗费时间，使得数据传输的速度减慢。所以为了解决这一问题，在一个可能的实施例中，本申请提供的第一循环缓冲区和第二循环缓冲区是由固定长度的数据块组成的，数据块的长度为预设长度，而预设长度的值可以根据需求自行设定，此处不做限定，因为数据块的长度是一个预设的定值，所以在向第一循环缓冲区和第二循环缓冲区中写入数据时，无需再解析数据块的长度，减少了数据传输的耗时，进而提高了数据传输速度。第一循环缓冲区和第二循环缓冲区中的数据块分布如图6所示，其中N表示数据块的个数，数据块的头部包含头部信息，头部信息里包含有标志位和语音通道号，其中标志位标识数据块中的数据是否可读，当数据块中的数据被读取，数据块中的数据和标志位均会被清除，及时释放空间，数据块头部信息中的数据通道号用于表示存在该数据块中的数据对应的数据通道号，一个数据块只能存储数据通道号一致的数据，数据通道号用于区分不同的数据，在同一数据通道中传输的数据属于同一路数据，其对应的数据通道号一致。标志位和数据通道号属于数据的特性，每个数据均包含有自身对应的标志位和数据通道号。
本申请实施例提供的数据处理器，为了将获取的物理内存中的数据存储至存储设备，在数据处理器中还设置有第二数据读写模块和数据文件创建模块，如图2所示；
所述第二数据读写模块用于读取所述第二循环缓冲区中的数据；
所述数据文件创建模块，用于在与所述数据处理器连接的存储设备中建立与所述第二数据读写模块读取的数据对应的数据文件；
所述第二数据读写模块将从所述第二循环缓冲区中读取的数据，分别写入对应的数据文件中。
在一个可能的实施例中，数据文件与所述的数据通道号对应，一个数据文件对应一个数据通道号，即数据通道号一致的数据存储在同一个数据文件中，这样方便数据的管理和调用。
实施例二
图3为本申请实施例提供的一种数据处理器的框图，如图3所示，该数据处理器包括：
第一循环缓冲区、第二循环缓冲区、第一数据读写模块、第二数据读写模块、数据文件创建模块、数据监控模块和控制模块。
所述第一循环缓冲区用于映射与数据处理器通信连接的物理内存。
所述第一数据读写模块用于根据所述第一循环缓冲区与所述物理内存的映射关系读取所述物理内存中的数据，并将读取的数据写入所述第二循环缓冲区。
所述第二数据读写模块用于读取所述第二循环缓冲区中的数据。
所述数据文件创建模块，用于在与所述数据处理器连接的存储设备中建立与所述第二数据读写模块读取的数据对应的数据文件。
所述第二数据读写模块将从所述第二循环缓冲区中读取的数据，分别写入对应的数据文件中。
所述数据监控模块，用于监控与所述第二循环缓冲区中存储数据对应的数据通道中是否有数据传输。
所述控制模块，用于在数据对应的数据通道中持续预设时长没有数据传输时，关闭与数据对应的数据文件。
现有技术在将数据传输至数据文件中时，只要数据通道中有数据传输就将数据文件打开，数据通道中没有数据传输就将文件关闭，这种方式在传输不连贯的数据(例如语音数据)时，由于数据时断时续，就导致数据文件的频繁打开和关闭，而数据文件的打开和关闭耗时较长，这就导致数据传输所需要的时间增加，导致数据传输效率低下，所以本申请问了解决这一问题在，在数据处理器中设置了数据监控模块和控制模块，所述数据监控模块，用于监控与所述第二循环缓冲区中存储数据对应的数据通道中是否有数据传输。
所述控制模块，用于在数据对应的数据通道中持续预设时长没有数据传输时，关闭与数据对应的数据文件。
其中预设时长的具体取值根据需求设定。
数据监控模块实时监控与第二循环缓冲区中存储的数据对应的数据通道(例如第二循环缓冲区与数据文件之间的数据通道)中的数据传输情况，当监控到某一路或多路数据对应的数据通道中持续预设时长没有数据传输时，就向控制模块发送控制指令，控制模块将关闭与这一路或多路数据对应的数据文件。本申请实施例通过设置数据监控模块，在数据通道中没有数据传输的持续时间达到预设时长时，才关闭对应的数据文件，避免了数据文件的频繁关闭和开启。
实施例三
图4为本发明实施例提供的一种数据处理方法，所述数据处理方法应用于实施例一或二所述的数据处理器，如图3所示，该数据处理方法包括如下步骤：
S401.第一循环缓冲区映射与数据处理器通信连接的物理内存；
S402.第一数据读写模块根据所述第一循环缓冲区与所述物理内存的映射关系读取所述物理内存中的数据；
S403.所述第一数据读写模块将读取的所述物理内存中的数据写入第二循环缓冲区。
在本申请实施例中，该数据处理器与物理内存通信连接，第一循环缓冲区中设有虚拟内存，数据处理器将与其通信连接的物理内存映射到第一循环缓冲区的虚拟内存中，进而得到与物理内存中存储的数据的物理地址对应的虚拟地址，然后第一数据读写模块在读取物理内存中的数据时，根据第一循环缓冲区中的虚拟地址找到与虚拟地址存在映射关系的物理地址，进而根据物理地址从物理内存中读取数据，这种通过虚拟地址访问物理内存的方式具有如下优点：
1.数据处理器可以使用一系列相邻的虚拟地址来访问物理内存中不相邻内存缓冲区。
2.数据处理器可以使用一系列虚拟地址来访问大于可用物理内存的内存缓冲区。当物理内存的供应量变小时，内存管理器会将物理内存页(通常大小为4KB)保存到磁盘文件中，数据或代码页会根据需要在物理内存与磁盘之间移动。
3.不同进程使用的虚拟地址彼此隔离，一个进程中的代码无法更改正在由另一进程或操作系统使用的物理内存，及其他进程不会对数据处理器的进程造成影响。
通过本申请实施例提供的数据处理器，根据第一循环缓冲区与物理内存的映射关系，将物理内存中的数据复制到第二循环缓冲区中的速度远高于将物理内存中的数据直接写入存储设备的速度，所述通过本申请提供的数据处理器可以快速将物理内存中的数据取出，避免物理内存数据取出过慢，导致的数据被覆盖。
在一个可能的实施例中，所述第一数据读写模块根据所述第一循环缓冲区与所述物理内存的映射关系读取所述物理内存中的数据，包括：
所述第一数据读写模块获取所述第一循环缓冲区中各数据块的头部信息。
根据所述头部信息中的标志位确定所述第一循环缓冲区中数据可读的数据块，即标志位显示为可读的数据块。
根据所述第一循环缓冲区与所述物理内存的映射关系，确定所述数据可读的数据块中的数据的物理地址。
根据所述物理地址读取所述物理内存中的数据。
为了方便数据存储中存储设备中，如图5所示，所述数据处理方法还包括：
S404.第二数据读写模块从所述第二循环缓冲区中读取数据。
在一个可能的实施例中，所述第二数据读写模块从所述第二循环缓冲区中读取数据，包括：
所述第二数据读写模块获取所述第二循环缓冲区中各数据块的头部信息。
根据所述头部信息中的标志位确定所述第二循环缓冲区中数据可读的数据块，即标志位显示为可读的数据块。
读取所述数据可读的数据块中存储的数据。
S405.数据文件创建模块在与所述数据处理器连接的存储设备中建立与所述第二数据读写模块读取的数据对应的数据文件。
在一个可能的实施例中，数据文件创建模块根据数据的数据通道号，创建与数据通道号对应的数据文件，一个数据文件对应一个数据通道号。
S406.所述第二数据读写模块将从所述第二循环缓冲区中读取的数据，分别写入对应的数据文件中。
例如数据1的数据通道号为1，则将数据1存储至与数据通道号1对应的数据文件中。
为了避免数据文件的频繁打开和关闭，所述数据处理方法还包括：
数据监控模块监控与所述第二循环缓冲区中存储的数据分别对应的数据通道中是否有数据传输；
控制模块在数据对应的数据通道中持续预设时长没有数据传输时，关闭与数据对应的数据文件。
例如：第二循环缓冲区中共有5路数据，5路数据对应的数据通道号分别为1、2、3、4、5，通过数据监控模块分别监控5路数据对应的数据通道(例如：监控第二循环缓冲区与数据文件之间的数据通道)中是否有数据传输，如果数据通道号为1和2的两个数据通道中没有数据传输的持续时间达到了预设时长，就将与数据通道号1和2分别对应的数据文件关闭。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明各个实施例所述的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法或者实施例的某些部分所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种数据处理器，其特征在于，包括：
第一循环缓冲区、第二循环缓冲区和第一数据读写模块；
所述第一循环缓冲区用于映射与数据处理器通信连接的物理内存；
所述第一数据读写模块用于根据所述第一循环缓冲区与所述物理内存的映射关系读取所述物理内存中的数据，并将读取的数据写入所述第二循环缓冲区。
2.根据权利要求1所述的数据处理器，其特征在于，所述数据包含数据通道号和标志位，所述数据标志位用于标识数据是否可读，所述第一循环缓冲区和第二循环缓冲区均由预设长度的数据块组成，所述数据块的头部信息包含数据块中存储的数据的标志位和数据通道号。
3.根据权利要求1所述的数据处理器，其特征在于，所述数据处理器还包括：第二数据读写模块和数据文件创建模块；
所述第二数据读写模块用于读取所述第二循环缓冲区中的数据；
所述数据文件创建模块，用于在与所述数据处理器连接的存储设备中建立与所述第二数据读写模块读取的数据对应的数据文件；
所述第二数据读写模块将从所述第二循环缓冲区中读取的数据，分别写入对应的数据文件中。
4.根据权利要求3所述的数据处理器，其特征在于，所述数据处理器还包括：数据监控模块和控制模块；
所述数据监控模块，用于监控与所述第二循环缓冲区中存储数据对应的数据通道中是否有数据传输；
所述控制模块，用于在数据对应的数据通道中持续预设时长没有数据传输时，关闭与数据对应的数据文件。
5.一种数据处理方法，其特征在于，应用于权利要求1-4任一所述数据处理器，所述数据处理方法包括：
第一循环缓冲区映射与数据处理器通信连接的物理内存；
第一数据读写模块根据所述第一循环缓冲区与所述物理内存的映射关系读取所述物理内存中的数据；
所述第一数据读写模块将读取的所述物理内存中的数据写入第二循环缓冲区。
6.根据权利要求5所述的数据处理方法，其特征在于，所述第一数据读写模块根据所述第一循环缓冲区与所述物理内存的映射关系读取所述物理内存中的数据，包括：
所述第一数据读写模块获取所述第一循环缓冲区中各数据块的头部信息；
根据所述头部信息中的标志位确定所述第一循环缓冲区中数据可读的数据块；
根据所述第一循环缓冲区与所述物理内存的映射关系，确定所述数据可读的数据块中的数据的物理地址；
根据所述物理地址读取所述物理内存中的数据。
7.根据权利要求5所述的数据处理方法，其特征在于，所述数据处理方法还包括：
第二数据读写模块从所述第二循环缓冲区中读取数据；
数据文件创建模块在与所述数据处理器连接的存储设备中建立与所述第二数据读写模块读取的数据对应的数据文件；
所述第二数据读写模块将从所述第二循环缓冲区中读取的数据，分别写入对应的数据文件中。
8.根据权利要求7所述的数据处理方法，其特征在于，所述数据处理方法还包括：
数据监控模块监控与所述第二循环缓冲区中存储的数据分别对应的数据通道中是否有数据传输；
控制模块在数据对应的数据通道中持续预设时长没有数据传输时，关闭与数据对应的数据文件。
CN201910585568.7A 2019-07-01 2019-07-01 一种数据处理器及数据处理方法 Pending CN112181275A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910585568.7A CN112181275A (zh) 2019-07-01 2019-07-01 一种数据处理器及数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910585568.7A CN112181275A (zh) 2019-07-01 2019-07-01 一种数据处理器及数据处理方法

Publications (1)

Publication Number Publication Date
CN112181275A true CN112181275A (zh) 2021-01-05

Family

ID=73916054

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910585568.7A Pending CN112181275A (zh) 2019-07-01 2019-07-01 一种数据处理器及数据处理方法

Country Status (1)

Country Link
CN (1) CN112181275A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112688696A (zh) * 2021-03-22 2021-04-20 广州慧睿思通科技股份有限公司 有限域编码和译码的方法、装置、设备及存储介质
CN112925758A (zh) * 2021-02-05 2021-06-08 深圳市优必选科技股份有限公司 生成压缩包的方法、装置及终端设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112925758A (zh) * 2021-02-05 2021-06-08 深圳市优必选科技股份有限公司 生成压缩包的方法、装置及终端设备
CN112688696A (zh) * 2021-03-22 2021-04-20 广州慧睿思通科技股份有限公司 有限域编码和译码的方法、装置、设备及存储介质
CN112688696B (zh) * 2021-03-22 2021-07-23 广州慧睿思通科技股份有限公司 有限域编码和译码的方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CA2673434C (en) Memory device performance enhancement through pre-erase mechanism
KR20170097609A (ko) 압축된 데이터 백그라운드를 캐싱하는 장치, 시스템 및 방법
KR100533682B1 (ko) 플래시 메모리의 데이터 관리 장치 및 방법
CN103608866A (zh) 用于闪存存储器的数据擦除方法及装置
EP3142014B1 (en) Method, device and user equipment for reading/writing data in nand flash
JP5347019B2 (ja) キャッシュメモリ装置、キャッシュメモリ制御方法、プログラムおよび集積回路
EP3364303B1 (en) Data arrangement method, storage apparatus, storage controller and storage array
CN106201652B (zh) 一种数据处理方法及虚拟机
CN108664577B (zh) 一种基于flash空闲区的文件管理方法及系统
CN112181275A (zh) 一种数据处理器及数据处理方法
US8595426B2 (en) Handling commands within a write-once read-many storage device configuration
CN107229580A (zh) 顺序流检测方法与装置
CN107102900B (zh) 一种共享内存空间的管理方法
CN115168259A (zh) 一种数据存取方法、装置、设备和计算机可读存储介质
US9804968B2 (en) Storage system and data writing method
CN110286995B (zh) 一种数据读写方法和装置
CN112035378A (zh) 一种数据快速写入flash闪存的方法及系统
CN112463041A (zh) 一种主机读写数据的处理方法及相关装置
JP2009157441A (ja) 情報処理装置、ファイル再配置方法およびプログラム
CN112783420A (zh) 数据删除与垃圾回收方法、设备、系统及存储介质
CN109032859A (zh) 一种nvme ssd逻辑块检测方法、系统及相关装置
CN108073362B (zh) 一种延长PairBlock使用寿命的方法及装置
KR20030095820A (ko) 메모리 억세스 제어장치 및 방법
KR100688463B1 (ko) 물리 메모리의 데이터 기록 및 삭제 방법
CN113934371B (zh) 一种存储器及其数据管理方法和计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 510000 no.2-8, North Street, Nancun Town, Panyu District, Guangzhou City, Guangdong Province

Applicant after: Guangzhou huiruisitong Technology Co.,Ltd.

Address before: 510000 no.2-8, North Street, Nancun Town, Panyu District, Guangzhou City, Guangdong Province

Applicant before: GUANGZHOU HUIRUI SITONG INFORMATION TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information