CN114610951A - 数据处理方法、装置、电子设备及可读存储介质 - Google Patents
数据处理方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN114610951A CN114610951A CN202011444188.0A CN202011444188A CN114610951A CN 114610951 A CN114610951 A CN 114610951A CN 202011444188 A CN202011444188 A CN 202011444188A CN 114610951 A CN114610951 A CN 114610951A
- Authority
- CN
- China
- Prior art keywords
- data
- subdata
- target
- written
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供的一种数据处理方法、装置、电子设备及可读存储介质,在接收到数据读取请求后,基于数据读取请求中携带的待读取的目标数据的索引标记从存储设备存储的数据中获取与索引标记相匹配的数据,若获取的数据是多个携带有顺序标记的目标子数据,则可以根据顺序标记将多个目标子数据合并成目标数据,在本方案中,存储设备中存储的各数据预先设置了索引标记,因此根据索引标记即可获取与待读取的数据对应的数据,若获取到的数据是子数据,则可以根据子数据预设的顺序标记进行数据还原,解决了现有技术中存在的数据无法识别问题。
Description
技术领域
本发明实施例涉及数据处理技术领域,具体涉及一种数据处理方法、装置、电子设备及可读存储介质。
背景技术
针对支持多个数据并发写入的存储设备,在有多个数据并发写入时,若任意数据的大小大于存储设备单次可写入的最大数据量时,为了保证该任意数据可以成功写入存储设备,则对该任意数据进行数据拆分,得到多个大小不大于存储设备单次可写入的最大数据量的子数据,然后将子数据与其他数据并发写入,这就会出现子数据的写入顺序被打乱的情况,并且在有多个数据的拆分得到的子数据并发写入时,这种情况会加剧。
由于数据对应的子数据的写入顺序被打乱,导致在对数据进行读取时会出现数据顺序错乱、无法识别的情况。
上述对问题的发现过程的描述,仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题,本发明实施例提供了一种数据处理方法、装置、电子设备及存储介质。
有鉴于此,第一方面,本发明实施例提供一种数据处理方法,包括:
接收数据读取请求,所述数据读取请求携带有待读取的目标数据的索引标记;
从存储设备预先存储的数据中,获取与所述目标数据的索引标记相匹配的数据;
若获取的数据为多个携带有顺序标记的目标子数据,则根据多个所述目标子数据携带的顺序标记对多个所述目标子数据进行合并,得到目标数据。
作为一种可能的实现方式,所述方法还包括:
接收数据写入请求,所述数据写入请求中携带有待写入数据;
在所述待写入数据的大小大于预设的第一阈值的情况下,对所述待写入数据按照设定规则进行数据拆分,得到多个子数据;
对每个所述子数据设置标识,所述标识包含顺序标记和所述待写入数据的索引标记,所述顺序标记标识所述子数据在所述待写入数据中的顺序;
将多个所述子数据发送至存储设备,以使所述存储设备对多个所述子数据进行存储。
作为一种可能的实现方式,从存储设备中预先存储的数据中,获取与所述目标数据的索引标记相匹配的数据,包括:
基于所述目标数据的索引标记,遍历所述存储设备中存储的数据,获取设置有所述目标数据的索引标记的数据。
作为一种可能的实现方式,将多个所述子数据发送至存储设备,以使所述存储设备对多个所述子数据进行存储,包括:
获取所述存储设备中与所述待写入数据对应的目标存储位置信息;
将多个所述子数据和所述目标存储位置信息并行发送至所述存储设备,以使所述存储设备将多个所述子数据存储至与所述目标存储位置信息对应的目标存储位置。
作为一种可能的实现方式,从存储设备中预先存储的数据中,获取与所述目标数据的索引标记相匹配的数据,包括:
确定所述存储设备中与所述目标数据对应的目标存储位置;
从所述目标存储位置中,获取携带有所述目标数据的索引标记的数据。
作为一种可能的实现方式,对所述待写入数据按照设定规则进行数据拆分,得到多个子数据,包括:
按照子数据大小小于所述第一阈值的规则,对所述待写入数据进行数据拆分,得到多个子数据。
作为一种可能的实现方式,对每个所述子数据设置标识,包括:
按照每个所述子数据在所述待写入数据中的顺序,生成每个所述子数据对应的顺序标记,并获取所述待写入数据的索引标记;
针对任一子数据,将所述待写入数据的索引标记和该子数据对应的顺序标记,作为该子数据对应的标识;
将该子数据对应的标识,插入该子数据中预设的标识插入位置。
第二方面,本发明实施例还提供了一种数据处理装置,包括:
读取请求接收模块,用于接收数据读取请求,所述数据读取请求携带有待读取的目标数据的索引标记;
数据获取模块,用于从存储设备预先存储的数据中,获取与所述目标数据的索引标记相匹配的数据;
数据还原模块,用于若获取的数据为多个携带有顺序标记的目标子数据,则根据多个所述目标子数据携带的顺序标记对多个所述目标子数据进行合并,得到目标数据。
第三方面,本发明实施例还提供了一种电子设备,包括至少一个处理器以及与处理器连接的至少一个存储器、总线;其中,处理器、存储器通过总线完成相互间的通信;处理器用于调用存储器中的程序指令,以执行第一方面所述的数据处理方法的步骤。
第四方面,本发明实施例还提供了一种可读存储介质,所述可读存储介质存储计算机指令,所述计算机指令使计算机执行第一方面所述的数据处理方法的步骤。
相比于现有技术,本发明实施例提供的一种数据处理方法,在接收到数据读取请求后,基于数据读取请求中携带的待读取的目标数据的索引标记从存储设备存储的数据中获取与索引标记相匹配的数据,若获取的数据是多个携带有顺序标记的目标子数据,则可以根据顺序标记将多个目标子数据合并成目标数据,在本方案中,存储设备中存储的各数据预先设置了索引标记,因此根据索引标记即可获取与待读取的数据对应的数据,若获取到的数据是子数据,则可以根据子数据预设的顺序标记进行数据还原,解决了现有技术中存在的数据无法识别问题。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种系统的示意图;
图2为本发明实施例提供的一种数据处理方法的流程图;
图3为本发明实施例提供的另一种数据处理方法的流程图;
图4为本发明实施例提供的一种数据处理方法的示意图;
图5为本发明实施例提供的一种数据处理装置的框图;
图6为本发明实施例提供的一种电子设备的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
为便于对本发明提供的数据处理方法的理解,先对该数据处理方法的对应的应用场景进行说明。
现有技术中,在进行数据写入时,拆分得到的子数据直接与其他数据并发写入存储设备,写入顺序错乱,进而在存储设备中存储的顺序也是错乱的,因此在进行数据读取时,导致读取的数据顺序错乱,无法识别。
为了解决数据读取时存在的数据顺序错乱、无法识别的问题,本发明实施例提供了一种数据处理方法,该方法在数据存储时对拆分得到的子数据设置顺序标记,在数据读取时根据读取到的子数据对应的顺序标记,对子数据进行合并,进而恢复出原始数据。
图1为本发明实施例提供的一种存储系统的示意图,如图1所示,该存储系统包括中间设备和存储设备。
其中,存储设备为支持并行写入的存储设备。
中间设备为用于实现终端/用户与存储设备之间的交互的设备,包括但不限于服务器等,终端包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机、服务器等。
在应用中,存储设备和中间设备可以分开设置。中间设备可以独立存在,也可以集成在终端上或集成在存储设备上,对此本发明实施例不做具体限定。
如图1所示,中间设备中设置有数据拆分模块、数据发送模块和数据读取模块。
其中,数据拆分模块用于接收数据写入请求,判断数据写入请求中携带的待写入存储设备的数据的大小是否大于存储设备单次可写入的最大数据量,在待写入数据大于存储设备单次可写入的最大数据量时,将数据拆分成多个子数据,并为拆分得到的子数据设置标识,标识中包含子数据的顺序标记(用于标识子数据在对应的待写入数据中的顺序)和子数据所属的待写入数据的索引标记,若待写入数据不大于存储设备单次可写入的最大数据量,则不需要进行拆分处理。
数据发送模块用于将数据拆分模块中的多个待写入数据/子数据并行发送至存储模块,例如从待写入数据/子数据中选取20个数据,将这20个数据作为一个整体发送至存储模块。
数据读取模块用于接收数据读取请求,然后根据数据读取请求中携带的目标数据的索引标记,从存储设备中获取与该索引标记相匹配的数据,并在确定获取到的数据为子数据时,根据子数据设置的顺序标记对子数据对应的原始数据进行恢复,并将恢复出的原始数据作为目标数据进行发送或展示。
存储设备则用于对数据发送模块发送的数据进行存储,存储模块支持对多个数据进行并行存储,例如每秒可对20个数据进行并行存储。
下面结合附图对本发明实施例提供的数据处理方法进行说明。
图2为本发明一示例实施例对应的数据处理方法的流程图,该方法可以应用于如上所述的中间设备,如图2所示,该方法可以包括如下步骤:
S21.接收数据读取请求,所述数据读取请求携带有待读取的目标数据的索引标记。
作为一个实施例,数据读取请求是终端发送的。
作为另一个实施例,数据读取请求是中间设备生成的。
作为一个可选的实现方式,中间设备具有显示屏,在显示屏中展示数据读取窗口,用户在窗口中输入/选取想要读取的数据的索引标记,中间设备生成携带有数据索引标记的数据读取请求。
作为另一个可选的实现方式,中间设备具有显示屏,在显示屏中展示数据读取窗口,用户在窗口中输入/选取想要读取的数据的关键词,中间设备根据用户输入/选取的关键词,从预设的关键词与索引标记的对应关系表中,查找与用户输入/选取的关键词对应的索引标记,并在显示屏中展示查找到的索引标记,用户根据实际需求对展示的索引标记进行选取,中间设备生成携带有用户选取的索引标记的数据读取请求。
作为一个实施例,索引标记是用于查找数据的标识,例如可以为数据名称、数据编号等,索引标记具有唯一性,不同的数据对应的索引标记不同。
S22.从存储设备预先存储的数据中,获取与所述目标数据的索引标记相匹配的数据。
在本实施例中,在进行数据存储时会存储数据对应的索引标记,便于后续对数据进行查找,并且针对通过拆分得到的子数据,为了保证根据子数据可以还原出原始数据,在对子数据进行存储时,还会存储子数据对应的顺序标记,便于根据子数据的顺序标记对原始数据进行还原,至于是如何对数据进行存储的,在下文中进行描述,此处先不详述。
作为一个可选的实现方式,数据在存储到存储设备中时,是随机存储的,则可以基于所述目标数据的索引标记,遍历所述存储设备中存储的数据,获取设置有所述目标数据的索引标记的数据。
作为另一个可选的实现方式,数据在存储到存储设备中时,是存储到指定的存储位置,则可以先确定存储设备中与目标数据对应的目标存储位置,然后从目标存储位置中,获取携带有所述目标数据的索引标记的数据。
S23.若获取的数据为多个携带有顺序标记的目标子数据,则根据多个所述目标子数据携带的顺序标记对多个所述目标子数据进行合并,得到目标数据。
其中顺序标记用于标识子数据在其对应的原始数据中的顺序。
在本实施例中,对于不需要拆分的数据在存储时,是不需要添加顺序标记的,所以当获取的数据携带有顺序标记时,则可以确定获取的数据是子数据,由于子数据不是一份完整的数据,并且,因为数据不完整在打开后可能会存在乱码的情况,因此需要将子数据合并成原始数据后再打开。
基于此,若获取到的数据是子数据,则根据子数据对应的顺序标记进行合并,从而将合并后的数据作为目标数据,具体的,根据顺序标记将目标子数据按照在其对应的原始数据中的顺序进行排序,然后进行合并,从而恢复出原始数据,然后将恢复出的原始数据作为目标数据。
作为一个实施例,若获取到的数据是不携带有顺序标记的数据,则说明此数据不是子数据,而是完整的数据,因此直接将获取的数据作为目标数据即可。
作为一个可选的实现方式,在得到目标数据后,若数据读取请求是终端发送的,则还可以响应于该数据读取请求将目标数据发送至终端。
作为另一个可选的实现方式,在得到目标数据后,若数据读取请求是中间设备生成的,则还可以在中间设备的显示屏中对目标数据进行展示。
本发明实施例提供的一种数据处理方法,在接收到数据读取请求后,基于数据读取请求中携带的待读取的目标数据的索引标记从存储设备存储的数据中获取与索引标记相匹配的数据,若获取的数据是多个携带有顺序标记的目标子数据,则可以根据顺序标记将多个目标子数据合并成目标数据,在本方案中,存储设备中存储的各数据预先设置了索引标记,因此根据索引标记即可获取与待读取的数据对应的数据,若获取到的数据是子数据,则可以根据子数据预设的顺序标记进行数据还原,解决了现有技术中存在的数据无法识别问题。
下面结合附图3,对本发明实施例提供的数据处理方法进行说明。
图3为本发明一示例实施例提供的另一种数据处理方法的流程图,如图3所示,该方法可以包含如下步骤:
S31.接收数据写入请求,所述数据写入请求中携带有待写入数据。
作为一个实施例,数据写入请求是终端发送的。
作为另一个实施例,数据写入请求是中间设备生成的,例如中间设备中设置有数据写入窗口,用户在窗口中输入/选取想要存储到存储设备中的待写入数据,然后点击发送按钮,中间设备检测到发送按钮被点击后生成携带有待写入数据的数据写入请求。
其中待写入数据可以为Word文档、音频文件、视频文件或Excel表格等,本实施例不做具体限定。
作为一个实施例,中间设备可以同时接收多个数据写入请求,并可针对多个数据写入请求中携带的多个待写入数据同时执行步骤S32-S34。
S32.在所述待写入数据的大小大于预设的第一阈值的情况下,对所述待写入数据按照设定规则进行数据拆分,得到多个子数据。
其中,数据的大小,通常指数据的数据量的大小,比如字节数等。
作为一个实施例,第一阈值为根据实际需求设置的,例如可以为存储设备单次可写入的最大数据量(例如字节数),当待写入数据的大小大于第一阈值,则说明待写入数据无法一次全部写入到存储设备中。因此,此时为了保证待写入数据可以顺利的全部写入到存储设备中,需要对待写入数据进行数据拆分。
作为一个实施例,在进行数据拆分时,拆分所依据的设定规则可以为根据实际需求设定的规则,只要保证根据设定规则拆分得到的子数据的大小不大于存储设备单次可写入的最大数据量即可。
作为一个可选的实现方式,对所述待写入数据按照设定规则进行数据拆分,得到多个子数据,可以包括:
按照子数据大小小于所述第一阈值的规则,对所述待写入数据进行数据拆分,得到多个子数据。
例如,第一阈值为10KB,则在进行数据拆分时,保证每个子数据的数据量均不大于10KB即可。
S33.对每个所述子数据设置标识,所述标识包含顺序标记和所述待写入数据的索引标记,所述顺序标记用于标识所述子数据在所述待写入数据中的顺序。
作为一个实施例,针对任一子数据,为子数据设置标识可以包括如下步骤:
步骤1:按照子数据在待写入数据中的顺序,生成子数据对应的顺序标记。
作为一个实施例,子数据在待写入数据中的顺序可以依据子数据的拆分顺序确定。具体的,在对待写入数据进行数据拆分时,按照由待写入数据的头部到尾部的顺序,每隔预设数量(例如第一阈值)个字节分割一次的方式对数据进行拆分,得到多个子数据,每个子数据对应的拆分顺序即可体现子数据在待写入数据中的顺序,基于此,可以依据子数据的拆分顺序生成子数据对应的顺序标记。
作为一个可选的实现方式,在对待写入数据进行数据拆分的过程中,生成子数据对应的顺序标记。具体的,每拆分出一个子数据就根据子数据拆分的顺序生成子数据对应的顺序标记,顺序标记可以为数字等形式,例如拆分出的第一个子数据对应的顺序标记可以为1,拆分出的第二个子数据对应的顺序标记可以为2,以此类推,依次生成拆分出的各子数据的顺序标记。
作为另一个可选的实现方式,可以在待写入数据拆分完成后,再生成子数据对应的顺序标记。具体的,待写入数据拆分完成后,获取各子数据对应的拆分时间,按照拆分时间由先到后的顺序对子数据进行排序,然后根据排列的顺序依次生成各子数据对应的顺序标记,例如,排在第一位的子数据的顺序标记为1,排在第二位的子数据的顺序标记为2,以此例推,生成各子数据对应的顺序标记。
步骤2:获取子数据对应的待写入数据的索引标记。
需要说明的是,步骤1和步骤2之间没有特定的先后顺序,在执行时可以先执行步骤1,也可以先执行步骤2,还可以同时执行步骤1与步骤2,此处写步骤1和步骤2只是为了方便描述,并不构成对先后顺序的限定。
每个待写入数据都具有独有的索引标记,由同一个待写入数据拆分得到的多个子数据,每个子数据的索引标记均相同,由不同待写入数据拆分得到的子数据中,不同子数据的索引标记不相同,由此达到确定同个待写入数据下子数据的目的。
作为一个可选的实现方式,待写入数据的索引标记可以为待写入数据自身携带的,例如预先由用户设置,并标注在待写入数据上,从而获取到待写入数据后即可获取待写入数据的索引标记。
作为另一个可选的实现方式,待写入数据的索引标记可以为中间设备生成的,例如,中间设备接收到数据写入请求后,自动生成与该数据写入请求中携带的待写入数据对应的索引标记。该索引标记可以通过随机数算法等方式生成,具体的生成方式,本发明实施例不做具体限定。
步骤3:将待写入数据的索引标记和该子数据对应的顺序标记,作为该子数据对应的标识。
作为一个实施例,可以根据实际需求预先设置的标识的格式,根据预设的格式生成子数据对应的标识。例如设置标识格式为索引标记在前,顺序标记在后,基于上述格式,若子数据的标识为A1,则确定该子数据对应的待写入数据的索引标记为A,该子数据的生成顺序为1,整体就表示该子数据是对索引标记为A的数据进行拆分时,拆分得到的第一个子数据,若子数据的标识为B2,就表示该子数据是对索引标记为B的数据进行拆分时,拆分得到的第二个子数据。
步骤4:将该子数据对应的标识,插入该子数据中预设的标识插入位置。
其中标识插入位置可根据需求设置,例如子数据的尾部或头部等,在为子数据设置标识时,将标识插入到预设的标识插入位置中。
进一步的,为了保证设置了标识的子数据可以顺利写入到存储设备中,在进行数据拆分时,为各子数据预留用于插入标识的空间,比如存储设备单次写入的最大数据量为11KB,而标识需要占用1KB,则子数据的大小不能大于10KB。
通过为子数据添加标识,保证了后续在进行数据读取时,可以根据标识中的索引标记确定待读取数据对应的子数据,进而还可以根据标识中的顺序标记进行数据还原。
S34.将多个所述子数据发送至存储设备,以使所述存储设备对多个所述子数据进行存储。
作为一个可选的实现方式,从设置有标识的子数据中选取多个子数据并行发送至存储设备,在选取子数据时,可以随机选取,也可以根据子数据的的顺序标记选取,例如根据顺序标记优选选取在待写入数据中的顺序靠前的子数据,对此,本发明实施不做具体限定,至于选取的子数据的个数与数据传输通道的传输量有关,例如数据传输通道最多可传输10个数据,则可以选取10个子数据并行发送,具体的选取个数根据实际情况设置,对此,本发明实施例也不做具体限定。
作为另一个可选的实现方式,在将多个子数据发送至存储设备时,还可以包括:获取所述存储设备中与所述待写入数据对应的目标存储位置信息,将多个所述子数据和所述目标存储位置信息并行发送至所述存储设备,以使所述存储设备将多个所述子数据存储至与所述目标存储位置信息对应的目标存储位置。
进一步的,待写入数据对应的目标存储位置信息可以携带在数据写入请求中,通过对数据写入请求进行解析,即可获取到待写入数据对应的目标存储位置信息。
进一步的,待写入数据对应的目标存储位置信息还可以是预设的,并预先与待写入数据的索引标记对应的存储在中间设备中,中间设备在接收到待写入数据后,根据待写入数据的索引标记确定对应的目标存储位置信息。
通过将子数据存储至目标存储位置,在进行数据读取时,只需遍历待读取的数据对应的目标存储位置即可获取到待读取数据,而无需对整个存储设备进行遍历,提升了数据读取效率。
一个例子:
下面结合附图1所示的存储系统,以对两个文本进行并行处理为例,对本发明提供的数据处理方法进行说明。
如图4所示,数据拆分模块接收到两个数据写入请求,分别为数据写入请求1和数据写入请求2,两个数据写入请求中均携带有待写入数据和待写入数据的索引标记,两个待写入数据的索引标记分别为A和B,下面为了方便描述,将两个待写入数据分别称为数据A和数据B。存储设备单次可写入的最大数量为C1,C1的值为11KB,而数据A的数据量为1000KB,数据B的数据量为500KB,均大于C1,因此数据拆分模块分别对数据A和数据B进行数据拆分,拆分成符合C1要求的子数据,因为为了保证可以将子数据还原成原始数据(即未拆分的数据),需要根据生成顺序为每个子数据设置标识,所以在拆分时,预留了C3个存储空间,C3个存储空间用于设置子数据的标识,例如C3为1KB,则对数据A进行拆分时,即可以将A拆分为100个子数据,对数据B进行拆分时,可以将B拆分成50个子数据,每个子数据的数据量均为10KB,设置完标识后子数据的数据量为11KB,符合C1的要求。在对子数据设置标识中包含子数据的顺序标记和对应的待写入数据的索引标记,例如若子数据是数据A拆分得到的第一个子数据,则该子数据的标识就可以为A1。对各子数据设置完标识后,通过数据发送模块将多个设置有标识的子数据并发传递给存储设备,每次支持C4个并发,其中C4的值由数据发送模块的传输能力决定,例如可以为20。存储设备接收到子数据后,按照每秒写入C2(例如20)个子数据的速度对子数据进行并发写入。数据读取模块向存储设备发送数据读取请求,请求读取数据B,由于在写入时子数据中都设置有标识,随意在读取数据B时,先读取存储设备中存储的所有索引标记为B的子数据,然后在根据读取的子数据中携带的顺序标记(例如1、2、3、4等),对子数据进行排序然后合并,进而还原出数据B。
本发明实施例还提供了一种数据处理装置,如图5所示,该装置可以包括:读取请求接收模块501、数据获取模块502和数据还原模块503。
读取请求接收模块501,用于接收数据读取请求,所述数据读取请求携带有待读取的目标数据的索引标记;
数据获取模块502,用于从存储设备预先存储的数据中,获取与所述目标数据的索引标记相匹配的数据;
数据还原模块503,用于若获取的数据为多个携带有顺序标记的目标子数据,则根据多个所述目标子数据携带的顺序标记对多个所述目标子数据进行合并,得到目标数据。
作为一个实施例,所述装置还包括数据存储模块(图中未示出),具有用于:
接收数据写入请求,所述数据写入请求中携带有待写入数据;
在所述待写入数据的大小大于预设的第一阈值的情况下,对所述待写入数据按照设定规则进行数据拆分,得到多个子数据;
对每个所述子数据设置标识,所述标识包含顺序标记和所述待写入数据的索引标记,所述顺序标记标识所述子数据在所述待写入数据中的顺序;
将多个所述子数据发送至存储设备,以使所述存储设备对多个所述子数据进行存储。
作为一个实施例,数据获取模块502,具体用于:
基于所述目标数据的索引标记,遍历所述存储设备中存储的数据,获取设置有所述目标数据的索引标记的数据。
作为一个实施例,将多个所述子数据发送至存储设备,以使所述存储设备对多个所述子数据进行存储,包括:
获取所述存储设备中与所述待写入数据对应的目标存储位置信息;
将多个所述子数据和所述目标存储位置信息并行发送至所述存储设备,以使所述存储设备将多个所述子数据存储至与所述目标存储位置信息对应的目标存储位置。
作为一个实施例,数据获取模块502,具体用于:
确定所述存储设备中与所述目标数据对应的目标存储位置;
从所述目标存储位置中,获取携带有所述目标数据的索引标记的数据。
作为一个实施例,对所述待写入数据按照设定规则进行数据拆分,得到多个子数据,包括:
按照子数据大小小于所述第一阈值的规则,对所述待写入数据进行数据拆分,得到多个子数据。
作为一个实施例,对每个所述子数据设置标识,包括:
按照每个所述子数据在所述待写入数据中的顺序,生成每个所述子数据对应的顺序标记,并获取所述待写入数据的索引标记;
针对任一子数据,将所述待写入数据的索引标记和该子数据对应的顺序标记,作为该子数据对应的标识;
将该子数据对应的标识,插入该子数据中预设的标识插入位置。
所述数据处理装置包括处理器和存储器,上述读取请求接收模块501、数据获取模块502和数据还原模块503等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来实现数据处理。
本发明实施例提供了一种存储介质,其上存储有程序,该程序被处理器执行时实现所述数据处理方法。
本发明实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行所述数据处理方法。
本发明实施例提供了一种电子设备60,电子设备60包括至少一个处理器601、以及与处理器601连接的至少一个存储器602、总线603;其中,处理器601、存储器602通过总线603完成相互间的通信;处理器601用于调用存储器602中的程序指令,以执行上述的数据处理方法。本文中的电子设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:
接收数据读取请求,所述数据读取请求携带有待读取的目标数据的索引标记;
从存储设备预先存储的数据中,获取与所述目标数据的索引标记相匹配的数据;
若获取的数据为多个携带有顺序标记的目标子数据,则根据多个所述目标子数据携带的顺序标记对多个所述目标子数据进行合并,得到目标数据。
作为一种可能的实现方式,所述方法还包括:
接收数据写入请求,所述数据写入请求中携带有待写入数据;
在所述待写入数据的大小大于预设的第一阈值的情况下,对所述待写入数据按照设定规则进行数据拆分,得到多个子数据;
对每个所述子数据设置标识,所述标识包含顺序标记和所述待写入数据的索引标记,所述顺序标记标识所述子数据在所述待写入数据中的顺序;
将多个所述子数据发送至存储设备,以使所述存储设备对多个所述子数据进行存储。
作为一种可能的实现方式,从存储设备中预先存储的数据中,获取与所述目标数据的索引标记相匹配的数据,包括:
基于所述目标数据的索引标记,遍历所述存储设备中存储的数据,获取设置有所述目标数据的索引标记的数据。
作为一种可能的实现方式,将多个所述子数据发送至存储设备,以使所述存储设备对多个所述子数据进行存储,包括:
获取所述存储设备中与所述待写入数据对应的目标存储位置信息;
将多个所述子数据和所述目标存储位置信息并行发送至所述存储设备,以使所述存储设备将多个所述子数据存储至与所述目标存储位置信息对应的目标存储位置。
作为一种可能的实现方式,从存储设备中预先存储的数据中,获取与所述目标数据的索引标记相匹配的数据,包括:
确定所述存储设备中与所述目标数据对应的目标存储位置;
从所述目标存储位置中,获取携带有所述目标数据的索引标记的数据。
作为一种可能的实现方式,对所述待写入数据按照设定规则进行数据拆分,得到多个子数据,包括:
按照子数据大小小于所述第一阈值的规则,对所述待写入数据进行数据拆分,得到多个子数据。
作为一种可能的实现方式,按照每个所述子数据的生成顺序,对每个所述子数据设置标识,包括:
按照每个所述子数据的在所述待写入数据中的顺序,生成每个所述子数据对应的顺序标记,并获取所述待写入数据的索引标记;
针对任一子数据,将所述待写入数据的索引标记和该子数据对应的顺序标记,作为该子数据对应的标识;
将该子数据对应的标识,插入该子数据中预设的标识插入位置。。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
在一个典型的配置中,设备包括一个或多个处理器(CPU)、存储器和总线。设备还可以包括输入/输出接口、网络接口等。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种数据处理方法,其特征在于,包括:
接收数据读取请求,所述数据读取请求携带有待读取的目标数据的索引标记;
从存储设备预先存储的数据中,获取与所述目标数据的索引标记相匹配的数据;
若获取的数据为多个携带有顺序标记的目标子数据,则根据多个所述目标子数据携带的顺序标记对多个所述目标子数据进行合并,得到目标数据。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收数据写入请求,所述数据写入请求中携带有待写入数据;
在所述待写入数据的大小大于预设的第一阈值的情况下,对所述待写入数据按照设定规则进行数据拆分,得到多个子数据;
对每个所述子数据设置标识,所述标识包含顺序标记和所述待写入数据的索引标记,所述顺序标记标识所述子数据在所述待写入数据中的顺序;
将多个所述子数据发送至存储设备,以使所述存储设备对多个所述子数据进行存储。
3.根据权利要求1所述的方法,其特征在于,从存储设备中预先存储的数据中,获取与所述目标数据的索引标记相匹配的数据,包括:
基于所述目标数据的索引标记,遍历所述存储设备中存储的数据,获取设置有所述目标数据的索引标记的数据。
4.根据权利要求2所述的方法,其特征在于,将多个所述子数据发送至存储设备,以使所述存储设备对多个所述子数据进行存储,包括:
获取所述存储设备中与所述待写入数据对应的目标存储位置信息;
将多个所述子数据和所述目标存储位置信息并行发送至所述存储设备,以使所述存储设备将多个所述子数据存储至与所述目标存储位置信息对应的目标存储位置。
5.根据权利要求4所述的方法,其特征在于,从存储设备中预先存储的数据中,获取与所述目标数据的索引标记相匹配的数据,包括:
确定所述存储设备中与所述目标数据对应的目标存储位置;
从所述目标存储位置中,获取携带有所述目标数据的索引标记的数据。
6.根据权利要求2所述的方法,其特征在于,对所述待写入数据按照设定规则进行数据拆分,得到多个子数据,包括:
按照子数据大小小于所述第一阈值的规则,对所述待写入数据进行数据拆分,得到多个子数据。
7.根据权利要求2所述的方法,其特征在于,对每个所述子数据设置标识,包括:
按照每个所述子数据在所述待写入数据中的顺序,生成每个所述子数据对应的顺序标记,并获取所述待写入数据的索引标记;
针对任一子数据,将所述待写入数据的索引标记和该子数据对应的顺序标记,作为该子数据对应的标识;
将该子数据对应的标识,插入该子数据中预设的标识插入位置。
8.一种数据处理装置,其特征在于,包括:
读取请求接收模块,用于接收数据读取请求,所述数据读取请求携带有待读取的目标数据的索引标记;
数据获取模块,用于从存储设备预先存储的数据中,获取与所述目标数据的索引标记相匹配的数据;
数据还原模块,用于若获取的数据为多个携带有顺序标记的目标子数据,则根据多个所述目标子数据携带的顺序标记对多个所述目标子数据进行合并,得到目标数据。
9.一种电子设备,其特征在于,包括至少一个处理器以及与处理器连接的至少一个存储器、总线;其中,处理器、存储器通过总线完成相互间的通信;处理器用于调用存储器中的程序指令,以执行权利要求1-7任一所述的数据处理方法的步骤。
10.一种可读存储介质,其特征在于,所述可读存储介质存储计算机指令,所述计算机指令使计算机执行权利要求1-7任一所述的数据处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011444188.0A CN114610951A (zh) | 2020-12-08 | 2020-12-08 | 数据处理方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011444188.0A CN114610951A (zh) | 2020-12-08 | 2020-12-08 | 数据处理方法、装置、电子设备及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114610951A true CN114610951A (zh) | 2022-06-10 |
Family
ID=81856970
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011444188.0A Pending CN114610951A (zh) | 2020-12-08 | 2020-12-08 | 数据处理方法、装置、电子设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114610951A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116069265A (zh) * | 2023-03-22 | 2023-05-05 | 中昊芯英(杭州)科技有限公司 | 一种储存器和数据处理方法、装置及存储介质 |
CN116319101A (zh) * | 2023-05-22 | 2023-06-23 | 北京珞安科技有限责任公司 | 一种工业数据安全传输方法及系统 |
CN116431082A (zh) * | 2023-06-14 | 2023-07-14 | 深圳嘉华众力科技有限公司 | 数据存储的方法、装置、计算机设备和存储介质 |
CN116743752A (zh) * | 2023-08-11 | 2023-09-12 | 山东恒宇电子有限公司 | 一种分布式网络通讯实现数据处理负载均衡系统 |
CN117234743A (zh) * | 2023-11-14 | 2023-12-15 | 苏州元脑智能科技有限公司 | 一种数据发送方法、装置、设备及存储介质 |
-
2020
- 2020-12-08 CN CN202011444188.0A patent/CN114610951A/zh active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116069265A (zh) * | 2023-03-22 | 2023-05-05 | 中昊芯英(杭州)科技有限公司 | 一种储存器和数据处理方法、装置及存储介质 |
CN116069265B (zh) * | 2023-03-22 | 2024-03-19 | 中昊芯英(杭州)科技有限公司 | 一种储存器和数据处理方法、装置及存储介质 |
CN116319101A (zh) * | 2023-05-22 | 2023-06-23 | 北京珞安科技有限责任公司 | 一种工业数据安全传输方法及系统 |
CN116319101B (zh) * | 2023-05-22 | 2023-08-29 | 北京珞安科技有限责任公司 | 一种工业数据安全传输方法及系统 |
CN116431082A (zh) * | 2023-06-14 | 2023-07-14 | 深圳嘉华众力科技有限公司 | 数据存储的方法、装置、计算机设备和存储介质 |
CN116431082B (zh) * | 2023-06-14 | 2023-11-21 | 深圳嘉华众力科技有限公司 | 数据存储的方法、装置、计算机设备和存储介质 |
CN116743752A (zh) * | 2023-08-11 | 2023-09-12 | 山东恒宇电子有限公司 | 一种分布式网络通讯实现数据处理负载均衡系统 |
CN117234743A (zh) * | 2023-11-14 | 2023-12-15 | 苏州元脑智能科技有限公司 | 一种数据发送方法、装置、设备及存储介质 |
CN117234743B (zh) * | 2023-11-14 | 2024-02-20 | 苏州元脑智能科技有限公司 | 一种数据发送方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114610951A (zh) | 数据处理方法、装置、电子设备及可读存储介质 | |
CN109670837A (zh) | 债券违约风险的识别方法、装置、计算机设备和存储介质 | |
CN108255915B (zh) | 一种文件管理方法、装置及机器可读存储介质 | |
CN104090899B (zh) | 一种反馈展示内容信息的方法和装置 | |
CN104811742A (zh) | 一种视频数据的存储方法及装置 | |
CN105843800A (zh) | 一种基于doi的语言信息展示方法及装置 | |
CN105630792B (zh) | 一种信息显示、推送方法及装置 | |
US11244153B2 (en) | Method and apparatus for processing information | |
JP2021518021A (ja) | データ処理方法、装置及びコンピュータ読み取り可能な記憶媒体 | |
CN103049355A (zh) | 一种数据库系统恢复方法及设备 | |
CN110716965A (zh) | 一种块链式账本中的查询方法、装置及设备 | |
CN110019542B (zh) | 企业关系的生成、生成组织成员数据库及识别同名成员 | |
CN105354195A (zh) | 一种信息搜索方法及装置 | |
CN110569218B (zh) | 一种ext文件系统离线修改方法、装置及存储介质 | |
CN109785867B (zh) | 双录流程配置方法、装置、计算机设备和存储介质 | |
CN107632752B (zh) | 多媒体数据的显示方法、装置及计算机可读存储介质 | |
CN116662327B (zh) | 一种用于数据库的数据融合清理方法 | |
CN106612283B (zh) | 一种识别下载文件来源的方法及装置 | |
CN104573132A (zh) | 歌曲查找方法及装置 | |
US20170169044A1 (en) | Property retrieval apparatus, method and system | |
US20170171128A1 (en) | Method and electronic device for email processing | |
CN108268545B (zh) | 一种分级的用户标签库的创建的方法和装置 | |
CN108038403B (zh) | 一种基于nfc技术的读卡方法及客户端 | |
CN110866380A (zh) | 一种填写信息字段内容的方法、终端 | |
CN105335682A (zh) | 一种资源同步播放方法、系统及服务器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |