CN105302853A - 一种实现数据重构的方法和装置 - Google Patents

一种实现数据重构的方法和装置 Download PDF

Info

Publication number
CN105302853A
CN105302853A CN201510594958.2A CN201510594958A CN105302853A CN 105302853 A CN105302853 A CN 105302853A CN 201510594958 A CN201510594958 A CN 201510594958A CN 105302853 A CN105302853 A CN 105302853A
Authority
CN
China
Prior art keywords
data
length
data block
block
pending
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510594958.2A
Other languages
English (en)
Inventor
王倩
穆裕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Beijing Electronic Information Industry Co Ltd
Original Assignee
Inspur Beijing Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Beijing Electronic Information Industry Co Ltd filed Critical Inspur Beijing Electronic Information Industry Co Ltd
Priority to CN201510594958.2A priority Critical patent/CN105302853A/zh
Publication of CN105302853A publication Critical patent/CN105302853A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2219Large Object storage; Management thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种实现数据重构的方法和装置,该方法包括:获取待处理的数据块;根据待处理的数据块的起始偏移量和预设数据块的数据长度确定待处理数据长度;根据待处理数据长度生成数据结构,其中,数据结构指示的数据范围为待处理数据长度对应的数据范围;将生成的数据结构发送至数据处理装置,以便数据处理装置通过预设数据块处理数据结构指示的数据。达到了减轻数据处理装置的处理负担,提高数据处理装置的处理性能的技术效果。

Description

一种实现数据重构的方法和装置
技术领域
本发明涉及数据处理技术,尤指一种实现数据重构的方法和装置。
背景技术
存储软件开发时,都会遇到IO(Input/Out,输入输出)请求处理的问题。一般存储软件的数据处理装置都会设置数据处理的基本处理数据块,数据处理装置在接收到待处理的数据块时,需要对该待处理的数据块进行数据重构,以将数据块转换成为自身基本处理数据块对应的数据块,并在数据重构完成后再继续进行数据处理,对于数据长度较大的数据块,该数据处理装置甚至需要进行多次数据重构后,才能继续对数据进行处理。
由此可见,该数据处理装置既要进行数据块的数据重构,又要进行数据块的数据处理,使得该数据处理装置对数据处理的处理复杂度较高,造成数据处理装置的工作量负担较大,从而影响该数据处理装置的数据处理性能。
发明内容
为了解决上述技术问题,本发明提供了一种实现数据重构的方法和装置,达到了减轻数据处理装置的处理负担,提高数据处理装置的数据处理性能的技术效果。
为了达到本发明目的,本发明提供了一种实现数据重构的方法,包括:获取待处理的数据块;根据所述待处理的数据块的起始偏移量和预设数据块的数据长度确定待处理数据长度;根据所述待处理数据长度生成数据结构,其中,所述数据结构指示的数据范围为所述待处理数据长度对应的数据范围;将生成的所述数据结构发送至数据处理装置,以便所述数据处理装置通过所述预设数据块处理所述数据结构指示的数据。
可选地,所述根据所述待处理的数据块的起始偏移量和预设数据块的数据长度确定待处理数据长度包括:根据所述待处理的数据块的起始偏移量和所述预设数据块的数据长度得到所述待处理的数据块在所述预设数据块内的最大处理长度;判断所述最大处理长度是否大于或等于所述待处理的数据块当前的数据长度;在所述最大处理长度大于或等于所述待处理的数据块当前的数据长度时,确定所述待处理的数据块当前的数据长度为所述待处理数据长度;在所述最大处理长度小于所述待处理的数据块当前的数据长度时,确定所述最大处理长度为所述待处理数据长度。
可选地,所述根据所述待处理的数据块的起始偏移量和所述预设数据块的数据长度得到所述待处理的数据块在所述预设数据块内的最大处理长度包括:对所述待处理的数据块当前的起始偏移量和所述预设数据块的数据长度求商得到比值和余数;其中,所述比值为所述待处理的数据块对应的预设数据块的标识信息,所述余数为所述待处理的数据块在所述标识信息标示的预设数据块内的偏移量;根据所述标识信息标示的预设数据块的数据长度与所述偏移量的差值得到所述最大处理长度。
可选地,在根据所述待处理数据长度生成数据结构后,所述方法还包括:根据所述待处理数据长度更新所述待处理的数据块当前的数据长度。
可选地,在将得到的所述数据结构发送至数据处理装置后,所述方法还包括:在所述数据处理装置通过所述预设数据块完成对所述数据结构指示的数据的处理后,接收所述数据处理装置发送的处理完成消息。
进一步地,本发明提供了一种数据重构装置,包括:获取单元,用于获取待处理的数据块;处理单元,用于根据所述待处理的数据块的起始偏移量和预设数据块的数据长度确定待处理数据长度;生成单元,用于根据所述待处理数据长度生成数据结构,其中,所述数据结构指示的数据范围为所述待处理数据长度对应的数据范围;发送单元,用于将生成的所述数据结构发送至数据处理装置,以便所述数据处理装置通过所述预设数据块处理所述数据结构指示的数据。
可选地,所述处理单元包括:处理子单元,用于根据所述待处理的数据块的起始偏移量和所述预设数据块的数据长度得到所述待处理的数据块在所述预设数据块内的最大处理长度;判断子单元,用于判断所述最大处理长度是否大于或等于所述待处理的数据块当前的数据长度;第一确定子单元,用于在所述最大处理长度大于或等于所述待处理的数据块当前的数据长度时,确定所述待处理的数据块当前的数据长度为所述待处理数据长度;第二确定子单元,用于在所述最大处理长度小于所述待处理的数据块当前的数据长度时,确定所述最大处理长度为所述待处理数据长度。
可选地,所述处理子单元用于通过以下步骤执行根据所述数据块的起始偏移量和所述预设数据块的数据长度得到所述数据块在所述预设数据块内的最大处理长度:对所述待处理的数据块当前的起始偏移量和所述预设数据块的数据长度求商得到比值和余数;其中,所述比值为所述待处理的数据块对应的预设数据块的标识信息,所述余数为所述待处理的数据块在所述标识信息标示的预设数据块内的偏移量;根据所述标识信息标示的预设数据块的数据长度与所述偏移量的差值得到所述最大处理长度。
可选地,所述装置还包括:更新单元,用于在根据所述待处理数据长度生成数据结构后,根据所述待处理数据长度更新所述待处理的数据块当前的数据长度。
可选地,所述装置还包括:接收单元,用于在所述数据处理装置通过所述预设数据块完成对所述数据结构指示的数据的处理后,接收所述数据处理装置发送的处理完成消息。
与现有技术相比,本发明包括获取待处理的数据块,根据该待处理的数据块的起始偏移量和预设数据块的数据长度确定待处理数据长度,根据该待处理数据长度生成数据结构,其中,该数据结构指示的数据范围为该待处理数据长度对应的数据范围,并将生成的该数据结构发送至数据处理装置,以便该数据处理装置通过该预设数据块处理该数据结构指示的数据。这样,数据处理装置无需再进行数据块的数据重构,而直接根据接收的数据重构后的数据结构对待处理数据块中的数据进行处理,从而减轻数据处理装置的工作负担,提高了数据处理装置的数据处理性能。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解,并且构成说明书的一部分,与本申请的实施例一起用于解释本发明的技术方案,并不构成对本发明技术方案的限制。
图1为本发明实施例提供的一种实现数据重构的方法的流程示意图;
图2a为本发明实施例提供的一种数据块的数据范围与预设数据块的数据范围的对比示意图;
图2b为本发明实施例提供的另一种数据块的数据范围与预设数据块的数据范围的对比示意图;
图2c为本发明实施例提供的又一种数据块的数据范围与预设数据块的数据范围的对比示意图;
图3为本发明实施例提供的另一种实现数据重构的方法的流程示意图;
图4为本发明实施例提供的一种数据重构装置的结构示意图;
图5为本发明实施例提供的另一种数据重构装置的结构示意图;
图6为本发明实施例提供的第三种数据重构装置的结构示意图;
图7为本发明实施例提供的第四种数据重构装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下文中将结合附图对本发明的实施例进行详细说明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1为本发明实施例提供的一种实现数据重构的方法,如图1所示,本发明实施例的执行主体可以是数据重构装置,该方法包括:
步骤101、获取待处理的数据块。
在本步骤中,数据重构装置通过IO端口接收主机发送的待处理的数据块。
步骤102、根据待处理的数据块的起始偏移量和预设数据块的数据长度确定待处理数据长度。
其中,该预设数据块为数据处理装置预先配置的基本处理单位,该数据处理装置基于该基本处理单位对接收的待处理的数据块进行处理,即该数据处理装置通过该基本处理单位处理数据范围落入该基本处理单位的数据范围内的数据块;该预设数据块的数据长度为该预设数据块的数据范围对应的长度且每个预设数据块的数据长度相同,每一个预设数据块的数据范围即为该数据处理装置通过该预设数据块处理的数据块的数据范围,并通过该数据范围确定该待处理的数据块的起始偏移量;数据处理装置按照该预设数据块的数据范围对接收的待处理的数据块进行处理,例如,该预设数据块包括两个预设数据块(分别记为预设数据块1和预设数据块2),该预设数据块1的数据范围为0比特至4096比特,该预设数据块的数据长度为4096比特(即4096比特减去0比特),则表示数据处理装置基于该预设数据块1处理数据范围为0比特至4096比特的数据块,该预设数据块2的数据范围为4097比特至8193比特,该预设数据块的数据长度为4096比特(即8193比特减去4097比特),则表示数据处理装置基于该预设数据块2处理数据范围为4097比特至8193比特的数据块,若接收的数据块的数据范围为2048比特至4096比特,则接收的数据块的起始偏移量为2048比特,由于接收的数据块的数据范围为2048比特至4096比特,且接收的数据块的数据范围落入预设数据块1的数据范围,因此该数据处理装置基于预设数据块1处理该接收的数据块,上述只是举例说明,本发明在此不作限定。
在本步骤中,数据重构装置根据该待处理的数据块的起始偏移量和该预设数据块的数据长度得到该待处理的数据块在该预设数据块内的最大处理长度;判断该最大处理长度是否大于或等于该待处理的数据块当前的数据长度;在该最大处理长度大于或等于该待处理的数据块当前的数据长度时,确定该待处理的数据块当前的数据长度为该待处理数据长度;在该最大处理长度小于该待处理的数据块当前的数据长度时,确定该最大处理长度为该待处理数据长度。
其中,该待处理数据长度为数据处理装置基于当前预设数据块对该待处理的数据块进行处理的长度。
需要说明的是,待处理的数据块的数据范围与预设数据块的数据范围包括以下三种情况:
情况一:待处理的数据块的数据长度小于或等于预设数据块的数据长度,且该待处理的数据块的数据范围包含在一个预设数据块的数据范围内,如图2a所示,该最大处理长度等于该待处理的数据块当前的数据长度。
情况二:待处理的数据块的数据长度小于或等于预设数据块的数据长度,且待处理的数据块的数据范围超出了一个预设数据块的数据范围;如图2b所示,待处理的数据块的数据范围跨越了两个预设数据块的数据范围,则该最大处理长度小于该待处理的数据块当前的数据长度。
情况三:待处理的数据块的数据长度大于预设数据块的数据长度,此时,该待处理的数据块的数据范围也超出了一个预设数据块的数据范围,如图2c所示,待处理的数据块的数据范围跨越了三个预设数据块的数据范围,则该最大处理长度小于该待处理的数据块当前的数据长度。
由上述三种情况可知,当该待处理的数据块的数据范围包含在当前预设数据块的数据范围内时,则将该待处理的数据块的数据范围作为待处理数据长度,当该待处理的数据块的数据范围跨越了多个预设数据块的数据范围内时,则将上述最大处理长度作为待处理数据长度。
可选地,数据重构装置可以通过以下方式得到该待处理的数据块在该预设数据块内的最大处理长度:
对该待处理的数据块当前的起始偏移量和该预设数据块的数据长度求商得到比值和余数;其中,该比值为该待处理的数据块对应的预设数据块的标识信息,该余数为该待处理的数据块在该标识信息标示的预设数据块内的偏移量;根据该标识信息标示的预设数据块的数据长度与该偏移量的差值得到该最大处理长度。
由上可知,该最大处理长度可以是该数据块的数据范围与当前对应的预设数据块的数据范围叠加的部分对应的数据长度。
需要说明的是,该预设数据块的标识信息可以是预设的编号,上述比值即为该编号,具体地,该数据重构装置中存储的预设数据块按照数据范围进行编号,例如,数据范围为0比特至4096比特的预设数据块的编号为1,数据范围为4097比特至8193比特的预设数据块的编号为2,依次类推,当然,这里的编号方式只是举例说明,本发明不作限定。
步骤103、根据待处理数据长度生成数据结构。
其中,该数据结构指示的数据范围为待处理数据长度对应的数据范围。
需要说明的是,由于数据结构指示的数据范围与待处理数据长度对应的数据范围相同,因此,该数据结构指示的数据长度与待处理数据长度相同;另外,本发明实施例中的数据结构不包括数据,而是通过指针指向该待处理数据长度对应的数据的位置。
步骤104、将生成的数据结构发送至数据处理装置,以便数据处理装置通过预设数据块处理数据结构指示的数据。
可选地,在根据该待处理数据长度生成数据结构后,根据该待处理数据长度更新数据块当前的数据长度。
具体地,通过待处理的数据块原有的数据长度减去待处理数据长度得到该待处理的数据块当前的数据长度,并将数据块中指示数据长度的信息修改为该当前的数据长度。
可选地,在将得到的数据结构发送至数据处理装置后且在该数据处理装置通过该预设数据块完成对该数据结构指示的数据的处理后,接收该数据处理装置发送的处理完成消息,从而确定完成对待处理的数据块的数据处理。
通过采用上述方式,数据处理装置无需再进行数据块的数据重构,而直接根据接收的数据重构后的数据结构对待处理数据块中的数据进行处理,从而减轻数据处理装置的工作负担,提高了数据处理装置的数据处理性能。
图3为本发明实施例提供的一种实现数据重构的方法,如图3所示,该方法包括:
步骤301、数据重构装置获取待处理的数据块。
在本步骤中,数据重构装置通过IO端口接收主机发送的待处理的数据块。
步骤302、数据重构装置对该待处理的数据块当前的起始偏移量和该预设数据块的数据长度求商得到比值和余数,其中,该比值为该待处理的数据块对应的预设数据块的标识信息,该余数为该待处理的数据块在该标识信息标示的预设数据块内的偏移量。
在本步骤中,该最大处理长度可以是该待处理的数据块的数据范围与当前对应的预设数据块的数据范围叠加的部分对应的数据长度。
需要说明的是,该预设数据块的标识信息可以是预设的编号,具体地,该数据重构装置中存储的预设数据块按照数据范围进行编号,这样,上述比值即为该编号,例如,数据范围为0比特至4096比特的预设数据块的编号为1,数据范围为4097比特至8193比特的预设数据块的编号为2,依次类推,当然,这里的编号方式只是举例说明,本发明不作限定。
步骤303、该数据重构装置根据该标识信息标示的预设数据块的数据长度与该偏移量的差值得到该最大处理长度。
步骤304、该数据重构装置判断该最大处理长度是否大于或等于该待处理的数据块当前的数据长度。
在判断结果为是时,执行步骤305和步骤307至步骤311;
在判断结果为否时,执行步骤306和步骤307至步骤311。
步骤305、该数据重构装置确定该待处理的数据块当前的数据长度为该待处理数据长度。
其中,该待处理数据长度为数据处理装置通过当前预设数据块对该待处理的数据块进行处理的长度。
步骤306、该数据重构装置确定该最大处理长度为该待处理数据长度。
步骤307、该数据重构装置根据待处理数据长度生成数据结构。
其中,该数据结构指示的数据的数据范围为待处理数据长度对应的数据范围。
在本发明实施例中,数据结构通过指针指向该待处理数据长度对应的数据的位置。
步骤308、该数据重构装置将生成的数据结构发送至数据处理装置。
步骤309、该数据重构装置在根据该待处理数据长度生成数据结构后,根据该待处理数据长度更新数据块当前的数据长度。
具体地,通过数据块原有的数据长度减去待处理数据长度得到该数据块当前的数据长度,并将数据块中指示数据长度的信息修改为该当前的数据长度。
步骤310、该数据处理装置通过预设数据块处理数据结构指示的数据。
步骤311、该数据处理装置在完成对该数据结构指示的数据的处理后,向数据重构装置发送处理完成消息。
采用上述方法,通过数据重构装置实现对数据块的数据重构,实现了对数据处理装置工作量的分担,数据处理装置无需再进行数据块的数据重构,数据处理装置无需再进行数据块的数据重构,而直接根据接收的数据重构后的数据结构对待处理数据块中的数据进行处理,从而减轻数据处理装置的工作负担,提高了数据处理装置的数据处理性能。
需要说明的是,对于上述方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
图4为本发明实施例提供的一种数据重构装置,如图4所示,该装置包括:
获取单元401,用于获取待处理的数据块;
处理单元402,用于根据该待处理的数据块的起始偏移量和预设数据块的数据长度确定待处理数据长度;
生成单元403,用于根据该待处理数据长度生成数据结构,其中,该数据结构指示的数据范围为该待处理数据长度对应的数据范围;
发送单元404,用于将生成的该数据结构发送至数据处理装置,以便该数据处理装置通过该预设数据块处理该数据结构指示的数据。
可选地,如图5所示,该处理单元402包括:
处理子单元4021,用于根据该待处理的数据块的起始偏移量和该预设数据块的数据长度得到该待处理的数据块在该预设数据块内的最大处理长度;
判断子单元4022,用于判断该最大处理长度是否大于或等于该待处理的数据块当前的数据长度;
第一确定子单元4023,用于在该最大处理长度大于或等于该待处理的数据块当前的数据长度时,确定该待处理的数据块当前的数据长度为该待处理数据长度;
第二确定子单元4024,用于在该最大处理长度小于该待处理的数据块当前的数据长度时,确定该最大处理长度为该待处理数据长度。
可选地,该处理子单元4021用于通过以下步骤执行根据该数据块的起始偏移量和该预设数据块的数据长度得到该数据块在该预设数据块内的最大处理长度:
对该待处理的数据块当前的起始偏移量和该预设数据块的数据长度求商得到比值和余数;其中,该比值为该待处理的数据块对应的预设数据块的标识信息,该余数为该待处理的数据块在该标识信息标示的预设数据块内的偏移量;
根据该标识信息标示的预设数据块的数据长度与该偏移量的差值得到该最大处理长度。
可选地,如图6所示,该装置还包括:
更新单元405,用于在根据该待处理数据长度生成数据结构后,根据该待处理数据长度更新该待处理的数据块当前的数据长度。
可选地,如图7所示,该装置还包括:
接收单元406,用于在该数据处理装置通过该预设数据块完成对该数据结构指示的数据的处理后,接收该数据处理装置发送的处理完成消息。
采用上述数据重构装置,通过数据重构装置实现对数据块的数据重构,实现了对数据处理装置工作量的分担,数据处理装置无需再进行数据块的数据重构,数据处理装置无需再进行数据块的数据重构,而直接根据接收的数据重构后的数据结构对待处理数据块中的数据进行处理,从而减轻数据处理装置的工作负担,提高了数据处理装置的数据处理性能。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,RandomAccessMemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
虽然本发明所揭露的实施方式如上,但所述的内容仅为便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所属领域内的技术人员,在不脱离本发明所揭露的精神和范围的前提下,可以在实施的形式及细节上进行任何的修改与变化,但本发明的专利保护范围,仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种实现数据重构的方法,其特征在于,包括:
获取待处理的数据块;
根据所述待处理的数据块的起始偏移量和预设数据块的数据长度确定待处理数据长度;
根据所述待处理数据长度生成数据结构,其中,所述数据结构指示的数据范围为所述待处理数据长度对应的数据范围;
将生成的所述数据结构发送至数据处理装置,以便所述数据处理装置通过所述预设数据块处理所述数据结构指示的数据。
2.根据权利要求1所述的方法,其特征在于,所述根据所述待处理的数据块的起始偏移量和预设数据块的数据长度确定待处理数据长度包括:
根据所述待处理的数据块的起始偏移量和所述预设数据块的数据长度得到所述待处理的数据块在所述预设数据块内的最大处理长度;
判断所述最大处理长度是否大于或等于所述待处理的数据块当前的数据长度;
在所述最大处理长度大于或等于所述待处理的数据块当前的数据长度时,确定所述待处理的数据块当前的数据长度为所述待处理数据长度;
在所述最大处理长度小于所述待处理的数据块当前的数据长度时,确定所述最大处理长度为所述待处理数据长度。
3.根据权利要求2所述的方法,其特征在于,所述根据所述待处理的数据块的起始偏移量和所述预设数据块的数据长度得到所述待处理的数据块在所述预设数据块内的最大处理长度包括:
对所述待处理的数据块当前的起始偏移量和所述预设数据块的数据长度求商得到比值和余数;其中,所述比值为所述待处理的数据块对应的预设数据块的标识信息,所述余数为所述待处理的数据块在所述标识信息标示的预设数据块内的偏移量;
根据所述标识信息标示的预设数据块的数据长度与所述偏移量的差值得到所述最大处理长度。
4.根据权利要求1至3任一项所述的方法,其特征在于,在根据所述待处理数据长度生成数据结构后,所述方法还包括:
根据所述待处理数据长度更新所述待处理的数据块当前的数据长度。
5.根据权利要求4所述的方法,其特征在于,在将得到的所述数据结构发送至数据处理装置后,所述方法还包括:
在所述数据处理装置通过所述预设数据块完成对所述数据结构指示的数据的处理后,接收所述数据处理装置发送的处理完成消息。
6.一种数据重构装置,其特征在于,包括:
获取单元,用于获取待处理的数据块;
处理单元,用于根据所述待处理的数据块的起始偏移量和预设数据块的数据长度确定待处理数据长度;
生成单元,用于根据所述待处理数据长度生成数据结构,其中,所述数据结构指示的数据范围为所述待处理数据长度对应的数据范围;
发送单元,用于将生成的所述数据结构发送至数据处理装置,以便所述数据处理装置通过所述预设数据块处理所述数据结构指示的数据。
7.根据权利要求6所述的数据重构装置,其特征在于,所述处理单元包括:
处理子单元,用于根据所述待处理的数据块的起始偏移量和所述预设数据块的数据长度得到所述待处理的数据块在所述预设数据块内的最大处理长度;
判断子单元,用于判断所述最大处理长度是否大于或等于所述待处理的数据块当前的数据长度;
第一确定子单元,用于在所述最大处理长度大于或等于所述待处理的数据块当前的数据长度时,确定所述待处理的数据块当前的数据长度为所述待处理数据长度;
第二确定子单元,用于在所述最大处理长度小于所述待处理的数据块当前的数据长度时,确定所述最大处理长度为所述待处理数据长度。
8.根据权利要求7所述的数据重构装置,其特征在于,所述处理子单元用于通过以下步骤执行根据所述数据块的起始偏移量和所述预设数据块的数据长度得到所述数据块在所述预设数据块内的最大处理长度:
对所述待处理的数据块当前的起始偏移量和所述预设数据块的数据长度求商得到比值和余数;其中,所述比值为所述待处理的数据块对应的预设数据块的标识信息,所述余数为所述待处理的数据块在所述标识信息标示的预设数据块内的偏移量;
根据所述标识信息标示的预设数据块的数据长度与所述偏移量的差值得到所述最大处理长度。
9.根据权利要求6至8任一项所述的数据重构装置,其特征在于,所述装置还包括:
更新单元,用于在根据所述待处理数据长度生成数据结构后,根据所述待处理数据长度更新所述待处理的数据块当前的数据长度。
10.根据权利要求9所述的数据重构装置,其特征在于,所述装置还包括:
接收单元,用于在所述数据处理装置通过所述预设数据块完成对所述数据结构指示的数据的处理后,接收所述数据处理装置发送的处理完成消息。
CN201510594958.2A 2015-09-17 2015-09-17 一种实现数据重构的方法和装置 Pending CN105302853A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510594958.2A CN105302853A (zh) 2015-09-17 2015-09-17 一种实现数据重构的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510594958.2A CN105302853A (zh) 2015-09-17 2015-09-17 一种实现数据重构的方法和装置

Publications (1)

Publication Number Publication Date
CN105302853A true CN105302853A (zh) 2016-02-03

Family

ID=55200125

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510594958.2A Pending CN105302853A (zh) 2015-09-17 2015-09-17 一种实现数据重构的方法和装置

Country Status (1)

Country Link
CN (1) CN105302853A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108804074A (zh) * 2018-06-15 2018-11-13 北京探境科技有限公司 一种数据处理方法、装置、硬件装置、存储介质及芯片
CN110915138A (zh) * 2017-08-28 2020-03-24 日立汽车系统株式会社 电子控制装置和电路的重构方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007138603A2 (en) * 2006-05-31 2007-12-06 Storwize Ltd. Method and system for transformation of logical data objects for storage
CN103294726A (zh) * 2012-03-05 2013-09-11 日电(中国)有限公司 用于处理视频文件的方法和设备
CN103873192A (zh) * 2012-12-17 2014-06-18 联想(北京)有限公司 数据处理方法及装置
CN103902337A (zh) * 2014-03-14 2014-07-02 北京金山网络科技有限公司 一种数据下载的方法和装置
CN104298739A (zh) * 2014-10-09 2015-01-21 北京经纬恒润科技有限公司 一种数据处理方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007138603A2 (en) * 2006-05-31 2007-12-06 Storwize Ltd. Method and system for transformation of logical data objects for storage
CN103294726A (zh) * 2012-03-05 2013-09-11 日电(中国)有限公司 用于处理视频文件的方法和设备
CN103873192A (zh) * 2012-12-17 2014-06-18 联想(北京)有限公司 数据处理方法及装置
CN103902337A (zh) * 2014-03-14 2014-07-02 北京金山网络科技有限公司 一种数据下载的方法和装置
CN104298739A (zh) * 2014-10-09 2015-01-21 北京经纬恒润科技有限公司 一种数据处理方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110915138A (zh) * 2017-08-28 2020-03-24 日立汽车系统株式会社 电子控制装置和电路的重构方法
CN110915138B (zh) * 2017-08-28 2023-07-25 日立安斯泰莫株式会社 电子控制装置和电路的重构方法
CN108804074A (zh) * 2018-06-15 2018-11-13 北京探境科技有限公司 一种数据处理方法、装置、硬件装置、存储介质及芯片
CN108804074B (zh) * 2018-06-15 2021-05-25 北京探境科技有限公司 一种数据处理方法、装置、硬件装置、存储介质及芯片

Similar Documents

Publication Publication Date Title
CN104317914A (zh) 数据获取方法和装置
CN108038212B (zh) 一种数据交互方法、装置、系统、设备和存储介质
CN104461649A (zh) 芯片兼容方法及装置
US20170277170A1 (en) Hmi system
CN105760289A (zh) 一种嵌入式系统的调试方法及装置
CN116166332B (zh) 压缩机驱动器的驱动并行装载方法、装置、设备及介质
CN108399136B (zh) 一种串行接口的控制方法、装置及主机
CN105302853A (zh) 一种实现数据重构的方法和装置
CN113407254B (zh) 表单生成方法、装置、电子设备及存储介质
CN105245581A (zh) 一种应用程序传输方法及装置
CN105119944A (zh) 一种应用的启动方法和相关装置
CN105022635A (zh) 基于云平台的算法文件生成方法、装置及云平台
CN111880803B (zh) 一种应用于多平台的软件构建方法及装置
CN112559020A (zh) 文件升级方法、装置、设备和介质
CN113709188B (zh) 会话控制信息处理方法、装置、系统和存储介质
JP5255566B2 (ja) データを処理するシステムおよび方法
CN110941658A (zh) 一种数据导出方法、装置、服务器及存储介质
CN111669423B (zh) 基于用户态协议栈的网络隔离空间的批量处理方法及系统
CN110069417B (zh) A/b测试方法和装置
CN113360411A (zh) 基于并行变异测试的代码覆盖率检测方法及装置
US10579394B2 (en) Control method and control device
CN112417012A (zh) 数据处理方法及系统
CN111045696A (zh) 自动安装单机操作系统的方法、装置、计算机设备及存储介质
CN111124447A (zh) 一种平台管理方法、系统、设备及计算机可读存储介质
CN116402070B (zh) 一种用于多证件的sp服务实现方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160203

RJ01 Rejection of invention patent application after publication