CN114489491A - 一种数据加载的方法、装置、电子设备及存储介质 - Google Patents
一种数据加载的方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114489491A CN114489491A CN202111664342.XA CN202111664342A CN114489491A CN 114489491 A CN114489491 A CN 114489491A CN 202111664342 A CN202111664342 A CN 202111664342A CN 114489491 A CN114489491 A CN 114489491A
- Authority
- CN
- China
- Prior art keywords
- data
- processed
- target
- loading
- piece
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
- G06F3/0611—Improving I/O performance in relation to response time
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
- G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请公开了一种数据加载的方法、装置、电子设备及存储介质,属于数据处理领域,实现了对大量数据进行加载时耗时更少。所述方法包括:将至少一个待处理数据合并为至少一个目标数据,其中,所述至少一个待处理数据中的一个或多个待处理数据对应一个存储地址,每个所述目标数据分别对应一个目标存储地址;基于所述目标存储地址,对所述目标数据进行加载。
Description
技术领域
本申请属于数据处理领域,具体涉及一种数据加载的方法、装置、电子设备及存储介质。
背景技术
在相关技术领域中,技术人员需要训练相关模型,模型的准确率通常和数据量成正比,用于训练模型的相关数据量越多,模型精度就越高。但是数据量越多,数据的训练时间就越长,其中数据加载的耗时占比最高。相关技术中采用预加载方式对数据进行加载,但是在面对大量小数据时,预加载方式的加载速度仍然不理想。可见,相关技术中在加载大量小数据时往往需要消耗大量时间。
发明内容
本申请实施例提供一种数据加载的方法、装置、电子设备及存储介质,能够解决相关技术中在加载大量数据时需要消耗大量时间的问题。
第一方面,本申请实施例提供了一种数据加载的方法,该方法包括:将至少一个待处理数据合并为至少一个目标数据,其中,所述至少一个待处理数据中的一个或多个待处理数据对应一个存储地址,每个所述目标数据分别对应一个目标存储地址;基于所述目标存储地址,对所述目标数据进行加载。
第二方面,本申请实施例提供了一种数据加载的装置,该装置包括:合并模块,用于将至少一个待处理数据合并为至少一个目标数据,其中,所述至少一个待处理数据中的一个或多个待处理数据对应一个存储地址,每个所述目标数据分别对应一个目标存储地址;加载模块,用于基于所述目标存储地址,对所述目标数据进行加载。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。
在本申请实施例中,通过将至少一个待处理数据合并为至少一个目标数据,其中,至少一个待处理数据中的一个或多个待处理数据对应一个存储地址,每个目标数据分别对应一个目标存储地址,并基于所述目标存储地址,对目标数据进行加载,使得所有目标存储地址的数量少于所有待处理数据的存储地址的数量,在此基础上基于目标存储地址对所有目标数据进行加载,相较于基于所有待处理数据的存储地址对所有待处理数据进行加载而言,减少了需要加载的存储地址,从而使得数据加载时间更短,这解决了相关技术中在加载大量数据时需要消耗大量时间的问题。
附图说明
图1是本申请实施例提供的一种数据加载的方法的流程示意图;
图2是本申请实施例提供的一种数据分布图;
图3是本申请实施例提供的一种数据合并图;
图4是本申请实施例提供的又一种数据加载的方法的流程示意图;
图5是本申请实施例提供的另一种数据分布图;
图6是本申请实施例提供的另一种数据合并图;
图7是根据本申请的一个实施例的一种数据加载的装置的结构示意图;
图8是根据本申请的另一个实施例的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的一种数据加载的方法、装置、电子设备及存储介质进行详细地说明。
具体的,相关技术中在对模型进行训练时,用于训练模型的数据量越大,训练出的模型精度越高。然而训练模型的数据量越大,存储数据所需的存储空间就越多,从而导致数据加载时需要寻址的次数更多,最终使得数据加载耗费的时间大大增加。
针对此,本申请通过将用于模型训练的至少一个待处理数据合并为至少一个目标数据,并将每个目标数据存储在对应的一个目标存储地址中,使得用于存储所有目标数据的存储地址数量少于存储所有待处理数据的存储地址的数量。这样,在对模型训练的数据进行加载时,可以对目标存储地址进行加载,这相较于加载所有待处理数据对应的存储地址而言,减少了需要加载的存储地址,从而减少了加载所需的寻址时间,进一步的解决了相关技术中在加载大量数据时消耗大量时间的问题。
图1示出本发明的一个实施例提供的一种数据加载的方法,该方法可以由电子设备执行,该电子设备可以包括:服务器和/或终端设备,其中终端设备可以例如车载终端或手机终端等。换言之,该方法可以由安装在电子设备的软件或硬件来执行,该方法包括如下步骤:
步骤101:将至少一个待处理数据合并为至少一个目标数据。
其中,所述至少一个待处理数据中的一个或多个待处理数据对应一个存储地址,每个所述目标数据分别对应一个目标存储地址。
在本步骤中,待处理数据可以是图片,也可以是文本,还可以是数字,此处并不对此进行具体限定。此外,可选的,待处理数据可以包括数据本身和数据标签。
可选的,待处理数据合并为目标数据的合并方式可以是按照预定顺序合并,例如,可以按照从左至右,从上至下的顺序进行排列合并,也可以按照从右至左,从上至下的顺序进行排列合并。
此外,可选的,至少一个待处理数据中的一个或多个待处理数据可以对应一个存储地址,即可以一个待处理数据对应一个存储地址,也可以两个或多个待处理数据对应一个存储地址。
在本步骤中,将至少一个待处理数据进行合并,得到至少一个目标数据,这使得合并后的目标数据所对应的目标存储地址的数量少于至少一个待处理数据的存储地址的数量,实现了减少了所存储数据的地址的数量,从而使得在通过预加载方式对数据进行加载时能够减少寻址的次数。
步骤102:基于所述目标存储地址,对所述目标数据进行加载。
具体的,需要对目标数据进行加载时,可以对目标存储地址进行寻址,此时由于目标存储地址的数量小于待处理数据对应的所有存储地址的数量,使得对目标存储地址进行寻址的寻址次数小于对待处理数据对应的存储地址进行寻址的寻址次数,从而使得加载目标数据耗费的寻址时间小于加载待处理数据耗费的寻址时间。
具体的,例如,作为一个示例,如图2所示,假设待处理数据包括P1、P2……P999、P1000等1000个数据,且每个待处理数据对应一个存储地址。在需要对图2中的待处理数据P1、P2……P999、P1000等1000个待处理数据进行加载时,可以将该1000个待处理数据进行合并,此时如图3所示,可以将待处理数据P1、P2……P99、P100等100个数据合并为目标数据N1,将待处理数据P101、P102……P999、P1000等900个数据合并为目标数据N2,其中,目标数据N1和N2分别对应一个目标存储地址。此时由于1000个待处理数据对应的存储地址数量为1000个,而目标数据对应的目标存储地址的数量为2个。在此基础上,使得对待处理数据进行加载需要寻址1000次,而对目标数据进行加载只需寻址2次,这使得数据的寻址时间大大减少,从而解决了相关技术中在加载大量数据时需要消耗大量时间的问题。
这样,在本实施例中,通过将至少一个待处理数据合并为至少一个目标数据,其中,每个目标数据分别对应一个目标存储地址,这在至少一个待处理数据中的一个或多个待处理数据对应一个存储地址时,使得目标数据对应的目标存储地址的数量小于待处理数据对应的存储地址的数量,在此基础上基于目标存储地址对目标数据进行加载,这相较于基于待处理数据对应的存储地址对待处理数据进行加载而言,减少了需要寻址的存储地址的数量,有效解决了相关技术中在加载大量数据时需要消耗大量时间的问题。
在一种可选的实现方式中,在所述基于所述目标存储地址,对所述目标数据进行加载之后,还可以包括:针对每个所述目标数据,获取所述目标数据中待处理数据的坐标信息;基于所述坐标信息,对所述目标数据中的待处理数据进行切分。
具体的,对于加载得到的目标数据,可以获取目标数据中每个待处理数据的坐标信息,基于该坐标信息,可以确定每个待处理数据在目标数据中的位置,并基于每个待处理数据在目标数据中的位置,可以将所述目标数据切分成各个待处理数据,从而实现待处理数据的还原。
例如,如图3所示,对于加载得到的目标数据N1,可以获取得到目标数据N1中待处理数据P24的坐标信息为第三排第四列,基于待处理数据P24的坐标信息,可以将待处理数据从目标数据中切分出来,同理,也可以将目标数据中其他待处理数据从目标数据中切分出来,得到目标数据中所有待处理数据。
这样,基于获得的目标数据中待处理数据的坐标信息,对目标数据中的待处理数据进行切分,可以使得待处理数据在合并为目标数据进行加载后,还可以重新回到待处理数据的状态,这样使得基于待处理数据训练的模型在加载数据之后数据不失真,从而使得训练模型的可靠性更强。
需要说明的是,可选的,在所述基于所述坐标信息,对所述目标数据中的待处理数据进行切分之后,还可以包括:将切分得到的待处理数据的顺序随机打乱,以使得到的数据随机性更强,从而使得基于上述数据训练得到的模型可靠性更强。
在一种可选的实现方式中,在所述基于所述目标存储地址,对所述目标数据进行加载之前,还包括:设置所述目标数据中的待处理数据的坐标信息,其中,所述坐标信息用于指示所述待处理数据在所述目标数据中的位置。
具体的,可以基于待处理数据的合并顺序,在待处理数据合并为目标数据的过程中,确定目标数据中的待处理数据在目标数据中的坐标信息。
例如,图2中的待处理数据P1-P100合并为图3中目标数据N1的合并顺序可以为从左至右,从上至下进行合并,其中目标数据中每行至多可以合并10个待处理数据,每列至多可以合并10个待处理数据,这样,在数据的合并过程中就可以确定每个待处理数据在目标数据中的坐标信息。
这样,可以在加载出合并后的目标数据后,将目标数据中的各个待处理数据按照其对应的坐标信息进行切分,从而将目标数据中的各个待处理数据切分出来,使得基于待处理数据训练的模型在加载数据之后数据不失真,从而使得训练模型的可靠性更强。
在一种可选的实现方式中,所述将至少一个待处理数据合并为至少一个目标数据,可以包括:按照预设数量对所述至少一个待处理数据进行分组,得到至少一个数据组;将每个所述数据组中的所述待处理数据进行合并,得到至少一个所述目标数据。
在本实现方式中,可以将至少一个待处理数据分为2个待处理数据一组,也可以分为3个待处理数据一组,还可以使每组中包含不同数量的待处理数据,此处对待处理数据的分组规则并不进行具体限定,只要保证待处理数据的分组数量小于至少一个待处理数据对应的所有存储地址的数量即可。
作为一个具体的示例,可以将1000个待处理数据按照每100个一组进行分组,这样可以将1000个待处理数据分为10个数据组,将每个数据组中的待处理数据进行合并,可以得到10个目标数据。
这样,将至少一个待处理数据进行分组,并按组将其中的待处理数据合并为目标数据,这样在每个目标数据对应于一个目标存储地址的情况下,可以使得目标存储地址的数量少于待处理数据对应的存储地址的数量,从而使得在对待处理数据进行加载时,需要寻址的存储地址更少,进而使得加载待处理数据的时间变少。
需要说明的是,可选的,在所述将每个所述数据组中的所述待处理数据进行合并,得到至少一个所述目标数据之前,还可以包括:将获取的至少一个待处理数据的顺序打乱,以使得待处理数据的随机性更强,从而使得基于待处理数据训练得到的模型可靠性更强。
在一种可选的实现方式中,在所述将至少一个待处理数据合并为至少一个目标数据之后,还可以包括:将所述至少一个目标数据的顺序打乱,以使得目标数据的随机性更强,从而使得目标数据切分得到的待处理数据的随机性更强,进一步的使得基于待处理数据训练得到的模型可靠性更强。
可选的,下面结合图4,对本申请的一个实施例进行说明,在该实施例包括以下步骤:
步骤401:按照预设数量对所述至少一个待处理数据进行分组,将每一组中的待处理数据进行合并,得到至少一个所述目标数据。
其中,至少一个待处理数据中的一个或多个待处理数据对应一个存储地址,每个所述目标数据分别对应一个目标存储地址。
其中,待处理数据可以是图片,文字,数字等,此处并不进行具体限定,待处理数据可以包括数据本身和数据标签。
可选的,至少一个待处理数据的分组规则可以是每组分配同样数量的待处理数据,也可以每组分配不同数量的待处理数据。
可选的,待处理数据的合并方式可以是按照预定顺序进行合并,例如,按照从左至右,从上至下的顺序进行合并。
进一步的,将待处理数据分组后,得到至少一个数据组,可以将每个数据组中的待处理数据进行合并,得到至少一个目标数据。这样,所有目标数据对应的目标存储地址少于所有待处理数据对应的存储地址。
具体的,作为一个示例,例如,如图5所示,获取1020个待处理数据X1、X2……X1019、X1020后,可以按照每组100个待处理数据的分组规则对1020个待处理数据进行分组;即X1、X2、……、X99、X100等100个数据组合成数据组G1,X101、……、X200等100个数据组合成数据组G2,依次类推,X1001、X1002、……、X1019、X1020等20个数据组合成数据组G11,这样共得到11个数据组G1-G11,其中最后一个数据组G11可以包含20个待处理数据。进一步的,可以将每一个数据组中的待处理数据进行合并,得到11个目标数据B1-B11。其中,合并的顺序可以是按照从左至右,从上至下的顺序对待处理数据进行合并,每个待处理数据对应的存储地址可以是一个。这样,1020个待处理数据总共存在1020个存储地址,11个目标数据对应11个目标存储地址,减少了寻址次数。
需要说明的是,可选的,在本步骤之前,还可以包括:将获取的至少一个待处理数据的顺序打乱。这样使得待处理数据的随机性更强,从而使得基于待处理数据训练得到的模型的可靠性更强。
步骤402:设置所述目标数据中的待处理数据的坐标信息。
其中,所述坐标信息用于指示所述待处理数据在所述目标数据中的位置。
可选的,目标数据中的每个待处理数据的坐标信息可以在其标签的原有基础上设置。
具体的,可以在对每个数据组中的待处理数据进行合并的过程中,设置目标数据中的待处理数据的坐标信息。
例如,在将图5中的数据组G1合并为图6中的目标数据B1的过程中,如图6所示,数据组G1中的待处理数据X13在目标数据中的位置为第二行第三列,则可以在待处理数据X13的数据标签的原有基础上附加其坐标信息为第二行第三列。
步骤403:将所述至少一个目标数据的顺序打乱。
具体的,可以将目标数据的顺序打乱,以使得待处理数据的随机性更强,从而使得基于待处理数据训练得到的模型的可靠性更强。
步骤404:基于所述目标存储地址,对所述目标数据进行加载。
具体的,在需要对目标数据进行加载时,可以对目标存储地址进行寻址,基于寻址得到的目标存储地址,加载其对应的目标数据。
步骤405:针对每个所述目标数据,基于所述目标数据中待处理数据的坐标信息,对所述目标数据中的待处理数据进行切分。
具体的,对于加载得到的目标数据,可以获取目标数据中每个待处理数据的坐标信息,可以基于目标数据中每个待处理数据的坐标信息,将目标数据切分成其中包含的各个待处理数据。
例如,如图6所示,对于加载得到的目标数据B1,可以获取得到B1中待处理数据X13的坐标信息为第二行第三列,则可以在目标数据B1中的第二行第三列的位置将待处理数据X13切分出来,同理,目标数据B1中的其他待处理数据也可以被切分出来。
需要说明的是,可选的,在本步骤之后,还可以包括:将切分得到的待处理数据的顺序随机打乱,以使得得到的数据随机性更强,从而使得基于上述数据训练得到的模型可靠性更强。
这样,在本实施例中,通过待处理数据合并为目标数据,使得目标数据对应的目标存储地址的数量小于待处理数据对应的存储地址的数量。在此基础上基于目标存储地址对目标数据进行加载,这相较于基于待处理数据对应的存储地址对待处理数据进行加载而言,减少了需要寻址的存储地址的数量,进而使得加载待处理数据时寻址次数减少,有效解决了相关技术中在加载大量数据时需要消耗大量时间的问题。
需要说明的是,本申请实施例提供的一种数据加载的方法,执行主体可以为一种数据加载的装置,或者该一种数据加载的装置中的用于执行一种数据加载的方法的控制模块。本申请实施例中以一种数据加载的装置执行一种数据加载的方法为例,说明本申请实施例提供的一种数据加载的装置。
图7是根据本发明实施例的一种数据加载的装置的结构示意图。如图7所示,一种数据加载的装置700包括:合并模块710、加载模块720。
合并模块710,用于将至少一个待处理数据合并为至少一个目标数据,其中,所述至少一个待处理数据中的一个或多个待处理数据对应一个存储地址,每个所述目标数据分别对应一个目标存储地址;加载模块720,用于基于所述目标存储地址,对所述目标数据进行加载。
在一种实现方式中,所述加载模块720还用于:在所述基于所述目标存储地址,对所述目标数据进行加载之后,针对每个所述目标数据,获取所述目标数据中待处理数据的坐标信息;基于所述坐标信息,对所述目标数据中的待处理数据进行切分。
在一种实现方式中,所述加载模块720还用于:在所述基于所述目标存储地址,对所述目标数据进行加载之前,设置所述目标数据中的待处理数据的坐标信息,其中,所述坐标信息用于指示所述待处理数据在所述目标数据中的位置。
在一种实现方式中,所述合并模块710具体用于:按照预设数量对所述至少一个待处理数据进行分组,得到至少一个数据组;将每个所述数据组中的所述待处理数据进行合并,得到至少一个所述目标数据。
在一种实现方式中,所述合并模块710还用于:在所述将至少一个待处理数据合并为至少一个目标数据之后,将所述至少一个目标数据的顺序打乱。
本申请实施例中的一种数据加载的装置可以是装置,也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备,也可以为非移动电子设备。示例性的,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personal digital assistant,PDA)等,非移动电子设备可以为服务器、网络附属存储器(Network Attached Storage,NAS)、个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的一种数据加载的装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
本申请实施例提供的一种数据加载的装置能够实现图1和图4的方法实施例中实现的各个过程,为避免重复,这里不再赘述。
可选的,如图8所示,本申请实施例还提供一种电子设备800,包括处理器801,存储器802,存储在存储器802上并可在所述处理器801上运行的程序或指令,该程序或指令被处理器801执行时实现上述方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述一种数据加载的方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述一种数据加载的方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (10)
1.一种数据加载的方法,其特征在于,包括:
将至少一个待处理数据合并为至少一个目标数据,其中,所述至少一个待处理数据中的一个或多个待处理数据对应一个存储地址,每个所述目标数据分别对应一个目标存储地址;
基于所述目标存储地址,对所述目标数据进行加载。
2.根据权利要求1所述的数据加载的方法,其特征在于,在所述基于所述目标存储地址,对所述目标数据进行加载之后,还包括:
针对每个所述目标数据,获取所述目标数据中待处理数据的坐标信息;
基于所述坐标信息,对所述目标数据中的待处理数据进行切分。
3.根据权利要求1或2所述的数据加载的方法,其特征在于,在所述基于所述目标存储地址,对所述目标数据进行加载之前,还包括:
设置所述目标数据中的待处理数据的坐标信息,其中,所述坐标信息用于指示所述待处理数据在所述目标数据中的位置。
4.根据权利要求1所述的数据加载的方法,其特征在于,所述将至少一个待处理数据合并为至少一个目标数据,包括:
按照预设数量对所述至少一个待处理数据进行分组,得到至少一个数据组;
将每个所述数据组中的所述待处理数据进行合并,得到至少一个所述目标数据。
5.根据权利要求1所述的一种数据加载的方法,其特征在于,在所述将至少一个待处理数据合并为至少一个目标数据之后,还包括:
将所述至少一个目标数据的顺序打乱。
6.一种数据加载的装置,其特征在于,包括:
合并模块,用于将至少一个待处理数据合并为至少一个目标数据,其中,所述至少一个待处理数据中的一个或多个待处理数据对应一个存储地址,每个所述目标数据分别对应一个目标存储地址;
加载模块,用于基于所述目标存储地址,对所述目标数据进行加载。
7.根据权利要求6所述的数据加载的装置,其特征在于,所述加载模块还用于:
在所述基于所述目标存储地址,对所述目标数据进行加载之后,针对每个所述目标数据,获取所述目标数据中待处理数据的坐标信息;
基于所述坐标信息,对所述目标数据中的待处理数据进行切分。
8.根据权利要求6或7所述的数据加载的装置,其特征在于,所述加载模块还用于:
在所述基于所述目标存储地址,对所述目标数据进行加载之前,设置所述目标数据中的待处理数据的坐标信息,其中,所述坐标信息用于指示所述待处理数据在所述目标数据中的位置。
9.一种电子设备,其特征在于,包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1-5任一项所述的数据加载的方法的步骤。
10.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1-5任一项所述的数据加载的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111664342.XA CN114489491A (zh) | 2021-12-30 | 2021-12-30 | 一种数据加载的方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111664342.XA CN114489491A (zh) | 2021-12-30 | 2021-12-30 | 一种数据加载的方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114489491A true CN114489491A (zh) | 2022-05-13 |
Family
ID=81508281
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111664342.XA Pending CN114489491A (zh) | 2021-12-30 | 2021-12-30 | 一种数据加载的方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114489491A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110471614A (zh) * | 2018-05-09 | 2019-11-19 | 杭州海康威视数字技术股份有限公司 | 一种存储数据的方法、检测终端的方法及装置 |
CN113031871A (zh) * | 2021-03-26 | 2021-06-25 | 山东英信计算机技术有限公司 | 数据追加聚合方法、装置、电子设备及可读存储介质 |
CN113220715A (zh) * | 2021-07-08 | 2021-08-06 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、系统、计算机及可读存储介质 |
CN113448938A (zh) * | 2021-07-20 | 2021-09-28 | 恒安嘉新(北京)科技股份公司 | 数据处理方法、装置、电子设备及存储介质 |
-
2021
- 2021-12-30 CN CN202111664342.XA patent/CN114489491A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110471614A (zh) * | 2018-05-09 | 2019-11-19 | 杭州海康威视数字技术股份有限公司 | 一种存储数据的方法、检测终端的方法及装置 |
CN113031871A (zh) * | 2021-03-26 | 2021-06-25 | 山东英信计算机技术有限公司 | 数据追加聚合方法、装置、电子设备及可读存储介质 |
CN113220715A (zh) * | 2021-07-08 | 2021-08-06 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、系统、计算机及可读存储介质 |
CN113448938A (zh) * | 2021-07-20 | 2021-09-28 | 恒安嘉新(北京)科技股份公司 | 数据处理方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111258434A (zh) | 在聊天界面插入图片的方法、装置、设备及存储介质 | |
CN110888972A (zh) | 一种基于Spark Streaming的敏感内容识别方法及装置 | |
CN111553847B (zh) | 图像处理方法及装置 | |
CN114138231B (zh) | 执行矩阵乘法运算的方法、电路及soc | |
CN105700942A (zh) | 应用进程关联启动方法及关联启动装置 | |
CN114489491A (zh) | 一种数据加载的方法、装置、电子设备及存储介质 | |
CN105653339A (zh) | 应用进程启动方法及应用进程启动装置 | |
CN114219812A (zh) | 标号避让方法、装置、电子设备及存储介质 | |
CN109544664B (zh) | 动画数据处理方法、装置、电子设备及可读存储介质 | |
CN107301017A (zh) | 一种数据存储方法及装置 | |
CN114153560A (zh) | 一种虚拟中断处理方法、装置、设备及介质 | |
CN110329313B (zh) | 工程维护车重联配置的显示方法及装置 | |
CN107436918B (zh) | 数据库实现方法、装置和设备 | |
CN116263792B (zh) | 一种复杂互联网数据爬取的方法及系统 | |
CN111773714B (zh) | 游戏技能配置方法与装置及游戏技能控制方法与装置 | |
CN112506483B (zh) | 数据增广方法、装置、电子设备及存储介质 | |
CN113553009B (zh) | 数据读取方法、数据写入方法及数据读写方法 | |
KR102428749B1 (ko) | 이벤트 공간 분할 방법 및 장치, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램 | |
CN117555599B (zh) | 加快关键数据访问速度的芯片设计方法、系统及相关设备 | |
CN115509763B (zh) | 指纹计算方法及装置 | |
CN111538589B (zh) | 嵌入式os线程阻塞队列的操作优化方法、装置、终端及介质 | |
CN109144505B (zh) | Android页面的展示方法和装置 | |
CN116392810A (zh) | 一种文本显示方法、装置、电子设备和可读存储介质 | |
CN116302541A (zh) | 资源性能调节方法和装置 | |
CN113064922A (zh) | 一种数据连续性判定方法、终端设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |