CN113761004A - 网络模型数据处理、数据展示方法、装置和存储介质 - Google Patents
网络模型数据处理、数据展示方法、装置和存储介质 Download PDFInfo
- Publication number
- CN113761004A CN113761004A CN202110494425.2A CN202110494425A CN113761004A CN 113761004 A CN113761004 A CN 113761004A CN 202110494425 A CN202110494425 A CN 202110494425A CN 113761004 A CN113761004 A CN 113761004A
- Authority
- CN
- China
- Prior art keywords
- data set
- training data
- queue
- identifier
- target text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
- G06F16/24578—Query processing with adaptation to user needs using ranking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种网络模型数据处理方法、装置、计算机设备和存储介质。该方法包括:当待获取训练数据集标识对应的待获取训练数据集类型为文本类型时,基于待获取训练数据集标识在第一队列中查找对应的目标文本训练数据集标识;当在第一队列中未查找到对应的目标文本训练数据集标识时,在第二队列中查找待获取训练数据集标识对应的目标文本训练数据集标识;当在第二队列中查找到对应的目标文本训练数据集标识时,获取查找到的目标文本训练数据集标识对应的目标磁盘存储位置;基于目标磁盘存储位置从对应的磁盘读取目标文本训练数据集标识对应的目标文本训练数据集;将目标文本训练数据集输入网络模型进行训练。采用本方法提高了网络模型的训练效率。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种网络模型数据处理、数据展示方法、装置、计算机设备和存储介质。
背景技术
随着人工智能技术的发展,出现了智能学习平台技术,智能学习平台是一种强大计算能力的一站式机器学习生态服务平台。它能够对各种数据源、组件、算法、模型和评估模块进行组合,使得算法工程师和数据科学家在其之上能够方便地进行模型训练、评估和预测。支持海量数据存储、标注、推理、训练、分发。在智能学习处理的过程中,需要对海量数据进行展示。目前,智能学习平台在模型训练时通常是通过从保存数据的介质中下载并解析到要使用的训练数据集,然后再进行模型训练。然而,智能学习平台通过会采用数据来训练多种不同的模型,每次训练模型都会触发数据集全量下载,解析,传输等耗时操作,使得模型训练的效率降低。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高模型训练效率的网络模型数据处理、数据展示方法、装置、计算机设备和存储介质。
一种网络模型数据处理方法,所述方法包括:
接收训练数据获取请求,训练数据获取请求携带待获取训练数据集标识;
当待获取训练数据集标识对应的待获取训练数据集类型为文本类型时,基于待获取训练数据集标识在第一队列中查找对应的目标文本训练数据集标识;第一队列中存储有各个第一文本训练数据集标识和对应的第一文本训练数据集;
当在第一队列中未查找到对应的目标文本训练数据集标识时,在第二队列中查找待获取训练数据集标识对应的目标文本训练数据集标识;第二队列中存储有各个第二文本训练数据集标识、对应的历史访问次数和对应的磁盘存储位置,第一队列和第二队列都位于数据缓存中;
当在第二队列中查找到对应的目标文本训练数据集标识时,获取查找到的目标文本训练数据集标识对应的目标磁盘存储位置;
基于目标磁盘存储位置从对应的磁盘读取目标文本训练数据集标识对应的目标文本训练数据集,更新第二队列中目标文本训练数据集标识对应的历史访问次数,第二队列中的第二文本训练数据集标识对应的第二文本训练数据集用于在对应的历史访问次数满足缓存条件时,写入第一队列中;
将目标文本训练数据集输入网络模型进行训练,网络模型用于根据模型任务类型对输入数据进行处理。
一种网络模型数据处理装置,所述装置包括:
请求接收模块,用于接收训练数据获取请求,训练数据获取请求携带待获取训练数据集标识;
第一查找模块,用于当待获取训练数据集标识对应的待获取训练数据集类型为文本类型时,基于待获取训练数据集标识在第一队列中查找对应的目标文本训练数据集标识;第一队列中存储有各个第一文本训练数据集标识和对应的第一文本训练数据集;
第二查找模块,用于当在第一队列中未查找到对应的目标文本训练数据集标识时,在第二队列中查找待获取训练数据集标识对应的目标文本训练数据集标识;第二队列中存储有各个第二文本训练数据集标识、对应的历史访问次数和对应的磁盘存储位置,第一队列和第二队列都位于数据缓存中;
位置获取模块,用于当在第二队列中查找到对应的目标文本训练数据集标识时,获取查找到的目标文本训练数据集标识对应的目标磁盘存储位置;
数据读取模块,用于基于目标磁盘存储位置从对应的磁盘读取目标文本训练数据集标识对应的目标文本训练数据集,更新第二队列中目标文本训练数据集标识对应的历史访问次数,第二队列中的第二文本训练数据集标识对应的第二文本训练数据集用于在对应的历史访问次数满足缓存条件时,写入第一队列中;
训练模块,用于将目标文本训练数据集输入网络模型进行训练,网络模型用于根据模型任务类型对输入数据进行处理。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
接收训练数据获取请求,训练数据获取请求携带待获取训练数据集标识;
当待获取训练数据集标识对应的待获取训练数据集类型为文本类型时,基于待获取训练数据集标识在第一队列中查找对应的目标文本训练数据集标识;第一队列中存储有各个第一文本训练数据集标识和对应的第一文本训练数据集;
当在第一队列中未查找到对应的目标文本训练数据集标识时,在第二队列中查找待获取训练数据集标识对应的目标文本训练数据集标识;第二队列中存储有各个第二文本训练数据集标识、对应的历史访问次数和对应的磁盘存储位置,第一队列和第二队列都位于数据缓存中;
当在第二队列中查找到对应的目标文本训练数据集标识时,获取查找到的目标文本训练数据集标识对应的目标磁盘存储位置;
基于目标磁盘存储位置从对应的磁盘读取目标文本训练数据集标识对应的目标文本训练数据集,更新第二队列中目标文本训练数据集标识对应的历史访问次数,第二队列中的第二文本训练数据集标识对应的第二文本训练数据集用于在对应的历史访问次数满足缓存条件时,写入第一队列中;
将目标文本训练数据集输入网络模型进行训练,网络模型用于根据模型任务类型对输入数据进行处理。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
接收训练数据获取请求,训练数据获取请求携带待获取训练数据集标识;
当待获取训练数据集标识对应的待获取训练数据集类型为文本类型时,基于待获取训练数据集标识在第一队列中查找对应的目标文本训练数据集标识;第一队列中存储有各个第一文本训练数据集标识和对应的第一文本训练数据集;
当在第一队列中未查找到对应的目标文本训练数据集标识时,在第二队列中查找待获取训练数据集标识对应的目标文本训练数据集标识;第二队列中存储有各个第二文本训练数据集标识、对应的历史访问次数和对应的磁盘存储位置,第一队列和第二队列都位于数据缓存中;
当在第二队列中查找到对应的目标文本训练数据集标识时,获取查找到的目标文本训练数据集标识对应的目标磁盘存储位置;
基于目标磁盘存储位置从对应的磁盘读取目标文本训练数据集标识对应的目标文本训练数据集,更新第二队列中目标文本训练数据集标识对应的历史访问次数,第二队列中的第二文本训练数据集标识对应的第二文本训练数据集用于在对应的历史访问次数满足缓存条件时,写入第一队列中;
将目标文本训练数据集输入网络模型进行训练,网络模型用于根据模型任务类型对输入数据进行处理。
上述网络模型数据处理方法、装置、计算机设备和存储介质,通过接收训练数据获取请求,训练数据获取请求携带待获取训练数据集标识,当待获取训练数据集标识对应的待获取训练数据集类型为文本类型时,先在第一队列中查找对应的目标文本训练数据集标识,当在第一队列中未查找到对应的目标文本训练数据集标识时,在第二队列中查找待获取训练数据集标识对应的目标文本训练数据集标识,第一队列和第二队列都位于数据缓存中。当在第二队列中查找到对应的目标文本训练数据集标识时,获取查找到的目标文本训练数据集标识对应的目标磁盘存储位置,基于目标磁盘存储位置从对应的磁盘读取目标文本训练数据集标识对应的目标文本训练数据集,然后将目标文本训练数据集输入网络模型进行训练。即通过第一队列和第二队列使得在获取训练数据时通过多级缓存来进行访问,充分利用缓存和磁盘来降低下载、解析和传输等耗费的时间,避免了服务器从存储介质来下载要展示的数据,从而能够快速获取到训练数据,进一步提升训练模型的效率。
一种数据展示方法,所述方法包括:
接收通过数据展示页发送的数据展示指令,基于数据展示指令向服务器发送数据获取请求,数据获取请求携带有待展示数据集标识,
服务器用于当待展示数据集标识对应的待展示数据集类型为文本类型时,基于待展示数据集标识在第一队列中查找对应的目标文本数据集标识,第一队列中存储有各个第一文本数据集标识和对应的第一文本数据集,当在第一队列中未查找到对应的目标文本数据集标识时,在第二队列中查找待展示数据集标识对应的目标文本数据集标识,第二队列中存储有各个第二文本数据集标识、对应的历史访问次数和对应的磁盘存储位置,第一队列和第二队列都位于数据缓存中,当在第二队列中查找到对应的目标文本数据集标识时,获取查找到的目标文本数据集标识对应的目标磁盘存储位置,基于目标磁盘存储位置从对应的磁盘读取目标文本数据集标识对应的目标文本数据集,更新第二队列中目标文本数据集标识对应的历史访问次数,第二队列中的第二文本数据集标识对应的第二文本数据集用于在对应的历史访问次数满足缓存条件时,写入第一队列中,并将目标文本数据集返回终端;
获取服务器返回的目标文本数据集,将目标文本数据集通过数据展示页进行展示。
在其中一个实施例中,所述数据获取请求携带有待展示数据集标识和请求方标识;
所述基于所述数据展示指令向服务器发送数据获取请求,包括:
基于所述数据展示指令向服务器发送目标数据获取请求,所述服务器解析所述目标数据获取请求,得到请求方标识,并将所述请求方标识与预设数据读取权限列表进行匹配,当存在匹配一致的请求方标识时,所述服务器响应所述数据同步请求,生成异步任务标识并记录所述异步任务标识对应的异步任务状态为未完成,将所述异步任务标识返回终端。
在其中一个实施例中,所述方法,还包括:
接收通过数据展示页发送的数据展示指令,基于所述数据展示指令向服务器发送数据获取请求,所述数据获取请求携带有待展示数据集标识;
所述服务器用于当所述待展示数据集标识对应的待展示数据集类型为文本类型时,基于所述待展示数据集标识在第一队列中查找对应的目标文本数据集标识,当在所述第一队列中查找到对应的目标文本数据集标识时,获取到所述目标文本数据集标识对应的目标缓存存储位置,基于所述目标缓存存储位置从对应的缓存读取所述目标文本数据集标识对应的目标文本数据集;获取当前时间点,基于所述当前时间点更新所述目标文本数据集标识对应的第一访问时间点,将所述待展示数据集标识对应的目标文本数据集返回终端;
获取到所述服务器返回的目标文本数据集,将所述目标文本数据集通过所述数据展示页进行展示。
一种数据展示装置,所述装置包括:
请求发送模块,用于接收通过数据展示页发送的数据展示指令,基于数据展示指令向服务器发送数据获取请求,数据获取请求携带有待展示数据集标识,服务器用于当待展示数据集标识对应的待展示数据集类型为文本类型时,基于待展示数据集标识在第一队列中查找对应的目标文本数据集标识,第一队列中存储有各个第一文本数据集标识和对应的第一文本数据集,当在第一队列中未查找到对应的目标文本数据集标识时,在第二队列中查找待展示数据集标识对应的目标文本数据集标识,第二队列中存储有各个第二文本数据集标识、对应的历史访问次数和对应的磁盘存储位置,第一队列和第二队列都位于数据缓存中,当在第二队列中查找到对应的目标文本数据集标识时,获取查找到的目标文本数据集标识对应的目标磁盘存储位置,基于目标磁盘存储位置从对应的磁盘读取目标文本数据集标识对应的目标文本数据集,更新第二队列中目标文本数据集标识对应的历史访问次数,第二队列中的第二文本数据集标识对应的第二文本数据集用于在对应的历史访问次数满足缓存条件时,写入第一队列中,并将目标文本数据集返回终端;
文本展示模块,用于获取服务器返回的目标文本数据集,将目标文本数据集通过数据展示页进行展示。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
接收通过数据展示页发送的数据展示指令,基于数据展示指令向服务器发送数据获取请求,数据获取请求携带有待展示数据集标识,
服务器用于当待展示数据集标识对应的待展示数据集类型为文本类型时,基于待展示数据集标识在第一队列中查找对应的目标文本数据集标识,第一队列中存储有各个第一文本数据集标识和对应的第一文本数据集,当在第一队列中未查找到对应的目标文本数据集标识时,在第二队列中查找待展示数据集标识对应的目标文本数据集标识,第二队列中存储有各个第二文本数据集标识、对应的历史访问次数和对应的磁盘存储位置,第一队列和第二队列都位于数据缓存中,当在第二队列中查找到对应的目标文本数据集标识时,获取查找到的目标文本数据集标识对应的目标磁盘存储位置,基于目标磁盘存储位置从对应的磁盘读取目标文本数据集标识对应的目标文本数据集,更新第二队列中目标文本数据集标识对应的历史访问次数,第二队列中的第二文本数据集标识对应的第二文本数据集用于在对应的历史访问次数满足缓存条件时,写入第一队列中,并将目标文本数据集返回终端;
获取服务器返回的目标文本数据集,将目标文本数据集通过数据展示页进行展示。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
接收通过数据展示页发送的数据展示指令,基于数据展示指令向服务器发送数据获取请求,数据获取请求携带有待展示数据集标识,
服务器用于当待展示数据集标识对应的待展示数据集类型为文本类型时,基于待展示数据集标识在第一队列中查找对应的目标文本数据集标识,第一队列中存储有各个第一文本数据集标识和对应的第一文本数据集,当在第一队列中未查找到对应的目标文本数据集标识时,在第二队列中查找待展示数据集标识对应的目标文本数据集标识,第二队列中存储有各个第二文本数据集标识、对应的历史访问次数和对应的磁盘存储位置,第一队列和第二队列都位于数据缓存中,当在第二队列中查找到对应的目标文本数据集标识时,获取查找到的目标文本数据集标识对应的目标磁盘存储位置,基于目标磁盘存储位置从对应的磁盘读取目标文本数据集标识对应的目标文本数据集,更新第二队列中目标文本数据集标识对应的历史访问次数,第二队列中的第二文本数据集标识对应的第二文本数据集用于在对应的历史访问次数满足缓存条件时,写入第一队列中,并将目标文本数据集返回终端;
获取服务器返回的目标文本数据集,将目标文本数据集通过数据展示页进行展示。
上述数据展示方法、装置、计算机设备和存储介质,终端通过接收通过数据展示页发送的数据展示指令,基于数据展示指令向服务器发送数据获取请求,数据获取请求携带有待展示数据集标识,然后服务器用于当待展示数据集标识对应的待展示数据集类型为文本类型时,基于待展示数据集标识在第一队列中查找对应的目标文本数据集标识,当在第一队列中未查找到对应的目标文本数据集标识时,在第二队列中查找待展示数据集标识对应的目标文本数据集标识,第一队列和第二队列都位于数据缓存中,当在第二队列中查找到对应的目标文本数据集标识时,获取查找到的目标文本数据集标识对应的目标磁盘存储位置,基于目标磁盘存储位置从对应的磁盘读取目标文本数据集标识对应的目标文本数据集,并将目标文本数据集返回终端;获取服务器返回的目标文本数据集,将目标文本数据集通过数据展示页进行展示即通过第一队列和第二队列使得在获取展示数据时通过多级缓存来进行访问,充分利用缓存和磁盘来降低下载、解析和传输等耗费的时间,避免了服务器从存储介质来下载要展示的数据,从而能够快速获取到要展示的数据,提升数据的展示速度。
附图说明
图1为一个实施例中网络模型数据处理方法的应用环境图;
图2为一个实施例中网络模型数据处理方法的流程示意图;
图3为另一个实施例中网络模型数据处理方法的流程示意图;
图4为又一个实施例中网络模型数据处理方法的流程示意图;
图5为再一个实施例中网络模型数据处理方法的流程示意图;
图6为一个实施例中写入第二队列的流程示意图;
图7为一个具体实施例中第二队列更新的流程示意图;
图8为一个具体实施例中队列之间交互的示意图;
图9为一个实施例中写入第一队列更新的流程示意图;
图10为一个具体实施例中第一队列使用的流程示意图;
图11为一个具体实施例中第一队列进行数据处理的示意图;
图12为一个实施例中数据展示方法的流程示意图;
图13为另一个实施例中数据展示方法的流程示意图;
图14为又一个实施例中数据展示方法的流程示意图;
图15为一个具体实施例中文本数据集展示的具体框架示意;
图16再一个实施例中数据展示方法的流程示意图;
图17为一个具体实施例中图片数据集展示的具体框架示意;
图18为一个具体实施例中网络模型数据处理方法的流程示意图;
图19为一个具体实施例中数据中心系统的框架示意图;
图20为图19具体实施例中数据展示的流程示意图;
图21为图19具体实施例中展示的部分文本数据集的示意图;
图22为图19具体实施例中展示的部分图片数据集的流程示意图;
图23为一个实施例中网络模型数据处理装置的结构框图;
图24为一个实施例中数据展示装置的结构框图;
图25为一个实施例中计算机设备的内部结构图;
图26为另一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
自然语言处理(Nature Language processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此,这一领域的研究将涉及自然语言,即人们日常使用的语言,所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
本申请实施例提供的方案涉及人工智能的计算机视觉技术和自然语言处理等技术,具体通过如下实施例进行说明:
本申请提供的网络模型数据处理方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信,数据库106中存储训练数据,服务器104可以从数据库106中获取训练数据。终端102通过智能学习平台接收到模型得到训练指令,向服务器104发送模型训练指令,服务器104接收到模型训练指令,根据模型训练指令服务器104接收训练数据获取请求,训练数据获取请求携带待获取训练数据集标识;当待获取训练数据集标识对应的待获取训练数据集类型为文本类型时,基于待获取训练数据集标识在第一队列中查找对应的目标文本训练数据集标识;第一队列中存储有各个第一文本训练数据集标识和对应的第一文本训练数据集;服务器104当在第一队列中未查找到对应的目标文本训练数据集标识时,在第二队列中查找待获取训练数据集标识对应的目标文本训练数据集标识;第二队列中存储有各个第二文本训练数据集标识、对应的历史访问次数和对应的磁盘存储位置,第一队列和第二队列都位于数据缓存中;服务器104当在第二队列中查找到对应的目标文本训练数据集标识时,获取查找到的目标文本训练数据集标识对应的目标磁盘存储位置;基于目标磁盘存储位置从对应的磁盘读取目标文本训练数据集标识对应的目标文本训练数据集,更新第二队列中目标文本训练数据集标识对应的历史访问次数,第二队列中的第二文本训练数据集标识对应的第二文本训练数据集用于在对应的历史访问次数满足缓存条件时,写入第一队列中;将目标文本训练数据集输入网络模型进行训练,网络模型用于根据模型任务类型对输入数据进行处理。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
在一个实施例中,如图2所示,提供了一种网络模型数据处理方法,以该方法应用于图1中的服务器为例进行说明,可以理解的是,该方法也可以应用在终端中,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。包括以下步骤:
步骤202,接收训练数据获取请求,训练数据获取请求携带待获取训练数据集标识。
其中,训练数据获取请求用于请求获取到训练数据,训练数据是指训练人工智能模型时使用的数据,可以是文本数据,也可以是图片数据。人工智能模型是指通过人工智能算法建立的模型,该人工智能算法包括监督学习算法和无监督学习算法等等,其中,监督学习算法可以是决策树算法、神经网络算法、线性回归算法等等,无监督学习算法可以是聚类算法、对抗神经网络算法等等。待获取训练数据集标识用于唯一标识待获取训练数据集,待获取训练数据集是指需要获取到的训练数据集。
具体地,服务器可以接收训练数据获取请求,训练数据获取请求携带待获取训练数据集标识,其中,可以是终端向服务器发送训练数据获取请求后,服务器接收到训练数据获取请求,也可以是服务器在执行模型训练指令时,接收到收训练数据获取请求。
步骤204,当待获取训练数据集标识对应的待获取训练数据集类型为文本类型时,基于待获取训练数据集标识在第一队列中查找对应的目标文本训练数据集标识,第一队列中存储有各个第一文本训练数据集标识和对应的第一文本训练数据集。
其中,待获取训练数据集类型用于表征训练数据集的类型,包括文本类型和图片类型,所述文本类型是指以文本格式存储的类型,所述图片类型是指以图片格式存储的类型。第一队列中存储有各个第一文本训练数据集标识和对应的第一文本训练数据集。第一文本训练数据集标识是指第一队列中缓存的文本训练数据集标识。文本训练数据集标识用于唯一标识文本训练数据集。第一文本训练数据集是指第一队列中缓存的文本训练数据集。即第一队列中缓存有文本训练数据集,可以缓存有全量的文本训练数据集,也可以缓存文本训练数据集中的部分文本训练数据。目标文本训练数据集标识是指要获取到的文本训练数据集的标识。
具体地,服务器先判断要获取的训练数据的类型,即获取到待获取训练数据集标识对应的训练数据集格式,根据训练数据集格式来确定待获取训练数据集的类型。当训练数据集格式为文本格式时,即待获取训练数据集标识对应的待获取训练数据集类型为文本类型。此时,在第一队列中使用待获取训练数据集标识进行查找,当查找到一致的标识时,该一致的标识就为查找到的待获取训练数据集标识在第一队列中对应的目标文本训练数据集标识。其中,第一队列中存储有各个第一文本训练数据集标识和对应的第一文本训练数据集,该第一队列中存储的第一文本训练数据集标识的数量可以根据需求设置。
步骤206,当在第一队列中未查找到对应的目标文本训练数据集标识时,在第二队列中查找待获取训练数据集标识对应的目标文本训练数据集标识;第二队列中存储有各个第二文本训练数据集标识、对应的历史访问次数和对应的磁盘存储位置,第一队列和第二队列都位于数据缓存中。
其中,第二队列中存储有各个第二文本训练数据集标识、对应的历史访问次数和对应的磁盘存储位置,其中,第二文本训练数据集标识是指缓存在第二队列中的文本训练数据集标识,历史访问次数是指第二队列中的第二文本训练数据集标识对应的文本训练数据集历史被访问过的次数,每访问一次,历史访问次数就会增加一次。磁盘存储位置是指第二文本训练数据标识对应的文本训练数据在磁盘中的具体存储位置。第一队列和第二队列都时缓存中的队列。
具体地,服务器如果在第一队列中未查找到对应的目标文本训练数据集标识时,说明要获取的训练数据未存储在第一队列中,此时,服务器使用待获取训练数据集标识与第二队列中存储的各个第二文本训练数据集标识进行匹配,即在第二队列中查找待获取训练数据集标识对应的目标文本训练数据集标识。其中,第二队列中是将各个第二文本训练数据集标识、对应的历史访问次数和对应的磁盘存储位置关联存储的,并且第一队列和第二队列都位于数据缓存中。即将第一队列和第二队列都存储到数据缓存中,服务器就可以直接从数据缓存中进行查找并使用,能够提高效率。
步骤208,当在第二队列中查找到对应的目标文本训练数据集标识时,获取查找到的目标文本训练数据集标识对应的目标磁盘存储位置。
其中,目标磁盘存储位置是指要获取到的训练数据在磁盘中的存储位置。
具体地,服务器在第二队列中匹配到一致的待获取训练数据集标识时,说明在第二队列中查找到对应的目标文本训练数据集标识,此时,根据第二队列中的关联关系获取查找到的目标文本训练数据集标识对应的磁盘存储位置,该磁盘存储位置就为目标磁盘存储位置。
步骤210,基于目标磁盘存储位置从对应的磁盘读取目标文本训练数据集标识对应的目标文本训练数据集,更新第二队列中目标文本训练数据集标识对应的历史访问次数,第二队列中的第二文本训练数据集标识对应的第二文本训练数据集用于在对应的历史访问次数满足缓存条件时,写入第一队列中。
其中,目标文本训练数据集是指要获取到的训练数据,即待获取训练数据集标识对应的训练数据。缓存条件是指预先设置好的将第二队列中第二文本训练数据集标识对应的文本训练数据集存储到第一队列中的条件,可以包括历史访问次数满足预先设置好的次数阈值。
具体地,服务器根据目标磁盘存储位置从对应的磁盘读取目标文本训练数据集标识对应的目标文本训练数据集,同时服务器更新第二队列中目标文本训练数据集标识对应的历史访问次数,即服务器将第二队列中目标文本训练数据集标识对应的历史访问次数进行增加。其中,该第二队列中的第二文本训练数据集标识对应的第二文本训练数据集用于在对应的历史访问次数满足缓存条件时,写入第一队列中。
步骤212,将目标文本训练数据集输入网络模型进行训练,网络模型用于根据模型任务类型对输入数据进行处理。
其中,网络模型是指使用训练数据进行训练的人工智能网络模型。该网络模型用于根据模型任务类型对输入数据进行处理,模型任务类型是根据需要确定的,比如,模型任务类型是分类,则网络模型是用于对输入数据进行分类的模型,又比如,模型任务类型是识别,则网络模型是用于对输入数据进行识别的模型。再比如,模型任务类型是预测,则网络模型是使用输入数据进行预测的模型。
具体地,当服务器获取到的目标文本训练数据集时,使用目标文本训练数据集网络模型进行训练,得到训练后的网络模型,然后使用训练后的网络模型对输入数据进行处理。
上述网络模型数据处理方法,通过接收训练数据获取请求,训练数据获取请求携带待获取训练数据集标识,当待获取训练数据集标识对应的待获取训练数据集类型为文本类型时,先在第一队列中查找对应的目标文本训练数据集标识,当在第一队列中未查找到对应的目标文本训练数据集标识时,在第二队列中查找待获取训练数据集标识对应的目标文本训练数据集标识,第一队列和第二队列都位于数据缓存中。当在第二队列中查找到对应的目标文本训练数据集标识时,获取查找到的目标文本训练数据集标识对应的目标磁盘存储位置,基于目标磁盘存储位置从对应的磁盘读取目标文本训练数据集标识对应的目标文本训练数据集,然后将目标文本训练数据集输入网络模型进行训练。即通过第一队列和第二队列使得在获取训练数据时通过多级缓存来进行访问,充分利用缓存和磁盘来降低下载、解析和传输等耗费的时间,避免了服务器从存储介质来下载要展示的数据,从而能够快速获取到训练数据,进一步提升训练模型的效率。
在一个实施例中,第一队列中存储有各个第一文本训练数据集标识、对应的第一文本训练数据集、对应的缓存存储位置和对应的第一访问时间点;
如图3所示,在步骤204之后,即在基于待获取训练数据集标识在第一队列中查找对应的目标文本训练数据集标识之后,还包括:
步骤302,当在第一队列查找到对应的目标文本训练数据集标识时,获取到目标文本训练数据集标识对应的目标缓存存储位置,基于目标缓存存储位置从对应的缓存读取目标文本训练数据集标识对应的目标文本训练数据集。
其中,缓存存储位置是指第一队列中第一文本训练数据集标识对应的文本训练数据集在缓存中的具体存储位置。第一访问时间点是指第一队列中第一文本训练数据集标识对应的文本训练数据集最后一次被访问的时间点。目标缓存存储位置是指目标文本训练数据集标识对应的缓存存储位置,即待获取训练数据集标识对应的缓存存储位置。在一个实施例中,服务器中第一文本训练数据集和对应的缓存存储位置可以是以键值对的格式存储在第一队列中。
具体地,服务器如果直接在第一队列查找到对应的目标文本训练数据集标识时,根据第一队列中的关联关系获取到目标文本训练数据集标识对应的目标缓存存储位置,使用目标缓存存储位置从对应的缓存读取目标文本训练数据集标识对应的目标文本训练数据集。
步骤304,获取当前时间点,基于当前时间点更新目标文本训练数据集标识对应的第一访问时间点。
其中,当前时间点是指当前读取目标文本训练数据集的时间点。
具体地,服务器获取到当前时间点,使用当前时间点替换点第一队列中目标文本训练数据集标识对应的第一访问时间点。
在上述实施例中,通过在第一队列中存储第一文本训练数据集标识和缓存存储位置的关联关系,从而可以使服务器快速从目标缓存存储位置读取目标文本训练数据集标识对应的目标文本训练数据集,即可以实现常数时间内的读取,提高了效率。
在一个实施例中,训练数据获取请求还携带有待获取训练数据集数据量;
如图4所示,步骤302,当在第一队列查找到对应的目标文本训练数据集标识时,获取到目标文本训练数据集标识对应的目标缓存存储位置,基于目标缓存存储位置从对应的缓存读取目标文本训练数据集标识对应的目标文本训练数据集,包括:
步骤402,当在第一队列查找到对应的目标文本训练数据集标识时,获取第一队列中目标文本训练数据集标识对应的目标文本训练数据集的缓存数据量。
其中,待获取训练数据集数据量是指要获取的训练数据集的大小,该大小可以根据需求设置。缓存数据量是指第一队列中缓存的文本训练数据集的数据量,可以是全量存储,可以存储一部分数据。
具体地,服务器接收到训练数据获取请求,对训练数据获取请求进行解析后还得到了待获取训练数据集数据量。此时,服务器如果在第一队列查找到对应的目标文本训练数据集标识时,获取第一队列中目标文本训练数据集标识对应的目标文本训练数据集的缓存数据量。
步骤404,当缓存数据量超过待获取训练数据集数据量时,获取到目标文本训练数据集标识对应的目标缓存存储位置,基于目标缓存存储位置从对应的缓存读取待获取训练数据集数据量的目标文本训练数据集。
具体地,服务器比较缓存数据量和待获取训练数据集数据量的大小,当缓存数据量超过待获取训练数据集数据量时,说明第一队列中已缓存有所有要获取的训练数据,此时,从第一队列中获取到目标文本训练数据集标识对应的目标缓存存储位置,然后使用目标缓存存储位置从对应的缓存读取待获取训练数据集数据量的目标文本训练数据集。
在一个实施例中,在步骤402之后,即在当在第一队列查找到对应的目标文本训练数据集标识时,获取第一队列中目标文本训练数据集标识对应的目标文本训练数据集的缓存数据量之后,还包括步骤:
当缓存数据量未超过待获取训练数据集数据量时,根据目标文本训练数据集标识获取对应的目标磁盘存储位置,基于目标磁盘存储位置从对应的磁盘读取待获取训练数据集数据量的目标文本训练数据集。
其中,目标磁盘存储位置是指目标文本训练数据集对应的磁盘存储位置。
具体地,服务器比较缓存数据量和待获取训练数据集数据量的大小,当缓存数据量未超过待获取训练数据集数据量时,说明第一队列中缓存的目标文本训练数据集并不能满足需要,此时,服务器直接根据标文本训练数据集标识查找对应的目标磁盘存储位置,使用目标磁盘存储位置从对应的磁盘读取待获取训练数据集数据量的目标文本训练数据集。其中,服务器预先存储有各个训练数据集标识和对应的全量训练数据。
在一个具体的实施例中,训练数据获取请求携带的可以是要获取到的文本训练数据的编号范围,比如,要获取到目标文本训练数据集中编号1到编号100对应的文本训练数据。此时,服务器获取到在第一队列中缓存的目标文本训练数据集中的文本训练数据集的编号,比如,编号1到编号200。然后服务器比较要获取到的文本训练数据的编号范围的最大值与缓存的目标文本训练数据集中的文本训练数据集的编码的最大值,当缓存的目标文本训练数据集中的文本训练数据集的编码的最大值超过要获取到的文本训练数据的编号范围的最大值时,即200超过100,从第一队列中标文本训练数据集标识对应的目标缓存存储位置读取到编号1到编号100对应的文本训练数据,得到目标文本训练数据集。当要获取到目标文本训练数据集中编号1到编号300对应的文本训练数据时,此时,要获取到的文本训练数据的编号范围的最大值超过缓存的目标文本训练数据集中的文本训练数据集的编码的最大值,即300超过200,则服务器之间根据文本训练数据标识获取到对应的磁盘存储位置,使用磁盘存储位置从对应的磁盘读取待获取训练数据集数据量的目标文本训练数据集。
在上述实施例中,通过获取到待获取训练数据集数据量,将待获取训练数据集数据量与缓存数据量进行比较之后,再确定是否从第一队列中读取目标文本训练数据,即可以在第一队列中缓存部分文本训练数据,可以减轻缓存的压力。
在一个实施例中,如图5所示,在步骤206之后,即在第二队列中查找待获取训练数据集标识对应的目标文本训练数据集标识之后,还包括:
步骤502,在第二队列中未查找待获取训练数据集标识对应的目标文本训练数据集标识时,基于待获取训练数据集标识获取待获取训练数据集下载地址。
其中,训练数据集下载地址是指训练数据集从存储介质中进行下载时的下载地址,其中存储介质是用于存储数据的介质,可以是分布式服务器、区块链等等。
具体地,服务器在第二队列中未查找待获取训练数据集标识对应的目标文本训练数据集标识时,说明待获取训练数据集标识对应的文本训练数据集是服务器第一次访问,此时,服务器根据待获取训练数据集标识获取到待获取训练数据集标识对应的文本训练数据集的存储路径,根据该存储路径获取到待获取训练数据集下载地址。
步骤504,基于待获取训练数据集下载地址下载目标文本训练数据集,将目标文本训练数据集存储到磁盘中,并得到磁盘存储地址和当前访问次数。
其中,磁盘存储地址是指目标文本训练数据集在磁盘中的具体存储位置。当前访问次数是指目标文本训练数据集的访问次数,即目标文本训练数据集被服务器读取的次数,此时,该当前访问次数为初始值。
具体地,服务器使用待获取训练数据集下载地址进行数据下载,得到目标文本训练数据集,然后将目标文本训练数据集存储到服务器的磁盘中,并得到磁盘存储地址和当前访问次数。
步骤506,将待获取训练数据集标识、当前访问次数和磁盘存储地址写入第二队列中。
具体地,服务器将待获取训练数据集标识、当前访问次数和磁盘存储地址关联写入到第二队列中。
在一个实施例中,如图6所示,步骤506,即将待获取训练数据集标识、当前访问次数和磁盘存储地址写入第二队列中,包括:
步骤602,当第二队列已满时,从第二队列中查找目标时间点对应的待删除第二文本训练数据集标识,目标时间点是指时间最旧的时间点。
其中,第二队列设置有存储数据的上限,比如,存储100个数据集的相关信息。目标时间点是指第二队列中时间最旧的时间点,即第二队列中最末端的时间点,即距当前时间点最长的历史时间点。待删除第二文本训练数据集标识是指需要进行删除的第二文本训练数据集标识。
具体地,当第二队列达到存储上限时,说明第二队列已满。当需要写入新的文本训练数据集的相关信息时,该相关信息是指待获取训练数据集标识、当前访问次数和磁盘存储地址。此时,从第二队列中查找目标时间点对应的待删除第二文本训练数据集标识。
步骤604,将目标时间点对应的待删除第二文本训练数据集标识、待删除第二文本训练数据集标识对应的待删除历史访问次数和待删除磁盘存储地址从第二队列中删除。
其中,待删除第二文本训练数据集标识是指目标时间点对应的第二文本训练数据集标识,是需要删除的第二文本训练数据集标识。待删除历史访问次数指目标时间点对应的历史访问次数,是需要删除的历史访问次数。待删除磁盘存储地址是指目标时间点对应的磁盘存储地址,是需要删除的磁盘存储地址。
具体地,服务器将第二队列中与目标时间点关联的数据删除。即将目标时间点对应的待删除第二文本训练数据集标识、待删除第二文本训练数据集标识对应的待删除历史访问次数和待删除磁盘存储地址从第二队列中删除。
步骤606,将待获取训练数据集标识、当前访问次数和磁盘存储地址写入第二队列中。
具体地,第二队列由于删除了目标时间点关联的数据,则此时,服务器就可以将待获取训练数据集标识、当前访问次数和磁盘存储地址写入第二队列中。
在一个具体的实施例中,如图7所示,为第二队列的更新的流程示意图。具体来说:服务器中预先设置号第一队列和第二队列大小。然后当进行数据访问时,先查询要访问的数据集是否在第一队列中,当在第一队列中时,从第一队列中读取数据集并更新数据访问时间,当未在第一队列中时,通过LRU(Least Recently Used,最近最少使用)策略更新第二队列,即在第二队列中查找数据集,并更新第二队列中数据集的访问次数。当访问次数超过阈值时,从第二队列中删除该数据集的相关信息,并将该数据集写入第一队列中,并使用LRU策略更新第一队列,然后读取数据集并返回。当访问次数未超过阈值时,从磁盘中读取数据集并返回。如图8所示,为队列之间交互的示意图。其中,在第一队列中查找到时,通过LRU策略更新第一队列。当在第一队列中未查找到时,通过LRU策略更新第二队列,当第二队列中数据集访问次数大于阈值时,才会写入第一队列中,并使用LRU策略更新第一队列。
在上述实施例中,通过对第二队列进行处理,从而使得第二队列中能够保存已经被访问过的文本训练数据集的相关信息,当后续进行访问时,可以直接从第二队列中查找到相关信息,从而能够快速读取到要获取到的文本训练数据集,提高了效率。
在一个实施例中,如图9所示,步骤210,写入第一队列中,包括:
步骤902,当第一队列已满时,从第一队列中查找目标时间点对应的待删除第一文本训练数据集标识,目标时间点是指时间最旧的时间点。
其中,第一队列设置有存储数据的上限,比如,存储100个数据集,每个数据集存储前100个文件,每个文件存储前100行的文本数据。目标时间点是指第一队列中时间最旧的时间点,即第一队列中最末端的时间点,即距当前时间点最长的历史时间点。待删除第一文本训练数据集标识是指需要进行删除的第一文本训练数据集标识。
具体地,当第一队列达到存储上限时,说明第一队列已满。当需要写入新的文本训练数据集的相关信息时,该相关信息是指当前访问时间点、目标文本训练数据集标识以及目标文本训练数据集标识对应的目标文本训练数据集。此时,从第一队列中查找目标时间点对应的待删除第一文本训练数据集标识。
步骤904,将目标时间点对应的待删除第一文本训练数据集标识、待删除第一文本训练数据集标识对应的待删除第一文本训练数据集从第一队列中删除。
其中,待删除第一文本训练数据集标识是指目标时间点对应的第一文本训练数据集标识,是需要删除的第一文本训练数据集标识。待删除第一文本训练数据集是指目标时间点对应的第一文本训练数据集,是需要删除的第一文本训练数据集。
具体地,服务器将第一队列中与目标时间点关联的数据进行删除处理。即将目标时间点对应的待删除第一文本训练数据集标识、待删除第一文本训练数据集标识对应的待删除第一文本训练数据集从第一队列中删除。
步骤906,获取当前访问时间点,将当前访问时间点、目标文本训练数据集标识以及目标文本训练数据集标识对应的目标文本训练数据集写入第一队列中。
具体地,服务器获取到要写入第一队列中的当前访问时间点、目标文本训练数据集标识以及目标文本训练数据集标识,该目标文本训练数据集标识对应的目标文本训练数据集的访问次数是满足缓存条件的。然后服务器将当前访问时间点、目标文本训练数据集标识以及目标文本训练数据集标识对应的目标文本训练数据集关联写入第一队列中。
在一个具体的实施例中,如图10所示,为第一队列使用的流程示意图,其中,服务器预先设置号第一队列大小,然后判断数据集是否在第一队列中,当在第一队列中时,从第一队列中读取数据集并更新数据访问时间。当未在第一队列中时,先判断第一队列是否已满,即是否能够继续写入数据集,当第一队列已满时,使用LRU策略删除第一队列中的数据,即将最近最少使用的时间删除。当第一队列未满时,将该数据集插入第一队列中,并更新数据访问时间。如图11所示,为第一队列进行数据处理的示意图。其中,链表用于表征数据的优先级,链表头部(图中的底部)优先级最低。数据以字典形式存储。起始时,第一队列为空,然后依次写入数据集17、0和11,此时第一队列已满。当还要继续写入数据集12时,删除掉优先级最低的数据集17,然后插入数据集12。当还要继续访问数据集0时,更新第一队列中数据集0的优先级为最高。其中,优先级可以是根据访问时间来确定,时间越新,优先级越高。
在上述实施例中,通过对第一列进行处理,从而使得第一列中能够保存访问次数满足缓存条件的文本训练数据集的相关信息,当后续进行访问时,可以直接从第一队列中查找到满足缓存条件的文本训练数据集的相关信息,从而能够快速读取到要获取到的文本训练数据集,提高了效率。
在一个实施例中,在步骤202之后,即在接收训练数据获取请求,训练数据获取请求携带待获取训练数据集标识之后,还包括步骤:
当待获取训练数据集标识对应的待获取训练数据集类型为图片类型时,根据图片训练数据集标识获取对应的图片下载地址,基于图片下载地址进行下载,得到图片训练数据集;将图片训练数据集输入网络模型进行训练。
其中,图片下载地址是指图片的URL(Uniform Resource Locator,统一资源定位器)。图片训练数据集是指训练时使用的图片的集合。
具体地,服务器解析数据获取请求,获取到要获取的数据格式,当数据格式为图片格式时,说明待获取训练数据集标识对应的待获取训练数据集类型为图片类型,此时,服务器根据图片训练数据集标识获取到图片的存储路径,并构造全路径,根据全路径得到图片下载地址,然后使用图片下载地址进行下载,得到图片训练数据集。然后将图片训练数据集输入网络模型进行训练,得到训练完成的图片网络模型,该图片网络模型用于根据模型任务类型对输入的图片进行处理。即通过获取到图片下载地址进行下载,得到图片训练数据集,然后使用图片训练数据训练网络模型,能够提高训练网络模型的效率。
在一个实施例中,如图12所示,提供了一种数据展示方法,以该方法应用于图1中的终端为例进行说明,可以理解的是,该方法也可以应用在服务器中,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。包括以下步骤:
步骤1202,接收通过数据展示页发送的数据展示指令,基于数据展示指令向服务器发送数据获取请求,数据获取请求携带有待展示数据集标识,服务器用于当待展示数据集标识对应的待展示数据集类型为文本类型时,基于待展示数据集标识在第一队列中查找对应的目标文本数据集标识,第一队列中存储有各个第一文本数据集标识和对应的第一文本数据集,当在第一队列中未查找到对应的目标文本数据集标识时,在第二队列中查找待展示数据集标识对应的目标文本数据集标识,第二队列中存储有各个第二文本数据集标识、对应的历史访问次数和对应的磁盘存储位置,第一队列和第二队列都位于数据缓存中,当在第二队列中查找到对应的目标文本数据集标识时,获取查找到的目标文本数据集标识对应的目标磁盘存储位置,基于目标磁盘存储位置从对应的磁盘读取目标文本数据集标识对应的目标文本数据集,更新第二队列中目标文本数据集标识对应的历史访问次数,第二队列中的第二文本数据集标识对应的第二文本数据集用于在对应的历史访问次数满足缓存条件时,写入第一队列中,并将目标文本数据集返回终端。
其中,数据展示页是指终端中用于进行数据展示的页面。待展示数据集类型是指要展示的数据的类型,包括文本类型和图片类型。文本类型是指以文本形式进行展示的数据,图片类型是指以图片类型进行展示的数据。目标文本数据集标识是指要展示的文本数据集标识。待展示数据集标识唯一标识需要进行展示的数据集。目标磁盘存储位置是指目标文本数据集在磁盘中的具体存储位置。第一文本数据集标识用于标识第一队列中的数据集,第一文本数据集是指第一队列中的文本数据集。第二文本数据集标识用于标识第二队列中的数据集。历史访问次数是指第二文本数据集标识的第二文本数据集历史已经访问过的次数。磁盘存储位置是指第二队列中的第二文本数据集标识对应的第二文本数据集的存储位置。目标文本数据集是指要展示的文本数据集。
具体地,终端接收通过数据展示页发送的数据展示指令,然后基于数据展示指令向服务器发送数据获取请求,该数据获取请求携带有待展示数据集标识。服务器接收到数据获取请求,解析数据获取请求,得到待展示数据集标识。服务器当待展示数据集标识对应的待展示数据集类型为文本类型时,基于待展示数据集标识在第一队列中查找对应的目标文本数据集标识,当在第一队列中未查找到对应的目标文本数据集标识时,在第二队列中查找待展示数据集标识对应的目标文本数据集标识。第一队列和第二队列都位于数据缓存中,当在第二队列中查找到对应的目标文本数据集标识时,获取查找到的目标文本数据集标识对应的目标磁盘存储位置,基于目标磁盘存储位置从对应的磁盘读取目标文本数据集标识对应的目标文本数据集,更新第二队列中目标文本数据集标识对应的历史访问次数,第二队列中的第二文本数据集标识对应的第二文本数据集用于在对应的历史访问次数满足缓存条件时,写入第一队列中。服务器最后将目标文本数据集返回终端。
步骤1204,获取服务器返回的目标文本数据集,将目标文本数据集通过数据展示页进行展示。
具体地,终端获取到服务器返回的目标文本数据集,将目标文本数据集通过数据展示页进行展示。
上述数据展示方法、装置、计算机设备和存储介质,终端通过接收通过数据展示页发送的数据展示指令,基于数据展示指令向服务器发送数据获取请求,数据获取请求携带有待展示数据集标识,然后服务器用于当待展示数据集标识对应的待展示数据集类型为文本类型时,基于待展示数据集标识在第一队列中查找对应的目标文本数据集标识,当在第一队列中未查找到对应的目标文本数据集标识时,在第二队列中查找待展示数据集标识对应的目标文本数据集标识,第一队列和第二队列都位于数据缓存中,当在第二队列中查找到对应的目标文本数据集标识时,获取查找到的目标文本数据集标识对应的目标磁盘存储位置,基于目标磁盘存储位置从对应的磁盘读取目标文本数据集标识对应的目标文本数据集,并将目标文本数据集返回终端;获取服务器返回的目标文本数据集,将目标文本数据集通过数据展示页进行展示即通过第一队列和第二队列使得在获取展示数据时通过多级缓存来进行访问,充分利用缓存和磁盘来降低下载、解析和传输等耗费的时间,避免了服务器从存储介质来下载要展示的数据,从而能够快速获取到要展示的数据,提升数据的展示速度。
在一个实施例中,如图13所示,所述方法还包括:
步骤1302,接收通过数据展示页发送的数据展示指令,基于数据展示指令向服务器发送数据同步请求,数据同步请求携带有待展示数据集标识,服务器响应数据同步请求,生成异步任务标识并记录异步任务标识对应的异步任务状态为未完成,将异步任务标识返回终端;服务器用于执行异步任务标识对应的异步任务,异步任务是指当待展示数据集标识对应的待展示数据集类型为文本类型时,服务器获取目标文本数据集的任务,获取目标文本数据集是指通过使用待展示数据集标识在第一队列中查找对应的文本数据集标识,当在第一队列中未查找到对应的文本数据集标识时,在第二队列中查找待展示数据集标识对应的文本数据集标识,当在第二队列中查找到对应的文本数据集标识时,获取查找到的文本数据集标识对应的磁盘存储位置,基于磁盘存储位置从对应的磁盘读取文本数据集标识对应的文本数据集,更新第二队列中文本数据集标识对应的历史访问次数,并更新异步任务标识对应的异步任务状态为完成。
其中,异步任务标识用于唯一标识异步任务,该异步任务是指获取要展示的数据集的任务,即需要通过异步任务调度来完成读取目标文本数据集的任务。异步任务状态是指异步任务执行的状态,包括未完成和完成两种状态。
具体地,终端接收通过数据展示页发送的数据展示指令,终端基于数据展示指令向服务器发送数据同步请求,该数据同步请求携带有待展示数据集标识。服务器接收到数据同步请求时,响应该数据同步请求,生成异步任务标识并记录异步任务标识对应的异步任务状态为未完成,将异步任务标识返回终端。
然后服务器执行异步任务标识对应的异步任务,即服务器通过使用数据同步请求中解析出的待展示数据集标识在第一队列中查找对应的文本数据集标识,当在第一队列中未查找到对应的文本数据集标识时,在第二队列中查找待展示数据集标识对应的文本数据集标识,当在第二队列中查找到对应的文本数据集标识时,获取查找到的文本数据集标识对应的磁盘存储位置,基于磁盘存储位置从对应的磁盘读取文本数据集标识对应的文本数据集,更新第二队列中文本数据集标识对应的历史访问次数,并更新异步任务标识对应的异步任务状态为完成。
步骤1304,获取到服务器返回的异步任务标识,并基于异步任务标识按照预设时间间隔向服务器发送异步请求,服务器响应异步请求,查询异步任务状态,当异步任务状态为完成时,将待展示数据集标识对应的目标文本数据集返回终端。
其中,预设时间间隔是指预先设置号的时间间隔。
具体地,终端获取到服务器返回的异步任务标识时,使用该异步任务标识不断轮询向服务器发送异步请求,即按照预设时间间隔向服务器发送异步请求。服务器接收到异步请求时,响应异步请求,查询异步任务状态。当异步任务状态为未完成时,将异步任务状态为未完成的信息返回给终端。当异步任务状态为完成时,获取到完成时读取到的待展示数据集标识对应的目标文本数据集,然后将待展示数据集标识对应的目标文本数据集返回终端。
步骤1306,获取到服务器返回的目标文本数据集,将目标文本数据集通过数据展示页进行展示。
具体地,终端获取到服务器返回的目标文本数据集,将目标文本数据集通过数据展示页进行展示。
在上述实施例中,通过异步请求来获取目标文本数据集并展示,从而可以释放占用的线程等资源,避免阻塞。并可以将多次调用的结果统一返回给终端,即将读取到的目标文本数据集返回给终端进行展示,方便快捷。
在一个实施例中,数据获取请求携带有待展示数据集标识和请求方标识;
步骤1202,基于数据展示指令向服务器发送数据获取请求,包括步骤:
基于数据展示指令向服务器发送目标数据获取请求,服务器解析目标数据获取请求,得到请求方标识,并将请求方标识与预设数据读取权限列表进行匹配,当存在匹配一致的请求方标识时,服务器响应数据同步请求,生成异步任务标识并记录异步任务标识对应的异步任务状态为未完成,将异步任务标识返回终端。
其中,请求方标识用于唯一标识能够读取数据的终端。预设数据读取权限列表是指预先设置号的具有数据读取权限的终端列表,预设数据读取权限列表中存储有各个有权限的请求方标识。
具体地,终端基于数据展示指令向服务器发送目标数据获取请求,服务器接收到目标数据获取请求,解析目标数据获取请求,得到请求方标识,然后将请求方标识与预设数据读取权限列表进行匹配,当存在匹配一致的请求方标识时,说明终端是具有权限,可以读取数据的。此时,服务器响应数据同步请求,生成异步任务标识并记录异步任务标识对应的异步任务状态为未完成,将异步任务标识返回终端。即通过预设数据读取权限列表来限定读取数据的权限,从而能够提高数据读取的安全性。
在一个实施例中,如图14所示,所述方法,还包括:
步骤1402,接收通过数据展示页发送的数据展示指令,基于数据展示指令向服务器发送数据获取请求,数据获取请求携带有待展示数据集标识;服务器用于当待展示数据集标识对应的待展示数据集类型为文本类型时,基于待展示数据集标识在第一队列中查找对应的目标文本数据集标识,当在第一队列中查找到对应的目标文本数据集标识时,获取到目标文本数据集标识对应的目标缓存存储位置,基于目标缓存存储位置从对应的缓存读取目标文本数据集标识对应的目标文本数据集;获取当前时间点,基于当前时间点更新目标文本数据集标识对应的第一访问时间点,将待展示数据集标识对应的目标文本数据集返回终端。
其中,当前时间点是指当前访问数据的时间点即读取数据的时间点。第一访问时间点是指第一队列中目标文本数据集标识对应的访问时间点。
具体地,终端接收通过数据展示页发送的数据展示指令,基于数据展示指令向服务器发送数据获取请求,数据获取请求携带有待展示数据集标识。服务器接收到数据获取请求,解析该数据获取请求,得到待展示数据集标识,然后当待展示数据集标识对应的待展示数据集类型为文本类型时,基于待展示数据集标识在第一队列中查找对应的目标文本数据集标识,当在第一队列中查找到对应的目标文本数据集标识时,获取到目标文本数据集标识对应的目标缓存存储位置,基于目标缓存存储位置从对应的缓存读取目标文本数据集标识对应的目标文本数据集。服务器获取当前时间点,基于当前时间点更新目标文本数据集标识对应的第一访问时间点,将待展示数据集标识对应的目标文本数据集返回终端。
步骤1404,获取到服务器返回的目标文本数据集,将目标文本数据集通过数据展示页进行展示。
具体地,终端获取到服务器返回的目标文本数据集,将目标文本数据集通过数据展示页进行展示。
在上述实施例中,通过从第一队列中的缓存存储位置直接读取到目标文本数据集,从而实现了常数时间内的读取,然后将读取的目标文本数据集返回终端,终端通过数据展示页进行展示,提高了文本数据的展示效率。
在一个具体的实施例中,如图15所示,为进行文本数据集展示的具体框架示意。其中,前端向服务器发送数据展示同步请求,该数据展示同步请求携带有文本数据集id(Identity document,唯一编码),服务器通过网关鉴权,即通过预先设置的权限列表匹配请求方标识,当匹配一致时,即网关鉴权通过。此时服务器通过路由将数据展示同步请求发送到数据中心服务器,数据中心服务器响应该同步请求生成异步任务id,将异步任务id返回终端。服务器进行异步任务调度,并进行即触发任务执行逻辑,即通过第一队列和第二队列来进行多级缓存访问来获取到目标文本数据集。当任务执行完成时,更新异步任务状态表中异步任务id对应的任务状态为完成,即更新状态从未完成到完成。前端在接收到异步任务id时,不断轮询发送数据集展示异步请求,并在服务器异步任务执行期间一直获取到返回的状态0,即异步任务未完成。当异步状态更新为完成时,终端以文件解析后的二进制流的形式获取到目标文本数据集和状态1,即异步任务完成。然后在前端展示文件中的文本内容。
在一个实施例中,如图16所示,所述方法,还包括:
步骤1602,接收通过数据展示页发送的数据展示指令,基于数据展示指令向服务器发送数据获取请求,数据获取请求携带有待展示数据集标识,服务器当待展示数据集标识对应的待展示数据集类型为图片类型时,根据图片数据集标识获取对应的图片存储地址,将图片存储地址进行转换,得到图片下载地址,将图片下载地址返回终端。
其中,图片存储地址是指图片数据具体的存储位置。图片下载地址用于下载图片数据。
具体地,当需要进行图片数据集展示时,终端接收通过数据展示页发送的数据展示指令,基于数据展示指令向服务器发送数据获取请求,数据获取请求携带有待展示数据集标识。服务器接收到数据获取请求进行解析,得到待展示数据集标识,然后根据待展示数据集标识对应的待展示数据集格式时图片格式时,得到待展示数据集标识对应的待展示数据集类型为图片类型。此时,服务器根据图片数据集标识获取对应的图片存储地址,将图片存储地址进行转换,得到图片下载地址,将图片下载地址返回终端。
步骤1604,接收到服务器返回的图片下载地址,基于图片下载地址进行图片下载,得到图片数据集。
步骤1606,将图片数据集在数据展示页进行展示。
具体地,终端接收到服务器返回的图片下载地址,基于图片下载地址进行图片下载,得到图片数据集,将图片数据集在数据展示页进行展示。
在上述实施例中,终端通过服务器获取图片下载地址,然后进行图片下载并展示,避免了服务器下载图片再进行传输的时间消耗,提高图片展示效率。
在一个实施例中,如本申请所公开的数据展示方法,其中,文本数据集和图片数据集可保存于区块链上。
在一个具体的实施例中,如图17所示,为图片数据集展示的具体框架示意。其中,前端向服务器发送数据展示同步请求,该数据展示同步请求携带有图片数据集id,服务器通过网关鉴权,即通过预先设置的权限列表匹配请求方标识,当匹配一致时,即网关鉴权通过。此时服务器通过路由将数据展示同步请求发送到数据中心服务器,数据中心服务器响应该同步请求生成异步任务id,将异步任务id返回终端。服务器进行异步任务调度,并进行即触发任务执行逻辑,根据图片数据集id获取到数据集文件存储路径,然后构造得到全路径,根据全路径生成图片下载地址,将图片下载地址返回终端,更新异步任务状态表中异步任务id对应的任务状态为完成,即更新状态从未完成到完成。前端在接收到异步任务id时,不断轮询发送数据集展示异步请求,并在服务器异步任务执行期间一直获取到返回的状态0,即异步任务未完成。当异步状态更新为完成时,终端获取到图片下载地址和状态1,即异步任务完成。然后前端根据图片下载地址进行图片下载,并将下载的图片在前端进行展示。即通过将图片下载地址返回终端,使终端进行下载,从而避免服务器下载图片并进行传输的时间消耗,提高图片展示效率。
在一个具体的实施例中,如图18所示,为网络模型数据处理方法,具体包括:
步骤1802,接收训练数据获取请求,训练数据获取请求携带待获取训练数据集标识。
步骤1804,当待获取训练数据集标识对应的待获取训练数据集类型为文本类型时,基于待获取训练数据集标识在第一队列中查找对应的目标文本训练数据集标识。当在第一队列中未查找到对应的目标文本训练数据集标识时,在第二队列中查找待获取训练数据集标识对应的目标文本训练数据集标识。
步骤1806,当在第二队列中查找到对应的目标文本训练数据集标识时,获取查找到的目标文本训练数据集标识对应的目标磁盘存储位置。基于目标磁盘存储位置从对应的磁盘读取目标文本训练数据集标识对应的目标文本训练数据集。将目标文本训练数据集输入网络模型进行训练。
步骤1808,当待获取训练数据集标识对应的待获取训练数据集类型为图片类型时,根据图片训练数据集标识获取对应的图片下载地址,基于图片下载地址进行下载,得到图片训练数据集。将图片训练数据集输入网络模型进行训练。
本申请还提供一种应用场景,该应用场景应用上述的数据展示方法。具体地,
本申请数据展示方法应用智能学习平台数据中心系统中,如图19所示,为数据中心系统的框架示意图,其中,包括数据集管理和存储管理两大部分,存储管理主要完成存储适配、探活、过期清理等;数据集管理主要完成导入、发布等写入类型操作及下载、详情等详情类操作。标注平台、训练平台、推理平台等人工智能算法相关平台通过导入将数据集转存到指定介质后,进行标注、训练、推理等人工智能计算,比如,可以通过自然语言处理技术对文本数据集进行处理,可以通过计算机视觉技术对图片数据集进行处理。用户可以通过智能学习平台来查看训练人工智能模型的训练数据。即可以通过数据详情页来展示数据。如图20所示,为数据中心系统进行数据展示的具体流程示意图。其中,数据中心系统中设置好缓存中的第一队列和第二队列大小。当要展示文本数据集时,获取到要展示的数据集id,根据数据集id判断是否为第一次访问,当不是第一访问时,在第一队列中查找到数据集id时,获取到要展示数据集的数据量大小,当要展示数据集的数据量大小超过第一队列缓存的数据量时,从磁盘中读取文件并解析文件为二进制。然后向终端返回解析的二进制流。当展示数据集的数据量大小未超过第一队列缓存的数据量时,直接从缓存存储位置读取到缓存的二进制流,向终端返回解析的二进制流。当是第一访问时,获取到文本数据集文件下载地址,使用数据集文件下载地址进行下载,并在磁盘中进行存储。解析文件为二进制流,并建立第二队列和第一队列。其中,第一队列和第二队列都以LRU策略为更新策略。然后向终端返回解析的二进制流。如图21所示,为展示的文本数据集部分数据的示意图。其中,当要展示图片数据集时,获取到服务器返回的图片下载地址,然后使用图片下载地址下载到图片。如图22所示,为图片数据集部分数据的示意图。
应该理解的是,虽然图2-20中流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-20中流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图23所示,提供了一种网络模型数据处理装置2300,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:请求接收模块2302、第一查找模块2304、第二查找模块2306、位置获取模块2308、数据读取模块2310和训练模块2312,其中:
请求接收模块2302,用于接收训练数据获取请求,训练数据获取请求携带待获取训练数据集标识;
第一查找模块2304,用于当待获取训练数据集标识对应的待获取训练数据集类型为文本类型时,基于待获取训练数据集标识在第一队列中查找对应的目标文本训练数据集标识;第一队列中存储有各个第一文本训练数据集标识和对应的第一文本训练数据集;
第二查找模块2306,用于当在第一队列中未查找到对应的目标文本训练数据集标识时,在第二队列中查找待获取训练数据集标识对应的目标文本训练数据集标识;第二队列中存储有各个第二文本训练数据集标识、对应的历史访问次数和对应的磁盘存储位置,第一队列和第二队列都位于数据缓存中;
位置获取模块2308,用于当在第二队列中查找到对应的目标文本训练数据集标识时,获取查找到的目标文本训练数据集标识对应的目标磁盘存储位置;
数据读取模块2310,用于基于目标磁盘存储位置从对应的磁盘读取目标文本训练数据集标识对应的目标文本训练数据集,更新第二队列中目标文本训练数据集标识对应的历史访问次数,第二队列中的第二文本训练数据集标识对应的第二文本训练数据集用于在对应的历史访问次数满足缓存条件时,写入第一队列中;
训练模块2312,用于将目标文本训练数据集输入网络模型进行训练,网络模型用于根据模型任务类型对输入数据进行处理。
在一个实施例中,第一队列中存储有各个第一文本训练数据集标识、对应的第一文本训练数据集、对应的缓存存储位置和对应的第一访问时间点;
网络模型数据处理装置2300,还包括:第一获取模块,用于当在第一队列查找到对应的目标文本训练数据集标识时,获取到目标文本训练数据集标识对应的目标缓存存储位置,基于目标缓存存储位置从对应的缓存读取目标文本训练数据集标识对应的目标文本训练数据集;获取当前时间点,基于当前时间点更新目标文本训练数据集标识对应的第一访问时间点。
在一个实施例中,训练数据获取请求还携带有待获取训练数据集数据量;第一获取模块还用于当在第一队列查找到对应的目标文本训练数据集标识时,获取第一队列中目标文本训练数据集标识对应的目标文本训练数据集的缓存数据量;当缓存数据量超过待获取训练数据集数据量时,获取到目标文本训练数据集标识对应的目标缓存存储位置,基于目标缓存存储位置从对应的缓存读取待获取训练数据集数据量的目标文本训练数据集。
在一个实施例中,第一获取模块还用于当缓存数据量未超过待获取训练数据集数据量时,根据目标文本训练数据集标识获取对应的目标磁盘存储位置,基于目标磁盘存储位置从对应的磁盘读取待获取训练数据集数据量的目标文本训练数据集。
在一个实施例中,网络模型数据处理装置2300,还包括:
下载模块,用于在第二队列中未查找待获取训练数据集标识对应的目标文本训练数据集标识时,基于待获取训练数据集标识获取待获取训练数据集下载地址;基于待获取训练数据集下载地址下载目标文本训练数据集,将目标文本训练数据集存储到磁盘中,并得到磁盘存储地址和当前访问次数;将待获取训练数据集标识、当前访问次数和磁盘存储地址写入第二队列中。
在一个实施例中,下载模块还用于当第二队列已满时,从第二队列中查找目标时间点对应的待删除第二文本训练数据集标识,目标时间点是指时间最旧的时间点;将目标时间点对应的待删除第二文本训练数据集标识、待删除第二文本训练数据集标识对应的待删除历史访问次数和待删除磁盘存储地址从第二队列中删除;将待获取训练数据集标识、当前访问次数和磁盘存储地址写入第二队列中。
在一个实施例中,数据读取模块2310,还用于当第一队列已满时,从第一队列中查找目标时间点对应的待删除第一文本训练数据集标识,目标时间点是指时间最旧的时间点;将目标时间点对应的待删除第一文本训练数据集标识、待删除第一文本训练数据集标识对应的待删除第一文本训练数据集从第一队列中删除;获取当前访问时间点,将当前访问时间点、目标文本训练数据集标识以及目标文本训练数据集标识对应的目标文本训练数据集写入第一队列中。
在一个实施例中,网络模型数据处理装置2300,还包括:
图片下载模块,用于当待获取训练数据集标识对应的待获取训练数据集类型为图片类型时,根据图片训练数据集标识获取对应的图片下载地址,基于图片下载地址进行下载,得到图片训练数据集;将图片训练数据集输入网络模型进行训练。
在一个实施例中,如图24所示,提供了一种数据展示装置2400,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:请求发送模块2402和文本展示模块2404,其中:
请求发送模块2402,用于接收通过数据展示页发送的数据展示指令,基于数据展示指令向服务器发送数据获取请求,数据获取请求携带有待展示数据集标识,服务器用于当待展示数据集标识对应的待展示数据集类型为文本类型时,基于待展示数据集标识在第一队列中查找对应的目标文本数据集标识,第一队列中存储有各个第一文本数据集标识和对应的第一文本数据集,当在第一队列中未查找到对应的目标文本数据集标识时,在第二队列中查找待展示数据集标识对应的目标文本数据集标识,第二队列中存储有各个第二文本数据集标识、对应的历史访问次数和对应的磁盘存储位置,第一队列和第二队列都位于数据缓存中,当在第二队列中查找到对应的目标文本数据集标识时,获取查找到的目标文本数据集标识对应的目标磁盘存储位置,基于目标磁盘存储位置从对应的磁盘读取目标文本数据集标识对应的目标文本数据集,更新第二队列中目标文本数据集标识对应的历史访问次数,第二队列中的第二文本数据集标识对应的第二文本数据集用于在对应的历史访问次数满足缓存条件时,写入第一队列中,并将目标文本数据集返回终端;
文本展示模块2404,用于获取服务器返回的目标文本数据集,将目标文本数据集通过数据展示页进行展示。
在一个实施例中,数据展示装置2400,换包括:
异步执行模块,用于接收通过数据展示页发送的数据展示指令,基于数据展示指令向服务器发送数据同步请求,数据同步请求携带有待展示数据集标识,服务器响应数据同步请求,生成异步任务标识并记录异步任务标识对应的异步任务状态为未完成,将异步任务标识返回终端;服务器用于执行异步任务标识对应的异步任务,异步任务是指当待展示数据集标识对应的待展示数据集类型为文本类型时,服务器获取目标文本数据集的任务,获取目标文本数据集是指通过使用待展示数据集标识在第一队列中查找对应的文本数据集标识,当在第一队列中未查找到对应的文本数据集标识时,在第二队列中查找待展示数据集标识对应的文本数据集标识,当在第二队列中查找到对应的文本数据集标识时,获取查找到的文本数据集标识对应的磁盘存储位置,基于磁盘存储位置从对应的磁盘读取文本数据集标识对应的文本数据集,更新第二队列中文本数据集标识对应的历史访问次数,并更新异步任务标识对应的异步任务状态为完成;获取到服务器返回的异步任务标识,并基于异步任务标识按照预设时间间隔向服务器发送异步请求,服务器响应异步请求,查询异步任务状态,当异步任务状态为完成时,将待展示数据集标识对应的目标文本数据集返回终端;获取到服务器返回的目标文本数据集,将目标文本数据集通过数据展示页进行展示。
在一个实施例中,数据获取请求携带有待展示数据集标识和请求方标识;
请求发送模块2402,还用于基于数据展示指令向服务器发送目标数据获取请求,服务器解析目标数据获取请求,得到请求方标识,并将请求方标识与预设数据读取权限列表进行匹配,当存在匹配一致的请求方标识时,服务器响应数据同步请求,生成异步任务标识并记录异步任务标识对应的异步任务状态为未完成,将异步任务标识返回终端。
在一个实施例中,数据展示装置2400,还包括:
时间更新模块,用于接收通过数据展示页发送的数据展示指令,基于数据展示指令向服务器发送数据获取请求,数据获取请求携带有待展示数据集标识;服务器用于当待展示数据集标识对应的待展示数据集类型为文本类型时,基于待展示数据集标识在第一队列中查找对应的目标文本数据集标识,当在第一队列中查找到对应的目标文本数据集标识时,获取到目标文本数据集标识对应的目标缓存存储位置,基于目标缓存存储位置从对应的缓存读取目标文本数据集标识对应的目标文本数据集;获取当前时间点,基于当前时间点更新目标文本数据集标识对应的第一访问时间点,将待展示数据集标识对应的目标文本数据集返回终端;获取到服务器返回的目标文本数据集,将目标文本数据集通过数据展示页进行展示。
在一个实施例中,数据展示装置2400,还包括:
图片展示模块,用于接收通过数据展示页发送的数据展示指令,基于数据展示指令向服务器发送数据获取请求,数据获取请求携带有待展示数据集标识,服务器当待展示数据集标识对应的待展示数据集类型为图片类型时,根据图片数据集标识获取对应的图片存储地址,将图片存储地址进行转换,得到图片下载地址,将图片下载地址返回终端;接收到服务器返回的图片下载地址,基于图片下载地址进行图片下载,得到图片数据集;将图片数据集在数据展示页进行展示。
关于网络模型数据处理装置和数据展示装置的具体限定可以参见上文中对于网络模型数据处理和数据展示方法的限定,在此不再赘述。上述网络模型数据处理装置和数据展示装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图25所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储文本和图片数据集。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种网络模型数据处理方法和数据展示方法。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图26所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种网络模型数据处理方法和数据展示方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图25和图26中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (15)
1.一种网络模型数据处理方法,其特征在于,所述方法包括:
接收训练数据获取请求,所述训练数据获取请求携带待获取训练数据集标识;
当所述待获取训练数据集标识对应的待获取训练数据集类型为文本类型时,基于所述待获取训练数据集标识在第一队列中查找对应的目标文本训练数据集标识;所述第一队列中存储有各个第一文本训练数据集标识和对应的第一文本训练数据集;
当在所述第一队列中未查找到对应的目标文本训练数据集标识时,在第二队列中查找所述待获取训练数据集标识对应的目标文本训练数据集标识;所述第二队列中存储有各个第二文本训练数据集标识、对应的历史访问次数和对应的磁盘存储位置,所述第一队列和第二队列都位于数据缓存中;
当在所述第二队列中查找到对应的目标文本训练数据集标识时,获取查找到的目标文本训练数据集标识对应的目标磁盘存储位置;
基于所述目标磁盘存储位置从对应的磁盘读取所述目标文本训练数据集标识对应的目标文本训练数据集,更新所述第二队列中所述目标文本训练数据集标识对应的历史访问次数,所述第二队列中的第二文本训练数据集标识对应的第二文本训练数据集用于在对应的历史访问次数满足缓存条件时,写入第一队列中;
将所述目标文本训练数据集输入网络模型进行训练,所述网络模型用于根据模型任务类型对输入数据进行处理。
2.根据权利要求1所述的方法,其特征在于,所述第一队列中存储有各个第一文本训练数据集标识、对应的第一文本训练数据集、对应的缓存存储位置和对应的第一访问时间点;
在所述基于所述待获取训练数据集标识在第一队列中查找对应的目标文本训练数据集标识之后,还包括:
当在所述第一队列查找到对应的目标文本训练数据集标识时,获取到所述目标文本训练数据集标识对应的目标缓存存储位置,基于所述目标缓存存储位置从对应的缓存读取所述目标文本训练数据集标识对应的目标文本训练数据集;
获取当前时间点,基于所述当前时间点更新所述目标文本训练数据集标识对应的第一访问时间点。
3.根据权利要求2所述的方法,其特征在于,所述训练数据获取请求还携带有待获取训练数据集数据量;
所述当在所述第一队列查找到对应的目标文本训练数据集标识时,获取到所述目标文本训练数据集标识对应的目标缓存存储位置,基于所述目标缓存存储位置从对应的缓存读取所述目标文本训练数据集标识对应的目标文本训练数据集,包括:
当在所述第一队列查找到对应的目标文本训练数据集标识时,获取所述第一队列中所述目标文本训练数据集标识对应的目标文本训练数据集的缓存数据量;
当所述缓存数据量超过所述待获取训练数据集数据量时,获取到所述目标文本训练数据集标识对应的目标缓存存储位置,基于所述目标缓存存储位置从对应的缓存读取所述待获取训练数据集数据量的目标文本训练数据集。
4.根据权利要求3所述的方法,其特征在于,在所述当在所述第一队列查找到对应的目标文本训练数据集标识时,获取所述第一队列中所述目标文本训练数据集标识对应的目标文本训练数据集的缓存数据量之后,还包括:
当所述缓存数据量未超过所述待获取训练数据集数据量时,根据所述目标文本训练数据集标识获取对应的目标磁盘存储位置,基于所述目标磁盘存储位置从对应的磁盘读取所述待获取训练数据集数据量的目标文本训练数据集。
5.根据权利要求1所述的方法,其特征在于,在所述在第二队列中查找所述待获取训练数据集标识对应的目标文本训练数据集标识之后,还包括:
在所述第二队列中未查找所述待获取训练数据集标识对应的目标文本训练数据集标识时,基于所述待获取训练数据集标识获取待获取训练数据集下载地址;
基于所述待获取训练数据集下载地址下载目标文本训练数据集,将所述目标文本训练数据集存储到磁盘中,并得到磁盘存储地址和当前访问次数;
将所述待获取训练数据集标识、所述当前访问次数和所述磁盘存储地址写入第二队列中。
6.根据权利要求5所述的方法,其特征在于,所述将所述待获取训练数据集标识、所述当前访问次数和所述磁盘存储地址写入第二队列中,包括:
当所述第二队列已满时,从所述第二队列中查找目标时间点对应的待删除第二文本训练数据集标识,所述目标时间点是指时间最旧的时间点;
将所述目标时间点对应的待删除第二文本训练数据集标识、所述待删除第二文本训练数据集标识对应的待删除历史访问次数和待删除磁盘存储地址从所述第二队列中删除;
将所述待获取训练数据集标识、所述当前访问次数和所述磁盘存储地址写入第二队列中。
7.根据权利要求1所述的方法,其特征在于,所述写入第一队列中,包括:
当所述第一队列已满时,从所述第一队列中查找目标时间点对应的待删除第一文本训练数据集标识,所述目标时间点是指时间最旧的时间点;
将所述目标时间点对应的待删除第一文本训练数据集标识、所述待删除第一文本训练数据集标识对应的待删除第一文本训练数据集从所述第一队列中删除;
获取当前访问时间点,将所述当前访问时间点、所述目标文本训练数据集标识以及所述目标文本训练数据集标识对应的目标文本训练数据集写入第一队列中。
8.根据权利要求1所述的方法,其特征在于,在所述接收训练数据获取请求,所述训练数据获取请求携带待获取训练数据集标识之后,还包括:
当所述待获取训练数据集标识对应的待获取训练数据集类型为图片类型时,根据所述图片训练数据集标识获取对应的图片下载地址,基于所述图片下载地址进行下载,得到图片训练数据集;
将所述图片训练数据集输入网络模型进行训练。
9.一种数据展示方法,其特征在于,所述方法包括:
接收通过数据展示页发送的数据展示指令,基于所述数据展示指令向服务器发送数据获取请求,所述数据获取请求携带有待展示数据集标识,
所述服务器用于当所述待展示数据集标识对应的待展示数据集类型为文本类型时,基于所述待展示数据集标识在第一队列中查找对应的目标文本数据集标识,所述第一队列中存储有各个第一文本数据集标识和对应的第一文本数据集,当在所述第一队列中未查找到对应的目标文本数据集标识时,在第二队列中查找所述待展示数据集标识对应的目标文本数据集标识,所述第二队列中存储有各个第二文本数据集标识、对应的历史访问次数和对应的磁盘存储位置,所述第一队列和第二队列都位于数据缓存中,当在所述第二队列中查找到对应的目标文本数据集标识时,获取查找到的目标文本数据集标识对应的目标磁盘存储位置,基于所述目标磁盘存储位置从对应的磁盘读取所述目标文本数据集标识对应的目标文本数据集,更新所述第二队列中所述目标文本数据集标识对应的历史访问次数,所述第二队列中的第二文本数据集标识对应的第二文本数据集用于在对应的历史访问次数满足缓存条件时,写入第一队列中,并将所述目标文本数据集返回终端;
获取所述服务器返回的目标文本数据集,将所述目标文本数据集通过所述数据展示页进行展示。
10.根据权利要求9所述的方法,其特征在于,所述方法还包括:
接收通过数据展示页发送的数据展示指令,基于所述数据展示指令向服务器发送数据同步请求,所述数据同步请求携带有待展示数据集标识,所述服务器响应所述数据同步请求,生成异步任务标识并记录所述异步任务标识对应的异步任务状态为未完成,将所述异步任务标识返回终端;
所述服务器用于执行所述异步任务标识对应的异步任务,所述异步任务是指当所述待展示数据集标识对应的待展示数据集类型为文本类型时,服务器获取目标文本数据集的任务,所述获取目标文本数据集是指通过使用所述待展示数据集标识在第一队列中查找对应的文本数据集标识,当在所述第一队列中未查找到对应的文本数据集标识时,在第二队列中查找所述待展示数据集标识对应的文本数据集标识,当在所述第二队列中查找到对应的文本数据集标识时,获取查找到的文本数据集标识对应的磁盘存储位置,基于所述磁盘存储位置从对应的磁盘读取所述文本数据集标识对应的文本数据集,更新所述第二队列中所述文本数据集标识对应的历史访问次数,并更新所述异步任务标识对应的异步任务状态为完成;
获取到所述服务器返回的异步任务标识,并基于所述异步任务标识按照预设时间间隔向服务器发送异步请求,所述服务器响应所述异步请求,查询异步任务状态,当所述异步任务状态为完成时,将所述待展示数据集标识对应的目标文本数据集返回终端;
获取到所述服务器返回的目标文本数据集,将所述目标文本数据集通过所述数据展示页进行展示。
11.根据权利要求9所述的方法,其特征在于,所述方法,还包括:
接收通过数据展示页发送的数据展示指令,基于所述数据展示指令向服务器发送数据获取请求,所述数据获取请求携带有待展示数据集标识,所述服务器当所述待展示数据集标识对应的待展示数据集类型为图片类型时,根据所述图片数据集标识获取对应的图片存储地址,将所述图片存储地址进行转换,得到图片下载地址,将所述图片下载地址返回所述终端;
接收到所述服务器返回的图片下载地址,基于所述图片下载地址进行图片下载,得到图片数据集;
将所述图片数据集在所述数据展示页进行展示。
12.一种网络模型数据处理装置,其特征在于,所述装置包括:
请求接收模块,用于接收训练数据获取请求,所述训练数据获取请求携带待获取训练数据集标识;
第一查找模块,用于当所述待获取训练数据集标识对应的待获取训练数据集类型为文本类型时,基于所述待获取训练数据集标识在第一队列中查找对应的目标文本训练数据集标识;所述第一队列中存储有各个第一文本训练数据集标识和对应的第一文本训练数据集;
第二查找模块,用于当在所述第一队列中未查找到对应的目标文本训练数据集标识时,在第二队列中查找所述待获取训练数据集标识对应的目标文本训练数据集标识;所述第二队列中存储有各个第二文本训练数据集标识、对应的历史访问次数和对应的磁盘存储位置,所述第一队列和第二队列都位于数据缓存中;
位置获取模块,用于当在所述第二队列中查找到对应的目标文本训练数据集标识时,获取查找到的目标文本训练数据集标识对应的目标磁盘存储位置;
数据读取模块,用于基于所述目标磁盘存储位置从对应的磁盘读取所述目标文本训练数据集标识对应的目标文本训练数据集,更新所述第二队列中所述目标文本训练数据集标识对应的历史访问次数,所述第二队列中的第二文本训练数据集标识对应的第二文本训练数据集用于在对应的历史访问次数满足缓存条件时,写入第一队列中;
训练模块,用于将所述目标文本训练数据集输入网络模型进行训练,所述网络模型用于根据模型任务类型对输入数据进行处理。
13.一种数据展示装置,其特征在于,所述装置包括:
请求发送模块,用于接收通过数据展示页发送的数据展示指令,基于所述数据展示指令向服务器发送数据获取请求,所述数据获取请求携带有待展示数据集标识,所述服务器用于当所述待展示数据集标识对应的待展示数据集类型为文本类型时,基于所述待展示数据集标识在第一队列中查找对应的目标文本数据集标识,所述第一队列中存储有各个第一文本数据集标识和对应的第一文本数据集,当在所述第一队列中未查找到对应的目标文本数据集标识时,在第二队列中查找所述待展示数据集标识对应的目标文本数据集标识,所述第二队列中存储有各个第二文本数据集标识、对应的历史访问次数和对应的磁盘存储位置,所述第一队列和第二队列都位于数据缓存中,当在所述第二队列中查找到对应的目标文本数据集标识时,获取查找到的目标文本数据集标识对应的目标磁盘存储位置,基于所述目标磁盘存储位置从对应的磁盘读取所述目标文本数据集标识对应的目标文本数据集,更新所述第二队列中所述目标文本数据集标识对应的历史访问次数,所述第二队列中的第二文本数据集标识对应的第二文本数据集用于在对应的历史访问次数满足缓存条件时,写入第一队列中,并将所述目标文本数据集返回终端;
文本展示模块,用于获取所述服务器返回的目标文本数据集,将所述目标文本数据集通过所述数据展示页进行展示。
14.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。
15.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110494425.2A CN113761004A (zh) | 2021-05-07 | 2021-05-07 | 网络模型数据处理、数据展示方法、装置和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110494425.2A CN113761004A (zh) | 2021-05-07 | 2021-05-07 | 网络模型数据处理、数据展示方法、装置和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113761004A true CN113761004A (zh) | 2021-12-07 |
Family
ID=78787101
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110494425.2A Pending CN113761004A (zh) | 2021-05-07 | 2021-05-07 | 网络模型数据处理、数据展示方法、装置和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113761004A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116822657A (zh) * | 2023-08-25 | 2023-09-29 | 之江实验室 | 一种模型训练加速的方法、装置、存储介质及电子设备 |
-
2021
- 2021-05-07 CN CN202110494425.2A patent/CN113761004A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116822657A (zh) * | 2023-08-25 | 2023-09-29 | 之江实验室 | 一种模型训练加速的方法、装置、存储介质及电子设备 |
CN116822657B (zh) * | 2023-08-25 | 2024-01-09 | 之江实验室 | 一种模型训练加速的方法、装置、存储介质及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11899681B2 (en) | Knowledge graph building method, electronic apparatus and non-transitory computer readable storage medium | |
CN108319723B (zh) | 一种图片分享方法和装置、终端、存储介质 | |
KR101835333B1 (ko) | 얼굴 인식 서비스 제공 방법 | |
CN101305368A (zh) | 语义可视搜索引擎 | |
CN113204660B (zh) | 多媒体数据处理方法、标签识别方法、装置及电子设备 | |
CN110866469B (zh) | 一种人脸五官识别方法、装置、设备及介质 | |
US20140040232A1 (en) | System and method for tagging multimedia content elements | |
CN111026967B (zh) | 一种获得用户兴趣标签的方法、装置、设备和介质 | |
CN112765387A (zh) | 图像检索方法、图像检索装置和电子设备 | |
CN111507285A (zh) | 人脸属性识别方法、装置、计算机设备和存储介质 | |
CN114168841A (zh) | 内容推荐方法及其装置 | |
CN113641835A (zh) | 多媒体资源推荐方法、装置、电子设备及介质 | |
CN111506596A (zh) | 信息检索方法、装置、计算机设备和存储介质 | |
CN113128526B (zh) | 图像识别方法、装置、电子设备和计算机可读存储介质 | |
CN114329004A (zh) | 数字指纹生成、数据推送方法、装置和存储介质 | |
CN113761004A (zh) | 网络模型数据处理、数据展示方法、装置和存储介质 | |
CN115935049A (zh) | 基于人工智能的推荐处理方法、装置及电子设备 | |
CN109118178A (zh) | 数据处理方法和装置、电子设备和计算机存储介质 | |
CN113704623A (zh) | 一种数据推荐方法、装置、设备及存储介质 | |
CN111403011B (zh) | 挂号科室推送方法、装置、系统、电子设备及存储介质 | |
KR20210120203A (ko) | 웹 페이지에 기반한 메타데이터 생성방법 | |
CN116704581A (zh) | 人脸识别方法、装置、设备及存储介质 | |
KR102590388B1 (ko) | 영상 컨텐츠 추천 장치 및 방법 | |
CN114491093B (zh) | 多媒体资源推荐、对象表征网络的生成方法及装置 | |
CN115576789A (zh) | 流失用户识别方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |