CN109582935A - 一种数据处理方法和装置、存储介质、处理器 - Google Patents
一种数据处理方法和装置、存储介质、处理器 Download PDFInfo
- Publication number
- CN109582935A CN109582935A CN201710894929.7A CN201710894929A CN109582935A CN 109582935 A CN109582935 A CN 109582935A CN 201710894929 A CN201710894929 A CN 201710894929A CN 109582935 A CN109582935 A CN 109582935A
- Authority
- CN
- China
- Prior art keywords
- data
- service
- pending data
- pending
- task identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/177—Editing, e.g. inserting or deleting of tables; using ruled lines
- G06F40/18—Editing, e.g. inserting or deleting of tables; using ruled lines of spreadsheets
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据处理方法和装置、存储介质、处理器，方法应用于服务器中，所述服务器包括第一服务和第二服务，该方法包括：所述第一服务接收并存储浏览器上传的待处理数据，获取存储位置的路径名称，并将所述路径名称发送至所述第二服务；所述第二服务基于所述路径名称查找所述待处理数据，对所述待处理数据进行处理，将处理后的数据保存至数据库中，本申请通过浏览器将待处理数据直接传到后端服务器进行处理，避免了本地环境差异的影响，提高了数据处理的效率。
Description
技术领域
本发明涉及数据处理技术领域，更具体的涉及一种数据处理方法和装置、存储介质、处理器。
背景技术
目前，在数据处理领域，很多数据均是以excel文件的形式进行存储，从而采用Excel插件去解析处理数据，并调用后端的Web Service将处理后的数据上传到服务器进行保存。
而发明人在实施本申请的技术方案过程中发现，上述针对数据的处理方式高度依赖本地的Excel工作环境，很多不确定性因素都会导致上传失败，如网络不稳定，防火墙或者杀毒软件拦截等，严重降低数据处理的效率。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种数据处理方法和装置、存储介质、处理器。
一种数据处理方法，应用于服务器中，所述服务器包括第一服务和第二服务，该方法包括：
所述第一服务接收并存储浏览器上传的待处理数据，获取存储位置的路径名称，并将所述路径名称发送至所述第二服务；
所述第二服务基于所述路径名称查找所述待处理数据，对所述待处理数据进行处理，将处理后的数据保存至数据库中。
可选的，还包括：
所述第一服务判断所述待处理数据的数据量是否达到预设数据量，若是，采用预设分批方式对所述待处理数据进行分批，以实现所述第二服务对所述待处理数据的分批处理。
可选的，还包括：
所述第二服务生成任务标识，并将所述任务标识以及所述任务标识与所述待处理数据之间的对应关系发送给所述第一服务；
所述第二服务实时将所述待处理数据的处理状态信息与所述任务标识的对应关系缓存至缓存器中；
所述第一服务基于所述任务标识以及所述对应关系查找所述缓存器，获取与所述任务标识对应的所述待处理数据的处理状态信息；
所述第一服务将所述处理状态信息发送至浏览器，以由所述浏览器显示在前端页面上。
可选的，还包括：
所述第二服务记录所述待处理数据的快照；所述快照包括所述待处理数据的任务标识对应的所述待处理数据中每一数据的位置标识。
可选的，还包括：
当所述第一服务接收到携带有任务标识的下载请求时，将所述下载请求发送至所述第二服务；
所述第二服务在数据库中查找与所述任务标识对应的已处理数据；
所述第二服务基于所述快照对所述已处理数据进行排序，将排序后的数据返回给所述第一服务；
所述第一服务将排序后的数据返回给浏览器。
一种数据处理装置，包括：第一服务模块和第二服务模块；
所述第一服务模块包括：接收数据单元、存储数据单元以及获取名称单元；
所述接收数据单元，用于接收浏览器上传的待处理数据；
所述存储数据单元，用于存储浏览器上传的待处理数据；
所述获取名称单元，用于获取存储位置的路径名称，并将所述路径名称发送至第二服务模块；
所述第二服务模块包括：查找数据单元、处理数据单元以及保存数据单元；
所述查找数据单元用于基于所述路径名称查找所述待处理数据；
所述处理数据单元用于对所述待处理数据进行处理；
所述保存数据单元用于将处理后的数据保存至数据库中。
可选的，所述第一服务模块还包括：
第一判断单元，用于判断所述待处理数据的数据量是否达到预设数据量；
数据分批单元，用于当所述待处理数据的数据流达到预设数据量时，采用预设分批方式对所述待处理数据进行分批，以实现对所述待处理数据的分批处理。
可选的，所述第二服务模块还包括：
生成标识单元，用于生成任务标识并将所述任务标识以及所述任务标识与所述待处理数据之间的对应关系发送给所述第一服务模块；
缓存信息单元，用于实时将所述待处理数据的处理状态信息与所述任务标识的对应关系缓存至缓存器中；
所述第一服务模块还包括：
接收标识单元，用于接收所述任务标识以及所述对应关系；
获取信息单元，用于基于所述任务标识以及所述对应关系查找所述缓存器，获取与所述任务标识对应的所述待处理数据的处理状态信息；
发送信息单元，用于将所述处理状态信息发送至浏览器，以由所述浏览器显示在前端页面上。
一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行如上任一项所述的数据处理方法。
一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行如上任一项所述的数据处理方法。
借由上述技术方案，本发明提供了一种数据处理方法，应用于服务器中，服务器包括第一服务和第二服务，其中，该方法包括：第一服务接收并存储浏览器上传的待处理数据，获取存储位置的路径名称，并将所述路径名称发送至第二服务，第二服务基于所述路径名称查找所述待处理数据，对所述待处理数据进行处理，将处理后的数据保存至数据库中，由此可见，本申请通过浏览器将待处理数据直接传到后端服务器进行处理，避免了本地环境差异的影响，提高了数据处理的效率。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明一个实施例公开的一种数据处理方法的流程示意图；
图2示出了本发明另一实施例公开的一种数据处理方法的流程示意图；
图3示出了本发明又一实施例公开的一种数据处理方法的流程示意图；
图4示出了本发明又一实施例公开的一种数据处理方法的流程示意图；
图5示出了本发明一个实施例公开的一种数据处理装置的结构示意图；
图6示出了本发明另一实施例公开的一种数据处理装置的结构示意图；
图7示出了本发明又一实施例公开的一种数据处理装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明一个实施例公开了一种数据处理方法，该方法应用于服务器中，服务器包括第一服务和第二服务，如图1所示，该方法包括：
步骤101：第一服务接收并存储浏览器上传的待处理数据，获取存储位置的路径名称，并将所述路径名称发送至第二服务；
本发明中的待处理数据可以指代为各种类型的数据，可选的，待处理数据可以为媒体排期数据，具体的，媒体排期数据可以包括广告排期数据以及SEM(Search EngineMarketing,搜索引擎营销)排期数据。
可选的，待处理数据可以以文件的形式进行传递。具体的，待处理数据可以以excel文件的形式进行传递，即excel文件中存储有待处理数据，每一行对应一条待处理数据。当然本发明并不局限于此，待处理器数据也可以以其他形式的文件进行传递，如word文件。
第一服务接收到浏览器上传的待处理数据后，可以将待处理数据存储至磁盘中，并获取待处理数据在磁盘的存储位置的路径名称，将路径名称发送给第二服务。
为了便于数据的处理，可选的，在本发明另一实施例中，第一服务在通过浏览器接收到待处理数据后，可以先将待处理数据的数据格式转换为预定的数据格式，然后再进行存储，其中，预设的数据格式服务器支持的格式，如json数据格式。
步骤102：第二服务基于所述路径名称查找所述待处理数据，对所述待处理数据进行处理，将处理后的数据保存至数据库中。
对待处理数据进行处理的方式可以预先预定，具体可以包括以下处理方式的一种或多种：
数据校验处理；
数据匹配处理；
加参处理；
保存处理；
更新缓存处理。
需说明的是，数据校验处理指代为校验待处理数据的必填项是否填写完整；数据匹配处理指代为将待处理数据与预先存储的数据进行匹配，以判断是否一致；加参处理指代为在网络连接地址中添加参数；保存处理指代为对处理后的数据进行保存；更新缓存处理指代为实时将处理进度更新至缓存器中。
在本发明中，第一服务为解析调度服务，第二服务为处理保存服务，其中，第二服务可以为异步服务。
由此可见，本实施例中，第一服务接收并存储浏览器上传的待处理数据，获取存储位置的路径名称，并将所述路径名称发送至第二服务，第二服务基于所述路径名称查找所述待处理数据，对所述待处理数据进行处理，将处理后的数据保存至数据库中。即本申请通过浏览器将待处理数据直接传到后端服务器进行处理，避免了本地环境差异的影响，提高了数据处理的效率。
本发明另一实施例公开了一种数据处理方法，如图2所示，该方法包括以下步骤：
步骤201：第一服务接收浏览器上传的待处理数据；
步骤202：判断所述待处理数据的数据量是否达到预设数据量；若是，进入步骤203，若否，进入步骤204；
预设数据量的大小可以由系统预先设定，也可由用户基于实际情况进行设定，具体数值本发明不做限定。
需说明的是，当待处理数据以excel文件的形式进行传递时，excel文件中每一行对应一条待处理数据，那么，作为判断所述待处理数据的数据量是否达到预设数据量一种可选实现方式，包括：
判断excel文件中具有待处理数据的行数是否达到预设行数。
其中，预设行数的具体数据本发明不做限定，如5万行。
步骤203：采用预设分批方式对所述待处理数据进行分批，存储分批后的待处理数据；
预设分批方式可以为基于预设数据量对待处理数据进行分批的方式。
以上述预设行数为例，当excel文件中具有待处理数据的行数达到预设行数时，可以将excel文件中的待处理数据以预设行数为阈值进行分批，将每一批待处理数据写成一个excel文件并存储在磁盘中。
步骤204：直接存储所述待处理数据；
若待处理数据的数据量未达到预设数据量，则无需进行分批处理，直接存储待处理数据。
仍以上述预设行数为例，当excel文件中具有待处理数据的行数未达到预设行数时，直接将具有待处理数据的excel文件存储在磁盘中。
步骤205：获取存储位置的路径名称，并将所述路径名称发送至所述第二服务；
具体的，上述步骤201-205均由第一服务执行。所述第一服务通过在述待处理数据的数据量达到预设数据量时，采用预设分批方式对所述待处理数据进行分批，以实现所述第二服务对所述待处理数据的分批处理。
需说明的是，若对待处理数据进行分批，那么，每一批待处理数据对应一路径名称。
步骤206：第二服务基于所述路径名称查找所述待处理数据，对所述待处理数据进行处理，将处理后的数据保存至数据库中。
如果第一服务对待处理数据进行了分批，那么，第二服务需要对每一批待处理数据进行处理，可选的，第一服务可以先将第一批待处理数据的路径名称发送给第二服务，当第二服务处理完第一批待处理数据后，第一服务再将第二批待处理数据的路径名称发送给第二服务，即第二服务按照次序依次处理第一服务通过浏览器一次性接收的不同批次的待处理数据，如一次性接收的不同批次的待处理数据可以为属于同一文件的不同批次的待处理数据。具体如将同一excel文件的待处理数据分为不同批次的待处理数据。
当然，第一服务也可以将不同批的待处理数据的路径名称一次性的发送给第二服务，第二服务按照次序依次处理即可。
由此可见，本申请通过浏览器将待处理数据直接传到后端服务器进行处理，避免了本地环境差异的影响，提高了数据处理的效率；进一步的，第一服务可以基于预设数据量对待处理数据进行分批，以实现第二服务对待处理数据的分批处理，从而解决了http协议在传递大数据量容易超时的技术问题，提高了数据传递的效率。
本发明又一实施例公开了一种数据处理方法，如图3所示，该方法包括以下步骤：
步骤301：第一服务接收并存储浏览器上传的待处理数据，获取存储位置的路径名称，并将所述路径名称发送至第二服务；
步骤302：第二服务接收所述路径名称，生成任务标识，将所述任务标识以及所述任务标识与所述待处理数据之间的对应关系发送给所述第一服务；
与每一路径名称对应的待处理数据具有一任务标识，以用于唯一表征本次处理待处理数据的处理任务。
需说明的是，第二服务生成任务标识，将所述任务标识以及所述任务标识与所述待处理数据之间的对应关系发送给所述第一服务的步骤并不局限于在第二服务接收路径名称之后。在本发明另一实施例，可以在第二服务基于路径名称查找到待处理数据后，生成任务标识，将所述任务标识与所述任务标识与所述待处理数据之间的对应关系发送给第一服务。
步骤303：所述第二服务基于所述路径名称查找待处理数据，对所述待处理数据进行处理，将处理后的数据保存至数据库中；
步骤304：第二服务实时将所述待处理数据的处理状态信息与所述任务标识的对应关系缓存至缓存器中；
待处理数据的处理状态信息包括：第二服务当前处理待处理数据的处理进度信息和/或处理结果信息。
其中，处理结果信息包括待处理数据的每一阶段处理成功或失败的结果。例如，针对待处理数据的数据校验处理节点，当第二服务针对待处理数据的数据校验没有通过时，会生成失败详细信息，并将其存储在缓存器中，该失败详情信息可以包括数据校验识别的待处理数据所处位置以及校验失败的原因。
其中，缓存器具体可以为Redis缓存服务器，Redis缓存服务器为内存中的数据结构存储系统，为开源的，可以用作数据库、缓存和消息中间件。
步骤305：第一服务基于所述任务标识以及所述对应关系查找所述缓存器，获取与所述任务标识对应的所述待处理数据的处理状态信息；
当第一服务接收到任务标识以及对应关系后，可以实时或者周期性的查找缓存器，从而获取与任务标识对应的待处理数据的处理状态信息。
步骤306：第一服务将所述处理状态信息发送至浏览器，以由所述浏览器显示在前端页面上。
通过浏览器将待处理数据的处理状态信息显示在前端页面上，使得用户能够在前端页面上看到数据的处理进度和状态。
需说明的是，当第一服务获取到的处理状态信息包括失败详细信息时，第一服务可以将校验失败的原因按照待处理数据所处位置写入到原始待处理数据的文件中，例如将校验失败的原因按照原始数据行号写入到原始待处理数据的excel文件中，以便将其发送给用户，使得用户获取具体出现问题的位置。
本发明又一实施例公开了一种数据处理方法，如图4所示，该方法包括以下步骤：
步骤401：第一服务接收并存储浏览器上传的待处理数据，获取存储位置的路径名称，并将所述路径名称发送至所述第二服务；
步骤402：第二服务基于所述路径名称查找所述待处理数据，对所述待处理数据进行处理，将处理后的数据保存至数据库中；
步骤403：第二服务记录待处理数据的快照。
其中，该快照包括与所述待处理数据的任务标识对应的待处理数据中每一数据的位置标识。
由于待处理数据从浏览器传递过来时前后是具有位置关系的，而第二服务在将待处理数据处理完成后，保存到数据库中可能会打乱其原本的位置关系，因此，在本实施例中，第二服务可以记录每次接收的待处理数据的快照，该快照用于记录每次处理的待处理数据中每一数据的位置标识，该位置标识用于表征待处理数据的数据存储位置关系。由于待处理数据通过任务标识表征，因此，待处理数据中每一数据的位置标识与任务标识对应。
当待处理数据以excel文件的形式传递时，excel文件中每一行对应一条待处理数据，那么，每一条待处理数据具有一行号RowNumber以及标识AdKey，，那么，待处理数据中每一数据的位置标识包括每一条待处理数据的行号RowNumber以及标识AdKey。
在实际应用中，用户有对处理后的数据下载的需求，因此，在本发明其他实施例中，该方法还包括：
步骤404：当第一服务接收到携带有任务标识的下载请求时，将下载请求发送至所述第二服务；
第一服务在接收到第二服务发送的待处理数据的任务标识后，可以将该任务标识发送给浏览器。当用户通过浏览器发送待处理数据的下载请求时，浏览器可以将携带有任务标识的下载请求发送给第一服务，由第一服务将下载请求发送给第二服务。
步骤405：第二服务在数据库中查找与任务标识对应的已处理数据；
第二服务基于下载请求中的任务标识查找数据库，从而获取已处理数据。
步骤406：第二服务基于快照对所述已处理数据进行排序，将排序后的数据返回给第一服务；
步骤407：第一服务将排序后的数据返回给浏览器。
如果待处理数据是以文件的形式进行传递的，那么，第一服务将排序后的数据处理成文件，如处理成excel文件，再返回给浏览器。
需说明的是，当待处理数据以文件的形式传递，并由第一服务将进行分批处理时，第一服务可以基于属于同一文件的不同批次的数据按照位置标识进行拼接，例如按照行号进行拼接。
与上述数据处理方法对应的，本发明还公开了一种数据处理装置，应用于服务器中，如图5所示，数据处理装置包括：第一服务模块100和第二服务模块200；其中，第一服务模块100包括：接收数据单元101、存储数据单元102以及获取名称单元103；第二服务模块200包括：查找数据单元201、处理数据单元202以及保存数据单元203；具体的：
接收数据单元101，用于接收浏览器上传的待处理数据；存储数据单元102，用于存储浏览器上传的待处理数据；获取名称单元103，用于获取存储位置的路径名称，并将所述路径名称发送给第二服务模块200。
本发明中的待处理数据可以指代为各种类型的数据，可选的，待处理数据可以为媒体排期数据，具体的，媒体排期数据可以包括广告排期数据以及SEM(Search EngineMarketing,搜索引擎营销)排期数据。
可选的，待处理数据可以以文件的形式进行传递，也就是说，一个文件中包括很多待处理数据。具体的，待处理数据可以以excel文件的形式进行传递，即excel文件中存储有待处理数据，每一行对应一条待处理数据。
存储数据单元可以将待处理数据存储至磁盘中。
为了便于数据的处理，可选的，在本发明另一实施例中，第一服务模块100还包括转换格式单元，用于将待处理数据的数据格式转换为预定的数据格式；相应的，存储数据单元用于存储转换格式后的待处理数据，其中，预设的数据格式服务器支持的格式，如json数据格式。
查找数据单元201，用于基于所述路径名称查找所述待处理数据；处理数据单元202，用于对所述待处理数据进行处理；保存数据单元203，用于将处理后的数据保存至数据库中。
数据处理单元202对待处理数据进行处理的方式可以预先预定，具体的，可以包括以下处理方式的一种或多种：
数据校验处理；
数据匹配处理；
加参处理；
保存处理；
更新缓存处理。
需说明的是，数据校验处理指代为校验待处理处具的必填项是否填写完整；数据匹配处理指代为将待处理数据与预先存储的数据进行匹配，以判断是否一致；加参处理指代为在网络连接地址中添加参数；保存处理指代为对处理后的数据进行保存；更新缓存处理指代为实时将处理进度更新至缓存器中。
在本发明中，第一服务模块为解析调度服务模块，第二服务模块为处理保存服务模块，其中，第二服务模块的服务可以为异步服务。
在本发明另一实施例中，第一服务模块还包括：第一判断单元和数据分批单元；其中：
第一判断单元，用于判断所述待处理数据的数据量是否达到预设数据量；
预设数据量的大小可以由系统预先设定，也可由用户基于实际情况进行设定，具体数值本发明不做限定。
需说明的是，当待处理数据以excel文件的形式进行传递时，excel文件中每一行对应一条待处理数据，那么，第一判断单元具体可以用于判断excel文件中具有待处理数据的行数是否达到预设行数。
其中，预设行数的具体数据本发明不做限定，如5万行。
数据分批单元，用于当所述待处理数据的数据流达到预设数据量时，采用预设分批方式对所述待处理数据进行分批，以实现对所述待处理数据的分批处理。
预设分批方式可以为基于预设数据量对待处理数据进行分批的方式。
以上述预设行数为例，当excel文件中具有待处理数据的行数达到预设行数时，可以将excel文件中的待处理数据以预设行数为阈值进行分批，将每一批待处理数据写成一个excel文件并存储在磁盘中。
本发明又一实施例公开了一种数据处理装置，如图6所示，该数据处理装置包括：第一服务模块100和第二服务模块200；
其中，第一服务模块100包括：接收数据单元101、存储数据单元102、获取名称单元103、接收标识单元104、获取信息单元105以及发送信息单元106。
第二服务模块200包括：查找数据单元201、处理数据单元202、保存数据单元203、生成标识单元204以及缓存信息单元205。
具体的：
接收数据单元101，用于接收浏览器上传的待处理数据；
存储数据单元102，用于存储浏览器上传的待处理数据；
获取名称单元103，用于获取存储位置的路径名称；
查找数据单元201，用于基于所述路径名称查找所述待处理数据；
处理数据单元202，用于对所述待处理数据进行处理；
保存数据单元203，用于将处理后的数据保存至数据库中。
生成标识单元204，用于生成任务标识并将所述任务标识以及所述任务标识与所述待处理数据之间的对应关系发送给所述第一服务模块；
与每一路径名称对应的待处理数据具有一任务标识，以用于唯一表征本次处理待处理数据的处理任务。
缓存信息单205，用于实时将所述待处理数据的处理状态信息与所述任务标识的对应关系缓存至缓存器中；
待处理数据的处理状态信息包括：第二服务当前处理待处理数据的处理进度信息和/或处理结果信息。
其中，处理结果信息包括待处理数据的每一阶段处理成功或失败的结果。例如，针对待处理数据的数据校验处理节点，当第二服务针对待处理数据的数据校验没有通过时，会生成失败详细信息，并将其存储在缓存器中，该失败详情信息可以包括数据校验识别的待处理数据所处位置以及校验失败的原因。
其中，缓存器具体可以为Redis缓存服务器，Redis缓存服务器为内存中的数据结构存储系统，为开源的，可以用作数据库、缓存和消息中间件。
接收标识单元104，用于接收所述任务标识以及所述对应关系；
获取信息单105，用于基于所述任务标识以及所述对应关系查找所述缓存器，获取与所述任务标识对应的所述待处理数据的处理状态信息；
当第一服务接收到任务标识以及对应关系后，可以实时或者周期性的查找缓存器，从而获取与任务标识对应的待处理数据的处理状态信息。
发送信息单元106，用于将所述处理状态信息发送至浏览器，以由所述浏览器显示在前端页面上。
通过浏览器将待处理数据的处理状态信息显示在前端页面上，使得用户能够在前端页面上看到数据的处理进度和状态。
需说明的是，当第一服务获取到的处理状态信息包括失败详细信息时，第一服务可以将校验失败的原因按照待处理数据所处位置写入到原始待处理数据的文件中，例如将校验失败的原因按照原始数据行号写入到原始待处理数据的excel文件中，以便将其发送给用户，使得用户获取具体出现问题的位置。
本发明又一实施例公开了一种数据处理装置，如图7所示，该装置包括：第一服务模块100和第二服务模块200；
其中，第一服务模块100包括：接收数据单元101、存储数据单元102以及获取名称单元103。
第二服务模块200包括：查找数据单元201、处理数据单元202、保存数据单元203以及记录快照单元206。
具体的：
接收数据单元101，用于接收浏览器上传的待处理数据；
存储数据单元102，用于存储浏览器上传的待处理数据；
获取名称单元103，用于获取存储位置的路径名称；
查找数据单元201，用于基于所述路径名称查找所述待处理数据；
处理数据单元202，用于对所述待处理数据进行处理；
保存数据单元203，用于将处理后的数据保存至数据库中。
记录快照单元206，用于记录所述待处理数据的快照；
所述快照包括所述待处理数据的任务标识对应的所述待处理数据中每一数据的位置标识。
由于待处理数据从浏览器传递过来时前后是具有位置关系的，而第二服务在将待处理数据处理完成后，保存到数据库中可能会打乱其原本的位置关系，因此，在本实施例中，第二服务可以记录每次接收的待处理数据的快照，该快照用于记录每次处理的待处理数据中每一数据的位置标识，该位置标识用于表征待处理数据的数据存储位置关系。由于待处理数据通过任务标识表征，因此，待处理数据中每一数据的位置标识与任务标识对应。
当待处理数据以excel文件的形式传递时，excel文件中每一行对应一条待处理数据，那么，每一条待处理数据具有一行号RowNumber以及标识AdKey，，那么，待处理数据中每一数据的位置标识包括每一条待处理数据的行号RowNumber以及标识AdKey。
在实际应用中，用户有对处理后的数据下载的需求，因此，在本发明其他实施例中，第一服务模块100还包括：请求处理单元107以及返回数据单元108；第二服务模块200还包括：查找数据单元207以及数据排序单元208。
具体的：
请求处理单元107，用于当接收到携带有任务标识的下载请求时，将所述下载请求发送至所述第一服务模块；
第一服务在接收到第二服务发送的待处理数据的任务标识后，可以将该任务标识发送给浏览器。当用户通过浏览器发送待处理数据的下载请求时，浏览器可以将携带有任务标识的下载请求发送给第一服务，由第一服务将下载请求发送给第二服务。
查找数据单元207，用于在数据库中查找与所述任务标识对应的已处理数据；
数据排序单元208，用于基于所述快照对所述已处理数据进行排序，将排序后的数据返回给所述第一服务模块；
返回数据单元108，用于将所述排序后的数据返回给浏览器。
如果待处理数据是以文件的形式进行传递的，那么，第一服务将排序后的数据处理成文件，如处理成excel文件，再返回给浏览器。
需说明的是，当待处理数据以文件的形式传递，并由第一服务将进行分批处理时，第一服务可以基于属于同一文件的不同批次的数据按照位置标识进行拼接，例如按照行号进行拼接。
所述一种数据处理装置包括处理器和存储器，上述第一服务模块和第二服务模块中的接收数据单元、存储数据单元、获取名称单元、查找数据单元、处理数据单元、保存数据单元、第一判断单元、数据分批单元、生成标识单元、缓存信息单元、接收标识单元、获取信息单元以及发送信息单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来实现节点的按需加载，降低资源消耗，提供系统性能。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述一种数据处理方法，可选的，在所述程序运行时控制所述存储介质所在设备执行所述的数据处理方法。
本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述数据处理方法。
本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：
第一服务接收并存储浏览器上传的待处理数据，获取存储位置的路径名称，并将所述路径名称发送至所述第二服务；
第二服务基于所述路径名称查找所述待处理数据，对所述待处理数据进行处理，将处理后的数据保存至数据库中。
可选的，处理器执行程序时还用于实现以下步骤：
所述第一服务判断所述待处理数据的数据量是否达到预设数据量，若是，采用预设分批方式对所述待处理数据进行分批，以实现所述第二服务对所述待处理数据的分批处理。
可选的，处理器执行程序时还用于实现以下步骤：
所述第二服务生成任务标识，并将所述任务标识以及所述任务标识与所述待处理数据之间的对应关系发送给所述第一服务；
所述第二服务实时将所述待处理数据的处理状态信息与所述任务标识的对应关系缓存至缓存器中；
所述第一服务基于所述任务标识以及所述对应关系查找所述缓存器，获取与所述任务标识对应的所述待处理数据的处理状态信息；
所述第一服务将所述处理状态信息发送至浏览器，以由所述浏览器显示在前端页面上。
可选的，处理器执行程序时还用于实现以下步骤：
所述第二服务记录所述待处理数据的快照；所述快照包括与所述待处理数据的任务标识对应的所述待处理数据中每一数据的位置标识。
可选的，处理器执行程序时还用于实现以下步骤：
当所述第一服务接收到携带有任务标识的下载请求时，将所述下载请求发送至所述第二服务；
所述第二服务在数据库中查找与所述任务标识对应的已处理数据；
所述第二服务基于所述快照对所述已处理数据进行排序，将排序后的数据返回给所述第一服务；
所述第一服务将排序后的数据返回给浏览器。
本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：
第一服务接收并存储浏览器上传的待处理数据，获取存储位置的路径名称，并将所述路径名称发送至所述第二服务；
第二服务基于所述路径名称查找所述待处理数据，对所述待处理数据进行处理，将处理后的数据保存至数据库中。
处理器执行程序时还用于实现以下步骤：
所述第一服务判断所述待处理数据的数据量是否达到预设数据量，若是，采用预设分批方式对所述待处理数据进行分批，以实现所述第二服务对所述待处理数据的分批处理。
可选的，还可以有如下方法步骤的程序：
所述第二服务生成任务标识，并将所述任务标识以及所述任务标识与所述待处理数据之间的对应关系发送给所述第一服务；
所述第二服务实时将所述待处理数据的处理状态信息与所述任务标识的对应关系缓存至缓存器中；
所述第一服务基于所述任务标识以及所述对应关系查找所述缓存器，获取与所述任务标识对应的所述待处理数据的处理状态信息；
所述第一服务将所述处理状态信息发送至浏览器，以由所述浏览器显示在前端页面上。
可选的，还可以有如下方法步骤的程序：
所述第二服务记录所述待处理数据的快照；所述快照包括与所述待处理数据的任务标识对应的所述待处理数据中每一数据的位置标识。
可选的，还可以有如下方法步骤的程序：
当所述第一服务接收到携带有任务标识的下载请求时，将所述下载请求发送至所述第二服务；
所述第二服务在数据库中查找与所述任务标识对应的已处理数据；
所述第二服务基于所述快照对所述已处理数据进行排序，将排序后的数据返回给所述第一服务；
所述第一服务将排序后的数据返回给浏览器。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种数据处理方法，其特征在于，应用于服务器中，所述服务器包括第一服务和第二服务，该方法包括：
所述第一服务接收并存储浏览器上传的待处理数据，获取存储位置的路径名称，并将所述路径名称发送至所述第二服务；
所述第二服务基于所述路径名称查找所述待处理数据，对所述待处理数据进行处理，将处理后的数据保存至数据库中。
2.根据权利要求1所述的方法，其特征在于，还包括：
所述第一服务判断所述待处理数据的数据量是否达到预设数据量，若是，采用预设分批方式对所述待处理数据进行分批，以实现所述第二服务对所述待处理数据的分批处理。
3.根据要求1所述的方法，其特征在于，还包括：
所述第二服务生成任务标识，并将所述任务标识以及所述任务标识与所述待处理数据之间的对应关系发送给所述第一服务；
所述第二服务实时将所述待处理数据的处理状态信息与所述任务标识的对应关系缓存至缓存器中；
所述第一服务基于所述任务标识以及所述对应关系查找所述缓存器，获取与所述任务标识对应的所述待处理数据的处理状态信息；
所述第一服务将所述处理状态信息发送至浏览器，以由所述浏览器显示在前端页面上。
4.根据权利1所述的方法，其特征在于，还包括：
所述第二服务记录所述待处理数据的快照；所述快照包括所述待处理数据的任务标识对应的所述待处理数据中每一数据的位置标识。
5.根据权利要求4所述的方法，其特征在于，还包括：
当所述第一服务接收到携带有任务标识的下载请求时，将所述下载请求发送至所述第二服务；
所述第二服务在数据库中查找与所述任务标识对应的已处理数据；
所述第二服务基于所述快照对所述已处理数据进行排序，将排序后的数据返回给所述第一服务；
所述第一服务将排序后的数据返回给浏览器。
6.一种数据处理装置，其特征在于，应用于服务器中，所述数据处理装置包括：第一服务模块和第二服务模块；
所述第一服务模块包括：接收数据单元、存储数据单元以及获取名称单元；
所述接收数据单元，用于接收浏览器上传的待处理数据；
所述存储数据单元，用于存储浏览器上传的待处理数据；
所述获取名称单元，用于获取存储位置的路径名称，并将所述路径名称发送至第二服务模块；
所述第二服务模块包括：查找数据单元、处理数据单元以及保存数据单元；
所述查找数据单元用于基于所述路径名称查找所述待处理数据；
所述处理数据单元用于对所述待处理数据进行处理；
所述保存数据单元用于将处理后的数据保存至数据库中。
7.根据权利要求6所述的装置，其特征在于，所述第一服务模块还包括：
第一判断单元，用于判断所述待处理数据的数据量是否达到预设数据量；
数据分批单元，用于当所述待处理数据的数据流达到预设数据量时，采用预设分批方式对所述待处理数据进行分批，以实现对所述待处理数据的分批处理。
8.根据要求6所述的装置，其特征在于，
所述第二服务模块还包括：
生成标识单元，用于生成任务标识并将所述任务标识以及所述任务标识与所述待处理数据之间的对应关系发送给所述第一服务模块；
缓存信息单元，用于实时将所述待处理数据的处理状态信息与所述任务标识的对应关系缓存至缓存器中；
所述第一服务模块还包括：
接收标识单元，用于接收所述任务标识以及所述对应关系；
获取信息单元，用于基于所述任务标识以及所述对应关系查找所述缓存器，获取与所述任务标识对应的所述待处理数据的处理状态信息；
发送信息单元，用于将所述处理状态信息发送至浏览器，以由所述浏览器显示在前端页面上。
9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行如权利要求1-5中任一项所述的数据处理方法。
10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行如权利要求1-5中任一项所述的数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710894929.7A CN109582935B (zh) | 2017-09-28 | 2017-09-28 | 一种数据处理方法和装置、存储介质、处理器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710894929.7A CN109582935B (zh) | 2017-09-28 | 2017-09-28 | 一种数据处理方法和装置、存储介质、处理器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109582935A true CN109582935A (zh) | 2019-04-05 |
| CN109582935B CN109582935B (zh) | 2023-05-23 |
Family
ID=65912637
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710894929.7A Active CN109582935B (zh) | 2017-09-28 | 2017-09-28 | 一种数据处理方法和装置、存储介质、处理器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109582935B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2397865A1 (en) * | 2000-01-24 | 2001-07-26 | Newheights Software Corporation | Improved method and system of state management for data communications |
| CN102946436A (zh) * | 2012-11-26 | 2013-02-27 | 北京奇虎科技有限公司 | 一种下载系统 |
| CN103902635A (zh) * | 2012-12-28 | 2014-07-02 | 腾讯科技（武汉）有限公司 | 获取实时数据的方法、浏览器、多媒体设备及移动终端 |
| CN105049483A (zh) * | 2015-06-03 | 2015-11-11 | 中国银行股份有限公司 | 一种基于浏览器的数据上传方法和装置 |
| CN106470222A (zh) * | 2015-08-18 | 2017-03-01 | 中兴通讯股份有限公司 | 一种文件传输方法、装置及应用服务器 |
| CN106878366A (zh) * | 2016-06-20 | 2017-06-20 | 阿里巴巴集团控股有限公司 | 一种文件上传方法和装置 |
-
2017
- 2017-09-28 CN CN201710894929.7A patent/CN109582935B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2397865A1 (en) * | 2000-01-24 | 2001-07-26 | Newheights Software Corporation | Improved method and system of state management for data communications |
| CN102946436A (zh) * | 2012-11-26 | 2013-02-27 | 北京奇虎科技有限公司 | 一种下载系统 |
| CN103902635A (zh) * | 2012-12-28 | 2014-07-02 | 腾讯科技（武汉）有限公司 | 获取实时数据的方法、浏览器、多媒体设备及移动终端 |
| CN105049483A (zh) * | 2015-06-03 | 2015-11-11 | 中国银行股份有限公司 | 一种基于浏览器的数据上传方法和装置 |
| CN106470222A (zh) * | 2015-08-18 | 2017-03-01 | 中兴通讯股份有限公司 | 一种文件传输方法、装置及应用服务器 |
| CN106878366A (zh) * | 2016-06-20 | 2017-06-20 | 阿里巴巴集团控股有限公司 | 一种文件上传方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109582935B (zh) | 2023-05-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107395659A (zh) | 一种业务受理及共识的方法及装置 | |
| CN108985742B (zh) | 交易处理方法、装置及区块链系统 | |
| CN106656920B (zh) | Http服务的处理方法、装置、存储介质及处理器 | |
| EP3353671A1 (en) | Distributed data processing method and system | |
| CN104202360A (zh) | 访问网页的方法、装置及路由器 | |
| CN108491450A (zh) | 数据缓存方法、装置、服务器和存储介质 | |
| US11334332B2 (en) | Facilitating cloud native edge computing via behavioral intelligence | |
| CN109743222A (zh) | 一种数据测试方法及相关设备 | |
| CN108255628A (zh) | 一种数据处理方法及装置 | |
| CN109104368B (zh) | 一种请求连接方法、装置、服务器及计算机可读存储介质 | |
| CN116402446B (zh) | 一种货物的管理方法、装置、介质及电子设备 | |
| CN106326062A (zh) | 应用程序的运行状态控制方法和装置 | |
| CN107977260B (zh) | 任务提交方法及装置 | |
| CN109995787A (zh) | 一种数据处理方法及相关设备 | |
| CN105556918B (zh) | 一种资源下载方法及电子设备 | |
| CN110764930A (zh) | 基于消息模式的请求或应答处理方法及装置 | |
| CN109885535A (zh) | 一种文件存储的方法及相关装置 | |
| CN105988949B (zh) | 终端设备、数据交互处理的方法及系统 | |
| CN106446640A (zh) | 用户识别的方法及服务器 | |
| CN110019178A (zh) | 数据的关联方法及装置 | |
| CN109582935A (zh) | 一种数据处理方法和装置、存储介质、处理器 | |
| CN106294700A (zh) | 一种日志的存储与读取方法及装置 | |
| CN116303309A (zh) | 文件挂载方法、装置和电子设备 | |
| CN110765392A (zh) | 数据的加载方法及装置、存储介质、终端 | |
| CN111200608B (zh) | 链路信息处理方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 100080 No. 401, 4th Floor, Haitai Building, 229 North Fourth Ring Road, Haidian District, Beijing Applicant after: BEIJING GRIDSUM TECHNOLOGY Co.,Ltd. Address before: 100086 Beijing city Haidian District Shuangyushu Area No. 76 Zhichun Road cuigongfandian 8 layer A Applicant before: BEIJING GRIDSUM TECHNOLOGY Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |