CN114036368A - 一种数据处理方法 - Google Patents

一种数据处理方法 Download PDF

Info

Publication number
CN114036368A
CN114036368A CN202110964991.5A CN202110964991A CN114036368A CN 114036368 A CN114036368 A CN 114036368A CN 202110964991 A CN202110964991 A CN 202110964991A CN 114036368 A CN114036368 A CN 114036368A
Authority
CN
China
Prior art keywords
data
processing
task
type
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110964991.5A
Other languages
English (en)
Inventor
苏进文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Mininglamp Software System Co ltd
Original Assignee
Beijing Mininglamp Software System Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Mininglamp Software System Co ltd filed Critical Beijing Mininglamp Software System Co ltd
Priority to CN202110964991.5A priority Critical patent/CN114036368A/zh
Publication of CN114036368A publication Critical patent/CN114036368A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/9038Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/904Browsing; Visualisation therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请涉及一种数据处理方法,该方法中数据处理端在接收到交互服务端的指定文件的情况下,从指定文件中解析出用于接入数据源的账号和密码,其中,数据源中存储有待处理数据;采用账号和密码,与数据源建立连接;根据数据源中的待处理数据的类型,确定待处理数据对应的任务的类型,作为指定类型;根据待处理数据,得到对应于指定类型的任务;对任务进行处理,得到处理结果。该方法中,交互服务端通过指定文件将获取待处理数据所需的账号和密码发送至数据处理端,则数据处理端无需为接入数据源重新进行系统架构的搭建,即能够从数据源获取待处理数据,降低数据处理端从数据源获取待处理数据的门槛,有利于降低数据处理的成本。

Description

一种数据处理方法
技术领域
本申请涉及数据处理技术领域,尤其涉及一种数据处理方法。
背景技术
随着移动互联网技术不断成熟,大量的数据充斥着人们的生产、生活。对数据的应用方式种类繁多,为企业、团体(以下统称用户)提供数据处理服务的数据处理平台应运而生。
通常情况下,不同用户对数据的处理结果的需求不同,需要数据处理平台为不同用户提供与其需求适配的框架和接口。在对接的用户的量较多的情况下,数据处理平台对框架和接口的维护、管理的工作量也较大。若有新的数据源接入,则需要为该新的用户开发新的框架和接口,提高了用户接入的成本。
发明内容
本申请提供了一种数据处理方法,以解决现有技术中存在的数据源接入效率较低、数据处理平台维护、管理成本较高的问题。
第一方面,本申请提供了第一种数据处理方法,所述方法应用于数据处理端,所述方法包括:在接收到交互服务端的指定文件的情况下,从所述指定文件中解析出用于接入数据源的账号和密码,其中,所述数据源中存储有待处理数据;采用所述账号和密码,与所述数据源建立连接;根据数据源中的待处理数据的类型,确定所述待处理数据对应的任务的类型,作为指定类型,所述任务的类型包括以下至少一种:Simple类型、Stream类型、Script类型;根据所述待处理数据,得到对应于所述指定类型的任务;对所述任务进行处理,得到处理结果。
在本说明书一个可选的实施例中,所述指定文件包括jar包。
在本说明书一个可选的实施例中,在接收到交互服务端的指定文件的情况下,从所述指定文件中解析出用于接入数据源的账号和密码之前,所述方法还包括:将所述数据处理端的第一接口信息注册至服务发现平台,其中,所述第一接口信息用于实现与交互服务端的通信连接。
在本说明书一个可选的实施例中,所述数据处理端基于任务处理系统,所述任务处理系统包括注册中心和若干个节点,其中,对所述任务进行处理,得到处理结果,包括:所述若干个节点中的主节点对所述任务进行分片处理,得到若干个分片;所述主节点将所述若干个分片的分片标记持久化至所述注册中心;所述若干节点中的每一个节点,针对所述注册中心中的每一个分片标记,抓取所述分片标记对应的分片,作为目标分片;若所述目标分片的状态为处于运行中,则采用所述目标分片所属的任务的类型对应的处理方式,对所述目标分片进行处理,得到所述目标分片对应的子处理结果;对各分片各自对应的子处理结果进行汇总,得到处理结果。分片的规则是根据当前节点的cpu和内存占用情况来处理,当cpu和内存占比很高的情况下,就不会在该节点上运行任务。
在本说明书一个可选的实施例中,在检测到指定文件的情况下,从所述指定文件中解析出用于获取待处理数据的账号和密码之后,所述方法还包括:若接收到交互服务端发送的新的账号和密码,则根据所述新的账号和密码,更新从所述指定文件中解析出的账号和密码。
此外,若数据处理端采用从指定文件中解析出的账号和密码无法与数据源建立连接,则数据处理端生成指定文件错误提示信息发送至交互服务端,使得用户根据交互服务端展示的指定文件错误提示信息,重新生成指定文件。
在本说明书一个可选的实施例中,获取所述指定文件之前,所述方法还包括:将数据源信息模板发送至交互服务端,使得交互服务端生成展示有数据源信息模板的前端页面,其中,所述数据源信息模板中包括用于添加账号和密码的若干个字段。
第二方面,本申请提供了第二种数据处理方法,所述方法应用于交互服务端,所述方法包括:
在获取到指定文件的情况下,将所述指定文件发送至数据处理端,使得所述数据处理端从所述指定文件中解析出用于获取待处理数据的账号和密码,之后根据所述账号和密码,从所述账号和密码对应的数据源获取待处理数据,根据获取到的待处理数据的类型,确定所述待处理数据对应的任务的类型,作为指定类型,所述任务的类型包括以下至少一种:Simple类型、Stream类型、 Script类型;根据所述待处理数据,得到对应于所述指定类型的任务;对所述任务进行处理,得到处理结果。
在本说明书一个可选的实施例中,在获取到指定文件的情况下,将所述指定文件发送至数据处理端之前,所述方法还包括:生成前端页面,获取通过所述前端页面上传的指定文件;和/或,将所述交互服务端的第二接口信息注册至服务发现平台,其中,所述第二接口信息用于实现与数据处理端的通信连接。
在本说明书一个可选的实施例中,生成前端页面,包括:接收所述数据处理端的数据源信息模板,其中,所述数据源信息模板中包括用于添加账号和密码的若干个字段;生成前端页面,其中,所述前端页面中展示有数据源信息模板。
第三方面,本申请提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现第一方面中任一种数据处理方法的步骤或实现第二方面中任一种数据处理方法的步骤。
第四方面,本申请提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现第一方面中任一种数据处理方法的步骤或实现第二方面中任一种数据处理方法的步骤。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点:
本申请实施例提供的方法应用于数据能力领域,可以应用于数据传输。本说明书中的数据处理方法,交互服务端通过指定文件将获取待处理数据所需的账号和密码发送至数据处理端,则数据处理端无需为接入数据源重新进行系统架构的搭建,即能够从数据源获取待处理数据,降低数据处理端从数据源获取待处理数据的门槛,有利于降低数据处理的成本。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的数据处理过程涉及的场景示意图;
图2为本申请实施例提供的数据处理过程的流程示意图;
图3为本申请实施例提供的数据处理过程的处理任务的过程示意图;
图4为对应于图2方法过程中部分步骤的第一种数据处理装置示意图;
图5为对应于图2方法过程中部分步骤的第二种数据处理装置示意图;
图6为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
本说明书中的数据处理方法基于数据处理端和交互服务端。数据处理端用于对待处理数据进行处理,交互服务端用于实现数据源接入数据处理端,涉及的场景,示例性地如图1所示。
如图2所示,本说明书中的数据处理方法包括以下步骤:
S200:交互服务端在获取到指定文件的情况下,将所述指定文件发送至数据处理端。
本说明书中的交互服务端用于与用户交互,以基于与用户的交互获取到指定文件,交互服务端可以提供Web服务。
在本说明书一个可选的实施例中,交互服务端生成前端页面,将前端页面展示至用户,以通过前端页面引导用户上传指定文件,进而获取到用户从前端页面上传的指定文件。
S202:数据处理端在接收到交互服务端的指定文件的情况下,从所述指定文件中解析出用于获取待处理数据的账号和密码。
数据源中存储有待处理数据,指定文件表示出接入数据源的方式。在本说明书中,指定文件中包含用于与数据源建立连接的数据。示例性地,所述指定文件可以是jar包。
S204:数据处理端采用所述账号和密码,与所述数据源建立连接。
在本说明书一个可选的实施例中,本说明书中的数据处理过程应用于对通过应用客户端(例如,application)生成和/或进行展示的数据进行处理。在该实施例中,应用客户端即为数据源,应用客户端生成和/或进行展示的数据即为待处理数据。
在该实施例中,为避免数据处理端专门的为应用客户端进行架构搭建、接口维护等作业,指定文件中可以包含应用客户端的可执行文件,则数据处理端从指定文件中解析出应用客户端的可执行文件,运行可执行文件,采用从指定文件中解析出的账号和密码,登录可执行文件对应的应用客户端,以建立与应用客户端的连接,然后,从应用客户端获取待处理数据。
示例性地,在应用客户端是即时通讯客户端时,该即时通讯客户端即为数据源,通过即时通讯客户端实现的交互过程生成的交互数据(例如,聊天记录) 即为待处理数据。
此外,应用客户端还可以是社区客户端,该社区客户端即为数据源,用户通过社区客户端发布的数据即为待处理数据。其中,“社区”可以是视频共享社区、商品交易社区、论坛等。用户通过社区客户端发布的数据可以是用户发布的视频、交易信息、资讯等。
本说明书对数据处理端与数据源建立连接的时机不做具体限制,在本说明书一个可选的实施例中,数据处理端可以周期性地从数据源建立连接,以周期性地获取待处理数据。该实施例适用于数据源中的数据更新不快(即,新增数据量不多)的情况。
在本说明书另一个可选的实施例中,数据处理端与数据源保持连接,以实时地从数据源获取待处理数据。该实施例适用于数据源中的数据更新较快的情况。
S206:数据处理端根据数据源中的待处理数据的类型,确定所述待处理数据对应的任务的类型,作为指定类型。
本说明书中的任务的类型可以包括以下至少一种:Simple类型、Stream类型、Script类型。示例性地,Script类型意为脚本类型作业,支持shell、python、 perl等所有类型脚本。
本步骤确定出任务的类型,即确定出任务的处理方式。
S208:数据处理端根据所述待处理数据,得到对应于所述指定类型的任务。
在本说明书一个可选的实施例中,所述数据处理端基于任务处理系统,所述任务处理系统可以包括调度中心(elastic-job),本步骤可以由调度中心执行。
S210:数据处理端对所述任务进行处理,得到处理结果。
本说明书中的任务可以由任务处理系统进行处理,继上述实施例,任务处理系统还可以包括注册中心和若干个节点,其中,任意一个节点均具备一定程度的任务处理能力。
可选地,所述若干个节点中的主节点对所述任务进行分片处理,得到若干个分片。所述主节点将所述若干个分片的分片标记持久化至所述注册中心。所述若干节点中的每一个节点,针对所述注册中心中的每一个分片标记,抓取该分片标记对应的分片,作为目标分片。
若所述目标分片的状态为处于运行中,则采用所述目标分片所属的任务的类型对应的处理方式,对所述目标分片进行处理,得到所述目标分片对应的子处理结果,然后,在所述注册中心中,将所述目标分片的状态调整为结束。之后,对各分片各自对应的子处理结果进行汇总,得到处理结果。各节点可以由 zookeeper管理。
可见,通过本说明书的数据处理过程,交互服务端通过指定文件将获取待处理数据所需的账号和密码发送至数据处理端,则数据处理端无需为接入数据源重新进行系统架构的搭建,即能够从数据源获取待处理数据,降低数据处理端从数据源获取待处理数据的门槛,有利于降低数据处理的成本,也使得本说明书中的数据处理端能够针对多个数据源并行地进行数据处理,而不会因为接入的数据源的过多造成紊乱。
在本说明书一个可选的实施例中,步骤S200之前,为实现数据处理端和交互服务端之间的通信连接。数据处理端将其第一接口信息注册至服务发现平台。在本说明书中第一接口信息用于实现与交互服务端的通信连接,交互服务端在获取到第一接口信息的情况下,可以通过第一接口信息与数据处理端建立连接。服务发现平台(例如,Nacos)用于提供服务发现,基于DNS和/或RPC,可以作为springcloud的注册中心、动态配置服务、动态DNS服务等。
交互服务端将其第二接口信息注册至服务发现平台。所述第二接口信息用于实现与数据处理端的通信连接。交互服务端在服务发现平台获取第一接口信息之后,即可以与数据处理端建立通信连接。以为后续的数据处理步骤做好准备。
可见,数据处理端和交互服务端均将其建立通信连接时所需的接口信息注册至服务发现平台,则数据处理端、交互服务端中的任意一端,可以通过服务发现平台提供的发现服务与另一端建立通信连接,使得本说明书中的方法具有较高的灵活性,若出现新增的交互服务端,也无需复杂的通信连接建立过程,可以高效、便捷地供一个或一个以上的交互服务端接入数据处理端。
在实际的数据处理场景中,为避免不法分子利用本说明书中的数据处理过程接入数据源的方式较为便捷的特点,窃取数据源的数据和/或向数据处理注入非法数据,有可能存在数据源更换账号和/或密码的情形。为能够在数据源更换账号和/或密码的情况下,继续接入数据源,在本说明书一个可选的实施例中,数据处理端若接收到交互服务端发送的新的账号和密码,则根据所述新的账号和密码,更新从所述指定文件中解析出的账号和密码。根据所述账号和密码,从所述账号和密码对应的数据源获取待处理数据,包括:采用更新后的账号和密码,与所述更新后的账号和密码对应的数据源建立连接。从所述数据源获取待处理数据。
可选地,数据处理端还可以在满足一定条件的情况下(例如,检测到某数据源的账号和/或密码距上次更新时的时长大于预设的时长阈值,即为满足一定条件),则生成风险提示消息发送至交互服务端,使得交互服务端展示风险提示消息。风险提示消息用于提示用户更新账号和/或密码。
为引导用户执行账号和/或密码更新,并引导用户上传指定文件,在本说明书一个可选的实施例中,数据处理端将数据源信息模板发送至交互服务端,使得交互服务端生成展示有数据源信息模板的前端页面,其中,所述数据源信息模板中包括用于添加账号和密码的若干个字段。则用户可以通过交互服务端提供的交互界面,对数据源信息模板中的至少部分字段进行填写。
现就一实施例中,各节点中的任一节点如何执行任务处理进行说明。
如图3所示。节点检测是否存在待分片的任务,若检测结果为否,则等待第一指定时长(预设时长,可以根据实际的需求确定)再次执行针对待分片任务的检测。若检测结果为是,则判断当前是否处于主节点选举中,若当前处于主节点选举中,则休眠第二指定时长(例如,100毫秒),判断本节点自身是否是主节点。若当前未处于主节点选举中,则判断本节点自身是否是主节点。
若本节点自身是主节点,则对待分片的任务执行分片,将得到的各分片的分片标记持久化至所述注册中心。然后,针对所述注册中心中的每一个分片标记,抓取所述分片标记对应的分片,作为目标分片。
若本节点自身不是主节点,则针对所述注册中心中的每一个分片标记,抓取所述分片标记对应的分片,作为目标分片。
判断目标分片的状态,若所述目标分片的状态为处于运行中,则采用所述目标分片所属的任务的类型对应的处理方式,对所述目标分片进行处理。具体地,若所述目标分片的状态为处于运行中,则确定目标分片所属的任务的类型。
若所述目标分片所属的任务的类型是simple类型,则执行作业运行接口。
若所述目标分片所属的任务的类型是dataflow,则执行获取数据接口,以从数据源获取待处理数据。判断是否从数据源获取到目标分片对应的数据。若未从数据源获取到目标分片对应的数据,则在注册中心中将该目标分片的状态调整为结束。若从数据源获取到目标分片对应的数据,则对获取到的数据进行切分,将切分得到的各子数据分发至各线程。由各线程对子数据进行处理,得到子处理结果。将子处理结果打入kafka,由下游系统对各子处理结果进行处理,得到处理结果。然后,销毁对应的classloader。
在本说明书一个可选的实施例中,数据处理端生成处理结果至后,将处理结果发送至交互服务端,使得交互服务端接收处理结果,然后将处理结果展示至用户。
基于同样的思路,本说明书进一步提供第一种数据处理装置,应用于数据处理端,如图4所示,第一种数据处理装置包括以下模块中的一个或多个:
指定文件接收模块400,配置为:在接收到交互服务端的指定文件的情况下,从所述指定文件中解析出用于接入数据源的账号和密码,其中,所述数据源中存储有待处理数据。
连接建立模块402,配置为:采用所述账号和密码,与所述数据源建立连接。
任务类型确定模块404,配置为:根据数据源中的待处理数据的类型,确定所述待处理数据对应的任务的类型,作为指定类型,所述任务的类型包括以下至少一种:Simple类型、Stream类型、Script类型。
任务生成模块406,配置为:根据所述待处理数据,得到对应于所述指定类型的任务。
处理结果生成模块408,配置为:对所述任务进行处理,得到处理结果。
在本说明书一个可选的实施例中,所述指定文件包括jar包。
在本说明书一个可选的实施例中,第一种数据处理装置还包括第一注册模块,配置为将所述数据处理端的第一接口信息注册至服务发现平台,其中,所述第一接口信息用于实现与交互服务端的通信连接。
在本说明书一个可选的实施例中,处理结果生成模块408,具体配置为:所述若干个节点中的主节点对所述任务进行分片处理,得到若干个分片;
所述主节点将所述若干个分片的分片标记持久化至所述注册中心;
所述若干节点
中的每一个节点,针对所述注册中心中的每一个分片标记,抓取所述分片标记对应的分片,作为目标分片;
若所述目标分片的状态为处于运行中,则采用所述目标分片所属的任务的类型对应的处理方式,对所述目标分片进行处理,得到所述目标分片对应的子处理结果,在所述注册中心中,将所述目标分片的状态调整为结束;
对各分片各自对应的子处理结果进行汇总,得到处理结果。
在本说明书一个可选的实施例中,第一种数据处理装置还包括更新模块,配置为:若接收到交互服务端发送的新的账号和密码,则根据所述新的账号和密码,更新从所述指定文件中解析出的账号和密码。
在本说明书一个可选的实施例中,第一种数据处理装置还包括数据源信息模板发送端,配置为将数据源信息模板发送至交互服务端,使得交互服务端生成展示有数据源信息模板的前端页面,其中,所述数据源信息模板中包括用于添加账号和密码的若干个字段。
基于同样的思路,本说明书进一步提供第二种数据处理装置,如图5所示,第二种数据处理装置包括以下模块中的一个或多个:
指定文件发送模块500,配置为在获取到指定文件的情况下,将所述指定文件发送至数据处理端,使得所述数据处理端从所述指定文件中解析出用于获取待处理数据的账号和密码,之后根据所述账号和密码,从所述账号和密码对应的数据源获取待处理数据,根据获取到的待处理数据的类型,确定所述待处理数据对应的任务的类型,作为指定类型,所述任务的类型包括以下至少一种: Simple类型、Stream类型、Script类型;根据所述待处理数据,得到对应于所述指定类型的任务;对所述任务进行处理,得到处理结果。
在本说明书一个可选的实施例中,第二种数据处理装置还可以包括前端页面生成模块502,配置为:生成前端页面,获取通过所述前端页面上传的指定文件。
在本说明书一个可选的实施例中,第二种数据处理装置还可以包括第二注册模块,配置为:将所述交互服务端的第二接口信息注册至服务发现平台,其中,所述第二接口信息用于实现与数据处理端的通信连接。
在本说明书一个可选的实施例中,前端页面生成模块502,具体配置为:接收所述数据处理端的数据源信息模板,其中,所述数据源信息模板中包括用于添加账号和密码的若干个字段;生成前端页面,其中,所述前端页面中展示有数据源信息模板。
如图6所示,本申请实施例提供了一种数据处理设备,包括处理器111、通信接口112、存储器113和通信总线114,其中,处理器111,通信接口112,存储器113通过通信总线114完成相互间的通信,
存储器113,用于存放计算机程序;
在本申请一个实施例中,处理器111,用于执行存储器113上所存放的程序时,实现前述任意一个方法实施例提供的数据处理的控制方法。
本申请实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现如前述任意一个方法实施例提供的数据处理的步骤。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上仅是本发明的具体实施方式,使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据处理方法,其特征在于,所述方法应用于数据处理端,所述方法包括:
在接收到交互服务端的指定文件的情况下,从所述指定文件中解析出用于接入数据源的账号和密码,其中,所述数据源中存储有待处理数据;
采用所述账号和密码,与所述数据源建立连接;
根据数据源中的待处理数据的类型,确定所述待处理数据对应的任务的类型,作为指定类型,所述任务的类型包括以下至少一种:Simple类型、Stream类型、Script类型;
根据所述待处理数据,得到对应于所述指定类型的任务;
对所述任务进行处理,得到处理结果。
2.根据权利要求1所述的方法,其特征在于,
所述指定文件包括jar包,和/或,
在接收到交互服务端的指定文件的情况下,从所述指定文件中解析出用于接入数据源的账号和密码之前,所述方法还包括:将所述数据处理端的第一接口信息注册至服务发现平台,其中,所述第一接口信息用于实现与交互服务端的通信连接。
3.根据权利要求1所述的方法,其特征在于,所述数据处理端基于任务处理系统,所述任务处理系统包括注册中心和若干个节点,其中,对所述任务进行处理,得到处理结果,包括:
所述若干个节点中的主节点对所述任务进行分片处理,得到若干个分片;
所述主节点将所述若干个分片的分片标记持久化至所述注册中心;
所述若干节点中的每一个节点,针对所述注册中心中的每一个分片标记,抓取所述分片标记对应的分片,作为目标分片;
若所述目标分片的状态为处于运行中,则采用所述目标分片所属的任务的类型对应的处理方式,对所述目标分片进行处理,得到所述目标分片对应的子处理结果;
对各分片各自对应的子处理结果进行汇总,得到处理结果。
4.根据权利要求1所述的方法,其特征在于,
在检测到指定文件的情况下,从所述指定文件中解析出用于获取待处理数据的账号和密码之后,所述方法还包括:若接收到交互服务端发送的新的账号和密码,则根据所述新的账号和密码,更新从所述指定文件中解析出的账号和密码。
5.根据权利要求1所述的方法,其特征在于,获取所述指定文件之前,所述方法还包括:
将数据源信息模板发送至交互服务端,使得交互服务端生成展示有数据源信息模板的前端页面,其中,所述数据源信息模板中包括用于添加账号和密码的若干个字段。
6.一种数据处理方法,其特征在于,所述方法应用于交互服务端,所述方法包括:
在获取到指定文件的情况下,将所述指定文件发送至数据处理端,使得所述数据处理端从所述指定文件中解析出用于获取待处理数据的账号和密码,之后根据所述账号和密码,从所述账号和密码对应的数据源获取待处理数据,根据获取到的待处理数据的类型,确定所述待处理数据对应的任务的类型,作为指定类型,所述任务的类型包括以下至少一种:Simple类型、Stream类型、Script类型;根据所述待处理数据,得到对应于所述指定类型的任务;对所述任务进行处理,得到处理结果。
7.根据权利要求6所述的方法,其特征在于,在获取到指定文件的情况下,将所述指定文件发送至数据处理端之前,所述方法还包括:
生成前端页面,获取通过所述前端页面上传的指定文件;和/或,
将所述交互服务端的第二接口信息注册至服务发现平台,其中,所述第二接口信息用于实现与数据处理端的通信连接。
8.根据权利要求7所述的方法,其特征在于,生成前端页面,包括:
接收所述数据处理端的数据源信息模板,其中,所述数据源信息模板中包括用于添加账号和密码的若干个字段;
生成前端页面,其中,所述前端页面中展示有数据源信息模板。
9.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-8任一项所述的数据处理方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-8任一项所述的数据处理方法的步骤。
CN202110964991.5A 2021-08-20 2021-08-20 一种数据处理方法 Pending CN114036368A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110964991.5A CN114036368A (zh) 2021-08-20 2021-08-20 一种数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110964991.5A CN114036368A (zh) 2021-08-20 2021-08-20 一种数据处理方法

Publications (1)

Publication Number Publication Date
CN114036368A true CN114036368A (zh) 2022-02-11

Family

ID=80134446

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110964991.5A Pending CN114036368A (zh) 2021-08-20 2021-08-20 一种数据处理方法

Country Status (1)

Country Link
CN (1) CN114036368A (zh)

Similar Documents

Publication Publication Date Title
CN107566786B (zh) 一种获取监控视频的方法、装置及终端设备
CN106470184B (zh) 安全认证方法、装置及系统
CN112261172B (zh) 服务寻址访问方法、装置、系统、设备及介质
CN105991412B (zh) 消息推送方法及装置
CN114024972B (zh) 一种长连接通信方法、系统、装置、设备及存储介质
CN111355986B (zh) 一种直播间中的消息处理方法、装置和存储介质
CN111246238A (zh) 直播方法、装置、存储介质及直播系统
CN106411713B (zh) 一种状态通知方法及服务器
CN115052041A (zh) 渠道标识分配方法、装置、设备和存储介质
CN109948332A (zh) 一种物理机登录密码重置方法及装置
CN115951923B (zh) 订阅事件管理方法、显示系统、设备和存储介质
CN116991948A (zh) 区块数据同步系统和方法、电子设备和存储介质
CN110351577B (zh) 直播信息处理方法及装置、存储介质、电子设备
CN106487637B (zh) 一种应用消息的处理系统、方法及应用设备
CN114036368A (zh) 一种数据处理方法
CN111310242A (zh) 设备指纹生成的方法、装置、存储介质及电子设备
CN106936643B (zh) 一种设备联动方法以及终端设备
CN113596105B (zh) 内容的获取方法、边缘节点及计算机可读存储介质
CN110912676A (zh) 一种密钥管理方法及系统
CN113225348B (zh) 请求防重放校验方法和装置
CN105205390A (zh) 一种移动终端的安全检测系统及安全检测方法
CN115410580A (zh) 指挥调度系统的语音识别方法、装置、设备及介质
CN113986578A (zh) 一种消息校验方法及第一设备
CN108574622B (zh) 一种基于xmpp的即时消息处理方法及装置
CN105245512B (zh) 一种单向文件传输方法及实现该传输方法的服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination