CN107277087A - 数据处理方法及装置 - Google Patents

数据处理方法及装置 Download PDF

Info

Publication number
CN107277087A
CN107277087A CN201610211131.3A CN201610211131A CN107277087A CN 107277087 A CN107277087 A CN 107277087A CN 201610211131 A CN201610211131 A CN 201610211131A CN 107277087 A CN107277087 A CN 107277087A
Authority
CN
China
Prior art keywords
data
field
pending
identification
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610211131.3A
Other languages
English (en)
Other versions
CN107277087B (zh
Inventor
金鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201610211131.3A priority Critical patent/CN107277087B/zh
Publication of CN107277087A publication Critical patent/CN107277087A/zh
Application granted granted Critical
Publication of CN107277087B publication Critical patent/CN107277087B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/565Conversion or adaptation of application format or content
    • H04L67/5651Reducing the amount or size of exchanged application data

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明实施例提供了一种数据处理方法及装置。当上游系统得到需要下游系统处理的待处理数据时,向存储系统发送待处理数据;以使存储系统将待处理数据存储在存储系统中并为待处理数据分配一个数据标识,然后向上游系统返回该数据标识;存储系统中存储的任意两条数据的数据标识不同;接收存储系统发送的、存储系统在将待处理数据存储在存储系统之后为待处理数据分配的数据标识;通过中间系统向下游系统发送携带该数据标识的数据处理请求;以使下游系统在存储系统中根据所述数据标识获取待处理数据,并对待处理数据进行处理。本发明实施例可以节省网络资源。

Description

数据处理方法及装置
技术领域
本发明涉及计算机技术领域,尤其涉及一种数据处理方法及装置。
背景技术
当前,数据常常需要在多系统间进行透传和共享,例如,A系统生成一条数据,并需要将该数据共享给D系统;然而,当A系统需要将该数据共享给D系统时,需要通过A系统与D系统之间的其他系统将该数据传输给D系统。例如,A系统需要通过B系统和C系统将该数据传输给D系统。这样,A系统需要先将该数据发送给B系统;B系统接收A系统发送的该数据并将该数据存储在本地,然后B系统将该数据发送给C系统;C系统接收B系统发送的该数据并将该数据存储在本地,然后C系统将该数据发送给D系统;D系统接收C系统发送的该数据,从而实现A系统将该数据共享给D系统。
然而,发明人发现,该数据从A系统传输至B系统的过程、从B系统传输至C系统的过程以及从C系统传输至D系统的过程会耗费较多的网络资源。
发明内容
为克服相关技术中存在的问题,本发明提供一种数据处理方法及装置。
根据本发明实施例的第一方面,提供一种数据处理方法,应用于上游系统,所述方法包括:
当得到需要下游系统处理的待处理数据时,向存储系统发送待处理数据;以使存储系统将待处理数据存储在存储系统中并为待处理数据分配一个数据标识,然后向上游系统返回所述数据标识;存储系统中存储的任意两条数据的数据标识不同;
接收存储系统发送的、存储系统在将待处理数据存储在存储系统之后为待处理数据分配的数据标识;
通过中间系统向下游系统发送携带所述数据标识的数据处理请求;以使下游系统在存储系统中根据所述数据标识获取待处理数据,并对待处理数据进行处理。
进一步地,所述方法还包括:
当上游系统需要在存储系统中更新待处理数据中的一个数据字段时,从下游系统中确定出需要对所述数据字段中的字段数据进行处理的至少一个下游系统;
判断所述至少一个下游系统是否支持上游系统在存储系统中更新待处理数据中的所述一个数据字段;
当所述至少一个下游系统支持上游系统在存储系统中更新待处理数据中的所述一个数据字段时,在存储系统中更新待处理数据中的所述一个数据字段。
进一步地,所述方法还包括:
当上游系统需要在存储系统中存储的待处理数据中新增加一个数据字段时,在待处理数据中的所有数据字段的字段标识中,判断是否存在与需要新增加的数据字段的字段标识相同的字段标识;
当不存在与需要新增加的数据字段的字段标识相同的字段标识时,将需要新增加的数据字段添加至待处理数据中。
根据本发明实施例的第二方面,提供一种数据处理方法,应用于下游系统,所述方法包括:
接收上游系统通过中间系统发送的数据处理请求,所述数据处理请求携带待处理数据的数据标识;
在存储系统中根据所述数据处理请求携带的数据标识获取待处理数据;
对获取的待处理数据进行处理。
其中,所述对获取的待处理数据进行处理,包括:
获取本地存储的预设字段标识;
在获取的待处理数据中,查找预设数据标识对应的数据字段;
获取查找到的数据字段中的字段数据;
对获取的字段数据进行处理。
根据本发明实施例的第三方面,提供一种数据处理装置,应用于上游系统,所述装置包括:
第一发送模块,用于当得到需要下游系统处理的待处理数据时,向存储系统发送待处理数据;以使存储系统将待处理数据存储在存储系统中并为待处理数据分配一个数据标识,然后向上游系统返回所述数据标识;存储系统中存储的任意两条数据的数据标识不同;
第一接收模块,用于接收存储系统发送的、存储系统在将待处理数据存储在存储系统之后为待处理数据分配的数据标识;
第二发送模块,用于通过中间系统向下游系统发送携带所述数据标识的数据处理请求;以使下游系统在存储系统中根据所述数据标识获取待处理数据,并对待处理数据进行处理。
进一步地,所述装置还包括:
确定模块,用于当上游系统需要在存储系统中更新待处理数据中的一个数据字段时,从下游系统中确定出需要对所述数据字段中的字段数据进行处理的至少一个下游系统;
第一判断模块,用于判断所述至少一个下游系统是否支持上游系统在存储系统中更新待处理数据中的所述一个数据字段;
更新模块,用于当所述至少一个下游系统支持上游系统在存储系统中更新待处理数据中的所述一个数据字段时,在存储系统中更新待处理数据中的所述一个数据字段。
进一步地,所述装置还包括:
第二判断模块,用于当上游系统需要在存储系统中存储的待处理数据中新增加一个数据字段时,在待处理数据中的所有数据字段的字段标识中,判断是否存在与需要新增加的数据字段的字段标识相同的字段标识;
添加模块,用于当不存在与需要新增加的数据字段的字段标识相同的字段标识时,将需要新增加的数据字段添加至待处理数据中。
根据本发明实施例的第四方面,提供一种数据处理装置,应用于下游系统,所述装置包括:
第二接收模块,用于接收上游系统通过中间系统发送的数据处理请求,所述数据处理请求携带待处理数据的数据标识;
获取模块,用于在存储系统中根据所述数据处理请求携带的数据标识获取待处理数据;
处理模块,用于对获取的待处理数据进行处理。
其中,所述处理模块包括:
第一获取单元,用于获取本地存储的预设字段标识;
查找单元,用于在获取的待处理数据中,查找预设数据标识对应的数据字段;
第二获取单元,用于获取查找到的数据字段中的字段数据;
处理单元,用于对获取的字段数据进行处理。
本发明的实施例提供的技术方案可以包括以下有益效果:
当上游系统得到需要下游系统处理的待处理数据时,在上游系统与下游系统无法直接交互的情况下,也即,在上游系统需要通过与下游系统之间的中间系统才能交互的情况下。
在现有技术中,上游系统需要通过中间系统将携带待处理数据的处理数据请求发送给下游系统,也即,上游系统需要将携带待处理数据的数据处理请求发送至中间系统;中间系统接收到上游系统发送的携带待处理数据的数据处理请求之后,需要将该数据处理请求存储在中间系统中,再将携带待处理数据的该数据处理请求发送给下游系统。当下游系统接收到携带待处理数据的数据处理请求之后,从该数据处理请求中提取出待处理数据,并对待处理数据进行处理。
携带待处理数据的该数据处理请求从上游系统传输给中间系统的过程以及携带待处理数据的该数据处理请求从中间系统传输给下游系统的过程会耗费较多的网络资源。
其次,中间系统在接收到上游系统发送的该处理处理请求之后如果不将该数据处理请求存储在中间系统中,则当中间系统将携带待处理数据的该数据处理请求发送给下游系统时如果发送失败时,中间系统需要再次从上游系统获取携带待处理数据的该数据处理请求,这就会再一次耗费网络资源。而如果中间系统在接收到上游系统发送的该处理处理请求之后将该数据处理请求存储在中间系统中,即使中间系统将携带待处理数据的该数据处理请求发送给下游系统时如果发送失败,中间系统可以从中间系统本地获取携带待处理数据的该数据处理请求,无需再次从上游系统获取携带待处理数据的该数据处理请求,从而可以节省网络资源。
然而,在本发明实施例中,当得到需要下游系统处理的待处理数据时,向存储系统发送待处理数据;以使存储系统将待处理数据存储在存储系统中并为待处理数据分配一个数据标识,然后向上游系统返回该数据标识;存储系统中存储的任意两条数据的数据标识不同;接收存储系统发送的、存储系统在将待处理数据存储在存储系统之后为待处理数据分配的数据标识;通过中间系统向下游系统发送携带该数据标识的数据处理请求;以使下游系统在存储系统中根据该数据标识获取待处理数据,并对待处理数据进行处理。
在本发明实施例中,数据处理请求携带的不是待处理数据,而是待处理数据的数据标识,待处理数据的数据标识所占空间一般很小,一般为几KB大小,而待处理数据所占空间一般较大,一般为几MB、几十MB甚至更多等。
因此,相对于携带待处理数据的数据处理请求,携带待处理数据的数据标识的数据处理请求从上游系统传输给中间系统的过程以及从中间系统传输给下游系统的过程只会耗费非常少的网络资源,因此,相对于现有技术,本发明实施例可以节省网络资源。其次,由于待处理数据所占空间大于待处理数据的数据标识所占空间,相对于现有技术中的中间系统将上游系统发送的、携带待处理数据的数据处理请求存储在本地,本发明实施例中的将上游系统发送的、携带待处理数据的数据标识的数据处理请求存储在本地可以节省中间系统的存储空间。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种数据处理方法的流程图;
图2是根据一示例性实施例示出的一种数据处理方法的流程图;
图3是根据一示例性实施例示出的一种数据处理装置的框图;
图4是根据一示例性实施例示出的一种数据处理装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种数据处理方法的流程图,如图1所示,该方法用于上游系统中,包括以下步骤。
在步骤S101中,当得到需要下游系统处理的待处理数据时,向存储系统发送待处理数据;以使存储系统将待处理数据存储在存储系统中并为待处理数据分配一个数据标识,然后向上游系统返回该数据标识;存储系统中存储的任意两条数据的数据标识不同;
在本发明实施例中,一个系统常常需要生成待处理处理给另一个系统进行处理,当一个系统生成待处理数据给另一个系统进行处理时,则该一个系统为上游系统,该另一个系统为下游系统。
在本发明实施例中,存储系统为技术人员事先设置的一个用于存储数据的系统,存储系统与上游系统直接相连接,同时存储系统与下游系统也直接相连接。上游系统与存储系统之间可以直接进行数据交互,下游系统与存储系统之间也可以直接进行数据交互。例如,上游系统可以直接在存储系统中存储数据,下游系统也可以直接在存储系统中获取数据。
在本发明实施例中,每当上游系统得到一条需要下游系统处理的待处理数据时,无需将待处理数据存储在上游系统本地,而需要使存储系统待处理数据存储在存储系统中。当存储系统将待处理数据存储在存储系统时,就会为待处理数据分配一个数据标识,分配的该数据标识与存储系统中之前已存储的所有数据的数据标识都不同,如此,之后下游系统根据分配的该数据标识就能够从存储系统中获取到待处理数据,而不会获取到存储系统中存储的其他数据。存储系统在为待处理数据分配一个数据标识之后,需要再向上游系统返回为待处理数据分配的该数据标识。
在步骤S102中,接收存储系统发送的、存储系统在将待处理数据存储在存储系统之后为待处理数据分配的数据标识;
在步骤S103中,通过中间系统向下游系统发送携带该数据标识的数据处理请求;以使下游系统在存储系统中根据该数据标识获取待处理数据,并对待处理数据进行处理。
在本发明实施例中,上游系统与下游系统未直接相连接,也即,上游系统与下游系统之间无法直接进行数据交互,因此,上游系统无法直接向下游系统发送携带该数据标识的数据处理请求。
当上游系统需要与下游系统进行数据交互时,上游系统需要通过中间系统间接与下游系统进行交互其中,中间系统与上游系统直接相连接且中间系统与下游系统直接相连接。
这样,当上游系统需要向下游系统发送携带该数据标识的数据处理请求时,需要先将该数据处理请求发送至中间系统,中间系统接收到该处理请求之后再将该数据处理请求发送至下游系统。当下游系统接收到上游系统通过中间系统发送的携带该数据标识的数据处理请求时,下游系统就可以根据该数据处理请求携带的该数据标识,直接从存储系统中获取到待处理数据,并对获取的待处理数据进行处理。
当上游系统得到需要下游系统处理的待处理数据时,在上游系统与下游系统无法直接交互的情况下,也即,在上游系统需要通过与下游系统之间的中间系统才能交互的情况下。
在现有技术中,上游系统需要通过中间系统将携带待处理数据的处理数据请求发送给下游系统,也即,上游系统需要将携带待处理数据的数据处理请求发送至中间系统;中间系统接收到上游系统发送的携带待处理数据的数据处理请求之后,需要将该数据处理请求存储在中间系统中,再将携带待处理数据的该数据处理请求发送给下游系统。当下游系统接收到携带待处理数据的数据处理请求之后,从该数据处理请求中提取出待处理数据,并对待处理数据进行处理。
携带待处理数据的该数据处理请求从上游系统传输给中间系统的过程以及携带待处理数据的该数据处理请求从中间系统传输给下游系统的过程会耗费较多的网络资源。
其次,中间系统在接收到上游系统发送的该处理处理请求之后如果不将该数据处理请求存储在中间系统中,则当中间系统将携带待处理数据的该数据处理请求发送给下游系统时如果发送失败时,中间系统需要再次从上游系统获取携带待处理数据的该数据处理请求,这就会再一次耗费网络资源。而如果中间系统在接收到上游系统发送的该处理处理请求之后将该数据处理请求存储在中间系统中,即使中间系统将携带待处理数据的该数据处理请求发送给下游系统时如果发送失败,中间系统可以从中间系统本地获取携带待处理数据的该数据处理请求,无需再次从上游系统获取携带待处理数据的该数据处理请求,从而可以节省网络资源。
然而,在本发明实施例中,当得到需要下游系统处理的待处理数据时,向存储系统发送待处理数据;以使存储系统将待处理数据存储在存储系统中并为待处理数据分配一个数据标识,然后向上游系统返回该数据标识;存储系统中存储的任意两条数据的数据标识不同;接收存储系统发送的、存储系统在将待处理数据存储在存储系统之后为待处理数据分配的数据标识;通过中间系统向下游系统发送携带该数据标识的数据处理请求;以使下游系统在存储系统中根据该数据标识获取待处理数据,并对待处理数据进行处理。
在本发明实施例中,数据处理请求携带的不是待处理数据,而是待处理数据的数据标识,待处理数据的数据标识所占空间一般很小,一般为几KB大小,而待处理数据所占空间一般较大,一般为几MB、几十MB甚至更多等。
因此,相对于携带待处理数据的数据处理请求,携带待处理数据的数据标识的数据处理请求从上游系统传输给中间系统的过程以及从中间系统传输给下游系统的过程只会耗费非常少的网络资源,因此,相对于现有技术,本发明实施例可以节省网络资源。其次,由于待处理数据所占空间大于待处理数据的数据标识所占空间,相对于现有技术中的中间系统将上游系统发送的、携带待处理数据的数据处理请求存储在本地,本发明实施例中的将上游系统发送的、携带待处理数据的数据标识的数据处理请求存储在本地可以节省中间系统的存储空间。
在本发明另一实施例中,上游系统可能使得多个不同的下游系统都对待处理数据进行处理。例如,当上游系统得到需要下游系统A和下游系统B处理的待处理数据时,上游系统需要通过与下游系统A之间的中间系统将携带待处理数据的数据标识发送给下游系统A,以及通过与下游系统B之间的中间系统将携带待处理数据的数据标识发送给下游系统B。然而,不同的下游系统可能对待处理数据中的不同字段中的字段数据进行处理。例如,下游系统A需要对待处理数据中的第一个字段中的字段数据进行处理,下游系统B需要对待处理数据中的第二个字段中的字段数据进行处理。
有时候为了应对业务需求,上游系统有可能会对存储在存储系统中的待处理数据进行更新,例如在待处理数据中新增加一个数据字段,新增加的数据字段包括字段标识和字段数据,并使得多个不同的下游系统中的某些下游系统对新增加的数据字段中的字段数据进行处理。例如,在待处理数据中新增加一个数据字段,需要使得下游系统A对待处理数据中的新增加的数据字段中的字段数据进行处理。
此时就要判断该某些下游系统是否支持上游系统在存储系统中更新待处理数据的一数据个字段,也即,需要判断该某些下游系统是否具有从待处理数据中获取到新增加的数据字段中的字段数据的能力以及是否具有对待处理数据中的新增加的数据字段中的字段数据进行处理的处理能力,当该某些下游系统不支持上游系统在存储系统中更新待处理数据的一个数据字段时,即使存储系统中更新待处理数据的该一个数据字段,下游系统也无法从待处理数据中获取到新增加的数据字段中的字段数据以及无法对待处理数据中的新增加的数据字段中的字段数据进行处理。因此,当上游系统需要在存储系统中更新待处理数据中的一个数据字段时,从下游系统中确定出需要对所述数据字段中的字段数据进行处理的至少一个下游系统;判断该至少一个下游系统是否支持上游系统在存储系统中更新待处理数据中的该一个数据字段;当该至少一个下游系统支持上游系统在存储系统中更新待处理数据中的该一个数据字段时,在存储系统中更新待处理数据中的该一个数据字段。
进一步地,在本发明又一实施例中,为了应对业务需求,上游系统之后有可能会对存储在存储系统中的待处理数据进行更新,例如在该数据中新增加一个数据字段,新增加的数据字段包括字段标识和字段数据。
在本发明实施例中,一条数据中可能包括多个数据字段,当一条数据中包括多个数据字段时,任意两个数据字段的字段标识都不同。否则,在获取该数据中的某一字段中的字段数据时就会获取错误。例如,该数据中的第一个字段的字段标识为001,字段数据为aaa,第二个字段的字段标识也为001,字段数据为bbb。需要获取该数据中的第一个字段的字段数据时,会根据第一个字段的字段标识001在该数据中查找字段,由于第一个字段的字段标识和第二字段的字段标识均为001,此时会查找到两个字段,分别为第一个字段和第二个字段,如果此时是获取第二字段的字段内容bbb,则就获取错误。
因此,为了避免之后在获取待处理数据中的某一字段中的字段数据时获取错误,在本发明又一实施例中,当上游系统需要在存储系统中存储的待处理数据中新增加一个数据字段时,在待处理数据中的所有数据字段的字段标识中,判断是否存在与需要新增加的数据字段的字段标识相同的字段标识;当不存在与需要新增加的数据字段的字段标识相同的字段标识时,再将需要新增加的数据字段添加至待处理数据中。
进一步地,在现有技术中,上游系统与中间系统之间以及中间系统与下游系统之间传递的是待处理数据,待处理数据中可能会包括多个不同的数据字段。
如果上游系统在待处理数据中新增加了一个数据字段,且需要下游系统对新增加的数据字段中的字段内容进行处理,则上游系统发送给中间系统的待处理数据就会包括新增加的该数据字段;中间系统接收到待处理数据之后,中间系统需要有解析新增加的数据字段的解析能力,如此中间系统才能得到待处理数据中的新增加的该数据字段中的字段数据,以及中间系统需要有将新增加的该数据字段中的字段数据发送给下游系统的能力。
这就需要技术人员在上游系统发送给中间系统包括新增加的该数据字段的待处理数据之前,技术人员在中间系统中编写用于解析待处理数据的新增加的数据字段的解析代码和发送新增加的数据字段的字段数据的发送代码。
否则,即使上游系统向中间系统发送了包括新增加的该数据字段的待处理数据,中间系统也无法解析出该新增加的数据字段中的字段数据,从而无法向下游系统发送该新增加的数据字段中的字段数据,也即,中间系统在向下游系统发送待处理数据时,发送的待处理数据中不包括该新增加的数据字段中,导致下游系统无法得到新增加的该数据字段中的字段数据,进而无法对新增加的该数据字段中的字段数据进行处理。
但是,技术人员在中间系统中编写用于解析待处理数据的新增加的数据字段的解析代码和发送新增加的数据字段的字段数据的发送代码,这样会增加了技术人员的工作量,从而提高人工成本。
然而,新增加的数据字段中的字段数据往往对中间系统是无用的,也即中间系统对新增加的数据字段中的字段数据不感兴趣。
而在本发明实施例中,上游系统与中间系统之间以及中间系统与下游系统之间传递的不是待处理数据,而仅仅是待处理数据的数据标识。技术人员事先在中间系统中只需编写用于识别数据标识的代码即可,无论上游系统在待处理数据中增加了什么样的数据字段,中间系统只需要识别出数据标识即可,无需解析待处理数据的新增加的数据字段以及无需向下游系统发送新增加的数据字段的字段数据。这样,技术人员也就无需在中间系统中编写用于解析待处理数据的新增加的数据字段的解析代码和发送新增加的数据字段的字段数据的发送代码。从而节省工作量,降低人工成本。
图2是根据一示例性实施例示出的一种数据处理方法的流程图,如图2所示,该方法用于下游系统中,包括以下步骤。
在步骤S201中,接收上游系统通过中间系统发送的数据处理请求,数据处理请求携带待处理数据的数据标识;
在步骤S202中,在存储系统中根据该数据处理请求携带的数据标识获取待处理数据;
在步骤S203中,对获取的待处理数据进行处理。
其中,在本发明实施例中,待处理数据中可能会包括多个数据字段,而下游系统有可能只需要对待处理数据中的一个或多个数据字段中的字段数据进行处理。
对于下游系统,技术人员事先统计出下游系统需要处理的待处理数据中的字段数据所在的数据字段的字段标识,并将统计出的字段标识作为预设数据字段标识存储在本地。
因此,本步骤额可以为:获取本地存储的预设字段标识;在获取的待处理数据中,查找预设数据标识对应的数据字段;获取查找到的数据字段中的字段数据;对获取的字段数据进行处理。
本发明实施例中支持当上游系统得到需要下游系统处理的待处理数据时,上游系统向存储系统发送待处理数据;以使存储系统将待处理数据存储在存储系统中并为待处理数据分配一个数据标识,然后向上游系统返回该数据标识;存储系统中存储的任意两条数据的数据标识不同;上游系统接收存储系统发送的、存储系统在将待处理数据存储在存储系统之后为待处理数据分配的数据标识;通过中间系统向下游系统发送携带该数据标识的数据处理请求;如此下游系统接收中间系统发送的数据处理请求,数据处理请求携带待处理数据的数据标识,且下游系统可以在存储系统中根据该数据标识获取待处理数据,并对待处理数据进行处理。
在本发明实施例中,数据处理请求携带的不是待处理数据,而是待处理数据的数据标识,待处理数据的数据标识所占空间一般很小,一般为几KB大小,而待处理数据所占空间一般较大,一般为几MB、几十MB甚至更多等。
因此,相对于携带待处理数据的数据处理请求,携带待处理数据的数据标识的数据处理请求从上游系统传输给中间系统的过程以及从中间系统传输给下游系统的过程只会耗费非常少的网络资源,因此,相对于现有技术,本发明实施例可以节省网络资源。其次,由于待处理数据所占空间大于待处理数据的数据标识所占空间,相对于现有技术中的中间系统将上游系统发送的、携带待处理数据的数据处理请求存储在本地,本发明实施例中的将上游系统发送的、携带待处理数据的数据标识的数据处理请求存储在本地可以节省中间系统的存储空间。
图3是根据一示例性实施例示出的一种数据处理装置的框图。参照图3,该装置应用于上游系统,该装置包括:
第一发送模块11,用于当得到需要下游系统处理的待处理数据时,向存储系统发送待处理数据;以使存储系统将待处理数据存储在存储系统中并为待处理数据分配一个数据标识,然后向上游系统返回所述数据标识;存储系统中存储的任意两条数据的数据标识不同;
第一接收模块12,用于接收存储系统发送的、存储系统在将待处理数据存储在存储系统之后为待处理数据分配的数据标识;
第二发送模块13,用于通过中间系统向下游系统发送携带所述数据标识的数据处理请求;以使下游系统在存储系统中根据所述数据标识获取待处理数据,并对待处理数据进行处理。
进一步地,所述装置还包括:
确定模块,用于当上游系统需要在存储系统中更新待处理数据中的一个数据字段时,从下游系统中确定出需要对所述数据字段中的字段数据进行处理的至少一个下游系统;
第一判断模块,用于判断所述至少一个下游系统是否支持上游系统在存储系统中更新待处理数据中的所述一个数据字段;
更新模块,用于当所述至少一个下游系统支持上游系统在存储系统中更新待处理数据中的所述一个数据字段时,在存储系统中更新待处理数据中的所述一个数据字段。
进一步地,所述装置还包括:
第二判断模块,用于当上游系统需要在存储系统中存储的待处理数据中新增加一个数据字段时,在待处理数据中的所有数据字段的字段标识中,判断是否存在与需要新增加的数据字段的字段标识相同的字段标识;
添加模块,用于当不存在与需要新增加的数据字段的字段标识相同的字段标识时,将需要新增加的数据字段添加至待处理数据中。
当上游系统得到需要下游系统处理的待处理数据时,在上游系统与下游系统无法直接交互的情况下,也即,在上游系统需要通过与下游系统之间的中间系统才能交互的情况下。
在现有技术中,上游系统需要通过中间系统将携带待处理数据的处理数据请求发送给下游系统,也即,上游系统需要将携带待处理数据的数据处理请求发送至中间系统;中间系统接收到上游系统发送的携带待处理数据的数据处理请求之后,需要将该数据处理请求存储在中间系统中,再将携带待处理数据的该数据处理请求发送给下游系统。当下游系统接收到携带待处理数据的数据处理请求之后,从该数据处理请求中提取出待处理数据,并对待处理数据进行处理。
携带待处理数据的该数据处理请求从上游系统传输给中间系统的过程以及携带待处理数据的该数据处理请求从中间系统传输给下游系统的过程会耗费较多的网络资源。
其次,中间系统在接收到上游系统发送的该处理处理请求之后如果不将该数据处理请求存储在中间系统中,则当中间系统将携带待处理数据的该数据处理请求发送给下游系统时如果发送失败时,中间系统需要再次从上游系统获取携带待处理数据的该数据处理请求,这就会再一次耗费网络资源。而如果中间系统在接收到上游系统发送的该处理处理请求之后将该数据处理请求存储在中间系统中,即使中间系统将携带待处理数据的该数据处理请求发送给下游系统时如果发送失败,中间系统可以从中间系统本地获取携带待处理数据的该数据处理请求,无需再次从上游系统获取携带待处理数据的该数据处理请求,从而可以节省网络资源。
然而,在本发明实施例中,当得到需要下游系统处理的待处理数据时,向存储系统发送待处理数据;以使存储系统将待处理数据存储在存储系统中并为待处理数据分配一个数据标识,然后向上游系统返回该数据标识;存储系统中存储的任意两条数据的数据标识不同;接收存储系统发送的、存储系统在将待处理数据存储在存储系统之后为待处理数据分配的数据标识;通过中间系统向下游系统发送携带该数据标识的数据处理请求;以使下游系统在存储系统中根据该数据标识获取待处理数据,并对待处理数据进行处理。
在本发明实施例中,数据处理请求携带的不是待处理数据,而是待处理数据的数据标识,待处理数据的数据标识所占空间一般很小,一般为几KB大小,而待处理数据所占空间一般较大,一般为几MB、几十MB甚至更多等。
因此,相对于携带待处理数据的数据处理请求,携带待处理数据的数据标识的数据处理请求从上游系统传输给中间系统的过程以及从中间系统传输给下游系统的过程只会耗费非常少的网络资源,因此,相对于现有技术,本发明实施例可以节省网络资源。其次,由于待处理数据所占空间大于待处理数据的数据标识所占空间,相对于现有技术中的中间系统将上游系统发送的、携带待处理数据的数据处理请求存储在本地,本发明实施例中的将上游系统发送的、携带待处理数据的数据标识的数据处理请求存储在本地可以节省中间系统的存储空间。
图4是根据一示例性实施例示出的一种数据处理装置的框图。参照图4,该装置应用于下游系统,该装置包括:
第二接收模块21,用于接收上游系统通过中间系统发送的数据处理请求,所述数据处理请求携带待处理数据的数据标识;
获取模块22,用于在存储系统中根据所述数据处理请求携带的数据标识获取待处理数据;
处理模块23,用于对获取的待处理数据进行处理。
其中,所述处理模块23包括:
第一获取单元,用于获取本地存储的预设字段标识;
查找单元,用于在获取的待处理数据中,查找预设数据标识对应的数据字段;
第二获取单元,用于获取查找到的数据字段中的字段数据;
处理单元,用于对获取的字段数据进行处理。
本发明实施例中支持当上游系统得到需要下游系统处理的待处理数据时,上游系统向存储系统发送待处理数据;以使存储系统将待处理数据存储在存储系统中并为待处理数据分配一个数据标识,然后向上游系统返回该数据标识;存储系统中存储的任意两条数据的数据标识不同;上游系统接收存储系统发送的、存储系统在将待处理数据存储在存储系统之后为待处理数据分配的数据标识;通过中间系统向下游系统发送携带该数据标识的数据处理请求;如此下游系统接收中间系统发送的数据处理请求,数据处理请求携带待处理数据的数据标识,且下游系统可以在存储系统中根据该数据标识获取待处理数据,并对待处理数据进行处理。
在本发明实施例中,数据处理请求携带的不是待处理数据,而是待处理数据的数据标识,待处理数据的数据标识所占空间一般很小,一般为几KB大小,而待处理数据所占空间一般较大,一般为几MB、几十MB甚至更多等。
因此,相对于携带待处理数据的数据处理请求,携带待处理数据的数据标识的数据处理请求从上游系统传输给中间系统的过程以及从中间系统传输给下游系统的过程只会耗费非常少的网络资源,因此,相对于现有技术,本发明实施例可以节省网络资源。其次,由于待处理数据所占空间大于待处理数据的数据标识所占空间,相对于现有技术中的中间系统将上游系统发送的、携带待处理数据的数据处理请求存储在本地,本发明实施例中的将上游系统发送的、携带待处理数据的数据标识的数据处理请求存储在本地可以节省中间系统的存储空间。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由所附的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种数据处理方法,应用于上游系统,其特征在于,所述方法包括:
当得到需要下游系统处理的待处理数据时,向存储系统发送待处理数据;以使存储系统将待处理数据存储在存储系统中并为待处理数据分配一个数据标识,然后向上游系统返回所述数据标识;存储系统中存储的任意两条数据的数据标识不同;
接收存储系统发送的、存储系统在将待处理数据存储在存储系统之后为待处理数据分配的数据标识;
通过中间系统向下游系统发送携带所述数据标识的数据处理请求;以使下游系统在存储系统中根据所述数据标识获取待处理数据,并对待处理数据进行处理。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当上游系统需要在存储系统中更新待处理数据中的一个数据字段时,从下游系统中确定出需要对所述数据字段中的字段数据进行处理的至少一个下游系统;
判断所述至少一个下游系统是否支持上游系统在存储系统中更新待处理数据中的所述一个数据字段;
当所述至少一个下游系统支持上游系统在存储系统中更新待处理数据中的所述一个数据字段时,在存储系统中更新待处理数据中的所述一个数据字段。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当上游系统需要在存储系统中存储的待处理数据中新增加一个数据字段时,在待处理数据中的所有数据字段的字段标识中,判断是否存在与需要新增加的数据字段的字段标识相同的字段标识;
当不存在与需要新增加的数据字段的字段标识相同的字段标识时,将需要新增加的数据字段添加至待处理数据中。
4.一种数据处理方法,应用于下游系统,其特征在于,所述方法包括:
接收上游系统通过中间系统发送的数据处理请求,所述数据处理请求携带待处理数据的数据标识;
在存储系统中根据所述数据处理请求携带的数据标识获取待处理数据;
对获取的待处理数据进行处理。
5.根据权利要求4所述的方法,其特征在于,所述对获取的待处理数据进行处理,包括:
获取本地存储的预设字段标识;
在获取的待处理数据中,查找预设数据标识对应的数据字段;
获取查找到的数据字段中的字段数据;
对获取的字段数据进行处理。
6.一种数据处理装置,应用于上游系统,其特征在于,所述装置包括:
第一发送模块,用于当得到需要下游系统处理的待处理数据时,向存储系统发送待处理数据;以使存储系统将待处理数据存储在存储系统中并为待处理数据分配一个数据标识,然后向上游系统返回所述数据标识;存储系统中存储的任意两条数据的数据标识不同;
第一接收模块,用于接收存储系统发送的、存储系统在将待处理数据存储在存储系统之后为待处理数据分配的数据标识;
第二发送模块,用于通过中间系统向下游系统发送携带所述数据标识的数据处理请求;以使下游系统在存储系统中根据所述数据标识获取待处理数据,并对待处理数据进行处理。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
确定模块,用于当上游系统需要在存储系统中更新待处理数据中的一个数据字段时,从下游系统中确定出需要对所述数据字段中的字段数据进行处理的至少一个下游系统;
第一判断模块,用于判断所述至少一个下游系统是否支持上游系统在存储系统中更新待处理数据中的所述一个数据字段;
更新模块,用于当所述至少一个下游系统支持上游系统在存储系统中更新待处理数据中的所述一个数据字段时,在存储系统中更新待处理数据中的所述一个数据字段。
8.根据权利要求6所述的装置,其特征在于,所述装置还包括:
第二判断模块,用于当上游系统需要在存储系统中存储的待处理数据中新增加一个数据字段时,在待处理数据中的所有数据字段的字段标识中,判断是否存在与需要新增加的数据字段的字段标识相同的字段标识;
添加模块,用于当不存在与需要新增加的数据字段的字段标识相同的字段标识时,将需要新增加的数据字段添加至待处理数据中。
9.一种数据处理装置,应用于下游系统,其特征在于,所述装置包括:
第二接收模块,用于接收上游系统通过中间系统发送的数据处理请求,所述数据处理请求携带待处理数据的数据标识;
获取模块,用于在存储系统中根据所述数据处理请求携带的数据标识获取待处理数据;
处理模块,用于对获取的待处理数据进行处理。
10.根据权利要求9所述的装置,其特征在于,所述处理模块包括:
第一获取单元,用于获取本地存储的预设字段标识;
查找单元,用于在获取的待处理数据中,查找预设数据标识对应的数据字段;
第二获取单元,用于获取查找到的数据字段中的字段数据;
处理单元,用于对获取的字段数据进行处理。
CN201610211131.3A 2016-04-06 2016-04-06 数据处理方法及装置 Active CN107277087B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610211131.3A CN107277087B (zh) 2016-04-06 2016-04-06 数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610211131.3A CN107277087B (zh) 2016-04-06 2016-04-06 数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN107277087A true CN107277087A (zh) 2017-10-20
CN107277087B CN107277087B (zh) 2020-09-04

Family

ID=60051713

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610211131.3A Active CN107277087B (zh) 2016-04-06 2016-04-06 数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN107277087B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145023A (zh) * 2018-08-30 2019-01-04 北京百度网讯科技有限公司 用于处理数据的方法和装置
CN110901691A (zh) * 2018-09-17 2020-03-24 株洲中车时代电气股份有限公司 一种铁电数据的同步系统、方法和列车网络控制系统
WO2020220986A1 (zh) * 2019-04-30 2020-11-05 华为技术有限公司 一种报文处理方法、装置及设备
CN113643110A (zh) * 2021-07-14 2021-11-12 多点生活(成都)科技有限公司 一种可配置化的财务统一结算系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1852224A (zh) * 2005-04-30 2006-10-25 华为技术有限公司 一种数据转发装置及其数据转发方法
CN102737065A (zh) * 2011-04-15 2012-10-17 腾讯科技(深圳)有限公司 数据的获取方法和装置
CN102779180A (zh) * 2012-06-29 2012-11-14 华为技术有限公司 数据存储系统的操作处理方法,数据存储系统
CN103390052A (zh) * 2013-07-25 2013-11-13 上海软智信息科技有限公司 一种数据处理方法及装置
CN103605788A (zh) * 2013-12-03 2014-02-26 上海浦东物流云计算有限公司 数据处理方法及系统、客户端及存储引擎
CN103744896A (zh) * 2013-12-24 2014-04-23 乐视网信息技术(北京)股份有限公司 一种数据处理方法和装置
US8793328B2 (en) * 2010-12-17 2014-07-29 Facebook, Inc. Distributed storage system
CN104580522A (zh) * 2015-01-30 2015-04-29 宁波凯智信息科技有限公司 客户端与服务器端之间数据同步的方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1852224A (zh) * 2005-04-30 2006-10-25 华为技术有限公司 一种数据转发装置及其数据转发方法
US8793328B2 (en) * 2010-12-17 2014-07-29 Facebook, Inc. Distributed storage system
CN102737065A (zh) * 2011-04-15 2012-10-17 腾讯科技(深圳)有限公司 数据的获取方法和装置
CN102779180A (zh) * 2012-06-29 2012-11-14 华为技术有限公司 数据存储系统的操作处理方法,数据存储系统
CN103390052A (zh) * 2013-07-25 2013-11-13 上海软智信息科技有限公司 一种数据处理方法及装置
CN103605788A (zh) * 2013-12-03 2014-02-26 上海浦东物流云计算有限公司 数据处理方法及系统、客户端及存储引擎
CN103744896A (zh) * 2013-12-24 2014-04-23 乐视网信息技术(北京)股份有限公司 一种数据处理方法和装置
CN104580522A (zh) * 2015-01-30 2015-04-29 宁波凯智信息科技有限公司 客户端与服务器端之间数据同步的方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145023A (zh) * 2018-08-30 2019-01-04 北京百度网讯科技有限公司 用于处理数据的方法和装置
CN110901691A (zh) * 2018-09-17 2020-03-24 株洲中车时代电气股份有限公司 一种铁电数据的同步系统、方法和列车网络控制系统
WO2020220986A1 (zh) * 2019-04-30 2020-11-05 华为技术有限公司 一种报文处理方法、装置及设备
CN113643110A (zh) * 2021-07-14 2021-11-12 多点生活(成都)科技有限公司 一种可配置化的财务统一结算系统

Also Published As

Publication number Publication date
CN107277087B (zh) 2020-09-04

Similar Documents

Publication Publication Date Title
JP7072054B2 (ja) 貨物を仕分けるための方法および装置
US11325780B2 (en) Method and device for sorting cargo
CN107844324B (zh) 客户端页面跳转处理方法和装置
CN107277087A (zh) 数据处理方法及装置
CN104268664A (zh) 一种推荐拼车路线的方法及装置
CN104915285A (zh) 一种容器进程监控方法、装置及系统
CN109885744B (zh) 网页数据爬取方法、装置、系统、计算机设备及存储介质
CN110046092A (zh) 实验分流方法、装置、电子设备和计算机可读存储介质
CN104756079A (zh) 规则分配服务器、事件处理系统和方法以及程序
CN107220375B (zh) 数据读写方法和服务器
CN113918437A (zh) 用户行为数据分析方法、装置、计算机设备和存储介质
CN104599092A (zh) 用于监控订单业务的方法及设备
US10193965B2 (en) Management server and operation method thereof and server system
CN103049246B (zh) 一种矩阵数据元素标识连续化方法和系统
CN109816450A (zh) 一种内容推广方法及装置
CN110377019B (zh) 一种路由生成方法和装置
US20210064625A1 (en) Secondary Tagging in a Data Heap
CN105550266A (zh) 网址关联信息展示方法和装置
KR20200026028A (ko) 정보 업데이트 방법 및 장치
CN112418965B (zh) 处理货单的方法、装置、系统、设备和计算机可读介质
CN105204921A (zh) 任务分配方法、装置、系统和服务器
CN111428453A (zh) 批注同步过程中的处理方法、装置以及系统
CN105306508A (zh) 一种业务处理方法和设备
CN114285743B (zh) 更新配置信息的方法、装置、电子设备及存储介质
CN115827392B (zh) 一种分布式系统的监控方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20200922

Address after: Grand Cayman Islands

Patentee after: Innovative advanced technology Co.,Ltd.

Address before: Grand Cayman Islands

Patentee before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20200922

Address after: Grand Cayman Islands

Patentee after: Advanced innovation technology Co.,Ltd.

Address before: Grand Cayman Islands

Patentee before: Alibaba Group Holding Ltd.

TR01 Transfer of patent right