CN105721211A - 一种数据处理的方法及装置 - Google Patents

一种数据处理的方法及装置 Download PDF

Info

Publication number
CN105721211A
CN105721211A CN201610101343.6A CN201610101343A CN105721211A CN 105721211 A CN105721211 A CN 105721211A CN 201610101343 A CN201610101343 A CN 201610101343A CN 105721211 A CN105721211 A CN 105721211A
Authority
CN
China
Prior art keywords
data
node
directed acyclic
application program
meshed network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610101343.6A
Other languages
English (en)
Inventor
苑维然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING DEEPGLINT INFORMATION TECHNOLOGY Co Ltd
Original Assignee
BEIJING DEEPGLINT INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING DEEPGLINT INFORMATION TECHNOLOGY Co Ltd filed Critical BEIJING DEEPGLINT INFORMATION TECHNOLOGY Co Ltd
Priority to CN201610101343.6A priority Critical patent/CN105721211A/zh
Publication of CN105721211A publication Critical patent/CN105721211A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061Partitioning or combining of resources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/12Discovery or management of network topologies
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/50Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请提供了一种数据处理的方法及装置,包括:接收到源数据流时,确定所述源数据流对应的多个应用程序;确定所述应用程序对应的节点类型及有向无环节点网络;所述节点为处理所述源数据流得到所述应用程序对应的数据的节点;所述有向无环节点网络是根据所述源数据流处理的顺序将各所述节点有向连接形成的;根据所述节点类型及有向无环节点网络,对所述有向无环节点网络进行去重处理;基于去重后的有向无环节点网络进行所述多个应用程序对应的数据处理。采用本申请的技术方案,可以提高平台的数据处理资源利用率,避免不必要的资源浪费。

Description

一种数据处理的方法及装置
技术领域
本申请涉及数据计算处理技术领域,特别涉及一种数据处理的方法及装置。
背景技术
目前,很多数据平台可以向第三方APP(Application,应用程序)提供数据。第三方APP使用数据平台提供的数据按需进行加工。在数据平台在为各个应用程序提供数据时,通常需要根据每个APP的需求分别为各个APP提供数据。
图1为现有技术中数据平台为不同APP提供数据的方案示意图,如图1所示,现有技术中数据平台为APP1和APP2两个不同APP提供数据时,需要分别对APP1、APP2所需的数据分别处理。
图2为现有技术中数据平台为不同APP提供数据的数据处理流程示意图,如图2所示,针对APP1和APP2,即便数据源相同、数据计算单元的类型相同,类型相同的节点分别将A、B、C三个数据计算了两遍。即,两个APP从数据平台获取的源数据流相同且处理源数据流的节点类型也相同时,也会采用同类型的节点把相同的数据进行两次处理的方案。
综上,现有技术中的数据平台对于多个不同的APP对应的数据的处理会进行多次重复的数据处理,造成了数据平台数据处理资源的浪费。
申请内容
本申请实施例提出了一种数据处理的方法及装置,用以解决现有技术中开放数据平台数据处理资源浪费的问题。
本申请实施例提供了一种数据处理的方法,包括如下步骤:
接收到源数据流时,确定所述源数据流对应的多个应用程序;
确定所述应用程序对应的节点类型及有向无环节点网络;所述节点为处理所述源数据流得到所述应用程序对应的数据的节点;所述有向无环节点网络是根据所述源数据流处理的顺序将各所述节点有向连接形成的;
根据所述节点类型及有向无环节点网络,对所述有向无环节点网络进行去重处理:
基于去重后的有向无环节点网络进行所述多个应用程序对应的数据处理。
本申请实施例提供了一种数据处理的装置,包括:
确定单元,用于接收到源数据流时,确定所述源数据流对应的多个应用程序;
所述确定单元进一步用于确定所述应用程序对应的节点类型及有向无环节点网络;所述节点为处理所述源数据流得到所述应用程序对应的数据的节点;所述有向无环节点网络是根据所述源数据流处理的顺序将各所述节点有向连接形成的;
去重单元,用于根据所述节点类型及有向无环节点网络,对所述有向无环节点网络进行去重处理;
处理单元,用于基于去重后的有向无环节点网络进行所述多个应用程序对应的数据处理。
本申请有益效果如下:
本申请实施例提供了一种数据处理的方法及装置,接收到源数据流时,确定所述源数据流对应的多个应用程序,并确定所述应用程序对应的节点类型及有向无环节点网络;根据所述节点类型及有向无环节点网络,对所述有向无环节点网络进行去重处理;基于去重后的有向无环节点网络进行所述多个应用程序对应的数据处理。而无需如现有技术将多个应用程序需要的经过相同类型的节点将相同源数据流进行多次重复的数据处理,可以提高平台的数据处理资源利用率,避免不必要的资源浪费。
附图说明
下面将参照附图描述本申请的具体实施例。
图1为现有技术中数据平台为不同APP提供数据的方案示意图;
图2为现有技术中数据平台为不同APP提供数据的数据处理示意图;
图3为本申请实施例中数据处理的方法的流程示意图;
图4为本申请实施例中为两个不同的APP进行数据处理的示意图;
图5为本申请实施例中为四个不同的APP进行数据处理的示意图;
图6为本申请实施例中为两个不同的APP进行数据处理过程中的各节点输出的数据标识确定的示意图;
图7为本申请实施例中为四个不同的APP进行数据处理过程中的各节点输出的数据标识确定的示意图;
图8为本申请实施例中数据处理的装置的结构示意图。
具体实施方式
为了使本申请的技术方案及优点更加清楚明白,以下结合附图对本申请的示例性实施例进行进一步详细的说明,显然,所描述的实施例仅是本申请的一部分实施例,而不是所有实施例的穷举。并且在不冲突的情况下,本说明书中的实施例及实施例中的特征可以互相结合。
图3为本申请实施例中数据处理的方法的流程示意图,该方法可应用于为APP提供数据的数据平台,如图3所示,该数据处理的方法可以包括如下步骤:
步骤301:接收到源数据流时,确定所述源数据流对应的多个应用程序;
步骤302:确定所述应用程序对应的节点类型及有向无环节点网络;所述节点为处理所述源数据流得到所述应用程序对应的数据的节点;所述有向无环节点网络是根据所述源数据流处理的顺序将各所述节点有向连接形成的;
步骤303:根据所述节点类型及有向无环节点网络,对所述有向无环节点网络进行去重处理;
步骤304:基于去重后的有向无环节点网络进行所述多个应用程序对应的数据处理。
具体实施中,数据平台可以由源数据流驱动,当接收到输入的源数据流时,数据平台根据源数据流与应用程序之前的对应关系,确定与所述源数据流对应的多个应用程序。
在确定与所述源数据流对应的多个应用程序后,根据预先存储的应用程序与有向无环节点网络的对应关系,确定所述应用程序对应的节点类型及有向无环节点网络。
根据所述多个应用程序对应的节点类型及有向无环节点网络,对多个应用程序对应的相同的有向无环节点子网络进行去重处理,以得到一个没有冗余数据处理的有向无环节点网络。
本申请实施例中的节点可以对数据进行相应处理并产生输出数据。具体的,所述节点可以是一个运行数据处理程序的硬件实体,也可以是一段程序,接收输入数据,并产生输出数据。例如,节点是一个基于Docker的轻量级容器。进一步地,节点可以分为短运行时的和长运行时两种类型。短运行时的节点往往是无状态的纯计算节点,大多数数据处理的节点都是短运行时类型的,以方便进行弹性扩容等计算资源管理;长运行时类型的节点往往是存储相关的节点信息或数据,如数据库节点信息或数据、内存数据库节点信息或数据、文件存储节点信息或数据等。通常,在数据平台上,长运行时节点可以是预先定义好的,而不是由第三方APP开发者自己定义。
通常,类型相同的节点对数据进行的处理是相同的,也即,相同的数据分别输入至两个类型相同的节点处理后输出的数据也是相同的。
数据处理过程中,位于同一数据处理流程中的互为上下游节点的节点之间存在数据连接,通过数据连接基于相应的标准化通信协议(如HTTP(HyperTextTransferProtocol,超文本传输协议)、TCP(TransmissionControlProtocol,传输控制协议)等)的数据通路进行数据传输。
当处理所述源数据的各节点按照各个APP具体需求的数据处理流程连接形成一个有向无环节点网络,可以形成一个有向无环图,而多个有向无环图是可以合并的,合并后的有向无环图称作混合有向无环图。
本申请实施例提供了一种为应用程序提供数据的方法,接收到源数据流时,确定所述源数据流对应的多个应用程序,并确定所述应用程序对应的节点类型及有向无环节点网络;根据所述节点类型及有向无环节点网络,对所述有向无环节点网络进行去重处理;基于去重后的有向无环节点网络进行所述多个应用程序对应的数据处理。而无需如现有技术将多个应用程序需要的相同类型的节点将相同源数据流进行多次重复的数据处理,可以提高平台的数据处理资源利用率,避免不必要的资源浪费。
实施中,根据节点类型及有向无环节点网络,对所述有向无环节点网络进行去重处理,可以具体包括:
根据所述节点类型的标识及有向无环节点网络,确定所述节点输出的数据标识;
将所述节点输出的数据标识进行比较;
若多个应用程序的所述有向无环节点网络中具有标识相同的数据,合并输出所述数据的多个有向无环节点子网络为一个有向无环节点子网络。
具体实施中,图4为本申请实施例中为两个不同的APP进行数据处理的示意图,对于图1中APP1和APP2的数据请求的处理可以如图4所示,由于APP1对应的数据E和APP2对应的数据F有相同源数据流DataA和DataB以及M类型节点输出的相同的数据DataC,所以,可以在将现有技术中两个输出DataC的有向无环节点网络合并为一个输出DataC的有向无环节点网络,现有技术中需要两个M类型节点进行数据处理,而采用本申请实施例提供的数据处理的方法只需一个M类型节点进行数据处理,有效节约了数据处理资源。
同理,图5为本申请实施例中为四个不同的APP进行数据处理的示意图,如图5所示,同样地,当APP1对应的数据E、APP2对应的数据F、APP3对应的数据G和APP4对应的数据H有相同源数据流DataA和DataB以及相同的中间数据DataC(由M类型节点对源数据流DataA和DataB处理后输出的),所以,可以在将现有技术中四个输出DataC的有向无环节点网络合并为一个输出DataC的有向无环节点网络。
下面举例说明,将所述数据处理的方法应用程序于监控视频数据平台,若有基于监控视频数据平台提供的视频数据统计监控区域的人数的APPQ和基于监控视频数据平台提供的视频数据分析监控区域内的人物行为的APPS都从所述监控视频数据平台获取视频数据,即,所述监控视频数据平台接收到的监控视频源数据流(例如,均为某一超市的监控视频流)对应APPQ和APPS,且在APPQ对应的数据和APPS对应的数据的处理过程中,对该源数据流的部分处理过程中采用的节点类型也是相同的(例如,滤波去噪、人物图像提取等),那么可以将APPQ和APPS均具有的两个将源数据流进行滤波去噪、人物图像提取的有向无环节点网络合并为一个将源数据流进行滤波去噪、人物图像提取的有向无环节点子网络,将基于合并后的有向无环节点网络进行APPQ和APPS对应的数据处理,只将源数据流进行滤波去噪、人物图像提取处理一次。即,监控视频数据平台仅需将源数据流进行滤波去噪、人物图像提取做一次处理,而不需要将源数据流进行滤波去噪、人物图像提取做两次重复处理,有效节约了数据处理资源。
标识可以是预先为源数据流或节点类型分配的ID号,也可以是其他的可以用来区分不同源数据流或节点类型的标识,这里不做具体限定。
实施中,根据所述节点类型的标识及有向无环节点网络,确定所述节点输出的数据标识,可以具体包括:
计算所述节点类型的标识与输入所述节点的数据标识组合的摘要值;
将所述摘要值作为所述节点输出的数据标识。
具体实施中,可以根据所述节点类型的标识与输入所述节点的数据标识,计算所述节点类型的标识与输入所述节点的数据标识组合的摘要值。具体计算摘要值的算法以MD5(MessageDigestAlgorithm,消息摘要算法第五版)作为示例。
图6为本申请实施例中为两个不同的APP进行数据处理过程中的各节点输出的数据标识确定的示意图,如图6所示,数据平台向APP1、APP2推送数据。设源数据流DataA标识为0be3341d,源数据流DataB标识为113f8ebb,M类型节点类型的标识为ModuleM,那么,
DataC标识=MD5(“0:0be3341d,1:113f8ebb,ModuleM,0”)=79564d534212f55a。
也即,标识“79564d534212f55a”就表示数据DataC,也表示了DataA+DataB+ModuleM的这个组合。“0:10be3341d”的含义为标识为0be3341d的源数据流DataA是M类型节点的第一个输入数据,“1:113f8ebb”的含义为标识为113f8ebb的源数据流DataB是M类型节点的第二个输入数据,最后一个0代表是M类型节点的第一个输出数据。
同理,DataE=MD5(“0:79564d534212f55a,ModuleN,0”)=0fa33893bae425a3:
DataF=MD5(“0:79564d534212f55a,ModuleN,1”)=99758a8589e329e6。
图7为本申请实施例中为四个不同的APP进行数据处理过程中的各节点输出的数据标识确定的示意图,如图7所示,APP1、APP2、APP3和APP4从相同的数据平台请求获取数据。设源数据流DataA标识为0be3341d,源数据流DataB标识为113f8ebb,M类型节点的类型标识为ModuleM,N类型节点的类型标识为ModuleN,P类型节点的类型标识为ModuleP,那么,
DataC标识=MD5(“0:0be3341d,1:113f8ebb,ModuleM,0”)=79564d534212f55a。
DataE=MD5(“0:79564d534212f55a,ModuleN,0”)=0fa33893bae425a3;
DataF=MD5(“0:79564d534212f55a,ModuleN,1”)=99758a8589e329e6;
DataG=MD5(“0:79564d534212f55a,ModuleP,0”)=35663648059ba7a7;
DataH=MD5(“0:79564d534212f55a,ModuleP,1”)=f0de7df688708750。
以上仅作是对各应用程序对应的有向无环节点网络中的各节点输出的数据标识计算的示例性说明,本领域技术人员可以根据实际情况确定计算各应用程序对应的有向无环节点网络中的各节点输出的数据标识的具体算法,这里不作具体限定。
实施中,计算所述节点类型的标识与输入所述节点的数据标识组合的摘要值,可以具体包括:
采用消息摘要算法第五版MD5算法计算所述节点类型的标识与输入所述节点的数据标识组合的摘要值。
具体实施中,所述预存的数据标识可以采用MD5算法计算各应用程序对应的有向无环节点网络中的各节点输出的数据标识,具体的计算过程可以参见上述对图6和图7的说明内容,这里不再赘述。
从理论上来说,只要是能够确定各应用程序对应的有向无环节点网络中的各节点输出的数据标识的其它的技术也是可以实施本方案的,MD5仅用于教导本领域技术人员具体如何实施本申请,但不意味仅能使用MD5一种方式,实施过程中可以结合实践需要来确定相应的方式。
实施中,多个同构的所述节点可以组成节点组,所述节点组根据负载情况动态调整各节点任务。
具体实施中,同构节点是指对数据处理方式相同的节点,例如,节点X是对输入的数据进行傅里叶变换处理,节点W也是对输入的数据进行傅里叶变换处理,那么节点X和节点W就是同构节点。一组同构的节点可以组成节点组,根据负载情况进行弹性容量调整;当负载过重时,自动增加进行数据处理的节点数量;当负载较轻时,则可以减去一部分进行数据处理的节点,以节省平台的数据处理资源开销。
实施中,基于去重后的有向无环节点网络进行所述多个应用程序对应的数据处理之后,还可以包括:
将所述多个应用程序对应的数据转换为所述多个应用程序兼容的数据格式推送至所述多个应用程序。
具体实施中,在基于去重后的有向无环节点网络进行所述多个应用程序对应的数据处理之后,可以根据各应用程序兼容的数据格式对处理得到的各应用程序对应的数据进行格式转换后推送至各应用程序,以使所述应用程序获取数据后直接使用,无需再做数据转换处理。
实施中,将所述多个应用程序对应的数据转换为所述多个应用程序兼容的数据格式推送至所述多个应用程序之后,还可以包括:
将生成所述多个应用程序对应的数据的数据流量发送至所述多个应用程序,所述数据流量包括:所述源数据流的数据大小及根据所述有向无环节点网络处理所述源数据流的各节点的计算量之和。
具体实施中,所述源数据流的数据大小可以通过接收所述源数据的节点确定的,也可以在产生所述源数据流时,同时计算所述源数据流的数据大小,在输出所述源数据流时,同时输出所述源数据流的数据大小信息;所述计算量是根据所述各节点对输入数据计算的次数及计算复杂度确定的。在具体实施时,为了节约确定计算量的计算资源,可以在确定某一节点的计算复杂度后,通过统计所述节点处理数据的时间来估算该节点此次的计算量。上述数据流量的确定方案仅作示例性说明,本领域技术人员可以根据实际情况采用适宜的方法来确定数据流量,这里不做具体限定。
基于同一申请构思,本申请实施例中还提供了一种数据处理的装置,由于该装置解决问题的原理与一种数据处理的方法相似,因此该装置的实施可以参见方法的实施,重复之处不再赘述。
图8为本申请实施例中数据处理的装置的结构示意图,如图8所示,该数据处理的装置可以包括:
确定单元801,用于接收到源数据流时,确定所述源数据流对应的多个应用程序;
所述确定单元进一步用于确定所述应用程序对应的节点类型及有向无环节点网络;所述节点为处理所述源数据流得到所述应用程序对应的数据的节点;所述有向无环节点网络是根据所述源数据流处理的顺序将各所述节点有向连接形成的;
去重单元802,用于根据所述节点类型及有向无环节点网络,对所述有向无环节点网络进行去重处理;
处理单元803,用于基于去重后的有向无环节点网络进行所述多个应用程序对应的数据处理。
实施中,所述去重单元可以具体用于根据所述节点类型的标识及有向无环节点网络,确定所述节点输出的数据标识;将所述节点输出的数据标识进行比较;若多个应用程序的所述有向无环节点网络中具有标识相同的数据,合并输出所述数据的多个有向无环节点子网络为一个有向无环节点子网络。
实施中,所述去重单元可以具体用于计算所述节点类型的标识与输入所述节点的数据标识组合的摘要值;将所述摘要值作为所述节点输出的数据标识。
实施中,所述去重单元可以具体用于采用消息摘要算法第五版MD5算法计算所述节点类型的标识与输入所述节点的数据标识组合的摘要值。
实施中,多个同构的所述节点可以组成节点组,所述节点组根据负载情况动态调整各节点任务。
实施中,所述数据处理的装置,还可以还包括:
转换单元,用于基于去重后的有向无环节点网络进行所述多个应用程序对应的数据处理之后,将所述多个应用程序对应的数据转换为所述多个应用程序兼容的数据格式推送至所述多个应用程序。
实施中,数据处理的装置,还可以还包括:
发送单元,用于将所述多个应用程序对应的数据转换为所述多个应用程序兼容的数据格式推送至所述多个应用程序之后,将生成所述多个应用程序对应的数据的数据流量发送至所述多个应用程序,所述数据流量包括:所述源数据流的数据大小及根据所述有向无环节点网络处理所述源数据流的各节点的计算量之和。
为了描述的方便,以上所述装置的各部分以功能分为各种模块或单元分别描述。当然,在实施本申请时可以把各模块或单元的功能在同一个或多个软件或硬件中实现。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-R0M、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (14)

1.一种数据处理的方法,其特征在于,包括如下步骤:
接收到源数据流时,确定所述源数据流对应的多个应用程序;
确定所述应用程序对应的节点类型及有向无环节点网络;所述节点为处理所述源数据流得到所述应用程序对应的数据的节点;所述有向无环节点网络是根据所述源数据流处理的顺序将各所述节点有向连接形成的;
根据所述节点类型及有向无环节点网络,对所述有向无环节点网络进行去重处理;
基于去重后的有向无环节点网络进行所述多个应用程序对应的数据处理。
2.如权利要求1所述的方法,其特征在于,根据节点类型及有向无环节点网络,对所述有向无环节点网络进行去重处理,具体包括:
根据所述节点类型的标识及有向无环节点网络,确定所述节点输出的数据标识;
将所述节点输出的数据标识进行比较;
若多个应用程序的所述有向无环节点网络中具有标识相同的数据,合并输出所述数据的多个有向无环节点子网络为一个有向无环节点子网络。
3.如权利要求2所述的方法,其特征在于,根据所述节点类型的标识及有向无环节点网络,确定所述节点输出的数据标识,具体包括:
计算所述节点类型的标识与输入所述节点的数据标识组合的摘要值;
将所述摘要值作为所述节点输出的数据标识。
4.如权利要求3所述的方法,其特征在于,计算所述节点类型的标识与输入所述节点的数据标识组合的摘要值,具体包括:
采用消息摘要算法第五版MD5算法计算所述节点类型的标识与输入所述节点的数据标识组合的摘要值。
5.如权利要求1所述的方法,其特征在于,多个同构的所述节点组成节点组,所述节点组根据负载情况动态调整各节点任务。
6.如权利要求1所述的方法,其特征在于,基于去重后的有向无环节点网络进行所述多个应用程序对应的数据处理之后,还包括:
将所述多个应用程序对应的数据转换为所述多个应用程序兼容的数据格式推送至所述多个应用程序。
7.如权利要求6所述的方法,其特征在于,将所述多个应用程序对应的数据转换为所述多个应用程序兼容的数据格式推送至所述多个应用程序之后,还包括:
将生成所述多个应用程序对应的数据的数据流量发送至所述多个应用程序,所述数据流量包括:所述源数据流的数据大小及根据所述有向无环节点网络处理所述源数据流的各节点的计算量之和。
8.一种数据处理的装置,其特征在于,包括:
确定单元,用于接收到源数据流时,确定所述源数据流对应的多个应用程序;
所述确定单元进一步用于确定所述应用程序对应的节点类型及有向无环节点网络;所述节点为处理所述源数据流得到所述应用程序对应的数据的节点;所述有向无环节点网络是根据所述源数据流处理的顺序将各所述节点有向连接形成的;
去重单元,用于根据所述节点类型及有向无环节点网络,对所述有向无环节点网络进行去重处理;
处理单元,用于基于去重后的有向无环节点网络进行所述多个应用程序对应的数据处理。
9.如权利要求8所述的装置,其特征在于,所述去重单元具体用于根据所述节点类型的标识及有向无环节点网络,确定所述节点输出的数据标识;将所述节点输出的数据标识进行比较;若多个应用程序的所述有向无环节点网络中具有标识相同的数据,合并输出所述数据的多个有向无环节点子网络为一个有向无环节点子网络。
10.如权利要求9所述的装置,其特征在于,所述去重单元具体用于计算所述节点类型的标识与输入所述节点的数据标识组合的摘要值;将所述摘要值作为所述节点输出的数据标识。
11.如权利要求10所述的装置,其特征在于,所述去重单元具体用于采用消息摘要算法第五版MD5算法计算所述节点类型的标识与输入所述节点的数据标识组合的摘要值。
12.如权利要求8所述的装置,其特征在于,多个同构的所述节点组成节点组,所述节点组根据负载情况动态调整各节点任务。
13.如权利要求8所述的装置,其特征在于,还包括:
转换单元,用于基于去重后的有向无环节点网络进行所述多个应用程序对应的数据处理之后,将所述多个应用程序对应的数据转换为所述多个应用程序兼容的数据格式推送至所述多个应用程序。
14.如权利要求13所述的装置,其特征在于,还包括:
发送单元,用于将所述多个应用程序对应的数据转换为所述多个应用程序兼容的数据格式推送至所述多个应用程序之后,将生成所述多个应用程序对应的数据的数据流量发送至所述多个应用程序,所述数据流量包括:所述源数据流的数据大小及根据所述有向无环节点网络处理所述源数据流的各节点的计算量之和。
CN201610101343.6A 2016-02-24 2016-02-24 一种数据处理的方法及装置 Pending CN105721211A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610101343.6A CN105721211A (zh) 2016-02-24 2016-02-24 一种数据处理的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610101343.6A CN105721211A (zh) 2016-02-24 2016-02-24 一种数据处理的方法及装置

Publications (1)

Publication Number Publication Date
CN105721211A true CN105721211A (zh) 2016-06-29

Family

ID=56157006

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610101343.6A Pending CN105721211A (zh) 2016-02-24 2016-02-24 一种数据处理的方法及装置

Country Status (1)

Country Link
CN (1) CN105721211A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107391136A (zh) * 2017-07-21 2017-11-24 众安信息技术服务有限公司 一种基于流式的编程系统和方法
CN107609652A (zh) * 2017-08-30 2018-01-19 第四范式(北京)技术有限公司 执行机器学习的分布式系统及其方法
CN107679625A (zh) * 2017-08-30 2018-02-09 第四范式(北京)技术有限公司 针对数据记录执行机器学习的分布式系统及其方法
CN114387150A (zh) * 2020-10-20 2022-04-22 富泰华工业(深圳)有限公司 用于人工智能学习的处理方法及装置、设备及存储介质
CN115660615A (zh) * 2022-08-15 2023-01-31 江苏北辰知识产权事务所有限公司 项目自动辅助系统及可视化方法
CN114387150B (zh) * 2020-10-20 2024-10-22 富泰华工业(深圳)有限公司 用于人工智能学习的处理方法及装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101965566A (zh) * 2008-03-10 2011-02-02 微软公司 用于多用户传感器数据集的高效流共享
CN102137125A (zh) * 2010-01-26 2011-07-27 复旦大学 在分布式网络系统中处理跨任务数据的方法
US20120016852A1 (en) * 2010-07-19 2012-01-19 Quantum Corporation Collaborative, distributed, data de-duplication
CN102694982A (zh) * 2011-03-21 2012-09-26 新奥特(北京)视频技术有限公司 视频特效处理中流程图节点的环图处理方法
CN102821434A (zh) * 2012-07-24 2012-12-12 南京邮电大学 一种基于无线多媒体传感器网络的多路径路由方法
CN102902739A (zh) * 2012-09-13 2013-01-30 杭州电子科技大学 云计算环境下面向不确定数据源的工作流视图构造方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101965566A (zh) * 2008-03-10 2011-02-02 微软公司 用于多用户传感器数据集的高效流共享
CN102137125A (zh) * 2010-01-26 2011-07-27 复旦大学 在分布式网络系统中处理跨任务数据的方法
US20120016852A1 (en) * 2010-07-19 2012-01-19 Quantum Corporation Collaborative, distributed, data de-duplication
CN102694982A (zh) * 2011-03-21 2012-09-26 新奥特(北京)视频技术有限公司 视频特效处理中流程图节点的环图处理方法
CN102821434A (zh) * 2012-07-24 2012-12-12 南京邮电大学 一种基于无线多媒体传感器网络的多路径路由方法
CN102902739A (zh) * 2012-09-13 2013-01-30 杭州电子科技大学 云计算环境下面向不确定数据源的工作流视图构造方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107391136A (zh) * 2017-07-21 2017-11-24 众安信息技术服务有限公司 一种基于流式的编程系统和方法
CN107391136B (zh) * 2017-07-21 2020-11-06 众安信息技术服务有限公司 一种基于流式的编程系统和方法
CN107609652A (zh) * 2017-08-30 2018-01-19 第四范式(北京)技术有限公司 执行机器学习的分布式系统及其方法
CN107679625A (zh) * 2017-08-30 2018-02-09 第四范式(北京)技术有限公司 针对数据记录执行机器学习的分布式系统及其方法
CN114387150A (zh) * 2020-10-20 2022-04-22 富泰华工业(深圳)有限公司 用于人工智能学习的处理方法及装置、设备及存储介质
CN114387150B (zh) * 2020-10-20 2024-10-22 富泰华工业(深圳)有限公司 用于人工智能学习的处理方法及装置、设备及存储介质
CN115660615A (zh) * 2022-08-15 2023-01-31 江苏北辰知识产权事务所有限公司 项目自动辅助系统及可视化方法

Similar Documents

Publication Publication Date Title
CN105721211A (zh) 一种数据处理的方法及装置
CN108833161B (zh) 一种建立基于雾计算的智能合约微服务模型的方法
CN109993299A (zh) 数据训练方法及装置、存储介质、电子装置
CN107168749A (zh) 一种编译方法、装置、设备和计算机可读存储介质
CN107729564A (zh) 一种分布式的聚焦网络爬虫网页爬取方法及系统
CN108052340A (zh) 一种应用升级方法、装置
CN109614106A (zh) 一种c++程序编译方法和装置
CN111966597B (zh) 测试数据生成方法及装置
CN111224831B (zh) 用于生成话单的方法和系统
CN115511086B (zh) 一种针对超大模型的分布式推理部署系统
CN114301980A (zh) 容器集群的调度方法、装置、系统及计算机可读介质
CN111158800B (zh) 基于映射关系构建任务dag的方法及装置
CN108924577A (zh) 基于直播的节目制作播出系统及方法
CN110532267A (zh) 字段的确定方法、装置、存储介质及电子装置
CN106293651A (zh) 一种通用接口的实现方法及装置
CN106941530A (zh) 一种静态资源请求处理方法及装置
CN107743246A (zh) 任务处理方法、系统及数据处理系统
CN117009070A (zh) 算力调度知识图谱构建方法、装置、设备及可读存储介质
CN110012003A (zh) 一种云应用抓屏方法和装置
CN112988339B (zh) 一种数据管理方法及装置
CN110769037B (zh) 嵌入式边缘计算平台资源配置方法
CN113434143A (zh) iOS应用界面布局装置及方法
KR101638874B1 (ko) R과 프리겔에 기반한 분산 프레임워크 장치 및 방법
CN112612514B (zh) 程序开发方法和装置、存储介质及电子装置
CN112380205B (zh) 一种分布式架构的特征自动生成方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100092 Beijing Haidian District Yongtaizhuang North Road No. 1 Tiandi Adjacent to Block B, Building 1, Fengji Industrial Park

Applicant after: BEIJING DEEPGLINT INFORMATION TECHNOLOGY CO., LTD.

Address before: 100091 No. 6 Yudai Road, Haidian District, Beijing

Applicant before: BEIJING DEEPGLINT INFORMATION TECHNOLOGY CO., LTD.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160629