CN109064317A - 一种数据接收与转发方法、电子设备和可读存储介质 - Google Patents

一种数据接收与转发方法、电子设备和可读存储介质 Download PDF

Info

Publication number
CN109064317A
CN109064317A CN201810911237.3A CN201810911237A CN109064317A CN 109064317 A CN109064317 A CN 109064317A CN 201810911237 A CN201810911237 A CN 201810911237A CN 109064317 A CN109064317 A CN 109064317A
Authority
CN
China
Prior art keywords
data
associated data
information
list
instance objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810911237.3A
Other languages
English (en)
Other versions
CN109064317B (zh
Inventor
尹龙云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nine Fujinke Holding Group Co Ltd
Original Assignee
Nine Fujinke Holding Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nine Fujinke Holding Group Co Ltd filed Critical Nine Fujinke Holding Group Co Ltd
Priority to CN201810911237.3A priority Critical patent/CN109064317B/zh
Publication of CN109064317A publication Critical patent/CN109064317A/zh
Application granted granted Critical
Publication of CN109064317B publication Critical patent/CN109064317B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/03Credit; Loans; Processing thereof

Landscapes

  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Engineering & Computer Science (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本方案提供了一种数据接收与转发方法、电子设备和可读存储介质,其中,所述方法的步骤包括:获取数据信息;判断所述数据信息中包含的数据类型;若所述数据类型相同,则直接转发;若所述数据类型不同,则获取与所述数据信息相对应的预先构建的关联数据实例,将关联数据实例转发;其中,所述关联数据实例包括:所述数据信息及与之相关联的关联数据。本申请所述技术方案能在证不侵入原业务系统的基础上,大大的减少系统的资源占用和数据获取的延时,提高数据的接收和转发速度;在不存在耦合性的前提下,大大提高了业务扩展空间,实现了数据价值的再挖掘;由于采用关联数据实例直接对数据之间的逻辑关系进行表达,使业务更加清晰易于操作。

Description

一种数据接收与转发方法、电子设备和可读存储介质
技术领域
本申请涉及金融信息管理领域,尤其涉及一种数据接收与转发方法、电子设备和可读存储介质。
背景技术
在金融领域中,借贷业务越来越普遍并且趋于大众化,借贷信息的存储量也随之增大。当需要将一种或多种数据源进行整合交给下游业务的时候,比如一个公司初期开展小额现金借贷业务,后来又加入网购分期业务,现在又将要开展新的购车借贷业务。这时候,就可以将小额现金借贷业务数据和网购分期业务数据实时整合后服务于购车借贷业务,当新业务进来的时候,这些数据就可以及时为决策参考数据,比如,决策时需要了解新业务的业务指标情况。而,一个用户在A地区办理了借贷业务,针对该条业务,产生的金额交易数据、地区、时间和拒绝次数等数据是分散在不同的数据源(表)中的,为了更好更快地实时反馈业务情况,就需要将不同的数据源的数据实时整合,从而做出一个包含地区、时间、通过率和拒绝率数据的实时显示的业务数据大屏。
因为数据来自于不同的地方,就存在时间差,也就必然带来时间上的延迟,这对一个实时系统来讲是不够友好,甚至致命的。现有技术中为了解决这个问题,采用重新设计原有的系统,让多条数据归为一条存储,这在一定程度上可以解决时间延迟问题,但是这样就存在一个对原有系统侵入开发的问题,不仅仅工作量大,而且容易带来新的问题,再有就是强行将数据归一,数据就会变得杂乱无序,缺乏逻辑性,对数据的挖掘和扩展都是致命的障碍。也可以采用定时轮询去主动拉取数据,但是,这样就会对原有的数据系统带来额外的性能开销,甚至影响原有的业务正常开展,本质上来讲也就侵入了原有系统,这样的定时轮询拉取数据,就会存在多次获取才能获取完整数据,只有最后一次才是有效操作,前面的操作其实就是浪费。这样,即使所依赖的数据都已经到位了,由于还得等下一次轮询,所以存在时间上的延迟。
发明内容
为解决上述问题之一,本申请提供了一种数据接收与转发方法、电子设备和可读存储介质。
根据本申请实施例的第一个方面,提供了一种数据接收与转发方法,该方法的步骤包括:
获取数据信息;
判断所述数据信息中包含的数据类型;若所述数据类型相同,则直接转发;若所述数据类型不同,则获取与所述数据信息相对应的预先构建的关联数据实例,将关联数据实例转发;其中,所述关联数据实例包括:所述数据信息及与之相关联的关联数据。
根据本申请实施例的第二个方面,还提供了一种电子设备,所述电子设备包括:存储器,一个或多个处理器;存储器与处理器通过通信总线相连;处理器被配置为执行存储器中的指令;所述存储介质中存储有用于执行如上所述方法中各个步骤的指令。
根据本申请实施例的第三个方面,还提供了一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如上所述方法的步骤。
本发明的有益效果如下:
本申请所述技术方案能在证不侵入原业务系统的基础上,大大的减少系统的资源占用和数据获取的延时,提高数据的接收和转发速度;在不存在耦合性的前提下,大大提高了业务扩展空间,实现了数据价值的再挖掘;由于采用关联数据实例直接对数据之间的逻辑关系进行表达,使业务更加清晰易于操作。
本申请所述技术方案能够实时解析、整合不同源不同统计维度的数据,并在转发的时候对数据进行清洗,使得下游拿到的数据直接可以使用,传输时间、降低占用传输空间。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1示出本方案所述数据接收与转发的流程图;
图2示出本方案所述链表结构的关联数据实例的示意图;
图3示出本方案所述图结构的关联数据实例的示意图;
图4示出本方案所述树结构的关联数据实例的示意图;
图5示出本方案所述星型结构的关联数据实例的示意图;
图6示出本方案所述复合结构的关联数据实例的示意图。
具体实施方式
为了使本申请的技术方案及优点更加清楚明白,以下结合附图对本申请的示例性实施例进行进一步详细的说明,显然,所描述的实施例仅是本申请的一部分实施例,而不是所有实施例的穷举。并且在不冲突的情况下,本说明中的实施例及实施例中的特征可以互相结合。
本方案的核心思路是接收不同数据源的或不同数据类型的数据信息时,直接获取与所述数据信息相对应的关联数据转发给下游系统,从而提高数据转发的及时性。
如图1所示,一种数据接收与转发方法,该方法的步骤包括:获取数据信息;判断所述数据信息中包含的数据类型;若所述数据类型相同,则直接转发;若所述数据类型不同,则获取与所述数据信息相对应的预先构建的关联数据实例,将关联数据实例转发;其中,所述关联数据实例包括:所述数据信息及与之相关联的关联数据。优选地,预先构建的关联数据实例的构建方式采用链表结构、图结构、树结构、星型结构或复合结构。
本方案中,对于数据的获取可以为:解析数据信息日志文件的方式、解析数据库日志文件的方式、利用数据传输接口的方式或利用数据推送的方式。具体的可以根据系统配置和用户需要进行预先配置或设定。
本方案中,若数据信息中的所有数据类型相同,则直接将数据信息转发给业务系统。转发的方式可以为:利用数据传输接口的方式或数据推送的方式。
本方案中,若所述数据类型不同,则确定与所述数据信息相对应的预先构建的关联数据实例是否到齐,获取与所述数据信息相对应的预先构建的关联数据实例,将关联数据实例转发。本方案中,对于与所述数据信息相对应的预先构建的关联数据实例是否到齐,给出了两种判断方式:
第一种是不同类型的关联数据不在同一时刻到达,则:
创建一个关联数据实例对象,并在关联数据实例对象中为所述关联数据实例中的每个关联数据构建一个节点;将首个到达的关联数据加入到一个对应的预先构建的数据列表中;在关联数据实例对象中将已到达的关联数据对应的节点标识为存在,其它节点都标识为未到达;直至所述关联数据实例对象中的全部节点都标识为存在,则确定所述关联数据实例到齐。
第二种是不同类型的关联数据在同一时刻到达,则:
为所述数据信息中包含的每个数据类型创建一个对应的数据列表;当不同类型的数据同时到达时,分别按照数据的类型加入对应类型的数据列表中;将首次扫描的各个数据列表中符合关联关系的数据取出,构建关联数据实例对象,并在关联数据实例对象中为所述关联数据实例中的每个关联数据构建一个节点;按照预定间隔继续扫描各个数据列表,将各个数据列表中符合关联关系的数据取出,在关联数据实例对象中将已到达的关联数据对应的节点标识为存在,其它节点都标识为未到达;每次扫描各个数据列表取出符合关联关系的数据时,对于已经成功构建实例对象的数据即可删除。直至所述关联数据实例对象中的全部节点都标识为存在,则确定所述关联数据实例到齐。
本方案中,为了满足业务需求,精简转发的数据,在所述将关联数据实例转发的步骤之前包括:去除所述关联数据实例中的多余项,获得满足业务需求的关联数据实例;从而剔除无用信息,节省宽带资源。此外,本方案中,为了去除冗余数据,尽快释放存储空间,在所述将关联数据实例转发的步骤之后包括:删除创建的关联数据实例对象和预先构建的数据列表中的已转发完毕的关联数据;从而在转发时,删除无用的数据,腾出存储空间以备后续操作使用。
本方案还公开了一种电子设备,所述电子设备包括:存储器,一个或多个处理器;存储器与处理器通过通信总线相连;处理器被配置为执行存储器中的指令;所述存储介质中存储有用于执行如上所述方法中各个步骤的指令。
本方案还公开了一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如上所述方法的步骤。
下面通过实例对本方案作进一步说明。
本实例中提供了一种数据接收与转发方法,实时解析、整合不同源不同统计维度的数据,并在转发的时候对数据进行清洗,使得下游拿到的数据直接可以使用,传输时间、降低占用传输空间。
如图1所示,首先,接收来自不同数据源的多种类型数据,对于接收源数据的方式可以采用实时解析日志的方式获取数据,这样对原系统就不存在侵入;还可以使用实时解析mysql数据库日志而获得数据;还可以采用基于超文本传输协议http或远程过程调用协议rpc等协议,以数据传输接口的形式接收数据;还可以接收第三方组件如kafka的推送数据。
接收到数据后需要根据业务需求判断接收到的数据信息是否为同一类数据,当接收到的数据信息为同一类的数据时,就直接执行转发步骤,将该数据信息及时的转发给业务系统。当判断接收到的数据信息为不同类的数据时,寻找一个与所述数据信息相对应的关联数据实例,在确定该关联数据实例的到齐的情况下,获取与所述数据信息相对应的关联数据实例,执行转发步骤,将与所述数据信息相对应的关联数据实例转发给业务系统。其中,本实例中转发的方式可以采用基于超文本传输协议http或远程过程调用协议rpc等协议,以数据传输接口的形式转发给业务系统;也可以写入其他服务中,例如写入分布式消息系统kafka中,再由下游的业务系统从分布式消息系统kafka中获取。
本实例中,所述关联数据实例包含多个关联数据,为了确定关联数据实例中的多个关联数据是否都到齐,需要为每个关联数据构成一个节点,在所述关联数据实例中的所有节点的数据都到齐时,也就是所述关联数据实例的所有节点都不为空时,就可以将所述关联数据实例通过转发步骤转发给业务系统了。具体的,根据下面两种方式步骤判断所述关联数据实例中的所有节点的数据是否到齐:
第一种方式是:任一关联数据到达时,则:
a:无论哪类数据先到,都首先依据所述关联数据实例在内存里创建一个关联数据实例对象,并在关联数据实例对象中将已到达的数据相对的节点标识为存在,其它未到达的数据相对应的节点都初始化为未到状态;同时,将首个到达的关联数据加入到一个对应的数据列表中;
b:如果下一个关联数据到了,就把关联数据实例对象中与该关联数据相对应的节点修改为存在状态,并判断是否所有的关联数据都到齐;除了首个到达的关联数据之外,其它关联数据无需加入到数据列表中;这里需要说明的是:关联数据实例的每个节点就是对应的数据a类型,数据b类型的具体数据,除了首个到达的关联数据之外的其它关联数据如果是加入已经存在的关联数据实例对象,则无需再加入列表了。转发的时候,直接依据首先接收到的关联数据和关联数据实例对象所对应的数据,就可以将全部关联数据转发出去。
此后,重复步骤b,直到最后一个关联数据到达时,把关联数据实例对象中与最后一个到达的关联数据相对应的节点修改为存在状态,检测到所有的节点均为存在状态,则确定所述关联数据实例到齐。
第二种方式是:不同类型的据到同时到达时,则:
需要根据数据信息中包含的数据类型,为所述数据信息中包含的每个数据类型创建一个对应的数据列表;当不同类型的数据同时到达时,分别按照数据的类型加入对应类型的数据列表中;将首次扫描的各个数据列表中符合关联关系的数据取出,构建关联数据实例对象,并在关联数据实例对象中为所述关联数据实例中的每个关联数据构建一个节点;按照预定间隔继续扫描各个数据列表,将各个数据列表中符合关联关系的数据取出,在关联数据实例对象中将已到达的关联数据对应的节点标识为存在,其它节点都标识为未到达;每次扫描各个数据列表取出符合关联关系的数据时,将各个数据列表中的其它数据删除;直至所述关联数据实例对象中的全部节点都标识为存在,则确定所述关联数据实例到齐。
本实例中的第二种方式是针对有可能出现不同类型数据同时达到,若按照第一种方式创建关联数据实例对象,则可能出现不同类型数据分别创建了自己的实例的情况,尤其在多线程的场景中,这样就出现了数据错乱的情况,即,各类之间没有任何关联,都在等对方的到来的游离状态的情况。因此,需要采用第二种方式构建关联数据实例,比如每5秒钟扫描一次各类数据的列表,把符合关联关系的数据从列表中取出重构关联数据实例对象,同时删除列表中的无效数据,以及“脑裂”造成的无效实例对象,具体操作示例如下:假如存在a类数据和b类数据,数据a中有id,有地点,有电话等信息,而b类数据中有电话,地点,姓名等信息,首先获取到a数据列表的第一条数据,从中拿到电话信息。再据该电话到b数据列表中查询数据,如此从a数据列表取到的第一条数据和从b数据列表中根据电话查询到的数据就可以重构关联数据实例对象,构建好实例对象之后就可以删除上述两条数据。循环重复上面的步骤即可完成所有数据的实例构建。
本实例中,可以根据下游业务系统对数据的需求,对关联数据实例进行处理。具体的,将已到齐的关联数据实例按照定义的业务需求,去除关联数据实例中不需要的数据,并将满足要求的关联数据实例转发给下游的业务系统,同时删除所述关联数据实例对象,并且删除数据列表中与之对应的数据。其中,将已到齐的关联数据实例按照定义的业务需求,去除关联数据实例中不需要的数据就是对关联数据实例的进一步清洗,比如数据a中有id,有地点,有电话等信息,而下游只需要id和电话信息,那么就可以按照下游业务的需求定义剔除地点信息,而保留其它信息,从而节省带宽资源。
本实例中,所述关联数据实例可以根据业务需求预先构建,在构建关联数据实例阶段,可根据实际的业务结合数据找到反映各类数据之间的关联关系的关系图结构,这些关系图结构均可以转化成如下的几种结构:链表结构、图结构、树结构、星型结构,以及复合结构。下面对每种结构的构建进行详细描述:
1、链表结构
若实际的业务数据之间具有依次关联的关系时,则可以如图2所示,创建相应的链表结构的关联数据实例,比如,数据b中有用户id和身份证号码,数据a中有用户id,数据c中有用户身份证号码,那么数据a和数据b就可以通过用户id关联,数据b和数据c就可以通过用户身份证号码关联。此时,数据a、数据b和数据c依次关联,形成了链表结构,当实际的业务数据之间的关联关系构成了链表结构时,就可以依据该链表结构创建相应的链表结构的关联数据实例。
如图2所示,数据a、数据b和数据c分别表示关联实例的节点,数据a、数据b和数据c之间的连线代表数据之间的关联关系。数据a、数据b和数据c分别代表不同类型的数据。在执行关联数据实例是否到齐的步骤中,接收到数据a、数据b或数据c中的一个数据时,就依据上述的关联实例创建一个关联实例对象,该关联实例对象包含这三个节点,构建实例的过程就是根据到来的数据不断填充每个节点,直到该实例对象中的所有节点都不为空之后,即三个节点上的数据a、数据b和数据c都接收到时,即可将该组关联数据a、数据b和数据c发送给下游的业务系统。优选地,在实际业务情况中,链表结构可能只有两种类型的数据,也可能有更多类型的数据。需要注意的是:如图2所示,数据a与数据b、数据b与数据c之间的箭头表示数据a、数据b和数据c之间关联关系,以数据a和数据b之间的双向箭头为例,其表示可以从数据a找到数据b,逆向也成立,也就是说当先接收到数据a时,就依据数据a构建好关联实例对象,当接收到数据b的时候,即可将其加入依据数据a构建好的关联实例对象中,将数据b标注为已接收,反之也可以,即,当先接收到数据b时,先依据数据b构建好关联实例对象,接收到数据a的时候,即可将其加入依据数据b构建好的关联实例对象中,将数据a标注为已接收。
2、图结构
若实际的业务数据的各数据之间具有相互关联的关系时,则可以如图3所示,创建相应的图结构的关联数据实例。实际业务情况中,可能因为数据类型的增多,图结构也可能变为包含多个最小单元的图结构的复杂图结构,图3所示的即为最小单元的图结构。比如数据a中有用户id和借款id,数据b中有借款id和身份证号码,数据c中有用户id和身份证号码,那么数据a和数据b就可以通过借款id关联,数据b和c就可以通过身份证号码关联,数据a和数据c就可以用户id关联,如此,数据a,数据b,数据c就构成了图结构。
3、树结构
若实际的业务数据之间具有树状关联关系时,则可以如图4所示,创建相应的树结构的关联数据实例。实际业务情况中,可能因为数据类型数量的变化,树结构也会变得更简单或复杂。例如,当数据b数据d先到的时候,那么就会创建了多个实例,当数据a和c到达之后,就需要动态合并这个多个实例。比如数据a中有用户id和借款id,数据b中有借款id,数据c中有用户id、身份证号码和电话,数据d中有身份证号码,数据e中有电话,那么数据a和数据b就可以通过借款id关联,数据a和c就可以通过借款id关联,数据c和数据d就可以通过身份证号码关联,数据c和数据e就可以通过电话号码关联,如此,数据a,数据b,数据c,数据d,数据d就构成了树结构。
4、星型结构
若实际的业务数据之间具有星状关联关系时,则可以如图5所示,创建相应的星形结构的关联数据实例。实际业务情况,可能因为数据类型数量的变化,星形结构也会变得更简单或复杂。例如,当数据e到达之后,如果其它数据已经构建好实例了,就需要动态合并这个多个实例。比如数据e中有用户id、借款id、身份证号码以及电话号码等信息,数据a中有用户id,数据b中有借款id,数据c中有身份证号码,数据d中有电话号码,那么数据e可以分别使用用户id、借款id、身份证号码以及电话号码和数据a、数据b、数据c、数据d进行关联,如此,数据e,数据a,数据b,数据c,数据d就构成了星型结构。
5、复合结构
若实际的业务数据之间的关联关系是由几个简单关联结构构成时,则可以如图6所示,创建相应的复合结构的关联数据实例。复合结构通常是几个简单结构构成;其中,简单结构可以为链表结构、图结构、树结构、星型结构或其它基础结构。比如,在应用复合结构的实际的业务中,也需要注意去动态合并实例。比如数据e中有用户id、借款id、身份证号码以及电话号码等信息,数据a中有用户id,数据b中有借款id,数据c中有身份证号码,数据d中有电话号码、信用分唯一标识和芝麻分唯一标识,数据f中有信用分唯一标识,数据g中有芝麻分唯一标识,那么数据e可以分别使用用户id、借款id、身份证号码以及电话号码和数据a、数据b、数据c、数据d进行关联,数据d可以分别使用信用分唯一标识和芝麻分唯一标识与数据f和数据g关联,如此,数据e,数据a,数据b,数据c,数据d,数据f,数据g就构成了复合结构。可以看出在这个复合结构中,是由一个星型结构和一个树形结构组成的,数据e,数据a,数据b,数据c,数据d构成了星型结构,数据d,数据f,数据g又构成了一个树结构,而总体就构成了一个复合结构。
本实例中,提供一组对比例,进一步对本发明与现有技术的区别进行说明。对比例中采用比较轮询方法作为比较对象。具体的,若采用轮询方法获取关联数据时时,如果,当前的数据源包括第一数据源和第二数据源,第一数据源中有用户的信用信息,包含用户id,信用分数,第二数据源中有用户的还款信息,包用户id,含逾期金额,逾期时间,现在部门需要基于开展用户信用信息和还款信息的实时监控和统计业务,就需要同时从第一数据源和第二数据源中获取用户的信用信息和还款信息。此时,采用轮询的方式就需要每间隔一段时间就去拉取一次数据,比如间隔时间为5秒钟,举例来讲,针对用户M,对应的信用信息为数据M1,还款信息为数据M2,现在时间是01:01:01,即使此时数据M1和数据M2已经到达,也需要再等待5秒钟的时间,也就是时间为01:01:06时才能获取,即数据转发时间为最后一个数据到达的时间加上一个轮询周期所需要的时间,也就延迟了5秒钟的时间。这种方法对于实时监控是不够友好的,假如数据M1和数据M2中,只有其中一个数据到达,那么就存在多次轮询,每次的轮询都要对每个数据源进行一次访问,也就是说系统做了很多无意义的工作,只有最后一次能获取到全部数据的轮询才有实际价值,而且是主动读取其它业务系统的数据源,会对对方的系统造成额外压力。而采用申请所述方法,获取数据的时候就可以直接通过监控对方的日志,不对对方的系统造成额外压力,假如,数据M1已经到达,当数据M2来到的时候,就可以判断接收的数据已经完整,就可以直接转发数据M1和数据M2,没有其它的延时操作,即数据转发时间为最后一个数据M2到达的时间,从而解决了数据的延时问题。因此,通过本方案所述的数据接收与转发方法可以大大的减少系统的资源占用和数据获取的延时。
综上所述,本申请所述技术方案针对的数据源可以可以多样化,比如使用来自mysql和kafka等的数据均可以,还可以接收日志等多种形式的数据,再对这些数据做不同维度的ip监控,对原系统不存在侵入开发,也就没有额外的工作。本申请所述技术方案可以实时解析、整合不同源不通统计维度的数据,比如地区维度、时间维度,在转发的时候可以对数据进行清洗,使得下游拿到的数据直接可以使用,比如转发的关联实例对象中包含时间,地点等信息。下游系统需要json格式需要排除地点的数据时,在此也可以直接处理。本申请所述技术方案由于不侵入原业务系统,不存在耦合性,大大提高了业务扩展空间,实现了数据价值的再挖掘;并且通过引入关联数据实例能够直接表达数据之间的逻辑关系,使业务更加清晰明了。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上仅为本发明的实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均包含在申请待批的本发明的权利要求范围之内。

Claims (10)

1.一种数据接收与转发方法,其特征在于,该方法的步骤包括:
获取数据信息;
判断所述数据信息中包含的数据类型;若所述数据类型相同,则直接转发;若所述数据类型不同,则获取与所述数据信息相对应的预先构建的关联数据实例,将关联数据实例转发;其中,所述关联数据实例包括:所述数据信息及与之相关联的关联数据。
2.根据权利要求1所述的数据接收与转发方法,其特征在于,所述获取数据信息的获取方式为:解析数据信息日志文件的方式、解析数据库日志文件的方式、利用数据传输接口的方式或利用数据推送的方式;和/或,
所述转发的方式为:利用数据传输接口的方式或数据推送的方式。
3.根据权利要求1或2所述的数据接收与转发方法,其特征在于,所述获取与所述数据信息相对应的关联数据实例的步骤之前包括:确定所述关联数据实例是否到齐。
4.根据权利要求3所述的数据接收与转发方法,其特征在于,所述确定所述关联数据实例是否到齐的步骤包括:
创建一个关联数据实例对象,并在关联数据实例对象中为所述关联数据实例中的每个关联数据构建一个节点;
将首个到达的关联数据加入到一个对应的预先构建的数据列表中;
在关联数据实例对象中将已到达的关联数据对应的节点标识为存在,其它节点都标识为未到达;
直至所述关联数据实例对象中的全部节点都标识为存在,则确定所述关联数据实例到齐。
5.根据权利要求3所述的获取方法,其特征在于,所述确定所述关联数据实例是否到齐的步骤包括:
为所述数据信息中包含的每个数据类型创建一个对应的数据列表;
当不同类型的数据同时到达时,分别按照数据的类型加入对应类型的数据列表中;
将首次扫描的各个数据列表中符合关联关系的数据取出,构建关联数据实例对象,并在关联数据实例对象中为所述关联数据实例中的每个关联数据构建一个节点;
按照预定间隔继续扫描各个数据列表,将各个数据列表中符合关联关系的数据取出,在关联数据实例对象中将已到达的关联数据对应的节点标识为存在,其它节点都标识为未到达;
直至所述关联数据实例对象中的全部节点都标识为存在,则确定所述关联数据实例到齐。
6.根据权利要求5所述的数据接收与转发方法,其特征在于,每次扫描各个数据列表取出符合关联关系的数据时,对于已经成功构建实例对象的数据即可删除。
7.根据权利要求4或5所述的数据接收与转发方法,其特征在于,所述将关联数据实例转发的步骤之前包括:去除所述关联数据实例中的多余项,获得满足业务需求的关联数据实例;和/或,
所述将关联数据实例转发的步骤之后包括:删除创建的关联数据实例对象和预先构建的数据列表中的已转发完毕的关联数据。
8.根据权利要求1所述的获取方法,其特征在于,所述关联数据实例的构建方式采用链表结构、图结构、树结构、星型结构或复合结构。
9.一种电子设备,所述电子设备包括:存储器,一个或多个处理器;存储器与处理器通过通信总线相连;处理器被配置为执行存储器中的指令;所述存储介质中存储有用于执行如权利要求1至8任一项所述方法中各个步骤的指令。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至8任一项所述方法的步骤。
CN201810911237.3A 2018-08-10 2018-08-10 一种数据接收与转发方法、电子设备和可读存储介质 Active CN109064317B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810911237.3A CN109064317B (zh) 2018-08-10 2018-08-10 一种数据接收与转发方法、电子设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810911237.3A CN109064317B (zh) 2018-08-10 2018-08-10 一种数据接收与转发方法、电子设备和可读存储介质

Publications (2)

Publication Number Publication Date
CN109064317A true CN109064317A (zh) 2018-12-21
CN109064317B CN109064317B (zh) 2021-04-02

Family

ID=64683537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810911237.3A Active CN109064317B (zh) 2018-08-10 2018-08-10 一种数据接收与转发方法、电子设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN109064317B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114500368A (zh) * 2022-04-07 2022-05-13 成都网讯优速信息技术有限公司 数据传输方法和装置及采用该装置的路由器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104239572A (zh) * 2014-09-30 2014-12-24 普元信息技术股份有限公司 基于分布式缓存实现元数据分析的系统及方法
CN104361124A (zh) * 2014-12-03 2015-02-18 北京和利时系统工程有限公司 存储数据的方法和装置以及检索存储节点的方法和装置
CN105930502A (zh) * 2012-10-22 2016-09-07 北京奇虎科技有限公司 一种收集数据的系统、客户端和方法
CN106209420A (zh) * 2016-06-27 2016-12-07 瑞斯康达科技发展股份有限公司 一种定位数据转发业务故障的方法及电子设备
US20170083353A1 (en) * 2015-09-21 2017-03-23 International Business Machines Corporation Late binding composite service specification for business process execution language

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105930502A (zh) * 2012-10-22 2016-09-07 北京奇虎科技有限公司 一种收集数据的系统、客户端和方法
CN104239572A (zh) * 2014-09-30 2014-12-24 普元信息技术股份有限公司 基于分布式缓存实现元数据分析的系统及方法
CN104361124A (zh) * 2014-12-03 2015-02-18 北京和利时系统工程有限公司 存储数据的方法和装置以及检索存储节点的方法和装置
US20170083353A1 (en) * 2015-09-21 2017-03-23 International Business Machines Corporation Late binding composite service specification for business process execution language
CN106209420A (zh) * 2016-06-27 2016-12-07 瑞斯康达科技发展股份有限公司 一种定位数据转发业务故障的方法及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114500368A (zh) * 2022-04-07 2022-05-13 成都网讯优速信息技术有限公司 数据传输方法和装置及采用该装置的路由器
CN114500368B (zh) * 2022-04-07 2022-06-17 成都网讯优速信息技术有限公司 数据传输方法和装置及采用该装置的路由器

Also Published As

Publication number Publication date
CN109064317B (zh) 2021-04-02

Similar Documents

Publication Publication Date Title
US8214433B2 (en) System and method to provide context for an automated agent to service multiple avatars within a virtual universe
CN111860864A (zh) 纵向联邦建模优化方法、设备及可读存储介质
CN109286685A (zh) 可拓展子链的主链加并行多子链的系统架构
CN109471744A (zh) 基于区块链的主链加并行多子链系统架构
CN105337923B (zh) 数据分发方法和系统及数据发送装置和数据接收装置
US20090150556A1 (en) Memory to storage communication for hybrid systems
CN108897854A (zh) 一种超时任务的监控方法和装置
CN110297944A (zh) 分布式xml数据处理方法及系统
CN111597033A (zh) 一种任务调度方法和装置
CN109634764A (zh) 工作流控制方法、装置、设备、存储介质和系统
US9407546B2 (en) Routing a message using a routing table in a dynamic service mesh
CN111210340A (zh) 一种自动任务处理方法、装置、服务器及存储介质
CN109064317A (zh) 一种数据接收与转发方法、电子设备和可读存储介质
CN112988738B (zh) 用于区块链的数据分片方法和装置
CN115865333A (zh) 量子纠缠建立方法、装置及电子设备
CN116319810A (zh) 分布式系统的流量控制方法、装置、设备、介质及产品
CN111190963A (zh) 一种区块链应用后端系统
CN115099972A (zh) 基于事件驱动架构的交易数据处理方法、装置及设备
CN114579311A (zh) 执行分布式计算任务的方法、装置、设备以及存储介质
CN110727419A (zh) 一种监测系统
CN106776947A (zh) 资源获取方法、装置及终端
CN113608859B (zh) 节点任务的执行方法、装置及存储介质
CN110018908A (zh) 一种进程间通信方法、电子设备及可读存储介质
US10999350B2 (en) Supercomputer system, method of data transmission in such supercomputer system and associated computer program product
US11500703B1 (en) Processing concurrent message sequences

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant