CN113067883B - 数据传输方法、装置、计算机设备及存储介质 - Google Patents

数据传输方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN113067883B
CN113067883B CN202110349232.8A CN202110349232A CN113067883B CN 113067883 B CN113067883 B CN 113067883B CN 202110349232 A CN202110349232 A CN 202110349232A CN 113067883 B CN113067883 B CN 113067883B
Authority
CN
China
Prior art keywords
target
configuration information
data
identification information
transmitted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110349232.8A
Other languages
English (en)
Other versions
CN113067883A (zh
Inventor
王潜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CCB Finetech Co Ltd
Original Assignee
CCB Finetech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CCB Finetech Co Ltd filed Critical CCB Finetech Co Ltd
Priority to CN202110349232.8A priority Critical patent/CN113067883B/zh
Publication of CN113067883A publication Critical patent/CN113067883A/zh
Application granted granted Critical
Publication of CN113067883B publication Critical patent/CN113067883B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/146—Markers for unambiguous identification of a particular session, e.g. session cookie or URL-encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computer And Data Communications (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明实施例公开了一种数据传输方法、装置、计算机设备及存储介质。本发明实施例涉及大数据领域，所述方法包括：获取待传输数据，查询匹配的目标配置信息；根据转发配置文件对所述匹配的目标配置信息进行解析，获取至少一个目标地址；将所述待传输数据分别发送到各所述目标地址中。本发明实施例可以提高数据传输效率。

Description

数据传输方法、装置、计算机设备及存储介质
技术领域
本发明实施例涉及大数据领域，尤其涉及一种数据传输方法、装置、计算机设备及存储介质。
背景技术
Apache Flume是一个分布式、高可用、高可靠的系统，可以有效地从许多不同的源收集、聚合和移动海量日志数据到集中式数据存储。
目前，在Flume系统中，同一个Source组件只能使用一种选择器类型。其中，分发选择器会根据相应的原则，将不同的事件发往不同的通道。复制选择会将事件发送到全部通道中。Flume系统本身无法同时实现两个选择器。只能重复多次传输同一数据，才能分发至多个且不是全部集群中。
上述方式，数据传输效率低。
发明内容
本发明实施例提供一种数据传输方法、装置、计算机设备及存储介质，可以提高数据传输效率。
第一方面，本发明实施例提供了一种数据传输方法，包括：
获取待传输数据，查询匹配的目标配置信息；
根据转发配置文件对所述匹配的目标配置信息进行解析，获取至少一个目标地址；
将所述待传输数据分别发送到各所述目标地址中。
第二方面，本发明实施例还提供了一种数据传输装置，包括：
配置信息查询模块，用于获取待传输数据，查询匹配的目标配置信息；
配置信息解析模块，用于根据转发配置文件对所述匹配的目标配置信息进行解析，获取至少一个目标地址；
数据传输模块，用于将所述待传输数据分别发送到各所述目标地址中。
第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序所述处理器执行所述程序时实现如本发明实施例中任一所述的数据传输方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的数据传输方法。
本发明实施例通过查询到待传输数据匹配的目标配置信息，并根据转发配置文件对目标配置信息进行解析，得到至少一个目标地址，将待传输数据分别发送到目标地址中，解决了现有技术中Flume系统只能将待传输数据发送到一个指定目标地址，或只能发送全部目标地址，导致数据传输效率低的问题，可以同时向多个地址发送待传输数据，可以提高数据传输效率。
附图说明
图1是本发明实施例一中的一种数据传输方法的流程图；
图2a是本发明实施例二中的一种数据传输方法的流程图；
图2b是本发明实施例二中的一种Flume系统结构的示意图；
图2c是本发明实施例二中的一种现有数据传输方法的流程图；
图2d是本发明实施例二中的一种数据传输方法的流程图；
图3是本发明实施例三中的一种数据传输装置的结构示意图；
图4是本发明实施例四中的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一中的一种数据传输方法的流程图的示意图，本实施例可适用于在Flume系统中同时进行多个通道传输数据的情况，该方法可以由本发明实施例提供的数据传输装置来执行，该装置可采用软件和/或硬件的方式实现，并一般可集成计算机设备中。如图1所示，本实施例的方法具体包括：
S110，获取待传输数据，查询匹配的目标配置信息。
待传输数据可以是指从源端收集并集中存储的数据。示例性的，源端可以是指进程、应用、设备或系统等，待传输数据可以包括日志数据、网络流量数据、社交媒体数据或电子邮件消息等。目标配置信息用于确定待传输数据的传输路径和传输目的地址等。目标配置信息可以包括待传输数据的源端标识信息与目的端之间的对应关系。实际上，待传输数据可以是从源端采集并存储到集群中的数据。
可选的，所述目标配置信息包括至少一个目标地址指向的集群的集群标识信息，所述目标配置信息通过各所述集群标识信息通过分隔符拼接形成。
目标地址与集群对应，目标地址指向集群，集群用于存储待传输数据。目标配置信息包括至少一个集群标识信息，以将待传输数据发送至对应的至少一个集群中进行存储。分隔符用于区分不同的集群标识信息，示例性的，相邻分隔符之间的字符表示一个集群标识信息，同时，首个分隔符之前的字符表示一个集群标识信息，末尾分隔符之后的字符表示一个集群标识信息。示例性的，集群标识信息，可以采用数字序号表示，如k＝1、2、3……。各集群标识信息通过分隔符拼接形成可以是指，将多个集群标识信息顺序排列，并在相邻两个集群标识信息之间添加分隔符，形成目标配置信息。
通过配置目标配置信息包括至少一个集群标识信息，以确定目标地址，可以灵活调整数据传输的地址的数量，提高数据传输的灵活性，同时配置分隔符区分不同的集群标识信息，可以提高集群标识信息的确定准确率。
可选的，所述分隔符包括预设数字或下划线。
预设数字为0，下划线为“_”。其中，在分隔符为0的情况下，不能采用0作为集群标识信息。此外，分隔符还可以采用其他具有标识作用的字符。通过配置分隔符，可以准确区分集群标识信息，可以提高集群标识信息的确定准确率。
可选的，所述查询匹配的目标配置信息，包括：从所述待传输数据中提取中源标识信息；在数据库中查询与所述源标识信息匹配的目标配置信息。
源标识信息用于确定目标配置信息。源标识信息可以是指源端的信息，即发送待传输数据的发送方的标识信息。待传输数据可以是报文，报文包括源标识信息。示例性的，源标识信息为主机名称。实际上，源端发送的待传输数据需要向哪些集群发送是预先配置的。数据库用于确定待传输数据匹配的目标配置信息，可以是指存储有源标识信息与目标配置信息之间的对应关系的数据库。
通过预先配置待传输数据的源标识信息与目标配置信息之间的对应关系，并存储到数据库中，从而可以根据待传输数据携带的源标识信息，快速准确查询到匹配的目标配置信息，从而，准确将待传输数据发送到预先指定的集群中，提高待传输数据的传输准确率，并且，仅通过查询即可得到匹配的目标配置信息，可以提高传输效率。
S120，根据转发配置文件对所述匹配的目标配置信息进行解析，获取至少一个目标地址。
转发配置文件用于对目标配置信息进行解析，得到数据转发进程可识别的数据。目标地址用于指向目的端。目标地址为数据转发进程可识别的数据。将目标地址提供给数据转发进程，数据转发进程可以根据多个目标地址，分别将数据发送给指向的集群中。
可选的，所述转发配置文件包括：目标配置信息与目标地址集合之间的对应关系，所述目标配置信息包括集群标识信息与对应的目标地址集合包括的目标地址匹配，所述目标配置信息包括至少一个集群标识信息，所述目标地址集合包括至少一个目标地址。
转发配置文件包括目标配置信息，目标地址的信息，以及目标配置信息与目标地址的对应关系。一个集群标识信息与一个目标地址对应。目标配置信息包括至少一个集群标识信息，目标配置信息中每个集群标识信息对应一个目标地址，将多个对应的目标地址形成的集合，确定为目标地址集合。目标配置信息对应的目标地址集合，所包括的目标地址分别与目标配置信息中的集群标识信息对应。
通过配置转发配置文件包括目标配置信息与目标地址的对应关系，可以准确建立目标配置信息与多个目标地址之间的对应关系，从而调整数据传输的地址的数量，提高数据传输的灵活性，同时配置分对应关系，可以提高集群标识信息的确定准确率。
S130，将所述待传输数据分别发送到各所述目标地址中。
将待传输数据发送到至少一个目标地址中，可以选择性将待传输数据发送到部分目标地址中。
可选的，所述数据传输方法，还包括：在接收到数据传输配置编辑请求的情况下，根据所述数据传输配置编辑请求对所述目标配置信息和所述转发配置文件进行编辑，以根据新的目标配置信息和新的转发配置文件发送所述待传输数据。
数据传输配置编辑请求用于对待传输数据的目的端进行编辑，即编辑发送待传输数据的目的地址。编辑操作包括新增、删除和编辑等。可以通过对目标配置信息和转发配置文件进行编辑，达到编辑待传输数据的至少一个目的地址的目的。其中，对目标配置信息进行编辑，实际是对数据库中源标识信息与目标配置信息之间的对应关系进行编辑。对转发配置文件进行编辑，实际是对目标配置信息与目标地址的对应关系或目标配置信息与目标地址集合的对应关系进行编辑。编辑之后，可以得到新的目标配置信息和新的转发配置文件，从而，据此可以确定待传输数据对应的新的至少一个目标地址，从而向新的集群发送待传输数据并存储。
通过在接收到数据传输配置编辑请求时，对目标配置信息和转发配置文件进行编辑，可以快速编辑待传输数据对应的目标地址，提高接收待传输数据的目的端的修改效率，降低数据传输系统的维护成本，提高数据传输系统的维护效率。
可选的，在获取待传输数据，查询匹配的目标配置信息之前，还包括：获取预先配置的多个集群标识信息；对所述多个集群标识信息进行排列组合，形成至少一个目标配置信息；针对每个所述目标配置信息，分别获取包括的集群标识信息对应的目标地址，并形成目标地址集合，确定为所述目标配置信息对应的目标地址集合；根据各所述目标配置信息和对应的目标地址集合，确定目标配置信息与目标地址集合之间的对应关系，并添加到所述转发配置文件中。
对全部集群标识信息进行排列组合，可以得到不同集群标识信息集合，从而完整覆盖可选的目的端范围。根据排列组合结果，可以生成目标配置信息。可以生成多个目标配置信息，从而目标配置信息形成的集合，可以满足不同的传输需求，即满足不同的目的端传输需求。
在任意一个目标配置信息中，获取每个集群标识信息对应的目标地址，并将全部的目标地址，形成目标地址集合，确定为该目标配置信息对应的目标地址集合，从而确定目标配置信息和目标地址集合之间的对应关系，并存储在转发配置文件中。其中，集群标识信息与目标地址之间的对应关系可以是预先配置的，例如，可以在数据库中存储集群标识信息与目标地址之间的对应关系。从而通过集群标识信息查询目标地址。
通过对集群标识信息进行排列组合，形成目标配置信息，并对应构建转发配置文件，可以将覆盖全部的目的端组合的范围，添加到转发配置文件中，从而可以实现将待传输数据发送至任意至少一个目标地址中，提高待传输数据的传输准确率，同时增加数据传输目的端的多样性，以适配不同数据传输应用场景。
可选的，所述对所述多个集群标识信息进行排列组合，形成至少一个目标配置信息，包括：对所述多个集群标识信息进行排列组合，得到至少一个排列组合结果；在各所述排列组合结果中剔除重复结果；在剩余的每个排列组合结果中，采用预设分隔符将包括的多个集群标识信息进行拼接，得到目标配置信息。
排列组合可以是指，从集群标识信息中任意取出至少一个，并按照预设规则进行排序，得到一个排列组合结果。重复结果为，至少两个排列组合结果包括相同的集群标识信息，只是顺序不同。在剔除的排列组合结果中，针对每个排列组合结果，将包括的至少两个集群标识信息，采用分隔符进行拼接，拼接后的字符串为目标配置信息。在仅包括一个集群标识信息的情况下，不对该排列组合结果进行分隔符拼接，直接确定为目标配置信息。即将包括一个集群标识信息的排列组合结果确定为目标配置信息。
示例性的，集群标识信息为数字，按照升序对选的至少一个集群标识信息进行排序，形成排列组合结果。示例性的，选择的集群标识信息为1、3和11，相应的排列组合结果为1311，采用分隔符0进行拼接，得到的目标配置信息为103011。
通过对集群标识信息进行排列组合，并可以准确生成全部的集群组合的范围，并且剔除冗余数据，可以节省存储成本，减少目标配置信息的查询量，提高目标配置信息的查询效率。
本发明实施例通过查询到待传输数据匹配的目标配置信息，并根据转发配置文件对目标配置信息进行解析，得到至少一个目标地址，将待传输数据分别发送到目标地址中，解决了现有技术中Flume系统只能将待传输数据发送到一个指定目标地址，或只能发送全部目标地址，导致数据传输效率低的问题，可以同时向多个地址发送待传输数据，可以提高数据传输效率。
实施例二
图2a为本发明实施例二中的一种数据传输方法的流程图，本实施例以上述实施例为基础进行具体化。所述根据转发配置文件对所述匹配的目标配置信息进行解析，获取至少一个目标地址，具体化为：通过Flume系统中通道选择组件根据转发配置文件对所述匹配的目标配置信息进行解析，获取至少一个目标地址，并发送给通道处理组件，以使所述通道处理组件向各所述目标地址指向的通道发送待传输数据，并从各所述目标地址指向的通道发送至各所述目标地址指向的集群中。
本发明实施例应用于Flume系统中。其中，Apache Flume是一个分布式、高可用和高可靠的系统，可以有效地从许多不同的源收集、聚合和移动海量数据到集中式数据存储。Flume系统支持将数据存储到任何集中存储器中，比如分布式文件系统(HadoopDistributed File System，HDFS)，基于Hadoop的数据仓库工具(Hive)或分布式的、面向列的开源数据(HBase)；当传入数据的速率超过可以将数据写入目标的速率时，Flume系统充当数据生产者和集中存储之间的中介，并在它们之间提供稳定的数据流；通道(Channel)是基于事务，保证了数据在传送和接收时的一致性；可靠的，容错性高的，可扩展的，易管理的，并且可定制的；支持各种接入数据的类型以及接出数据类型；支持多路径流量，多管道接入流量，多管道接出流量，上下文路由等；支持水平扩展。
Flume系统组成包括：代理(Agent)。其中，Agent是一个JVM进程，它以事件(Event)的形式将数据从源端送至目的端。其中，Agent由三个部分组成：源端(Source)、Channel和节点(Sink)。Event：数据传输的基本单元，带有一个可选的消息头。如果是文本文件，通常是一行记录；Event从Source，流向Channel，再到Sink。其中，Source：负责接收数据到Agent的组件，支持处理各种类型、各种格式的日志数据；Channel：主要提供一个队列的功能，是位于Source和Sink之间的缓冲区。自带两种Channel：缓存通道(Memory Channel)：基于内存缓存，在不需要关心数据丢失的情境下适用；文件通道(File Channel)：Flume的持久化Channel。在程序关闭或机器宕机的情况下不会丢失数据。Sink不断地轮询Channel中的事件且批量地移除它们。并将这些事件批量写入到存储或索引系统，或者被发送到另一个Flume Agent。
Flume的事务性主要体现在两个方面：一个是推(Put)事务：从Source到Channel的事件传输过程叫Put事务。通过doPut将批数据先写入临时缓冲区putList；再通过doCommit将批数据提交给Channel。一旦事务中的所有事件全部传递到Channel且提交成功，那么Source就将其标记为完成。如果因为某种原因事件传递失败，那么事务将会回滚。另一个是拿(Take)事务：从Channel拉取事件数据到Sink的过程叫Take事务。通过doTake先将数据取到临时缓冲区takeList；再通过doCommit将事件数据发送到Sink。如果数据全部发送数据成功，则清除临时缓冲区takeList。如果数据发送过程中出现异常，rollback将临时缓冲区takeList中的数据归还给Channel内存序列。
如图2b所示，Flume Agent内部工作流程：Source采集数据；在Source内部，由EventBuilder.withBody(body)将数据封装成Event对象，由source.getChannelProcessor().processEvent(event)将Event交给Channel处理器；Channel处理器将Event传给Interceptor拦截器链，进行简单的数据清洗过滤，然后将其返回给Channel处理器；Channel处理器再将过滤之后的Event传给Channel选择器，Channel选择器决定每个Event写入哪个Channel，以及哪些Channel时必需的或可选的。Channel选择器分两种：复制通道选择器(Replicating Channel Selector)：默认，将Source过来的Event发往所有的Channel(相当于复制多份)；分发通道选择器(Multiplexing Channel Selector)：可以配置Source发过来的Event具体发往哪个Channel。其工作原理就是根据Event的Header中的key-value来判断该Event该发往哪一个Channel。而Event中的Header是拦截器过滤好Event之后给Event加的具体的Header，即key-value。所以，一般都是拦截器和Multiplexing Channel Selector结合起来使用。Channel选择器返回Event的Channel列表；根据Channel选择器的选择结果，将Event写入相应的Channel；Sink处理器选择其中一个Sink去获取Channel中的Event，并将获取的Event写入下一个阶段。通过配置Sinkgroups，可以实现Sink的负载均衡和故障转移。其中：Sink Processor有三种：DefaultSinkProcessor：默认的，内部无任何逻辑，只是单纯的调用Sink；LoadBalancingSinkProcessor：负载均衡；FaioverSinkProcessor：容灾恢复。其中，FlumeChannel选择器用来解决Source接收数据后写入到哪些Channel，Channel选择器的配置是通过Channel处理器完成的，通过在配置文件中对选择器设置，Flume内置了2种Channel选择器(Replicating Channel Selector和Multiplexing Channel Selector)，默认情况下，如果不特别指定，则默认是复制的形式。
本实施例的方法具体包括：
S210，获取待传输数据，查询匹配的目标配置信息。
本发明实施例未详尽的描述可以参考前述实施例。
可选的，所述获取待传输数据，查询匹配的目标配置信息，包括：通过所述Flume系统中源组件获取待传输数据；通过所述源组件在数据库中查询匹配的目标配置信息。
源组件可以是指Flume系统的Source，用于获取待传输数据，以及获取待传输数据匹配的目标配置信息。
通过根据Flume系统原有的源组件，实现获取待传输数据和匹配的目标配置信息，可以降低发送多个目标地址的开发成本和维护成本，提高发送多个目标地址的开发效率。
S220，通过Flume系统中通道选择组件根据转发配置文件对所述匹配的目标配置信息进行解析，获取至少一个目标地址，并发送给通道处理组件，以使所述通道处理组件向各所述目标地址指向的通道发送待传输数据，并从各所述目标地址指向的通道发送至各所述目标地址指向的集群中。
通道选择组件可以是指Channel选择器，用于确定至少一个通道。通道处理组件可以是指Channel处理器，用于获取通道选择组件选择的至少一个通道，并向各通道发送待传输数据。具体的，通道处理组件有多个，通道选择组件将多个通道发送至不同的通道处理组件，一个通道处理组件用于向一个通道发送待传输数据。通道选择组件确定的通道数量与通道处理组件的数量相同。通道选择组件，确定至少一个通道，并分别向相应数量的通道处理组件发送其中一个通道，每个通道处理组件分配的通道不同，且一个通道处理组件分配一个通道。
其中，通道用于缓存待传输数据，并存储的待传输数据，发送到对应的目标地址。实际上，目标地址与通道对应。一个通道中的数据，只会发送至对应的目标地址，也即发送到对应的集群中进行存储。
可选的，所述通道选择组件为所述Flume系统的分发通道选择组件。
分发通道选择组件用于根据将某个类型的数据发送到指定的通道、指定的节点，最终到达指定的目标地址中。基于分发通道选择组件可以实现指定待传输数据对应的通道，通过对转发配置文件进行调整，以使分发通道选择组件可以实现指定多个通道，从而实现通道处理组件将待传输数据发送到多个通道中，最终发送到多个目标地址中。
通过仅针对转发配置文件进行修改，并根据Flume系统原有的分发通道选择组件，实现发送多个通道，最终实现发送到多个目标地址，可以降低发送多个目标地址的开发成本和维护成本，提高发送多个目标地址的开发效率。
可选的，所述集群为Kafka集群。
Kafka集群可以是一个高吞吐的分布式消息队列系统。其特点包括：生产者消费者模式，先进先出(FIFO)保证顺序，自己不丢数据，默认每隔7天清理数据。在消息队列中，通常采用主题区分不同类型的消息。Topic可以是指为每条发布到Kafka集群的消息类别，Topic在Kafka中可以由多个消费者订阅和消费。
其中，目标地址用于指向哪一个Kafka集群，和/或哪一个Kafka集群中的哪个Topic。即目标地址还用于指向Kafka集群中Topic。
通过使用Kafka集群存储待传输数据，可以减少系统之间解耦合和峰值压力缓冲，并实现异步通信，增加待传输数据的应用场景，提高待传输数据的灵活性。
S230，将所述待传输数据分别发送到各所述目标地址中。
在一个具体的例子中，如图2c所示，现有的数据分发流程为：通过Multiplexing选择器根据日志类型，将日志数据(即待传输数据)分别发送到应用日志处理器和交易日志处理器。在本发明实施例中，如图2d所示，保留原有multiplexing选择器，将有同时发送多个Sink需求的交易日志处理前增加复制选择器，将一份报文复制分发到多个交易日志处理器中。
具体的，Flume是通过配置文件来进行初始化加载的，包括Souce、Sink、Channel的创建与绑定、选择器类型和选择器的标识项等，当前使用的是Multiplexing分发选择器，因此只需要将需要复制发送到多Sink的Event Type标识进行拼接处理并且绑定至多个Channel(不同Channel指向不同Sink)，再从业务逻辑上将相同拼接的标识加入到需要复制发送业务维度的属性中，进行匹配即可。
首先Flume是通过配置文件来加载采集配置关系的，为初始化一次加载，在运行过程中可以修改配置文件热生效，但这种操作会影响到程序的稳定性，因此第一步要进行配置文件的编辑。为了便于修改，选择用程序去进行Flume配置文件的生成。
具体的，Souce、Channel和Sink的创建与绑定
其中，Channel创建：名称自定义，类型为内存型，其他如容量等配置项以参数形式传入，从配置文件读取，KafkaNum为所有交易日志处理器的总数，因为当前项目不同交易处理只是最终发送至不同的Kafka集群或Topic中，因此按照此方式命名。Sink创建及绑定Channel：定义方式同Channel，APPMON2_CLASS为交易日志处理实现类，所有Channel均指向同一个实现类，不同的Kafka集群参数以枚举形式在类中进行提取。Source创建：创建时指明实现类，可将一些自定义的属性设置在Source中，设置选择器的类别。关键点：Source通过选择器绑定Channel。先将Channel添加至Source。然后进行选择器标识添加及Source根据选择器映射Channel，将选择器的Type属性与数据库中的配置表进行关联，将不同的交易日志处理器以数字进行编号，初始没有从配置文件进行选择器的配置，是将同时发多个交易处理器的日志在数据库配置表中进行标记，以固定分割符将集群号进行拼接，再到程序中进行处理，但数据库配置表中标识符这个列的值为number，只能以数字0作为分割符，最多支持1-9编号，即最多支持9个交易处理器同时发送，这种方案不仅同时发送数量有限，而且在解析发送Kafka时没有利用上Flume自身的机制。在本发明实施例中，改为以升序全排列形式将所有组合写入配置文件的选择器配置中，在数据库配置表时以同样规则写入(升序排列)，在程序中无需解析数据库配置表中的字段，Flume自动识别并发入相应的处理器(多个)中。此方式不仅更好的利用了Flume自身的机制，还免去的解析环节，这样就解除了数量的限制，例如同时发送1号和11号处理器，拼接后为1011(此处可以改为不用0作分割符，但为了沿用历史在数据库中的配置，保留此分割符)，因为不用解析，只要数据库中配置项的值为1011就可以直接发送1和11集群，目前测试环境测试了同时发送20个处理器没有问题(已远超需求)。
虽然在排列组合中使用了二次循环时间效率较低，但因为只是初始化一次生成配置文件并读取，并不影响处理效率。在设置好所有配置项后，生成配置文件
在Source中基于选择器的类型进行分发：将数据库配置表中的通道处理器的配置项添加至Event的Header中。将Header中的数据库配置添加与配置文件中相同的前缀，并设置为选择器的属性Type，此时已子系统为维度的报文，基于配置表中的标识项，就可以发送到不同的Sink处理器中，本发明实施例是发送到同一个处理类，但根据Type中的集群号发送至不同Kafka集群中。
Sink中不同Kafka集群的处理：将Kafka集群的标识信息(集群配置key编号，配置文件中的key值，别名)封装在枚举类中，因为Kafka处理器数量是从配置文件读取的，相当于是非热生效动态加载，因此需要“动态”的进行枚举类的扩展，可以利用反射法“动态”扩展枚举类。
需要注意的是所有使用到的Kafka集群的ip、port和序列化配置等提前写在配置文件中，初始化时全部读取至缓存，如果相同时最多可发送20个交易处理器，那么这20个处理器的Kafka集群需要添加到同一个配置文件中。
其中，一些基础配置项如处理器集群总数量，Channel容量值得修改需要重启程序。
本发明实施例通过Flume中分发通道选择器实现同时发送多个集群的功能，仅将将拼接的集群标识绑定多个集群的Channel，实现了复制通道选择器的功能，实现可以同时实现两种选择器，并且复制通道选择器理论上来说没有上限(主要取决于Flume配置文件的长度限制)，程序运行效率也没有受到影响，且数据库中的配置可以热生效，比如一个子系统想从同时发集群1和集群3改为同时发集群2核集群4，只要改数据库中的配置信息就行，无需重启程序，降低维护成本和开发成本，最终同时实现两种选择器及未影响效率，并且满足同时发送多Kafka集群以及多Topic的功能，并支持动态修改发送目的地。
实施例三
图3为本发明实施例三中的一种数据传输装置的示意图。实施例三是实现本发明上述实施例提供的数据传输方法的相应装置，该装置可采用软件和/或硬件的方式实现，并一般可集成计算机设备中。
相应的，本实施例的装置可以包括：
配置信息查询模块310，用于获取待传输数据，查询匹配的目标配置信息；
配置信息解析模块320，用于根据转发配置文件对所述匹配的目标配置信息进行解析，获取至少一个目标地址；
数据传输模块330，用于将所述待传输数据分别发送到各所述目标地址中。
本发明实施例通过查询到待传输数据匹配的目标配置信息，并根据转发配置文件对目标配置信息进行解析，得到至少一个目标地址，将待传输数据分别发送到目标地址中，解决了现有技术中Flume系统只能将待传输数据发送到一个指定目标地址，或只能发送全部目标地址，导致数据传输效率低的问题，可以同时向多个地址发送待传输数据，可以提高数据传输效率。
进一步的，所述目标配置信息包括至少一个目标地址指向的集群的集群标识信息，所述目标配置信息通过各所述集群标识信息通过分隔符拼接形成。
进一步的，所述转发配置文件包括：目标配置信息与目标地址集合之间的对应关系，所述目标配置信息包括集群标识信息与对应的目标地址集合包括的目标地址匹配，所述目标配置信息包括至少一个集群标识信息，所述目标地址集合包括至少一个目标地址。
进一步的，所述数据传输装置，还包括：转发配置文件生成模块，用于在获取待传输数据，查询匹配的目标配置信息之前，获取预先配置的多个集群标识信息；对所述多个集群标识信息进行排列组合，形成至少一个目标配置信息；针对每个所述目标配置信息，分别获取包括的集群标识信息对应的目标地址，并形成目标地址集合，确定为所述目标配置信息对应的目标地址集合；根据各所述目标配置信息和对应的目标地址集合，确定目标配置信息与目标地址集合之间的对应关系，并添加到所述转发配置文件中。
进一步的，所述转发配置文件生成模块，具体用于：对所述多个集群标识信息进行排列组合，得到至少一个排列组合结果；在各所述排列组合结果中剔除重复结果；在剩余的每个排列组合结果中，采用预设分隔符将包括的多个集群标识信息进行拼接，得到目标配置信息。
进一步的，所述数据传输装置，还包括：配置编辑模块，用于在接收到数据传输配置编辑请求的情况下，根据所述数据传输配置编辑请求对所述目标配置信息和所述转发配置文件进行编辑，以根据新的目标配置信息和新的转发配置文件发送所述待传输数据。
进一步的，所述分隔符包括预设数字或下划线。
进一步的，所述配置信息查询模块310，具体用于：从所述待传输数据中提取中源标识信息；在数据库中查询与所述源标识信息匹配的目标配置信息。
进一步的，所述集群为Kafka集群。
进一步的，所述配置信息解析模块320，具体用于：通过Flume系统中通道选择组件根据转发配置文件对所述匹配的目标配置信息进行解析，获取至少一个目标地址，并发送给通道处理组件，以使所述通道处理组件向各所述目标地址指向的通道发送待传输数据，并从各所述目标地址指向的通道发送至各所述目标地址指向的集群中。
进一步的，所述配置信息查询模块310，具体用于：通过所述Flume系统中源组件获取待传输数据；通过所述源组件在数据库中查询匹配的目标配置信息。
进一步的，所述通道选择组件为所述Flume系统的分发通道选择组件。
上述装置可执行本发明实施例所提供的数据传输方法，具备执行方法相应的功能模块和有益效果。
实施例四
图4为本发明实施例四提供的一种计算机设备的结构示意图。图4示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图4显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。计算机设备12可以是挂接在总线上的设备。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture，ISA)总线，微通道体系结构(Micro Channel Architecture，MCA)总线，增强型ISA总线、音视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(PerIPheral Component Interconnect，PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)，数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(Input/Output，I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local AreaNetwork，LAN)，广域网(Wide Area Network，WAN)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图4中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列(Redundant Arrays of Inexpensive Disks，RAID)系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明任意实施例所提供的数据传输方法。
实施例五
本发明实施例五提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请所有发明实施例提供的方法：获取待传输数据，查询匹配的目标配置信息；根据转发配置文件对所述匹配的目标配置信息进行解析，获取至少一个目标地址；将所述待传输数据分别发送到各所述目标地址中。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、RAM、只读存储器(Read OnlyMemory，ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、无线电频率(RadioFrequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括LAN或WAN——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (13)

1.一种数据传输方法，其特征在于，包括：
获取待传输数据，查询匹配的目标配置信息；
根据转发配置文件对所述匹配的目标配置信息进行解析，获取至少一个目标地址；
将所述待传输数据分别发送到各所述目标地址中；
其中，在获取待传输数据，查询匹配的目标配置信息之前，包括：
获取预先配置的多个集群标识信息；
对所述多个集群标识信息进行排列组合，形成至少一个目标配置信息；
针对每个所述目标配置信息，分别获取包括的集群标识信息对应的目标地址，并形成目标地址集合，确定为所述目标配置信息对应的目标地址集合；
根据各所述目标配置信息和对应的目标地址集合，确定目标配置信息与目标地址集合之间的对应关系，并添加到所述转发配置文件中；
其中，所述集群标识信息与所述目标地址之间的对应关系是预先配置的；
其中，所述对所述多个集群标识信息进行排列组合，形成至少一个目标配置信息，包括：
对所述多个集群标识信息进行排列组合，得到至少一个排列组合结果；
在各所述排列组合结果中剔除重复结果；
在剩余的每个排列组合结果中，若所述排列组合结果包括至少两个集群标识信息，则采用预设分割符进行拼接，将拼接后的字符串作为所述目标配置信息；
若所述排列组合结果包括一个集群标识信息，则将该排列组合结果确定为所述目标配置信息。
2.根据权利要求1所述的方法，其特征在于，所述目标配置信息包括至少一个目标地址指向的集群的集群标识信息，所述目标配置信息通过各所述集群标识信息通过分隔符拼接形成。
3.根据权利要求1所述的方法，其特征在于，所述转发配置文件包括：目标配置信息与目标地址集合之间的对应关系，所述目标配置信息包括集群标识信息与对应的目标地址集合包括的目标地址匹配，所述目标配置信息包括至少一个集群标识信息，所述目标地址集合包括至少一个目标地址。
4.根据权利要求1所述的方法，其特征在于，还包括：
在接收到数据传输配置编辑请求的情况下，根据所述数据传输配置编辑请求对所述目标配置信息和所述转发配置文件进行编辑，以根据新的目标配置信息和新的转发配置文件发送所述待传输数据。
5.根据权利要求2所述的方法，其特征在于，所述分隔符包括预设数字或下划线。
6.根据权利要求1所述的方法，其特征在于，所述查询匹配的目标配置信息，包括：
从所述待传输数据中提取中源标识信息；
在数据库中查询与所述源标识信息匹配的目标配置信息。
7.根据权利要求2所述的方法，其特征在于，所述集群为Kafka集群。
8.根据权利要求1所述的方法，其特征在于，所述根据转发配置文件对所述匹配的目标配置信息进行解析，获取至少一个目标地址，包括：
通过Flume系统中通道选择组件根据转发配置文件对所述匹配的目标配置信息进行解析，获取至少一个目标地址，并发送给通道处理组件，以使所述通道处理组件向各所述目标地址指向的通道发送待传输数据，并从各所述目标地址指向的通道发送至各所述目标地址指向的集群中。
9.根据权利要求8所述的方法，其特征在于，所述获取待传输数据，查询匹配的目标配置信息，包括：
通过所述Flume系统中源组件获取待传输数据；
通过所述源组件在数据库中查询匹配的目标配置信息。
10.根据权利要求8所述的方法，其特征在于，所述通道选择组件为所述Flume系统的分发通道选择组件。
11.一种数据传输装置，其特征在于，包括：
配置信息查询模块，用于获取待传输数据，查询匹配的目标配置信息；
配置信息解析模块，用于根据转发配置文件对所述匹配的目标配置信息进行解析，获取至少一个目标地址；
数据传输模块，用于将所述待传输数据分别发送到各所述目标地址中；
其中，所述数据传输模块，包括：
转发配置文件生成模块，用于在获取待传输数据，查询匹配的目标配置信息之前，获取预先配置的多个集群标识信息；对所述多个集群标识信息进行排列组合，形成至少一个目标配置信息；针对每个所述目标配置信息，分别获取包括的集群标识信息对应的目标地址，并形成目标地址集合，确定为所述目标配置信息对应的目标地址集合；根据各所述目标配置信息和对应的目标地址集合，确定目标配置信息与目标地址集合之间的对应关系，并添加到所述转发配置文件中；
其中，所述集群标识信息与所述目标地址之间的对应关系是预先配置的；
其中，所述转发配置文件生成模块，还具体用于：对所述多个集群标识信息进行排列组合，得到至少一个排列组合结果；在各所述排列组合结果中剔除重复结果；在剩余的每个排列组合结果中，若所述排列组合结果包括至少两个集群标识信息，则采用预设分割符进行拼接，将拼接后的字符串作为所述目标配置信息；若所述排列组合结果包括一个集群标识信息，则将该排列组合结果确定为所述目标配置信息。
12.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-10中任一所述的数据传输方法。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-10中任一所述的数据传输方法。
CN202110349232.8A 2021-03-31 2021-03-31 数据传输方法、装置、计算机设备及存储介质 Active CN113067883B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110349232.8A CN113067883B (zh) 2021-03-31 2021-03-31 数据传输方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110349232.8A CN113067883B (zh) 2021-03-31 2021-03-31 数据传输方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN113067883A CN113067883A (zh) 2021-07-02
CN113067883B true CN113067883B (zh) 2023-07-28

Family

ID=76564919

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110349232.8A Active CN113067883B (zh) 2021-03-31 2021-03-31 数据传输方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN113067883B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113485747B (zh) * 2021-07-08 2023-07-04 广州钛动科技有限公司 一种数据处理方法、数据处理器、目标源组件和系统
CN113469686B (zh) * 2021-07-21 2023-04-07 上海浦东发展银行股份有限公司 业务交易量的调整方法、装置、设备及存储介质
CN114338650A (zh) * 2021-12-23 2022-04-12 中电金信软件有限公司 文件传输方法、装置、电子设备及可读存储介质
CN114338526A (zh) * 2022-01-06 2022-04-12 上海幻电信息科技有限公司 数据传输方法及装置
CN114598747B (zh) * 2022-03-15 2023-09-29 国网安徽省电力有限公司信息通信分公司 一种虚拟化云平台的数据采集方法及系统
CN116192346B (zh) * 2023-02-23 2023-10-27 武汉思创云科技有限公司 一种具有备用通道的计算机数据传输系统
CN116504267B (zh) * 2023-04-25 2023-10-27 广州市迪士普音响科技有限公司 一种音频信号通道的快速部署装置及方法
CN117376344B (zh) * 2023-12-08 2024-05-10 荣耀终端有限公司 数据传输方法、电子设备和计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105791082A (zh) * 2014-12-23 2016-07-20 阿里巴巴集团控股有限公司 计算机集群间基于消息中间件的消息传输方法及其装置
CN109597567A (zh) * 2017-09-30 2019-04-09 网宿科技股份有限公司 一种数据处理方法和装置
CN109684370A (zh) * 2018-09-07 2019-04-26 平安普惠企业管理有限公司 日志数据处理方法、系统、设备及存储介质
CN110096685A (zh) * 2019-04-28 2019-08-06 新华三信息安全技术有限公司 一种设备标识生成方法及装置
CN110233875A (zh) * 2019-05-10 2019-09-13 厦门网宿有限公司 一种数据处理方法、对象存储网关池及业务系统
CN112311596A (zh) * 2020-10-22 2021-02-02 深圳前海微众银行股份有限公司 数据管理方法、装置、设备及计算机存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7273147B2 (en) * 2003-11-05 2007-09-25 Willat Ergonomic Technologies, Llc Wine glass
US10169447B2 (en) * 2014-02-24 2019-01-01 Entefy Inc. System and method of message threading for a multi-format, multi-protocol communication system
CN105893628A (zh) * 2016-05-17 2016-08-24 中国农业银行股份有限公司 一种数据实时收集系统及方法
CN107220348B (zh) * 2017-05-27 2020-10-27 浪潮云信息技术股份公司 一种基于Flume与Alluxio的数据收集方法
CN110417825B (zh) * 2018-04-26 2022-05-13 中移(苏州)软件技术有限公司 一种Flume集群的管理方法、装置及系统
US11397744B2 (en) * 2018-07-19 2022-07-26 Bank Of Montreal Systems and methods for data storage and processing
CN109614401A (zh) * 2018-12-06 2019-04-12 航天恒星科技有限公司 基于ElasticSearch和Hbase技术的网络传输数据存储系统
CN109525448A (zh) * 2019-01-10 2019-03-26 北京智信未来信息技术有限公司 日志数据采集系统及方法
CN110071873A (zh) * 2019-04-09 2019-07-30 华为技术有限公司 一种发送数据的方法、装置及相关设备
CN112019362B (zh) * 2019-05-30 2022-06-10 中移(苏州)软件技术有限公司 数据传输方法、装置、服务器、终端、系统及存储介质
CN111355746B (zh) * 2020-03-16 2022-08-05 深信服科技股份有限公司 一种通信方法、装置、设备及存储介质
CN111752911A (zh) * 2020-06-29 2020-10-09 苏州浪潮智能科技有限公司 一种基于Flume的数据传输方法、系统、终端及存储介质
CN112328569A (zh) * 2020-07-31 2021-02-05 山东云缦智能科技有限公司 基于Flume分布式数据收集架构的构建方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105791082A (zh) * 2014-12-23 2016-07-20 阿里巴巴集团控股有限公司 计算机集群间基于消息中间件的消息传输方法及其装置
CN109597567A (zh) * 2017-09-30 2019-04-09 网宿科技股份有限公司 一种数据处理方法和装置
CN109684370A (zh) * 2018-09-07 2019-04-26 平安普惠企业管理有限公司 日志数据处理方法、系统、设备及存储介质
CN110096685A (zh) * 2019-04-28 2019-08-06 新华三信息安全技术有限公司 一种设备标识生成方法及装置
CN110233875A (zh) * 2019-05-10 2019-09-13 厦门网宿有限公司 一种数据处理方法、对象存储网关池及业务系统
CN112311596A (zh) * 2020-10-22 2021-02-02 深圳前海微众银行股份有限公司 数据管理方法、装置、设备及计算机存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Muhammad Rizwan Bashir ; Asif Qumer Gill.Towards an IoT Big Data Analytics Framework: Smart Buildings Systems.《2016 IEEE 18th International Conference on High Performance Computing and Communications》.2017,全文. *
基于分布式软负载均衡的重试框架设计与实现;郑响萍;周晓峰;;工业控制计算机(第05期);全文 *

Also Published As

Publication number Publication date
CN113067883A (zh) 2021-07-02

Similar Documents

Publication Publication Date Title
CN113067883B (zh) 数据传输方法、装置、计算机设备及存储介质
Dobbelaere et al. Kafka versus RabbitMQ: A comparative study of two industry reference publish/subscribe implementations: Industry Paper
US9467460B1 (en) Modularized database architecture using vertical partitioning for a state machine
CN110427299B (zh) 微服务系统应用的日志处理方法、相关设备及系统
CN110928851B (zh) 处理日志信息的方法、装置、设备及存储介质
CN111241078A (zh) 数据分析系统、数据分析的方法及装置
US11036608B2 (en) Identifying differences in resource usage across different versions of a software application
CN111324606B (zh) 数据分片的方法及装置
US10095699B2 (en) Computer-readable recording medium, execution control method, and information processing apparatus
CN107016039B (zh) 数据库写入的方法和数据库系统
CN104881466A (zh) 数据分片的处理以及垃圾文件的删除方法和装置
CN105373746B (zh) 一种分布式数据处理方法和装置
CN109947759A (zh) 一种数据索引建立方法、索引检索方法及装置
JP5024453B2 (ja) 業務フロー分散処理システム及び方法
US9619518B2 (en) Tracking tuples to reduce redundancy in a graph
CN112860412B (zh) 业务数据处理方法、装置、电子设备及存储介质
CN110620722B (zh) 一种订单处理的方法和装置
US10089350B2 (en) Proactive query migration to prevent failures
US20160203032A1 (en) Series data parallel analysis infrastructure and parallel distributed processing method therefor
JP6364727B2 (ja) 情報処理システム、分散処理方法、及び、プログラム
WO2009050158A2 (en) Acquisition and expansion of storage area network interoperation relationships
KR20160145250A (ko) 가상 머지를 지원하는 셔플 내장형 분산 스토리지 시스템 및 그 방법
US20060004838A1 (en) Sharing large objects in distributed systems
CN112417015A (zh) 数据分发方法和装置、存储介质及电子装置
CN112597119A (zh) 一种处理日志的生成方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant