CN105978887A - 用于大数据的数据接入方法、装置及系统 - Google Patents

用于大数据的数据接入方法、装置及系统 Download PDF

Info

Publication number
CN105978887A
CN105978887A CN201610423272.1A CN201610423272A CN105978887A CN 105978887 A CN105978887 A CN 105978887A CN 201610423272 A CN201610423272 A CN 201610423272A CN 105978887 A CN105978887 A CN 105978887A
Authority
CN
China
Prior art keywords
data
host
basic feature
host protocol
daa
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610423272.1A
Other languages
English (en)
Inventor
汤奇峰
安斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZAMPLUS ADVERTISING (SHANGHAI) CO Ltd
Original Assignee
ZAMPLUS ADVERTISING (SHANGHAI) CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZAMPLUS ADVERTISING (SHANGHAI) CO Ltd filed Critical ZAMPLUS ADVERTISING (SHANGHAI) CO Ltd
Priority to CN201610423272.1A priority Critical patent/CN105978887A/zh
Publication of CN105978887A publication Critical patent/CN105978887A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/55—Push-based network services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/18—Multiprotocol handlers, e.g. single devices capable of handling multiple protocols

Abstract

一种用于大数据的数据接入方法、装置及系统，用于大数据的数据接入方法包括：接收至少一种数据，所述至少一种数据中，对应不同的数据来源的数据采用相同或不同的传输协议；识别所述至少一种数据的基本特征，并根据所述基本特征和预先配置将所述至少一种数据进行分类存储；根据所述预先配置和基本特征，将所述至少一种数据中的至少一部分采用对应的推送传输协议推送出去。本发明技术方案提高了数据接入的适用范围。

Description

用于大数据的数据接入方法、装置及系统
技术领域
本发明涉及大数据处理技术领域，尤其涉及一种用于大数据的数据接入方法、装置及系统。
背景技术
目前，随着大数据时代的推进，会产生各种不同类型、不同内容的数据。如何将不同来源、不同格式、不同量级的数据进行统一接入、统一处理，是目前互联网行业存在的一个问题。
现有技术中，对于目前行业中常用的数据接入的处理方式通常是针对不同数据来源。对于每种来源的数据，需要单独开发一套包含收集、接入、存储、处理的数据整合系统。对于同一数据的接入服务，只能支持一种协议。在对数据处理的实时性要求比较高的场景中，接入数据量较大时，服务承载能力弱，接入服务性能不能满足高接入速度的要求，而且接入的数据孤立，导致数据复用性不足。
因此，亟需一种可以适配不同数据来源、不同数据格式、不同存储方式、不同处理方法的系统来解决目前行业中存在的数据接入和数据处理的问题。
发明内容
本发明解决的技术问题是如何提高数据接入的适用范围。
为解决上述技术问题，本发明实施例提供一种用于大数据的数据接入方法，用于大数据的数据接入方法包括：接收至少一种数据，所述至少一种数据中，对应不同的数据来源的数据采用相同或不同的传输协议；识别所述至少一种数据的基本特征，并根据所述基本特征和预先配置将所述至少一种数据进行分类存储；根据所述预先配置和基本特征，将所述至少一种数据中的至少一部分采用对应的推送传输协议推送出去。
可选的，接收至少一种数据之前还包括：确定所述预先配置，所述预先配置中包括所述基本特征与存储方式的对应关系以及与推送传输协议的对应关系。
可选的，接收所述至少一种数据和将所述至少一种数据进行分类存储通过事务的方式实现；将所述至少一种数据进行分类存储和将所述至少一种数据推送出去通过事务的方式实现。
可选的，根据所述预先配置和基本特征，将所述至少一种数据中的至少一部分采用对应的推送传输协议推送出去包括：在所述至少一种数据中的至少一部分对应的存储位置获取待推送数据，并推送至所述待推送数据的所述预先配置指定的数据处理服务。
可选的，所述基本特征包括以下一种或多种：数据内容和数据格式。
为解决上述技术问题，本发明实施例还公开了一种数据接入装置，数据接入装置包括：接入单元，适于接收至少一种数据，所述至少一种数据中，对应不同的数据来源的数据采用相同或不同的传输协议；存储单元，适于识别所述至少一种数据的基本特征，并根据所述基本特征和预先配置将所述至少一种数据进行分类存储；推送单元，适于根据所述预先配置和基本特征，将所述至少一种数据中的至少一部分采用对应的推送传输协议推送出去。
可选的，所述的数据接入装置还包括：确定单元，适于确定所述预先配置，所述预先配置中包括所述基本特征与存储方式的对应关系以及与推送传输协议的对应关系。
可选的，接收所述至少一种数据和将所述至少一种数据进行分类存储通过事务的方式实现；，将所述至少一种数据进行分类存储和将所述至少一种数据推送出去通过事务的方式实现。
可选的，所述推送单元在所述至少一种数据中的至少一部分对应的存储位置获取待推送数据，并推送至所述待推送数据的所述预先配置指定的数据处理服务。
可选的，所述基本特征包括以下一种或多种：数据内容和数据格式。
为解决上述技术问题，本发明实施例还公开了一种数据接入系统，所述数据接入系统包括多个所述数据接入装置，所述多个数据接入装置分布式耦接。
与现有技术相比，本发明实施例的技术方案具有以下有益效果：
本发明实施例中，接收至少一种数据，所述至少一种数据中，对应不同的数据来源的数据采用相同或不同的传输协议；识别所述至少一种数据的基本特征，并根据所述基本特征和预先配置将所述至少一种数据进行分类存储；根据所述预先配置和基本特征，将所述至少一种数据中的至少一部分采用对应的推送传输协议推送出去。采用上述方案，使得数据的接入可以支持不同的多种传输协议，并且通过将接收到的至少一种数据进行分类存储，实现了采用相同或不同的传输协议的至少一种数据可以采用相同或不同的推送传输协议推送出去，提高了数据接入的适用范围。
进一步，所述预先配置是预先确定的，所述预先配置中包括所述基本特征与存储方式的对应关系，以及所述基本特征与推送传输协议的对应关系。对于数据的存储方式、推送传输协议，可以通过预先配置的配置文件来指定。本发明实施例可以通过简单的配置完成数据的接入，具备高度可配置性。
附图说明
图1是本发明实施例一种数据接入方法的流程图；
图2是本发明实施例一种数据接入过程的示意图；
图3是本发明实施例另一种数据接入过程的示意图；
图4是本发明实施例又一种数据接入过程的示意图；
图5是本发明实施例一种数据接入装置的结构示意图。
具体实施方式
如背景技术中所述，对于目前行业中常用的数据接入的处理方式通常是针对不同数据来源，对于每种来源的数据，需要单独开发一套包含收集、接入、存储、处理的数据整合系统。对于同一数据的接入服务，只能支持一种协议。在对数据处理的实时性要求比较高的场景中，接入数据量较大时，服务承载能力弱，接入服务性能不能满足接入速度。接入的数据孤立，数据复用性不足。
现有技术中，在对接入和处理服务的一致性要求较高的场景，数据接入服务和数据处理服务通常需要做调整，才能保证数据接入和处理的顺利进行。例如，对于某一数据来源，传输协议是传输协议A，但是其数据处理服务的传输协议包含传输协议A、传输协议B、传输协议C等；如果数据处理服务要接入该来源的数据，那么数据处理服务需要做调整，才能够数据处理服务和数据能够顺利衔接。反之，接入数据来源采用的传输协议是传输协议A、传输协议B、传输协议C等，对于这些数据要使用相同的数据处理服务进行处理，那么数据来源需要做调整，才能够使得数据能够正常的被数据处理服务进行处理。上述调整的过程给用户使用带来了不便。
为了解决大数据领域，多种来源的数据在统一接入、处理时存在的复杂性问题，本发明实施例提供了一种可以支持不同数据来源、不同数据格式、不同存储方式的解决方案。
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
图1是本发明实施例一种数据接入方法的流程图。下面结合图1对所述数据接入方法的具体步骤做详细的说明。
步骤S101：接收至少一种数据。
其中，所述至少一种数据中，对应不同的数据来源的数据可以采用相同的传输协议，也可以采用不同的传输协议。
具体实施中，对于数据接收方式，可以支持多种传输协议，例如，超文本传输协议(HyperText Transfer Protocol,HTTP)、thrift协议等。具体而言，目前的各种行业中，尤其是大数据领域，数据来源通常会根据业务需要选择合适的传输协议来进行数据传输，进而导致在数据接收时，不同数据来源的接收方式各不相同，因此，为了满足目前行业中不同业务数据的顺利接收，本发明实施例支持多种传输协议的接收。
步骤S102：识别所述至少一种数据的基本特征，并根据所述基本特征和预先配置将所述至少一种数据进行分类存储。
具体实施中，在数据接收之前，确定所述预先配置，所述预先配置中包括所述基本特征与存储方式的对应关系以及与推送传输协议的对应关系。在数据接收之后，识别接收数据的基本特征，并根据预先配置将接收数据进行存储。也就是说，具备相同基本特征的数据作为同一类，可以被存储在一起。
具体地，在接收多种数据来源的多种数据时，根据数据的基本特征和预先配置将数据进行分类存储。例如，来自于不同的数据来源的数据可以具备不同的基本特征，且来自于同一数据来源的数据具备相同的基本特征，那么在分类存储时，可以直接根据数据来源进行分类存储；或者，采用不同的传输协议的数据可以具备不同的基本特征，且采用相同传输协议的数据具备相同的基本特征，那么在分类存储时，可以直接根据传输协议进行分类存储。存储方式可以是分布式发布订阅消息系统(kafka)，也可以是磁盘文件方式。当以kafka作为存储介质时，同类的数据会被存储到同一类别(topic)上；通过磁盘文件方式存储时，同类的数据会被存储到指定目录中。
具体而言，所述基本特征可以包括以下一种或多种：数据内容和数据格式。
可以理解的是，数据的基本特征也可以包括其他任意可实施的特征，本发明实施例对此不做限制。
步骤S103：根据所述预先配置和基本特征，将所述至少一种数据中的至少一部分采用对应的推送传输协议推送出去。
具体实施中，根据所述预先配置和基本特征，在所述至少一种数据中的至少一部分对应的存储位置获取待推送数据，并推送至所述待推送数据的所述预先配置指定的数据处理服务。具体而言，对于被推送出去的至少一部分数据，可以采用相同的传输协议推送出去，也可以采用不同的传输协议推送出去。
具体实施中，对于预先配置还未指定数据处理服务的数据，可以将该数据只进行存储而不进行推送，保留在存储区域并维持设定时间。例如可以保留15天，在15天内该数据若仍未推送出去，则将该数据删除。
具体而言，接收所述至少一种数据和将所述至少一种数据进行分类存储通过事务(transaction)的方式实现。将所述至少一种数据进行分类存储和将所述至少一种数据推送出去通过事务的方式实现。在数据接收、数据推送的整个过程，通过事务方式，在数据接收失败和推送失败时，可以返回失败状态，以避免数据在没有被正确接收和推送的情况下被误删除的情况，保证了数据接收和推送的可靠性。具体地，当推送操作失败时，支持相应的数据回滚(ROLLBACK)。例如，事务的原子性操作可以包括：开始事务请求(BEGINTRANSACTION)；提交事务请求(COMMIT TRANSACTION)；回滚事务请求(ROLLBACK)；其中，提交事务请求操作用于把事务造成的修改保存到数据库，将上一个提交事务请求或回滚操作之后的全部事务都保存到数据库。同时，在必要的请求中，可以使用异步调用方式，提高数据接收服务的吞吐量。
本发明实施例在接收数据到推送数据的过程中，将数据进行存储，通过存储可以有效的提高数据接入的吞吐能力，同时保障了后续多路推送的有效进行。
在大数据时代，数据可以通过不同的渠道或者方式进行收集，也就是说，数据可以通过不同的传输协议进行接收。参照图2，图2是本发明实施例一种数据接入过程的示意图，其示出了通过不同方式收集的数据被相同的数据处理服务或者处理单元进行处理的场景。
如图2所示，来源于不同数据来源的数据分别采用传输协议1、传输协议2,…,传输协议n进行传输，并经步骤S201接收数据。接收数据后，经步骤S202根据预先配置的配置文件将多种数据进行分类存储。具体而言，可以根据数据的基本特征与预先配置的存储方式的对应关系，将多种数据进行分类存储。
具体地，分类存储的过程可以通过设置多个存储区域实现，例如存储区域可以包括存储1、存储2,…,存储n，n为正整数。每个存储区域存储同类的数据，同类的数据具备相同的基本特征。
步骤S203采用预先配置的配置文件指定的传输协议A将数据推送至统一的数据处理服务进行处理。步骤S203在将数据推送到配置文件指定数据处理服务时，会从相应的存储区域存储1、存储2,…,存储n获取待推送数据。
本发明一实施例还可以支持相同数据来源的数据推送至不同数据处理服务或者模块进行处理。在实际应用场景中，存在对于同一数据来源的数据，根据需要会被不同的处理服务或者模块进行处理，具体过程可参照图3，图3是本发明实施例另一种数据接入过程的示意图。
如图3所示，来源于相同数据来源的数据采用传输协议1进行传输，并经步骤S301接收数据。接收数据后，经步骤S302根据预先配置的配置文件将数据进行存储。具体而言，可以根据数据的基本特征与预先配置的存储方式的对应关系，将多种数据进行分类存储。其中，由于数据的数据来源相同，数据可以具备相同的基本特征，故此处可以设置同一存储区域进行统一存储。
步骤S303根据预先配置的配置文件指定的多种推送传输协议，分别经由不同的推送出口推送A、推送B,…,推送N从存储区域获取数据，并采用不同的传输协议A、传输协议B,…,传输协议N将数据推送至多种数据处理服务进行处理；其中，不同的推送出口推送A、推送B,…,推送N推送的数据分布对应采用不同的传输协议A、传输协议B,…,传输协议N。具体而言，可以根据数据的基本特征与预先配置的推送传输协议对应关系，将多种数据进行推送出去。
本发明另一实施例还可以支持不同数据来源的数据推送至不同数据处理服务或者模块进行处理。具体过程可参照图4，图4是本发明实施例又一种数据接入过程的示意图。
如图4所示，来源于不同数据来源的数据分别采用传输协议1、传输协议2,…,传输协议n进行传输，并经步骤S401接收数据。接收数据后，经步骤S402根据预先配置的配置文件将多种数据进行分类存储。具体而言，可以根据数据的基本特征与预先配置的存储方式的对应关系，将多种数据分类存储。
具体地，分类存储的过程可以通过设置多个存储区域实现，例如存储区域可以包括存储1、存储2,…,存储n。每个存储区域存储同类的数据，同类的数据具备相同的基本特征。
步骤S403根据预先配置的配置文件可以获取要处理待推送数据的数据处理服务的数量以及对应的推送传输协议。分别经由不同的推送出口推送A、推送B,…,推送N从指定的存储区域获取数据，并采用不同的传输协议A、传输协议B,…,传输协议N将数据推送至多种数据处理服务进行处理。
具体而言，预先配置对于已经接收的数据未指定要推送的数据处理服务时，则将该数据存储在存储区域，例如，存储方式可以是kafka和磁盘文件；后续要推送该数据时，可以进行配置，将该数据推送到相应的处理服务。
本发明实施例通过结合内存和磁盘存储的方式，保证在存储设备宕机、重启的情况下，已存储数据不会丢失，提高了数据接入的安全性。
上述实施例中的配置文件可以是预先配置，可以包括数据来源(Sources)、数据存储位置(channels)、数据推送采用的传输协议(type)和推送位置(Consumers)。对于数据的存储、推送传输协议，可以通过配置文件来指定。本发明实施例还可以提供通用的存储方案和推送方式，以便可以通过简单的修改或覆写，即可完成数据的接收和推送。
例如配置文件可以包括以下内容：
//接收来源为s1,s2,s3Sources＝s1,s2,s3；
//分类存储位置为c1,c2,c3channels＝c1,c2,c3；
//推送位置为k1,k2,k3…Consumers＝k1,k2,k3；
//接收来源为s1的相关配置Sources.s1.type＝http Sources.s1.bind＝0.0.0.0Sources.s1.port＝8081；
//匹配规则以及分类存储方式
Sources.s1.mapping＝“type＝1”:c1,”type＝2”:c2，Sources.s2.type＝thrift；
Sources.s2.bind＝0.0.0.0Sources.s2.port＝8082；
Sources.s2.mapping＝“a.b＝1”:c1,”a.b＝2”:c2；
Sources.s3.type＝thrift；
Sources.s3.bind＝0.0.0.0；
Sources.s3.port＝8082；
Sources.s3.mapping“b.c＝1”:c3；
//推送相关配置
Consumers.k1.channel＝c1；//数据来源为分类到c1的数据
Consumers.k1.type＝http；
//推送类型以及接受地址
Consumers.k1.ip＝10.10.10.1；
Consumers.k1.port＝9091；
Consumers.k2.channel＝c1；
Consumers.k2.type＝thrift；
Consumers.k2.ip＝10.10.11.2；
Consumers.k2.port＝9092；
Consumers.k3.channel＝c2；
Consumers.k3.type＝http；
Consumers.k3.ip＝10.10.12.3；
Consumers.k3.port＝9093；
//还未指定要被处理的数据，保留在存储区域，保留15天
Consumers.k4.channel＝c3；
Consumers.k4.type＝null；
Consumers.k4.retentions＝15days。
请参照图5，图5是本发明实施例一种数据接入装置的结构示意图。
数据接入装置50可以包括：接入单元501、存储单元502和推送单元503。
其中，接入单元501适于接收至少一种数据，所述至少一种数据中，对应不同的数据来源的数据采用相同或不同的传输协议；
存储单元502适于识别所述至少一种数据的基本特征，并根据所述基本特征和预先配置将所述至少一种数据进行分类存储；
推送单元503适于根据所述预先配置和基本特征，将所述至少一种数据中的至少一部分采用对应的推送传输协议推送出去。
具体而言，推送单元503在所述至少一种数据中的至少一部分对应的存储位置获取待推送数据，并推送至所述待推送数据的所述预先配置指定的数据处理服务。
具体实施中，数据接入装置50还可以包括确定单元(图未示)，确定单元适于确定所述预先配置，所述预先配置中包括所述基本特征与存储方式的对应关系，以及所述基本特征与推送传输协议的对应关系。
具体地，所述基本特征可以包括以下一种或多种：数据内容和数据格式。
具体实施中，接收所述至少一种数据和将所述至少一种数据进行分类存储通过事务的方式实现。将所述至少一种数据进行分类存储和将所述至少一种数据推送出去通过事务的方式实现。
本发明实施例的具体实施方式可参照前述相应实施例，此处不再赘述。
本发明实施例还公开了一种数据接入系统，所述数据接入系统包括多个数据接入装置50，多个数据接入装置50可以分布式耦接。
本发明实施例可以通过水平扩展数据接入装置50来提供靠高性能的服务体系。也就是说，数据接入装置50可以分布式部署，无限水平扩展，以支持不断增加的业务需求。例如，可以是随着业务量的不断增加，单台数据接入装置50的性能已经不能满足业务量的需求，那么可以通过合适的增加数据接入装置50的部署满足业务量的需求；同时，增加的数据接入装置50对已部署的数据接入装置50的性能没有影响。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于以计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (11)

1.一种用于大数据的数据接入方法，其特征在于，包括：
接收至少一种数据，所述至少一种数据中，对应不同的数据来源的数据采用相同或不同的传输协议；
识别所述至少一种数据的基本特征，并根据所述基本特征和预先配置将所述至少一种数据进行分类存储；
根据所述预先配置和基本特征，将所述至少一种数据中的至少一部分采用对应的推送传输协议推送出去。
2.根据权利要求1所述的数据接入方法，其特征在于，接收至少一种数据之前还包括：
确定所述预先配置，所述预先配置中包括所述基本特征与存储方式的对应关系以及与推送传输协议的对应关系。
3.根据权利要求1所述的数据接入方法，其特征在于，接收所述至少一种数据和将所述至少一种数据进行分类存储通过事务的方式实现；将所述至少一种数据进行分类存储和将所述至少一种数据推送出去通过事务的方式实现。
4.根据权利要求1所述的数据接入方法，其特征在于，根据所述预先配置和基本特征，将所述至少一种数据中的至少一部分采用对应的推送传输协议推送出去包括：
在所述至少一种数据中的至少一部分对应的存储位置获取待推送数据，并推送至所述待推送数据的所述预先配置指定的数据处理服务。
5.根据权利要求1至4任一项所述的数据接入方法，其特征在于，所述基本特征包括以下一种或多种：数据内容和数据格式。
6.一种数据接入装置，其特征在于，包括：
接入单元，适于接收至少一种数据，所述至少一种数据中，对应不同的数据来源的数据采用相同或不同的传输协议；
存储单元，适于识别所述至少一种数据的基本特征，并根据所述基本特征和预先配置将所述至少一种数据进行分类存储；
推送单元，适于根据所述预先配置和基本特征，将所述至少一种数据中的至少一部分采用对应的推送传输协议推送出去。
7.根据权利要求6所述的数据接入装置，其特征在于，还包括：
确定单元，适于确定所述预先配置，所述预先配置中包括所述基本特征与存储方式的对应关系以及与推送传输协议的对应关系。
8.根据权利要求6所述的数据接入装置，其特征在于，接收所述至少一种数据和将所述至少一种数据进行分类存储通过事务的方式实现；将所述至少一种数据进行分类存储和将所述至少一种数据推送出去通过事务的方式实现。
9.根据权利要求6所述的数据接入装置，其特征在于，所述推送单元在所述至少一种数据中的至少一部分对应的存储位置获取待推送数据，并推送至所述待推送数据的所述预先配置指定的数据处理服务。
10.根据权利要求6至9任一项所述的数据接入装置，其特征在于，所述基本特征包括以下一种或多种：数据内容和数据格式。
11.一种数据接入系统，其特征在于，包括多个如权利要求6至10任一项所述的数据接入装置，所述多个数据接入装置分布式耦接。
CN201610423272.1A 2016-06-15 2016-06-15 用于大数据的数据接入方法、装置及系统 Pending CN105978887A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610423272.1A CN105978887A (zh) 2016-06-15 2016-06-15 用于大数据的数据接入方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610423272.1A CN105978887A (zh) 2016-06-15 2016-06-15 用于大数据的数据接入方法、装置及系统

Publications (1)

Publication Number Publication Date
CN105978887A true CN105978887A (zh) 2016-09-28

Family

ID=57022722

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610423272.1A Pending CN105978887A (zh) 2016-06-15 2016-06-15 用于大数据的数据接入方法、装置及系统

Country Status (1)

Country Link
CN (1) CN105978887A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111770182A (zh) * 2020-06-30 2020-10-13 北京百度网讯科技有限公司 数据推送方法和装置
CN112422613A (zh) * 2020-09-16 2021-02-26 北京中兵数字科技集团有限公司 数据处理方法、数据处理平台和计算机可读存储介质
CN113452667A (zh) * 2021-03-05 2021-09-28 浙江华云信息科技有限公司 一种适用于多种协议类型的边缘物联终端接入方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050030939A1 (en) * 2003-08-07 2005-02-10 Teamon Systems, Inc. Communications system including protocol interface device for use with multiple operating protocols and related methods
CN101846985A (zh) * 2009-03-25 2010-09-29 鸿富锦精密工业（深圳）有限公司 远程数据采集系统及方法
CN104040545A (zh) * 2012-01-06 2014-09-10 苹果公司 基于数据特性的智能数据传输和存储
CN104933173A (zh) * 2015-06-30 2015-09-23 北京京东尚科信息技术有限公司 一种用于异构多数据源的数据处理方法、装置和服务器
CN105119997A (zh) * 2015-08-31 2015-12-02 广州市优普计算机有限公司 云计算系统的数据处理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050030939A1 (en) * 2003-08-07 2005-02-10 Teamon Systems, Inc. Communications system including protocol interface device for use with multiple operating protocols and related methods
CN101846985A (zh) * 2009-03-25 2010-09-29 鸿富锦精密工业（深圳）有限公司 远程数据采集系统及方法
CN104040545A (zh) * 2012-01-06 2014-09-10 苹果公司 基于数据特性的智能数据传输和存储
CN104933173A (zh) * 2015-06-30 2015-09-23 北京京东尚科信息技术有限公司 一种用于异构多数据源的数据处理方法、装置和服务器
CN105119997A (zh) * 2015-08-31 2015-12-02 广州市优普计算机有限公司 云计算系统的数据处理方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111770182A (zh) * 2020-06-30 2020-10-13 北京百度网讯科技有限公司 数据推送方法和装置
CN111770182B (zh) * 2020-06-30 2022-05-31 北京百度网讯科技有限公司 数据推送方法和装置
CN112422613A (zh) * 2020-09-16 2021-02-26 北京中兵数字科技集团有限公司 数据处理方法、数据处理平台和计算机可读存储介质
CN112422613B (zh) * 2020-09-16 2022-02-01 北京中兵数字科技集团有限公司 数据处理方法、数据处理平台和计算机可读存储介质
CN113452667A (zh) * 2021-03-05 2021-09-28 浙江华云信息科技有限公司 一种适用于多种协议类型的边缘物联终端接入方法

Similar Documents

Publication Publication Date Title
WO2021088641A1 (zh) 数据发送方法、处理方法、接收方法及其设备、存储介质
CN111800462B (zh) 微服务实例处理方法、装置、计算机设备及存储介质
CN104283975A (zh) 文件分发方法和装置
CN105550228A (zh) 智能储物装置及基于智能储物装置的存取识别方法、系统
CN103345361A (zh) 一种群组加入方法及相关设备、系统
CN105978887A (zh) 用于大数据的数据接入方法、装置及系统
CN103176795B (zh) 一种基于插件技术在信息分发软件数据过滤中的应用方法
WO2018068703A1 (en) Decentralized distributed database consistency
EP3129965A1 (en) Systems and computer-implemented processes for providing electronic notifications
CN105721538A (zh) 数据访问的方法和装置
KR20150019892A (ko) 무선 통신에 기반한 데이터 송수신 방법 및 장치
KR20150019863A (ko) 무선 통신에 기반한 데이터 송수신 방법 및 장치
CN106202416A (zh) 列表数据写方法和装置、列表数据读取方法和装置
CN101309291A (zh) 终端数据维护的工具和方法
CN103220328A (zh) 数据同步分发方法及装置
CN103281798A (zh) 一种实现修改同步的方法、装置及系统
CN102497441A (zh) 一种手机与计算机之间的信息同步的方法及系统
CN104426838A (zh) 一种互联网缓存调度方法及系统
US10171606B2 (en) System and method for providing data as a service (DaaS) in real-time
CN110428240B (zh) 一种可疑交易自动识别和处理方法、终端和服务器
CN107870982A (zh) 数据处理方法、系统和计算机可读存储介质
CN112367536B (zh) 面向视频文件大数据的rdma混合传输方法、系统及介质
CN106202440A (zh) 数据处理方法、装置及设备
CN105430048A (zh) 一种基于多集群的消息投递系统和消息投递方法
US20140032744A1 (en) Method of comparing outputs in a plurality of information systems

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160928