CN108363741B - 大数据统一接口方法、装置、设备及存储介质 - Google Patents

大数据统一接口方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN108363741B
CN108363741B CN201810058823.8A CN201810058823A CN108363741B CN 108363741 B CN108363741 B CN 108363741B CN 201810058823 A CN201810058823 A CN 201810058823A CN 108363741 B CN108363741 B CN 108363741B
Authority
CN
China
Prior art keywords
access
interface
external
access interface
big data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810058823.8A
Other languages
English (en)
Other versions
CN108363741A (zh
Inventor
许四平
朱子虎
戴珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Life Insurance Company of China Ltd
Original Assignee
Ping An Life Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Life Insurance Company of China Ltd filed Critical Ping An Life Insurance Company of China Ltd
Priority to CN201810058823.8A priority Critical patent/CN108363741B/zh
Publication of CN108363741A publication Critical patent/CN108363741A/zh
Application granted granted Critical
Publication of CN108363741B publication Critical patent/CN108363741B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/258Data format conversion from or to a database

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及大数据应用领域,提供了一种大数据统一接口方法、装置、设备及存储介质,所述方法包括:在服务数据库中建立与大数据源数据库连接的不同类型的访问接口,通过与所述服务数据库连接的外部接口系统获取访问所述服务数据库的外部请求,并根据外部请求获取与外部请求相对应的访问接口;当所述访问接口为多个时,获取所述多个访问接口的访问速度,根据访问速度获取访问接口;将外部请求输入至该访问接口,使所述外部接口系统通过所述访问接口访问所述大数据源数据库。本发明提供的大数据统一接口方法、装置、设备及存储介质,使外部系统在各种网络环境下都能顺利获取数据,减少对服务外部系统的数据库的影响,保证了外部系统的使用需求。

Description

大数据统一接口方法、装置、设备及存储介质
技术领域
本发明属于大数据应用领域,更具体地说,是涉及一种大数据统一接口方法、装置、设备及存储介质。
背景技术
目前需要使用大数据的数据源时,都是通过Sqoop数据导出工具从Hadoop等大数据的数据源中导出到服务数据库,供外部系统使用。其中,Sqoop是一款用于Hadoop和关系型数据库之间数据导入导出的工具,Hadoop是一个分布式系统基础架构。
当Sqoop导出的数据量较大,或者是网络比较拥堵时,就会造成导出数据超时,外部系统无法顺利获取想要的数据,并且会对服务外部系统的数据库造成影响,使数据库变得不稳定,影响其它用户的使用。另外,由于Sqoop工具只能是批量性导出,因此,当大数据的数据源发生变化时,需要重新导出数据,外部系统无法及时获得更新的数据。
因此,亟待一种方法可以使外部系统访问数据时能够在网络拥堵时顺利获取数据,减少对服务外部系统的数据库的影响,保证外部系统正常的使用需求,同时也可以根据需要获取实时的数据。
发明内容
针对现有技术的不足,本发明提供一种数据统一接口方法、装置、设备及存储介质,可以在网络拥堵时顺利获取数据,减少对服务外部系统的数据库的影响,保证外部系统正常的使用需求,同时也可以根据需要获取实时的数据。
本发明是这样实现的:
本发明第一方面提供一种大数据统一接口方法,所述方法包括以下步骤:
在服务数据库中建立与大数据源数据库连接的不同类型的访问接口;
通过与所述服务数据库连接的外部接口系统获取访问所述服务数据库的外部请求,并根据所述外部请求获取与所述外部请求相对应的访问接口;在所述外部请求的数据类型为除键值数据和索引数据之外的其他类型时,所述访问接口为实时访问接口、离线访问接口或者是批量访问接口中的一个或者多个;
当所述访问接口为多个时,获取所述多个访问接口的访问速度,根据所述访问速度获取访问接口;
将所述外部请求输入至所述访问接口,使所述外部接口系统通过所述访问接口访问所述大数据源数据库。
本发明第二方面提供一种大数据统一接口装置,所述接口装置包括:
接口建立模块:用于在服务数据库中建立与大数据源数据库连接的不同类型的访问接口;
请求获取模块:用于通过与所述服务数据库连接的外部接口系统获取访问所述服务数据库的外部请求,并根据所述外部请求获取与所述外部请求相对应的访问接口;在所述外部请求的数据类型为除键值数据和索引数据之外的其他类型时,所述访问接口为实时访问接口、离线访问接口或者是批量访问接口中的一个或者多个;
接口选取模块:用于当所述访问接口为多个时,获取所述多个访问接口的访问速度,根据所述访问速度获取访问接口;
接口访问模块:用于将所述外部请求输入至所述访问接口,使所述外部接口系统通过所述访问接口访问所述大数据源数据库。
本发明第三方面提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如本发明第一方面所述方法的步骤。
本发明第四方面提供一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如本发明第一方面所述方法的步骤。
与现有技术相比,本发明提供的大数据统一接口方法、装置、设备及存储介质,通过在服务数据库中建立不同的访问接口,根据外部请求获取访问接口的访问速度,再根据访问速度获取速度最快的访问接口,将外部请求输入至速度最快的访问接口进行访问,使外部系统能够在各种网络环境下顺利获取数据,减少对服务外部系统的数据库的影响,保证了外部系统的使用需求。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的大数据统一接口方法的流程图;
图2为本发明又一实施例提供的大数据统一接口装置的结构示意图;
图3为本发明又一实施例提供的终端设备的结构示意图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
请参考图1,其示出了本发明实施例提供的大数据统一接口方法的流程图。
大数据统一接口方法包括以下步骤:
步骤S101,在服务数据库中建立与大数据源数据库连接的不同类型的访问接口。
其中,服务数据库指的是一般关系型数据库,用于管理大数据源数据库的元数据信息,优选地,服务数据库为PG库(PostgreSQL,简称PG库),PG库为对象关系型数据库管理系统,用于管理不同数据源的元数据信息、不同外部系统访问权限等。
其中,大数据源数据库包括Elasticsearch、Hbase、Redis等等数据服务。
由于服务数据库访问大数据时,可以有多种访问方式,因此可以在服务数据库中建立不同的访问接口,从而可以用不同的访问方式访问大数据的源数据库。
具体地,在服务数据库中建立但不限于以下访问接口:
建立通过实时方式访问大数据源数据库的实时访问接口,其中,实时方式是指可以获取大数据源数据库实时的数据的访问方式。
可选地,建立Kafka或者Spark streaming等实时方式访问大数据源数据库的实时访问接口。其中,Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据,可以用于构建获取数据的实时流数据管道;Spark是是一个开源集群运算框架,使用内存内运算技术,能在数据尚未写入硬盘时即在内存内分析运算,Spark Streaming是Spark核心的扩展,支持可扩展,高吞吐量,实时数据流的容错流处理。
建立通过离线方式访问大数据源数据库的离线访问接口,其中,离线方式是指获取大数据源数据库不通过网络连接更新的现有数据。
可选地,建立Spark或者Hive离线方式访问大数据源数据库的离线访问接口。其中,Spark可以读取实时数据,也可以读取离线数据;Hive是基于Hadoop的一个数据仓库工具,可以将结构化数据文件映射成一张表,并提供类似SQL的查询功能,适合离线数据分析。
建立键值或者索引方式访问大数据源数据库的键值索引访问接口。其中,键值方式是指通过键值编码来访问数据,键值编码提供了一种用于访问对象属性的键值对机制,键是属性的名称,值就是属性的值;索引方式是指索引顺序访问方法(ISAM,IndexedSequential Access Method),也可以称之为索引顺序存取方法,可以连续地或者任意地记录任何访问。
建立通过批量方式访问大数据源数据库的批量访问接口,其中,批量方式是指获取的数据量较大、具有批量性的数据。
可选地,建立Sqoop批量方式访问大数据源数据库的批量访问接口。其中,Sqoop是一款开源的工具,主要用于在大数据源数据库与传统的关系型数据库间进行数据的传递。
步骤S102,通过与服务数据库连接的外部接口系统获取访问服务数据库的外部请求,并根据外部请求获取与外部请求相对应的访问接口。在所述外部请求的数据类型为除键值数据和索引数据之外的其他类型时,所述访问接口为实时访问接口、离线访问接口或者是批量访问接口中的一个或者多个。
外部系统需要请求数据时,首先发送请求到服务数据库,然后服务数据库根据外部请求从大数据源数据库中调取数据返回给外部系统。
根据不同的使用环境和用户的需求,外部请求的数据类型也包括很多种,例如:键值数据、索引数据、清单数据和汇总数据等;因此,可以建立一个外部接口系统,对外部请求进行采集。
首先,外部接口系统接收外部系统的外部请求;然后,外部接口系统根据外部请求生成一个模拟请求,通过向四个访问接口同时发送指令到大数据源数据库,当某个访问接口可以返回数据时,判定该外部请求可以通过该访问接口进行数据的访问。
服务数据库将所有可以返回数据的访问接口都返回至外部接口系统,使外部系统通过这些访问接口进行数据的访问。
可以理解的是,当外部请求是键值或者是索引类型时,返回的访问接口只有一个:键值索引访问接口。
当外部请求的请求数据类型是其它类型时,返回的数据类型可能为实时访问接口、离线访问接口或者是批量访问接口中的一个或者几个。
例如,当外部请求为数据汇总时,可能返回实时访问接口、离线访问接口和批量访问接口三个访问接口。
步骤S103,当返回的访问接口为多个时,获取多个访问接口的访问速度,根据访问速度获取访问接口。
如前所述,返回的访问接口可以为多个,当返回的访问接口为多个时,需要对访问接口进行进一步的选择。
作为一种实施方式,外部接口系统在生成模拟请求获取数据时,同时获取外部请求返回数据的速度。
可选地,外部接口系统获取的访问接口的访问速度与返回的访问接口一起显示。
可选地,访问速度可以为拥堵或者是畅通这两种类型,与对应的访问接口一起显示。
作为一种实施方式,可以根据访问速度直接选定一个速度最快的访问接口进行数据的访问。例如,返回的访问接口中离线访问接口的速度最快时,自动选择离线访问接口进行访问。
作为一种实施方式,也可以由用户根据访问速度显示的结果进行选择,尊重用户的选择权和实际需要。例如,实时访问接口和离线访问接口都是畅通的访问速度,则用户可以根据自己的需要选择实时访问接口或者离线访问接口进行数据的访问。
可选地,当返回的访问接口只有一种时,直接使用该访问接口进行数据的访问。
例如,当返回的接口只有键值索引访问接口一个访问接口时,直接将外部请求输入至键值索引访问接口进行数据的访问。
可选地,当选择其中一个返回的访问接口时,获取接收数据的时间,若接收的时间超时,返回其它可供选择的访问接口。例如,当外部请求为数据汇总,用户选择实时访问接口进行访问时接收数据超时,返回离线访问接口和批量导出访问接口,用户可以重新选择新的访问接口进行数据的访问。
可选地,外部接口系统可以根据外部请求的格式或者请求的对象对外部请求的访问接口进行预设,即通过优选的方式规定什么样的外部请求用实时访问接口,什么样的外部请求为离线数据类型,什么样的外部请求为批量导出数据,从而当获取到外部请求时就根据预设的方式选择访问接口自动进行数据的访问。
步骤S104,将外部请求输入至被选择的访问接口,使外部接口系统通过该访问接口访问大数据源数据库。
具体地,当实时访问接口被选择时,将外部请求输入到实时访问接口,使外部接口系统通过实时访问接口访问大数据源数据库。可选地,调用Kafka或者Spark streaming访问大数据源数据库返回数据。
当离线访问接口被选择时,将外部请求输入到离线访问接口,使外部接口系统通过离线访问接口访问大数据源数据库。可选地,调用Spark或者Hive访问大数据源数据库返回数据。
当键值索引访问接口被选择时,将外部请求输入键值索引访问接口,使外部接口系统通过键值索引访问接口访问大数据源数据库返回数据。
当使用键值索引访问接口访问数据时,由于返回的都是少量数据,为了提高访问的速度,可以考虑用不同的格式返回数据。可选地,以Json格式返回数据。其中,Json(JavaScript Object Notation,简称Json)是一种轻量级的数据交换语言,可以提高访问大数据源数据库的访问速度。
当批量访问接口被选择时,将外部请求输入批量访问接口,使外部接口系统通过批量访问接口访问大数据源数据库。可选地,调用Sqoop访问大数据源数据库返回数据。
本发明实施例提供的大数据统一接口方法,通过在服务数据库中建立访问大数据源数据库不同的访问接口,根据外部请求获取相对应的访问接口和访问接口的速度,使用户可以根据实际需要选择合适的访问接口进行数据的访问,从而可以顺利从服务数据库获取数据,减少对服务数据库的压力,同时也可以根据需要获取实时的数据,保证了外部系统的使用需求。
以下是本发明的装置实施例,在装置实施例中未详尽描述的细节,可以参考上述对应的方法实施例。
请参考图2,其示出本发明实施例提供的大数据统一接口装置的结构示意图。
大数据统一接口装置20包括:接口建立模块201、请求获取模块202、接口选取模块203和接口访问模块204。
接口建立模块201,用于在服务数据库中建立与大数据源数据库连接的不同类型的访问接口。
其中,服务数据库指的是一般关系型数据库,用于管理大数据源数据库的元数据信息,优选地,服务数据库为PG库(PostgreSQL,简称PG库),PG库为对象关系型数据库管理系统,用于管理不同数据源的元数据信息、不同外部系统访问权限等。
其中,大数据源数据库包括elasticsearch、hbase、redis等等数据服务。
由于服务数据库访问大数据时,可以有多种访问方式,因此可以用接口建立模块201在服务数据库中建立不同的访问接口,用不同的访问方式访问大数据的源数据库。
具体地,接口建立模块201在服务数据库中建立但不限于以下访问接口:
接口建立模块201建立通过实时方式访问大数据源数据库的实时访问接口,其中,实时方式是指可以获取大数据源数据库实时的数据的访问方式。
可选地,接口建立模块201建立Kafka或者Spark streaming等实时方式访问大数据源数据库的实时访问接口;
接口建立模块201建立通过离线方式访问大数据源数据库的离线访问接口,其中,离线方式是指获取大数据源数据库不通过网络连接更新的现有数据。
可选地,接口建立模块201建立Spark或者Hive离线方式访问大数据源数据库的离线访问接口;
接口建立模块201建立键值或者索引方式访问大数据源数据库的键值索引访问接口;
接口建立模块201建立通过批量方式访问大数据源数据库的批量访问接口,其中,批量方式是指从大数据源数据库获取的数据量较大、具有批量性的数据。
可选地,接口建立模块201建立Sqoop批量方式访问大数据源数据库的批量访问接口。
请求获取模块202,用于通过与服务数据库连接的外部接口系统获取访问服务数据库的外部请求,并根据外部请求获取与外部请求相对应的访问接口。在所述外部请求的数据类型为除键值数据和索引数据之外的其他类型时,所述访问接口为实时访问接口、离线访问接口或者是批量访问接口中的一个或者多个。
外部系统需要请求数据时,首先发送请求到服务数据库,然后服务数据库根据外部请求从大数据源数据库中调取数据返回给外部系统。
根据不同的使用环境和用户的需求,外部请求的数据类型也包括很多种,例如:键值数据、索引数据、清单数据和汇总数据等;因此,请求获取模块202可以建立一个外部接口系统,对外部请求进行采集。
首先,请求获取模块202通过外部接口系统接收外部系统的外部请求;然后根据外部请求生成一个模拟请求,向四个访问接口同时发送指令到大数据源数据库,当某个访问接口可以返回数据时,请求获取模块202判定该外部请求可以通过该访问接口进行数据的访问。
请求获取模块202将所有可以返回数据的访问接口都返回至外部接口系统,使外部系统通过这些访问接口进行数据的访问。
可以理解的是,当外部请求是键值或者是索引类型时,请求获取模块202返回的访问接口只有一个:键值索引访问接口。
当外部请求的请求数据类型是其它类型时,请求获取模块202返回的数据类型可能为实时访问接口、离线访问接口或者是批量访问接口中的一个或者几个。
例如,当外部请求为数据汇总时,请求获取模块202可能返回实时访问接口、离线访问接口和批量访问接口三个访问接口。
接口选取模块203,用于当返回的访问接口为多个时,获取多个访问接口的访问速度,根据访问速度获取访问接口。
如前所述,接口选取模块203返回的访问接口可以为多个,当返回的访问接口为多个时,需要对访问接口进行进一步的选择。
作为一种实施方式,接口选取模块203通过外部接口系统生成模拟请求从大数据源数据库获取数据时,同时获取外部请求返回数据的速度。
可选地,接口选取模块203通过外部接口系统获取访问速度与返回的访问接口一起显示。
可选地,访问速度可以为拥堵或者是畅通这两种类型,与对应的访问接口一起显示。
作为一种实施方式,接口选取模块203可以根据访问速度直接选定一个速度最快的访问接口进行数据的访问。例如,返回的访问接口中离线访问接口的速度最快时,自动选择离线访问接口进行访问。
作为一种实施方式,接口选取模块203也可以由用户根据访问速度显示的结果进行选择,尊重用户的选择权和实际需要。例如,实时访问接口和离线访问接口都是畅通的访问速度,则用户可以根据自己的需要选择实时访问接口或者离线访问接口进行数据的访问。
可选地,当返回的访问接口只有一种时,接口选取模块203直接使用该访问接口进行数据的访问。
例如,当返回的接口只有键值索引访问接口一个访问接口时,接口选取模块203直接将外部请求输入至键值索引访问接口进行数据的访问。
可选地,当选择其中一个返回的访问接口时,接口选取模块203获取接收数据的时间,若接收的时间超时,返回其它可供选择的访问接口。例如,当外部请求为数据汇总,用户选择实时访问接口进行访问时接收数据超时,接口选取模块203返回离线访问接口和批量导出访问接口,用户可以重新选择新的访问接口进行数据的访问。
可选地,接口选取模块203可以根据外部请求的格式或者请求的对象对外部请求的访问接口进行预设,即通过优选的方式规定什么样的外部请求用实时访问接口,什么样的外部请求为离线数据类型,什么样的外部请求为批量导出数据,从而当获取到外部请求时就根据预设的方式选择访问接口自动进行数据的访问。
接口访问模块204,用于将外部请求输入至被选择的访问接口,使外部接口系统通过该访问接口访问大数据源数据库。
具体地,当实时访问接口被选择时,接口访问模块204将外部请求输入至实时访问接口,使外部接口系统通过实时访问接口访问大数据源数据库。可选地,接口访问模块204调用Kafka或者Spark streaming访问大数据源数据库返回数据。
当离线访问接口被选择时,接口访问模块204将外部请求输入至离线访问接口,使外部接口系统通过离线访问接口访问大数据源数据库。可选地,接口访问模块204调用Spark或者Hive访问大数据源数据库返回数据。
当键值索引访问接口被选择时,接口访问模块204将外部请求输入至键值索引访问接口,使外部接口系统通过键值索引访问接口访问大数据源数据库返回数据。
当使用键值索引访问接口访问数据时,由于返回的都是少量数据,为了提高访问的速度,可以考虑用不同的格式返回数据。可选地,接口访问模块204以Json格式返回数据,以提高访问大数据源数据库的访问速度。
当批量访问接口被选择时,接口访问模块204将外部请求输入至批量访问接口,使外部接口系统通过批量访问接口访问大数据源数据库。可选地,接口访问模块204调用Sqoop访问大数据源数据库返回数据。
本发明实施例提供的大数据统一接口装置,通过在服务数据库中建立访问大数据源数据库不同的访问接口,根据外部请求获取相对应的访问接口和访问接口的速度,使用户可以根据实际需要选择合适的访问接口进行数据的访问,从而可以顺利从服务数据库获取数据,减少对服务数据库的压力,同时也可以根据需要获取实时的数据,保证了外部系统的使用需求。
本发明另一种实施例提供一计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中的大数据统一接口方法,为避免重复,这里不再赘述。或者,该计算机程序被处理器执行时实现上述实施例中大数据统一接口装置中各模块/单元的功能,为避免重复,这里不再赘述。
请参考图3,其示出了本实施例的终端设备的示意图,终端设备6包括处理器60、存储器61以及存储在存储器61中并可在处理器60上运行的计算机程序62。处理器60执行计算机程序62时实现上述实施例中大数据统一接口方法的各个步骤,例如图1所示的步骤S101、S102、S103和S104。或者,处理器60执行计算机程序62时实现上述实施例中大数据统一接口装置各模块/单元的功能,如图3所示接口建立模块201、请求获取模块202、接口选取模块203和接口访问模块204的功能。
示例性的,计算机程序62可以被分割成一个或多个模块/单元,一个或者多个模块/单元被存储在存储器61中,并由处理器60执行,以完成本发明。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序62在终端设备6中的执行过程。例如,计算机程序62可以被分割成接口建立模块201、请求获取模块202、接口选取模块203和接口访问模块204(虚拟装置中的模块)。
该终端设备6可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。终端设备可包括,但不仅限于,处理器60、存储器61。本领域技术人员可以理解,图3仅仅是终端设备6的示例,并不构成对终端设备6的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器60可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器61可以是终端设备6的内部存储单元,例如终端设备6的硬盘或内存。存储器61也可以是终端设备6的外部存储设备,例如终端设备6上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器61还可以既包括终端设备6的内部存储单元也包括外部存储设备。存储器61用于存储计算机程序以及终端设备所需的其他程序和数据。存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。

Claims (10)

1.一种大数据统一接口方法,其特征在于,包括以下步骤:
在服务数据库中建立与大数据源数据库连接的不同类型的访问接口;
通过与所述服务数据库连接的外部接口系统获取访问所述服务数据库的外部请求,并根据所述外部请求获取与所述外部请求相对应的访问接口;在所述外部请求的数据类型为除键值数据和索引数据之外的其他类型时,所述访问接口为实时访问接口、离线访问接口或者是批量访问接口中的一个或者多个;
当所述访问接口为多个时,获取所述多个访问接口的访问速度,根据所述访问速度获取访问接口;
将所述外部请求输入至所述访问接口,使所述外部接口系统通过所述访问接口访问所述大数据源数据库。
2.如权利要求1所述的大数据统一接口方法,其特征在于,所述在服务数据库中建立与大数据源数据库连接的不同类型的访问接口,包括:
在服务数据库中建立以下访问大数据源数据的访问接口:
通过实时方式的实时访问接口、通过离线方式访问的离线访问接口、通过键值或者索引方式访问的键值索引访问接口和通过批量方式访问的批量访问接口。
3.如权利要求2所述的大数据统一接口方法,其特征在于,所述通过与所述服务数据库连接的外部接口系统获取访问所述服务数据库的外部请求,并根据所述外部请求获取与所述外部请求相对应的访问接口,包括:
建立外部接口系统与所述服务数据库连接,通过所述外部接口系统获取访问所述服务数据库的外部请求;
使所述外部接口系统根据所述外部请求生成一个模拟请求,通过同时向服务数据库的接口发送模拟请求到大数据源数据库,若访问接口返回数据,则判定外部请求可以通过所述访问接口进行数据的访问,将所述访问接口返回至所述外部接口系统。
4.如权利要求3所述的大数据统一接口方法,其特征在于,获取所述访问接口的访问速度,根据所述访问速度获取访问接口,包括:
通过所述模拟请求获取所述访问接口的访问速度,根据所述访问速度获取速度最快的访问接口。
5.如权利要求4所述的大数据统一接口方法,其特征在于,所述将所述外部请求输入至所述访问接口,使所述外部接口系统通过所述访问接口访问所述大数据源数据库,包括:
当将所述外部请求输入所述实时访问接口时,使所述外部接口系统通过所述实时访问接口访问所述大数据源数据库;
当将所述外部请求输入所述离线访问接口时,使所述外部接口系统通过所述离线访问接口访问所述大数据源数据库;
当将所述外部请求输入所述键值索引访问接口时,使所述外部接口系统通过所述键值索引访问接口访问所述大数据源数据库;
当将所述外部请求输入所述批量访问接口时,使所述外部接口系统通过所述批量访问接口访问所述大数据源数据库。
6.一种大数据统一接口装置,其特征在于,所述统一接口装置包括:
接口建立模块:用于在服务数据库中建立与大数据源数据库连接的不同类型的访问接口;
请求获取模块:用于通过与所述服务数据库连接的外部接口系统获取访问所述服务数据库的外部请求,并根据所述外部请求获取与所述外部请求相对应的访问接口;在所述外部请求的数据类型为除键值数据和索引数据之外的其他类型时,所述访问接口为实时访问接口、离线访问接口或者是批量访问接口中的一个或者多个;
接口选取模块:用于当所述访问接口为多个时,获取所述多个访问接口的访问速度,根据所述访问速度获取访问接口;
接口访问模块:用于将所述外部请求输入至所述访问接口,使所述外部接口系统通过所述访问接口访问所述大数据源数据库。
7.如权利要求6所述的大数据统一接口装置,其特征在于,
所述接口建立模块,还用于在服务数据库中建立以下访问大数据源数据的访问接口:通过实时方式的实时访问接口、通过离线方式访问的离线访问接口、通过键值或者索引方式访问的键值索引访问接口和通过批量方式访问的批量访问接口;
所述请求获取模块,还用于建立外部接口系统与所述服务数据库连接,通过所述外部接口系统获取访问所述服务数据库的外部请求;使所述外部接口系统根据所述外部请求生成一个模拟请求,通过同时向服务数据库的接口发送模拟请求到大数据源数据库,若访问接口可以返回数据,则判定外部请求可以通过所述访问接口进行数据的访问,将所述访问接口返回至所述外部接口系统。
8.如权利要求7所述的大数据统一接口装置,其特征在于,所述接口选取模块还用于:通过所述模拟请求获取所述访问接口的访问速度,根据所述访问速度获取速度最快的访问接口。
9.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。
CN201810058823.8A 2018-01-22 2018-01-22 大数据统一接口方法、装置、设备及存储介质 Active CN108363741B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810058823.8A CN108363741B (zh) 2018-01-22 2018-01-22 大数据统一接口方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810058823.8A CN108363741B (zh) 2018-01-22 2018-01-22 大数据统一接口方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN108363741A CN108363741A (zh) 2018-08-03
CN108363741B true CN108363741B (zh) 2021-01-26

Family

ID=63006663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810058823.8A Active CN108363741B (zh) 2018-01-22 2018-01-22 大数据统一接口方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN108363741B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109388611B (zh) * 2018-09-04 2021-09-10 成都四方伟业软件股份有限公司 一种基于统一接口的大数据策略化储存系统
CN111259047A (zh) * 2018-12-03 2020-06-09 顺丰科技有限公司 数据加载方法、装置、设备及其存储介质
CN111708750A (zh) * 2019-12-27 2020-09-25 山东鲁能软件技术有限公司 一种基于大数据平台存储适配方法,系统,设备及可读存储介质
CN112948302B (zh) * 2021-03-02 2022-11-08 广州海量数据库技术有限公司 一种基于本地接口来访问外部数据库的方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101004742A (zh) * 2006-01-17 2007-07-25 中兴通讯股份有限公司 嵌入式环境下内存数据库的一致性保护方法
CN101071435A (zh) * 2007-06-08 2007-11-14 中兴通讯股份有限公司 一种基于嵌入式数据库的分布式访问方法
EP1898321B1 (en) * 1999-08-05 2015-04-08 Oracle International Corporation Internet file system
CN105354328A (zh) * 2015-11-25 2016-02-24 南京莱斯信息技术股份有限公司 一种解决NoSQL数据库并发访问冲突的系统及方法
CN106503173A (zh) * 2016-10-24 2017-03-15 上海携程商务有限公司 Kv数据库访问方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060271575A1 (en) * 2005-05-25 2006-11-30 Harris Steven T Clustered object state using field set operations

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1898321B1 (en) * 1999-08-05 2015-04-08 Oracle International Corporation Internet file system
CN101004742A (zh) * 2006-01-17 2007-07-25 中兴通讯股份有限公司 嵌入式环境下内存数据库的一致性保护方法
CN101071435A (zh) * 2007-06-08 2007-11-14 中兴通讯股份有限公司 一种基于嵌入式数据库的分布式访问方法
CN105354328A (zh) * 2015-11-25 2016-02-24 南京莱斯信息技术股份有限公司 一种解决NoSQL数据库并发访问冲突的系统及方法
CN106503173A (zh) * 2016-10-24 2017-03-15 上海携程商务有限公司 Kv数据库访问方法及装置

Also Published As

Publication number Publication date
CN108363741A (zh) 2018-08-03

Similar Documents

Publication Publication Date Title
CN109086409B (zh) 微服务数据处理方法、装置、电子设备及计算机可读介质
CN107451109B (zh) 报表生成方法及系统
CN109471863B (zh) 基于分布式数据库的信息查询方法及装置、电子设备
US20200050612A1 (en) Supporting additional query languages through distributed execution of query engines
US20200065303A1 (en) Addressing memory limits for partition tracking among worker nodes
CN108363741B (zh) 大数据统一接口方法、装置、设备及存储介质
US10838964B2 (en) Supporting a join operation against multiple NoSQL databases
CN109885786B (zh) 数据缓存处理方法、装置、电子设备及可读存储介质
CN110489440B (zh) 数据查询方法和装置
CN111258978B (zh) 一种数据存储的方法
CN114356921A (zh) 数据处理方法、装置、服务器及存储介质
CN112685499A (zh) 一种工作业务流的流程数据同步方法、装置及设备
US11704327B2 (en) Querying distributed databases
CN113190517B (zh) 数据集成方法、装置、电子设备和计算机可读介质
CN110069565B (zh) 一种分布式数据库数据批量处理的方法及装置
US10628416B2 (en) Enhanced database query processing
US11727022B2 (en) Generating a global delta in distributed databases
CN111078736A (zh) 一种数据聚合处理方法、装置、终端及存储介质
CN111552715A (zh) 用户查询方法和装置
US11636111B1 (en) Extraction of relationship graphs from relational databases
Guo et al. Research on Big Data Acquisition Method Based on Mapreduce Algorithm
US11842077B2 (en) Method, device, and computer program product for transmitting data for object storage
US11550793B1 (en) Systems and methods for spilling data for hash joins
US20210349902A1 (en) Database query processing
JP7451697B2 (ja) データ記憶方法、装置、クエリ方法、電子機器および可読媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant