CN109992596A - 数据处理方法及装置 - Google Patents
数据处理方法及装置 Download PDFInfo
- Publication number
- CN109992596A CN109992596A CN201910138646.9A CN201910138646A CN109992596A CN 109992596 A CN109992596 A CN 109992596A CN 201910138646 A CN201910138646 A CN 201910138646A CN 109992596 A CN109992596 A CN 109992596A
- Authority
- CN
- China
- Prior art keywords
- target
- data
- database
- target database
- query
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
本发明提出一种数据处理方法及装置,由于大数据平台增设了HTTP接口,外部的业务系统便可通过该HTTP接口与大数据平台进行数据交互,实现获取存储在大数据平台的MySQL、Kudu、MongoDB、OpenTSDB、Druid、HBase等数据库中的存储数据以进行相应的业务处理。由于HTTP接口的简单易学、易懂易用,对开发外部的业务系统的前端开发人员来说,可以快速便捷地实现外部的业务系统的前端具备调用大数据平台中的数据的功能,无需前端开发人员掌握大数据平台的工作原理,以及开发相应的驱动或编写对应的读取代码来调用大数据平台中的各个数据库,极大地降低了人力、物力的耗费,提升了外部的业务系统的开发效率。
Description
技术领域
本发明涉及大数据技术领域,尤其涉及一种数据处理方法及装置。
背景技术
随着大数据技术的发展,越来越多的互联网公司致力于开发大数据平台,大数据平台能够帮助企业级用户快速在业务场景中应用大数据,助力业务发展和产业升级。
大数据平台提供了多种多样的数据库来存储不同特点的数据。例如,单表数据量在100万条以下的经营数据可以存储在MySQL中,MySQL是关系型数据库管理系统;单表数据量在100万条以上的经营数据可以存储在Kudu中,Kudu是Cloudera开源的新型列式存储系统;图片、文档类数据等可以存储在MongoDB中,MongoDB是一个基于分布式文件存储的数据库,设备上传的实时物联数据可以存储在OpenTSDB中,OpenTSDB是基于Hbase的分布式的、可伸缩的时间序列数据库;对实时物联数据进行聚合的数据可以存储在Druid中,Druid是一个用于大数据实时查询和分析的高容错、高性能开源分布式系统;爬虫爬取的数据、半结构化数据或非结构化数据等可以存储在HBase中,HBase是一个分布式的、面向列的开源数据库。
目前,由于不同的数据库其对应的驱动和读写代码不同,前端开发人员想要从MySQL、Kudu、MongoDB、OpenTSDB、Druid、HBase等数据库中读取数据进行再次开发,需要前端开发人员掌握足够的大数据技术和具备开发相应的驱动或编写对应的读取代码的能力,耗费大量的人力和物力,影响前端开发效率,因此,如何提升前端开发效率成为亟待解决的技术问题。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本发明的第一个目的在于提出一种数据处理方法。
本发明的第二个目的在于提出一种数据处理装置。
本发明的第三个目的在于提出一种计算机设备。
本发明的第四个目的在于提出一种计算机可读存储介质。
为达上述目的,本发明第一方面实施例提出了一种数据处理方法,包括:
通过HTTP接口接收查询业务数据的HTTP请求并解析,获取标识信息和目标数据格式的查询条件信息;
根据所述标识信息确定目标数据库;
将所述目标数据格式的查询条件信息转换成所述目标数据库对应的目标查询条件;
在所述目标数据库中获取与所述目标查询条件匹配的查询结果;
将所述查询结果转换成所述目标数据格式的所述业务数据。
进一步地,所述HTTP请求还包括用户权限数据,
在所述根据所述标识信息确定目标数据库之后,还包括:
根据所述用户权限数据验证用户是否有查询所述目标数据库的权限;
在确定用户有查询所述目标数据库的权限时,执行所述将所述目标数据格式的查询条件信息转换成所述目标数据库对应的目标查询条件的步骤。
进一步地,所述根据所述标识信息确定目标数据库,包括:
确定所述标识信息对应的目标数据源;
将与所述目标数据源对应的数据库确定为目标数据库。
进一步地,所述目标数据格式为JSON格式。
本发明实施例提供的数据处理方法,通过接收查询业务数据的HTTP请求并解析,获取标识信息和目标数据格式的查询条件信息;根据所述标识信息确定目标数据库;将所述目标数据格式的查询条件信息转换成所述目标数据库对应的目标查询条件;在所述目标数据库中获取与所述目标查询条件匹配的查询结果;将所述查询结果转换成所述目标数据格式的所述业务数据。由于大数据平台增设了HTTP接口,外部的业务系统便可通过该HTTP接口与大数据平台进行数据交互,实现获取存储在大数据平台的MySQL、Kudu、MongoDB、OpenTSDB、Druid、HBase等数据库中的存储数据以进行相应的业务处理。由于HTTP接口的简单易学、易懂易用,对开发外部的业务系统的前端开发人员来说,可以快速便捷地实现外部的业务系统的前端具备调用大数据平台中的数据的功能,无需前端开发人员掌握大数据平台的工作原理,以及开发相应的驱动或编写对应的读取代码来调用大数据平台中的各个数据库,极大地降低了人力、物力的耗费,提升了外部的业务系统的开发效率。
为达上述目的,本发明第二方面实施例提出了一种数据处理装置,包括:
获取模块,用于通过HTTP接口接收查询业务数据的HTTP请求并解析,获取标识信息和目标数据格式的查询条件信息;
处理模块,用于根据所述标识信息确定目标数据库;
处理模块,还用于将所述目标数据格式的查询条件信息转换成所述目标数据库对应的目标查询条件;
处理模块,还用于在所述目标数据库中获取与所述目标查询条件匹配的查询结果;
所述处理模块,还用于将所述查询结果转换成目标数据格式的所述业务数据。
进一步地,所述HTTP请求还包括用户权限数据,所述处理模块,还用于在所述根据所述标识信息确定目标数据库之后,根据所述用户权限数据验证用户是否有查询所述目标数据库的权限;
在确定用户有查询所述目标数据库的权限时,执行所述将所述目标数据格式的查询条件信息转换成所述目标数据库对应的目标查询条件的步骤。
进一步地,所述处理模块具体用于:确定所述标识信息对应的目标数据源;将与所述目标数据源对应的数据库确定为目标数据库。
进一步地,所述目标数据格式为JSON格式。
本发明实施例提供的数据处理装置,通过接收查询业务数据的HTTP请求并解析,获取标识信息和目标数据格式的查询条件信息;根据所述标识信息确定目标数据库;将所述目标数据格式的查询条件信息转换成所述目标数据库对应的目标查询条件;在所述目标数据库中获取与所述目标查询条件匹配的查询结果;将所述查询结果转换成所述目标数据格式的所述业务数据。由于大数据平台增设了HTTP接口,外部的业务系统便可通过该HTTP接口与大数据平台进行数据交互,实现获取存储在大数据平台的MySQL、Kudu、MongoDB、OpenTSDB、Druid、HBase等数据库中的存储数据以进行相应的业务处理。由于HTTP接口的简单易学、易懂易用,对开发外部的业务系统的前端开发人员来说,可以快速便捷地实现外部的业务系统的前端具备调用大数据平台中的数据的功能,无需前端开发人员掌握大数据平台的工作原理,以及开发相应的驱动或编写对应的读取代码来调用大数据平台中的各个数据库,极大地降低了人力、物力的耗费,提升了外部的业务系统的开发效率。
为达上述目的,本发明第三方面实施例提出了计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上所述的数据处理方法。
为了实现上述目的,本发明第四方面实施例提出了一种计算机可读存储介质,当所述存储介质中的指令被处理器执行时,实现如上所述的数据处理方法。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明实施例提供的一种数据处理方法的流程示意图;
图2为本发明实施例提供的又一种数据处理方法的流程示意图;
图3为本发明实施例提供的一种数据处理装置的结构示意图;
图4为本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的数据处理方法及装置。
图1为本发明实施例提供的一种数据处理方法的流程示意图。本实施例提供了一种数据处理方法,其执行主体为数据处理装置,该执行主体由硬件和/或软件组成。
如图1所示,该数据处理方法,包括以下步骤:
S101、通过HTTP接口接收查询业务数据的HTTP请求并解析,获取标识信息和目标数据格式的查询条件信息。
本实施例中,业务数据事先已经存储在大数据平台的数据库中。例如,经营分析类的业务数据存储在MySQL中,海量经营分析类的业务数据存储在Kudu中,图片视频类的业务数据存储在MongoDB中,物联时序类的业务数据存储在OpenTSDB中,物联聚合类的业务数据存储在Druid中,爬虫爬取的数据、半结构化数据或非结构化数据等业务数据存储在HBase。
本实施例中,大数据平台通过HTTP接口来接收外部的业务系统所发送的查询业务数据的HTTP请求,其中,外部的业务系统可以理解为大数据平台的前端系统,该外部的业务系统需要存储在大数据平台中的业务数据进行相应的业务处理。
具体地,外部的业务系统向大数据平台发送查询业务数据的HTTP请求,大数据平台接收并解析该HTTP请求,获取HTTP请求中所携带的业务数据的标识信息和目标数据格式的查询条件信息等。其中,业务数据的标识信息可以理解为业务数据的名称,例如,标识信息为财务数据。目标数据格式可以是JSON格式,但并不以此为限。目标数据格式的查询条件信息例如为"filter":{"fields":[{"field":"date","type":"in","values":["2018.08.29"]}],该语句释义为筛选出日期为2018年8月29日的相关数据。
本实施例中,由于大数据平台增设了HTTP接口,外部的业务系统便可通过该HTTP接口与大数据平台进行数据交互,实现获取存储在大数据平台的MySQL、Kudu、MongoDB、OpenTSDB、Druid、HBase等数据库中的存储数据以进行相应的业务处理。
而现有技术中,前端开发人员要实现外部的业务系统具备调用大数据平台的MySQL、Kudu、MongoDB、OpenTSDB、Druid、HBase等数据库中的数据的功能,需要了解大数据平台的工作原理,并开发相应的驱动或编写对应的读取代码,开发效率低下。例如,要实现所开发的外部的业务系统局部调用MySQL中的数据的功能,需要新建工程、安装MySQL驱动包、编写jdbc连接、编写sql脚本、建立连接并进行查询、返回查询数据。显然,需要开发外部的业务系统的前端开发人员掌握SQL查询语音和大数据平台的工作原理等,学习如何开发MySQL驱动、学习SQL查询语言以编写SQL脚本,开发效率低下。
本实施例中,由于HTTP接口的简单易学、易懂易用,对开发外部的业务系统的前端开发人员来说,可以快速便捷地实现外部的业务系统的前端具备调用大数据平台中的数据的功能,无需前端开发人员掌握大数据平台的工作原理,以及开发相应的驱动或编写对应的读取代码来调用大数据平台中的各个数据库,极大地降低了人力、物力的耗费,提升了外部的业务系统的开发效率。
本实施例中,大数据平台在接收到查询业务数据的HTTP请求之后,对该HTTP请求进行解析,接着,根据HTTP请求中所携带的业务数据的标识信息确定已存储业务数据的目标数据库;由于不同的目标数据库需要采用不同的方式调用其所存储的数据,在查询目标数据库之前,将HTTP请求中所携带的目标数据格式的查询条件信息进行适应性地转换,转换成目标数据库对应的目标查询条件;接着,在目标数据库查询与目标查询条件匹配的查询结果;在向外部的业务系统返回查询结果之前,先将查询结果转换成目标数据格式的业务数据,再通过HTTP接口向外部的业务系统返回目标数据格式的业务数据。
S102、根据所述标识信息确定目标数据库。
本实施例中,根据待查询的业务数据的标识信息可以确定已存储业务数据的目标数据库。具体地,确定所述标识信息对应的目标数据源;将与所述目标数据源对应的数据库确定为目标数据库。例如,业务数据的标识信息为财务数据,该财务数据存储在财务资源库中,财务资源库存储在MySQL中。其中,财务资源库为财务数据的目标数据源,MySQL中为财务资源库。
需要指出的是,事先建立了业务数据的标识信息与数据源的对应关系,例如,财务数据对应的数据源为财务资源库,人力数据对应的数据源为人力资源库,图片数据对应的数据源为图片视频库。
需要指出的是,事先建立了数据源与数据库的对应关系,例如,财务资源库、人力资源库存储在MySQL中,图片视频库存储在MongoDB中等。在确定了目标数据源之后,基于数据源与数据库的对应关系可以确定与目标数据源对应的目标数据库。
S103、将所述目标数据格式的查询条件信息转换成所述目标数据库对应的目标查询条件。
S104、在所述目标数据库中获取与所述目标查询条件匹配的查询结果。
本实施例中,不同的目标数据库需要采用不同的方式调用其所存储的数据。例如,要调用MySQL中的数据,需要将目标数据格式的查询条件信息转换成以SQL(结构化查询语言,Structured Query Language)语句表达的目标查询条件;要调用Kudu中的数据,需要将目标数据格式的查询条件信息转换成以基于Impala所开发的SQL(结构化查询语言,Structured Query Language)语句表达的目标查询条件;要调用OpenTSDB或Druid中的数据,由于OpenTSDB和Druid可以接收HTTP请求并返回对应的HTTP响应,直接在OpenTSDB或Druid查询目标数据格式的查询条件信息对应的查询结果;要调用HBase中的数据,由于HBase通过Java API接收访问请求并返回响应数据,可以将目标数据格式的查询条件信息转换成Java代码形式的目标查询条件,在HBase查询Java代码形式的目标查询条件以得到对应的查询结果。需要指出的是,关于如何从MySQL、Kudu、MongoDB、OpenTSDB、Druid、HBase等数据库中调用数据的更多介绍详见相关技术。
S105、将所述查询结果转换成所述目标数据格式的所述业务数据。
本实施例中,在向外部的业务系统返回查询结果之前,先将查询结果转换成目标数据格式的业务数据,再通过HTTP接口向外部的业务系统返回目标数据格式的业务数据。由于大数据平台的各个数据库的查询结果都统一成了目标数据格式的业务数据,能够方便外部的业务系统的后续应用。
本发明实施例提供的数据处理方法,通过接收查询业务数据的HTTP请求并解析,获取标识信息和目标数据格式的查询条件信息;根据所述标识信息确定目标数据库;将所述目标数据格式的查询条件信息转换成所述目标数据库对应的目标查询条件;在所述目标数据库中获取与所述目标查询条件匹配的查询结果;将所述查询结果转换成所述目标数据格式的所述业务数据。由于大数据平台增设了HTTP接口,外部的业务系统便可通过该HTTP接口与大数据平台进行数据交互,实现获取存储在大数据平台的MySQL、Kudu、MongoDB、OpenTSDB、Druid、HBase等数据库中的存储数据以进行相应的业务处理。由于HTTP接口的简单易学、易懂易用,对开发外部的业务系统的前端开发人员来说,可以快速便捷地实现外部的业务系统的前端具备调用大数据平台中的数据的功能,无需前端开发人员掌握大数据平台的工作原理,以及开发相应的驱动或编写对应的读取代码来调用大数据平台中的各个数据库,极大地降低了人力、物力的耗费,提升了外部的业务系统的开发效率。
进一步地,结合参考图2,在图1所示的实施例的基础上,所述HTTP请求还包括用户权限数据,所述方法在步骤S102之后,在步骤S103之前,还包括以下步骤:
S106、根据所述用户权限数据验证用户是否有查询所述目标数据库的权限,在确定用户有查询所述目标数据库的权限时,执行步骤S103。
本实施例中,为了防止未授权的用户调用大数据平台的数据库中的数据,验证用户是否有查询目标数据库的权限,若有,则执行步骤S103,若没有,则结束,拒绝查询目标数据库。
本发明实施例提供的数据处理方法,由于HTTP接口的简单易学、易懂易用,对开发外部的业务系统的前端开发人员来说,可以快速便捷地实现外部的业务系统的前端具备调用大数据平台中的数据的功能,无需前端开发人员掌握大数据平台的工作原理,以及开发相应的驱动或编写对应的读取代码来调用大数据平台中的各个数据库,极大地降低了人力、物力的耗费,提升了外部的业务系统的开发效率。进一步地,在查询目标数据库之前,验证用户是否有查询目标数据库的权限,以防止未授权的用户调用大数据平台的数据库中的数据,提高了数据的安全性。
图3为本发明实施例提供的一种数据处理装置的结构示意图。本实施例提供了一种数据处理装置,该装置是数据处理方法的执行主体,该执行主体由硬件和/或软件组成。
如图3所示,该数据处理装置包括:获取模块11、处理模块12。
获取模块11,用于通过HTTP接口接收查询业务数据的HTTP请求并解析,获取标识信息和目标数据格式的查询条件信息。
处理模块12,用于根据所述标识信息确定目标数据库。
处理模块12,还用于将所述目标数据格式的查询条件信息转换成所述目标数据库对应的目标查询条件。
处理模块12,还用于在所述目标数据库中获取与所述目标查询条件匹配的查询结果。
所述处理模块12,还用于将所述查询结果转换成目标数据格式的所述业务数据。
进一步地,所述HTTP请求还包括用户权限数据,所述处理模块12,还用于在所述根据所述标识信息确定目标数据库之后,根据所述用户权限数据验证用户是否有查询所述目标数据库的权限;
在确定用户有查询所述目标数据库的权限时,执行所述将所述目标数据格式的查询条件信息转换成所述目标数据库对应的目标查询条件的步骤。
进一步地,所述处理模块12具体用于:确定所述标识信息对应的目标数据源;将与所述目标数据源对应的数据库确定为目标数据库。
进一步地,所述目标数据格式为JSON格式。
需要说明的是,前述对数据处理方法实施例的解释说明也适用于该实施例的数据处理装置,此处不再赘述。
本发明实施例提供的数据处理装置,通过接收查询业务数据的HTTP请求并解析,获取标识信息和目标数据格式的查询条件信息;根据所述标识信息确定目标数据库;将所述目标数据格式的查询条件信息转换成所述目标数据库对应的目标查询条件;在所述目标数据库中获取与所述目标查询条件匹配的查询结果;将所述查询结果转换成所述目标数据格式的所述业务数据。由于大数据平台增设了HTTP接口,外部的业务系统便可通过该HTTP接口与大数据平台进行数据交互,实现获取存储在大数据平台的MySQL、Kudu、MongoDB、OpenTSDB、Druid、HBase等数据库中的存储数据以进行相应的业务处理。由于HTTP接口的简单易学、易懂易用,对开发外部的业务系统的前端开发人员来说,可以快速便捷地实现外部的业务系统的前端具备调用大数据平台中的数据的功能,无需前端开发人员掌握大数据平台的工作原理,以及开发相应的驱动或编写对应的读取代码来调用大数据平台中的各个数据库,极大地降低了人力、物力的耗费,提升了外部的业务系统的开发效率。进一步地,在查询目标数据库之前,验证用户是否有查询目标数据库的权限,以防止未授权的用户调用大数据平台的数据库中的数据,提高了数据的安全性。
图4为本发明实施例提供的一种计算机设备的结构示意图。该计算机设备包括:
存储器1001、处理器1002及存储在存储器1001上并可在处理器1002上运行的计算机程序。
处理器1002执行所述程序时实现上述实施例中提供的数据处理方法。
进一步地,计算机设备还包括:
通信接口1003,用于存储器1001和处理器1002之间的通信。
存储器1001,用于存放可在处理器1002上运行的计算机程序。
存储器1001可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
处理器1002,用于执行所述程序时实现上述实施例所述的数据处理方法。
如果存储器1001、处理器1002和通信接口1003独立实现,则通信接口1003、存储器1001和处理器1002可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(Industry Standard Architecture,简称为ISA)总线、外部设备互连(Peripheral Component,简称为PCI)总线或扩展工业标准体系结构(Extended IndustryStandard Architecture,简称为EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图4中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
可选的,在具体实现上,如果存储器1001、处理器1002及通信接口1003,集成在一块芯片上实现,则存储器1001、处理器1002及通信接口1003可以通过内部接口完成相互间的通信。
处理器1002可能是一个中央处理器(Central Processing Unit,简称为CPU),或者是特定集成电路(Application Specific Integrated Circuit,简称为ASIC),或者是被配置成实施本发明实施例的一个或多个集成电路。
本实施例还提供一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如上所述的数据处理方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种数据处理方法,其特征在于,包括:
通过HTTP接口接收查询业务数据的HTTP请求并解析,获取标识信息和目标数据格式的查询条件信息;
根据所述标识信息确定目标数据库;
将所述目标数据格式的查询条件信息转换成所述目标数据库对应的目标查询条件;
在所述目标数据库中获取与所述目标查询条件匹配的查询结果;
将所述查询结果转换成所述目标数据格式的所述业务数据。
2.根据权利要求1所述的方法,其特征在于,所述HTTP请求还包括用户权限数据,
在所述根据所述标识信息确定目标数据库之后,还包括:
根据所述用户权限数据验证用户是否有查询所述目标数据库的权限;
在确定用户有查询所述目标数据库的权限时,执行所述将所述目标数据格式的查询条件信息转换成所述目标数据库对应的目标查询条件的步骤。
3.根据权利要求1所述的方法,其特征在于,所述根据所述标识信息确定目标数据库,包括:
确定所述标识信息对应的目标数据源;
将与所述目标数据源对应的数据库确定为目标数据库。
4.根据权利要求1所述的方法,其特征在于,所述目标数据格式为JSON格式。
5.一种数据处理装置,其特征在于,包括:
获取模块,用于通过HTTP接口接收查询业务数据的HTTP请求并解析,获取标识信息和目标数据格式的查询条件信息;
处理模块,用于根据所述标识信息确定目标数据库;
处理模块,还用于将所述目标数据格式的查询条件信息转换成所述目标数据库对应的目标查询条件;
处理模块,还用于在所述目标数据库中获取与所述目标查询条件匹配的查询结果;
所述处理模块,还用于将所述查询结果转换成目标数据格式的所述业务数据。
6.根据权利要求5所述的装置,其特征在于,所述HTTP请求还包括用户权限数据,所述处理模块,还用于在所述根据所述标识信息确定目标数据库之后,根据所述用户权限数据验证用户是否有查询所述目标数据库的权限;
在确定用户有查询所述目标数据库的权限时,执行所述将所述目标数据格式的查询条件信息转换成所述目标数据库对应的目标查询条件的步骤。
7.根据权利要求5所述的装置,其特征在于,所述处理模块具体用于:确定所述标识信息对应的目标数据源;将与所述目标数据源对应的数据库确定为目标数据库。
8.根据权利要求5所述的装置,其特征在于,所述目标数据格式为JSON格式。
9.一种计算机设备,其特征在于,包括:
存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-4中任一所述的数据处理方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-4中任一所述的数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910138646.9A CN109992596A (zh) | 2019-02-25 | 2019-02-25 | 数据处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910138646.9A CN109992596A (zh) | 2019-02-25 | 2019-02-25 | 数据处理方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109992596A true CN109992596A (zh) | 2019-07-09 |
Family
ID=67130338
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910138646.9A Pending CN109992596A (zh) | 2019-02-25 | 2019-02-25 | 数据处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109992596A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113886481A (zh) * | 2021-12-06 | 2022-01-04 | 北京宇信科技集团股份有限公司 | 一种数据库访问方法和系统 |
CN117407445A (zh) * | 2023-10-27 | 2024-01-16 | 上海势航网络科技有限公司 | 一种车联网数据平台数据存储方法、系统及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012114881A (ja) * | 2010-11-29 | 2012-06-14 | Mitsubishi Electric Corp | 監視記録装置 |
US20160283728A1 (en) * | 2015-03-26 | 2016-09-29 | Microsoft Technology Licensing, Llc | Database server and client for query processing on encrypted data |
CN106844485A (zh) * | 2016-12-23 | 2017-06-13 | 航天星图科技(北京)有限公司 | 一种企业异构数据库智能集成的系统及方法 |
CN107291826A (zh) * | 2017-05-26 | 2017-10-24 | 北京金山安全管理系统技术有限公司 | 文件搜索处理方法及装置 |
CN108108439A (zh) * | 2017-12-21 | 2018-06-01 | 北京奇艺世纪科技有限公司 | 一种数据查询方法、装置及电子设备 |
CN108664613A (zh) * | 2018-05-11 | 2018-10-16 | 中国平安人寿保险股份有限公司 | 数据查询方法、装置、计算机设备及存储介质 |
-
2019
- 2019-02-25 CN CN201910138646.9A patent/CN109992596A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012114881A (ja) * | 2010-11-29 | 2012-06-14 | Mitsubishi Electric Corp | 監視記録装置 |
US20160283728A1 (en) * | 2015-03-26 | 2016-09-29 | Microsoft Technology Licensing, Llc | Database server and client for query processing on encrypted data |
CN106844485A (zh) * | 2016-12-23 | 2017-06-13 | 航天星图科技(北京)有限公司 | 一种企业异构数据库智能集成的系统及方法 |
CN107291826A (zh) * | 2017-05-26 | 2017-10-24 | 北京金山安全管理系统技术有限公司 | 文件搜索处理方法及装置 |
CN108108439A (zh) * | 2017-12-21 | 2018-06-01 | 北京奇艺世纪科技有限公司 | 一种数据查询方法、装置及电子设备 |
CN108664613A (zh) * | 2018-05-11 | 2018-10-16 | 中国平安人寿保险股份有限公司 | 数据查询方法、装置、计算机设备及存储介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113886481A (zh) * | 2021-12-06 | 2022-01-04 | 北京宇信科技集团股份有限公司 | 一种数据库访问方法和系统 |
CN117407445A (zh) * | 2023-10-27 | 2024-01-16 | 上海势航网络科技有限公司 | 一种车联网数据平台数据存储方法、系统及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111049878B (zh) | 微服务调用链具象化的方法、装置、电子装置及存储介质 | |
CN107948314A (zh) | 基于规则文件的业务处理方法、装置及服务器 | |
CN110827008A (zh) | 一种区块链节点和交易方法 | |
US20060271549A1 (en) | Method and apparatus for central master indexing | |
US20150302110A1 (en) | Decoupling front end and back end pages using tags | |
CN106547766A (zh) | 一种数据访问方法和装置 | |
CN107644286A (zh) | 工作流处理方法及装置 | |
US20110131247A1 (en) | Semantic Management Of Enterprise Resourses | |
CN109656986A (zh) | 一种业务数据汇总的辅助方法、装置及电子设备 | |
CN105574334A (zh) | 医疗信息处理方法和系统 | |
CN109992596A (zh) | 数据处理方法及装置 | |
CN104966190A (zh) | 一种网络支付方法和装置 | |
CN110069739A (zh) | 页面预加载方法及装置 | |
EP1179789A2 (en) | Method and system for accessing information on a network | |
Padmanabhan et al. | Tool-supported verification of product line requirements | |
CN112035676B (zh) | 用户操作行为知识图谱构建方法及装置 | |
CN107547944A (zh) | 接口实现方法及装置、机顶盒 | |
US6442572B2 (en) | Method of and computer system for performing a transaction on a database | |
CN108363655A (zh) | 用户行为特征分析方法及装置 | |
US9342581B2 (en) | System to disclose the internal structure of persistent database objects | |
US20130086462A1 (en) | Method and System for Retrieving Legal Data for User Interface Form Generation by Merging Syntactic and Semantic Contraints | |
CN109947715A (zh) | 日志告警方法及装置 | |
CN111159262A (zh) | 自动驾驶仿真数据处理方法和装置 | |
CN109408368A (zh) | 一种测试辅助信息的输出方法、存储介质和服务器 | |
CN111427571A (zh) | 一种数据校验方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190709 |