CN108536761B - 报表数据查询方法及服务器 - Google Patents
报表数据查询方法及服务器 Download PDFInfo
- Publication number
- CN108536761B CN108536761B CN201810233899.XA CN201810233899A CN108536761B CN 108536761 B CN108536761 B CN 108536761B CN 201810233899 A CN201810233899 A CN 201810233899A CN 108536761 B CN108536761 B CN 108536761B
- Authority
- CN
- China
- Prior art keywords
- report
- query
- directory
- report data
- virtual machine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明适用于数据处理技术领域,提供了报表数据查询方法和服务器,该方法包括:搭建报表数据同步链路,通过goldengate方式将报表数据实时同步到目标数据库中;获取用户输入的查询请求,所述查询请求包括查询起止时间和用户;从所述目标数据库中获取与所述查询起止时间和所述用户对应的报表数据,并将获取到的报表数据进行数据处理后通过预设的文件格式输出报表。上述方法和服务器能够对报表数据的实时查询。
Description
技术领域
本发明属于数据处理技术领域,尤其涉及报表数据查询方法及服务器。
背景技术
目前的报表大部分都是离线数据,一般当天展示前一天的报表数据。而随着业务前端的营销活动的不断开展,越来越多的销售及领导希望准实时了解当前营销活动的销售情况,从而能够及时调整管理战略方案。因此传统的离线模式显然满足不了当前这种需求。
发明人在实现本发明的过程中发现现有技术至少存在以下不足:传统的报表数据展示方案只能支持一个数据报表的实时同步,而且数据丢失后重复消费容易出问题,加上报表层面的业务口径非常复杂,导致无法实现多种报表数据的同步,进而导致无法对所需的报表数据进行实时查询。
发明内容
有鉴于此,本发明实施例提供了报表数据查询方法及服务器,以解决现有技术中报表数据同步实现困难导致无法实时查询的问题。
本发明实施例的第一方面提供了一种报表数据查询方法,包括:
搭建报表数据同步链路,通过goldengate方式将报表数据实时同步到目标数据库中;
获取用户输入的查询请求,所述查询请求包括查询起止时间和用户;
从所述目标数据库中获取与所述查询起止时间和所述用户对应的报表数据,并将获取到的报表数据进行数据处理后通过预设的文件格式输出报表。
可选的,所述搭建报表数据同步链路,通过goldengate方式将报表数据实时同步到目标数据库中,包括:
建立大数据链路虚拟机,在所述大数据链路虚拟机的第一目录下拷贝所述目标数据库标识,所述目标数据库为hbase数据库;
在所述大数据链路虚拟机的第二目录下拷贝报表数据采集系统标识;
根据已拷贝所述目标数据库标识的第一目录,修改所述大数据链路虚拟机中到所述目标数据库的连接配置。
可选的,所述获取用户输入的查询请求,包括:
获取用户输入的查询请求,将所述查询请求转换为sql查询语句,并将所述sql查询语句写入Java代码,并通过phoenix封装好的Jdbc调用所述Java代码。
可选的,通过Java的quartz设置所述查询起止时间。
可选的,所述查询请求还包括任务主题和任务状态;所述将获取到的报表数据进行数据处理后通过预设的文件格式输出报表,包括:
将获取到的报表数据按照所述任务主题和所述任务状态,进行分类统计分析,并将分类统计分析结果按照各个所述用户生成所述报表。
本发明实施例的第二方面提供了一种服务器,包括存储器、处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如下步骤:
搭建报表数据同步链路,通过goldengate方式将报表数据实时同步到目标数据库中;
获取用户输入的查询请求,所述查询请求包括查询起止时间和用户;
从所述目标数据库中获取与所述查询起止时间和所述用户对应的报表数据,并将获取到的报表数据进行数据处理后通过预设的文件格式输出报表。
可选的,所述搭建报表数据同步链路,通过goldengate方式将报表数据实时同步到目标数据库中,包括:
建立大数据链路虚拟机,在所述大数据链路虚拟机的第一目录下拷贝所述目标数据库标识,所述目标数据库为hbase数据库;
在所述大数据链路虚拟机的第二目录下拷贝报表数据采集系统标识;
根据已拷贝所述目标数据库标识的第一目录,修改所述大数据链路虚拟机中到所述目标数据库的连接配置。
可选的,所述获取用户输入的查询请求,包括:
获取用户输入的查询请求,将所述查询请求转换为sql查询语句,并将所述sql查询语句写入Java代码,并通过phoenix封装好的Jdbc调用所述Java代码。
可选的,通过Java的quartz设置所述查询起止时间。
可选的,所述查询请求还包括任务主题和任务状态;所述将获取到的报表数据进行数据处理后通过预设的文件格式输出报表,包括:
将获取到的报表数据按照所述任务主题和所述任务状态,进行分类统计分析,并将分类统计分析结果按照各个所述用户生成所述报表。
本发明实施例的第三方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述报表数据查询方法的步骤。
本发明实施例与现有技术相比存在的有益效果是:本发明实施例,搭建报表数据同步链路,通过goldengate方式将报表数据实时同步到目标数据库中,并获取用户输入的查询请求,然后从所述目标数据库中获取与所述查询起止时间和所述用户对应的报表数据,并将获取到的报表数据进行数据处理后通过预设的文件格式输出报表,从而能够实现将报表数据实时同步到目标数据库,再根据查询请求对相应的业务数据进行处理生成报表,以供相关责任人实时了解业务情况,实现对业务数据的实时查询。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的报表数据查询方法的流程图;
图2是图1中步骤S101的实现流程图;
图3是本发明实施例提供的报表界面;
图4是本发明实施例提供的报表数据查询程序的运行环境示意图;
图5是本发明实施例提供的报表数据查询程序的程序模块图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本发明实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本发明的描述。
传统的流式计算kafka和spark streaming一般应用于比较简单的场景,比如日志的解析,页面点击量的累加,这些指标都是业务逻辑简单,而新渠道电销的场景,业务需要统计的指标复杂,各种限制条件,还涉及到更新的场景,一个订单有一系列的订单状态,采用传统的流式计算对业务场景的判断非常复杂。
本发明各个实施例中,搭建报表数据同步链路,通过goldengate方式将报表数据实时同步到目标数据库中,并获取用户输入的查询请求,然后从所述目标数据库中获取与所述查询请求对应的报表数据,并将获取到的报表数据进行数据处理后通过预设的文件格式输出报表,从而实现对报表数据的实时获取和查询。
为了说明本发明所述的技术方案,下面通过具体实施例来进行说明。
实施例一
图1示出了本发明实施例一提供的报表数据查询方法的实现流程,详述如下:
步骤S101,搭建报表数据同步链路,通过goldengate方式将报表数据实时同步到目标数据库中。
GoldenGate是一种基于日志的结构化数据复制方式,它通过解析源数据库在线日志或归档日志获得数据的增删改变化,再将这些变化应用到目标数据库,实现源数据库与目标数据库同步、双活。
可选的,参见图2,步骤S101可以通过以下过程实现:
步骤S201,建立大数据链路虚拟机,在所述大数据链路虚拟机的第一目录下拷贝所述目标数据库的标识,所述目标数据库为hbase数据库,。
其中,所述目标数据库的标识可以为所述目标数据库的名称或所述目标数据库的网络地址,对此不做限定,能够使得大数据链路虚拟机与所述目标数据库建立连接即可。
其中,所述第一目录可以为大数据链路虚拟机的$HOME目录;第二目录可以为大数据链路虚拟机的$GGS_HOME目录。例如,在大数据链路虚拟机的$HOME目录下,可以通过“cp-R hbase_confighbase_config目标数据库的标识”指令来实现在所述大数据链路虚拟机的$HOME目录下拷贝所述目标数据库的标识。
HBase数据库是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价计算机服务器上搭建起大规模结构化存储集群。HBase是GoogleBigtable的开源实现,HBase利用Hadoop HDFS作为其文件存储系统,利用HadoopMapReduce来处理HBase中的海量数据。
另外,在所述大数据链路虚拟机的$HOME目录下拷贝所述目标数据库的标识之后,还包括:将所述hbase数据库的配置文件hbase-site.xml放到所述大数据链路虚拟机的$HOME目录下。
例如,可以通过“cd hbase_config_hbase-site.xml”指令将hbase数据库的配置文件hbase-site.xml拷贝到所述大数据链路虚拟机的$HOME目录下。
步骤S202,在所述大数据链路虚拟机的第二目录下拷贝报表数据采集系统标识。
其中,报表数据采集系统标识为能够采集报表所需数据的系统的标识。
在一个应用场景中,采集报表所需数据的系统可以为安装在业务人员个人电脑中的业务系统,该业务系统可以采集业务人员输入的业务数据;对应的,报表数据采集系统标识则可以为各个业务系统的网络地址,例如为各个业务人员个人电脑的网络地址。
在另一个应用场景中,采集报表所需数据的系统可以为安装在业务人员智能终端中的业务系统,该业务系统可以采集业务人员输入的业务数据;对应的,报表数据采集系统标识则可以为各个业务系统的网络地址,例如为各个业务人员智能终端的网络地址。其中,智能终端包括但不限于智能手机、平板电脑等。
步骤S203,根据已拷贝所述目标数据库标识的第一目录,修改所述大数据链路虚拟机中到所述目标数据库的连接配置。
一个实施例中,可以修改所述大数据链路虚拟机中的gg.classpath,并使用步骤S201中创建的$HOME目录替换gg.classpath中的相关部分内容。例如,使用步骤S201中创建的$HOME目录替换如下字体加粗部分内容:
gg.classpath=$JAVA_HOME/jre:$GGS_HOME/ggjava/ggjava.jar:$GGS_HOME/dirprm:/wls/ggadm/hbase/lib/*:/wls/ggadm/hbase_config_patnrt。
可以理解的,在步骤S201至步骤S203中,通过大数据链路虚拟机建立报表数据采集系统到目标数据库的数据传输路径,然后可以根据用户输入的查询请求实时的获取报表数据进行查询,相关内容在此不再详述,再步骤S102和步骤S103中再详述。
另外,在步骤S203之前,步骤S101还可以包括:修改mgr端口,使用一个未被占用的端口替换该mgr端口;
在步骤S203之后,步骤S101还可以包括:启动MGR进程,检测MGR进程状态是否正常,若正常则完成报表数据同步链路的搭建,否则进行重复上述步骤。
步骤S102,获取用户输入的查询请求,所述查询请求包括查询起止时间和用户。
其中,所述用户可以为一个具体的业务人员,也可以为完成同一个项目的团队,或者为有其他目的组建的团队,例如一个部门,对此不做限制。另外,所述查询请求中可以包括至少一个查询起止时间和至少一个用户。每个所述查询起止时间至少对应一个所述用户,每个所述用户至少对应一个所述查询起止时间。
需要说明的是,若用户输入的用户为空,则可以表征需要查询在查询起止时间内所有业务人员的业务数据;若用户输入的查询起止时间为空,则可以表征需要查询在当前时间之前的某个业务人员的所有业务数据。
作为一种可实施方式,所述获取用户输入的查询请求包括:获取用户输入的查询请求,将所述查询请求转换为sql查询语句,并将所述sql查询语句写入Java代码,并通过phoenix封装好的Jdbc调用所述Java代码。
可以理解的,业务需要实现实时统计,但是由于这些业务数据所在的业务系统为保证日常坐席的销售,特定时间(例如白天)是不允许统计类的sql大量占用资源的,而采用传统的方法会有大量的逻辑是在判断字段的状态上面,占用大量资源,而本实施例中只需要把sql语句写入Java代码,通过phoenix封装好的Jdbc调用所述Java代码,即可完成任务,能够大大节省资源。
可选的,可以通过Java的quartz设置所述查询起止时间。例如,设置为每隔预设时间,查询一次用户的业务数据。一种应用场景中,可以通过Java的quartz设置查询起止时间为每隔十分钟查询一次,例如每隔十分钟查询一次当天的业务数据,或每隔十分钟查询一次某个项目的业务数据。当然,在其他应用场景中,还可以每隔五分钟查询一次用户的业务数据,或每隔十五分钟查询一次用户的业务数据,对此不予限制。
作为一种应用场景,在接收到用户输入的查询请求后,根据查询请求的要求每隔预设时间,查询一次用户的业务数据,可以通过步骤S101建立的报表数据同步链路,实时获取相应业务责任人在相应时间段内的业务数据,并保存到目标数据库中。
步骤S103,从所述目标数据库中获取与所述查询起止时间和所述用户对应的报表数据,并将获取到的报表数据进行数据处理后通过预设的文件格式输出报表。
其中,所述预设的文件格式可以为包含图表和/或数据的文件格式,该图表和/或数据为将获取到的报表数据进行数据处理后得到的,通过预设的文件格式能够将处理后的结果直观的显示给用户。例如,预设的文件格式可以为包含图表和/或数据的excel文件,通过excel文件能够将处理后的结果直观的显示给用户;预设的文件格式也可以为包含图表和/或数据的word文件,通过word文件能够将处理后的结果直观的显示给用户;预设的文件格式还可以为包含图表和/或数据的其他文件格式,以达到处理后的结果直观的显示给用户的目的,对此不予限制。
其中,所述查询请求还包括任务主题和任务状态。对应的,步骤S103中所述的将获取到的报表数据进行数据处理后通过预设的文件格式输出报表包括:将获取到的报表数据按照所述任务主题和所述任务状态,进行分类统计分析,并将分类统计分析结果按照各个所述用户生成所述报表。
本实施例中,任务主题可以包括断点、IB咨询、服务、综金销售、保险销售和售后等内容,任务状态可以包括已处理、系统关闭、改约、协办等内容。
一个应用场景中,查询起止时间以当天时间为例,用户以部门为例,该部门中包括多个业务人员,任务主题以包括断点、IB咨询、服务、综金销售、保险销售和售后等内容为例,任务状态以包括已处理、系统关闭、改约、协办等内容为例,在从所述目标数据库中获取与所述查询起止时间和所述用户对应的报表数据后,将获取到的报表数据按照任务主题和任务状态,并结合部门中的各个业务人员,进行分类统计分析,生成预设的文件格式的报表,参见图3。
在该报表中包括在查询日当天,各个业务人员的任务完成率、整个部门的任务完成率、整个部门的任务总量和已完成任务量、每个业务人员的具体任务主题对应的任务量和已完成任务量以及各个任务的任务状态情况。以上信息在报表中的具体展现形式可以根据实际需要进行设计,例如可以为图表形式的报表,或为数据表格形式的报表等。通过将当天的部门整体的业务数据和各个业务人员的业务数据以报表的形式展现出来,部门负责人能够根据报表直观、快速地获知部门当天的业务完成情况。
另一个应用场景中,查询起止时间以项目起始日至当前时间为例,用户以完成同一个项目的团队为例,项目分割为多个任务,该团队中包括多个业务人员,任务主题以包括开发、销售和售后等内容为例,任务状态以包括处理中、已完成等内容为例,在从所述目标数据库中获取与所述查询起止时间和所述用户对应的报表数据后,将获取到的报表数据按照任务主题和任务状态,并结合团队中的各个业务人员,进行分类统计分析,生成报表。
在该报表中包括该团队中各个业务人员的任务完成率、整个团队的项目完成率、每个业务人员的具体任务主题对应的任务量和已完成任务量以及各个任务的任务状态情况。以上信息在报表中的具体展现形式可以根据实际需要进行设计,例如可以为图表形式的报表,或为数据表格形式的报表等。通过将团队整体的业务数据和各个业务人员的业务数据以报表的形式展现出来,团队负责人能够根据报表直观、快速地获知项目的当前进度。
上述报表数据查询方法,搭建报表数据同步链路,通过goldengate方式将报表数据实时同步到目标数据库中,并获取用户输入的查询请求,然后从所述目标数据库中获取与所述查询起止时间和所述用户对应的报表数据,并将获取到的报表数据进行数据处理后通过预设的文件格式输出报表,从而能够实现将报表数据实时同步到目标数据库,再根据查询请求对相应的业务数据进行处理生成报表,以供相关责任人实时了解业务情况,实现对业务数据的实时查询。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
实施例二
对应于上文实施例所述的报表数据查询方法,图4示出了本发明实施例提供的报表数据查询程序的运行环境示意图。为了便于说明,仅示出了与本实施例相关的部分。
在本实施例中,所述的报表数据查询程序400安装并运行于服务器40中。该服务器40可包括,但不仅限于,存储器401和处理器402。图5仅示出了具有组件401-402的服务器40,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。
所述存储器401在一些实施例中可以是所述服务器40的内部存储单元,例如该服务器40的硬盘或内存。所述存储器401在另一些实施例中也可以是所述服务器40的外部存储设备,例如所述服务器40上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器401还可以既包括所述终端设备40的内部存储单元也包括外部存储设备。所述存储器401用于存储安装于所述服务器40的应用软件及各类数据,例如所述报表数据查询程序400的程序代码等。所述存储器401还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器402在一些实施例中可以是一中央处理器(Central ProcessingUnit,CPU),微处理器或其他数据处理芯片,用于运行所述存储器401中存储的程序代码或处理数据,例如执行所述报表数据查询程序400等。
该服务器40还可包括显示器,所述显示器在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。
请参阅图5,是本发明实施例提供的报表数据查询程序400的程序模块图。在本实施例中,所述的报表数据查询程序400可以被分割成一个或多个模块,所述一个或者多个模块被存储于所述存储器401中,并由一个或多个处理器(本实施例为所述处理器402)所执行,以完成本发明。例如,在图5中,所述的报表数据查询程序400可以被分割成链路搭建模块501、查询请求获取模块502和报表数据处理模块503。本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段,比程序更适合于描述所述报表数据查询程序400在所述服务器40中的执行过程。以下描述将具体介绍所述模块501-503的功能。
其中,链路搭建模块501,用于搭建报表数据同步链路,通过goldengate方式将报表数据实时同步到目标数据库中。
查询请求获取模块502,用于获取用户输入的查询请求,所述查询请求包括查询起止时间和用户。
报表数据处理模块503,用于从所述目标数据库中获取与所述查询起止时间和所述用户对应的报表数据,并将获取到的报表数据进行数据处理后通过预设的文件格式输出报表。
作为一种可实施方式,链路搭建模块501具体用于:
建立大数据链路虚拟机,在所述大数据链路虚拟机的$HOME目录下拷贝所述目标数据库标识,所述目标数据库为hbase数据库;
在所述大数据链路虚拟机的$GGS_HOME目录下拷贝报表数据采集系统标识;
根据已拷贝所述目标数据库标识的$HOME目录,修改所述大数据链路虚拟机中到所述目标数据库的连接配置。
作为另一种可实施方式,查询请求获取模块502具体用于:
获取用户输入的查询请求,将所述查询请求转换为sql查询语句,并将所述sql查询语句写入Java代码,并通过phoenix封装好的Jdbc调用所述Java代码。
可选的,通过Java的quartz设置所述查询起止时间。
进一步的,报表数据处理模块503具体用于:
将获取到的报表数据按照所述任务主题和所述任务状态,进行分类统计分析,并将分类统计分析结果按照各个所述用户生成所述报表。
在本发明所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (6)
1.一种报表数据查询方法,其特征在于,包括:
建立大数据链路虚拟机,在所述大数据链路虚拟机的第一目录下拷贝目标数据库的标识,通过cd hbase_config_hbase-site.xml指令将所述目标数据库的配置文件hbase-site.xml拷贝到所述大数据链路虚拟机的第一目录下,其中,所述目标数据库为hbase数据库,所述第一目录为所述大数据链路虚拟机的$HOME目录;
在所述大数据链路虚拟机的第二目录下拷贝报表数据采集系统标识,其中,所述第二目录为所述大数据链路虚拟机的$GGS_HOME目录,所述报表数据采集系统为安装在业务人员智能终端中的业务系统;
修改mgr端口,使用一个未被占用的端口替换该mgr端口;
根据已拷贝目标数据库标识的第一目录,修改所述大数据链路虚拟机中的gg.classpath,并使用创建的所述$HOME目录替换gg.classpath中的相关部分内容;
启动MGR进程,检测MGR进程状态是否正常,若正常则完成报表数据同步链路的搭建,否则进行重复上述各个步骤;
获取用户输入的查询请求,将所述查询请求转换为sql查询语句,并将所述sql查询语句写入Java代码,并通过phoenix封装好的Jdbc调用所述Java代码,所述查询请求包括查询起止时间和用户;
从所述目标数据库中获取与所述查询起止时间和所述用户对应的报表数据,并将获取到的报表数据进行数据处理后通过预设的文件格式输出报表。
2.如权利要求1所述的报表数据查询方法,其特征在于,通过Java的quartz 设置所述查询起止时间。
3.如权利要求1或2所述的报表数据查询方法,其特征在于,所述查询请求还包括任务主题和任务状态;所述将获取到的报表数据进行数据处理后通过预设的文件格式输出报表,包括:
将获取到的报表数据按照所述任务主题和所述任务状态,进行分类统计分析,并将分类统计分析结果按照各个所述用户生成所述报表。
4.一种服务器,其特征在于,包括存储器、处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如下步骤:
建立大数据链路虚拟机,在所述大数据链路虚拟机的第一目录下拷贝目标数据库的标识,通过cd hbase_config_hbase-site.xml指令将所述目标数据库的配置文件hbase-site.xml放到所述大数据链路虚拟机的第一目录下,其中,所述目标数据库为hbase数据库,所述第一目录为所述大数据链路虚拟机的$HOME目录;
在所述大数据链路虚拟机的第二目录下拷贝报表数据采集系统标识,其中,所述第二目录为所述大数据链路虚拟机的$GGS_HOME目录,所述报表数据采集系统为安装在业务人员智能终端中的业务系统;
修改mgr端口,使用一个未被占用的端口替换该mgr端口;
根据已拷贝目标数据库标识的第一目录,修改所述大数据链路虚拟机中的gg.classpath,并使用创建的所述$HOME目录替换gg.classpath中的相关部分内容;
获取用户输入的查询请求,将所述查询请求转换为sql查询语句,并将所述sql查询语句写入Java代码,并通过phoenix封装好的Jdbc调用所述Java代码,所述查询请求包括查询起止时间和用户;
从所述目标数据库中获取与所述查询起止时间和所述用户对应的报表数据,并将获取到的报表数据进行数据处理后通过预设的文件格式输出报表。
5.如权利要求4所述的服务器,其特征在于,通过Java的quartz设置所述查询起止时间。
6.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至3任一项所述方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810233899.XA CN108536761B (zh) | 2018-03-21 | 2018-03-21 | 报表数据查询方法及服务器 |
PCT/CN2018/093712 WO2019178979A1 (zh) | 2018-03-21 | 2018-06-29 | 报表数据查询方法、装置、存储介质和服务器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810233899.XA CN108536761B (zh) | 2018-03-21 | 2018-03-21 | 报表数据查询方法及服务器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108536761A CN108536761A (zh) | 2018-09-14 |
CN108536761B true CN108536761B (zh) | 2022-03-04 |
Family
ID=63484567
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810233899.XA Active CN108536761B (zh) | 2018-03-21 | 2018-03-21 | 报表数据查询方法及服务器 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN108536761B (zh) |
WO (1) | WO2019178979A1 (zh) |
Families Citing this family (48)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109766534B (zh) * | 2018-12-19 | 2021-04-16 | 益萃网络科技(中国)有限公司 | 报表生成方法、装置、计算机设备及可读存储介质 |
CN109902100A (zh) * | 2019-01-31 | 2019-06-18 | 平安科技(深圳)有限公司 | 报表查询方法、装置及存储介质 |
CN109947828B (zh) * | 2019-03-15 | 2021-05-25 | 优信拍(北京)信息科技有限公司 | 一种处理报表数据的方法和装置 |
CN111767318A (zh) * | 2019-04-01 | 2020-10-13 | 广州精选速购网络科技有限公司 | 一种数据统计方法、装置、电子设备及介质 |
CN110704454B (zh) * | 2019-10-15 | 2023-03-31 | 重庆远见信息产业集团股份有限公司 | 报表数据采集系统及方法 |
CN111026746B (zh) * | 2019-10-16 | 2023-07-07 | 中国平安财产保险股份有限公司 | 多渠道数据调用的方法、装置、计算机设备及存储介质 |
CN111367958B (zh) * | 2019-11-19 | 2024-03-08 | 杭州海康威视系统技术有限公司 | 一种数据分析方法、装置、电子设备及存储介质 |
CN111027296A (zh) * | 2019-11-21 | 2020-04-17 | 深圳壹账通智能科技有限公司 | 基于知识库的报表生成方法及系统 |
CN111046081B (zh) * | 2019-12-06 | 2023-09-12 | 和利时卡优倍科技有限公司 | 一种工业时序数据的访问方法及系统 |
CN111125216B (zh) * | 2019-12-10 | 2024-03-12 | 中盈优创资讯科技有限公司 | 数据导入Phoenix的方法及装置 |
CN111259643B (zh) * | 2019-12-10 | 2023-11-28 | 深圳市远行科技股份有限公司 | 一种生成图形报表的方法及设备 |
CN111026759B (zh) * | 2019-12-11 | 2024-03-12 | 中盈优创资讯科技有限公司 | 基于Hbase的报表生成方法及装置 |
CN111159244B (zh) * | 2019-12-30 | 2024-02-09 | 中消云(北京)物联网科技研究院有限公司 | 数据查询方法及装置 |
CN113127547A (zh) * | 2019-12-31 | 2021-07-16 | 新奥数能科技有限公司 | 一种数据处理方法、装置、智能终端及存储介质 |
CN111339134B (zh) * | 2020-02-11 | 2024-03-08 | 广州拉卡拉信息技术有限公司 | 一种数据查询方法及装置 |
CN111339035B (zh) * | 2020-02-21 | 2022-11-18 | 苏宁云计算有限公司 | 一种目标数据的查询方法、装置、计算机设备和存储介质 |
CN111367945A (zh) * | 2020-02-28 | 2020-07-03 | 平安医疗健康管理股份有限公司 | 报表查询方法、装置、设备及计算机可读存储介质 |
CN111459737B (zh) * | 2020-03-25 | 2023-07-14 | 北京三快在线科技有限公司 | 问题定位方法、装置、计算机设备及存储介质 |
CN111427936B (zh) * | 2020-03-31 | 2022-11-18 | 苏宁云计算有限公司 | 报表生成方法、装置、计算机设备和存储介质 |
CN111400407B (zh) * | 2020-04-10 | 2023-09-26 | 浙江大华技术股份有限公司 | 数据的同步方法及装置、存储介质及电子装置 |
CN112417012A (zh) * | 2020-04-29 | 2021-02-26 | 上海哔哩哔哩科技有限公司 | 数据处理方法及系统 |
CN111680104B (zh) * | 2020-05-29 | 2023-11-03 | 平安证券股份有限公司 | 数据同步方法、装置、计算机设备及可读存储介质 |
CN111680478B (zh) * | 2020-06-17 | 2024-04-16 | 华自科技股份有限公司 | 基于组态软件的报表生成方法、装置、设备和存储介质 |
CN113297203B (zh) * | 2020-07-15 | 2024-07-02 | 阿里巴巴集团控股有限公司 | 数据查询和写入方法和装置,计算机存储介质和电子设备 |
CN111881158B (zh) * | 2020-07-31 | 2024-06-18 | 平安国际融资租赁有限公司 | 一种管理报表数据处理方法、装置、计算机系统及可读存储介质 |
CN111881192B (zh) * | 2020-08-03 | 2024-01-30 | 浪潮云信息技术股份公司 | 可视化配置报表的生成方法、系统、电子设备及存储介质 |
CN112307019B (zh) * | 2020-10-09 | 2024-04-09 | 北京沃东天骏信息技术有限公司 | 数据处理方法、装置及非瞬时性计算机可读存储介质 |
CN112416488B (zh) * | 2020-11-03 | 2024-05-14 | 深圳依时货拉拉科技有限公司 | 一种用户画像实现的方法、装置、计算机设备及计算机可读存储介质 |
CN112632945B (zh) * | 2020-12-17 | 2022-11-08 | 上海哔哩哔哩科技有限公司 | 一种报表构建方法及装置 |
CN112527848B (zh) * | 2020-12-22 | 2023-05-12 | 苏州科达科技股份有限公司 | 基于多数据源的报表数据查询方法、装置、系统及存储介质 |
CN112579321A (zh) * | 2020-12-23 | 2021-03-30 | 京东数字科技控股股份有限公司 | 业务数据的下载方法、装置及设备 |
CN113706088A (zh) * | 2021-01-23 | 2021-11-26 | 深圳市玄羽科技有限公司 | 一种工业数据自动生成报表系统 |
CN112861494A (zh) * | 2021-02-05 | 2021-05-28 | 青岛海信网络科技股份有限公司 | 基于路网数据的可视化报表生成方法、设备和存储介质 |
CN113051271B (zh) * | 2021-03-26 | 2024-01-19 | 郑州阿帕斯数云信息科技有限公司 | 一种冷热数据分离方法、装置及其设备 |
CN113220760B (zh) * | 2021-04-28 | 2024-05-28 | 北京达佳互联信息技术有限公司 | 一种数据处理方法、装置、服务器及存储介质 |
CN113221522B (zh) * | 2021-04-28 | 2024-01-09 | 北京达佳互联信息技术有限公司 | 报表生成方法、装置、系统、电子设备及存储介质 |
CN113297222B (zh) * | 2021-05-25 | 2024-06-14 | 北京京东振世信息技术有限公司 | 报表数据的获取方法、装置、电子设备和存储介质 |
CN113608981B (zh) * | 2021-07-27 | 2024-01-05 | 远景智能国际私人投资有限公司 | 时序数据库测试方法、装置、计算机设备及存储介质 |
CN113505133A (zh) * | 2021-08-05 | 2021-10-15 | 上海中通吉网络技术有限公司 | 基于服务泛化实现数据导出的方法 |
CN113807064A (zh) * | 2021-09-02 | 2021-12-17 | 上汽通用五菱汽车股份有限公司 | 冲压生产数据管理方法、装置、设备及计算机存储介质 |
CN113836405B (zh) * | 2021-09-09 | 2024-03-12 | 深圳Tcl新技术有限公司 | 信息查询方法、装置以及计算机可读存储介质 |
CN113742366B (zh) * | 2021-09-14 | 2023-07-21 | 腾讯科技(深圳)有限公司 | 数据处理方法、装置、计算机设备及存储介质 |
CN114490810A (zh) * | 2021-12-31 | 2022-05-13 | 新奥数能科技有限公司 | 用户行为数据统计方法、装置、设备及存储介质 |
CN114756938A (zh) * | 2022-04-21 | 2022-07-15 | 广联达科技股份有限公司 | 一种数据处理方法、装置、设备及可读存储介质 |
CN115033620A (zh) * | 2022-06-29 | 2022-09-09 | 平安银行股份有限公司 | 自动化统计争议产能报表的方法、装置、系统及存储介质 |
CN115392206B (zh) * | 2022-10-26 | 2023-01-13 | 深圳迅策科技有限公司 | 基于wps/excel快速查询数据方法、装置、设备及存储介质 |
CN116048985B (zh) * | 2023-01-10 | 2023-10-20 | 睿智合创(北京)科技有限公司 | 一种决策数据即测即看结果报表方法 |
CN118069819B (zh) * | 2024-04-22 | 2024-07-16 | 浙江大学 | 一种基于大模型处理数据可视化任务的方法及装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8543581B2 (en) * | 2011-04-04 | 2013-09-24 | Microsoft Corporation | Synchronizing records between databases |
CN104573056A (zh) * | 2015-01-22 | 2015-04-29 | 浪潮电子信息产业股份有限公司 | 一种基于oracle数据库大数据量在线迁移的方法 |
US9614861B2 (en) * | 2015-08-26 | 2017-04-04 | Microsoft Technology Licensing, Llc | Monitoring the life cycle of a computer network connection |
CN106250501B (zh) * | 2016-07-28 | 2019-11-01 | 五八同城信息技术有限公司 | 报表处理方法及报表系统 |
CN107622355B (zh) * | 2017-09-30 | 2021-07-06 | 长江勘测规划设计研究有限责任公司 | 项目群施工过程数字化管理系统及方法 |
CN107609188B (zh) * | 2017-10-09 | 2020-08-11 | 上海新炬网络信息技术股份有限公司 | 基于GoldenGate的数据同步校验方法 |
-
2018
- 2018-03-21 CN CN201810233899.XA patent/CN108536761B/zh active Active
- 2018-06-29 WO PCT/CN2018/093712 patent/WO2019178979A1/zh active Application Filing
Also Published As
Publication number | Publication date |
---|---|
CN108536761A (zh) | 2018-09-14 |
WO2019178979A1 (zh) | 2019-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108536761B (zh) | 报表数据查询方法及服务器 | |
CN109997126B (zh) | 事件驱动提取、变换、加载(etl)处理 | |
US10565206B2 (en) | Query task processing based on memory allocation and performance criteria | |
KR101621137B1 (ko) | 아파치 하둡을 위한 로우 레이턴시 쿼리 엔진 | |
US10291704B2 (en) | Networked solutions integration using a cloud business object broker | |
CN109919691B (zh) | 一种数据处理的系统、方法以及装置 | |
CN111324610A (zh) | 一种数据同步的方法及装置 | |
US20150301875A1 (en) | Persisting and managing application messages | |
WO2019047441A1 (zh) | 一种通信优化方法及系统 | |
CN104778175A (zh) | 一种实现异构数据库数据同步的方法及系统 | |
CN102999608A (zh) | 大数据的树表展现系统和树表展现方法 | |
CN110781197B (zh) | 一种hive离线同步校验方法、装置及电子设备 | |
AU2015316450A1 (en) | Method for updating data table of KeyValue database and apparatus for updating table data | |
CN113010542B (zh) | 业务数据处理方法、装置、计算机设备及存储介质 | |
CN112685499A (zh) | 一种工作业务流的流程数据同步方法、装置及设备 | |
CN111784318A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN113468111A (zh) | 一种容器云的日志监控管理系统及方法 | |
CN103809915B (zh) | 一种磁盘文件的读写方法和装置 | |
CN109977104B (zh) | 数据管理方法及装置 | |
CN115757642A (zh) | 一种基于归档日志文件的数据同步方法及装置 | |
CN115586988A (zh) | 恢复数据的方法及装置、电子设备、存储介质 | |
CN117632395A (zh) | 工作流处理方法、装置、设备、存储介质和程序产品 | |
CN111506644B (zh) | 一种应用数据处理方法、装置和电子设备 | |
CN109063201B (zh) | 一种基于混合存储方案的impala在线交互式查询方法 | |
CN108595488B (zh) | 数据迁移方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |