CN110688423A - 数据处理及展示方法、系统、设备及存储介质 - Google Patents

数据处理及展示方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN110688423A
CN110688423A CN201910843348.XA CN201910843348A CN110688423A CN 110688423 A CN110688423 A CN 110688423A CN 201910843348 A CN201910843348 A CN 201910843348A CN 110688423 A CN110688423 A CN 110688423A
Authority
CN
China
Prior art keywords
data
drawing data
information
processing
system architecture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910843348.XA
Other languages
English (en)
Inventor
卢显锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Property and Casualty Insurance Company of China Ltd
Original Assignee
Ping An Property and Casualty Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Property and Casualty Insurance Company of China Ltd filed Critical Ping An Property and Casualty Insurance Company of China Ltd
Priority to CN201910843348.XA priority Critical patent/CN110688423A/zh
Publication of CN110688423A publication Critical patent/CN110688423A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26Visual data mining; Browsing structured data

Abstract

本发明实施例公开了一种数据处理及展示方法,包括:接收用户通过前端页面录入的绘图数据;清洗和校验所述绘图数据,得到清洗和校验后的目标绘图数据,并将所述目标绘图数据存储至系统数据库中;根据所述目标绘图数据生成系统架构图表;将所述系统架构图表返回至前端页面,以通过所述前端页面进行视图展示。本发明实施例还提供了一种数据处理及展示系统、计算机设备和计算机可存储介质。本发明实施例的有益效果在于:可以能够快速定位问题点,提高计算机的工作效率。

Description

数据处理及展示方法、系统、设备及存储介质
技术领域
本发明实施例涉及数据库领域,尤其涉及一种数据处理及展示方法、系统、设备及存储介质。
技术背景
数据中心是一整套复杂的设施。它不仅仅包括计算机系统和其它与之配套的设备(例如通信和存储系统),还包含冗余的数据通信连接、环境控制设备、监控设备以及各种安全装置。从应用层面看,包括业务系统、基于数据的分析系统;从数据层面看,包括操作型数据和分析型数据以及数据与数据的集成/整合流程;从基础设施层面看,包括服务器、网络、存储和整体IT运行维护服务。
目前使用搭建的数据及各个数据库应用框架不能清晰显示各个数据表的来源及用途,比如:如果是新工作人员,对业务不熟练,那就需要从头开始,一点点熟悉系统业务;如果出了生产问题,需要核实某个数据的来源、去向、处理过程,只能去核实存储过程,或者核实数据逐步定位问题,对数据不够清晰;并且如果是录入新的系统,首先这个系统要被录入数据架构图系统中,其次针对系统的数据情况、与其他系统的关联情况也要被录入,耗费时间。
发明内容
有鉴于此,本发明实施例的目的是提供一种数据处理及展示方法、系统、设备及存储介质,通过系统架构图表可以查询到业务需求及生产问题,且能够快速定位问题点,省时省力。
为实现上述目的,本发明实施例提供了一种数据处理及展示方法包括:
接收用户通过前端页面录入的绘图数据;
清洗和校验所述绘图数据,得到清洗和校验后的目标绘图数据,并将所述目标绘图数据存储至系统数据库中;
根据所述目标绘图数据生成系统架构图表;
将所述系统架构图表返回至前端页面,以通过所述前端页面进行视图展示。
进一步地,所述绘图数据包括系统数据表数据、系统数据表来源数据、系统处理过程数据、系统数据表用途及去向数据和/或系统数据表的级别数据。
进一步地,所述系统架构图表包括系统数据库层、系统内数据层以及处理逻辑层,其中:
所述系统数据库层,包括不同系统之间连接、不同数据库之间连接、数据流转与数据处理总结层面的信息;
所述系统内数据层,包括系统内部的数据来源、数据处理概况、数据流向与数据衰减过程的信息;
所述处理逻辑层,包括所述系统数据表的数据经过的处理步骤的信息。
进一步地,所述根据所述目标绘图数据生成系统架构图表的步骤,包括:
将所述目标绘图数据进行逐层划分为底层绘图数据,每层所述底层绘图数据对应来源数据、处理过程数据、用途数据及去向数据和级别数据;
将每层的所述底层绘图数据建立对应的数据表;
根据系统之间的交互情况,将所述数据表生成系统架构表数据;
通过echarts将所述系统架构表数据绘制成系统架构图表。
进一步地,所述校验所述绘图数据的步骤之前,包括:
通过pafa框架调用jdbc包连接系统数据库;
根据select指令查看绘图数据,并根据所述系统数据库对所述绘图数据进行校验。
进一步地,将所述系统架构图表返回至前端页面,以通过所述前端页面进行视图展示的步骤之后,还包括:
获取用户录入的新增数据;
将所述新增数据更新至所述绘图数据中形成新绘图数据;
根据所述新绘图数据重新生成新系统架构图表;
将所述新系统架构图表返回至前端页面,以通过前端页面进行视图展示。
进一步地,将新增数据更新至所述绘图数据中形成新绘图数据的步骤,包括:
预先将所述系统数据库连接信息加载在新增数据中;
导入jdbc包,加载驱动所述系统数据库连接信息,通过所述系统数据库连接信息连接到系统的数据库;
创建执行语句块,所述执行语句包括更新语句;
通过statement将所述执行语句发送至所述系统数据库中;
若所述执行语句执行成功,则将所述新增数据更新至所述绘图数据,并返回更新成功的信息;
若所述执行语句执行失败,则返回更新失败的信息,重新进行数据更新。
为实现上述目的,本发明实施例还提供了一种数据处理及展示系统,包括:
接收模块,用于接收用户通过前端页面录入的绘图数据;
处理模块,用于清洗和校验所述绘图数据,得到清洗和校验后的目标绘图数据,并将所述目标绘图数据存储至系统数据库中;
生成模块,用于根据所述目标绘图数据生成系统架构图表;
展示模块,用于将所述系统架构图表返回至前端页面,以通过所述前端页面进行视图展示。
为实现上述目的,本发明实施例还提供了一种计算机设备,所述计算机设备包括存储器、处理器,所述存储器上存储有可在所述处理器上运行的数据处理及展示系统,所述数据处理及展示系统被所述处理器执行时实现如上所述的数据处理及展示方法的步骤。
为实现上述目的,本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序可被至少一个处理器所执行,以使所述至少一个处理器执行如上所述的数据处理及展示方法的步骤。
本发明实施例提供的数据处理及展示方法、系统、设备及存储介质,通过将绘图数据信息建立系统架构图表,由于系统架构图表包含了各个系统之间的关联关系、各个系统承担的主要功能,从系统架构图表上可以获取到业务数据的流向,通过新系统架构图表与系统架构图表对比可以查询到业务需求及生产问题,且能够快速定位问题点,省时省力。
附图说明
图1为本发明实施例数据处理及展示方法实施例一的流程图。
图2为本发明实施例图1中步骤S102的流程图。
图3为本发明实施例图1中步骤S104的流程图。
图4为本发明实施例更新系统架构图表的流程图。
图5为本发明实施例更新系统架构图表的步骤S112的流程图。
图6为本发明实施例数据处理及展示系统实施例二的程序模块示意图。
图7为本发明计算机设备实施例三的硬件结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
参阅图1,示出了本发明实施例一之数据处理及展示方法的步骤流程图。可以理解,本方法实施例中的流程图不用于对执行步骤的顺序进行限定。下面以计算机设备2为执行主体进行示例性描述。具体如下。
步骤S100,接收用户通过前端页面录入的绘图数据。
示例性地,所述绘图数据包括系统数据表数据、系统数据表来源数据、系统处理过程数据、系统数据表用途及去向数据和/或系统数据表的级别数据。
具体地,通过客户端的前端页面,接收用户填写的绘图数据信息。需要说明的是,绘图数据信息首次被录入到数据库中时,需要执行数据校验操作。
例如:用户开发了一个车辆信息补充的数据的处理过程,第一步就是移交代码,就会形成一个移交的存储过程、表信息、关联系统信息、数据处理过程等信息;之后系统会检测用户移交的上述信息并提示用户进行信息配置,配置对象可以包括:关联系统、表来源、处理过程概况、具体处理过程与存储过程对应关系等;用户录入后,系统对移交的代码进行校验。
步骤S102,清洗和校验所述绘图数据,得到清洗和校验后的目标绘图数据,并将所述目标绘图数据存储至系统数据库中。
具体地,接收到用户录入的绘图数据后,将绘图数据与数据库中预存绘图数据的字段进行比较,若不匹配,则进行相应的提示,以供用户进行修改。清洗可以避免用户手工录入时存在录错、不规范、重复录入等人为错误导致的异常数据。比如:如果用户在录入字段时,将字段名称录错或者不规范时,系统接收到此信息后与数据库中预存的字段信息进行比对,发现不一致,系统会提示用户:字段不正确;若重复录入,系统会提示:目前已有字段名称,用户再进行字段确认,确认后的字段将会作为录入的字段存入系统数据库。针对一些字段的注释,系统使用字段添加注释符号、注释人、创建人,规范注释形式。比如:所有的录入信息都要有创建人、创建时间信息,系统会识别当前登录用户,如果用户输入的创建人错误,系统也会将此用户作为录入信息的创建人,进行批注。
示例性地,清洗绘图数据还包括,将录入的绘图数据进行去除空格、标点符号等清洗,之后校验绘图数据和数据库的预存的真实数据是否一致,如果没有清洗过程(如多了空格、逗号),后面即使绘图数据是一致的,校验也无法通过,所以清洗和校验相互协调作用保证最后录入的绘图数据和系统数据库里预存的真实数据一致。
示例性地,校验绘图数据包括:对系统架构表信息进行核实(例如:表是否存在、字段信息是否存在),系统架构表信息是用于存放绘图数据的表格。系统架构表信息校验的是用户录入的系统架构表信息、录入的数据处理过程、系统架构表的来源系统、系统架构表的权限与系统架构表字段是否能在数据库中查询到对应的数据;如果有一项执行报错,则说明系统架构表不存在或者权限不足,就会提示用户重新录入或者暂存,如果执行通过,进行系统架构表信息校验。校验的过程都是在后台进行的,比如:如果存储过程使用到一个user表,首先校验这个表来源哪个库(调用jdbc),如果执行通过就会拿到表的字段信息,之后根据存储过程要用到的表字段,比对拿到的表字段,如果一致则校验通过,如果不一致则返回修改。
示例性地,请参阅图2,所述校验所述绘图数据的步骤之前,包括:
步骤S102A,通过pafa框架调用jdbc包连接系统数据库。
步骤S102B,根据select指令查看绘图数据,并根据所述系统数据库对所述绘图数据进行校验。
具体地,校验绘图数据还包括:
校验系统数据库连接信息(基于录入的用户名、密码、连接串),校验通过后连接上系统数据库,进而可以执行sql语句;执行权限校验,通过发送制定的sql语句(例如select*from user_role_privs;)代码来查看是否拥有执行的权限,以及系统架构表权限等;提取系统数据处理过程(即存储过程)中用到的所有系统架构表、所有系统架构表的相关字段;执行字段信息校验sql(select column from table)得到系统数据库中的系统架构表字段信息;进行比对,将得到的字段信息和数据处理过程要用到的信息进行比对,比对一致才可录入系统数据库。
步骤S104,根据所述目标绘图数据生成系统架构图表。
示例性地,所述系统架构图表包括系统数据库层、系统内数据层以及处理逻辑层,其中:
所述系统数据库层,包括不同系统之间连接、不同数据库之间连接、数据流转与数据处理总结层面的信息;一个系统对应一个数据库,系统数据库层面应用于数据表在不同系统之间的流转情况。
比如续保车险销售数据,首先在续保销售终端数据库(例如:nets库)获取该年的车辆投保销售数据(具体客户的车辆投保信息),将数据存入数据处理库(例如:集中数据平台处理hadoop库),数据处理库对续保车险销售数据与标签进行一一映射,标签包括:来年销售计划(明年车险到期时要如何进行销售)处理、营销活动策划(执行具体客户分群销售活动库),直至车险到期,将已经处理好的车辆保单信息传给销售终端,用户根据销售终端显示的理好的车辆保单信息查询分配的销售人员信息,此时客户车辆上多了很多其他处理后的标签信息,更好的帮助坐席进行查询分配的销售人员信息。
所述系统内数据层,包括系统内部的数据来源、数据处理概况、数据流向与数据衰减过程的信息;比如针对车险销售系统,展示的数据为:拨打名单的销售客户电话号码来源、客户信息来源、拨打后的数据经过哪些处理、处理后的数据流向哪个系统。
所述处理逻辑层,包括所述系统数据表的数据经过的处理步骤的信息。比如:数据源同步,同步的数据源有:全量数据同步(每日或每月或每小时同步一个表的数据全量)、增量数据同步(同步一定时间内的数据增量)、流水数据同步(类似流水账单形式数据)等数据同步的过程,具体的细化到每个数据表的同步,都会展示到具体的同步方式、同步频率、同步时间点等信息。
示例性地,请参阅图3,步骤S104进一步包括:
步骤S104A,将所述目标绘图数据进行逐层划分为底层绘图数据,每层所述底层绘图数据对应来源数据、处理过程数据、用途数据及去向数据和级别数据。
具体地,以商品销售数据为例,来源数据是说绘图数据是从哪里得到的,比方说商品销量数据,它的来源数据就有淘宝销量数据、京东销量数据、当当销量数据等;处理过程数据是指绘图数据的变化,例如:商品销售时经历打折促销活动事的数据;用途数据指的是该绘图数据用于展示商品销售过程;去向数据是指商品销售后的购买人群,即哪个地区购买的比较多;级别数据就是说该商品的其他数据在绘制时以什么层级进行绘制,哪个先绘制哪个后绘制。
步骤S104B,将每层的所述底层绘图数据建立对应的数据表。
步骤S104C,根据系统之间的交互情况,将所述数据表生成系统架构表数据。
步骤S104D,通过echarts将所述系统架构表数据绘制成系统架构图表。
步骤S106,将所述系统架构图表返回至前端页面,以通过所述前端页面进行视图展示。
具体地,使用echarts进行绘图后传输至前端页面,系统架构图表包括有绘图数据信息及系统数据库信息,通过浮框的形式来展示绘图数据信息及系统数据库信息。系统架构图表包含了各个系统之间的关联关系、各个系统承担的主要功能;通过此图表可以查找到任意一个系统的所有关联系统、所有能连接的数据库信息,以及此系统的数据来源、数据处理逻辑、数据总体流向信息。
示例性地,请参阅图4,步骤S106之后,还包括更新系统架构图表,具体如下。
步骤S110,获取用户录入的新增数据。
具体地,所述新数据信息包括新增表、新增的库、更改的表、更新的处理过程等。
步骤S112,将所述新增数据更新至所述绘图数据中形成新绘图数据。
具体地,将新增数据进行更新时,也要进行清洗和校验的操作,防止录入写的新增数据错误。清洗与校验的过程在上述步骤中已进行详细的描述,在此不做赘述。
示例性地,请参阅图5,步骤S112进一步包括:
步骤S112A,预先将所述系统数据库连接信息加载在新增数据中。
步骤S112B,导入jdbc包,加载驱动所述系统数据库连接信息,通过所述系统数据库连接信息连接到系统的数据库。
步骤S112C,创建执行语句块,所述执行语句包括更新语句。
步骤S112D,通过statement将所述执行语句发送至所述系统数据库中。
步骤S112E,若所述执行语句执行成功,则将所述新增数据更新至所述绘图数据,并返回更新成功的信息。
步骤S202F,若所述执行语句执行失败,则返回更新失败的信息,重新进行数据更新。
具体地,将新绘图数据信息导入到绘图信息数据中,主要是借助pafa框架,通过jdbc更新绘图数据:首先导入jdbc包,之后加载驱动(Class.forName("oracle.jdbc.driver.OracleDriver")),然后建立连接,传入预先加载在绘图数据中的系统数据库连接信息,通过此系统数据库连接信息连接到系统的数据库,之后创建执行语句块(这里是指更新语句),通过statement创建将sql语句发送到书库中,最后处理返回结果(更新失败或者成功),并关闭数据库连接。
例如:如果某个系统数据库新增了一个表、或者新增了一个系统数据库,这时这个表信息、系统数据库的信息就需要落入的绘图数据中;如果是更新原先已有的数据处理过程,比如说电话号码的号段校验,可能现在199开头的手机号码是存在的,那如果后续通讯公司发行了199开头的号码,那这个号段清洗的过程就需要修改,不然将会导致这类号码无法进行正常处理,这时就需要更新原先已有的处理逻辑。更新的还是绘图数据,就是针对号段处理时的处理逻辑更新成最新的代码逻辑(具体地数据存储过程校验)。
步骤S114,根据所述新绘图数据重新生成新系统架构图表。
具体地,将所述新绘图数据信息按照系统架构图表的生成方式输入到系统架构图表中形成新系统架构图表。
例如:数据处理的过程,当进行投保客户信息的同步处理时,初始同步设置为每周同步一次投保客户信息;考虑到时效性,将同步设置时间调整到每天同步一次,对系统架构图表进行更新,将要更新的同步逻辑在系统架构图表展示出来形成新系统架构图表。该系统架构图表由多个系统架构表组成,系统架构图表的每个系统架构表包括多个图表数据,比如底层绘图数据记录了所有的系统、数据库、各个数据库的连接方式、数据库介绍、与那些库有数据关联等信息。
步骤S116,将所述新系统架构图表返回至前端页面,以通过前端页面进行视图展示。
具体地,实时绘制系统架构图表,类似双十一的交易数据一样,设置为每隔一小时进行数据实时更新,读取的是系统数据库中的绘图表数据信息,当点开页面时,后台获取此时系统数据库的绘图数据,再展示出来的新系统架构图表;若继续进行更新,在更新后刷新前端页面,系统再次读取最新的系统数据库的绘图数据,是更新后的系统数据库信息,实现实时更新、实时展示。
系统架构图表的表信息包含:系统架构表的属主、系统架构表权限、系统架构表字段信息、系统架构表的索引信息等;系统架构表的数据信息是系统架构表中存储的具体系统数据信息,是各个系统之间数据表的对接信息、关联键、过滤条件、数据流向等。将系统架构表信息通过使用echarts进行绘图,通过echarts重新绘制的新系统架构图表的悬浮框可以进行查看。
实施例二
请继续参阅图6,示出了本发明数据处理及展示系统实施例二的程序模块示意图。在本发明实施例中,数据处理及展示系统20可以包括或被分割成一个或多个程序模块,一个或者多个程序模块被存储于存储介质中,并由一个或多个处理器所执行,以完成本发明,并可实现上述数据处理及展示方法。本发明实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段,比程序本身更适合于描述数据处理及展示系统20在存储介质中的执行过程。以下描述将具体介绍本发明实施例各程序模块的功能:
接收模块200,用于接收用户通过前端页面录入的绘图数据。
示例性地,所述绘图数据包括系统数据表数据、系统数据表来源数据、系统处理过程数据、系统数据表用途及去向数据和/或系统数据表的级别数据。
具体地,通过客户端的前端页面,接收用户填写的绘图数据信息。需要说明的是,绘图数据信息首次被录入到数据库中时,需要执行数据校验操作。
例如:用户开发了一个车辆信息补充的数据的处理过程,第一步就是移交代码,就会形成一个移交的存储过程、表信息、关联系统信息、数据处理过程等信息;之后系统会检测用户移交的上述信息并提示用户进行信息配置,配置对象可以包括:关联系统、表来源、处理过程概况、具体处理过程与存储过程对应关系等;用户录入后,系统对移交的代码进行校验。
处理模块202,用于清洗和校验所述绘图数据,得到清洗和校验后的目标绘图数据,并将所述目标绘图数据存储至系统数据库中。
具体地,接收到用户录入的绘图数据后,将绘图数据与数据库中预存绘图数据的字段进行比较,若不匹配,则进行相应的提示,以供用户进行修改。清洗可以避免用户手工录入时存在录错、不规范、重复录入等人为错误导致的异常数据。比如:如果用户在录入字段时,将字段名称录错,或者不规范时,系统接收到此信息后与数据库中预存的字段信息进行比对,发现不一致,系统会提示用户:字段不正确;若重复录入,系统会提示:目前已有字段名称,用户再进行字段确认,确认后的字段将会作为录入的字段存入系统数据库。针对一些字段的注释,系统使用字段添加注释符号、注释人、创建人,规范注释形式。比如:所有的录入信息都要有创建人、创建时间信息,系统会识别当前登录用户,如果用户输入的创建人错误,系统也会将此用户作为录入信息的创建人,进行批注。
示例性地,清洗绘图数据还包括,将录入的绘图数据进行去除空格、标点符号等清洗,之后校验绘图数据和数据库的预存的真实数据是否一致,如果没有清洗过程(如多了空格、逗号),后面即使绘图数据是一致的,校验也无法通过,所以清洗和校验相互协调作用保证最后录入的绘图数据和系统数据库里预存的真实数据一致。
示例性地,校验绘图数据包括:对系统架构表信息进行核实(例如:表是否存在、字段信息是否存在),系统架构表信息是用于存放绘图数据信息的表格。系统架构表信息校验的是用户录入的系统架构表信息、录入的数据处理过程、系统架构表的来源系统、系统架构表的权限与系统架构表字段是否能在数据库中查询到对应的数据;如果有一项执行报错,则说明系统架构表不存在或者权限不足,就会提示用户重新录入或者暂存,如果执行通过,进行系统架构表信息校验。校验的过程都是在后台进行的,比如:如果存储过程使用到一个user表,首先校验这个表来源哪个库(调用jdbc),如果执行通过就会拿到表的字段信息,之后根据存储过程要用到的表字段,比对拿到的表字段,如果一致则校验通过,如果不一致则返回修改。
示例性地,所述处理模块202,还用于:
通过pafa框架调用jdbc包连接系统数据库;
根据select指令查看绘图数据,并根据所述系统数据库对所述绘图数据进行校验。
具体地,校验绘图数据还包括:
校验系统数据库连接信息(基于录入的用户名、密码、连接串),校验通过后连接上系统数据库,进而可以执行sql语句;执行权限校验,通过发送制定的sql语句(例如select*from user_role_privs;)代码来查看是否拥有执行的权限,以及系统架构表权限等;提取系统数据处理过程(即存储过程)中用到的所有系统架构表、所有系统架构表的相关字段;执行字段信息校验sql(select column from table)得到系统数据库中的系统架构表字段信息;进行比对,将得到的字段信息和数据处理过程要用到的信息进行比对,比对一致才可录入系统数据库。。
生成模块204,用于根据所述目标绘图数据生成系统架构图表。
示例性地,所述系统架构图表包括系统数据库层、系统内数据层以及处理逻辑层,其中:
所述系统数据库层,包括不同系统之间连接、不同数据库之间连接、数据流转与数据处理总结层面的信息;一个系统对应一个数据库,系统数据库层面应用于数据表在不同系统之间的流转情况。
比如续保车险销售数据,首先在续保销售终端数据库(例如:nets库)获取该年的车辆投保销售数据(具体客户的车辆投保信息),将数据存入数据处理库(例如:集中数据平台处理hadoop库),数据处理库对续保车险销售数据与标签进行一一映射,标签包括:来年销售计划(明年车险到期时要如何进行销售)处理、营销活动策划(执行具体客户分群销售活动库),直至车险到期,将已经处理好的车辆保单信息传给销售终端,用户根据销售终端显示的理好的车辆保单信息查询分配的销售人员信息,此时客户车辆上多了很多其他处理后的标签信息,更好的帮助坐席进行查询分配的销售人员信息。
所述系统内数据层,包括系统内部的数据来源、数据处理概况、数据流向与数据衰减过程的信息;比如针对车险销售系统,展示的数据为:拨打名单的销售客户电话号码来源、客户信息来源、拨打后的数据经过哪些处理、处理后的数据流向哪个系统。
所述处理逻辑层,包括所述系统数据表的数据经过的处理步骤的信息。比如:数据源同步,同步的数据源有:全量数据同步(每日或每月或每小时同步一个表的数据全量)、增量数据同步(同步一定时间内的数据增量)、流水数据同步(类似流水账单形式数据)等数据同步的过程,具体的细化到每个数据表的同步,都会展示到具体的同步方式、同步频率、同步时间点等信息。
示例性地,所述生成模块204还用于:
将所述目标绘图数据进行逐层划分为底层绘图数据,每层所述底层绘图数据对应来源数据、处理过程数据、用途数据及去向数据和级别数据;
将每层的所述底层绘图数据建立对应的数据表;
根据系统之间的交互情况,将所述数据表生成系统架构表数据;
通过echarts将所述系统架构表数据绘制成系统架构图表。
具体地,以商品销售数据为例,来源数据是说绘图数据是从哪里得到的,比方说商品销量数据,它的来源数据就有淘宝销量数据、京东销量数据、当当销量数据等;处理过程数据是指绘图数据的变化,例如:商品销售时经历打折促销活动事的数据;用途数据指的是该绘图数据用于展示商品销售过程;去向数据是指商品销售后的购买人群,即哪个地区购买的比较多;级别数据就是说该商品的其他数据在绘制时以什么层级进行绘制,哪个先绘制哪个后绘制。
展示模块206,用于将所述系统架构图表返回至前端页面,以通过所述前端页面进行视图展示。
具体地,使用echarts进行绘图后传输至前端页面,系统架构图表包括有绘图数据信息及系统数据库信息,通过浮框的形式来展示绘图数据信息及系统数据库信息。系统架构图表包含了各个系统之间的关联关系、各个系统承担的主要功能;通过此图表可以查找到任意一个系统的所有关联系统、所有能连接的数据库信息,以及此系统的数据来源、数据处理逻辑、数据总体流向信息。
实施例三
参阅图7,是本发明实施例三之计算机设备的硬件架构示意图。本发明实施例中,所述计算机设备2是一种能够按照事先设定或者存储的指令,自动进行数值计算和/或信息处理的设备。该计算机设备2可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器,或者多个服务器所组成的服务器集群)等。如图7所示,所述计算机设备2至少包括,但不限于,可通过系统总线相互通信连接存储器21、处理器22、网络接口23、以及数据处理及展示系统20。其中:
本发明实施例中,存储器21至少包括一种类型的计算机可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,存储器21可以是计算机设备2的内部存储单元,例如该计算机设备2的硬盘或内存。在另一些实施例中,存储器21也可以是计算机设备2的外部存储设备,例如该计算机设备2上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。当然,存储器21还可以既包括计算机设备2的内部存储单元也包括其外部存储设备。本发明实施例中,存储器21通常用于存储安装于计算机设备2的操作系统和各类应用软件,例如实施例二的数据处理及展示系统20的程序代码等。此外,存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器22在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制计算机设备2的总体操作。本发明实施例中,处理器22用于运行存储器21中存储的程序代码或者处理数据,例如运行数据处理及展示系统20,以实现实施例一的数据处理及展示方法。
所述网络接口23可包括无线网络接口或有线网络接口,该网络接口23通常用于在所述服务器2与其他电子装置之间建立通信连接。例如,所述网络接口23用于通过网络将所述服务器2与外部终端相连,在所述服务器2与外部终端之间的建立数据传输通道和通信连接等。所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobile communication,GSM)、宽带码分多址(Wideband CodeDivision Multiple Access,WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。需要指出的是,图7仅示出了具有部件20-23的计算机设备2,但是应理解的是,并不要求实施所有示出的部件,可以替代的实施更多或者更少的部件。
在本发明实施例中,存储于存储器21中的所述数据处理及展示系统20还可以被分割为一个或者多个程序模块,所述一个或者多个程序模块被存储于存储器21中,并由一个或多个处理器(本发明实施例为处理器22)所执行,以完成本发明。
例如,图6示出了所述实现数据处理及展示系统20实施例二的程序模块示意图,该实施例中,所述数据处理及展示系统20可以被划分为接收模块200、处理模块202、生成模块204与展示模块206。其中,本发明所称的程序模块是指能够完成特定功能的一系列计算机程序指令段,比程序更适合于描述所述数据处理及展示系统20在所述计算机设备2中的执行过程。所述程序模块200-206的具体功能在实施例二中已有详细描述,在此不再赘述。
实施例四
本发明实施例还提供一种计算机可读存储介质,如闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等,其上存储有计算机程序,程序被处理器执行时实现相应功能。本发明实施例的计算机可读存储介质用于存储数据处理及展示系统20,被处理器执行时实现实施例一的数据处理及展示方法。
本发明实施例通过将绘图数据信息建立系统架构图表,由于系统架构图表包含了各个系统之间的关联关系、各个系统承担的主要功能,从系统架构图表上可以获取到业务数据的流向,通过新系统架构图表与系统架构图表对比可以查询到业务需求及生产问题,且能够快速定位问题点,省时省力,
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种数据处理及展示方法,其特征在于,包括:
接收用户通过前端页面录入的绘图数据;
清洗和校验所述绘图数据,得到清洗和校验后的目标绘图数据,并将所述目标绘图数据存储至系统数据库中;
根据所述目标绘图数据生成系统架构图表;
将所述系统架构图表返回至前端页面,以通过所述前端页面进行视图展示。
2.根据权利要求1所述的数据处理及展示方法,其特征在于,所述绘图数据包括系统数据表数据、系统数据表来源数据、系统处理过程数据、系统数据表用途及去向数据和/或系统数据表的级别数据。
3.根据权利要求1所述的数据处理及展示方法,其特征在于,所述系统架构图表包括系统数据库层、系统内数据层以及处理逻辑层,其中:
所述系统数据库层,包括不同系统之间连接、不同数据库之间连接、数据流转与数据处理总结层面的信息;
所述系统内数据层,包括系统内部的数据来源、数据处理概况、数据流向与数据衰减过程的信息;
所述处理逻辑层,包括所述系统数据表的数据经过的处理步骤的信息。
4.根据权利要求1所述的数据处理及展示方法,其特征在于,所述根据所述目标绘图数据生成系统架构图表的步骤,包括:
将所述目标绘图数据进行逐层划分为底层绘图数据,每层所述底层绘图数据对应来源数据、处理过程数据、用途数据及去向数据和级别数据;
将每层的所述底层绘图数据建立对应的数据表;
根据系统之间的交互情况,将所述数据表生成系统架构表数据;
通过echarts将所述系统架构表数据绘制成系统架构图表。
5.根据权利要求1所述的数据处理及展示方法,其特征在于,所述校验所述绘图数据的步骤之前,包括:
通过pafa框架调用jdbc包连接系统数据库;
根据select指令查看绘图数据,并根据所述系统数据库对所述绘图数据进行校验。
6.根据权利要求1至5任意一项所述的数据处理及展示方法,其特征在于,将所述系统架构图表返回至前端页面,以通过所述前端页面进行视图展示的步骤之后,还包括:
获取用户录入的新增数据;
将所述新增数据更新至所述绘图数据中形成新绘图数据;
根据所述新绘图数据重新生成新系统架构图表;
将所述新系统架构图表返回至前端页面,以通过前端页面进行视图展示。
7.根据权利要求6所述的数据处理及展示方法,其特征在于,将新增数据更新至所述绘图数据中形成新绘图数据的步骤,包括:
预先将所述系统数据库连接信息加载在新增数据中;
导入jdbc包,加载驱动所述系统数据库连接信息,通过所述系统数据库连接信息连接到系统的数据库;
创建执行语句块,所述执行语句包括更新语句;
通过statement将所述执行语句发送至所述系统数据库中;
若所述执行语句执行成功,则将所述新增数据更新至所述绘图数据,并返回更新成功的信息;
若所述执行语句执行失败,则返回更新失败的信息,重新进行数据更新。
8.一种数据处理及展示系统,其特征在于,包括:
接收模块,用于接收用户通过前端页面录入的绘图数据;
处理模块,用于清洗和校验所述绘图数据,得到清洗和校验后的目标绘图数据,并将所述目标绘图数据存储至系统数据库中;
生成模块,用于根据所述目标绘图数据生成系统架构图表;
展示模块,用于将所述系统架构图表返回至前端页面,以通过所述前端页面进行视图展示。
9.一种计算机设备,其特征在于,所述计算机设备包括存储器、处理器,所述存储器上存储有可在所述处理器上运行的数据处理及展示系统,所述数据处理及展示系统被所述处理器执行时实现如权利要求1-7中任一项所述的数据处理及展示方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序可被至少一个处理器所执行,以使所述至少一个处理器执行如权利要求1-7中任一项所述的数据处理及展示方法的步骤。
CN201910843348.XA 2019-09-06 2019-09-06 数据处理及展示方法、系统、设备及存储介质 Pending CN110688423A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910843348.XA CN110688423A (zh) 2019-09-06 2019-09-06 数据处理及展示方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910843348.XA CN110688423A (zh) 2019-09-06 2019-09-06 数据处理及展示方法、系统、设备及存储介质

Publications (1)

Publication Number Publication Date
CN110688423A true CN110688423A (zh) 2020-01-14

Family

ID=69107915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910843348.XA Pending CN110688423A (zh) 2019-09-06 2019-09-06 数据处理及展示方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110688423A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106682096A (zh) * 2016-12-01 2017-05-17 北京奇虎科技有限公司 一种日志数据的管理方法和装置
CN107688664A (zh) * 2017-09-25 2018-02-13 平安科技(深圳)有限公司 图表生成方法、装置、计算机设备和存储介质
CN107908659A (zh) * 2017-10-17 2018-04-13 深圳前海微众银行股份有限公司 数据报表配置方法、报表平台和计算机可读存储介质
CN109299169A (zh) * 2018-10-24 2019-02-01 中国平安人寿保险股份有限公司 数据可视化方法、系统、终端及计算机可读存储介质
CN109358851A (zh) * 2018-07-19 2019-02-19 平安科技(深圳)有限公司 图表组件的创建方法、装置及计算机可读存储介质
CN109359142A (zh) * 2018-09-29 2019-02-19 北京明朝万达科技股份有限公司 一种数据处理方法、数据处理装置、计算机设备及可读存储介质
CN109710663A (zh) * 2018-12-29 2019-05-03 北京神舟航天软件技术有限公司 一种数据统计图表生成方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106682096A (zh) * 2016-12-01 2017-05-17 北京奇虎科技有限公司 一种日志数据的管理方法和装置
CN107688664A (zh) * 2017-09-25 2018-02-13 平安科技(深圳)有限公司 图表生成方法、装置、计算机设备和存储介质
CN107908659A (zh) * 2017-10-17 2018-04-13 深圳前海微众银行股份有限公司 数据报表配置方法、报表平台和计算机可读存储介质
CN109358851A (zh) * 2018-07-19 2019-02-19 平安科技(深圳)有限公司 图表组件的创建方法、装置及计算机可读存储介质
CN109359142A (zh) * 2018-09-29 2019-02-19 北京明朝万达科技股份有限公司 一种数据处理方法、数据处理装置、计算机设备及可读存储介质
CN109299169A (zh) * 2018-10-24 2019-02-01 中国平安人寿保险股份有限公司 数据可视化方法、系统、终端及计算机可读存储介质
CN109710663A (zh) * 2018-12-29 2019-05-03 北京神舟航天软件技术有限公司 一种数据统计图表生成方法

Similar Documents

Publication Publication Date Title
US9836297B2 (en) Computer implemented method and system for automatically deploying and versioning scripts in a computing environment
US10560484B2 (en) Managing access in one or more computing systems
US10805154B2 (en) Secure configuration management system
US11422795B2 (en) System and method for predicting the impact of source code modification based on historical source code modifications
CN102571403A (zh) 通用数据质量管控适配器的实现方法和装置
CN110932918B (zh) 日志数据采集方法、装置及存储介质
US11366791B2 (en) System and method for process and automation framework to enable acceptance test driven development
CN109741022B (zh) 电子政务前端信息共享的方法、装置、存储介质及设备
US11533387B2 (en) Interface engine architecture
CN110895472A (zh) 一种识别业务变更的方法和装置
EP4071697A1 (en) Data management system, management method, and management program
WO2019095673A1 (zh) 员工培训报名方法、应用服务器及计算机可读存储介质
US11281460B1 (en) System and method for identifying source code defect introduction during source code modification
US20240095256A1 (en) Method and system for persisting data
CN112785411A (zh) 征信数据处理方法、系统、设备及计算机可读存储介质
CN110555150B (zh) 一种数据监控方法、装置、设备和存储介质
CN109857806B (zh) 数据库表的同步验证方法及装置
WO2019062011A1 (zh) 目标客户群的构建方法、电子装置及存储介质
US20150378828A1 (en) Test data management
WO2019019799A1 (zh) 数据共享方法、电子装置及计算机可读存储介质
CN112001707A (zh) 基于业务数据的业务工作流生成方法及系统
CN116957764A (zh) 一种账户数据处理方法、装置、电子设备及存储介质
CN110688423A (zh) 数据处理及展示方法、系统、设备及存储介质
CN115409014A (zh) 单据模板生成方法、装置、计算机设备和存储介质
EP3745330A1 (en) System and method to update aircraft maintenance records using blockchain technology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination