CN116340405B - 基于大数据的企业数据处理方法、装置、设备及存储介质 - Google Patents
基于大数据的企业数据处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116340405B CN116340405B CN202310321235.XA CN202310321235A CN116340405B CN 116340405 B CN116340405 B CN 116340405B CN 202310321235 A CN202310321235 A CN 202310321235A CN 116340405 B CN116340405 B CN 116340405B
- Authority
- CN
- China
- Prior art keywords
- data
- merging
- processing method
- enterprise
- chart
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 claims abstract description 54
- 238000012545 processing Methods 0.000 claims abstract description 49
- 238000009877 rendering Methods 0.000 claims abstract description 28
- 230000003068 static effect Effects 0.000 claims abstract description 17
- 238000004458 analytical method Methods 0.000 claims abstract description 10
- 230000002452 interceptive effect Effects 0.000 claims abstract description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 238000007405 data analysis Methods 0.000 claims description 5
- 238000013075 data extraction Methods 0.000 claims description 5
- 230000001174 ascending effect Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims 1
- 230000010354 integration Effects 0.000 abstract description 5
- 230000000007 visual effect Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 8
- 238000011161 development Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/256—Integrating or interfacing systems involving database management systems in federated or virtual databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/288—Entity relationship models
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种基于大数据的企业数据处理方法、装置、设备及存储介质，属于大数据处理技术领域，该方法如下：获取企业数据；所述企业数据包括：企业业务系统数据、第三方系统数据、公共服务数据；根据预设数据处理方法对所述企业数据进行处理；所述预设数据处理方法包括如下一项或多项：图表数据合并渲染方法、图表字段处理方法、静态文件处理方法、或数据关联方法；根据数据展示方法对用户展示所需数据；所述数据展示方法包括：大数据图表动态展示和交互式实时数据展示。本发明可以实现不同类型数据的整合，兼容多种数据源实现海量数据的秒接入，实现大量数据的快速分析并通过可视化方式直观的展示给用户。
Description
技术领域
本发明涉及大数据处理技术领域，尤其涉及一种基于大数据的企业数据处理方法、装置、设备及存储介质。
背景技术
大数据时代，各个行业经营与发展中产生的信息量日益庞大，并且信息种类呈现出多样化的趋势，这对企业的经营与发展产生了一定影响，导致传统的经营管理模式无法满足大数据时代的发展需求。目前存在的问题包括：1、业务系统积累的数据时间长，类型多；传感器数据实时性高，每天会产生大量的数据；2、系统不同阶段建设，数据字典和标准不统一，注册协议不同，存在软件与软件、软件与硬件等类别数据互通，打通难度大；3、行列式，中国式报表阅读不直观，无法交互；4、传统企业一线数据上报速度有限，上报后进行数据统计汇总耗费时间长，高层不能第一时间掌握一线数据，决策缓慢。
发明内容
本发明提供了一种基于大数据的企业数据处理方法、装置、设备及存储介质，可以实现不同类型数据的整合，兼容多种数据源实现海量数据的秒接入，实现大量数据的快速分析并通过可视化方式直观的展示给用户。
第一方面，本发明的实施例提供了一种基于大数据的企业数据处理方法，该方法包括：
获取企业数据；
其中，企业数据包括：企业业务系统数据、第三方系统数据、公共服务数据；
根据预设数据处理方法对企业数据进行处理；
其中，预设数据处理方法包括如下一项或多项：图表数据合并渲染方法、图表字段处理方法、静态文件处理方法、或数据关联方法；
根据数据展示方法对用户展示所需数据；
其中，数据展示方法包括：大数据图表动态展示和交互式实时数据展示。
通过上述技术方案可以实现不同类型数据的整合，兼容多种数据源实现海量数据的秒接入，实现大量数据的快速分析并通过可视化方式直观的展示给用户。
可选地，根据预设数据处理方法对企业数据进行处理，包括：
根据图表数据提取请求，提取对应业务表中的数据；
若提取的数据条数大于数量阈值时，则对提取的数据进行合并，得到符合渲染要求量级的数据；
对符合渲染要求量级的数据进行渲染。
可选地，根据预设数据处理方法对企业数据进行处理，还包括：
根据业务需求确定图表中需要显示的字段进行显示；
根据用户选择对图表中的剩余字段字段进行显示。
可选地，根据预设数据处理方法对企业数据进行处理，还包括：
将静态文件压缩并上传服务器；
根据获取请求，从服务器中实时下载并解压使用静态文件。
可选地，根据预设数据处理方法对企业数据进行处理，还包括：
根据业务实时性要求，设定定时任务的周期时长；
根据定时任务对业务数据进行数据分析，并根据分析结果建立业务数据之间的关联关系。
可选地，该基于大数据的企业数据处理方法，还包括：
根据签名规则和业务参数计算第一参数签名；
将第一参数签名和业务参数提交到请求接口；
后台接收请求并按照接收到的业务参数和签名规则计算第二参数签名；
若第一参数签名和第二参数签名不相同，则拦截请求接口的请求；
若第一参数签名和第二参数签名相同，则验证token；
若token无效则拦截请求接口的请求。
可选地，根据签名规则和业务参数计算第一参数签名，包括：
将业务参数按照ASCII码升序排序；
根据排序结果和业务参数的参数名进行拼接得到字符串；
若字符串的长度大于长度阈值，则截取前长度阈值的字符并对截取的字符进行md5加密，确定第一参数签名。
第二方面，本发明的实施例提供了一种基于大数据的企业数据处理装置，该装置包括：
获取模块，用于获取企业数据；
其中，企业数据包括：企业业务系统数据、第三方系统数据、公共服务数据；
处理模块，根据预设数据处理方法对企业数据进行处理；
其中，预设数据处理方法包括如下一项或多项：图表数据合并渲染方法、图表字段处理方法、静态文件处理方法、或数据关联方法；
展示模块，用于根据数据展示方法对用户展示所需数据；
其中，数据展示方法包括：大数据图表动态展示和交互式实时数据展示。
第三方面，本发明的实施例提供了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如第一方面中任一实现方式所述的方法。
第四方面，本发明的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面中任一实现方式所述的方法。
本发明提供了一种基于大数据的企业数据处理方法、装置、设备及存储介质，该方法如下：获取企业数据；所述企业数据包括：企业业务系统数据、第三方系统数据、公共服务数据；根据预设数据处理方法对所述企业数据进行处理；所述预设数据处理方法包括如下一项或多项：图表数据合并渲染方法、图表字段处理方法、静态文件处理方法、或数据关联方法；根据数据展示方法对用户展示所需数据；所述数据展示方法包括：大数据图表动态展示和交互式实时数据展示。本发明可以实现不同类型数据的整合，兼容多种数据源实现海量数据的秒接入，实现大量数据的快速分析并通过可视化方式直观的展示给用户。
应当理解，发明内容部分中所描述的内容并非旨在限定本发明的实施例的关键或重要特征，亦非用于限制本发明的范围。本发明的其它特征将通过以下的描述变得容易理解。
附图说明
结合附图并参考以下详细说明，本发明各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素。
图1为本发明实施例的一种基于大数据的企业数据处理方法的流程图；
图2为本发明实施例的一种基于大数据的企业数据处理装置的结构示意图；
图3为本发明实施例的一种电子设备的结构图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。
需要说明的是，本发明实施例描述的仅仅是为了更加清楚的说明本发明实施例的技术方案，并不构成对本发明实施例提供的技术方案的限定。
图1为本发明实施例的一种基于大数据的企业数据处理方法的流程图。
如图1所示，包括：
S101、获取企业数据。
其中，企业数据包括：企业业务系统数据、第三方系统数据、公共服务数据。
可选地，可以根据标准文档修改不同数据源的格式字段等内容，生成标准数据。
需要说明的是，获取的数据不仅限于企业业务系统数据、第三方系统数据、公共服务数据，也可以是其他业务系统的数据。
S102、根据预设数据处理方法对所述企业数据进行处理。
其中，预设数据处理方法包括如下一项或多项：图表数据合并渲染方法、图表字段处理方法、静态文件处理方法、或数据关联方法。
可选地，根据预设数据处理方法对企业数据进行处理，包括：
根据图表数据提取请求，提取对应业务表中的数据；
若提取的数据条数大于数量阈值时，则对提取的数据进行合并，得到符合渲染要求量级的数据；
对符合渲染要求量级的数据进行渲染。
示例性地，数量阈值可以为500条，当渲染数据小于500条时则跳过合并流程返回给前端进行渲染，否则进行数据合并操作；
若进行数据合并，则设置合并集合和合并标示位,当合并标示位的值为true时进行合并，当合并标示位的值为false时则继续遍历数据；
遍历数据时，当发现数据报警为alert＝1时，若发现合并集合中有数据则进行一次数据合并，反之则继续遍历数据将数据加入到合并集合中，当合并集合中的数据条数达到500条时再进行数据合并。
可选地，根据预设数据处理方法对企业数据进行处理，还包括：
根据业务需求确定图表中需要显示的字段进行显示；
根据用户选择对图表中的剩余字段字段进行显示。
示例性地，可以对后端响应的json数据精简，对于前端不需要的属性不在进行序列化，将对象属性名简化成v,t两属性；最终的数据格式可以为：[{v:100000,t:1},{v:20000,t:2}]；
将上述数据进行压缩处理后，若返回到前端的数量有3-5M，可以压缩至几十k，压缩比可以达到256:1。
可选地，根据预设数据处理方法对企业数据进行处理，还包括：
将静态文件压缩并上传服务器；
根据获取请求，从服务器中实时下载并解压使用静态文件。
示例性地，可以开启或者关闭nginx gzip模块(on|off),不管页面多大都压缩，允许压缩的页面最小字节数可以设置成大于1k的字节数；并设置系统获取几个单位的缓存用于存储gzip的压缩结果数据流。例如：4 4k代表以4k为单位，按照原始数据大小以4k为单位的4倍申请内存。
示例性地，gzip压缩比为1时，压缩比最小处理速度最快，gzip压缩比为9时，压缩比最大但处理最慢。
可选地，根据预设数据处理方法对企业数据进行处理，还包括：
根据业务实时性要求，设定定时任务的周期时长；
根据定时任务对业务数据进行数据分析，并根据分析结果建立业务数据之间的关联关系。
示例性地，可以开启定时任务，根据业务实时性要求，设定定时任务周期时长，对业务数据进行数据分析，把分析结果通过websocket即时通讯技术实时推送到前端，进行实时动态调整，当前端建立websocket连接时，client先发送一个upgrade http报文到server，然后server再对此进行回复，从而完成一次握手过程。
S103、根据数据展示方法对用户展示所需数据。
其中，数据展示方法包括：大数据图表动态展示和交互式实时数据展示。
示例性地，可以采用Echarts生成图表，Echarts提供拖拽重计算，数据视图、值域漫游等功能，并让提供用户对数据进行挖掘、整合的能力，帮助用户获取漂亮的动态大数据图表。
示例性地，在看板上展示的数据可以联动，并且用户可以进行协同过滤，自由地进行多维度数据钻取、排序、筛选，提高用户的自主性。
可选地，该基于大数据的企业数据处理方法，还包括：
根据签名规则和业务参数计算第一参数签名；
将第一参数签名和业务参数提交到请求接口；
后台接收请求并按照接收到的业务参数和签名规则计算第二参数签名；
若第一参数签名和第二参数签名不相同，则拦截请求接口的请求；
若第一参数签名和第二参数签名相同，则验证token；
若token无效则拦截请求接口的请求。
可选地，根据签名规则和业务参数计算第一参数签名，包括：
将业务参数按照ASCII码升序排序；
根据排序结果和业务参数的参数名进行拼接得到字符串；
若字符串的长度大于长度阈值，则截取前长度阈值的字符并对截取的字符进行md5加密，确定第一参数签名。
示例性地，字符串格式可以为：name＝value。
可选地，该基于大数据的企业数据处理方法，还包括：
示例性地，使用vuex进行状态维护，并进行二次封装，将传统繁琐的状态管理逻辑封装，内部实现所有变更所需操作，简化为直接操作一个变量，管理全局状态并实时做出对应处理。
示例性地，通过路由进行拦截控制，灵活快捷处理并控制路由指向，可以通过判断用户角色权限生成对应路由表，使用动态路由在页面添加多种类型参数来生成多样化的页面。
示例性地，通过设置全局报警插件，全局实时监控整个系统运行状态并做出对应预警处理。
示例性地，使用html2canvas实现页面截图功能，将页面生成canvas然后转为base64数据流，实现一键生成页面数据截图。
示例性地，通过以统计数据生成html文件并导出，实现动态数据报表，可以更直观的查看数据报表信息。
示例性地，封装动态表格以及表单，将所需的表单以及表格列表字段通过schema配置生成页面，快速方便的创建crud页面，可以提高开发效率，节省大量重复性的开发时间。
示例性地，通过分包打包将页面依赖文件拆分成多个模块文件异步加载，可以避免单文件太大导致页面加载阻塞。
示例性地，实现上述方法的技术架构可以为springboot+redis+jwt+达梦数据库+mybatis；
示例性地，可以基于sprignboot的微服务框架，快速构建基于spring的应用程序，完全采用注解化，简化xml文件配置，内置HTTP服务器提升开发效率。
示例性地，用户认证可以采用JWT方式，基于token的鉴权机制，无需在服务端保留用户的认证信息或会话信息，可以不去考虑用户的登录服务器，为应用的扩展提供了便利。
示例性地，权限认证可以采用了Apache的Shiro，使用Shiro可以快速、轻松的获得应用程序,包括最小的移动应用程序到最大的网络和企业应用程序。
示例性地，使用上述方法的系统可以采用标准的微服务架构，各个模块相对独立，可以针对性的进行模块优化和升级，降低系统之间的耦合度，为系统提供了更好的业务适应性。
示例性地，可以采用vue+element UI快速构建项目，可以使用路由跳转不会刷新页面，页面局部刷新，不用每次跳转都请求数据，加快了访问速度，提升了用户体验。
本发明实施例提供了一种基于大数据的企业数据处理方法，该方法如下：获取企业数据；所述企业数据包括：企业业务系统数据、第三方系统数据、公共服务数据；根据预设数据处理方法对所述企业数据进行处理；所述预设数据处理方法包括如下一项或多项：图表数据合并渲染方法、图表字段处理方法、静态文件处理方法、或数据关联方法；根据数据展示方法对用户展示所需数据；所述数据展示方法包括：大数据图表动态展示和交互式实时数据展示。本发明可以实现不同类型数据的整合，兼容多种数据源实现海量数据的秒接入，实现大量数据的快速分析并通过可视化方式直观的展示给用户。
以下结合图2详细说明本申请实施例提供的可以执行上述基于大数据的企业数据处理方法的装置。
示例性地，图2为本发明实施例的一种基于大数据的企业数据处理装置的结构示意图；如图2所示，所述数据处理装置20包括：
获取模块201，用于获取企业数据；
其中，企业数据包括：企业业务系统数据、第三方系统数据、公共服务数据；
处理模块202，根据预设数据处理方法对企业数据进行处理；
其中，预设数据处理方法包括如下一项或多项：图表数据合并渲染方法、图表字段处理方法、静态文件处理方法、或数据关联方法；
展示模块203，用于根据数据展示方法对用户展示所需数据；
其中，数据展示方法包括：大数据图表动态展示和交互式实时数据展示。
可选地，处理模块202，还用于根据图表数据提取请求，提取对应业务表中的数据；若提取的数据条数大于数量阈值时，则对提取的数据进行合并，得到符合渲染要求量级的数据；对符合渲染要求量级的数据进行渲染。
可选地，处理模块202，还用于根据业务需求确定图表中需要显示的字段进行显示；根据用户选择对图表中的剩余字段字段进行显示。
可选地，处理模块202，还用于将静态文件压缩并上传服务器；根据获取请求，从服务器中实时下载并解压使用静态文件。
可选地，处理模块202，还用于根据业务实时性要求，设定定时任务的周期时长；根据定时任务对业务数据进行数据分析，并根据分析结果建立业务数据之间的关联关系。
可选地，数据处理装置20还包括：验证模块204，用于根据签名规则和业务参数计算第一参数签名；将第一参数签名和业务参数提交到请求接口；后台接收请求并按照接收到的业务参数和签名规则计算第二参数签名；若第一参数签名和第二参数签名不相同，则拦截请求接口的请求；若第一参数签名和第二参数签名相同，则验证token；若token无效则拦截请求接口的请求。
可选地，数据处理装置20还包括：计算单元2041，用于将业务参数按照ASCII码升序排序；根据排序结果和业务参数的参数名进行拼接得到字符串；若字符串的长度大于长度阈值，则截取前长度阈值的字符并对截取的字符进行md5加密，确定第一参数签名。
本发明实施例还提供了一种计算机电子设备，图3示出了可以应用本发明实施例的电子设备的结构示意图，如图3所示，该计算机电子设备包括，中央处理模块(CPU)301，其可以根据存储在只读存储器(ROM)302中的程序或者从存储部分308加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM 303中，还存储有系统操作所需的各种程序和数据。CPU 301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。
以下部件连接至I/O接口305：包括键盘、鼠标等的输入部分306；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分307；包括硬盘等的存储部分308；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分309。通信部分309经由诸如因特网的网络执行通信处理。驱动器310也根据需要连接至I/O接口305。可拆卸介质311，诸如磁盘、光盘、磁光盘、半导体存储器等，根据需要安装在驱动器310上，以便于从其上读出的计算机程序根据需要被安装入存储部分308。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括获取模块201、处理模块202和展示模块203，其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，处理模块202还可以被描述为“用于根据预设数据处理方法对企业数据进行处理的处理模块202”。
作为另一方面，本发明还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中所述一种基于大数据的企业数据处理装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入电子设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本发明的一种基于大数据的企业数据处理方法。
以上描述仅为本发明的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本发明中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (9)
1.一种基于大数据的企业数据处理方法，其特征在于，包括：
获取企业数据；所述企业数据包括：企业业务系统数据、第三方系统数据、公共服务数据；
根据预设数据处理方法对所述企业数据进行处理；所述预设数据处理方法包括如下一项或多项：图表数据合并渲染方法、图表字段处理方法、静态文件处理方法、或数据关联方法；
所述图表数据合并渲染方法包括：
根据图表数据提取请求，提取对应业务表中的数据；
若提取的数据条数大于数量阈值时，则对提取的数据进行合并，得到符合渲染要求量级的数据；
对所述符合渲染要求量级的数据进行渲染；
所述图表数据合并渲染方法还包括：
设置合并集合和合并标示位,当所述合并标示位的值为true时进行合并，当合并标示位的值为false时则继续遍历数据；
当遍历数据中遇到数据报警时，若发现所述合并集合中有数据则进行一次数据合并，反之则继续遍历数据将数据加入到所述合并集合中，直到所述合并集合中的数据条数大于所述数量阈值时再进行数据合并；
根据数据展示方法对用户展示所需数据；所述数据展示方法包括：大数据图表动态展示和交互式实时数据展示；
通过路由进行拦截控制，通过判断用户角色权限生成对应路由表，使用动态路由在页面添加多种类型参数生成多样化的页面展示给用户。
2.根据权利要求1所述的基于大数据的企业数据处理方法，其特征在于，所述根据预设数据处理方法对所述企业数据进行处理，还包括：
根据业务需求确定图表中需要显示的字段进行显示；
根据用户选择对图表中的剩余字段字段进行显示。
3.根据权利要求2所述的基于大数据的企业数据处理方法，其特征在于，所述根据预设数据处理方法对所述企业数据进行处理，还包括：
将静态文件压缩并上传服务器；
根据获取请求，从所述服务器中实时下载并解压使用所述静态文件。
4.根据权利要求3所述的基于大数据的企业数据处理方法，其特征在于，所述根据预设数据处理方法对所述企业数据进行处理，还包括：
根据业务实时性要求，设定定时任务的周期时长；
根据所述定时任务对业务数据进行数据分析，并根据分析结果建立所述业务数据之间的关联关系。
5.根据权利要求1所述的基于大数据的企业数据处理方法，其特征在于，还包括：
根据签名规则和业务参数计算第一参数签名；
将所述第一参数签名和所述业务参数提交到请求接口；
后台接收请求并按照接收到的业务参数和所述签名规则计算第二参数签名；
若所述第一参数签名和所述第二参数签名不相同，则拦截所述请求接口的请求；
若所述第一参数签名和所述第二参数签名相同，则验证token；
若所述token无效则拦截所述请求接口的请求。
6.根据根据权利要求5所述的基于大数据的企业数据处理方法，其特征在于，所述根据签名规则和业务参数计算第一参数签名，包括：
将所述业务参数按照ASCII码升序排序；
根据排序结果和所述业务参数的参数名进行拼接得到字符串；
若所述字符串的长度大于长度阈值，则截取前长度阈值的字符并对截取的字符进行md5加密，确定所述第一参数签名。
7.一种基于大数据的企业数据处理装置，其特征在于，包括：
获取模块，用于获取企业数据；所述企业数据包括：企业业务系统数据、第三方系统数据、公共服务数据；
处理模块，用于根据预设数据处理方法对所述企业数据进行处理；所述预设数据处理方法包括如下一项或多项：图表数据合并渲染方法、图表字段处理方法、静态文件处理方法、或数据关联方法；
所述处理模块，根据图表数据提取请求，提取对应业务表中的数据；若提取的数据条数大于数量阈值时，则对提取的数据进行合并，得到符合渲染要求量级的数据；对所述符合渲染要求量级的数据进行渲染；
所述处理模块，还用于设置合并集合和合并标示位,当所述合并标示位的值为true时进行合并，当合并标示位的值为false时则继续遍历数据；当遍历数据中遇到数据报警时，若发现所述合并集合中有数据则进行一次数据合并，反之则继续遍历数据将数据加入到所述合并集合中，直到所述合并集合中的数据条数大于所述数量阈值时再进行数据合并；
展示模块，用于根据数据展示方法对用户展示所需数据；所述数据展示方法包括：大数据图表动态展示和交互式实时数据展示；
所述展示模块，还用于通过路由进行拦截控制，通过判断用户角色权限生成对应路由表，使用动态路由在页面添加多种类型参数生成多样化的页面展示给用户。
8.一种电子设备，其特征在于，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310321235.XA CN116340405B (zh) | 2023-03-29 | 2023-03-29 | 基于大数据的企业数据处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310321235.XA CN116340405B (zh) | 2023-03-29 | 2023-03-29 | 基于大数据的企业数据处理方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116340405A CN116340405A (zh) | 2023-06-27 |
| CN116340405B true CN116340405B (zh) | 2023-10-13 |
Family
ID=86887476
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310321235.XA Active CN116340405B (zh) | 2023-03-29 | 2023-03-29 | 基于大数据的企业数据处理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116340405B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106790238A (zh) * | 2017-01-19 | 2017-05-31 | 北京神州绿盟信息安全科技股份有限公司 | 一种跨站请求伪造csrf防御认证方法和装置 |
| JP2019186728A (ja) * | 2018-04-09 | 2019-10-24 | キヤノン株式会社 | 電子機器およびその制御方法、プログラム並びに記憶媒体 |
| CN110782516A (zh) * | 2019-10-25 | 2020-02-11 | 四川视慧智图空间信息技术有限公司 | 一种三维模型数据的纹理合并方法及相关装置 |
| CN111177618A (zh) * | 2019-12-17 | 2020-05-19 | 腾讯科技（深圳）有限公司 | 网站搭建方法、装置、设备及计算机可读存储介质 |
| CN111694565A (zh) * | 2020-06-24 | 2020-09-22 | 深圳壹账通智能科技有限公司 | 数据可视化应用开发方法及系统 |
| CN112947918A (zh) * | 2021-03-31 | 2021-06-11 | 中国建设银行股份有限公司 | 数据展示方法和装置 |
| CN113689568A (zh) * | 2021-08-03 | 2021-11-23 | 南昌威爱信息科技有限公司 | 一种基于云端渲染的三维效果图高精度建模方法 |
| CN114116880A (zh) * | 2021-11-30 | 2022-03-01 | 建信金融科技有限责任公司 | 数据可视化方法、系统、设备及介质 |
| CN114356333A (zh) * | 2022-01-12 | 2022-04-15 | 平安科技（深圳）有限公司 | 业务功能配置方法、设备、存储介质及其业务系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8423902B2 (en) * | 2010-04-21 | 2013-04-16 | Microsoft Corporation | Representation of overlapping visual entities |
-
2023
- 2023-03-29 CN CN202310321235.XA patent/CN116340405B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106790238A (zh) * | 2017-01-19 | 2017-05-31 | 北京神州绿盟信息安全科技股份有限公司 | 一种跨站请求伪造csrf防御认证方法和装置 |
| JP2019186728A (ja) * | 2018-04-09 | 2019-10-24 | キヤノン株式会社 | 電子機器およびその制御方法、プログラム並びに記憶媒体 |
| CN110782516A (zh) * | 2019-10-25 | 2020-02-11 | 四川视慧智图空间信息技术有限公司 | 一种三维模型数据的纹理合并方法及相关装置 |
| CN111177618A (zh) * | 2019-12-17 | 2020-05-19 | 腾讯科技（深圳）有限公司 | 网站搭建方法、装置、设备及计算机可读存储介质 |
| CN111694565A (zh) * | 2020-06-24 | 2020-09-22 | 深圳壹账通智能科技有限公司 | 数据可视化应用开发方法及系统 |
| CN112947918A (zh) * | 2021-03-31 | 2021-06-11 | 中国建设银行股份有限公司 | 数据展示方法和装置 |
| CN113689568A (zh) * | 2021-08-03 | 2021-11-23 | 南昌威爱信息科技有限公司 | 一种基于云端渲染的三维效果图高精度建模方法 |
| CN114116880A (zh) * | 2021-11-30 | 2022-03-01 | 建信金融科技有限责任公司 | 数据可视化方法、系统、设备及介质 |
| CN114356333A (zh) * | 2022-01-12 | 2022-04-15 | 平安科技（深圳）有限公司 | 业务功能配置方法、设备、存储介质及其业务系统 |
Non-Patent Citations (4)
| Title |
|---|
| Rex West.Physically-based feature line rendering.《ACM Transactions on Graphics》.2021,第40卷(第6期),1–11. * |
| Wei-Wen Feng 等.Large-scale data management for PRT-based real-time rendering of dynamically skinned models.《EGSR'07: Proceedings of the 18th Eurographics conference on Rendering Techniques》.2007,23–34. * |
| 叶思思.面向移动端三维组态展示的轻量化技术研究与应用.《中国优秀硕士学位论文全文数据库 信息科技辑》.2022,(第06期),I138-144. * |
| 许加耀.基于大数据平台的河湖空间侵占管控关键技术研究.《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》.2022,(第05期),C037-39. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116340405A (zh) | 2023-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10795629B2 (en) | Text and custom format information processing method, client, server, and computer-readable storage medium | |
| US10289659B2 (en) | Delivery and display of page previews using shadow DOM | |
| TWI590157B (zh) | 自客戶側應用程式之傳送資料壓縮序列化 | |
| CN111901192B (zh) | 一种页面访问数据的统计方法及装置 | |
| CN108073625B (zh) | 用于元数据信息管理的系统及方法 | |
| US10581791B2 (en) | Communication message consolidation with content difference formatting | |
| CN110196790A (zh) | 异常监控的方法和装置 | |
| CN111414516A (zh) | 一种直播间消息处理方法、装置、电子设备及存储介质 | |
| CN110795084B (zh) | 生成接口描述文件的方法、装置、设备及可读存储介质 | |
| CN111352903A (zh) | 日志管理平台、日志管理方法、介质以及电子设备 | |
| CN112084179B (zh) | 一种数据处理的方法、装置、设备及存储介质 | |
| US20150106928A1 (en) | Screening of email templates in campaign management | |
| US20150149884A1 (en) | Distributed computing environment based document personalizer | |
| CN111010364A (zh) | 用于基于离线对象的存储和模拟rest响应的系统 | |
| CN114697304B (zh) | 一种灰度发布方法、系统、装置、设备及存储介质 | |
| CN113568626B (zh) | 动态打包、应用程序包开启方法、装置和电子设备 | |
| CN111898135A (zh) | 数据处理方法、数据处理装置、计算机设备和介质 | |
| CN112286815A (zh) | 一种接口测试脚本的生成方法及其相关设备 | |
| CN111435937A (zh) | 一种监控平台的刷新方法及装置 | |
| CN113342450B (zh) | 页面处理的方法、装置、电子设备及计算机可读介质 | |
| CN116340405B (zh) | 基于大数据的企业数据处理方法、装置、设备及存储介质 | |
| CN113157480A (zh) | 错误信息处理方法、装置、存储介质以及终端 | |
| CN113204449B (zh) | 会话备份方法、计算机可读存储介质及终端设备 | |
| CN108156134A (zh) | 一种基于FPGA的Spice协议解析系统 | |
| CN105245380B (zh) | 一种消息的传播方式识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |