CN105760444A - 一种新型的业务和数据库审计数据中心 - Google Patents
一种新型的业务和数据库审计数据中心 Download PDFInfo
- Publication number
- CN105760444A CN105760444A CN201610075246.4A CN201610075246A CN105760444A CN 105760444 A CN105760444 A CN 105760444A CN 201610075246 A CN201610075246 A CN 201610075246A CN 105760444 A CN105760444 A CN 105760444A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- data center
- audit
- report
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012550 audit Methods 0.000 title claims abstract description 43
- 238000004458 analytical method Methods 0.000 claims abstract description 22
- 238000004891 communication Methods 0.000 claims abstract description 14
- 238000007405 data analysis Methods 0.000 claims abstract description 12
- 238000005516 engineering process Methods 0.000 claims abstract description 10
- 238000013500 data storage Methods 0.000 claims description 8
- 238000013461 design Methods 0.000 claims description 8
- 239000010453 quartz Substances 0.000 claims description 7
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N silicon dioxide Inorganic materials O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 claims description 7
- 238000013523 data management Methods 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 4
- 230000009471 action Effects 0.000 claims description 3
- 230000002457 bidirectional effect Effects 0.000 claims description 3
- 230000003139 buffering effect Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000005201 scrubbing Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 230000003993 interaction Effects 0.000 abstract 1
- 230000033228 biological regulation Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 240000007643 Phytolacca americana Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007711 solidification Methods 0.000 description 1
- 230000008023 solidification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种新型的业务和数据库审计数据中心，其改进之处在于，所述审计数据中心包括通过VWF通讯模块进行信息交互的Web控制端与后台数据分析平台；所述审计数据中心对审计引擎上报的事件采用环形池技术、多线程技术记录存储海量数据并提供进一步的查询、统计、取证分析。本发明提供的技术方案具有高效的分析计算功能，检索效率高，能快速从海量数据中分类统计信息并生成统计报告。
Description
技术领域
本发明涉及大数据审计领域，具体讲涉及一种新型的业务与数据库审计数据中心。
背景技术
随着信息技术的飞速发展，政府和企事业单位的核心业务的信息化程度越来越高，信息设备也越来越多，同时，随着信息系统网络化的程度越来越高，面临的信息安全风险也日益增加。
审计系统既能收集海量的分散数据信息，同时又能对这些数据格式进行规范化统一描述，实现对海量数据的集中化存储、分析、审计和展示，并满足相关法规标准的符合性要求。
审计数据中心是审计系统中关键的部分，最主要的应用环境是海量数据的保存、取证，同时，对于海量数据信息的查询，也是审计系统或安全管理平台必需的功能。但是，传统的审计数据中心可记录的数据信息比较小、缺少分析统计功能，且检索能力比较弱，随着系统存储的信息量的增加，查询的速度却越来越慢，用户的体验也会越来越差，这是目前审计数据中心面临的难题。
概括讲，当前审计数据中心主要面临如下问题：
1)事件入库速度与事件查询速度间互相制约的矛盾；
2)入库事件量越来越大与事件查询速度越来越慢的矛盾。
为解决现有审计数据中心的问题，从海量数据中如何帮助用户实时监测、违规响应、事后合规报告、事故追踪溯源，保证核心资产(数据库、服务器、网络设备等)的正常运营已逐步成为审计数据中心提高的关键方向时，为此需要提供一种新型的审计数据中心方案来满足现有技术的需要。
发明内容
为解决现有技术面临的问题，满足审计数据中心对海量数据处理的高要求，本发明提供一种新型的业务与数据库审计数据中心。
本发明提供的一种新型的业务与数据库审计数据中心，其改进之处在于，所述审计数据中心包括通过VWF通讯模块进行信息交互的Web控制端与后台数据分析平台；所述后台数据分析平台包括有相互通信的作业平台Quartz、中间业务层、DAO层和数据库模块。
进一步的，所述Web控制端对审计系统进行配置，自定义规则、添加审计引擎，完成和审计引擎的交互。
进一步的，所述VWF通讯模块采用多线程技术展示前台数据，将前台数据与后台数据交互，对多线程共享数据进行加锁保护；所述VWF通讯模块支持无应答的单向数据传输和有应答的双向数据传输；并提供事件监听机制，同步跟踪后台数据的运行情况，进行特殊处理，以日志形式输出。
进一步的，所述作业平台Quartz包括报表统计分析模块、报表分析取证模块、报表查询模块、报表生成模块和备份与数据管理模块。
进一步的，所述报表统计分析模块预制多种可任意组合的统计条件，根据对象对大数据进行统计分类；所述报表统计分析模块分析用户的操作行为、用户访问行为、服务器性能，并通过统计分析数据监测服务器负载情况、数据库权限操作情况、账号异常和违规操作情况。
进一步的，所述报表取证分析模块处理所述报表统计分析模块统计的数据，生成中间表；
根据系统提供的支持与、或、非逻辑运算规则的可组合条件，所述报表查询模块查询分析数据；所述报表查询模块在数据存储方面引入列存储方案，不需建立索引即可将每列数据分块压缩存放，每块数据内部的知识网络节点记录块内的统计信息；并在内容查询方面，随时触发、随时跟踪网络环境出现的指定账号与指定应用程序。
进一步的，所述报表生成模块包含有常用报告模板；或根据自身业务特点生成自定义报表；
所述备份与数据管理模块对设备数据备份，并根据数据存储的先后顺序自动进行数据清理。
进一步的，所述中间业务层预处理数据库中的数据，提取并统计数据库不同表中的相同特性；
所述DAO层通过系统提供的接口调用相关联的SQL，执行SQL完成对数据库的操作，为中间业务层模块提供结果。
进一步的，所述数据库模块包括事件库和配置库；所述事件库存放审计引擎上报的事件；所述配置库存放系统的配置信息。
进一步的，所述数据库模块采用固化硬件架构设计与多线程入库技术存储数据；所述数据库模块在读取数据库数据时，用读写并发执行的环形池技术提供不同长度的数据缓冲，实现多线程之间数据共享，共享内存队列。
与最接近的现有技术比，本发明具有以下优异效果：
1、本发明提供的技术方案中Web控制端提供人性化的界面设计，为报表查询、统计、取证、生成报表等模块提供了方便快速的配置页面。
2、本发明提供的技术方案中后台数据处理中报表取证分析模块简化了分析条件的操作，减少了维护的工作量，促进用户内审经验的传递。
3、本发明提供的技术方案中报表查询模块设置的查询分析条件大大加快了检索的速度，减少了审计事件过多带来的管理负担。
4、本发明提供的技术方案中中间业务层模块的设计大大提高了报表统计、报表取证、生成报表的效率。
5、本发明提供的技术方案中采用固化硬件架构设计，大大提高了事件的入库效率，优化了数据存储引擎，大大方便了数据的快速存储与读取。
附图说明
图1为审计数据中心框架图；
图2为审计数据中心结构图。
具体实施方式
为清楚具体的说明本发明提供的技术方案，以下结合附图对审计数据中心的框架图进行详细描述。
本发明提供的审计数据中心如图1所示，所述审计数据中心通过VWF通讯模块对Web控制端与后台数据分析平台进行信息交互；所述Web控制端提供人性化的界面设计，在控制端可对审计系统进行基本配置，也可自定义规则、添加审计引擎，完成和审计引擎的交互。Web控制端为后台数据分析平台中Quartz作业平台提供方便快速的配置页面。前台数据展示与后台数据的交互采用VWF的通信方式，采用多线程技术展示前台数据，对多线程共享数据进行加锁保护；所述VWF通信模块支持无应答的单向数据传输和有应答的双向数据传输；并提供事件监听机制，可同步跟踪后台数据的运行情况，进行特殊处理，以日志形式输出。
后台数据分析平台包括有作业平台Quartz、中间业务层、DAO层和数据库模块。
所述作业平台Quartz包括报表统计分析模块、报表分析取证模块、报表查询模块、报表生成模块和备份与数据管理模块。
所述报表统计分析模块预制多种可任意组合的统计条件，根据各种对象对大数据进行统计分类；所述报表统计分析模块可以从用户操作行为、用户访问行为、服务器性能方面进行分析，通过统计分析数据帮助用户在一定程度上监测服务器负载情况，辅助管理人员优化服务器，帮助审计人员了解数据库权限操作情况，发现账号异常、越权操作、违规客户端操作、账号异地登录等异常和违规操作情况。
所述报表取证分析模块根据内置的条件对海量数据进行统计处理并生成中间表，简化了分析条件的操作；
根据审计数据中心提供的支持与、或、非逻辑运算规则的可组合条件，所述报表查询模块查询分析数据；所述报表查询模块在数据存储方面引入列存储方案，不需建立索引即可将每列数据分块压缩存放，每块数据内部有知识网络节点记录块内的统计信息，加快了检索速度；并在内容查询方面，针对网络环境出现的指定账号、制定应用程序，进行随时触发、随时跟踪网络环境，减少审计事件过多带来的管理负担。
所述报表生成模块包含有根据应用场景设置的常用报告模板；或根据自身业务特点生成自定义报表，能够提供从宏观数据到微观事件的决策依据；
所述备份与数据管理模块对设备数据备份，随着时间推移，当数据即将达到磁盘的容量时，审计数据中心的后台会根据数据存储的先后顺序自动进行数据清理。
所述中间业务层预处理数据库中的数据，提取并统计数据库不同表中的相同特性；
所述DAO层通过系统提供的接口调用相关联的SQL，执行SQL完成对数据库的操作为中间业务层模块提供结果。
所述数据库模块包括事件库和配置库；所述事件库存放审计引擎上报的事件；所述配置库存放系统的配置信息，分开设计可以提高整个系统的响应时间。为提高时间的入库效率，数据库模块采用固化硬件架构设计，获得超大容量的数据存数空间，多线程入库技术存储数据，每秒入库速率达到万条以上；数据库模块在读取数据库数据时，用读写并发执行的环形池技术提供不同长度的数据缓冲，实现多线程之间数据共享，共享内存队列，解决进程间通信数据量大的场景。
如图2所述的审计数据中心结构图，审计数据中心包含主电源与备用电源，VWF通信模块提供的通信接口将WEB控制端的管理接口与后台硬件存数连通，硬件存储模块将海量数据进行处理后与后台中的CPU可互相通信，硬件存储模块为检索提供数据源，检索模块与服务平台通信，通过WEB控制端展示检索结果。
以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。
Claims (10)
1.一种新型的业务和数据库审计数据中心，其特征在于，所述审计数据中心包括通过VWF通讯模块进行信息交互的Web控制端与后台数据分析平台；所述后台数据分析平台包括有相互通信的作业平台Quartz、中间业务层、DAO层和数据库模块。
2.根据权利要求1所述的审计数据中心，其特征在于，所述Web控制端对审计系统进行配置，自定义规则、添加审计引擎，完成和审计引擎的交互。
3.根据权利要求1所述的审计数据中心，其特征在于，所述VWF通讯模块采用多线程技术展示前台数据，将前台数据与后台数据交互，对多线程共享数据进行加锁保护；所述VWF通讯模块支持无应答的单向数据传输和有应答的双向数据传输；并提供事件监听机制，同步跟踪后台数据的运行情况，进行特殊处理，以日志形式输出。
4.根据权利要求1所述的审计数据中心，其特征在于，所述作业平台Quartz包括报表统计分析模块、报表分析取证模块、报表查询模块、报表生成模块和备份与数据管理模块。
5.根据权利要求4所述的审计数据中心，其特征在于，所述报表统计分析模块预制多种可任意组合的统计条件，根据对象对大数据进行统计分类；所述报表统计分析模块分析用户的操作行为、用户访问行为、服务器性能，并通过统计分析数据监测服务器负载情况、数据库权限操作情况、账号异常和违规操作情况。
6.根据权利要求4所述的审计数据中心，其特征在于，所述报表取证分析模块处理所述报表统计分析模块统计的数据，生成中间表；
根据审计系统提供的支持与、或、非逻辑运算规则的可组合条件，所述报表查询模块查询分析数据；所述报表查询模块在数据存储方面引入列存储方案，不需建立索引即可将每列数据分块压缩存放，每块数据内部的知识网络节点记录块内的统计信息；并在内容查询方面，随时触发、随时跟踪网络环境出现的指定账号与指定应用程序。
7.根据权利要求4所述的审计数据中心，其特征在于，所述报表生成模块包含有常用报告模板；或根据自身业务特点生成自定义报表；
所述备份与数据管理模块对设备数据备份，并根据数据存储的先后顺序自动进行数据清理。
8.根据权利要求1所述的审计数据中心，其特征在于，所述中间业务层预处理数据库中的数据，提取并统计数据库不同表中的相同特性；
所述DAO层通过系统提供的接口调用相关联的SQL，执行SQL完成对数据库的操作，为中间业务层模块提供结果。
9.根据权利要求1所述的审计数据中心，其特征在于，所述数据库模块包括事件库和配置库；所述事件库存放审计引擎上报的事件；所述配置库存放系统的配置信息。
10.根据权利要求9所述的审计数据中心，其特征在于，所述数据库模块采用固化硬件架构设计与多线程入库技术存储数据；所述数据库模块在读取数据库数据时，用读写并发执行的环形池技术提供不同长度的数据缓冲，实现多线程之间数据共享，共享内存队列。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610075246.4A CN105760444A (zh) | 2016-02-03 | 2016-02-03 | 一种新型的业务和数据库审计数据中心 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610075246.4A CN105760444A (zh) | 2016-02-03 | 2016-02-03 | 一种新型的业务和数据库审计数据中心 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105760444A true CN105760444A (zh) | 2016-07-13 |
Family
ID=56330551
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610075246.4A Pending CN105760444A (zh) | 2016-02-03 | 2016-02-03 | 一种新型的业务和数据库审计数据中心 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105760444A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106778136A (zh) * | 2016-12-19 | 2017-05-31 | 广州市申迪计算机系统有限公司 | 一种甄别绕行登录事件的审计方法 |
| CN109670312A (zh) * | 2017-10-13 | 2019-04-23 | 华为技术有限公司 | 安全控制方法及计算机系统 |
| WO2019153481A1 (zh) * | 2018-02-07 | 2019-08-15 | 平安科技（深圳）有限公司 | 一种远程审计方法和系统 |
-
2016
- 2016-02-03 CN CN201610075246.4A patent/CN105760444A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106778136A (zh) * | 2016-12-19 | 2017-05-31 | 广州市申迪计算机系统有限公司 | 一种甄别绕行登录事件的审计方法 |
| CN106778136B (zh) * | 2016-12-19 | 2018-09-04 | 广州市申迪计算机系统有限公司 | 一种甄别绕行登录事件的审计方法 |
| CN109670312A (zh) * | 2017-10-13 | 2019-04-23 | 华为技术有限公司 | 安全控制方法及计算机系统 |
| US11687645B2 (en) | 2017-10-13 | 2023-06-27 | Huawei Technologies Co., Ltd. | Security control method and computer system |
| WO2019153481A1 (zh) * | 2018-02-07 | 2019-08-15 | 平安科技（深圳）有限公司 | 一种远程审计方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2019137338A1 (zh) | 轨道交通信息系统云平台 | |
| CN107294801B (zh) | 基于海量实时互联网dpi数据的流式处理方法及系统 | |
| CN111209269A (zh) | 一种智慧城市大数据管理系统 | |
| CN108021809A (zh) | 一种数据处理方法及系统 | |
| CN103927631A (zh) | 一种基于电力系统质量体系、风险评估与安全测评的安全综合管理平台 | |
| CN102291256B (zh) | 一种监控数据的查询方法和设备 | |
| Neves et al. | Big Data in Cloud Computing: features and issues | |
| CN104504014A (zh) | 基于大数据平台的数据处理方法和装置 | |
| CN103593804A (zh) | 一种电力信息通信调度监控平台 | |
| CN105843906A (zh) | 一种用于飞机实时空地数据的收发和处理的系统 | |
| CN111629173A (zh) | 用于企业安全防范的视频云存储系统 | |
| CN111046022A (zh) | 一种基于大数据技术的数据库审计方法 | |
| CN105303455A (zh) | 电力企业用户数据存储和分析系统 | |
| CN113179173A (zh) | 一种用于高速公路系统的运维监控系统 | |
| CN105760444A (zh) | 一种新型的业务和数据库审计数据中心 | |
| CN104881353A (zh) | 面向Hive平台的用户行为审计系统及方法 | |
| US20200020186A1 (en) | Systems and methods for providing an access management platform | |
| CN112801811A (zh) | 一种智能供热信息化管理平台 | |
| Du | Application of information communication network security management and control based on big data technology | |
| CN109636307B (zh) | 河长app系统 | |
| CN107465694A (zh) | 基于消息队列的openstack租户操作行为审计方法及系统 | |
| Li et al. | Research on big data architecture, key technologies and its measures | |
| CN112035333A (zh) | 能源互联网服务系统、能源互联网应用系统、及电子设备 | |
| CN109522349B (zh) | 跨类型数据计算及共享方法、系统、设备 | |
| CN115130994A (zh) | 数字化城市管理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160713 |