CN116956346A - 一种基于大数据的交易数据安全监管系统及方法 - Google Patents
一种基于大数据的交易数据安全监管系统及方法 Download PDFInfo
- Publication number
- CN116956346A CN116956346A CN202310912817.5A CN202310912817A CN116956346A CN 116956346 A CN116956346 A CN 116956346A CN 202310912817 A CN202310912817 A CN 202310912817A CN 116956346 A CN116956346 A CN 116956346A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- transaction data
- transaction
- visitor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 47
- 238000013500 data storage Methods 0.000 claims abstract description 69
- 238000001514 detection method Methods 0.000 claims abstract description 32
- 238000012795 verification Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 19
- 238000012546 transfer Methods 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims description 30
- 238000005192 partition Methods 0.000 claims description 8
- 238000013486 operation strategy Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000026676 system process Effects 0.000 claims description 3
- 238000007726 management method Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6227—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/906—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/12—Accounting
- G06Q40/125—Finance or payroll
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computer Security & Cryptography (AREA)
- Marketing (AREA)
- General Health & Medical Sciences (AREA)
- Bioethics (AREA)
- Health & Medical Sciences (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Computer Hardware Design (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及数据监管技术领域,且公开了一种基于大数据的交易数据安全监管系统,包括:访问控制模块、数据域处理模块、数据存储模块、数据暂放模块、处理分析模块、系统运行状态检测模块、数据转移模块;访问控制模块,用于对访问请求进行控制,根据验证访问者的身份结果以及对访问者的权限检测结果来对交易数据的访问进行控制。通过将所有的交易数据进行预处理后,可以将相同类型的交易数据分类在一起,并将同一类型的数据存储在一起,当管理者通过关键词查询数据的时候,输入的关键词也会经过预处理,得到输入关键词的若干语素信息,通过关键词和语素信息的结合匹配,从而能够精确的找到对应的同类型下所有的交易数据。
Description
技术领域
本发明涉及数据监管技术领域,更具体的公开了一种基于大数据的交易数据安全监管系统及方法。
背景技术
企业商家在日常的经营活动中,往往会产生大量的交易数据,而这些交易数据通常会进入到财务系统中进行统一的管理。随着经营的时间增加,产生的交易数据也会变得越来越庞大,从而使财务系统的数据量也变得越来越多。当管理者用过一些关键词对交易数据进行查询的时候,由于财务系统中的数据量较为庞大,因此系统在根据关键词查询数据的时候,会在大量的数据中找到与关键词匹配的数据,这就容易导致查询过程中较长,若系统搭载的设备性能较差,容易导致设备出现宕机的情况。另外,在根据关键词查询交易数据的时候,只能查询到与关键词相匹配的交易数据,这样的查询方式较为“直接”,无法对同类型的交易数据一起查询到,导致需要多次查询才能查询到想要的数据,结合财务系统中庞大的数据量,会进一步造成查询时间过长的情况。
发明内容
本发明主要解决的技术问题是提供一种基于大数据的交易数据安全监管系统及方法,能够解决管理者无法快速的查询到想要查询的交易数据的问题。
为解决上述技术问题,根据本发明的一个方面,更具体的说是一种基于大数据的交易数据安全监管系统,包括:访问控制模块、数据域处理模块、数据存储模块、数据暂放模块、处理分析模块、系统运行状态检测模块、数据转移模块;
访问控制模块,用于对访问请求进行控制,根据验证访问者的身份结果以及对访问者的权限检测结果来对交易数据的访问进行控制;
数据预处理模块,对大量的交易数据进行预先处理,处理完毕后,将交易数据存储到数据存储模块中,同时,会对后续访问控制模块的访问请求数据进行预处理;
数据存储模块,用于对数据预处理模块处理后的交易数据进行存储;
数据暂放模块,用于将请求访问的数据从数据存储模块中调取出来,并放入到数据暂放模块中,然后根据访问者的权限来将对应的数据反馈给访问者;
处理分析模块,用于对数据存储模块中的交易数据进行处理分析,并得到分析结果反馈给管理者,从而能够辅助管理者进行管理;
系统运行状态检测模块,用于对系统的整体运行状态进行检测;
数据转移模块,用于当系统运行状态检测模块检测到系统运行异常后,将数据存储模块中的数据全部转移到云端服务器中,或者转移到备用的存储器中。
更进一步的,所述访问控制模块包括:身份验证模块、权限检测模块、数据调取模块;
身份验证模块,用于对访问者的身份信息进行验证,验证通过后,才将请求访问的数据反馈给访问者;
权限检测模块,在身份验证模块对访问者的身份验证通过后,再对访问者的权限进行检测,然后将符合访问者权限的数据反馈给访问者;
数据调取模块,用于根据权限检测模块检测到访问者权限,将对应的数据从数据暂放模块中调取出来反馈给访问者;
访问控制模块在对访问者的身份权限检测的过程中,会先将访问请求数据交由数据预处理模块进行处理,数据预处理模块将处理完毕的访问请求数据交给数据存储模块,数据存储模块找到与访问请求匹配的数据,并放入到数据暂放模块中,待访问控制模块对访问者身份验证通过后,直接根据访问者的权限从数据暂放模块中调取对应的数据即可。
更进一步的,所述数据预处理模块包括:分析判别模块、分类模块、自动归类模块;
分析判别模块,用于对大量的交易数据进行分析,从而判断出哪些交易数据属于同一类型的交易数据;
分类模块,用于根据分析判别模块的分析判断结果,将同一类型的交易数据统一分类在一起;
自动归类模块,用于当后续有新的交易数据进入系统后,通过分析判别模块后,自动将交易数据归入到对应类型的交易数据中。
更进一步的,所述分析判别模块的具体操作过程如下:首先以每条交易数据中的交易商品名数据作为关键词,然后再得到每个关键词数据的若干个语素数据,若:
则判断相匹配的两个关键词为相似关键词,那么两个相匹配关键词对应的交易数据为同类型的交易数据,反之,则两个关键词不为相似关键词,其对应的教育数据不为同类型交易数据;
其中,S为两个相匹配关键语素的总量,“i,j→1”为从第一个开始,P(x)为满足条件x的次数,(GnY)i以及(Gn+1Y)j)为两个关键词中的语素数据;
通过以上操作得到结果后,分类模块对相同类型的交易数据归类到一起后,会以若干个同类型交易数据中的任意一个关键词携带其语素作为索引;访问控制模块在对访问请求进行控制的过程中,将访问请求数据发送到数据预处理模块中,也会按照以上操作处理,从而找到与访问请求向匹配的索引,从而找到对应的数据。
更进一步的,所述数据存储模块包括:数据分割模块、分区存储模块、存储区链接建立模块、访问请求检测模块、存储区连接闭断模块;
数据分割模块,用于将同类型交易数据中的每条建议数据均分割为如干个单一独立的数据;
分区存储模块,用于将存储模块分为索引存储区和同类型交易数据存储区,同时在同类型交易数据存储区中再分为若干个交易数据存储区块,用于将分割后的多个单一独立的数据随机存储到这些存储区块中,同时将索引存储如到索引存储区中;
存储区链接建立模块,用于在索引存储区和同类型交易数据存储区之间建立链接;
访问请求检测模块,用于对访问请求进行监测,判断当前的访问请求是否通过访问控制模块;
存储区链接闭断模块,用于当访问请求检测模块检测到当前的访问请求没有经过访问控制模块后,将索引存储区和同类型交易数据存储区之间的链接断开。
更进一步的,所述分区存储模块将若干个单一独立的数据存储到同类型交易数据存储区的若干个区块的过程为:首先按照顺序对每个存储区块进行编号,然后根据每条交易数据分割后的单一独立的数据量,并结合以下公式得到每个单一独立的数据存入到某一区块的编号:
其中,B为得到的区块编号,QK为区块的总数,R为2-QK之间的正整数,SDL为一条交易数据中单一独立的数据总数,“→SDL”为运行次数;
最后将一条交易数据的若干个存储区块编号整合成一条数据存储到索引存储区中。
更进一步的,所述处理分析模块包括:分析预测模块、时事获取模块、时事类型判断模块、报告生成模块;
分析预测模块,用于根据之前所有类型的交易数据来进行分析预测出后续的交易走向;
时事获取模块,用于获取当前的时事信息;
时事类型判断模块,用于对时事获取模块获取到的时事信息进行类型判断;
报告成成模块,用于生成报告并反馈给管理者,方便管理者对经营策略进行调整。
更进一步的,所述分析预测模块的预测过程为:实现获取每年中每类交易数据的数据量,然后若:
则预测出每年中某几类的商品成交量好;
另外,可以结合每年发生的时事,来判断当发生重大事件的时候,哪类商品的成交量好,当某年出现重大时事后,此时 则可以判断,在发生该类型时事的时候,某几类商品的成交量好;
其中,Y为年份总数,k为年数,P(x)为满足条件x的次数,L为类型总量,Zm为每类的总数据量。
更进一步的,所述系统运行状态检测模块包括:系统运行数据采集模块、分析判断模块、结果反馈模块;
系统数据采集模块,用于采集系统在运行的过程中,所产生的各项数据信息;
分析判断模块,英语根据系统数据采集模块所采集的数据信息来分析判断当前系统是否在稳定的运行;
结果反馈模块,用于将分析判断模块的分析判断结果反馈给数据转移模块;
其中,分析判断模块的分析过程为:首先,实时获系统在运行过程中某一时间段内的所有运行数据数据,并对获取到的所有系统运行数据进行分析判断,若:
则判断当前系统运行不稳定,反之则判断当前系统稳定运行;
其中,p(x)为满足条件x的次数,n为采集的系统运行数据总数,Dn为单一的运行数据,α为预先设定的阈值。
根据本发明的另外一个方面,提供一种基于大数据的交易数据安全监管方法,该方法基于以上的一种基于大数据的交易数据安全监管系统实现,具体包括以下步骤:
S1、获取已经存在的所有交易数据,并对交易数据进行分类预处理操作,处理完毕后,将分类完毕后的数据存入到数据存储模块中;
S2、在数据存储模块中,将同类型的交易数据每一条交易数据分割为若干个单一独立的数据并随机存入到数据存储区中的若干个区块中,同时将该类型交易数据的索引以及每条数据的对应的一条区块编号数据也存入到索引存储区中;
S3、当访问者发出访问请求后,会先将访问请求数据进行预处理,并找到对应的数据放入到数据暂放模块中,同时会对访问者的身份进行验证,并对访问者的权限进行检测,验证通过后,将符合访问者权限的数据从数据暂放模块中调取给访问者,若没有经过访问控制模块的访问请求进入到数据存储模块中访问数据的时候,索引存储区与同类型交易数据存储区之间的链接会断开,访问请求所调取到的数据仅仅是索引存储区中没有实质意义的数据;
S4、系统会对数据存储模块中所有的数据进行处理分析,从而生成报告,提供给管理者,方便管理者能够对经营策略作为调整;
S5、在系统运行的过程中,会对系统的运行状态进行实时检测,当检测到系统不稳定运行后,会将数据存储模块中所有的数据整体转移到云端服务器中,或者备用的存储设备中,避免系统不稳定运行,导致交易数据丢失的情况。
本发明一种基于大数据的交易数据安全监管系统及方法的有益效果为:通过将所有的交易数据进行预处理后,可以将相同类型的交易数据分类在一起,并将同一类型的数据存储在一起,当管理者通过关键词查询数据的时候,输入的关键词也会经过预处理,得到输入关键词的若干语素信息,通过关键词和语素信息的结合匹配,从而能够精确的找到对应的同类型下所有的交易数据,这样的查询方式,相较于传统的“直接”查询的方式,避免了在庞大的交易数据中查询与关键词匹配的交易数据的缓慢,同时能够将同一类型的所有交易数据全部查询出来,更加方便管理人员对想要的数据进行快速精确的查询。另外,本系统将索引和交易数据分开存储,同时将交易数据分割为单一的所数据存入到不同的区块中,并且索引和数据存储区之间建立链接,当违规访问请求进入到数据存储模块中调取数据的时候,索引和数据存储区之间的链接会断开,违规访问请求只能调取到索引存储区中没有实质意义的数据,从而能够被数据被篡改盗取的情况,并且当访问请求直接进入到同类型交易数据存储区中调取的时候,也无法获得完整的数据,进一步的保证了数据的安全,同时在对数据保护的过程中,不需要对数据进行加密保护,省去了加密的操作过程,在以上双重的操作下,能够极大的对数据的安全进行防护。此外,系统能够对交易数据进行处理分析,从而得到处理分析报告,能够帮助管理者在不同的情况下,对经营策略做出调整。
附图说明
下面结合附图和具体实施方法对本发明做进一步详细的说明。
图1为系统原理示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
根据本发明的一个方面,如图1所示,提供了一种基于大数据的交易数据安全监管系统,包括:
访问控制模块,用于对访问请求进行控制,根据验证访问者的身份结果以及对访问者的权限检测结果来对交易数据的访问进行控制。该模块包括:身份验证模块,用于对访问者的身份信息进行验证,验证通过后,才将请求访问的数据反馈给访问者,验证方式包括:账号密码登录验证、面部识别验证、指纹识别验证等验证方式;权限检测模块,在身份验证模块对访问者的身份验证通过后,再对访问者的权限进行检测,然后将符合访问者权限的数据反馈给访问者;数据调取模块,用于根据权限检测模块检测到访问者权限,将对应的数据从数据暂放模块中调取出来反馈给访问者。访问控制模块在对访问者的身份权限检测的过程中,会先将访问请求数据交由数据预处理模块进行处理,数据预处理模块将处理完毕的访问请求数据交给数据存储模块,数据存储模块找到与访问请求匹配的数据,并放入到数据暂放模块中,待访问控制模块对访问者身份验证通过后,直接根据访问者的权限从数据暂放模块中调取对应的数据即可。
数据预处理模块,对大量的交易数据进行预先处理,处理完毕后,将交易数据存储到数据存储模块中,同时,会对后续访问控制模块的访问请求数据进行预处理。该模块包括:分析判别模块,用于对大量的交易数据进行分析,从而判断出哪些交易数据属于同一类型的交易数据;分类模块,用于根据分析判别模块的分析判断结果,将同一类型的交易数据统一分类在一起;自动归类模块,用于当后续有新的交易数据进入系统后,通过分析判别模块后,自动将交易数据归入到对应类型的交易数据中。其中,分析判别模块的具体操作过程如下:首先以每条交易数据中的交易商品名数据作为关键词,然后再得到每个关键词数据的若干个语素数据,例如交易数据=[x1,x2,...,xn],再提取出每条交易数据的关键词=[G1,G2,...,Gn],然后在得到每个关键词的若干语素数据,G1=[a,b,c,d],G2=[a,c,e,f],...,再将两两关键词相互匹配,如:G1→G2,G3,...,Gn,G2→G3,G4,...,Gn,...,若:
则判断相匹配的两个关键词为相似关键词,那么两个相匹配关键词对应的交易数据为同类型的交易数据,反之,则两个关键词不为相似关键词,其对应的教育数据不为同类型交易数据;
其中,S为两个相匹配关键语素的总量,“i,j→1”为从第一个开始,P(x)为满足条件x的次数,(GnY)i以及(Gn+1Y)j)为两个关键词中的语素数据;
通过以上操作得到结果后,分类模块对相同类型的交易数据归类到一起后,会以若干个同类型交易数据中的任意一个关键词携带其语素作为索引;访问控制模块在对访问请求进行控制的过程中,将访问请求数据发送到数据预处理模块中,也会按照以上操作处理,从而找到与访问请求向匹配的索引,从而找到对应的数据。
数据存储模块,用于对数据预处理模块处理后的交易数据进行存储。该模块包括:数据分割模块,用于将同类型交易数据中的每条建议数据均分割为如干个单一独立的数据;分区存储模块,用于将存储模块分为索引存储区和同类型交易数据存储区,同时在同类型交易数据存储区中再分为若干个交易数据存储区块,用于将分割后的多个单一独立的数据随机存储到这些存储区块中,同时将索引存储如到索引存储区中;存储区链接建立模块,用于在索引存储区和同类型交易数据存储区之间建立链接;访问请求检测模块,用于对访问请求进行监测,判断当前的访问请求是否通过访问控制模块;存储区链接闭断模块,用于当访问请求检测模块检测到当前的访问请求没有经过访问控制模块后,将索引存储区和同类型交易数据存储区之间的链接断开。其中,分区存储模块将若干个单一独立的数据存储到同类型交易数据存储区的若干个区块的过程为:首先按照顺序对每个存储区块进行编号,例如得到[1,2,3,4,5,6],然后根据每条交易数据分割后的单一独立的数据,并结合以下公式得到每个单一独立的数据存入到某一区块的编号:
其中,B为得到的区块编号,QK为区块的总数,R为2-QK之间的正整数,SDL为一条交易数据中单一独立的数据总数,“→SDL”为运行次数;
最后将一条交易数据的若干个存储区块编号整合成一条数据存储到索引存储区中。例如,交易数据x1=[A,B,C,D],将其分割为“A”,“B”,“C”,“D”四个单一独立的数据,然后根据以上公式,将数据“A”存入到编号1的区块中,将数据“B”存入到编号为3的区块中,将数据“C”存入到编号为2的区块中,将数据“D”存入到编号为5的区块中,则将交易数据x1整合为[1,3,2,5],并存入到索引存储区中。
数据暂放模块,用于将请求访问的数据从数据存储模块中调取出来,并放入到数据暂放模块中,然后根据访问者的权限来将对应的数据反馈给访问者。
处理分析模块,用于对数据存储模块中的交易数据进行处理分析,并得到分析结果反馈给管理者,从而能够辅助管理者进行管理。该包括:分析预测模块,用于根据之前所有类型的交易数据来进行分析预测出后续的交易走向;时事获取模块,用于获取当前的时事信息;时事类型判断模块,用于对时事获取模块获取到的时事信息进行类型判断;报告成成模块,用于生成报告并反馈给管理者,方便管理者对经营策略进行调整。其中,分析预测模块的预测过程为:实现获取每年中每类交易数据的数据量,然后若:
则预测出每年中某几类的商品成交量好;另外,可以结合每年发生的时事,来判断当发生重大事件的时候,哪类商品的成交量好,当某年出现重大时事后,此时则可以判断,在发生该类型时事的时候,某几类商品的成交量好;其中,Y为年份总数,k为年数,P(x)为满足条件x的次数,L为类型总量,Zm为每类的总数据量。
系统运行状态检测模块,用于对系统的整体运行状态进行检测。该模块包括:系统数据采集模块,用于采集系统在运行的过程中,所产生的各项数据信息;分析判断模块,英语根据系统数据采集模块所采集的数据信息来分析判断当前系统是否在稳定的运行;结果反馈模块,用于将分析判断模块的分析判断结果反馈给数据转移模块;其中,分析判断模块的分析过程为:首先,实时获系统在运行过程中某一时间段内的所有运行数据数据,并对获取到的所有系统运行数据进行分析判断,若:
则判断当前系统运行不稳定,反之则判断当前系统稳定运行;
其中,p(x)为满足条件x的次数,n为采集的系统运行数据总数,Dn为单一的运行数据,α为预先设定的阈值。
数据转移模块,用于当系统运行状态检测模块检测到系统运行异常后,将数据存储模块中的数据全部转移到云端服务器中,或者转移到备用的存储器中。
根据本发明的另一个发明,提供了一种基于大数据的交易数据安全监管方法,该方法基于以上的一种基于大数据的交易数据安全监管系统实现,具体包括以下步骤:
S1、获取已经存在的所有交易数据,并对交易数据进行分类预处理操作,处理完毕后,将分类完毕后的数据存入到数据存储模块中;
S2、在数据存储模块中,将同类型的交易数据每一条交易数据分割为若干个单一独立的数据并随机存入到数据存储区中的若干个区块中,同时将该类型交易数据的索引以及每条数据的对应的一条区块编号数据也存入到索引存储区中;
S3、当访问者发出访问请求后,会先将访问请求数据进行预处理,并找到对应的数据放入到数据暂放模块中,同时会对访问者的身份进行验证,并对访问者的权限进行检测,验证通过后,将符合访问者权限的数据从数据暂放模块中调取给访问者,若没有经过访问控制模块的访问请求进入到数据存储模块中访问数据的时候,索引存储区与同类型交易数据存储区之间的链接会断开,访问请求所调取到的数据仅仅是索引存储区中没有实质意义的数据;
S4、系统会对数据存储模块中所有的数据进行处理分析,从而生成报告,提供给管理者,方便管理者能够对经营策略作为调整;
S5、在系统运行的过程中,会对系统的运行状态进行实时检测,当检测到系统不稳定运行后,会将数据存储模块中所有的数据整体转移到云端服务器中,或者备用的存储设备中,避免系统不稳定运行,导致交易数据丢失的情况。
其中本文中出现的电器元件均文现实中存在的电器元件。
当然,上述说明并非对本发明的限制,本发明也不仅限于上述举例,本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改型、添加或替换,也属于本发明的保护范围。
Claims (10)
1.一种基于大数据的交易数据安全监管系统,其特征在于,包括:访问控制模块、数据域处理模块、数据存储模块、数据暂放模块、处理分析模块、系统运行状态检测模块、数据转移模块;
访问控制模块,用于对访问请求进行控制,根据验证访问者的身份结果以及对访问者的权限检测结果来对交易数据的访问进行控制;
数据预处理模块,对大量的交易数据进行预先处理,处理完毕后,将交易数据存储到数据存储模块中,同时,会对后续访问控制模块的访问请求数据进行预处理;
数据存储模块,用于对数据预处理模块处理后的交易数据进行存储;
数据暂放模块,用于将请求访问的数据从数据存储模块中调取出来,并放入到数据暂放模块中,然后根据访问者的权限来将对应的数据反馈给访问者;
处理分析模块,用于对数据存储模块中的交易数据进行处理分析,并得到分析结果反馈给管理者,从而能够辅助管理者进行管理;
系统运行状态检测模块,用于对系统的整体运行状态进行检测;
数据转移模块,用于当系统运行状态检测模块检测到系统运行异常后,将数据存储模块中的数据全部转移到云端服务器中,或者转移到备用的存储器中。
2.根据权利要求1所述的一种基于大数据的交易数据安全监管系统,其特征在于:所述访问控制模块包括:身份验证模块、权限检测模块、数据调取模块;
身份验证模块,用于对访问者的身份信息进行验证,验证通过后,才将请求访问的数据反馈给访问者;
权限检测模块,在身份验证模块对访问者的身份验证通过后,再对访问者的权限进行检测,然后将符合访问者权限的数据反馈给访问者;
数据调取模块,用于根据权限检测模块检测到访问者权限,将对应的数据从数据暂放模块中调取出来反馈给访问者;
访问控制模块在对访问者的身份权限检测的过程中,会先将访问请求数据交由数据预处理模块进行处理,数据预处理模块将处理完毕的访问请求数据交给数据存储模块,数据存储模块找到与访问请求匹配的数据,并放入到数据暂放模块中,待访问控制模块对访问者身份验证通过后,直接根据访问者的权限从数据暂放模块中调取对应的数据即可。
3.根据权利要求1所述的一种基于大数据的交易数据安全监管系统,其特征在于:所述数据预处理模块包括:分析判别模块、分类模块、自动归类模块;
分析判别模块,用于对大量的交易数据进行分析,从而判断出哪些交易数据属于同一类型的交易数据;
分类模块,用于根据分析判别模块的分析判断结果,将同一类型的交易数据统一分类在一起;
自动归类模块,用于当后续有新的交易数据进入系统后,通过分析判别模块后,自动将交易数据归入到对应类型的交易数据中。
4.根据权利要求3所述的一种基于大数据的交易数据安全监管系统,其特征在于:所述分析判别模块的具体操作过程如下:首先以每条交易数据中的交易商品名数据作为关键词,然后再得到每个关键词数据的若干个语素数据,若:
则判断相匹配的两个关键词为相似关键词,那么两个相匹配关键词对应的交易数据为同类型的交易数据,反之,则两个关键词不为相似关键词,其对应的教育数据不为同类型交易数据;
其中,S为两个相匹配关键语素的总量,“i,j→1”为从第一个开始,P(x)为满足条件x的次数,(GnY)i以及(Gn+1Y)j)为两个关键词中的语素数据;
通过以上操作得到结果后,分类模块对相同类型的交易数据归类到一起后,会以若干个同类型交易数据中的任意一个关键词携带其语素作为索引;访问控制模块在对访问请求进行控制的过程中,将访问请求数据发送到数据预处理模块中,也会按照以上操作处理,从而找到与访问请求向匹配的索引,从而找到对应的数据。
5.根据权利要求1所述的一种基于大数据的交易数据安全监管系统,其特征在于:所述数据存储模块包括:数据分割模块、分区存储模块、存储区链接建立模块、访问请求检测模块、存储区连接闭断模块;
数据分割模块,用于将同类型交易数据中的每条建议数据均分割为如干个单一独立的数据;
分区存储模块,用于将存储模块分为索引存储区和同类型交易数据存储区,同时在同类型交易数据存储区中再分为若干个交易数据存储区块,用于将分割后的多个单一独立的数据随机存储到这些存储区块中,同时将索引存储如到索引存储区中;
存储区链接建立模块,用于在索引存储区和同类型交易数据存储区之间建立链接;
访问请求检测模块,用于对访问请求进行监测,判断当前的访问请求是否通过访问控制模块;
存储区链接闭断模块,用于当访问请求检测模块检测到当前的访问请求没有经过访问控制模块后,将索引存储区和同类型交易数据存储区之间的链接断开。
6.根据权利要求5所述的一种基于大数据的交易数据安全监管系统,其特征在于:所述分区存储模块将若干个单一独立的数据存储到同类型交易数据存储区的若干个区块的过程为:首先按照顺序对每个存储区块进行编号,然后根据每条交易数据分割后的单一独立的数据量,并结合以下公式得到每个单一独立的数据存入到某一区块的编号:
其中,B为得到的区块编号,QK为区块的总数,R为2-QK之间的正整数,SDL为一条交易数据中单一独立的数据总数,“→SDL”为运行次数;
最后将一条交易数据的若干个存储区块编号整合成一条数据存储到索引存储区中。
7.根据权利要求1所述的一种基于大数据的交易数据安全监管系统,其特征在于:所述处理分析模块包括:分析预测模块、时事获取模块、时事类型判断模块、报告生成模块;
分析预测模块,用于根据之前所有类型的交易数据来进行分析预测出后续的交易走向;
时事获取模块,用于获取当前的时事信息;
时事类型判断模块,用于对时事获取模块获取到的时事信息进行类型判断;
报告成成模块,用于生成报告并反馈给管理者,方便管理者对经营策略进行调整。
8.根据权利要求7所述的一种基于大数据的交易数据安全监管系统,其特征在于:所述分析预测模块的预测过程为:实现获取每年中每类交易数据的数据量,然后若:
则预测出每年中某几类的商品成交量好;
另外,可以结合每年发生的时事,来判断当发生重大事件的时候,哪类商品的成交量好,当某年出现重大时事后,此时0.35,则可以判断,在发生该类型时事的时候,某几类商品的成交量好;
其中,Y为年份总数,k为年数,P(x)为满足条件x的次数,L为类型总量,Zm为每类的总数据量。
9.根据权利要求1所述的一种基于大数据的交易数据安全监管系统,其特征在于:所述系统运行状态检测模块包括:系统运行数据采集模块、分析判断模块、结果反馈模块;
系统数据采集模块,用于采集系统在运行的过程中,所产生的各项数据信息;
分析判断模块,英语根据系统数据采集模块所采集的数据信息来分析判断当前系统是否在稳定的运行;
结果反馈模块,用于将分析判断模块的分析判断结果反馈给数据转移模块;
其中,分析判断模块的分析过程为:首先,实时获系统在运行过程中某一时间段内的所有运行数据数据,并对获取到的所有系统运行数据进行分析判断,若:
则判断当前系统运行不稳定,反之则判断当前系统稳定运行;
其中,p(x)为满足条件x的次数,n为采集的系统运行数据总数,Dn为单一的运行数据,α为预先设定的阈值。
10.一种基于大数据的交易数据安全监管方法,其特征在于:该方法基于权利要求1-9任意一项所述的一种基于大数据的交易数据安全监管系统实现,具体包括以下步骤:
S1、获取已经存在的所有交易数据,并对交易数据进行分类预处理操作,处理完毕后,将分类完毕后的数据存入到数据存储模块中;
S2、在数据存储模块中,将同类型的交易数据每一条交易数据分割为若干个单一独立的数据并随机存入到数据存储区中的若干个区块中,同时将该类型交易数据的索引以及每条数据的对应的一条区块编号数据也存入到索引存储区中;
S3、当访问者发出访问请求后,会先将访问请求数据进行预处理,并找到对应的数据放入到数据暂放模块中,同时会对访问者的身份进行验证,并对访问者的权限进行检测,验证通过后,将符合访问者权限的数据从数据暂放模块中调取给访问者,若没有经过访问控制模块的访问请求进入到数据存储模块中访问数据的时候,索引存储区与同类型交易数据存储区之间的链接会断开,访问请求所调取到的数据仅仅是索引存储区中没有实质意义的数据;
S4、系统会对数据存储模块中所有的数据进行处理分析,从而生成报告,提供给管理者,方便管理者能够对经营策略作为调整;
S5、在系统运行的过程中,会对系统的运行状态进行实时检测,当检测到系统不稳定运行后,会将数据存储模块中所有的数据整体转移到云端服务器中,或者备用的存储设备中,避免系统不稳定运行,导致交易数据丢失的情况。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310912817.5A CN116956346B (zh) | 2023-07-25 | 2023-07-25 | 一种基于大数据的交易数据安全监管系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310912817.5A CN116956346B (zh) | 2023-07-25 | 2023-07-25 | 一种基于大数据的交易数据安全监管系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116956346A true CN116956346A (zh) | 2023-10-27 |
CN116956346B CN116956346B (zh) | 2024-01-26 |
Family
ID=88456101
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310912817.5A Active CN116956346B (zh) | 2023-07-25 | 2023-07-25 | 一种基于大数据的交易数据安全监管系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116956346B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110287262A (zh) * | 2019-06-28 | 2019-09-27 | 中国科学技术大学 | 有效保护用户隐私的比特币交易查询方法 |
CN111553703A (zh) * | 2020-05-21 | 2020-08-18 | 陈议尊 | 用于积分交易的区块链合约方法及系统 |
CN113987443A (zh) * | 2021-11-02 | 2022-01-28 | 西安邮电大学 | 一种多云多链协同的电子医疗数据安全共享方法 |
CN115480714A (zh) * | 2022-10-25 | 2022-12-16 | 中国空间技术研究院 | 一种基于区块链的卫星大数据分布式存储系统 |
CN115658847A (zh) * | 2022-10-27 | 2023-01-31 | 山东迪海信息科技有限公司 | 一种基于大数据的知识产权成果转化管理系统 |
-
2023
- 2023-07-25 CN CN202310912817.5A patent/CN116956346B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110287262A (zh) * | 2019-06-28 | 2019-09-27 | 中国科学技术大学 | 有效保护用户隐私的比特币交易查询方法 |
CN111553703A (zh) * | 2020-05-21 | 2020-08-18 | 陈议尊 | 用于积分交易的区块链合约方法及系统 |
CN113987443A (zh) * | 2021-11-02 | 2022-01-28 | 西安邮电大学 | 一种多云多链协同的电子医疗数据安全共享方法 |
CN115480714A (zh) * | 2022-10-25 | 2022-12-16 | 中国空间技术研究院 | 一种基于区块链的卫星大数据分布式存储系统 |
CN115658847A (zh) * | 2022-10-27 | 2023-01-31 | 山东迪海信息科技有限公司 | 一种基于大数据的知识产权成果转化管理系统 |
Also Published As
Publication number | Publication date |
---|---|
CN116956346B (zh) | 2024-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113706177B (zh) | 一种基于大数据安防的威胁识别方法及数据安防服务器 | |
US11630918B2 (en) | Systems and methods of determining compromised identity information | |
CN111415163B (zh) | 基于区块链的业务处理、验证方法、系统及验证节点 | |
CN107798541B (zh) | 一种用于在线业务的监控方法及系统 | |
CN108122114A (zh) | 针对异常重复交易欺诈检测方法、系统、介质及设备 | |
CN113132311B (zh) | 异常访问检测方法、装置和设备 | |
CN112036995A (zh) | 基于区块链的大型企业财务数据管理方法、系统和可读存储介质 | |
CN114500099A (zh) | 一种针对云服务的大数据攻击处理方法及服务器 | |
CN115130122A (zh) | 一种大数据安全防护方法及系统 | |
CN112905965A (zh) | 一种基于区块链的金融大数据处理系统 | |
CN111639355A (zh) | 一种数据安全管理方法和系统 | |
CN111368004A (zh) | 一种区块链金融数据处理系统 | |
CN103530918A (zh) | 一种基于物联网的银行款箱安全出入管理系统 | |
CN100535937C (zh) | 用于数字通信系统中的用户鉴别的方法和系统 | |
CN116956346B (zh) | 一种基于大数据的交易数据安全监管系统及方法 | |
CN111444484B (zh) | 基于统一登录管理的企业内网用户身份画像处理方法 | |
CN111444530A (zh) | 基于区块链的系统数据访问权限控制方法、装置及各模块 | |
CN116432193A (zh) | 一种金融数据库数据保护改造方法及其金融数据保护系统 | |
CN112685510B (zh) | 一种基于全流量标签的资产标签方法、计算机程序及存储介质 | |
CN111061695B (zh) | 一种基于区块链的文件共享方法及系统 | |
CN111626856A (zh) | 一种基于移动终端区块链技术的金融信息管理系统 | |
CN113112323A (zh) | 基于数据分析的异常订单识别方法、装置、设备及介质 | |
CN110990810A (zh) | 一种用户操作数据处理方法、装置、设备及存储介质 | |
CN117390679B (zh) | 涉密信息载体智能监控方法 | |
Fu et al. | An Improved Biometric Fuzzy Signature with Timestamp of Blockchain Technology for Electrical Equipment Maintenance |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |