CN117216478A - 一种财务数据批量处理方法 - Google Patents
一种财务数据批量处理方法 Download PDFInfo
- Publication number
- CN117216478A CN117216478A CN202311172294.1A CN202311172294A CN117216478A CN 117216478 A CN117216478 A CN 117216478A CN 202311172294 A CN202311172294 A CN 202311172294A CN 117216478 A CN117216478 A CN 117216478A
- Authority
- CN
- China
- Prior art keywords
- data
- financial data
- attribute
- financial
- optimization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 46
- 238000012545 processing Methods 0.000 claims abstract description 25
- 230000005540 biological transmission Effects 0.000 claims abstract description 22
- 238000005457 optimization Methods 0.000 claims description 69
- 230000009467 reduction Effects 0.000 claims description 41
- 238000001914 filtration Methods 0.000 claims description 22
- 238000009432 framing Methods 0.000 claims description 9
- 238000012546 transfer Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000007405 data analysis Methods 0.000 claims description 6
- 238000000926 separation method Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 230000008054 signal transmission Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 abstract description 14
- 230000008569 process Effects 0.000 abstract description 14
- 238000012216 screening Methods 0.000 abstract description 7
- 230000002159 abnormal effect Effects 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000008859 change Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000007306 turnover Effects 0.000 description 2
- SLXKOJJOQWFEFD-UHFFFAOYSA-N 6-aminohexanoic acid Chemical compound NCCCCCC(O)=O SLXKOJJOQWFEFD-UHFFFAOYSA-N 0.000 description 1
- 101100149325 Escherichia coli (strain K12) setC gene Proteins 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
Abstract
本发明涉及财务数据处理领域,具体为一种财务数据批量处理方法;通过对OCR数据识别技术获取的财务数据进行滤波和降噪,以提高获取的财务数据的准确性,并通过对降噪滤波后的财务数据的加密和分层储存,以保证财务数据在储存过程中更加安全和整齐,在后续需要获取财务数据时,进一步的通过一定的筛选方法,方便从大量的数据中获取满足满足分析需求的样本数据,以进一步筛除财务数据在获取和存储过程中产生异常数据的概率,从而保证样本数据的可靠性,以提高分析结果的可靠性;解决了现有技术中缺乏对获取、传输和保存的多个过程中的财务数据的处理,从而容易产生异常的财务数据,最终影响公司对财务数据分析结果的问题。
Description
技术领域
本发明涉及财务数据处理领域,具体为一种财务数据批量处理方法。
背景技术
目前,OCR图文识别技术开始广泛应用于在财务票据的数据录入,并且进一步结合机器人流程自动化RPA系统等逐渐实现了票据信息录入、自动报税等需要耗费大量人工的程序,极大的方便了公司对财务数据的录入、获取和分析。
但是在进行财务数据录入的过程中,受限于OCR图文识别技术的局限性、人工操作及设备自身的干扰以及外部干扰源的干扰,造成财务数据在获取、传输和保存的多个过程中容易产生大量的冗余数据和错误数据,这些异常数据一旦被获取并应用到公司的财务数据分析的样本数据中,则可能传递出错误的企业财务信息变化趋势,影响到企业的后续政策规划。
发明内容
针对现有技术的不足,本发明提供了一种一种财务数据批量处理方法,解决了现有技术中缺乏对获取、传输和保存的多个过程中的财务数据的处理,从而容易产生异常的财务数据,最终影响公司对财务数据分析结果的问题。
为实现上述目的,本发明提供如下技术方案:
一种财务数据批量处理方法,包括:
S1、通过OCR识别方法将财务数据批量录入各个子客户端;
S2、对录入的财务数据中的冗余数据和失真数据通过滤波器进行一次优化处理,以获得滤波降噪后的初步财务数据;
S3、对录入的初步财务数据进行数据分层,对不同分层的财务数据进行加密处理并设置分层标识,之后上传至终端服务器并转入到相应的存储服务器;
S4、从存储服务器中获取初步财务数据和相对应的属性集合,并根据优化概率和数据饱满度对初步财务数据进行二次优化处理,以获得最终财务数据;
S5、对最终财务数据进行数据分析。
作为优选,在步骤S2中,具体包括如下步骤:
S21、确定用于财务数据传输的若干个传输端口;
S22、在若干个传输端口的滤波器上添加用于获得财务数据的统计信息特征量的信道模型;
信道模型的函数表达式为:
上式中,k表示财务数据的总长度,0≤k≤N-1,f(n)表示第n个财务数据,j表示数据的传输点编号,N表示财务数据的最大长度,e为自然常数;
S23、建立冗余数据降噪滤波函数,对获得的统计信息特征量进行降噪滤波以获得初步财务数据。
作为优选,在步骤S23中,具体包括如下步骤:
S231、设置用于财务数据的统计信息特征量通过的通频带,通频带的函数表达式为:
上式中,j代表匹配滤波检测的尺度系数,i表示信号传输信道的级别,表示级别为i、尺度系数为j的通频带,/>和/>分别表示0和1位且尺度系数为j的信道通频带,分别表示最小通频带和最大通频带,δ为比例系数,ρ为分离系数,N为财务数据的数据长度;
S232、对通过通频带的财务数据信号进行分帧处理后输出,以获得初步财务数据;则初步财务数据在分帧处理后的输出码元的表达式为:
其中,
上式中,Mk为冗余财务数据在分帧处理后的第k个财务数据的输出码元,x(i)表示第i个原始财务数据信号,原始财务数据信号所处的位置区间为0≤i≤N-1,μ和τ代表不同的符号函数,N为帧数,m为帧变量。
作为优选,在步骤S3中,具体包括如下步骤:
S31、设置若干个存储服务器,并获取存储服务器的存储地址作为分层标识;
S32、对各个财务数据上传用户账号进行编号;
S33、建立密码箱,并将密钥值根据相应的编号分配给各个财务数据上传用户的账号;
S34、财务数据上传用户在加密后的财务数据上添加分层标识,之后通过客户端上传至终端服务器;
添加分层标识后的密钥数据结构可以表示为:
StrAStd|K[Str:Std]
其中,A为分层标识,K为数据密钥,Str和Std均为索引标识,[Str:Std]表示索引读取Str和Std之间的分层标识A的信息;
S35、终端服务器读取财务数据的分层标识,并将财务数据转移至相对应的存储服务器内。
作为优选,在步骤S4中,具体包括如下步骤:
S41、从存储服务器中获取初步财务数据,并根据初步财务数据建立财务数据集合C以及与其相对应的属性集合S;
财务数据集合C的表达式为:
上式中,C表示初步挑选出来的财务数据集合,a1,a2,a3,…,an表示各个财务数据,C′为所有的财务数据集合;
属性集合S的表达式为:
上式中S表示初步挑选出来的属性集合,b1,b2,b3,…,bn表示财务数据集合C的多个属性值,S′表示总的属性集合;b1,b2,b3,…,bn为与财务相关的各种市场因素、政策因素数据来源等;
S42、设定最优属性集合S0,并获取财务数据的属性添加集合S+和属性缩减集合S-,以及相对应的添加优化概率ρ和缩减优化概率σ;
S43、根据添加优化概率ρ和缩减优化概率σ获取添加集合C+和缩减集合C-;
S44、分别计算添加集合C+和缩减集合C-的数据饱满度B;
添加集合C+的数据饱满度的计算公式为:
缩减集合C-的数据饱满度的计算公式为:
上式中,B为添加集合C+或缩减集合C-的数据饱满度,cardinal number为表示基数词,用来统计集合中的元素数量;
S45、根据各个添加集合C+和缩减集合C-的数据饱满度B、添加优化概率ρ或缩减优化概率σ挑选出优化后的最终财务数据。
作为优选,在步骤S42中,具体包括如下步骤:
S421、设定最优属性集合S0;
S422、判断最优属性集合S0与属性集合S是否可分辨;
若是,则进入步骤S423;
若否,则输出财务数据集合C,并进入步骤S44;
S423、依次将调整属性集合S中的数据直至最优属性集合S0与属性集合S不可分辨,并依次获取相对应的属性添加集合S+和属性缩减集合S-。
作为优选,在步骤S423中,属性添加集合S+的表达式为:
S+=S∪{bi∣P(f(βi)=bi∈S)≥ρi,f∈F}
属性缩减集合S-的表达式为:
上述公式中,S+表示属性添加集合,S-表示属性缩减集合,S表示初步挑选出来的属性集合,f∈F为数据转移符号,f(βi)=bi∈S表示将任意一个不属于S但属于集合S′的数据转移到属性集合S中,并作为集合S中的数据bi,表示将任意一个属于集合S的数据bj从该集合中筛除,并作为数据βj放入到属于集合S′但不属于集合S的区间内,P(f(βi)=bi∈S)表示将数据βi迁移到属性集合S中时的添加优化概率,该添加优化概率的大小为ρi,/>表示将数据βj从集合S中移出并作为数据βj的缩减优化概率,该缩减优化概率的大小为σj。
作为优选,在步骤S45中,具体包括如下步骤:
S451、设定优化概率阔值P0和数据饱满度阔值B0;
S452、依次判断各个添加集合C+和缩减集合C-相对应的数据饱满度B和添加优化概率ρ或缩减优化概率σ是否同时大于优化概率阔值P0和数据饱满度阔值B0;
若是,则输出所有满足条件的各个添加集合C+和缩减集合C-,并进入步骤S453;
若否,则返回步骤S41;
S453、利用计数函数统计输出的添加集合C+和缩减集合C-总数T;
S454、设定额定数量T0,并判断总数T与额定数量T0的大小;
若T>T0,则返回步骤S41;
若T≤T0,则输出所有满足条件的添加集合C+和缩减集合C-以作为多组最终财务数据,并进入步骤S5。
与现有技术相比,本发明提供了一种财务数据批量处理方法,具备以下
有益效果:
1、本发明通过对OCR数据识别技术获取的财务数据进行滤波和降噪,以提高获取的财务数据的准确性,并通过对降噪滤波后的财务数据的加密和分层储存,以保证财务数据在储存过程中更加安全和整齐,在后续需要获取财务数据时,进一步的通过一定的筛选方法,方便从大量的数据中获取满足满足分析需求的样本数据,以进一步筛除财务数据在获取和存储过程中产生异常数据的概率,从而保证样本数据的可靠性,以提高分析结果的可靠性。
2、本发明通过在OCR识别设备滤波器上建立信道模型和数据降噪滤波算法,将财务数据信号与其自身进行卷积从而能够获得一个新的信号,在此过程中如果输入的信号中存在噪声,那么就能够将噪声进行滤波处理降噪处理,从而能够提高输出的财务数据信号的准确性。
3、本发明通过将数据分层思想和数据加密思想进行创造性的组合,一方面能够将财务数据按照数据类型的不同分别储存在不同的位置,方便后续可以在该位置获取相对应的财务数据,避免财务数据的混杂,另一方面,也通过结合加密的方式,对密钥进行进一步的丰富,添加用于识别储存位置的分层标识,从而能够在数据传输到终端服务器后直接被转移到相对应的存储服务器中。
4、本发明通过设置财务数据集合和属性集合的概念,以初步的财务数据集合生成属性集合,通过对属性集合中属性元素的添加或者移出,使属性集合中的元素能够逐渐趋近于数据筛选的最终属性集合,从而也能反推出所需要的财务数据集合,以使进行数据分析的财务数据样本更加符合要求,提高财务数据样本和分析结果的可靠性。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本发明财务数据批量处理方法的流程图;
图2为本发明财务数据加密和分层储存方法的流程图;
图3为本发明二次优化处理方法的流程图;
图4为本发明财务数据批量处理方法的原理框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。借此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。
本领域普通技术人员可以理解实现以下实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
图1-图4为本发明的一个实施例,根据OCR图文识别技术中的财务数据传输流程,针对性的对财务数据在票据财务数据获取、传输和保存过程中的数据分别进行处理,以保证财务数据的准确性,避免其因为外部干扰因素而产生较大的异常,从而方便提高后续企业在获取财务数据时的准确度,使公司能够根据财务数据样本信息分析出企业的发展方向并制定合理的政策。
为实现上述技术效果,本实施例提出一种财务数据批量处理方法,该方法包括:
S1、通过OCR识别方法将财务数据批量录入各个子客户端;通过图文识别装置和配套的现有算法对财务票据上的数据进行识别并录入到各个子客户端,之后供人工或者自动将数据上传至指定的服务器。
S2、对录入的财务数据中的冗余数据和失真数据通过滤波器进行一次优化处理,以获得滤波降噪后的初步财务数据;在读取财务数据和录入财务数据的过程中,对传输过程中的数据进行一次优化处理,避免财务数据受到外界因素的干扰而产生较大的误差。
为了能够更好的去除财务数据中的冗余数据,按照财务数据信号的幅频特性对输入的财务信号的波形进行加权,以实现更好的筛选出所需要的财务数据信号并抑制干扰信号,从而提高财务数据信号的准确度,在步骤S2中,具体包括如下步骤:
S21、确定用于财务数据传输的若干个传输端口;传输端口可以为用于票据识别的OCR图文识别装置,或者其他进行财务票据批量识别和录入的设备。
S22、在若干个传输端口的滤波器上添加用于获得财务数据的统计信息特征量的信道模型;信道模型的函数表达式为:
上式中,k表示财务数据的总长度,0≤k≤N-1,f(n)表示第n个财务数据,j表示数据的传输点编号,N表示财务数据的最大长度,e为自然常数。
则原始输入该信道的财务数据的序列可以表示为:f=[f(0),f(1),f(2),…,f(N-1)],通过小波变换方法进行数据传输的信道均衡控制,对谱特征提取结果采用小波特征分解方法进行频谱分离,以获得财务数据传输的统计信息特征量,方便后续对该特征量进行降噪滤波,该统计信息特征量可以表示为:F=[F(0),F(1),F(1),…,F(N-1)],该式中F(N-1)即为原始数据f(N-1)所转化的统计信息特征量,F表示统计信息特征量的数据集。
S23、建立冗余数据降噪滤波函数,对获得的统计信息特征量进行降噪滤波以获得初步财务数据;
为了将不同端口财务数据进行同步融合处理后进行整体降噪滤波,以提高降噪滤波效率,以提高信噪比的方式实现滤波降噪滤波,在步骤S23中,具体包括如下步骤:
S231、设置用于财务数据的统计信息特征量通过的通频带,通频带的函数表达式为:
上式中,j代表匹配滤波检测的尺度系数,i表示信号传输信道的级别,表示级别为i、尺度系数为j的通频带,/>和/>分别表示0和1位且尺度系数为j的信道通频带,δ为比例系数,ρ为分离系数,N为财务数据的数据长度;对数据输入端的财务数据信号按照其幅频特性进行加权的方式,来提高信噪比,从而能够有效的抑制干扰的输出功率。
S232、对通过通频带的财务数据信号进行分帧处理后输出,以获得初步财务数据;则初步财务数据在分帧处理后的输出码元的表达式为:
其中,
上式中,Mk为冗余财务数据在分帧处理后的第k个财务数据的输出码元,x(i)表示第i个原始财务数据信号,原始财务数据信号所处的位置区间为0≤i≤N-1,μ和τ代表不同的符号函数,N为帧数,m为帧变量。
从而通过上述方式实现了对财务数据信号在传输过程中的滤波和降噪,以去除异常数据,从而提高财务数据信号在传输过程中的抗干扰能力,提高财务数据的准确度。
S3、对录入的初步财务数据进行数据分层,对不同分层的财务数据进行加密处理并设置分层标识,之后上传至终端服务器并转入到相应的存储服务器;
为了提高数据在储存中的整齐性和安全性,按照财务数据类型进行分层储存以及加密储存的方式,一方面能够防止数据在储存的过程中被意外篡改,另一方面也能在获取财务数据进行分析时避免获取到其他不属于该类型的财务数据,以提高样本财务数据的准确性,在步骤S3中,具体包括如下步骤:
S31、设置若干个存储服务器,并获取存储服务器的存储地址作为分层标识;比如将净利润、流动资产周转率、存货周转率和销售收入增长率等财务指标相关的数据分别存入到具有不同存储地址的存储服务器中;
S32、对各个财务数据上传用户账号进行编号;
S33、建立密码箱,并将密钥值根据相应的编号分配给各个财务数据上传用户的账号;各个财务数据上传用户的密钥值满足下列关系:
其中:
Kn,m=H(UK,n∣∣m)
上述关系式中,K代表密码箱的密码矩阵,n和m分别代表密码箱的密码矩阵行数和列数,Kn,m表示位于密码矩阵第n行、第m列的密钥值,H()代表SM3摘要算法,||表示串联的运算符号。
通过这种方式赋予每个账号各自的权限,避免低权限的上传用户账号所有人对财务数据发生意外改动。
S34、财务数据上传用户在加密后的财务数据上添加分层标识,之后通过客户端上传至终端服务器;添加分层标识后的密钥数据结构可以表示为:
StrAStd|K[Str:Std]
其中,A为分层标识,K为数据密钥,Str和Std均为索引标识,[Str:Std]表示索引读取Str和Std之间的分层标识A的信息。
S35、终端服务器读取财务数据的分层标识,并将财务数据转移至相对应的存储服务器内;终端服务器可以读取分层标识,之后通过winrar和ftp命令将该数据发送至分层标识A所指向的存储服务器内,通过这种方式,终端服务器可以只需要读取分层标识A的信息而不用读取加密后的详细的财务数据再进行分层处理,从而更加简单方便。
S4、从存储服务器中获取初步财务数据和相对应的属性集合,并根据优化概率和数据饱满度对初步财务数据进行二次优化处理,以获得最终财务数据;
在获取数据时需要对之前加密的密钥进行解密,对此不做赘述,采用建立作为样本数据的财务数据集合和与其相关的属性集合的方式,在筛选数据时,根据对样本财务数据的需求,通过对属性集合中的属性参数进行改变从而反推出满足该需求的样本财务数据,从而实现对样本数据的筛选,去除不必要的冗余数据,使样本财务数据更加准确,在步骤S4中,具体包括如下步骤:
S41、从存储服务器中获取初步财务数据,并根据初步财务数据建立财务数据集合C以及与其相对应的属性集合S;财务数据集合C的表达式为:
上式中,C表示初步挑选出来的财务数据集合,a1,a2,a3,…,an表示各个财务数据,C′为所有的财务数据集合;
属性集合S的表达式为:
上式中S表示初步挑选出来的属性集合,b1,b2,b3,…,bn表示财务数据集合C的多个属性值,S′表示总的属性集合;b1,b2,b3,…,bn为与财务相关的各种市场因素、政策因素数据来源等,数据筛选人员可以根据自身对数据的要求,添加或者减少属性集合S中的元素。
S42、设定最优属性集合S0,并获取财务数据的属性添加集合S+和属性缩减集合S-,以及相对应的添加优化概率ρ和缩减优化概率σ;最优属性集合S0即为财务样本数据的筛选标准。
为了能够根据最初的属性集合S最终推导获得最优属性集合S0,在步骤S42中,具体包括如下步骤:
S421、设定最优属性集合S0;
S422、判断最优属性集合S0与属性集合S是否可分辨;
若是,则进入步骤S423;
若否,则输出财务数据集合C,并进入步骤S44;
S423、依次将调整属性集合S中的数据直至最优属性集合S0与属性集合S不可分辨,并依次获取相对应的属性添加集合S+和属性缩减集合S-;在改变属性集合S时,一次最好向属性集合S中添加一个元素或者移出一个元素,以方便更加准确的观察添加优化概率ρ和缩减优化概率σ的变化趋势。
属性添加集合S+的表达式为:
S+=S∪{bi∣P(f(βi)=bi∈S)≥ρi,f∈F}
属性缩减集合S-的表达式为:
上述公式中,S+表示属性添加集合,S-表示属性缩减集合,S表示初步挑选出来的属性集合,f∈F为数据转移符号,f(βi)=bi∈S表示将任意一个不属于S但属于集合S′的数据转移到属性集合S中,并作为集合S中的数据bi,表示将任意一个属于集合S的数据bj从该集合中筛除,并作为数据βj放入到属于集合S′但不属于集合S的区间内,P(f(βi)=bi∈S)表示将数据βi迁移到属性集合S中时的添加优化概率,该添加优化概率的大小为ρi,/>表示将数据βj从集合S中移出并作为数据βj的缩减优化概率,该缩减优化概率的大小为σj,通过人工输入设定添加优化概率和缩减优化概率,从而通过多轮依据属性集合的财务数据转移达到预定的添加优化概率或者缩减优化概率。
通过这种依次改变属性集合S向最优属性集合S0趋近的方式,能够计算获得不同的添加优化概率ρ或缩减优化概率σ,从而方便选取概率最高的添加优化概率ρ和缩减优化概率σ,从而用来选出相对应的添加集合C+或缩减集合C-,比如说可以设置从某一端口获取财务数据的比例大于50%,此时可以在属性集合中添加bi,来表示从某一端口获取财务数据的比例大于50%,此时可以相对应的计算添加优化概率ρi,从而能够在后续相对应的反推相对应的添加集合中的元素。
S43、根据添加优化概率ρ和缩减优化概率σ获取添加集合C+和缩减集合C-;先通过属性集合的添加或者缩减设定对数据的需求,再通过添加优化概率ρ和缩减优化概率σ反向对能够相对应的对财务数据集合C中的数据进行添加或者缩减,将与属性集合的相对应的财务数据添加到财务数据集合C中或者从财务数据集合C中移出;
添加集合C+的表达式为:
缩减集合C-的表达式为:
上述公式中,C+和C-分别表示添加集合和缩减集合,C表示初步挑选出来的财务数据集合,表示将属于集合C的数据ai从该集合中移出,并将其作为数据ui添加到属于集合C′但不属于集合C的区间内,/> 表示将数据ai从集合C中移出的添加优化概率,ρi为添加优化概率的数值,P(f(uj)=aj∈C)代表将属于集合C′但不属于集合C的数据uj,作为新数据aj添加到集合C中的缩减优化概率,该缩减优化概率数值为σj。
通过上述方式根据添加优化概率ρ或缩减优化概率σ,推导出相对应的添加集合C+或缩减集合C-的集合元素组成。
S44、分别计算添加集合C+和缩减集合C-的数据饱满度B;
添加集合C+的数据饱满度的计算公式为:
缩减集合C-的数据饱满度的计算公式为:
上式中,B为添加集合C+或缩减集合C-的数据饱满度,cardinal number为表示基数词,用来统计集合中的元素数量。
获得的添加优化概率ρ或缩减优化概率σ中可能有多个数据满足挑选数据的要求,因此也会获得多个满足样本需求的添加集合C+或缩减集合C-,此时为了进一步完成对数据的筛选,引入数据饱满度的概念用来反应初始财务数据集合的变化程度,选取数据饱满度较大的作为样本数据,即选择对原始数据更改更少的财务数据作为样本数据,从而只剔除少量冗余数据,以减少样本数据出现异常的风险。
S45、根据各个添加集合C+和缩减集合C-的数据饱满度B、添加优化概率ρ或缩减优化概率σ挑选出优化后的最终财务数据;
在充分考虑数据饱满度B、添加优化概率ρ和缩减优化概率σ对样本财务数据选择的影响,通过设定对样本数据数据饱满度B、添加优化概率ρ和缩减优化概率σ的最低要求,从而能够直接根据设定的目标快速输出一定数量的最终财务数据,在步骤S45中,具体包括如下步骤:
S451、设定优化概率阔值P0和数据饱满度阔值B0;
S452、依次判断各个添加集合C+和缩减集合C-相对应的数据饱满度B和添加优化概率ρ或缩减优化概率σ是否同时大于优化概率阔值P0和数据饱满度阔值B0;
若是,则输出所有满足条件的各个添加集合C+和缩减集合C-,并进入步骤S453;
若否,则返回步骤S41;
比如,最初的财务数据集合与之相对应的属性集合/>此时需要根据对样本财务数据的需求对属性集合S添加属性元素或者减少属性元素,此处以添加属性元素为例,比如首次添加新的属性元素b4,b4表示财务数据集合中从A端口获取的财务数据的概率大于50%,此时/>计算得到相对应的添加优化概率ρ1=0.25,添加集合/>数据饱满度B1=0.67,经过多次向属性集合S中添加属性元素,可以获得多组数据ρ2=0.4,/>B2=0.57,若设定优化概率阔值P0=0.25,数据饱满度阔值B0=0.6,则满足该需求的添加集合为/>即为最终财务数据。
S453、利用计数函数统计输出的添加集合C+和缩减集合C-总数T;
S454、设定额定数量T0,并判断总数T与额定数量T0的大小;
若T>T0,则返回步骤S41;此时可以通过添加额外的属性集合,以进一步对获得的添加集合C+和缩减集合C-进行限定,以获得更加优化的财务数据,方便后续根据此数据进行相关的分析。
若T≤T0,则输出所有满足条件的添加集合C+和缩减集合C-以作为多组最终财务数据,并进入步骤S5;
S5、对最终财务数据进行数据分析。
对财务数据进行数据分析的传统方法一般有比较分析法、比率分析法、和趋势分析法等,在此不再赘述,在通过前述S1-S3步骤保证了财务数据在传输和储存过程中的准确性的基础上,在步骤S4中,进一步的通过一种数据筛选的方法,挑选出满足一定属性的财务数据,从而通过这种方式挑选出满足需求的样本财务数据,以保证分析结果的准确性。
以上实施方式对本发明进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种财务数据批量处理方法,其特征在于,包括:
S1、通过OCR识别方法将财务数据批量录入各个子客户端;
S2、对录入的财务数据中的冗余数据和失真数据通过滤波器进行一次优化处理,以获得滤波降噪后的初步财务数据;
S3、对录入的初步财务数据进行数据分层,对不同分层的财务数据进行加密处理并设置分层标识,之后上传至终端服务器并转入到相应的存储服务器;
S4、从存储服务器中获取初步财务数据和相对应的属性集合,并根据优化概率和数据饱满度对初步财务数据进行二次优化处理,以获得最终财务数据;
S5、对最终财务数据进行数据分析。
2.根据权利要求1所述的一种财务数据批量处理方法,其特征在于,在步骤S2中,具体包括如下步骤:
S21、确定用于财务数据传输的若干个传输端口;
S22、在若干个传输端口的滤波器上添加用于获得财务数据的统计信息特征量的信道模型;
信道模型的函数表达式为:
上式中,k表示财务数据的总长度,0≤k≤N-1,f(n)表示第n个财务数据,j表示数据的传输点编号,N表示财务数据的最大长度,e为自然常数;
S23、建立冗余数据降噪滤波函数,对获得的统计信息特征量进行降噪滤波以获得初步财务数据。
3.根据权利要求2所述的一种财务数据批量处理方法,其特征在于,在步骤S23中,具体包括如下步骤:
S231、设置用于财务数据的统计信息特征量通过的通频带,通频带的函数表达式为:
上式中,j代表匹配滤波检测的尺度系数,i表示信号传输信道的级别,表示级别为i、尺度系数为j的通频带,/>和/>分别表示0和1位且尺度系数为j的信道通频带,δ为比例系数,ρ为分离系数,N为财务数据的数据长度;
S232、对通过通频带的财务数据信号进行分帧处理后输出,以获得初步财务数据;则初步财务数据在分帧处理后的输出码元的表达式为:
其中,
上式中,Mk为冗余财务数据在分帧处理后的第k个财务数据的输出码元,x(i)表示第i个原始财务数据信号,原始财务数据信号所处的位置区间为0≤i≤N-1,μ和τ代表不同的符号函数,N为帧数,m为帧变量。
4.根据权利要求1所述的一种财务数据批量处理方法,其特征在于,在步骤S3中,具体包括如下步骤:
S31、设置若干个存储服务器,并获取存储服务器的存储地址作为分层标识;
S32、对各个财务数据上传用户账号进行编号;
S33、建立密码箱,并将密钥值根据相应的编号分配给各个财务数据上传用户的账号;
S34、财务数据上传用户在加密后的财务数据上添加分层标识,之后通过客户端上传至终端服务器;
添加分层标识后的密钥数据结构可以表示为:
StrAStd|K[Str:Std]
其中,A为分层标识,K为数据密钥,Str和Std均为索引标识,[Str:Std]表示索引读取Str和Std之间的分层标识A的信息;
S35、终端服务器读取财务数据的分层标识,并将财务数据转移至相对应的存储服务器内。
5.根据权利要求1所述的一种财务数据批量处理方法,其特征在于,在步骤S4中,具体包括如下步骤:
S41、从存储服务器中获取初步财务数据,并根据初步财务数据建立财务数据集合C以及与其相对应的属性集合S;
财务数据集合C的表达式为:
上式中,C表示初步挑选出来的财务数据集合,a1,a2,a3,…,an表示各个财务数据,C′为所有的财务数据集合;
属性集合S的表达式为:
上式中S表示初步挑选出来的属性集合,b1,b2,b3,…,bn表示财务数据集合C的多个属性值,S′表示总的属性集合;b1,b2,b3,…,bn为与财务相关的各种市场因素、政策因素数据来源等;
S42、设定最优属性集合S0,并获取财务数据的属性添加集合S+和属性缩减集合S-,以及相对应的添加优化概率ρ和缩减优化概率σ;
S43、根据添加优化概率ρ和缩减优化概率σ获取添加集合C+和缩减集合C-;
S44、分别计算添加集合C+和缩减集合C-的数据饱满度B;
添加集合C+的数据饱满度的计算公式为:
缩减集合C-的数据饱满度的计算公式为:
上式中,B为添加集合C+或缩减集合C-的数据饱满度,cardinalnumber为表示基数词,用来统计集合中的元素数量;
S45、根据各个添加集合C+和缩减集合C-的数据饱满度B、添加优化概率ρ或缩减优化概率σ挑选出优化后的最终财务数据。
6.根据权利要求5所述的一种财务数据批量处理方法,其特征在于,在步骤S42中,具体包括如下步骤:
S421、设定最优属性集合S0;
S422、判断最优属性集合S0与属性集合S是否可分辨;
若是,则进入步骤S423;
若否,则输出财务数据集合C,并进入步骤S44;
S423、依次将调整属性集合S中的数据直至最优属性集合S0与属性集合S不可分辨,并依次获取相对应的属性添加集合S+和属性缩减集合S-。
7.根据权利要求6所述的一种财务数据批量处理方法,其特征在于,在步骤S423中,属性添加集合S+的表达式为:
S+=S∪{bi∣P(f(βi)=bi∈S)≥ρi,f∈F}
属性缩减集合S-的表达式为:
上述公式中,S+表示属性添加集合,S-表示属性缩减集合,S表示初步挑选出来的属性集合,f∈F为数据转移符号,f(βi)=bi∈S表示将任意一个不属于S但属于集合S′的数据转移到属性集合S中,并作为集合S中的数据bi,表示将任意一个属于集合S的数据bj从该集合中筛除,并作为数据βj放入到属于集合S′但不属于集合S的区间内,P(f(βi)=bi∈S)表示将数据βi迁移到属性集合S中时的添加优化概率,该添加优化概率的大小为ρi,/>表示将数据βj从集合S中移出并作为数据βj的缩减优化概率,该缩减优化概率的大小为σj。
8.根据权利要求5所述的一种财务数据批量处理方法,其特征在于,在步骤S45中,具体包括如下步骤:
S451、设定优化概率阔值P0和数据饱满度阔值B0;
S452、依次判断各个添加集合C+和缩减集合C-相对应的数据饱满度B和添加优化概率ρ或缩减优化概率σ是否同时大于优化概率阔值P0和数据饱满度阔值B0;
若是,则输出所有满足条件的各个添加集合C+和缩减集合C-,并进入步骤S453;
若否,则返回步骤S41;
S453、利用计数函数统计输出的添加集合C+和缩减集合C-总数T;
S454、设定额定数量T0,并判断总数T与额定数量T0的大小;
若T>T0,则返回步骤S41;
若T≤T0,则输出所有满足条件的添加集合C+和缩减集合C-以作为多组最终财务数据,并进入步骤S5。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311172294.1A CN117216478B (zh) | 2023-09-12 | 2023-09-12 | 一种财务数据批量处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311172294.1A CN117216478B (zh) | 2023-09-12 | 2023-09-12 | 一种财务数据批量处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117216478A true CN117216478A (zh) | 2023-12-12 |
CN117216478B CN117216478B (zh) | 2024-04-30 |
Family
ID=89045576
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311172294.1A Active CN117216478B (zh) | 2023-09-12 | 2023-09-12 | 一种财务数据批量处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117216478B (zh) |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103049793A (zh) * | 2011-10-13 | 2013-04-17 | 马军 | 一种自适应全局优化概率搜索方法 |
CN109801151A (zh) * | 2019-01-07 | 2019-05-24 | 平安科技(深圳)有限公司 | 财务造假风险监控方法、装置、计算机设备和存储介质 |
CN110659997A (zh) * | 2019-08-15 | 2020-01-07 | 中国平安财产保险股份有限公司 | 数据聚类识别方法、装置、计算机系统及可读存储介质 |
CN112463853A (zh) * | 2020-11-27 | 2021-03-09 | 重庆医药高等专科学校 | 通过云平台进行财务数据行为筛选工作方法 |
CN113722695A (zh) * | 2021-11-02 | 2021-11-30 | 佳瑛科技有限公司 | 基于云端服务器的财务数据安全共享方法、装置及系统 |
CN114881551A (zh) * | 2021-01-21 | 2022-08-09 | 顺丰恒通支付有限公司 | 基于证据融合的目标对象确定方法、装置、设备和介质 |
WO2022174122A1 (en) * | 2021-02-11 | 2022-08-18 | Mingtai Chang | Securing secrets and their operation |
CN114926258A (zh) * | 2022-06-20 | 2022-08-19 | 重庆医药高等专科学校 | 通过异常偏差模型筛选校园财务异常数据的工作方法 |
CN115619529A (zh) * | 2022-11-07 | 2023-01-17 | 中国银行股份有限公司 | 异常资产卡片的处理方法及装置 |
CN116012178A (zh) * | 2022-12-15 | 2023-04-25 | 广西电网有限责任公司 | 一种基于人工智能的自动化财务对账方法 |
CN116089407A (zh) * | 2022-11-08 | 2023-05-09 | 中央财经大学 | 一种基于数据挖掘的整合系统 |
CN116245669A (zh) * | 2023-05-04 | 2023-06-09 | 南京青春信息科技有限公司 | 一种基于同态加密及分类优化的财务审计方法和系统 |
CN116503190A (zh) * | 2023-04-13 | 2023-07-28 | 重庆医药高等专科学校 | 针对财务数据进行异常筛选的工作方法 |
CN116579868A (zh) * | 2023-05-23 | 2023-08-11 | 刘天慧 | 一种财务管理系统及财务管理方法 |
-
2023
- 2023-09-12 CN CN202311172294.1A patent/CN117216478B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103049793A (zh) * | 2011-10-13 | 2013-04-17 | 马军 | 一种自适应全局优化概率搜索方法 |
CN109801151A (zh) * | 2019-01-07 | 2019-05-24 | 平安科技(深圳)有限公司 | 财务造假风险监控方法、装置、计算机设备和存储介质 |
CN110659997A (zh) * | 2019-08-15 | 2020-01-07 | 中国平安财产保险股份有限公司 | 数据聚类识别方法、装置、计算机系统及可读存储介质 |
CN112463853A (zh) * | 2020-11-27 | 2021-03-09 | 重庆医药高等专科学校 | 通过云平台进行财务数据行为筛选工作方法 |
CN114881551A (zh) * | 2021-01-21 | 2022-08-09 | 顺丰恒通支付有限公司 | 基于证据融合的目标对象确定方法、装置、设备和介质 |
WO2022174122A1 (en) * | 2021-02-11 | 2022-08-18 | Mingtai Chang | Securing secrets and their operation |
CN113722695A (zh) * | 2021-11-02 | 2021-11-30 | 佳瑛科技有限公司 | 基于云端服务器的财务数据安全共享方法、装置及系统 |
CN114926258A (zh) * | 2022-06-20 | 2022-08-19 | 重庆医药高等专科学校 | 通过异常偏差模型筛选校园财务异常数据的工作方法 |
CN115619529A (zh) * | 2022-11-07 | 2023-01-17 | 中国银行股份有限公司 | 异常资产卡片的处理方法及装置 |
CN116089407A (zh) * | 2022-11-08 | 2023-05-09 | 中央财经大学 | 一种基于数据挖掘的整合系统 |
CN116012178A (zh) * | 2022-12-15 | 2023-04-25 | 广西电网有限责任公司 | 一种基于人工智能的自动化财务对账方法 |
CN116503190A (zh) * | 2023-04-13 | 2023-07-28 | 重庆医药高等专科学校 | 针对财务数据进行异常筛选的工作方法 |
CN116245669A (zh) * | 2023-05-04 | 2023-06-09 | 南京青春信息科技有限公司 | 一种基于同态加密及分类优化的财务审计方法和系统 |
CN116579868A (zh) * | 2023-05-23 | 2023-08-11 | 刘天慧 | 一种财务管理系统及财务管理方法 |
Non-Patent Citations (3)
Title |
---|
YANG BIN 等,: "Simulation study on digital filter to nuclear signals", 《NUCLEAR TECHNIQUES》, vol. 33, no. 11, 1 November 2010 (2010-11-01), pages 818 - 823 * |
冀娜,: "基于P(ρ , σ ) -数据的财务共享服务数据处理优化", 《德州学院学报》, vol. 36, no. 4, 31 August 2020 (2020-08-31), pages 70 - 76 * |
郭蕾,: "产业互联网软件企业业财一体化研究", 《商业会计》, vol. 2023, no. 17, 10 September 2023 (2023-09-10), pages 83 - 87 * |
Also Published As
Publication number | Publication date |
---|---|
CN117216478B (zh) | 2024-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112380190B (zh) | 一种基于多维分析技术的数据质量健康度分析方法及系统 | |
CN109889538B (zh) | 用户异常行为检测方法及系统 | |
CN110781930A (zh) | 一种基于网络安全设备日志数据的用户画像分组及行为分析方法和系统 | |
US10726332B2 (en) | Generating a training model based on feedback | |
CN111131314A (zh) | 网络行为的检测方法、装置、计算机设备和存储介质 | |
CN113743542B (zh) | 一种基于加密流量的网络资产识别方法与系统 | |
US10346746B2 (en) | Generating a training model based on feedback | |
WO2022100382A1 (zh) | 一种基于区块链的信贷推荐方法、设备及存储介质 | |
CN107871251A (zh) | 一种进项增值税发票管理系统及方法 | |
CN113160023A (zh) | 一种土地利用核查系统 | |
CN110059126B (zh) | 基于lkj异常值数据的复杂关联网络分析方法及系统 | |
CN111476269A (zh) | 均衡样本集构建、翻拍图像识别方法、装置、设备及介质 | |
CN114282692A (zh) | 一种纵向联邦学习的模型训练方法及系统 | |
CN116232696A (zh) | 基于深度神经网络的加密流量分类方法 | |
CN117216478B (zh) | 一种财务数据批量处理方法 | |
CN117744722A (zh) | 一种大模型压缩方法及系统 | |
CN112437051B (zh) | 网络风险检测模型负反馈训练方法、装置及计算机设备 | |
CN109815796B (zh) | 人脸识别通过率的影响因素的测试方法及装置 | |
CN114070656A (zh) | 一种商业银行开放api接口异常监测方法和装置 | |
CN116700632B (zh) | 一种高可靠的金融信息数据存储方法 | |
CN117978682B (zh) | 一种基于fpga的基带信号监测系统 | |
CN115277185B (zh) | 一种基于图神经网络的运维系统异常检测方法 | |
CN115549893B (zh) | 一种带有可替换子模块的数据安全处理方法 | |
US20240211605A1 (en) | Automation Platform for Pentest Collaboration | |
CN117118765A (zh) | 一种ipv6身份安全认证方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |