CN117171145B - 一种企业管理系统数据的分析处理方法、设备及存储介质 - Google Patents
一种企业管理系统数据的分析处理方法、设备及存储介质 Download PDFInfo
- Publication number
- CN117171145B CN117171145B CN202310778868.3A CN202310778868A CN117171145B CN 117171145 B CN117171145 B CN 117171145B CN 202310778868 A CN202310778868 A CN 202310778868A CN 117171145 B CN117171145 B CN 117171145B
- Authority
- CN
- China
- Prior art keywords
- data
- industry
- business
- service
- subsidiary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 16
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 238000003672 processing method Methods 0.000 title abstract description 5
- 238000012545 processing Methods 0.000 claims abstract description 56
- 238000005065 mining Methods 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 47
- 230000006870 function Effects 0.000 claims description 19
- 238000013479 data entry Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 101100129590 Schizosaccharomyces pombe (strain 972 / ATCC 24843) mcp5 gene Proteins 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000013481 data capture Methods 0.000 claims description 2
- 238000013178 mathematical model Methods 0.000 claims description 2
- 238000007405 data analysis Methods 0.000 abstract description 9
- 238000003908 quality control method Methods 0.000 abstract description 2
- 238000006243 chemical reaction Methods 0.000 abstract 1
- 238000004140 cleaning Methods 0.000 abstract 1
- 238000007726 management method Methods 0.000 description 25
- 230000008569 process Effects 0.000 description 18
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000003442 weekly effect Effects 0.000 description 4
- 230000002776 aggregation Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000007418 data mining Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 206010063385 Intellectualisation Diseases 0.000 description 2
- 238000013499 data model Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013112 stability test Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种企业管理系统数据的分析处理方法、设备及存储介质,该方法以企业所有子公司的全域数据为基础,以数据资产为核心,构建多类型企业数据分析处理方案。其中,数据处理包括各类型、行业等数据的采集、清洗、转化分析、存储、发布、安全等各项内容,实现对企业数据的规范化管理;并实现对企业的内部数据、外部数据、结构化数据、非结构化数据、文本数据等各类数据形态的统一处理及分析;通过对各类经营数据的分析和处理,构建完整的企业数据分析报表,为企业挖掘数据中的潜在信息及数据决策提供有效的支持。本方案提高了企业各类数据的准确性和可用性,加强了数据的质量控制。
Description
技术领域
本发明涉及企业管理系统开发过程中,复杂企业数据的分析及处理方法,属于数据处理、数据信息挖掘领域,尤其涉及一种企业管理系统数据的分析处理方法、设备及存储介质。
背景技术
近年来随着企业规模的不断扩大和市场竞争的加剧,企业经营管理过程中产生了大量复杂的数据,如何高效利用各部门、各子公司的数据资产,推动业务智能化,成为企业数据决策的重要课题。
随着人工智能技术的逐步成熟和大数据技术的快速发展,企业经营管理系统出现了,其主要是基于全域数据、大数据和人工智能技术,实现对企业经营管理全过程的全面、实时、智能化管理。在现有技术中,公司的经营管理系统大多采用基础的数据分析和处理工具,在使用过程中有以下缺陷:
一是分析处理时间过长,由于工具进程启动复杂,加上不合理的脚本设计,导致每次定时执行的时间过长,有时长达15分钟以上。
二是数据分析处理效率低,无法进行大量数据的汇总。现有方式中,大多采用将数据进行分段或分块的方式处理数据,例如按照时间长度将数据分块处理,且若数据有修改,则需要逐渐递增地汇总,导致数据处理效率低下。
三是可维护性差,新增行业类型或业务分项时,将产生大量的新的数据及数据类型,原有系统无法有效进行处理,需要重新开发,耗费时间较多。
四是可迁移性比较差,不利于推广和整体布局。
以上在数据处理方面的缺陷,大大限制了企业管理类系统的使用和推广。
发明内容
针对现有技术中的不足,本发明旨在提供一种能够全面收集企业各类经营数据、高效分析处理数据的方法,使企业能够更快更准确地对批量数据进行快速处理,以辅助企业的经营决策,提高决策效率和市场竞争力。具体而言,本发明公开了以下技术方案:
第一方面,本发明提供了一种企业管理系统数据的分析处理方法,该方法包括:
S1、设置数据规范,包括设置行业信息数据标准及设置业务数据字段标准;
S2、收集原始数据,并确定原始数据的行业和业务分项,并至少基于数据更新频率设置原始数据填报时间;
S3、对原始数据进行预处理,包括基于数据规范,将各行业的数据按照一定比例分配至各业务分项中,获得预处理后数据;
S4、基于预处理后数据,建立配置表,所述配置表包含行业及业务分项、需处理的数据字段、需处理的数据类型及汇总字段;
S5、根据业务数据的数据类型进行数据抓取,得到业务数据条目;对所述业务数据条目进行分组,获得分组后数据;对所述分组后数据进行汇总,将一组业务数据条目合并为一个统计数据项,得到汇总数据;对汇总数据进行二次加工,得到第一视图数据;
S6、基于分组条件,对第一视图数据进行处理,得到第二视图数据,所述第二视图数据包括各子公司的累计业务数据、累计目标数据、完成进度、累计完成进度、同比增长率、环比增长率;
S7、获取第二视图数据的数据表,并基于展示模块对数据表进行分类;为每个数据表建立一个数据中间配置表,基于所述数据中间配置表,对所述数据表中的数据进行处理,再将处理后数据进行展示;所述数据中间配置表用于设置对所述数据表中数据的处理条件。
优选地,所述数据类型包括普通、特殊及其他。
优选地,该方法还包括:
S8、基于第二视图数据,构建数学模型,挖掘不同业务数据间的关联关系,并进行展示。
优选地,所述S1中,行业信息数据标准包括行业级别及业务分项,所述业务分项为各行业级别下的具体业务分类;
所述业务数据字段标准设置方式为:针对行业类型H,建立对应的n个业务表,其中第i个业务表为Ti,Ti的主表为Ui,子表为Vi,则系统数据表示为:
H={T1,T2,…,Tn};
Ti={Ui,Vi};
Ui={u1,u2,…,um},Vi={v1,v2,…,vm};
uj={name,date,product,num,price…};
vj={name,date,product,num1,price1,num2,price2…};
i=1,…,n,j=1,2,…,m。
优选地,所述S2中,基于行业选择指数确定原始数据的行业:
行业选择指数=∑(重要性×符合度);
其中,重要性基于子公司的行业定位确定,符合度指子公司对各行业的符合程度,所述符合度是归一化处理后数据。
优选地,所述S3中,将各行业的数据按照一定比例分配至各业务分项中,具体包括:
对于各子公司的各行业数据,分配至各业务分项中,则得到某一子公司的业务数据向量为:
且:
其中,xi表示第i个行业的数据,m表示行业数量,m′表示业务分项数量,aij表示将第i个行业的数据xi分配到第j个业务分项中的系数。
优选地,所述S5中进一步包括,将预处理后数据合并为数据集合,基于业务数据类型,将数据集合划分为子集;数据集合由业务数据条目构成,业务数据条目包含若干属性。
优选地,所述S5中,对业务数据条目进行分组的方式为:
f(qi)=(C(qi),I(qi),P(qi),M(qi),W(qi))
其中,qi表示第i个业务数据条目,C表示子公司,I表示行业,P表示业务分项、M表示月,W表示周;
对分组后数据进行汇总的具体方式为:
定义函数g如下:
其中,Qk表示属于组别k的业务数据集合,B(qi),E(qi),…分别表示业务数据条目qi的某一属性值;则对于任意两个组别k’、l’,则汇总方式为:
g(Qk′∪Ql′)=g(Qk′)+g(Ql′)。
优选地,使用二次加工函数,对汇总数据进行二次加工,所述二次加工函数为:
其中,Qk表示属于组别k的业务数据集合,Nk表示该组数据的数量,B(qi),E(qi),…分别表示业务数据条目qi的某一属性值,C表示子公司,I表示行业,P表示业务分项、M表示月,W表示周。
优选地,所述S6中:
通过业务数据累加,得到各子公司某一时间粒度的累计业务数据;
通过目标数据累加,得到各子公司某一时间粒度的累计目标数据;
通过计算同一时间粒度下各子公司业务数据在目标数据中的占比,得到各子公司在该同一时间粒度下的完成进度;
通过计算各子公司累计业务数据在累计目标数据中的占比,得到各子公司的累计完成进度。
优选地,所述数据中间配置表通过字段的方式设置处理条件,字段包含:时间粒度、聚合函数、数据过滤条件及排序规则。
第二方面,本发明还提供了一种企业管理系统数据的分析处理设备,该设备包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行如上所述的企业管理系统数据的分析处理方法。
第三方面,本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的企业管理系统数据的分析处理方法。
与现有技术相比,本方案通过收集、整合、处理和挖掘企业经营管理过程中产生的数据,并利用人工智能技术进行分析和应用,实现了经营决策的自动化和智能化,提高了决策的准确性和效率。此外,本发明还提高了数据的准确性和可用性,加强了数据的质量控制。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例的企业数据的主要处理流程;
图2为本发明实施例的数据挖掘分析流程图;
图3为本发明实施例的设备结构图。
具体实施方式
下面结合附图对本发明实施例进行详细描述。应当明确,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
本领域技术人员应当知晓,下述具体实施例或具体实施方式,是本发明为进一步解释具体的发明内容而列举的一系列优化的设置方式,而该些设置方式之间均是可以相互结合或者相互关联使用的,除非在本发明明确提出了其中某些或某一具体实施例或实施方式无法与其他的实施例或实施方式进行关联设置或共同使用。同时,下述的具体实施例或实施方式仅作为最优化的设置方式,而不作为限定本发明的保护范围的理解。
本发明涉及一种企业经营管理系统在开发过程中,海量数据的分析及处理的方法、设备及介质,本发明旨在提供一种能够全面收集企业经营数据、高效分析处理数据的方案,通过对企业经营及管理中产生的大量数据的精细化分析和处理,提高企业数据系统使用的效率,提升企业决策的准确性。
在一个具体的实施例中,针对企业,尤其是涉及多子公司等集团型的企业,其在经营及管理过程中,会产生各种类型的数据,这些数据的快速处理与分析,将直接影响企业系统中对于数据的使用效果和使用效率。本实施例中,以集团经营管理决策对企业内部系统各类数据的需求为基础,后台数据库采用例如Mysql等建立,后台实现主要通过采用视图、存储过程等实现。具体而言,本方案中对于系统数据的分析处理方法,主要包括以下几个方面:
第一步,数据的规范化。企业管理系统中涉及到的数据类型多种多样,我们需要首先对数据进行规范化的处理,设置企业数据的行业信息标准、数据标准等数据规范。
数据的规范化包括建立行业及业务分项体系,并根据数据的层级关系进行对应的编号。同时,根据不同的行业类型建立对应的一到多个业务表,业务表包括主子表并相互关联。更为优选的实施方式如下:
(1)在系统中建立行业信息标准,包括行业及业务分项体系并根据层级关系进行对应的编号,其中行业包含一级行业、二级行业等,业务分项为各级行业之下的具体业务分类。具体如下:
一级行业:({X1},{Y1},{Z1},…)编号为(01,02,03,…);
二级行业:({X1-1},{X1-2},{X1-3},…,{Y1-1},{Y1-2},{Y1-3},…),编号为(0101,0102,0103,…,0201,0202,0203,…);
业务分项:({X1-1}-1,{X1-1}-2,…,{X1-2}-1,{X1-2}-2,…,{Y1-1}-1,
{Y1-1}-2,…,{Y1-2}-1,{Y1-2}-2,…),编号为(0101-1,0101-2,
0102-1,0102-2,…,0201-1,0201-2,0202-1,0202-2,…)。
其余行业级别及对应的业务分项的设置方式以此类推,如三级行业、四级行业等,此处不再赘述。
(2)建立数据标准。本实施例中,数据标准建立,主要在业务数据字段标准设置,根据不同的行业类型建立对应的一到多个业务表,业务表包括主子表,主子表是相互关联的。每个业务表中维护具体的业务数据明细,所有内容都设计成可以配置的,方便业务数据、业务数据类型等内容的扩展。
设行业类型为H,业务表个数为n,其中第i个业务表的名称为Ti,Ti的主表为Ui,子表为Vi。
则对于系统中数据,我们设置的数据模型可以表示为:
H={T1,T2,…,Tn},其中每张业务表Ti都由Ui和Vi组成,即:
Ti={Ui,Vi},其中Ui,和Vi为实体集,i=1,…,n,可分别表示为:
Ui={u1,u2,…,um},Vi={v1,v2,…,vm};
其中,uj和vj为数据项,可表示为:
uj={name,date,product,num,price…}
vj={name,date,product,num1,price1,num2,price2…}
j=1,2,…,m。
第二步,在设置数据规范后,我们收集原始数据。原始数据可以是来自于例如各个子公司。子公司根据实际的业务情况选择对应的行业和业务分项,根据实际的业务情况实时进行数据汇总,汇总的数据包括例如目标数据、经营数据、财务数据、对标数据、扭亏数据等。
首先,基于第一步的设置,子公司要选择合适的行业和业务分项,作为汇总的数据的规范化基础,我们通过设置行业选择指数的方式,确定合适的行业和业务分项:行业选择指数=∑(重要性×符合度)。
其中,重要性指标可根据子公司自身的定位、战略目标等来确定,符合度指标可通过市场调研数据、市场定位、竞争数据分析等方式获得;在确定符合度后,需要对符合度指标进行归一化处理,即对于一个子公司所涉及的行业、业务分项,其对应的所有符合度指标的和等于1。通过计算行业选择指数,可以评估出不同行业的适应程度,从而确定子公司数据对应的行业和业务分项。在一个优选的实施方式中,例如我们可以计算子公司在已设置的各个行业及业务分项上的行业选择指数,其中以行业选择指数最高的行业作为该子公司对应的数据所属的行业分类,从而进一步确定其汇总数据的业务分项。
其次,为了实时进行数据填报,可以使用如下公式确定数据填报的频率:
数据填报频率=1/Δt
其中,Δt指数据更新的时间间隔,通过设定合适的Δt时间,可以保证子公司的业务数据及时更新、实时反映业务情况,同时,还可以通过确定数据填报频率的高低,来调整公司决策的时效性和准确性。
第三步,数据预处理。根据各个子公司填报的业务数据,将每个行业的实际数据按照一定比例分配到各个业务分项中,提高数据的准确性和可用性。
本实施例中,我们以业务量数据为例,具体如下:
设定某个子公司共有m个行业,记第i个行业的实际业务量为xi,则可以表示为:x1,x2,…,xm
该子公司在m′个业务分项中开展业务,记第j个业务分项的业务总量为yj,则可以表示为:y1,y2,…,ym′
将第i个行业对应的业务量xi分配到第j个业务分项中,则有:
其中,aij为将第i个行业对应的业务量xi分配到第j个业务分项中的系数,满足:
0≤aij≤1
即将每个行业的实际业务量按照一定比例分配到各个业务分项中,且每个行业的分配比中,各个业务分项所占比例之和为1。aij值的具体确定方式,可以根据各个子公司或者业务部门的业务量分配历史数据或经验值来确定,该系数根据业务部门提供的相应数据值维护到表中。
根据实际的业务情况,对每个行业的实际业务量进行实时数据填报,得到一个实时的业务数据向量:
x=(x1,x2,…,xm)
对应地,在该子公司所开展的每个业务分项中,也会得到一个实时的业务总量向量:
y=(y1,y2,…,ym′)
最终,通过将每个行业的实际业务量按照一定比例分配到各个业务分项中,得到的实时业务数据向量将会是:
其中,aij为将第i个业务分项对应的业务量xi分配到第j个行业中的系数。
第四步,进行数据建模。本步骤将原始数据标准化、分类、组织,建立数据模型,并保证数据和业务的一致性。建立数据分析处理的配置表,该配置表建立行业及业务分项、需要分析处理的数据字段、需要处理的数据类型(普通、特殊、其他等)、汇总的字段(如需合计某些业务分项)等对应关系。每当有业务调整时,可以直接在配置表中增删改相应的记录。
第五步,进行数据挖掘分析。根据不同的业务数据的类型(普通、特殊、其他)等分别对对应数据进行抓取。我们可以将系统中的数据以例如子公司、行业及业务分项、每月、每周等为分组条件,进行筛选汇总。然后在此基础上将需要合计的数据进行二次加工,最终形成数据视图,数据视图的时间粒度可以设置为例如以周为最小统计单位等。示例性地,参考图2所示,本步骤具体实施可设置如下:
1、假设有n′个业务数据,设数据集合为Q={q1,q2,…,qn′},其中每个qi表示一个业务数据条目,假设每个业务数据条目包含以下属性:业务数据类型T(qi)、子公司C(qi)、行业I(qi)、业务分项P(qi)、每月M(qi)、每周W(qi)、业务数据内容D(qi)等。其中,示例性地,业务数据类型为普通、特殊或其他三种。因此,我们可以将Q划分为三个子集Q1,Q2,Q3,分别表示普通、特殊和其他类型的业务数据。
2、根据不同的业务数据类型,我们可以对对应数据进行抓取。
对于每个数据qi,可以使用抓取函数F(qi)将其抓取下来,例如F(qi)表示抓取qi数据。
3、我们可以将业务数据按子公司、行业及业务分项、每月、每周等为分组条件进行筛选汇总。在进行汇总的过程中,可以使用视图来进行数据处理和聚合。
对于每个业务数据条目qi,我们需要对其进行分组。我们可以使用一个函数f来对每个数据条目进行分组,即f(qi)返回一个组别标识符。我们按子公司、行业及业务分项、每月、每周进行分组,因此我们可以定义f为:
f(qi)=(C(qi),I(qi),P(qi),M(qi),W(qi))
这样,对于任意两个业务数据条目qi,qj∈D,如果f(qi)=f(qj),则qi和qj属于同一组。
根据分组后的数据,我们需要对其进行汇总。假设g表示一个汇总函数,将一组业务数据条目合并成一个统计数据项。在每个统计数据项中,我们需要记录该组业务数据的数量N,以及业务数据的某些属性的总和(如业务量、收入、毛利等等)。因此,我们可以定义g为:
其中,Qk表示属于组别k的业务数据集合,B(qi),E(qi),…表示业务数据qi的某些属性值。这样,对于任意两个组别k’、l’,我们可以使用g函数来汇总数据:
g(Qk′∪Ql′)=g(Qk′)+g(Ql′)
例如,对于一个由三个业务数据条目组成的组别,我们可以这样统计该组数据:
4、更加优选地,我们需要对汇总数据进行二次加工,以生成最终的数据视图。设定h是二次加工函数,将汇总数据中的多个属性合并成单个属性。例如,h可以将子行业和业务分项合并成一个字符串,以便更方便地进行分析。此外,h还可以对某些属性进行计算,例如计算每组业务数据的平均值、最大值等等。通过这种加工,我们可以得到例如以周为最小统计单位的数据视图。
数据处理过程可以用以下公式表示
f(qi)=(C(qi),I(qi),P(qi),M(qi),W(qi))
其中,Qk表示属于组别k的业务数据集合,Nk表示该组数据的数量,B(qi),E(qi),…表示业务数据qi的某些属性值,C表示子公司,I表示行业,P表示业务分项、M表示月,W表示周。f(qi)根据子公司、行业及业务分项、每月、每周对业务数据进行分组,g函数将每个组别的业务数据进行汇总,h函数对汇总数据进行二次加工,得到最终的视图数据,该视图数据可以进行基础的数据视图展示。
第六步,示例性地,假设步骤五形成的数据视图是以周为时间单位的,则本步骤在形成的周报视图数据基础上继续进行分析汇总。分别将各个子公司的目标数据、业务数据按照每月完成值、年度累计完成值等进行汇总,最终形成以子公司、行业及业务分项、月份为横向统计维度,包括计划、每月完成值、年度累计完成值、完成进度、同比、环比为纵向统计数据的数据视图。
首先,根据不同的业务数据类型以子公司、行业及业务分项、月份为分组条件汇总成包含目标数据、业务数据的数据视图。然后在此基础上进行二次加工,具体如下:
设cr,s,t为第r个子公司在第s个行业中第t个月的业务数据,pr,s,t为第r个子公司在第s个行业中第t个月的目标数据。
设cxr,s,t为第r个子公司在第s个行业中前t个月的年度累计业务数据,则有:
设pxr,s,t为第r个子公司在第s个行业中前t个月的年度累计目标数据,则有:
cyr,s,t为第r个子公司在第s个行业中第t个月的完成进度,pyr,s,t为第r个子公司在第s个行业中前t个月的累计完成进度,则有:
设cmr,s,t为第r个子公司在第s个行业中第t个月的同比增长率,pmr,s,t为第r个子公司在第s个行业中前t个月的同比增长率,则有:
其中cr,s,lt为第r个子公司在第s个行业中去年第t个月的业务数据,pr,s,lt为第r个子公司在第s个行业中去年前t个月的年度累计业务数据。
设cnr,s,t为第r个子公司在第s个行业中第t个月的环比增长率,pnr,s,t为第r个子公司在第s个行业中前t个月的环比增长率,则有:
其中cr,s,t-1为第r个子公司在第s个行业中第t-1个月(即第t个月的上个月)的业务数据,pr,s,t-1为第r个子公司在第s个行业中前t-1个月的年度累计业务数据。
第七步,进行数据应用。将生成的数据视图中的各种数据按照不同的格式要求,分别抓取到经营管理驾驶舱和/或经营大屏等设备进行展示。示例性地:
首先,根据展示大屏板块的分类,我们将数据视图进行分类。例如具体可以包括以下数据类别:运输数据、园区数据、国内贸易数据、国际贸易数据、金融数据、平台服务数据、基础设施数据及其他等。我们以其中三个板块数据内容为例(国内贸易数据、国际贸易数据和平台服务数据),那么我们可以将数据表按照其所属板块进行分类。
然后,我们需要为每个表建立一个数据中间配置表,用于定义数据抓取、处理和转化的规则和/或过滤条件等。将表中的数据转化为适合展示在经营管理驾驶舱和经营大屏上的格式。例如,对于国内贸易展示板块,我们需要将表中的数据按照每日、每周、每月等不同时间粒度进行汇总,以便更好地了解贸易情况。因此,我们可以在数据中间配置表中定义一个时间粒度字段,用于标识每条记录所属的时间粒度。除了时间粒度字段外,我们还可以在数据中间配置表中定义其他字段,例如聚合函数、过滤条件、排序规则等,以便针对不同的数据使用需要更好地抓取、处理和转化数据。
完成数据中间配置表的定义后,我们通过后台存储过程对数据进行定时抓取,并根据数据中间配置表的规则进行处理和转化。最终,符合各种展示格式的数据将被快速准确地呈现在经营管理驾驶舱和/或经营大屏上,以方便数据的使用。
第八步,在一个更优的实施方式中,本方案还可以增加反馈和优化步骤。通过例如企业经营管理系统等对业务数据的收集、处理、加工、挖掘、分析等,可以进一步挖掘数据中的潜在信息,例如通过机器学习、数据统计等方法,获得不同类别、行业等数据的关联关系或构建模型,进而可以帮助企业识别各个生产或经营环节中存在的瓶颈和问题,持续优化提高生产效率、减少成本、增强竞争力等。
示例性地,优化可以通过以下方式实现:
基于数据分析的结果,可以使用统计学、机器学习和数据挖掘等方法,根据大量数据预测和识别企业经营中的问题和潜在机会,如利用回归分析模型探测贸易销售额与广告投入间的关系,具体公式如下:
y=β0+β1x1+β2x2+...+βnxn+∈
其中,y代表贸易销售额,x1x2,...,xn分别代表广告投入、库存、生产效率等变量,β0,β1,...,βn是回归系数,∈是误差项。
利用聚类分析模型识别消费者群体的偏好等。使用线性规划、整数规划、最优化等方法来确定最优决策。
企业需要建立反馈机制来实时监测和调整经营管理策略。比如,企业可以通过数据仪表板和指标来追踪销售额、库存和生产效率等关键指标的变化,并在出现问题后,及时调整生产计划或优化营销策略。这可以通过时序数据分析和实时决策模型实现。
时序数据分析是针对时间序列数据的统计分析方法,可以用来预测时间序列数据的趋势和周期性,并对数据进行平稳性检验、白噪声检验等。实时决策模型是一种基于实时数据和模型分析的决策模型,可以在企业经营中发现问题,及时地修正和优化决策。
此外,本发明的方案还可以通过设备的方式来实现,即设置为一种电子设备。图3所示为本发明一实施例提供的设备的结构示意图。
如图3所示,设备包括一个或多个处理器201和存储器202。
处理器201可以是中央处理单元(CPU)或者具有数据处理能力和/或信息执行能力的其他形式的处理单元,并且可以控制电子设备中的其他组件以执行期望的功能。
存储器202可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序信息,处理器201可以运行所述程序信息,以实现上文所述的本发明各个实施例的企业管理系统数据分析处理方法或者其他期望的功能。
当然,为了简化,图3中仅示出了该设备中与本发明有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,设备还可以包括任何其他适当的组件。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本方案的优选实施方式的范围包括另外的实现,其中可以不按所示提出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本方案的实施方式所属技术领域的技术人员所理解。处理器执行上文所描述的各个方法和处理。例如,本方案中的方法实施方式可以被实现为软件程序,其被有形地包含于机器可读介质,例如存储器。在一些实施方式中,软件程序的部分或者全部可以经由存储器和/或通信接口而被载入和/或安装。当软件程序加载到存储器并由处理器执行时,可以执行上文描述的方法中的一个或多个步骤。备选地,在其他实施方式中,处理器可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行上述方法之一。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,可以具体实现在任何可读存储介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (9)
1.一种企业管理系统数据的分析处理方法,其特征在于,所述方法包括:
S1、设置数据规范,包括设置行业信息数据标准及设置业务数据字段标准;
S2、收集原始数据,并确定原始数据的行业和业务分项,并至少基于数据更新频率设置原始数据填报时间;
S3、对原始数据进行预处理,包括基于数据规范,将各行业的数据按照一定比例分配至各业务分项中,获得预处理后数据;
S4、基于预处理后数据,建立配置表,所述配置表包含行业及业务分项、需处理的数据字段、需处理的数据类型及汇总字段;
S5、根据业务数据的数据类型进行数据抓取,得到业务数据条目;对所述业务数据条目进行分组,获得分组后数据;对所述分组后数据进行汇总,将一组业务数据条目合并为一个统计数据项,得到汇总数据;对汇总数据进行二次加工,得到第一视图数据;
S6、基于分组条件,对第一视图数据进行处理,得到第二视图数据,所述第二视图数据包括各子公司的累计业务数据、累计目标数据、完成进度、累计完成进度、同比增长率、环比增长率;
S7、获取第二视图数据的数据表,并基于展示模块对数据表进行分类;为每个数据表建立一个数据中间配置表,基于所述数据中间配置表,对所述数据表中的数据进行处理,再将处理后数据进行展示;所述数据中间配置表用于设置对所述数据表中数据的处理条件;
所述S5中,对业务数据条目进行分组的方式为:
f(qi)=(C(qi),I(qi),P(qi),M(qi),W(qi))
其中,qi表示第i个业务数据条目,C表示子公司,I表示行业,P表示业务分项、M表示月,W表示周;
对分组后数据进行汇总的具体方式为:
定义函数g如下:
其中,Qk表示属于组别k的业务数据集合,B(qi),E(qi),…分别表示业务数据条目qi的某一属性值;则对于任意两个组别k’、l’,则汇总方式为:
g(Qk′∪Ql′)=g(Qk′)+g(Ql′)。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
S8、基于第二视图数据,构建数学模型,挖掘不同业务数据间的关联关系,并进行展示。
3.根据权利要求1所述的方法,其特征在于,所述S1中,行业信息数据标准包括行业级别及业务分项,所述业务分项为各行业级别下的具体业务分类;
所述业务数据字段标准设置方式为:针对行业类型H,建立对应的n个业务表,其中第i个业务表为Ti,Ti的主表为Ui,子表为Vi,则系统数据表示为:
H={T1,T2,…,Tn};
Ti={Ui,Vi};
Ui={u1,u2,…,um},Vi={v1,v2,…,vm};
uj={name,date,product,num,price…};
vj={name,date,product,num1,price1,num2,price2…};
i=1,…,n,j=1,2,…,m。
4.根据权利要求1所述的方法,其特征在于,所述S2中,基于行业选择指数确定原始数据的行业:
行业选择指数=∑(重要性×符合度);
其中,重要性基于子公司的行业定位确定,符合度指子公司对各行业的符合程度,所述符合度是归一化处理后数据。
5.根据权利要求1所述的方法,其特征在于,所述S3中,将各行业的数据按照一定比例分配至各业务分项中,具体包括:
对于各子公司的各行业数据,分配至各业务分项中,则得到某一子公司的业务数据向量为:
且:
0≤aij≤1;
其中,xi表示第i个行业的数据,m表示行业数量,m′表示业务分项数量,aij表示将第i个行业的数据xi分配到第j个业务分项中的系数。
6.根据权利要求1所述的方法,其特征在于,使用二次加工函数,对汇总数据进行二次加工,所述二次加工函数为:
其中,Qk表示属于组别k的业务数据集合,Nk表示该组数据的数量,B(qi),E(qi),…分别表示业务数据条目qi的某一属性值,C表示子公司,I表示行业,P表示业务分项、M表示月,W表示周。
7.根据权利要求1所述的方法,其特征在于,所述S6中:
通过业务数据累加,得到各子公司某一时间粒度的累计业务数据;
通过目标数据累加,得到各子公司某一时间粒度的累计目标数据;
通过计算同一时间粒度下各子公司业务数据在目标数据中的占比,得到各子公司在该同一时间粒度下的完成进度;
通过计算各子公司累计业务数据在累计目标数据中的占比,得到各子公司的累计完成进度。
8.一种企业管理系统数据的分析处理设备,其特征在于,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行如权利要求1-7任一所述的企业管理系统数据的分析处理方法。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7任一所述的企业管理系统数据的分析处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310778868.3A CN117171145B (zh) | 2023-06-28 | 2023-06-28 | 一种企业管理系统数据的分析处理方法、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310778868.3A CN117171145B (zh) | 2023-06-28 | 2023-06-28 | 一种企业管理系统数据的分析处理方法、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117171145A CN117171145A (zh) | 2023-12-05 |
CN117171145B true CN117171145B (zh) | 2024-03-26 |
Family
ID=88930652
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310778868.3A Active CN117171145B (zh) | 2023-06-28 | 2023-06-28 | 一种企业管理系统数据的分析处理方法、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117171145B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117993733A (zh) * | 2024-01-30 | 2024-05-07 | 华远陆港智慧物流科技有限公司 | 基于dcmm模型的数据资产管理方法、系统、设备和存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104503715A (zh) * | 2014-12-26 | 2015-04-08 | 北京首钢自动化信息技术有限公司 | 一种钢铁行业的动态质保书管理系统 |
CN106059831A (zh) * | 2016-07-26 | 2016-10-26 | 苏州迈科网络安全技术股份有限公司 | 基于互联网访问情况分析企业运行管理状况的方法及系统 |
CN110019396A (zh) * | 2017-12-01 | 2019-07-16 | 中国移动通信集团广东有限公司 | 一种基于分布式多维分析的数据分析系统及方法 |
CN114169298A (zh) * | 2021-11-24 | 2022-03-11 | 中犇软件科技(深圳)有限公司 | 一种可实现动态配置表格的工具和方法 |
CN114462972A (zh) * | 2022-02-09 | 2022-05-10 | 携程商旅信息服务(上海)有限公司 | 商旅清算业务数据获取方法、装置、电子设备、存储介质 |
CN116303402A (zh) * | 2023-03-28 | 2023-06-23 | 浙江安防职业技术学院 | 一种基于数据仓库的数据清洗方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8528088B2 (en) * | 2011-05-26 | 2013-09-03 | At&T Intellectual Property I, L.P. | Modeling and outlier detection in threat management system data |
WO2022133981A1 (zh) * | 2020-12-25 | 2022-06-30 | 京东方科技集团股份有限公司 | 数据处理方法、平台、计算机可读存储介质及电子设备 |
-
2023
- 2023-06-28 CN CN202310778868.3A patent/CN117171145B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104503715A (zh) * | 2014-12-26 | 2015-04-08 | 北京首钢自动化信息技术有限公司 | 一种钢铁行业的动态质保书管理系统 |
CN106059831A (zh) * | 2016-07-26 | 2016-10-26 | 苏州迈科网络安全技术股份有限公司 | 基于互联网访问情况分析企业运行管理状况的方法及系统 |
CN110019396A (zh) * | 2017-12-01 | 2019-07-16 | 中国移动通信集团广东有限公司 | 一种基于分布式多维分析的数据分析系统及方法 |
CN114169298A (zh) * | 2021-11-24 | 2022-03-11 | 中犇软件科技(深圳)有限公司 | 一种可实现动态配置表格的工具和方法 |
CN114462972A (zh) * | 2022-02-09 | 2022-05-10 | 携程商旅信息服务(上海)有限公司 | 商旅清算业务数据获取方法、装置、电子设备、存储介质 |
CN116303402A (zh) * | 2023-03-28 | 2023-06-23 | 浙江安防职业技术学院 | 一种基于数据仓库的数据清洗方法 |
Also Published As
Publication number | Publication date |
---|---|
CN117171145A (zh) | 2023-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zeballos et al. | Addressing the uncertain quality and quantity of returns in closed-loop supply chains | |
US8655918B2 (en) | System and method of transforming data for use in data analysis tools | |
CN109858740A (zh) | 企业风险的评估方法、装置、计算机设备及存储介质 | |
Amirjabbari et al. | Determining supply chain safety stock level and location | |
Chand et al. | Select the best supply chain by risk analysis for Indian industries environment using MCDM approaches | |
CN108170769A (zh) | 一种基于决策树算法的装配制造质量数据处理方法 | |
US11887138B2 (en) | System and method for retail price optimization | |
CN117171145B (zh) | 一种企业管理系统数据的分析处理方法、设备及存储介质 | |
Bititci et al. | Driving continuous improvement | |
CN112860769B (zh) | 一种能源规划数据管理系统 | |
CN114077980A (zh) | 智能供应商管理系统及智能供应商管理方法 | |
Chen et al. | A pictorial approach to poor-quality cost management | |
Vogelgesang et al. | Celonis PQL: A query language for process mining | |
CN113723822A (zh) | 供电服务数据管理系统 | |
US20140129269A1 (en) | Forecasting Business Entity Characteristics Based on Planning Infrastructure | |
CN116468536A (zh) | 一种自动化风险控制规则生成的方法 | |
CN113127538B (zh) | 一种高精度的备件需求预测方法 | |
Babaei et al. | A branch and efficiency algorithm to design a sustainable two-echelon supply chain network considering traffic congestion and uncertainty | |
CN111915100B (zh) | 一种高精度的货运预测方法和货运预测系统 | |
CN117273400A (zh) | 企业资源计划智能合并升级预警方法和系统 | |
CN102855354A (zh) | 一种面向工业企业在线多维能耗数据统计建模方法 | |
Tytenko et al. | Software and information support for business analysis in enterprise management | |
Stefanovic et al. | Application of data mining for supply chain inventory forecasting | |
Chang et al. | Probe of the replenishment strategy and grouping rule in the semiconductor industry | |
Ding et al. | Research and implementation of order-oriented textile production scheduling system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |