CN116227989A - 多维度的业务信息化监督方法及系统 - Google Patents

多维度的业务信息化监督方法及系统 Download PDF

Info

Publication number
CN116227989A
CN116227989A CN202310010623.6A CN202310010623A CN116227989A CN 116227989 A CN116227989 A CN 116227989A CN 202310010623 A CN202310010623 A CN 202310010623A CN 116227989 A CN116227989 A CN 116227989A
Authority
CN
China
Prior art keywords
data
quasi
abnormal
abnormal data
supervision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310010623.6A
Other languages
English (en)
Inventor
郑吴志
岑日恒
许汨
赵炜军
梁文朗
廖幸平
万焜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhongjing Zhengtong Technology Co ltd
Original Assignee
Shenzhen Zhongjing Zhengtong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhongjing Zhengtong Technology Co ltd filed Critical Shenzhen Zhongjing Zhengtong Technology Co ltd
Priority to CN202310010623.6A priority Critical patent/CN116227989A/zh
Publication of CN116227989A publication Critical patent/CN116227989A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474—Sequence data queries, e.g. querying versioned data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Computational Linguistics (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Debugging And Monitoring (AREA)
  • Alarm Systems (AREA)

Abstract

本申请提供一种多维度的业务信息化监督方法及系统，运用于信息监督技术领域，其方法包括：对业务数据的历史数据建立概括模型，将所述业务数据输入概括模型，判定出准异常数据；标注出所述准异常数据的数据生成时间、数据来源系统、数据目标系统、数据类型，并根据标注内容对所述准异常数据分类存储；根据所述的标注内容在异常数据上被标注的次数为所述准异常数据设置优先级；按照优先级从高到低的顺序判断所述准异常数据是否符合预设的监督条件，若是，则将所述准异常数据判定为异常数据，否则忽略所述准异常数据；通过完成对业务数据多维度的分析，实现了对业务信息的多维度监督，降低了对监督资源的消耗，完成了对风险高发领域的重点监督。

Description

多维度的业务信息化监督方法及系统
技术领域
本申请涉及信息监督技术领域，特别涉及一种多维度的业务信息化监督方法及系统。
背景技术
传统的信息监督方式主要是人工监督，在人工监督的过程中，因为监督人员对所要监督的信息掌握不够充分，所以存在监督不到位的问题；由于监督信息的庞大，所需要的监督人员数量太大，耗费人力资源；如果采取抽样监督的方式，则存在没有监督到的信息盲区，使信息监督没有产生应有的效果。近年来，业务的信息化程度不断提高，使通过计算机对业务完成信息化监督成为可能。
在现有技术CN113112174 A信息化综合监督系统及方法中，通过一个信息交换平台连接各项业务系统和监督装置，监督装置通过信息交换平台监督各个业务系统的信息，完成了对业务的信息化监督。
但是在现有技术中，监督装置要对所有待监督数据进行一一监督，相同的数据重复监督，浪费监督资源；监督维度单一，只能监督业务数据本身，无法监督业务数据的来源、目标、时间等条件。为此本发明提出了一种多维度的业务信息化监督方法及系统，发挥云计算和大数据的优势重构监督系统，实现了对业务过程、业务关系、业务结果多维度的监督；通过对业务数据进行标记，计算优先级，降低了对监督资源的消耗，实现了对风险多发领域进行重点监督。
发明内容
本申请的目的是提供一种多维度的业务信息化监督方法及系统，旨在解决现有技术中耗费监督资源过大和监督维度单一的问题。
为实现上述目的，本申请提供如下技术方案：
本申请提出一种多维度的业务信息化监督方法，包括：
对业务数据的历史数据建立概括模型，将所述业务数据输入概括模型，所述概括模型的输出结果与所述历史数据的差值大于预设阈值时，判定所述业务数据为准异常数据；
标注出所述准异常数据的数据生成时间、数据来源系统、数据目标系统、数据类型，并根据标注内容对所述准异常数据分类存储；
根据所述的标注内容在异常数据上被标注的次数为所述准异常数据设置优先级；
按照优先级从高到低的顺序判断所述准异常数据是否符合预设的监督条件，若是，则将所述准异常数据判定为异常数据，否则忽略所述准异常数据。
进一步的，在对业务数据的历史数据建立概括模型，将所述业务数据输入概括模型，所述概括模型的输出结果与所述历史数据的差值大于预设阈值时，判定所述业务数据为准异常数据的步骤中，包括：
通过ETL工具从业务系统中获取所述业务数据，筛选掉所述业务数据中的错误数据、不完整的数据、重复的数据；
对所述业务数据的历史数据综合分析，建立概括模型；
将清洗过的数据输入所述概括模型，将输出结果与对应历史数据差异超过预设阈值的所述业务数据判定为准异常数据。
进一步的，在对所述业务数据的历史数据综合分析，建立概括模型的步骤中，包括：
将所述业务数据通过K-Means算法进行聚类，对聚类后的每一类数据尝试多种回归分析算法，选取回归分析结果与所述历史数据拟合度最高的回归分析算法作为所述数据的概括函数，所有的概括函数聚合成一个能够处理所有所述业务数据的概括模型；
所述概括模型的公式为：
Figure BDA0004038054490000021
F是输入概括模型对所述业务数据的输出结果，data是所述业务数据，t是业务数据的类型，f是每种业务数据对应的概括函数。
进一步的，在所述概括模型的输出结果与所述历史数据的差值大于预设阈值时，判定所述业务数据为准异常数据的步骤中，包括：
将所述业务数据输入到所述概括模型中，所述概括模型根据所述业务数据的数据类型选择所述概括函数，所述业务数据作为自变量输入到所述概括函数中，输出一个对应的因变量，在坐标轴上标出所述因变量的位置，计算所述位置与所述历史数据的拟合曲线的距离得到乖离值，判断所述乖离值是否超过预设阈值，若是，则判定所述业务数据为准异常数据。
进一步的，在标注出所述准异常数据上数据生成时间、数据来源系统、数据目标系统、数据类型，并根据标注内容对所述准异常数据分类存储的步骤中，包括：
创建一个存储所述准异常数据的数据库，并按照标记内容创建数据表；
将准异常数据根据标记内容导入数据表。
进一步的，在根据所述的标注内容在异常数据上被标注的次数为所述准异常数据设置优先级的步骤中，包括：
统计所述异常数据的标注内容，把每项所述标记内容在统计结果中的次数设为所述标记内容的权重公式记为：
Figure BDA0004038054490000031
Figure BDA0004038054490000032
是标记内容的权重，其中i是标记内容的编号，Ct是所述标记内容在异常数据中出现的次数；
所述准异常数据的优先级由准异常数据的标记内容累加得到，公式为：
Figure BDA0004038054490000033
P是所述准异常数据的优先级；
在存储所述准异常数据的表中按优先级从高到底排列。
本申请还提出一种多维度的业务信息化监督系统，包括；
大数据中心模块：存储业务系统的数据，打破不同所述业务系统之间的数据壁垒；
大数据智能分析模块：对所述大数据中心模块存储的数据进行预处理，提取出准异常数据，进行标记，并根据标记内容分类存储，所述准异常数据为符合预设标准的所述业务数据；
监督模块：获取所述准异常数据，判断是否符合预设的监督条件，若是，则判定准异常数据为异常数据，并对数据的来源和监督人员进行提醒；
网络传输模块：连接所述大数据中心模块与所述业务系统，连接所述大数据智能分析模块与大数据中心模块，连接监督模块与大数据智能分析模块；
入口模块：一个内部入口聚合多个监督程序，内部监督人员通过所述内部入口履行监督职责，一个外部入口，非所述内部监督人员通过所述外部门户实行监督权利。
一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现所述的多维度的业务信息化监督方法的步骤。
本申请提供了一种多维度的业务信息化监督方法及系统，具有以下有益效果：
通过大数据智能分析模块对业务数据进行预处理，提取出准异常数据，标记所述准异常数据，并根据标记内容对所述准异常数据分类存储，完成了对业务数据多维度的分析，为具体的监督工作做好准备，降低了对监督资源的消耗；
通过监督模块判断所述准异常数据是否符合预设的监督条件，若是，则将所述准异常数据判定为异常数据，否则忽略所述准异常数据；统计所述异常数据的标记内容，根据所述的标记内容被统计的次数为所述准异常数据设置优先级，所述优先级较高的准异常数据优先通过所述监督程序进行处理，实现了对风险高发领域的重点监督。
附图说明
图1为本申请一实施例的多维度的业务信息化监督方法及系统的流程示意图。
图2为本申请一实施例的多维度的业务信息化监督方法及系统的结构框图。
图3为本申请一实施例的计算机设备的结构示意框图。
本申请为目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参考附图1，为本申请提出的多维度的业务信息化监督方法及系统的流程示意图；
对业务数据的历史数据建立概括模型，将所述业务数据输入概括模型，所述概括模型的输出结果与所述历史数据的差值大于预设阈值时，判定所述业务数据为准异常数据；
标注出所述准异常数据的数据生成时间、数据来源系统、数据目标系统、数据类型，并根据标注内容对所述准异常数据分类存储；
根据所述的标注内容在异常数据上被标注的次数为所述准异常数据设置优先级；
按照优先级从高到低的顺序判断所述准异常数据是否符合预设的监督条件，若是，则将所述准异常数据判定为异常数据，否则忽略所述准异常数据。
在一个实施例中，一个多维度的信息化政务监督系统由以下部分组成：纪检系统、党政系统、责权系统、民生系统、法人系统、工商系统、财政系统的业务数据通过网络传输到大数据中心，在大数据中心中为每个业务系统创建独立的数据库，分别是：纪检主题分析数据库、党风政风监督数据、责任权力监督数据库、民生事务数据库、法人数据库、工商数据库、财政数据库，数据库采用分布式文件系统HDFS和HBASE存储业务数据；不同业务系统的数据通过政务资源交换平台和政务信息交换平台实现业务数据的全流通，大数据中心也通过网络爬虫工具或者数据交换机器人获取其他业务系统的数据；大数据智能分析平台通过ETL工具从大数据中心获取业务数据，并对所述业务数据进行清洗，针对不同的业务系统设定不同的算法，通过对业务系统产生的数据进行关联性分析，分析出可能存在异常的数据，根据可能异常的数据的相关信息将可能存在异常的数据标记并分类存储，其中相关信息一般有：数据产生的系统，数据的目标系统，数据产生的时间，数据的类型；存储好的异常数据通过API供监督程序进行访问，不同的监督程序根据其要监督的业务选择API访问可能异常的数据，并根据监督程序的内部逻辑对可能存在异常的数据进行处理，当处理结果表明处理的数据为异常数据，则通过网络向产生所述异常数据的业务系统发出提醒，同时同知使用监督程序终端的监督人员对异常数据进行再次审查；异常数据的标记内容中，某一项出现的频率越高，其异常权重就越大，例如多条异常数据都来自A系统，则监督程序会对系统A产生的数据进行重点监督，假如每天下午3点产生的数据多为异常数据，监督程序就在这个时间对所有业务系统的数据进行监督。
在对业务数据的历史数据建立概括模型，将所述业务数据输入概括模型，所述概括模型的输出结果与所述历史数据的差值大于预设阈值时，判定所述业务数据为准异常数据的步骤中，包括：
通过ETL工具从业务系统中获取所述业务数据，筛选掉所述业务数据中的错误数据、不完整的数据、重复的数据；
对所述业务数据的历史数据综合分析，建立概括模型；
将清洗过的数据输入所述概括模型，将输出结果与对应历史数据差异超过预设阈值的所述业务数据判定为准异常数据。
在具体实施时，所述ETL工具选用RestCloud，将RestCloud嵌入到大数据智能智能分析平台中，开发出程序周期性地使用RestCloud对大数据中心的业务数据进行清洗、提取和加载。
在对所述业务数据的历史数据综合分析，建立概括模型的步骤中，包括：
将所述业务数据通过K-Means算法进行聚类，对聚类后的每一类数据尝试多种回归分析算法，选取回归分析结果与所述历史数据拟合度最高的回归分析算法作为所述数据的概括函数，所有的概括函数聚合成一个能够处理所有所述业务数据的概括模型；
所述概括模型的公式为：
Figure BDA0004038054490000051
F是输入概括模型对所述业务数据的输出结果，data是所述业务数据，t是业务数据的类型，f是每种业务数据对应的概括函数。
在具体实施时，在将所述业务数据聚类的过程中，将K等于所述业务系统的个数，每个所述业务系统对应一个质点，计算每个所述业务数据与质点之间的距离，不断迭代质点的位置，完成聚类后，共K个类簇，每个类簇是同一种类型的所述业务数据；对聚类后的每一个类簇内的数据尝试采用不同的回归分析算法，包括：线性回归、逻辑回归、多项式回归、逐步回归、岭回归、套索回归、ElasticNet回归，选取回归曲线与所述业务数据拟合度最高的回归算法作为所述历史数据的概括函数，将新提取到的业务数据输入到所述概括函数，将输出结果与历史数据进行计算，如果计算结果落与历史数据相差绝对值大于预设值，例如是3，则将输入的所述业务数据判定为准异常数据；
在所述概括模型的输出结果与所述历史数据的差值大于预设阈值时，判定所述业务数据为准异常数据的步骤中，包括：
将所述业务数据输入到所述概括模型中，所述概括模型根据所述业务数据的数据类型选择所述概括函数，所述业务数据作为自变量输入到所述概括函数中，输出一个对应的因变量，在坐标轴上标出所述因变量的位置，计算所述位置与所述历史数据的拟合曲线的距离得到乖离值，判断所述乖离值是否超过预设阈值，若是，则判定所述业务数据为准异常数据。
在具体实施时：一种实施情况是，将财政系统的业务数据输入到概括模型中，由于财政系统的业务数据多与数字相关，概括模型为财政系统的业务数据选取适合的概括函数，当输出结果与财政系统的历史数据相差过大时，则该笔财政划拨可能存在问题。
在标注出所述准异常数据的数据生成时间、数据来源系统、数据目标系统、数据类型，并根据标注内容对所述准异常数据分类存储的步骤中，包括：
创建一个存储所述准异常数据的数据库，并按照标记内容创建数据表；
将准异常数据根据标记内容导入数据表。
在具体实施时，将业务数据的来源系统、业务数据的目标系统，业务数据的数据类型、业务数据的产生时间标记到业务数据上，在大数据中心创建出单独的存储准异常数据的数据库，在该数据库中根据上述四项内容创建不同的数据表，再将准数据导入不同的数据表。
在根据所述的标注内容在异常数据上被标注的次数为所述准异常数据设置优先级的步骤中，包括：
统计所述异常数据的标注内容，把每项所述标记内容在统计结果中的次数设为所述标记内容的权重公式记为：
Figure BDA0004038054490000061
Figure BDA0004038054490000062
是标记内容的权重，其中i是标记内容的编号，Ct是所述标记内容在异常数据中出现的次数；/>
所述准异常数据的优先级由准异常数据的标记内容累加得到，公式为：
Figure BDA0004038054490000071
P是所述准异常数据的优先级；
在存储所述准异常数据的表中按优先级从高到底排列。在具体实施时，准异常数据通过优先级的高低在表中按顺序排列，优先级根据准异常数据的标记内容计算得出，数据产生的系统的权重加数据的目标系统的权重加数据产生的时间的权重加数据的类型的权重即为该条准异常数据的优先级；假设，有5条异常数据都来自同一个系统，则该系统在异常中所占的权重为5，有7条异常数据都产生于下午3点，则数据产生时间为下午3点的权重为7，以此类推，相加得出准异常数据的优先级。
参考附图2，为本申请一实施例的多维度的业务信息化监督系统的结构框图，包括；
大数据中心模块：存储业务系统的数据，打破不同所述业务系统之间的数据壁垒；
大数据智能分析模块：对所述大数据中心模块存储的数据进行预处理，提取出准异常数据，进行标记，并根据标记内容分类存储，所述准异常数据为符合预设标准的所述业务数据；
监督模块：获取所述准异常数据，判断是否符合预设的监督条件，若是，则判定准异常数据为异常数据，并对数据的来源和监督人员进行提醒；
网络传输模块：连接所述大数据中心模块与所述业务系统，连接所述大数据智能分析模块与大数据中心模块，连接监督模块与大数据智能分析模块；
入口模块：一个内部入口聚合多个监督程序，内部监督人员通过所述内部入口履行监督职责，一个外部入口，非所述内部监督人员通过所述外部门户实行监督权利。
在一个实施例中，所有业务系统产生的业务数据通过网络传输到大数据中心，存储到大数据中心的分布式文件系统，在大数据中心内部，通过政务资源管理平台和政务信息交换平台实现政务系统数据的流通，通过网络爬虫工具和数据交换机器人实现政务系统和外部其他系统间数据的流通；大数据智能分析平台包含了对各项业务数据进行处理的程序，对数据进行清洗，实现对数据的关联性分析，提取出可能存在异常的数据，并在大数据中心为可能存在异常的数据建立单独的数据库，在数据库中根据数据的标注信息创建不同的数据表来存储数据；作为服务器提供API给监督应用程序，使监督程序能够完成对可能存在异常的数据的访问，监督程序根据要监督的业务数据的特点，设定不同的监督规则，例如对于财政资金的监督，要对资金的来源、资金的去向、资金的数额以及资金划拨的时间进行着重监督；对所有业务开发的不同监督程序集成在一个内部门户网站或一个统一的门户应用程序，内部的监督人员通过实名制注册的账户和密码登录门户，使用监督程序履行监督职责，并留下记录；外部人员通过监察部门的公开网站向监察部门提交监督信息行使监督权利。
参考附图3，为本申请一实施例的计算机设备的结构示意框图，一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现所述的多维度的业务信息化监督方法及系统。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储与一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM通过多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本申请的专利保护范围内。
尽管已经示出和描述了本申请的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本申请的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本申请的范围由所附权利要求及其等同物限定。

Claims (9)

1.一种多维度的业务信息化监督方法，其特征在于，包括：
对业务数据的历史数据建立概括模型，将所述业务数据输入概括模型，所述概括模型的输出结果与所述历史数据的差值大于预设阈值时，判定所述业务数据为准异常数据；
标注出所述准异常数据的数据生成时间、数据来源系统、数据目标系统、数据类型，并根据标注内容对所述准异常数据分类存储；
根据所述的标注内容在异常数据上被标注的次数为所述准异常数据设置优先级；
按照优先级从高到低的顺序判断所述准异常数据是否符合预设的监督条件，若是，则将所述准异常数据判定为异常数据，否则忽略所述准异常数据。
2.根据权利要求1所述的多维度的业务信息化监督方法，其特征在于，在对业务数据的历史数据建立概括模型，将所述业务数据输入概括模型，所述概括模型的输出结果与所述历史数据的差值大于预设阈值时，判定所述业务数据为准异常数据的步骤中，包括：
通过ETL工具从业务系统中获取所述历史数据，筛选掉所述业务数据中的错误数据、不完整的数据、重复的数据；
对所述业务数据的历史数据综合分析，建立概括模型；
将筛选过的数据输入所述概括模型，将输出结果与对应历史数据差异超过预设阈值的所述业务数据判定为准异常数据。
3.根据权利要求2所述的多维度的业务信息化监督方法，其特征在于，在对所述业务数据的历史数据综合分析，建立概括模型的步骤中，包括：
将所述业务数据通过K-Means算法进行聚类，对聚类后的每一类所述历史数据尝试现有的回归分析算法，得到与每一类所述历史数据匹配的回归分析结果，选取所述回归分析结果与所述历史数据拟合度最高的回归分析算法作为所述历史数据的概括函数，所有的所述概括函数聚合成一个能够处理所有所述历史数据的概括模型；
所述概括模型的公式为：
Figure FDA0004038054480000011
F是输入概括模型对所述业务数据的输出结果，data是所述历史数据，t是业务数据的类型，f1～fn是每种业务数据对应的概括函数。
4.根据权利要求1所述的多维度的业务信息化监督方法，其特征在于，在所述概括模型的输出结果与所述历史数据的差值大于预设阈值时，判定所述业务数据为准异常数据的步骤中：
将所述业务数据输入到所述概括模型中，所述概括模型根据所述业务数据的数据类型选择所述概括函数，所述业务数据作为自变量输入到所述概括函数中，输出一个对应的因变量，在坐标轴上标出所述因变量的位置，计算所述位置与所述历史数据的拟合曲线的距离得到乖离值，判断所述乖离值是否超过预设阈值，若是，则判定所述业务数据为准异常数据。
5.根据权利要求1所述的多维度的业务信息化监督方法，其特征在于，在标注出所述准异常数据的数据生成时间、数据来源系统、数据目标系统、数据类型，并根据标注内容对所述准异常数据分类存储的步骤中，包括：
创建一个存储所述准异常数据的数据库，并按照标注的内容创建数据表；
将准异常数据根据标记内容导入数据表。
6.根据权利要求1所述的多维度的业务信息化监督方法，其特征在于，在根据所述的标注内容在异常数据上被标注的次数为所述准异常数据设置优先级的步骤中，包括：
统计所述异常数据的标注内容，把每项所述标记内容在统计结果中的次数设为所述标记内容的权重公式记为：
Figure FDA0004038054480000021
Figure FDA0004038054480000022
是标记内容的权重，其中i是标记内容的编号，Ct是所述标记内容在异常数据中出现的次数；
所述准异常数据的优先级由准异常数据的标记内容累加得到，公式为：
Figure FDA0004038054480000023
P是所述准异常数据的优先级；
在存储所述准异常数据的表中按优先级从高到底排列。
7.一种多维度的业务信息化监督系统，其特征在于，包括；
大数据中心模块：存储业务系统的数据，打破不同所述业务系统之间的数据壁垒；
大数据智能分析模块：对所述大数据中心模块存储的数据进行预处理，提取出准异常数据，进行标记，并根据标记内容分类存储，所述准异常数据为符合预设标准的所述业务数据；
监督模块：获取所述准异常数据，判断是否符合预设的监督条件，若是，则判定准异常数据为异常数据，并对数据的来源和监督人员进行提醒；
网络传输模块：连接所述大数据中心模块与所述业务系统，连接所述大数据智能分析模块与大数据中心模块，连接监督模块与大数据智能分析模块；
入口模块：一个内部入口聚合多个监督程序，内部监督人员通过所述内部入口履行监督职责，一个外部入口，非所述内部监督人员通过所述外部门户实行监督权利。
8.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的基站前端监控系统与通讯终端的数据交互方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的多维度的业务信息化监督方法的步骤。
CN202310010623.6A 2023-01-05 2023-01-05 多维度的业务信息化监督方法及系统 Pending CN116227989A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310010623.6A CN116227989A (zh) 2023-01-05 2023-01-05 多维度的业务信息化监督方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310010623.6A CN116227989A (zh) 2023-01-05 2023-01-05 多维度的业务信息化监督方法及系统

Publications (1)

Publication Number Publication Date
CN116227989A true CN116227989A (zh) 2023-06-06

Family

ID=86585173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310010623.6A Pending CN116227989A (zh) 2023-01-05 2023-01-05 多维度的业务信息化监督方法及系统

Country Status (1)

Country Link
CN (1) CN116227989A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116484230A (zh) * 2023-06-20 2023-07-25 世优（北京）科技有限公司 识别异常业务数据的方法及ai数字人的训练方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116484230A (zh) * 2023-06-20 2023-07-25 世优（北京）科技有限公司 识别异常业务数据的方法及ai数字人的训练方法
CN116484230B (zh) * 2023-06-20 2023-09-01 世优（北京）科技有限公司 识别异常业务数据的方法及ai数字人的训练方法

Similar Documents

Publication Publication Date Title
WO2021042843A1 (zh) 告警信息的决策方法、装置、计算机设备及存储介质
US20220147405A1 (en) Automatically scalable system for serverless hyperparameter tuning
US11461368B2 (en) Recommending analytic tasks based on similarity of datasets
Miloslavskaya et al. Big data, fast data and data lake concepts
TWI740891B (zh) 利用訓練資料訓練模型的方法和訓練系統
CN110458324B (zh) 风险概率的计算方法、装置和计算机设备
US11250166B2 (en) Fingerprint-based configuration typing and classification
CN112632405B (zh) 一种推荐方法、装置、设备及存储介质
Caldarola et al. Modern enterprises in the bubble: Why big data matters
US20190244146A1 (en) Elastic distribution queuing of mass data for the use in director driven company assessment
Navadia et al. Weather prediction: a novel approach for measuring and analyzing weather data
CN108241867B (zh) 一种分类方法及装置
Jayagopal et al. Data management and big data analytics: Data management in digital economy
WO2021164171A1 (zh) 知识库中数据处理方法、装置、计算机设备和存储介质
CN116227989A (zh) 多维度的业务信息化监督方法及系统
CN115794798A (zh) 一种市场监管信息化标准管理与动态维护系统及方法
CN112215655B (zh) 一种客户画像的标签管理方法及系统
Meroño-Peñuela et al. Detecting and reporting extensional concept drift in statistical linked data
CN116541166A (zh) 一种超算算力调度服务器及资源管理方法
Kumar et al. Stocks Analysis and Prediction of Indian Oil Trading Using Big Data Analytics
Wang et al. Applications of Machine Learning in Public Security Information and Resource Management
CN116260866A (zh) 基于机器学习的政务信息推送方法、装置和计算机设备
Mannava Research Challenges and Technology Progress of Data Mining with Bigdata
CN115544007A (zh) 标签预处理方法、装置、计算机设备和存储介质
Guo et al. Stream classification algorithm based on decision tree

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination