CN115221171A - 异常数据智能监控方法、装置、电子设备及存储介质 - Google Patents
异常数据智能监控方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115221171A CN115221171A CN202210871447.0A CN202210871447A CN115221171A CN 115221171 A CN115221171 A CN 115221171A CN 202210871447 A CN202210871447 A CN 202210871447A CN 115221171 A CN115221171 A CN 115221171A
- Authority
- CN
- China
- Prior art keywords
- data
- data table
- target
- preset
- target data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 103
- 238000012544 monitoring process Methods 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000006243 chemical reaction Methods 0.000 claims abstract description 48
- 230000008676 import Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 14
- 238000012806 monitoring device Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 9
- 238000011144 upstream manufacturing Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 6
- 238000007726 management method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000002547 anomalous effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明涉及数据处理领域，揭露一种异常数据智能监控方法，所述方法包括：获取业务数据，将业务数据进行格式转换并导入至预设数据表中，得到目标数据表；识别目标数据表是否存在依赖关系；若目标数据表存在依赖关系，识别目标数据表中的输入表和输出表进行一致性校验，生成第一异常数据监控结果；若目标数据表不存在依赖关系，则识别目标数据表中的基础性数据及指标类数据，并按照时间属性对基础性数据进行一致性校验，生成第二异常数据监控结果，按照时间属性计算指标类数据的数据环比值，并判断其是否在预设范围中，根据判断结果，生成第三异常数据监控结果。本发明可以提升异常数据的监控效率。
Description
技术领域
本发明涉及数据处理领域，尤其涉及一种异常数据智能监控方法、装置、电子设备及计算机可读存储介质。
背景技术
随着信托业的业务不断发展，其产生的业务数据也随之增长，由于大部分的业务数据依赖人工收集以及整理，但是通过人工收集以及整理的业务数据会出现许多异常数据，因此，确保异常数据被及时监控并处理显得愈发重要。
目前，异常数据的监控主要是通过人为的简单核对之后就上报监管，这样可能会出现异常数据遗漏的情况，从而会影响异常数据的监控准确性，即使人为核对出异常数据也需要人工邮件发给每个异常数据对应的属主进行确认，这样会影响异常数据的监控效率。
发明内容
本发明提供一种异常数据智能监控方法、装置、电子设备及计算机可读存储介质，其主要目的在于提升异常数据的监控效率。
为实现上述目的，本发明提供的一种异常数据智能监控方法，包括：
获取业务数据，将所述业务数据进行格式转换，并将格式转换后的所述业务数据导入至预设数据表中，得到目标数据表；
识别所述目标数据表是否存在依赖关系；
若所述目标数据表存在依赖关系，则识别所述目标数据表中的输入表和输出表，将所述输入表和所述输出表进行一致性校验，以生成所述目标数据表中的第一异常数据监控结果；
若所述目标数据表不存在依赖关系，则识别所述目标数据表中的基础性数据及指标类数据，按照预设的时间属性对所述基础性数据进行一致性校验，以生成所述目标数据表中的第二异常数据监控结果；
按照所述预设的时间属性计算所述指标类数据的数据环比值，并判断所述数据环比值是否在预设范围中，根据判断结果，生成所述目标数据表中的第三异常数据监控结果。
可选地，所述根据所述异常数据，配置所述异常数据的智能监控，包括：
确定所述业务数据的格式；
判断所述业务数据的格式是否为预设格式；
若所述业务数据的格式不为预设格式，调用预设的格式转换工具将所述业务数据的格式转换为所述预设格式。
可选地，所述将格式转换后的所述业务数据导入至预设数据表，得到目标数据表，包括：
选取所述格式转换后的所述业务数据在所述预设数据表中的导入位置；
并配置所述格式转换后的所述业务数据在所述预设数据表中的导入方式；
根据所述导入位置和所述导入方式，执行对所述格式转换后的所述业务数据在所述预设数据表中的导入。
可选地，所述识别所述目标数据表是否存在依赖关系，包括：
获取所述目标数据表中每个数据表的数据来源；
根据所述数据来源，判断所述目标数据表中每个数据表的数据类型；
若所述数据类型为预设类型，则识别所述数据表存在依赖关系；
若所述数据类型不是预设类型，则识别所述数据表不存在依赖关系。
可选地，所述若所述目标数据表存在依赖关系，则识别所述目标数据表中的输入表和输出表，将所述输入表和所述输出表进行一致性校验，得到所述目标数据表的第一异常数据监控结果，包括：
利用预设的定时任务分别扫描所述输入表和所述输出表的内容，得到输入内容和输出内容；
定位所述输入内容和所述输出内容的相同序列位置；
根据所述相同序列位置，识别所述目标数据表中的输入表和输出表。
可选地，所述识别所述目标数据表中的基础性数据及指标类数据，包括：
查询所述目标数据表中的数据字段，并识别所述数据字段的数据结构；
在所述数据结构为无序时，判别所述无序数据结构对应在所述目标数据表中的数据为基础性数据；
在所述数据结构为有序时，判别所述有序数据结构对应在所述目标数据表中的数据为指标类数据。
可选地，所述按照预设的时间属性对所述基础性数据进行一致性校验，得到所述目标数据表中的第二异常数据监控结果，包括：
通过在所述预设的时间属性内，对比所述基础性数据的第一数据与第二数据；
若所述第一数据与所述第二数据出现不一致数据，将所述不一致数据对应的所述基础性数据作为异常数据，根据所述异常数据，生成所述第二异常数据监控结果。
为了解决上述问题，本发明还提供一种异常数据智能监控装置，所述装置包括：
业务数据导入模块，用于获取业务数据，将所述业务数据进行格式转换，并将格式转换后的所述业务数据导入至预设数据表中，得到目标数据表；
关系识别模块，用于识别所述目标数据表是否存在依赖关系；
数据表校验模块，用于若所述目标数据表存在依赖关系，则识别所述目标数据表中的输入表和输出表，将所述输入表和所述输出表进行一致性校验，以生成所述目标数据表中的第一异常数据监控结果；
数据校验模块，用于若所述目标数据表不存在依赖关系，则识别所述目标数据表中的基础性数据及指标类数据，按照预设的时间属性对所述基础性数据进行一致性校验，以生成所述目标数据表中的第二异常数据监控结果；
环比值判断模块，用于按照所述预设的时间属性计算所述指标类数据的数据环比值，并判断所述数据环比值是否在预设范围中，根据判断结果，生成所述目标数据表中的第三异常数据监控结果。
为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以实现上述所述的异常数据智能监控方法。
为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个计算机程序，所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的异常数据智能监控方法。
可以看出，本发明实施例通过将所述业务数据进行格式转换，以便将杂乱的数据通过相同的数据格式进行封装，保障后续格式转换后的所述业务数据导入至预设数据表中的构建前提，并将格式转换后的所述业务数据导入至预设数据表中，得到目标数据表，通过所述识别所述目标数据表之间是否存在依赖关系，进一步地，本发明实施例通过对所述目标数据表进行分类，以便后续选择使用相应的策略对所述目标数据表进行异常检测，进一步地，若所述目标数据表存在依赖关系，本发明实施例通过将所述输入表和所述输出表进行一致性校验，可以校验出所述输入表与所述输出表中不相同的数据，从而判断出所述目标数据表中的异常数据，若所述目标数据表不存在依赖关系，通过识别所述目标数据表中的基础性数据及指标类数据，以基于现有目标数据表中的基础性数据及指标类数据，实现对所述目标数据表中未来数据进行监控。因此，本发明实施例提出的一种异常数据智能监控方法、装置、电子设备及计算机可读存储介质可以提升所述异常数据的监控效率。
附图说明
图1为本发明一实施例提供的异常数据智能监控方法的流程示意图；
图2为本发明一实施例提供的异常数据智能监控装置的模块示意图；
图3为本发明一实施例提供的实现异常数据智能监控方法的电子设备的内部结构示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供一种异常数据智能监控方法。所述异常数据智能监控方法的执行主体包括但不限于服务端、终端等能够被配置为执行本发明实施例提供的该方法的电子设备中的至少一种。换言之，所述异常数据智能监控方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
参照图1所示，为本发明一实施例提供的异常数据智能监控方法的流程示意图。在本发明实施例中，所述异常数据智能监控方法包括以下步骤S1-S5：
S1、获取业务数据，将所述业务数据进行格式转换，并将格式转换后的所述业务数据导入至预设数据表中，得到目标数据表；
本发明实施例中，通过将所述业务数据进行格式转换，以便将杂乱的数据通过相同的数据格式进行封装，保障后续格式转换后的所述业务数据导入至预设数据表中的构建前提。
其中，所述数据格式是数据保存在文件或记录中的编排格式，可为数值、字符或二进制数等形式，由数据类型及数据长度来描述。
其中，所述业务数据是指在业务场景下产生的数据，其基于不同的业务场景产生，如在电商行业场景中，所述业务数据可以为营销数据、流量数据、会员数据、交易及服务数据等；在银行业务场景中，所述业务数据可以为客户交易明细、存贷款占比、客户凭证信息等。
其中，所述数据类型一般指数据元，所述数据元也称为数据元素，是用一组属性描述其定义、标识、表示和允许值的数据单元，在一定语境下，通常用于构建一个语义正确、独立且无歧义的特定概念语义的信息单元。所述数据元可以理解为数据的基本单元，将若干具有相关性的数据元按一定的次序组成一个整体结构即为数据模型。
作为本发明的一个实施例，所述将所述业务数据进行格式转换，包括：确定所述业务数据的格式，判断所述业务数据的格式是否为预设格式；若所述业务数据的格式不为预设格式，调用预设的格式转换工具将所述业务数据的格式转换为所述预设格式。
其中，所述格式转换工具是指把一种格式，转换成特定格式的软件，所述格式转换工具可以通过脚本语言编译，如JS脚本语言。例如某些科技产品只支持某种格式的软件，假设某手机只支持MP4格式的视频播放，而从电脑下载来的视频格式是Rmvb，这时候就需要把这个Rmvb视频格式通过所述格式转换工具转换成MP4。
本发明又一可选实施例中，所述业务数据的格式通过扫描所述数据的后缀名进行确定。
其中，所述后缀名包括.pdf、.gif、.pngPNG、.swf、.mp3等。
本发明又一可选实施例中，所述业务数据的格式是否为预设格式通过将扫描到的所述数据的后缀名与预设后缀名进行一致性检测判断得到，若所述数据的后缀名与所述预设后缀名不一致，则调用预设的格式转换工具将所述业务数据的格式转换为所述预设格式，若所述数据的后缀名与所述预设后缀名一致，则不需要进行格式转换。
本发明实施例中，所述通过将格式转换后的所述业务数据导入至预设数据表中，以便将相同格式的数据按照预设规则(如按照日期，长度等将所述的相同格式的数据排序)摆放整齐，以便提升后续的扫描工作效率。
其中，所述预设数据表是由表名、表字段和表记录组成。
作为本发明的一个实施例，所述将格式转换后的所述业务数据导入至预设数据表，得到目标数据表，包括：选取所述格式转换后的所述业务数据在所述预设数据表中的导入位置；并配置所述格式转换后的所述业务数据在所述预设数据表中的导入方式；根据所述导入位置和所述导入方式，执行对所述格式转换后的所述业务数据在所述预设数据表中的导入。
其中，所述导入位置是指格式转换后的所述业务数据在所述预设数据表的存储序列位置，所述导入方式是指格式转换后的所述业务数据在导入所述预设数据表中所遵循的规则。进一步地，本发明一可选实施例中，所述导入方式通过使用FolderBrowserDialog方法进行配置。
S2、识别所述目标数据表是否存在依赖关系；
本发明实施例中，通过所述识别所述目标数据表之间是否存在依赖关系，进一步地对所述目标数据表进行分类，以便后续选择使用相应的策略对所述目标数据表进行异常检测。
其中，所述目标数据表的依赖关系中上游通常是产生数据的一方，下游通常是接收数据的一方，从河流的角度来理解，上游通常是水流的上部和源头，下游通常是水流的下部和终点，于是，在本发明中，所述目标数据表的依赖关系可以理解为：上游为被依赖方，下游为依赖方。比如系统A依赖系统B，系统B依赖系统C，那么系统B是系统A的上游，系统A是系统B的下游；系统C是系统A和B的上游。服务A依赖服务B，那么服务B是服务A的上游，服务A是服务B的下游。
作为本发明的一个实施例，所述识别所述目标数据表是否存在依赖关系，包括：获取所述目标数据表中每个数据表的数据来源；根据所述数据来源，判断所述目标数据表中每个数据表的数据类型；若所述数据类型为预设类型，则识别所述数据表存在依赖关系；若所述数据类型不是预设类型，则识别所述数据表不存在依赖关系。
其中，所述数据来源是指所述数据表中数据的生产位置，所述生产位置包括上游系统、数据仓库以及监管集市等。所述数据类型是指用于表征所述目标数据表中每个数据表的维度特征，所述预设类型包括输入类型、输出类型等。
S3、若所述目标数据表存在依赖关系，则识别所述目标数据表中的输入表和输出表，将所述输入表和所述输出表进行一致性校验，得到所述目标数据表的第一异常数据监控结果。
本发明实施例中，在所述目标数据表存在依赖关系时，表示此时所述异常数据监控系统需要检测的是现有的数据是否有异常数据，而非对未来异常数据进行初步预测处理，于是，本发明实施例通过识别所述目标数据表中输入表和所述输出表，以保障后续目标数据表中异常数据的监控前提。
其中，所述输入表指的是上游系统所产生的数据汇总成的目标数据表，所述输出表指的是下游系统在预设时间内同步的一次出账数据表。进一步地，所述上游系统包括数据生产系统，其用于产生数据源，所述下游系统包括数据监管系统，其能够集成不同系统的数据源，以实现数据治理、数据挖掘、数据决策等功能。
本发明实施例中，通过将所述输入表和所述输出表进行一致性校验，可以校验出所述输入表与所述输出表中不相同的数据，从而判断出所述目标数据表中的异常数据。所述生成所述目标数据表中的第一异常数据监控结果是为了发生异常时，及时报警，或做出相应措施；后续根据历史监控数据，对未来做出预测；根据监控报警及时定位问题根源；通过可视化图表展示，便于直观获取信息。
其中，所述第一异常数据监控结果包括异常数据出现的时间、地点、名称、范围以及类别等。
本发明一实施例中，所述将所述输入表和所述输出表进行一致性校验，得到所述目标数据表的第一异常数据监控结果，包括：利用预设的定时任务分别扫描所述输入表和所述输出表的内容，得到输入内容和输出内容；定位所述输入内容和所述输出内容的相同序列位置；根据所述相同序列位置，识别所述输入内容和所述输出内容的数据是否一致；在所述数据不一致时，生成所述目标数据表的第一异常数据监控结果。
其中，所述预设的定时任务是指按照预设的时间进行数据一致性校验的任务，所述相同序列位置是指更新日期是否一致、数据数量是否一致、数据存放的地址是否一致、数据的排序是否一致。
其中，所述预设的定时任务可以通过程序语言进行编译，如Java语言；所述输入表和所述输出表的内容通过预设的脚本进行扫描，所述预设的脚本可以通过脚本语言进行编译，如js脚本语言；所述相同序列位置可以通过DataRowCollection对象的Find方法方法进行定位。
S4、若所述目标数据表不存在依赖关系，则识别所述目标数据表中的基础性数据及指标类数据，按照预设的时间属性对所述基础性数据进行一致性校验，得到所述目标数据表中的第二异常数据监控结果。
本发明实施例中，在所述目标数据表不存在依赖关系时，通过识别所述目标数据表中的基础性数据及指标类数据，以基于现有目标数据表中的基础性数据及指标类数据，实现对所述目标数据表中未来数据进行异常监控。
其中，所述基础性数据是指通过直接调查获得的原始数据，一般称为第一手或直接的统计数据；所述指标类数据是指第三方调查的数据，并将这些数据进行加工和汇总后公布的数据，通常称之为第二手或间接的统计数据，如KPI指标数据。
本发明一实施例中，所述识别所述目标数据表中的基础性数据及指标类数据，包括：查询所述目标数据表中的数据字段；并识别所述数据字段的数据结构；在所述数据结构为无序时，判别所述无序数据结构对应在所述目标数据表中的数据为基础性数据；在所述数据结构为有序时，判别所述有序数据结构对应在所述目标数据表中的数据为指标类数据。
其中，所述数据字段中各个字段为各个属性。比如一张Student表，里面有一列字段studentname，id等，所述一列字段合起来为一组记录。其中，所述数据结构是指相互之间存在一种或多种特定关系的数据元素的集合，包括逻辑结构和物理结构。
本发明一可选实施例中，所述目标数据表中的数据字段通过查找算法进行查询。
其中，所述查找算法只做查找操作，而不改动表中数据元素，称此类查找为静态查找；反之，做查找操作的同时进行插入数据或者删除数据的操作，称此类为动态查找。
进一步地，本发明实施例通过按照预设的时间属性对所述基础性数据进行一致性校验，是为了分辨所述基础性数据是否一致，以便检测出目标数据表中的异常数据。
其中，所述所述预设的时间属性用于作为所述基础性数据的一致性校验的条件前提，如设置当天数据与前一天数据的一致性校验。
本发明一实施例中，所述按照预设的时间属性对所述基础性数据进行一致性校验，得到所述目标数据表中的第二异常数据监控结果，包括：通过在所述预设的时间属性内，对比所述基础性数据的第一数据与第二数据，若所述第一数据与所述第二数据出现不一致数据，将所述不一致数据对应的所述基础性数据作为异常数据，根据所述异常数据，生成所述第二异常数据监控结果。
其中，所述第一数据可以为上述的当天数据，所述第二数据可以为前一天数据，其基于所述预设的时间属性进行确定。
S5、按照所述预设的时间属性计算所述指标类数据的数据环比值，并判断所述数据环比值是否在预设范围中，根据判断结果，生成所述目标数据表中的第三异常数据监控结果。
本发明实施例通过按照所述预设的时间属性计算所述指标类数据的数据环比值，并判断所述数据环比值是否在预设范围中，可以提升目标数据表中异常数据的检测效率。
其中，所述数据环比值是指环比增长率，一般是指和上期相比较的增长率。
本发明一可选实施例中，利用下述公式计算所述指标类数据的数据环比值：
P＝(M-N)/M*100％
其中，P表示数据环比值，M表示在所述预设的时间属性中本期数据的生成数量，N表示在所述预设的时间属性中上期数据的生成数量。
进一步地，本发明一可选实施例中，所述预设范围可以设置为[a，b]范围之内，若所述数据环比值处于所述[a，b]范围，则表示所述数据环比值在预设范围中，若所述数据环比值不处于所述[a，b]范围，则表示所述数据环比值不在预设范围中。
其中，所述[a，b]范围指的是所述目标数据表的历史上正常数据的数据环比值的平均数±2倍的标准方差。
本发明一实施例中，所述根据判断结果，生成所述目标数据表中的第三异常数据监控结果，包括：在所述判断结果为数据环比值不在所述预设范围时，将所述数据环比值在所述目标数据表对应的数据作为异常数据，根据所述异常数据，生成所述第三异常数据监控结果。
可以看出，本发明实施例通过将所述业务数据进行格式转换，以便将杂乱的数据通过相同的数据格式进行封装，保障后续格式转换后的所述业务数据导入至预设数据表中的构建前提，并将格式转换后的所述业务数据导入至预设数据表中，得到目标数据表，通过所述识别所述目标数据表之间是否存在依赖关系，进一步地，本发明实施例通过对所述目标数据表进行分类，以便后续选择使用相应的策略对所述目标数据表进行异常检测，进一步地，若所述目标数据表存在依赖关系，本发明实施例通过将所述输入表和所述输出表进行一致性校验，可以校验出所述输入表与所述输出表中不相同的数据，从而判断出所述目标数据表中的异常数据，若所述目标数据表不存在依赖关系，通过识别所述目标数据表中的基础性数据及指标类数据，以基于现有目标数据表中的基础性数据及指标类数据，实现对所述目标数据表中未来数据进行异常监控。因此，本发明实施例提出的一种异常数据智能监控方法可以提升异常数据的监控效率。
如图2所示，是本发明异常数据智能监控装置的功能模块图。
本发明所述异常数据智能监控装置100可以安装于电子设备中。根据实现的功能，所述异常数据智能监控装置可以包括业务数据导入模块101、关系识别模块102、数据表校验模块103、数据校验管理模块104以及环比值判断模块105。本发明所述模块也可以称之为单元，是指一种能够被电子设备的处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
所述业务数据导入模块101，用于获取业务数据，将所述业务数据进行格式转换，并将格式转换后的所述业务数据导入至预设数据表中，得到目标数据表；
所述关系识别模块102，用于识别所述目标数据表是否存在依赖关系；
所述数据表校验模块103，用于若所述目标数据表存在依赖关系，则识别所述目标数据表中的输入表和输出表，将所述输入表和所述输出表进行一致性校验，以生成所述目标数据表中的第一异常数据监控结果；
所述数据校验模块104，用于若所述目标数据表不存在依赖关系，则识别所述目标数据表中的基础性数据及指标类数据，按照预设的时间属性对所述基础性数据进行一致性校验，以生成所述目标数据表中的第二异常数据监控结果；
所述环比值判断模块105，用于按照所述预设的时间属性计算所述指标类数据的数据环比值，并判断所述数据环比值是否在预设范围中，根据判断结果，生成所述目标数据表中的第三异常数据监控结果。
详细地，本发明实施例中所述异常数据智能监控装置100中的所述各模块在使用时采用与上述的图1中所述的异常数据智能监控方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。
如图3所示，是本发明实现异常数据智能监控方法的电子设备1的结构示意图。
所述电子设备1可以包括处理器10、存储器11、通信总线12以及通信接口13，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如异常数据智能监控程序。
其中，所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备1的控制核心(ControlUnit)，利用各种接口和线路连接整个电子设备1的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块(例如执行异常数据智能监控程序等)，以及调用存储在所述存储器11内的数据，以执行电子设备1的各种功能和处理数据。
所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(SecureDigital，SD)卡、闪存卡(Flash Card)等。进一步地，所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如异常数据智能监控程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述通信总线12可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
所述通信接口13用于上述电子设备1与其他设备之间的通信，包括网络接口和员工接口。可选地，所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该电子设备1与其他电子设备1之间建立通信连接。所述员工接口可以是显示器(Display)、输入单元(比如键盘(Keyboard))，可选地，员工接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的员工界面。
图3仅示出了具有部件的电子设备1，本领域技术人员可以理解的是，图3示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备1还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
应该了解，所述实施例仅为说明之用，在专利发明范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的异常数据智能监控程序是多个计算机程序的组合，在所述处理器10中运行时，可以实现：
获取业务数据，将所述业务数据进行格式转换，并将格式转换后的所述业务数据导入至预设数据表中，得到目标数据表；
识别所述目标数据表是否存在依赖关系；
若所述目标数据表存在依赖关系，则识别所述目标数据表中的输入表和输出表，将所述输入表和所述输出表进行一致性校验，以生成所述目标数据表中的第一异常数据监控结果；
若所述目标数据表不存在依赖关系，则识别所述目标数据表中的基础性数据及指标类数据，按照预设的时间属性对所述基础性数据进行一致性校验，以生成所述目标数据表中的第二异常数据监控结果；
按照所述预设的时间属性计算所述指标类数据的数据环比值，并判断所述数据环比值是否在预设范围中，根据判断结果，生成所述目标数据表中的第三异常数据监控结果。
具体地，所述处理器10对上述计算机程序的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个非易失性计算机可读取存储介质中。所述计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备1的处理器所执行时，可以实现：
获取业务数据，将所述业务数据进行格式转换，并将格式转换后的所述业务数据导入至预设数据表中，得到目标数据表；
识别所述目标数据表是否存在依赖关系；
若所述目标数据表存在依赖关系，则识别所述目标数据表中的输入表和输出表，将所述输入表和所述输出表进行一致性校验，以生成所述目标数据表中的第一异常数据监控结果；
若所述目标数据表不存在依赖关系，则识别所述目标数据表中的基础性数据及指标类数据，按照预设的时间属性对所述基础性数据进行一致性校验，以生成所述目标数据表中的第二异常数据监控结果；
按照所述预设的时间属性计算所述指标类数据的数据环比值，并判断所述数据环比值是否在预设范围中，根据判断结果，生成所述目标数据表中的第三异常数据监控结果。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本发明实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (10)
1.一种异常数据智能监控方法，其特征在于，所述方法包括：
获取业务数据，将所述业务数据进行格式转换，并将格式转换后的所述业务数据导入至预设数据表中，得到目标数据表；
识别所述目标数据表是否存在依赖关系；
若所述目标数据表存在依赖关系，则识别所述目标数据表中的输入表和输出表，将所述输入表和所述输出表进行一致性校验，以生成所述目标数据表中的第一异常数据监控结果；
若所述目标数据表不存在依赖关系，则识别所述目标数据表中的基础性数据及指标类数据，按照预设的时间属性对所述基础性数据进行一致性校验，以生成所述目标数据表中的第二异常数据监控结果；
按照所述预设的时间属性计算所述指标类数据的数据环比值，并判断所述数据环比值是否在预设范围中，根据判断结果，生成所述目标数据表中的第三异常数据监控结果。
2.如权利要求1所述的异常数据智能监控方法，其特征在于，所述将所述业务数据进行格式转换，包括：
确定所述业务数据的格式，判断所述业务数据的格式是否为预设格式；
若所述业务数据的格式不为预设格式，调用预设的格式转换工具将所述业务数据的格式转换为所述预设格式。
3.如权利要求1所述的异常数据智能监控方法，其特征在于，所述将格式转换后的所述业务数据导入至预设数据表，得到目标数据表，包括：
选取所述格式转换后的所述业务数据在所述预设数据表中的导入位置；
并配置所述格式转换后的所述业务数据在所述预设数据表中的导入方式；
根据所述导入位置和所述导入方式，执行对所述格式转换后的所述业务数据在所述预设数据表中的导入。
4.如权利要求1所述的异常数据智能监控方法，其特征在于，所述识别所述目标数据表是否存在依赖关系，包括：
获取所述目标数据表中每个数据表的数据来源；
根据所述数据来源，判断所述目标数据表中每个数据表的数据类型；
若所述数据类型为预设类型，则识别所述数据表存在依赖关系；
若所述数据类型不是预设类型，则识别所述数据表不存在依赖关系。
5.如权利要求1所述的异常数据智能监控方法，其特征在于，所述识别所述目标数据表中的输入表和输出表，包括：
利用预设的定时任务分别扫描所述输入表和所述输出表的内容，得到输入内容和输出内容；
定位所述输入内容和所述输出内容的相同序列位置；
根据所述相同序列位置，识别所述目标数据表中的输入表和输出表。
6.如权利要求1至5中任意一项所述的异常数据智能监控方法，其特征在于，所述识别所述目标数据表中的基础性数据及指标类数据，包括：
查询所述目标数据表中的数据字段，并识别所述数据字段的数据结构；
在所述数据结构为无序时，判别所述无序数据结构对应在所述目标数据表中的数据为基础性数据；
在所述数据结构为有序时，判别所述有序数据结构对应在所述目标数据表中的数据为指标类数据。
7.如权利要求1所述的异常数据智能监控方法，其特征在于，所述按照预设的时间属性对所述基础性数据进行一致性校验，得到所述目标数据表中的第二异常数据监控结果，包括：
通过在所述预设的时间属性内，对比所述基础性数据的第一数据与第二数据；
若所述第一数据与所述第二数据出现不一致数据，将所述不一致数据对应的所述基础性数据作为异常数据，根据所述异常数据，生成所述第二异常数据监控结果。
8.一种异常数据智能监控装置，其特征在于，所述装置包括：
业务数据导入模块，用于获取业务数据，将所述业务数据进行格式转换，并将格式转换后的所述业务数据导入至预设数据表中，得到目标数据表；
关系识别模块，用于识别所述目标数据表是否存在依赖关系；
数据表校验模块，用于若所述目标数据表存在依赖关系，则识别所述目标数据表中的输入表和输出表，将所述输入表和所述输出表进行一致性校验，以生成所述目标数据表中的第一异常数据监控结果；
数据校验模块，用于若所述目标数据表不存在依赖关系，则识别所述目标数据表中的基础性数据及指标类数据，按照预设的时间属性对所述基础性数据进行一致性校验，以生成所述目标数据表中的第二异常数据监控结果；
环比值判断模块，用于按照所述预设的时间属性计算所述指标类数据的数据环比值，并判断所述数据环比值是否在预设范围中，根据判断结果，生成所述目标数据表中的第三异常数据监控结果。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任意一项所述的异常数据智能监控方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的异常数据智能监控方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210871447.0A CN115221171A (zh) | 2022-07-22 | 2022-07-22 | 异常数据智能监控方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210871447.0A CN115221171A (zh) | 2022-07-22 | 2022-07-22 | 异常数据智能监控方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115221171A true CN115221171A (zh) | 2022-10-21 |
Family
ID=83613838
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210871447.0A Pending CN115221171A (zh) | 2022-07-22 | 2022-07-22 | 异常数据智能监控方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115221171A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117271485A (zh) * | 2023-09-07 | 2023-12-22 | 索菲亚家居股份有限公司 | 一种大数据质量管理方法及装置 |
-
2022
- 2022-07-22 CN CN202210871447.0A patent/CN115221171A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117271485A (zh) * | 2023-09-07 | 2023-12-22 | 索菲亚家居股份有限公司 | 一种大数据质量管理方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113918361A (zh) | 基于物联网规则引擎的终端控制方法、装置、设备及介质 | |
| CN114496264B (zh) | 基于多维数据的健康指数分析方法、装置、设备及介质 | |
| CN111754123B (zh) | 数据监控方法、装置、计算机设备及存储介质 | |
| CN114186132B (zh) | 信息推荐方法、装置、电子设备及存储介质 | |
| CN114781832A (zh) | 课程推荐方法、装置、电子设备及存储介质 | |
| CN113868528A (zh) | 资讯推荐方法、装置、电子设备及可读存储介质 | |
| CN114612194A (zh) | 产品推荐方法、装置、电子设备及存储介质 | |
| CN115221171A (zh) | 异常数据智能监控方法、装置、电子设备及存储介质 | |
| CN112541688A (zh) | 业务数据校验方法、装置、电子设备及计算机存储介质 | |
| CN114816371B (zh) | 消息处理方法、装置、设备及介质 | |
| CN113434397B (zh) | 任务系统的测试方法、装置、电子设备及存储介质 | |
| CN114387021A (zh) | 业务状态生成方法、装置、设备及存储介质 | |
| CN111553133B (zh) | 报表生成方法、装置、电子设备及存储介质 | |
| CN114996386A (zh) | 业务角色识别方法、装置、设备及存储介质 | |
| CN114911479A (zh) | 基于配置化的界面生成方法、装置、设备及存储介质 | |
| CN114840388A (zh) | 数据监控方法、装置、电子设备及存储介质 | |
| CN113704407A (zh) | 基于类别分析的投诉量分析方法、装置、设备及存储介质 | |
| CN113706019A (zh) | 基于多维数据的业务能力分析方法、装置、设备及介质 | |
| CN113706207A (zh) | 基于语义解析的订单成交率分析方法、装置、设备及介质 | |
| CN113434365B (zh) | 数据特征监控方法、装置、电子设备及存储介质 | |
| CN116991364B (zh) | 基于大数据的软件开发系统管理方法 | |
| CN113591477B (zh) | 基于关联数据的故障定位方法、装置、设备及存储介质 | |
| CN114723488A (zh) | 课程推荐方法、装置、电子设备及存储介质 | |
| CN115409581A (zh) | 基于用户行为配置化的产品推荐方法、装置、设备及介质 | |
| CN115204679A (zh) | 研发项目的效果智能分析方法、装置、电子设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |