CN117271485A - 一种大数据质量管理方法及装置 - Google Patents

一种大数据质量管理方法及装置 Download PDF

Info

Publication number
CN117271485A
CN117271485A CN202311153639.9A CN202311153639A CN117271485A CN 117271485 A CN117271485 A CN 117271485A CN 202311153639 A CN202311153639 A CN 202311153639A CN 117271485 A CN117271485 A CN 117271485A
Authority
CN
China
Prior art keywords
data
early warning
rule
service data
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311153639.9A
Other languages
English (en)
Inventor
柯建生
饶韧
庞菲
肖培根
杨鼎雄
黄兴杰
陈海婧
张冬春
刘志辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SUOFEIYA HOME COLLECTION CO Ltd
Original Assignee
SUOFEIYA HOME COLLECTION CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SUOFEIYA HOME COLLECTION CO Ltd filed Critical SUOFEIYA HOME COLLECTION CO Ltd
Priority to CN202311153639.9A priority Critical patent/CN117271485A/zh
Publication of CN117271485A publication Critical patent/CN117271485A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2428—Query predicate definition using graphical user interfaces, including menus and forms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种大数据质量管理方法，该方法包括：显示用户界面；通过编辑控制组件，触发自定义规则模板进程，建立目标预警规则；通过处理控制组件，触发核查进程对目标数据进行核查处理，根据所述目标预警规则，判断所述目标数据是否符合预警条件；通过所述处理控制组件，触发比对修复进程，对符合预警条件的各个业务数据对应的业务数据表进行比对处理并执行修复任务。本发明可以提高异常数据修复的效率以及提升数据的可信度，可以广泛应用于数据管理技术领域。

Description

一种大数据质量管理方法及装置
技术领域
本发明涉及数据管理技术领域，尤其是一种大数据质量管理方法。
背景技术
在大数据平台中，数据质量问题正得到越来越多的关注，它不仅是一项基础的数据处理工作，提供高质量的数据服务，更是用户开发上层应用、挖掘数据价值、制定正确决策的必要前提，能影响大数据所带来的价值和效益。而目前对于数据的管理工作，存在异常数据发现不及时，修复异常数据大大增加了数据运维人员的工作量，导致数据管理效率低下，业务数据不一致，降低了用户的满意度以及数据的可信度。
发明内容
有鉴于此，本发明实施例提供一种大数据质量管理方法，以提高异常数据修复的效率以及提升数据的可信度。
本发明实施例的一方面提供了一种大数据质量管理方法，该方法包括：
显示用户界面，所述用户界面包括编辑控制组件以及处理控制组件；
通过所述编辑控制组件，触发自定义规则模板进程，建立目标预警规则；
通过所述处理控制组件，触发核查进程对目标数据进行核查处理，根据所述目标预警规则，判断所述目标数据是否符合预警条件；
通过所述处理控制组件，触发比对修复进程，对符合预警条件的各个业务数据对应的业务数据表进行比对处理并执行修复任务。
可选地，所述目标预警规则包括趋势预警规则、单表预警规则以及多表关联预警规则，所述通过所述编辑控制组件，触发自定义规则模板进程，建立目标预警规则，包括：
通过所述编辑控制组件，触发自定义规则模板进程调用查询接口，获取源数据库中的业务数据表；
对所述业务数据表中的目标数据进行数据规则定义，建立目标预警规则。
可选地，所述目标数据包括第一业务数据、第二业务数据以及第三业务数据，所述对所述业务数据表中的目标数据进行数据规则定义，包括：
对包括日期格式、数字类型、字符串长度阈值以及字段类型设置对应的通用规则，构造通用的处理规则模板；
结合所述通用的处理规则模板，对所述业务数据表以及所述业务数据表中的目标数据设置预设规则。
可选地，所述通过所述处理控制组件，触发核查进程对目标数据进行核查处理，根据所述目标预警规则，判断所述目标数据是否符合预警条件，包括：
通过所述处理控制组件，调用信息传输接口，将所述趋势预警规则、所述单表预警规则、所述多表关联预警规则、所述通用的处理规则模板以及所述预设规则输入到处理引擎；
通过所述处理引擎，根据所述趋势预警规则，判断所述第一业务数据是否符合预警条件；
或者，通过所述处理引擎，根据所述单表预警规则，判断所述第二业务数据是否符合预警条件；
或者，通过所述处理引擎，根据所述多表关联预警规则，判断所述第三业务数据是否符合预警条件；
将不符合预警条件的所述第一业务数据、不符合预警条件的所述第二业务数据或者不符合预警条件的所述第三业务数据输入数据仓库，将符合预警条件的所述第一业务数据、符合预警条件的所述第二业务数据或者符合预警条件的所述第三业务数据推送到异常数据界面，生成数据质量报告。
可选地，所述根据所述趋势预警规则，判断所述第一业务数据是否符合预警条件，包括：
根据所述趋势预警规则，判断当前所述第一业务数据是否比前一日的数据减少，若是，则所述第一业务数据符合预警条件；
或者，根据所述趋势预警规则，判断当前所述第一业务数据是否大于前一日的数据的两倍，若是，则所述第一业务数据符合预警条件；
或者，根据所述趋势预警规则，判断当前所述第一业务数据相较于前一日的数据是否有更新，若否，则所述第一业务数据符合预警条件；
或者，根据所述趋势预警规则，判断当前所述第一业务数据增量是否超过波动上限值或者低于波动下限值，若是，则所述第一业务数据符合预警条件。
可选地，所述根据所述单表预警规则，判断所述第二业务数据是否符合预警条件，包括：
结合所述预设规则，对所述第二业务数据的特殊字段进行预设规则判断，若不符合所述预设规则，则所述第二业务数据符合预警条件；
或者，设置统计规则，对所述第二业务数据进行统计，得到统计数据，判断所述统计数据是否符合所述统计规则，若符合，则所述第二业务数据符合预警条件；
或者，判断所述第二业务数据是否存在重复数据，若是，则所述第二业务数据符合预警条件；
或者，设置阈值范围，根据查询条件筛选出符合所述阈值范围的异常业务数据，所述异常业务数据符合预警条件。
可选地，所述根据所述多表关联预警规则，判断所述第三业务数据是否符合预警条件，包括：
配置源表以及目标表信息；
通过设置日期范围对所述第三业务数据进行限制；
构造SQL校验规则、比值上限以及比值下限；
通过所述比值上限以及所述比值下限控制所述源表对应的SQL以及所述目标表对应的SQL运行得到的结果允许的比值范围；
根据所述SQL校验规则判断所述第三业务数据是否符合预警条件。
可选地，所述通过所述处理控制组件，触发比对修复进程，对符合预警条件的各个业务数据对应的业务数据表进行比对处理并执行修复任务，包括：
获取所述符合预警条件的各个业务数据对应的业务数据表的源主键以及数据中台对应的表的目标主键，将所述源主键与所述目标主键进行比对处理，得到比对结果；
根据所述比对结果，若所述目标主键对应的数据中存在冗余数据，则执行第一修复任务；
根据所述比对结果，若所述目标主键对应的数据中存在缺失数据，则执行第二修复任务；
所述第一修复任务包括自动删除所述冗余数据；所述第二修复任务包括自动获取所述源主键对应的目标数据，将所述目标数据输入到所述数据中台。
本发明实施例还提供了一种大数据质量管理装置，包括：
第一模块，用于显示用户界面，所述用户界面包括编辑控制组件以及处理控制组件；
第二模块，用于通过所述编辑控制组件，触发自定义规则模板进程，建立目标预警规则；
第三模块，用于通过所述处理控制组件，触发核查进程对目标数据进行核查处理，根据所述目标预警规则，判断所述目标数据是否符合预警条件；
第四模块，用于通过所述处理控制组件，触发比对修复进程，对符合预警条件的各个业务数据对应的业务数据表进行比对处理并执行修复任务。
本发明实施例还提供了一种电子设备，该电子设备包括处理器以及存储器；存储器存储有程序；处理器执行程序以执行前述的大数据质量管理方法；该电子设备具有搭载并运行本发明实施例提供的业务数据处理的软件系统的功能，例如，个人计算机(PersonalComputer，PC)、手机、智能手机、个人数字助手(Personal Digital Assistant，PDA)、可穿戴设备、掌上电脑PPC(Pocket PC)、平板电脑、车载终端等。
本发明实施例还提供了一种计算机可读存储介质，存储介质存储有程序，所述程序被处理器执行实现前述的大数据质量管理方法。
本发明实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前述的大数据质量管理方法。
本发明的实施例首先显示用户界面，其中，所述用户界面包括编辑控制组件以及处理控制组件；然后，通过所述编辑控制组件，触发自定义规则模板进程，建立目标预警规则；接着，通过所述处理控制组件，触发核查进程对目标数据进行核查处理，根据所述目标预警规则，判断所述目标数据是否符合预警条件；最后，通过所述处理控制组件，触发比对修复进程，对符合预警条件的各个业务数据对应的业务数据表进行比对处理并执行修复任务。本发明实施例可以提高异常数据修复的效率以及提升数据的可信度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例进行大数据质量管理的实施环境示意图；
图2为本发明实施例中所提供的一种大数据质量管理方法的步骤流程示意图；
图3为本发明实施例中数据预警以及自动处理整体流程的示意图；
图4为本发明实施例中数据增长表对应界面的示意图；
图5为本发明实施例中元数据管理对应界面的示意图；
图6为本发明实施例中趋势预警规则配置对应界面的示意图；
图7为本发明实施例中趋势预警结果对应界面的示意图；
图8为本发明实施例中第一单表预警规则配置对应界面的示意图；
图9为本发明实施例中第二单表预警规则配置对应界面的示意图；
图10为本发明实施例中第三单表预警规则配置对应界面的示意图；
图11为本发明实施例中第四单表预警规则配置对应界面的示意图；
图12为本发明实施例中第五单表预警规则配置对应界面的示意图；
图13为本发明实施例中多表关联预警规则配置对应界面的示意图；
图14为本发明实施例中数据预警结果对应界面的示意图；
图15为本发明实施例中数据预警汇总结果报告对应界面的示意图；
图16为本发明实施例中管理比对修复任务对应界面的示意图；
图17为本发明实施例中管理任务链对应界面的示意图；
图18为本发明实施例中任务链实例对应界面的示意图；
图19为本发明实施例中实时链路监控对应界面的示意图；
图20为本发明实施例中数据比对汇总结果对应界面的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
目前对于数据的管理工作，存在异常数据发现不及时，对人工核查或使用者问题反馈的依赖比较大，修复异常数据大大增加了数据运维人员的工作量，导致数据管理效率低下，业务数据不一致，降低了用户的满意度以及数据的可信度。
针对现有技术存在的问题，本发明提供了一种大数据质量管理方法。图1是本发明提供的一种实施环境示意图。如图1所示，在该实施环境中，包括了终端101和服务器102。在终端101中搭载了大数据质量管理的软件系统，该软件系统可以进行数据预警以及数据质量自动跟进处理。软件系统的用户界面为可视化界面，在所述用户界面中，实施例通过编辑控制组件以及处理控制组件触发进程，建立预警规则，对大数据进行管理。在该实施环境中，终端101可以是任何一种可通过键盘、触摸板、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互的电子产品，该电子产品可以通过其可视化用户界面接收用户通过编辑控制组件输入的指令，并对指令的响应结果进行实时的可视化显示。示例性地，如图1所示，该终端101可以是个人计算机(Personal Computer，PC)、手机、智能手机、个人数字助手(Personal Digital Assistant，PDA)、可穿戴设备、掌上电脑PPC(Pocket PC)、平板电脑等。
如图2所示，本发明实施例提供了一种大数据质量管理方法，该方法可以应用于图1中的终端101来实现；或者，该方法也可以在其他任意具有数据处理能力的装置或设备上执行。
参考图2，该方法具体包括但不限于步骤S200-S500：
S200、显示用户界面；
具体地，实施例中的用户界面可以包括编辑控制组件以及处理控制组件。编辑控制组件用于提供输入规则指令的区域，处理控制组件则可以用于进行数据的核查、预警以及比对修复的处理，在实施例中编辑控制组件中包括多种输入规则指令的区域。
S300、通过编辑控制组件，触发自定义规则模板进程，建立目标预警规则；
具体地，目标预警规则可以包括趋势预警规则、单表预警规则以及多表关联预警规则。
S400、通过处理控制组件，触发核查进程对目标数据进行核查处理，根据目标预警规则，判断目标数据是否符合预警条件。
S500、通过处理控制组件，触发比对修复进程，对符合预警条件的各个业务数据对应的业务数据表进行比对处理并执行修复任务；
具体地，如图16所示，可以设置具体的业务数据表需要自动修复以及修复的范围，其中，比对类型包括但不限于增量比对以及全量比对，所述增量比对针对数据量小于5000万的业务数据表，当数据量大于或等于5000万时，结合考虑业务的需求，确定比对时间的范围，所述比对时间的范围默认为两个月；如图17所示，通过用户界面显示的管理任务链对应界面可以查看比对修复任务队列；另外，完成比对修复任务后，可以通过任务链实例对应界面查看历史执行任务情况，如图18所示，可以获取包括但不限于任务状态、任务名称、任务描述、开始时间以及结束时间等信息；同时，参考图19，通过实时链路监控，以文本的形式显示比对修复任务中异常数据的相关数据信息，并形成数据比对汇总结果报告，如图20所示，可以获取不同数据库缺失数据的条数，所述数据库包括但不限于生产库以及归档库，其中，设置生产库每天进行比对修复，设置归档库间隔半个月比对修复一次。
可选地，在一些实施例中，所述步骤S300具体包括以下步骤：
S310、通过所述编辑控制组件，触发自定义规则模板进程调用查询接口，获取源数据库中的业务数据表；
具体地，源数据库中的业务数据表可以显示在用户界面中，如图4所示，通过调用查询接口，获取增长表中的对应信息，并将所述信息显示在用户界面中；另外，如图5所示，通过调用查询接口，获取包括但不限于源数据库中的业务数据表对应的当天的数据以及前一天的数据。
S320、对所述业务数据表中的目标数据进行数据规则定义，建立目标预警规则；
具体地，所述目标数据包括第一业务数据、第二业务数据以及第三业务数据；所述第一业务数据属于源数据库中的业务数据表对应的当天的数据；所述第二业务数据属于源数据库中单表无关联的业务数据表对应的目标数据；所述第三业务数据属于源数据库中多表关联的业务数据表对应的目标数据。
可选地，在一些实施例中，所述步骤S320具体包括以下步骤：
S321、对包括日期格式、数字类型、字符串长度阈值以及字段类型设置对应的通用规则，构造通用的处理规则模板；
具体地，日期格式对应的通用规则可以包括但不限于日期格式为短日期格式、长日期格式、完整日期格式或者常规日期格式等等；数字类型对应的通用规则可以包括但不限于数字类型为精确值数字类型或者近似值数字类型等等；字符串长度阈值对应的通用规则可以包括但不限于字符串长度为特定值或者字符串长度小于设定值等等；字段类型对应的通用规则可以包括但不限于字段类型为整数类型、定长类型或者变长型等等；通过将各个通用规则组合，构造通用的处理规则模板。
S322、结合所述通用的处理规则模板，对所述业务数据表以及所述业务数据表中的目标数据设置预设规则。
可选地，在一些实施例中，所述步骤S400可以包括S410和S450，以及还可以包括S420、S430、S440中任意一个或多个步骤：
S410、通过所述处理控制组件，调用信息传输接口，将所述趋势预警规则、所述单表预警规则、所述多表关联预警规则、所述通用的处理规则模板以及所述预设规则输入到处理引擎；
其中，所述处理引擎可以为Spark处理引擎。Spark是一个通用的分布式数据处理引擎，Spark处理引擎可以进行数据流传输、交互分析、ETL(Extract-Transform-Load)、批处理、图计算等等，同时Spark处理引擎可以和分布式的存储系统对接以及可以做横向扩展。
S420、通过所述处理引擎，根据所述趋势预警规则，判断所述第一业务数据是否符合预警条件；
具体地，针对源数据库中的业务数据表的业务数据出现的问题，本发明实施例能每隔若干小时核对一次。
S430、通过所述处理引擎，根据所述单表预警规则，判断所述第二业务数据是否符合预警条件；
具体地，单表预警规则可以对各个单表无关联的业务数据表设置多个预设规则，形成多种单表预警对应的预警类型，如图8、图9、图10、图11以及图12所示，通过用户界面显示单表预警规则配置的界面，在单表预警规则配置的界面种包括多种输入规则指令的区域，该区域包括固定区域以及活动区域，所述固定区域包括所属平台的选择框区域、检验库名的选择框区域、检验表名的选择框区域以及规则类型的选择框区域，所述活动区域包括但不限于检验规则的输入框区域、检验时间字段的选择框区域、检验开始时间的输入框区域、唯一标识字段的选择框区域、判断逻辑的选择框区域以及阈值大小的输入框区域，另外，所述活动区域可以通过触发按钮增加或者减少输入规则指令区域，其中，所述活动区域对应的各个输入规则指令区域可以自由组合。
S440、通过所述处理引擎，根据所述多表关联预警规则，判断所述第三业务数据是否符合预警条件；
具体地，多表关联预警针对两种类型的表，所述两种类型的表包括源表以及对应的目标表，在多个平台中，所述源表中的数据以及对应的目标表中的数据符合一定的比值；参考图13，设置比值阈值，选择源平台以及目标平台，在“源表SQL”栏以及“目标表SQL”栏中输入SQL校验规则，根据输入的校验规则运行源表对应的SQL以及目标表对应的SQL，对源平台对应的源表的数据以及目标平台对应的目标表的数据进行比较，得到目标比值结果，当目标比值结果超过比值范围，则所述源表中的数据以及对应的目标表中的数据符合预警条件；其中，比值下限默认为0.9，比值上限默认为1.1。
S450、将不符合预警条件的所述第一业务数据、不符合预警条件的所述第二业务数据或者不符合预警条件的所述第三业务数据输入数据仓库，将符合预警条件的所述第一业务数据、符合预警条件的所述第二业务数据或者符合预警条件的所述第三业务数据推送到异常数据界面，生成数据质量报告；
具体地，数据质量报告包括但不限于趋势预警结果报告、数据预警结果报告以及数据预警结果报告，同时所述数据质量报告可以显示在用户界面中，该报告显示的形式包括但不限于表格形式以及文本形式；如图7所示，通过表格形式构造趋势预警结果报告，进一步地，将所述趋势预警结果报告显示在用户界面，该趋势预警结果报告中的信息包括但不限于预警原因、业务数据表的名称、业务数据表对应的当天的数据以及前一天的数据，针对趋势预警结果报告还可以选择图形分析操作；如图14所示，通过表格形式构建数据预警结果报告，进一步地，将所述数据预警结果报告显示在用户界面，该数据预警结果报告中的信息包括但不限于对业务数据表的中文描述、预警模块以及是否预警，针对数据预警结果报告可以进行更新明细操作，其中，预警模块包括但不限于趋势预警、单表预警以及多表关联预警；如图15所示，通过文本形式构建数据预警汇总结果报告，进一步地，将所述数据预警汇总结果报告显示在用户界面，该数据预警汇总结果报告中的信息包括但不限于各个预警类型对应的异常的业务数据表的数量。
可选地，在一些实施例中，所述步骤S420还可以包括步骤S421、S422、S423或者S424：
S421、根据所述趋势预警规则，判断当前所述第一业务数据是否比前一日的数据减少，若是，则所述第一业务数据符合预警条件；
具体地，本发明实施例每日对源数据库中的业务数据表的数据进行记录，将源数据库中的业务数据表对应的当前日期的数据与前一日期的数据比较，如果当前日期的数据相比前一日期的数据减少了，则标记当前日期的数据为异常数据且符合预警条件，将该异常数据进行预警类型归类，则该预警类型属于趋势预警对应的数据增长异常类型。
S422、根据所述趋势预警规则，判断当前所述第一业务数据是否大于前一日的数据的两倍，若是，则所述第一业务数据符合预警条件；
具体地，将源数据库中的业务数据表对应的当前日期的数据与前一日期的数据比较，如果当前日期的数据比前一日期的数据大两倍及两倍以上，则标记当前日期的数据为异常数据且符合预警条件，将该异常数据进行预警类型归类，则该预警类型属于趋势预警对应的数据翻倍类型。
S423、根据所述趋势预警规则，判断当前所述第一业务数据相较于前一日的数据是否有更新，若否，则所述第一业务数据符合预警条件；
具体地，将源数据库中的业务数据表对应的当前日期的数据与前一日期的数据比较，如果当前日期的数据相较于前一日期的数据没有更新，则标记当前日期的数据为异常数据且符合预警条件，将该异常数据进行预警类型归类，则该预警类型属于趋势预警对应的数据未更新类型；另外，参考图6，可以设置数据未更新类型的趋势预警规则，如图6所示，在更新日期限制选择框内可以选择“今天”选项或者“昨天”选项，在更新时间限制选择框内可以选择时间点；其中，“今天”选项代表最新数据需有当前日期的数据，“昨天”选项代表最新数据需有前一日期的数据；而选定一个时间点，代表在该时间点前若数据仍未更新，则不进行统计展示，视为正常；在该时间点后若数据仍未更新，则视为异常；同时，参考图6，可以设置对应的业务数据表是否增长表，若是否增长表选择框中选择“是”，代表对应的业务数据表中的数据需要每日增长，如果当前日期的数据没有增长或者减少了，则视为异常；若是否增长表选择框中选择“否”，代表对应的业务数据表中的数据需要正常更新，允许数据的正常波动，例如，有若干组织数据表，所述若干组织数据表中关于组织的数据不会每日增加，并且存在组织的数据减少的情况。
S424、根据所述趋势预警规则，判断当前所述第一业务数据增量是否超过波动上限值或者低于波动下限值，若是，则所述第一业务数据符合预警条件；
具体地，本发明实施例会记载业务数据表三十天内的所有增加记录，根据所述增加记录判断业务数据的波动上限值以及波动下限值，如果当天的数据超过波动上限值或者当天的数据低于波动下限值，则标记当天的数据为异常数据且符合预警条件，将该异常数据进行预警类型归类，则该预警类型属于趋势预警对应的数据波动预警类型。
可选地，在一些实施例中，所述步骤S430还可以包括步骤S431、S432、S433或者S434：
S431、结合所述预设规则，对所述第二业务数据的特殊字段进行预设规则判断，若不符合所述预设规则，则所述第二业务数据符合预警条件；
具体地，根据设置的预设规则，将属于源数据库中单表无关联的业务数据表对应的目标数据的特殊字段进行预设规则判断，该预设规则可以包括但不限于字段不为空或者字段必须为特定值，当所述特殊字段符合所述预设规则时，将所述目标数据标记为异常数据，对所述异常数据进行预警类型归类，则该预警类型属于单表预警对应的特殊字段预警类型。
S432、设置统计规则，对所述第二业务数据进行统计，得到统计数据，判断所述统计数据是否符合所述统计规则，若符合，则所述第二业务数据符合预警条件；
具体地，在属于源数据库中单表无关联的业务数据表对应的目标数据中选择待检验字段，统计选中的待检验字段，得到第一统计数据，根据设置的统计规则对所述第一统计数据进行判断，所述统计规则包括但不限于设置统计规则为大于某个具体数值，如设置统计规则为大于40万，当所述第一统计数据大于40万时，将所述待检验字段对应的目标数据标记为异常数据，对所述异常数据进行预警类型归类，则该预警类型属于单表预警对应的每日统计预警类型；另外，还可以对每日统计预警类型的统计规则增加限制条件，设置一个时间段，对所述选中的待检验字段中属于该时间段内的目标检测字段进行统计，得到第二统计数据，根据设置的统计规则对所述第二统计数据进行判断，所述统计规则包括但不限于设置统计规则为大于某个具体数值，如设置统计规则为大于40万，当所述第二统计数据大于40万时，将所述目标检验字段对应的目标数据标记为异常数据，对所述异常数据进行预警类型归类，则该预警类型属于单表预警对应的区间统计预警类型。
S433、判断所述第二业务数据是否存在重复数据，若是，则所述第二业务数据符合预警条件；
具体地，根据设置的预设规则，将属于源数据库中单表无关联的业务数据表对应的目标数据的唯一标识字段进行预设规则判断，该预设规则为存在重复数据，当所述唯一标识字段符合所述预设规则时，将所述目标数据标记为异常数据，对所述异常数据进行预警类型归类，则该预警类型属于单表预警对应的重复数据预警类型。
S434、设置阈值范围，根据查询条件筛选出符合所述阈值范围的异常业务数据，所述异常业务数据符合预警条件；
具体地，根据设置的预设规则，限制数据量行数的第一阈值，对属于源数据库中单表无关联的业务数据表对应的目标数据进行数据量行数筛选，当所述目标数据对应的数据量行数符合所述数据量行数的第一阈值时，将所述目标数据标记为异常数据，对所述异常数据进行预警类型归类，则该预警类型属于单表预警对应的自定义计数预警类型；另外，还可以限制数据求和结果的第二阈值，对属于源数据库中单表无关联的业务数据表对应的目标数据进行数据求和，当所述目标数据对应的数据求和的结果符合所述第二的阈值时，将所述目标数据标记为异常数据，对所述异常数据进行预警类型归类，则该预警类型属于单表预警对应的自定义求和预警类型。
可选地，在一些实施例中，所述步骤S440具体包括以下步骤：
S441、配置源表以及目标表信息。
S442、通过设置日期范围对所述第三业务数据进行限制；
具体地，通过设置日期范围，对第三业务数据进行限制，将符合该日期范围的第三业务数据筛选出来。
S443、构造SQL校验规则、比值上限以及比值下限。
S444、通过所述比值上限以及所述比值下限控制所述源表对应的SQL以及所述目标表对应的SQL运行得到的结果允许的比值范围。
S445、根据所述SQL校验规则判断所述第三业务数据是否符合预警条件。
可选地，在一些实施例中，所述步骤S500具体包括以下步骤：
S510、获取所述符合预警条件的各个业务数据对应的业务数据表的源主键以及数据中台对应的表的目标主键，将所述源主键与所述目标主键进行比对处理，得到比对结果。
S520、根据所述比对结果，若所述目标主键对应的数据中存在冗余数据，则执行第一修复任务；
具体地，所述第一修复任务包括自动删除所述冗余数据。
S530、根据所述比对结果，若所述目标主键对应的数据中存在缺失数据，则执行第二修复任务；
具体地，所述第二修复任务包括自动获取所述源主键对应的目标数据，将所述目标数据输入到所述数据中台。
如图3所示，本发明实施例的一种大数据质量管理方法的实施过程介绍如下：
步骤1、用户通过终端进行用户登录操作，终端可以通过网络协议与服务器建立通信连接，获取服务器中存储的数据，显示在用户界面中；
步骤2、获取数据问题报告并收集设置规则的需求，对该需求进行审核；
步骤3、根据步骤2中的需求提炼规则指标，包括梳理规则指标、确定有效指标、检核指标准确度以及衡量指标的标准；
步骤4、构建规则库，检核判断的对象的配置，设置通用规则、预设规则以及预警规则；
步骤5、装有本发明方法的计算机设备执行核查，调度步骤4中的规则库；
步骤6、通过步骤5的调度操作，获取异常数据，实现异常数据预警，将异常数据推送到异常数据界面进行展示，生成数据质量报告；
步骤7、对步骤6中对获取的异常数据进行跟踪管理，通过配置判断异常数据对应的业务数据表是否需要自动修复，若需要自动修复，则继续进行步骤8的操作，若不需要自动修复，则结束进程，同时，针对异常数据生成数据问题报告返回到步骤2中；
步骤8、根据步骤7中的异常数据，抽取源表的源主键以及目标表的目标主键进行比对处理，得到比对结果，根据比对结果对异常数据执行对应的修改任务；
步骤9、根据步骤8中的比对处理以及执行修复任务，生成历史执行任务情况的记录报告；
步骤10、将步骤9中的记录报告显示到用户界面，结束进程。
本发明还提供了一种大数据质量管理装置，包括：
第一模块，用于显示用户界面，所述用户界面包括编辑控制组件以及处理控制组件；
第二模块，用于通过所述编辑控制组件，触发自定义规则模板进程，建立目标预警规则；
第三模块，用于通过所述处理控制组件，触发核查进程对目标数据进行核查处理，根据所述目标预警规则，判断所述目标数据是否符合预警条件；
第四模块，用于通过所述处理控制组件，触发比对修复进程，对符合预警条件的各个业务数据对应的业务数据表进行比对处理并执行修复任务。
本发明实施例还提供了一种电子设备，该电子设备包括处理器以及存储器；存储器存储有程序；处理器执行程序以执行前述的大数据质量管理方法；该电子设备具有搭载并运行本发明实施例提供的业务数据处理的软件系统的功能，例如，个人计算机(PersonalComputer，PC)、手机、智能手机、个人数字助手(Personal Digital Assistant，PDA)、可穿戴设备、掌上电脑PPC(Pocket PC)、平板电脑、车载终端等。
本发明实施例还提供了一种计算机可读存储介质，存储介质存储有程序，所述程序被处理器执行实现前述的大数据质量管理方法。
本发明实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前述的大数据质量管理方法。
综上所述，本本发明实施例的一种大数据质量管理方法具有以下优点：
1、本发明通过设置预警规则进行异常数据预警，能使数据管理效率更高，及时发现数据问题，避免源数据库与数据中台中的数据不匹配，从而提升数据的可信度；
2、本发明可以将数据以及数据质量报告等可视化，使数据以及存在的数据问题能更直观地展示到界面中。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)、便携式计算机盘盒(磁装置)、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编辑只读存储器(EPROM或闪速存储器)、光纤装置以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种大数据质量管理方法，其特征在于，
显示用户界面，所述用户界面包括编辑控制组件以及处理控制组件；
通过所述编辑控制组件，触发自定义规则模板进程，建立目标预警规则；
通过所述处理控制组件，触发核查进程对目标数据进行核查处理，根据所述目标预警规则，判断所述目标数据是否符合预警条件；
通过所述处理控制组件，触发比对修复进程，对符合预警条件的各个业务数据对应的业务数据表进行比对处理并执行修复任务。
2.根据权利要求1所述的一种大数据质量管理方法，其特征在于，所述目标预警规则包括趋势预警规则、单表预警规则以及多表关联预警规则，所述通过所述编辑控制组件，触发自定义规则模板进程，建立目标预警规则，包括：
通过所述编辑控制组件，触发自定义规则模板进程调用查询接口，获取源数据库中的业务数据表；
对所述业务数据表中的目标数据进行数据规则定义，建立目标预警规则。
3.根据权利要求2所述的一种大数据质量管理方法，其特征在于，所述目标数据包括第一业务数据、第二业务数据以及第三业务数据，所述对所述业务数据表中的目标数据进行数据规则定义，包括：
对包括日期格式、数字类型、字符串长度阈值以及字段类型设置对应的通用规则，构造通用的处理规则模板；
结合所述通用的处理规则模板，对所述业务数据表以及所述业务数据表中的目标数据设置预设规则。
4.根据权利要求3述的一种大数据质量管理方法，其特征在于，所述通过所述处理控制组件，触发核查进程对目标数据进行核查处理，根据所述目标预警规则，判断所述目标数据是否符合预警条件，包括：
通过所述处理控制组件，调用信息传输接口，将所述趋势预警规则、所述单表预警规则、所述多表关联预警规则、所述通用的处理规则模板以及所述预设规则输入到处理引擎；
通过所述处理引擎，根据所述趋势预警规则，判断所述第一业务数据是否符合预警条件；
或者，通过所述处理引擎，根据所述单表预警规则，判断所述第二业务数据是否符合预警条件；
或者，通过所述处理引擎，根据所述多表关联预警规则，判断所述第三业务数据是否符合预警条件；
将不符合预警条件的所述第一业务数据、不符合预警条件的所述第二业务数据或者不符合预警条件的所述第三业务数据输入数据仓库，将符合预警条件的所述第一业务数据、符合预警条件的所述第二业务数据或者符合预警条件的所述第三业务数据推送到异常数据界面，生成数据质量报告。
5.根据权利要求4所述的一种大数据质量管理方法，其特征在于，所述根据所述趋势预警规则，判断所述第一业务数据是否符合预警条件，包括：
根据所述趋势预警规则，判断当前所述第一业务数据是否比前一日的数据减少，若是，则判定所述第一业务数据符合预警条件；
或者，根据所述趋势预警规则，判断当前所述第一业务数据是否大于前一日的数据的两倍，若是，则判定所述第一业务数据符合预警条件；
或者，根据所述趋势预警规则，判断当前所述第一业务数据相较于前一日的数据是否有更新，若否，则判定所述第一业务数据符合预警条件；
或者，根据所述趋势预警规则，判断当前所述第一业务数据增量是否超过波动上限值或者低于波动下限值，若是，则判定所述第一业务数据符合预警条件。
6.根据权利要求4所述的一种大数据质量管理方法，其特征在于，所述根据所述单表预警规则，判断所述第二业务数据是否符合预警条件，包括：
结合所述预设规则，对所述第二业务数据的特殊字段进行预设规则判断，若不符合所述预设规则，则判定所述第二业务数据符合预警条件；
或者，设置统计规则，对所述第二业务数据进行统计，得到统计数据，判断所述统计数据是否符合所述统计规则，若符合，则判定所述第二业务数据符合预警条件；
或者，判断所述第二业务数据是否存在重复数据，若是，则判定所述第二业务数据符合预警条件；
或者，设置阈值范围，根据查询条件筛选出符合所述阈值范围的异常业务数据，判定所述异常业务数据符合预警条件。
7.根据权利要求4所述的一种大数据质量管理方法，其特征在于，所述根据所述多表关联预警规则，判断所述第三业务数据是否符合预警条件，包括：
配置源表以及目标表信息；
通过设置日期范围对所述第三业务数据进行限制；
构造SQL校验规则、比值上限以及比值下限；
通过所述比值上限以及所述比值下限控制所述源表对应的SQL以及所述目标表对应的SQL运行得到的结果允许的比值范围；
根据所述SQL校验规则判断所述第三业务数据是否符合预警条件。
8.根据权利要求1所述的一种大数据质量管理方法，其特征在于，所述通过所述处理控制组件，触发比对修复进程，对符合预警条件的各个业务数据对应的业务数据表进行比对处理并执行修复任务，包括：
获取所述符合预警条件的各个业务数据对应的业务数据表的源主键以及数据中台对应的表的目标主键，将所述源主键与所述目标主键进行比对处理，得到比对结果；
根据所述比对结果，若所述目标主键对应的数据中存在冗余数据，则执行第一修复任务；
根据所述比对结果，若所述目标主键对应的数据中存在缺失数据，则执行第二修复任务；
所述第一修复任务包括自动删除所述冗余数据；所述第二修复任务包括自动获取所述源主键对应的目标数据，将所述目标数据输入到所述数据中台。
9.一种大数据质量管理装置，其特征在于，包括：
第一模块，用于显示用户界面，所述用户界面包括编辑控制组件以及处理控制组件；
第二模块，用于通过所述编辑控制组件，触发自定义规则模板进程，建立目标预警规则；
第三模块，用于通过所述处理控制组件，触发核查进程对目标数据进行核查处理，根据所述目标预警规则，判断所述目标数据是否符合预警条件；
第四模块，用于通过所述处理控制组件，触发比对修复进程，对符合预警条件的各个业务数据对应的业务数据表进行比对处理并执行修复任务。
10.一种电子设备，其特征在于，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如权利要求1至8中任一项所述的方法。
CN202311153639.9A 2023-09-07 2023-09-07 一种大数据质量管理方法及装置 Pending CN117271485A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311153639.9A CN117271485A (zh) 2023-09-07 2023-09-07 一种大数据质量管理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311153639.9A CN117271485A (zh) 2023-09-07 2023-09-07 一种大数据质量管理方法及装置

Publications (1)

Publication Number Publication Date
CN117271485A true CN117271485A (zh) 2023-12-22

Family

ID=89199951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311153639.9A Pending CN117271485A (zh) 2023-09-07 2023-09-07 一种大数据质量管理方法及装置

Country Status (1)

Country Link
CN (1) CN117271485A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104731814A (zh) * 2013-12-23 2015-06-24 北京宸瑞科技有限公司 数据灵活比对分析系统及方法
CN106547643A (zh) * 2015-09-21 2017-03-29 阿里巴巴集团控股有限公司 异常数据的恢复方法及装置
CN110428319A (zh) * 2019-08-05 2019-11-08 深圳乐信软件技术有限公司 一种数据比对平台、方法、设备和存储介质
CN115221171A (zh) * 2022-07-22 2022-10-21 平安信托有限责任公司 异常数据智能监控方法、装置、电子设备及存储介质
CN115237636A (zh) * 2022-08-10 2022-10-25 沈阳数融科技有限公司 实时数据质量检查及修复系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104731814A (zh) * 2013-12-23 2015-06-24 北京宸瑞科技有限公司 数据灵活比对分析系统及方法
CN106547643A (zh) * 2015-09-21 2017-03-29 阿里巴巴集团控股有限公司 异常数据的恢复方法及装置
CN110428319A (zh) * 2019-08-05 2019-11-08 深圳乐信软件技术有限公司 一种数据比对平台、方法、设备和存储介质
CN115221171A (zh) * 2022-07-22 2022-10-21 平安信托有限责任公司 异常数据智能监控方法、装置、电子设备及存储介质
CN115237636A (zh) * 2022-08-10 2022-10-25 沈阳数融科技有限公司 实时数据质量检查及修复系统

Similar Documents

Publication Publication Date Title
US10275183B2 (en) System for categorical data dynamic decoding
US10019486B2 (en) Computerized system for analyzing operational event data
US20170243131A1 (en) Computerized system for simulating the likelihood of technology change incidents
US10366367B2 (en) Computerized system for evaluating and modifying technology change events
US10838969B2 (en) Computerized system for evaluating technology stability
US10275182B2 (en) System for categorical data encoding
US10223425B2 (en) Operational data processor
CN111401827B (zh) 一种桥梁病害数字化采集系统
US11528341B2 (en) Engine to propagate data across systems
US10387230B2 (en) Technical language processor administration
US20170243129A1 (en) Computerized system for evaluating the likelihood of technology change incidents
US10216798B2 (en) Technical language processor
CN112667612A (zh) 一种数据质量检核方法、装置、电子设备及存储介质
CN116384889A (zh) 基于自然语言处理技术的情报大数据智能分析方法
US10366338B2 (en) Computerized system for evaluating the impact of technology change incidents
CN112416918B (zh) 数据治理系统及其工作方法
CN116739317B (zh) 一种矿用绞车自动化管理及调度平台、方法、设备及介质
CN116823464B (zh) 数据资产管理平台、电子设备及计算机可读存储介质
CN117271485A (zh) 一种大数据质量管理方法及装置
CN114385121B (zh) 一种基于业务分层的软件设计建模方法及系统
CN115187122A (zh) 一种企业政策推演方法、装置、设备及介质
CN114004542A (zh) 一种企业任务管理方法、系统、计算机设备及存储介质
AU2020201689A1 (en) Cognitive forecasting
CN117608536B (zh) 缺口数据在线模版定制补录系统及其方法
CN116384953A (zh) 智慧工程人员大数据平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination