CN112181254A - 数据质量管理方法及装置 - Google Patents
数据质量管理方法及装置 Download PDFInfo
- Publication number
- CN112181254A CN112181254A CN202011079464.8A CN202011079464A CN112181254A CN 112181254 A CN112181254 A CN 112181254A CN 202011079464 A CN202011079464 A CN 202011079464A CN 112181254 A CN112181254 A CN 112181254A
- Authority
- CN
- China
- Prior art keywords
- management
- condition
- quality management
- task
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
- G06F9/4451—User profiles; Roaming
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请提供一种数据质量管理方法及装置,所述方法通过展示质量管理条件设置界面获取管理条件标识、管理参数和执行方式,根据所述管理条件标识、所述管理参数以及所述执行方式生成质量管理条件,并通过展示质量管理任务设置界面获取管理任务标识、管理对象标识和所述质量管理条件,根据所述管理任务标识、所述管理对象标识以及所述质量管理条件,生成质量管理任务,通过所述质量管理任务对所述管理对象标识对应的目标数据进行质量管理。所述数据质量管理方法提供了动态可视化的和便于操作的质量管理条件设置方法和质量管理任务设置方法,提高了设置数据质量管理条件的效率。
Description
技术领域
本申请涉及数据管理领域,尤其涉及一种数据质量管理方法及装置。
背景技术
随着互联网技术的快速发展,数据技术时代已经到来,在数据技术时代中,大数据是关键之一。数据的价值和战略性已经得到广泛的认可,依据大数据做出决策或进行应用开发也逐渐成为行业趋势。
数据质量是限制数据价值发挥的重要因素,低质量的数据不但不能在应用中创造价值,反而会导致资源浪费,甚至带来无法挽回的损失或灾难,因此,需要对数据质量进行管理。目前,对数据质量进行管理的方式是设置质检程序,利用质检程序对数据进行筛选;质检程序可包含多种数据质量管理条件,然而,随着数据种类和数量的增多,数据质量管理条件也在不断变化,当出现新的数据质量管理条件时,需要对整个质检程序进行重新编写、调试和更新,造成设置新数据质量管理条件的效率低下。
所以,当前对数据质量进行管理时,存在设置数据质量管理条件的过程复杂、效率低下的问题。
发明内容
本申请提供一种数据质量管理方法及装置,用于解决现有技术对数据进行质量管理时存在设置数据质量管理条件的过程复杂、效率低下的问题。
本申请实施例提供一种数据质量管理方法,其包括:
展示质量管理条件设置界面,所述质量管理条件设置界面包括基础属性设置区域、参数设置区域和参数执行区域;
通过所述基础属性设置区域获取管理条件标识,通过所述参数设置区域获取管理参数,通过所述参数执行区域获取所述管理参数对应的执行方式;
根据所述管理条件标识、所述管理参数以及所述执行方式,生成质量管理条件;
展示质量管理任务设置界面,所述质量管理任务设置界面包括任务属性设置区域和条件调用区域;
通过所述任务属性设置区域获取管理任务标识以及管理对象标识,通过所述条件调用区域获取被调用的质量管理条件;
根据所述管理任务标识、所述管理对象标识以及所述质量管理条件,生成质量管理任务;
使用所述质量管理任务对所述管理对象标识对应的目标数据进行质量管理。
同时,本申请实施例还提供一种数据质量管理装置,其包括:
第一展示模块,用于展示质量管理条件设置界面,所述质量管理条件设置界面包括基础属性设置区域、参数设置区域、参数执行区域;
第一获取模块,用于通过所述基础属性设置区域获取管理条件标识,并用于通过所述参数设置区域获取管理参数,并用于通过所述参数执行区域获取所述管理参数对应的执行方式;
第一生成模块,用于根据所述管理条件标识、所述管理参数以及所述执行方式,生成质量管理条件;
第二展示模块,用于展示质量管理任务设置界面,所述质量管理任务设置界面包括任务属性设置区域和条件调用区域;
第二获取模块,用于通过所述任务属性设置区域获取管理任务标识以及管理对象标识,并用于通过所述条件调用区域获取被调用的质量管理条件;
第二生成模块,用于根据所述管理任务标识、所述管理对象标识以及所述质量管理条件,生成质量管理任务;
执行模块,用于使用所述质量管理任务对所述管理对象标识对应的目标数据进行质量管理。
同时,本申请实施例还提供一种电子设备,包括存储器和处理器;所述存储器存储有应用程序,所述处理器用于运行所述存储器内的应用程序,以执行上述任一项所述的数据质量管理方法中的操作。
同时,本申请实施例提供一种用于数据质量管理的计算机可读存储介质,计算机可读存储介质中存储有多条指令,指令适于处理器进行加载,以执行上述数据质量管理方法中的步骤。
本申请的有益效果是:本申请实施例提供的数据质量管理方法及装置,通过展示质量管理条件设置界面获取管理条件标识、管理参数和执行方式,根据所述管理条件标识、所述管理参数以及所述执行方式生成质量管理条件,并通过展示质量管理任务设置界面获取管理任务标识、管理对象标识和所述质量管理条件,根据所述管理任务标识、所述管理对象标识以及所述质量管理条件,生成质量管理任务,通过所述质量管理任务对所述管理对象标识对应的目标数据进行质量管理。所述数据质量管理方法提供了动态可视化的和便于操作的质量管理条件设置方法和质量管理任务设置方法,解决了现有技术设置质量管理条件时操作复杂、效率低下的问题。
附图说明
下面结合附图,通过对本申请的具体实施方式详细描述,将使本申请的技术方案及其它有益效果显而易见。
图1是本申请实施例提供的数据质量管理方法的应用场景示意图;
图2是本申请实施例提供的数据质量管理方法流程图;
图3是本申请实施例提供的质量管理条件设置界面示意图;
图4是本申请实施例提供的基础属性设置区域示意图;
图5是本申请实施例提供的参数设置区域示意图;
图6是本申请实施例提供的质量管理任务设置界面示意图;
图7是本申请实施例提供的任务属性设置区域示意图;
图8是本申请实施例提供的条件调用区域示意图;
图9是本申请实施例提供的数据质量管理装置结构示意图;
图10是本申请实施例提供的计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供一种数据质量管理方法及装置,所述数据质量管理方法通过展示质量管理条件设置界面获取管理条件标识、管理参数和执行方式,根据所述管理条件标识、所述管理参数以及所述执行方式生成质量管理条件,并通过展示质量管理任务设置界面获取管理任务标识、管理对象标识和所述质量管理条件,根据所述管理任务标识、所述管理对象标识以及所述质量管理条件,生成质量管理任务,通过所述质量管理任务对所述管理对象标识对应的目标数据进行质量管理;所述数据质量管理方法提供了便于操作的质量管理条件设置方法和质量管理任务设置方法,解决了现有技术设置质量管理条件时操作复杂、效率低下的问题。
请参阅图1,图1是本申请实施例提供的数据质量管理方法的应用场景示意图。所述数据质量管理方法可以通过数据质量管理装置20来执行,所述数据质量管理方法的执行对象可以是数据库10中的数据;操作人员30可以通过对所述数据质量管理装置20的输入操作,控制数据质量管理装置20对数据库10中的数据进行质量管理,并将质量管理的结果展示给操作人员30。操作人员30通过所述数据质量管理装置20对数据量10中的数据进行质量管理的具体步骤可以是:操作人员30向数据质量管理装置20输入进行数据质量管理的配置信息,所述配置信息可以包括管理条件标识、管理参数、所述管理参数对应的执行方式、管理任务标识和管理对象标识等;数据质量管理装置20基于操作人员30输入的所述配置信息生成质量管理条件和质量管理任务;数据质量管理装置20基于所述质量管理任务从数据库10中调取相应的目标数据,并对所述目标数据进行质量管理;数据质量管理装置20将对所述目标数据进行质量管理的结果展示给操作人员30。需要说明的是,数据质量管理装置20对目标数据进行质量管理的结果包括:所述目标数据的合格率,针对所述目标数据中的不合格数据输出的预警信息。
需要说明的是,图1所示的数据质量管理方法的应用场景示意图仅仅是一个示例,本申请实施例描述的数据质量管理装置以及场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着数据质量管理的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。以下分别进行详细说明。需说明的是,以下实施例的描述顺序不作为对实施例优选顺序的限定。
请参阅图2所示,图2是本申请实施例提供的数据质量管理方法流程图。本实施例将参照图1所示的实施例对所述数据质量管理方法进行说明,所述数据质量管理方法包括以下步骤:
步骤S201,请参阅图3,展示质量管理条件设置界面,所述质量管理条件设置界面包括基础属性设置区域310、参数设置区域320和参数执行区域330。
具体地,通过所述数据质量管理装置20展示质量管理条件设置界面。所述数据质量管理装置20可以通过展示模块展示所述质量管理条件设置界面,所述质量管理条件设置界面是一个可视化的界面,便于所述操作人员30对所述质量管理条件设置界面进行观察和操作。
可选地,所述质量管理条件设置界面还包括质量管理条件设置主题栏300,所述质量管理条件设置主题栏300是一个可选择性的功能栏,操作人员30通过对质量管理条件设置主题栏300的操作,使数据质量管理装置20展示所述质量管理条件设置界面,并具体展示基础属性设置区域310、参数设置区域320和参数执行区域330。
需要说明的是,本申请实施例对基础属性设置区域310、参数设置区域320和参数执行区域330在所述质量管理条件设置界面中的具体位置不做限制,可以根据实际需求进行自由选择。
进一步地,请参阅图4,基础属性设置区域310包括基础标识设置栏和管理条件说明栏,所述基础标识设置栏用于接收操作人员30输入的管理条件标识,所述管理条件说明栏用于接收操作人员30输入的质量管理条件说明参数。本申请实施例对所述基础标识设置栏和所述管理条件说明栏在基础属性设置区域310中的具体位置不做限制,可以根据实际需求进行自由选择。
进一步地,请参阅图5,所述参数设置区域320包括参数标识设置栏、参数编码设置栏、参数类型设置栏、参数范围设置栏和管理条件说明栏;所述参数标识设置栏用于接收操作人员30输入的参数标识,所述参数编码设置栏用于接收操作人员30输入的参数编码,所述参数类型设置栏用于接收操作人员30输入的参数类型,所述参数范围设置栏用于接收操作人员30输入的参数范围,所述管理条件说明栏用于接收操作人员30输入的管理条件设置说明。本申请实施例对所述参数标识设置栏、所述参数编码设置栏、所述参数类型设置栏、所述参数范围设置栏和所述管理条件说明栏在参数设置区域320中的具体位置不做限制,可以根据实际需求进行自由选择。
进一步地,所述参数执行区域330包括执行方式配置栏,所述执行方式配置栏用于接收操作人员30输入的执行方式。
需要说明的是,本实施例以动态可视化的方式将用于生成质量管理条件的各个参数和配置条件的设置界面展示给操作人员30,操作人员30可以直接在所述质量管理条件设置界面中输入相应管理条件信息,进而生成所述质量管理条件,相较于现有技术,大大简化了设置质量管理条件的步骤和方法。
步骤S202,请参阅图3,通过所述基础属性设置区域310获取管理条件标识,通过所述参数设置区域320获取管理参数,通过所述参数执行区域330获取所述管理参数对应的执行方式。
具体地,请参阅图4,所述基础属性设置区域310包括所述基础标识设置栏和所述管理条件说明栏;所述通过基础属性设置区域310获取管理条件标识的步骤,包括:通过所述基础标识设置栏获取所述管理条件标识;通过所述管理条件说明栏获取质量管理条件说明参数。
可选地,所述管理条件标识可以是通过本方法生成的质量管理条件的名称,是所述质量管理条件的识别信息,例如:所述管理条件标识可以是“数值范围校验规则”;所述质量管理条件说明可以是对通过本方法生成的质量管理条件的功能进行说明的文字表达,以方便操作人员理解该质量管理条件,例如:所述质量管理条件说明可以是“本数值范围校验规则用于校验目标数据的数值范围是否在0-100之间”。
进一步地,请参阅图5,所述参数设置区域320包括所述参数标识设置栏、所述参数编码设置栏、所述参数类型设置栏和所述参数范围设置栏,还可以包括所述管理条件说明栏;通过所述参数设置区域320获取的所述管理参数包括参数标识、参数编码、参数类型和参数范围。所述通过参数设置区域320获取管理参数的步骤包括:通过所述参数标识设置栏获取所述参数标识;通过所述参数编码设置栏获取所述参数编码;通过所述参数类型设置栏获取所述参数类型;通过所述参数范围设置栏获取所述参数范围;还可以通过所述管理条件说明栏获取管理条件设置说明。
可选地,所述参数标识可以是所述管理参数的名称,例如可以是“数值范围规则”,所述参数标识可以使用中文表示;所述参数编码可以是所述管理参数对应的英文标识,例如可以是“age”,所述参数编码只能使用英文表示,以便于程序识别;所述参数类型可以是所述管理参数对应的数据类型,例如可以是“int”,说明所述管理参数是数值型数据;所述参数范围可以是所述管理参数的预设范围,例如可以是“0-100”,说明所述管理参数只有在0-100之间才符合要求;所述管理条件设置说明可以是设置所述管理参数的方法说明或要求说明。
进一步地,所述参数执行区域330包括执行方式配置栏;所述通过参数执行区域330获取所述管理参数对应的执行方式的步骤包括:通过所述执行方式配置栏获取所述执行方式。可选地,所述执行方式可以是一个Groove脚本程序,所述Groove脚本程序中设置有与所述管理参数对应的参数代码。所述执行方式通过调用所述管理参数和待测试数据进行程序执行,以完成对所述待测试数据校验和管理。
步骤S203,根据所述管理条件标识、所述管理参数以及所述执行方式,生成质量管理条件。
需要说明的是,所述管理条件标识是所述质量管理条件的识别信息,所述管理参数是所述质量管理条件的参数范围,所述执行方式是所述质量管理条件的执行程序。所述质量管理条件可以是一个校验程度,所述质量管理条件获取待测数据后,会将所述待测数据通过所述执行方式与所述管理参数进行对比校验,以实现对所述待测数据的检验和管理。
可选地,所述根据所述管理条件标识、所述管理参数以及所述执行方式,生成质量管理条件的步骤之后还包括:展示条件测试界面,所述条件测试界面包括测试值设置栏、测试状态输出栏、执行结果输出栏和测试控制栏,还可以包括管理条件标识展示栏和管理参数展示栏;通过所述测试值设置栏获取测试值,所述测试值可以操作人员30输入的值;通过所述测试控制栏获取测试指令,所述测试指令可以包括“开始测试指令”和“取消测试指令”;基于所述测试指令使用所述质量管理条件对所述测试值进行测试;通过所述测试状态输出栏输出所述质量管理条件的测试状态,所述质量管理条件的测试状态可以包括“成功”和“失败”,“成功”是指所述质量管理条件正常运行,“失败”是指所述质量管理条件无法正常运行;通过所述执行结果输出栏输出所述质量管理条件对所述测试值进行测试的执行结果,所述执行结果可以包括“true”和“fault”,“true”表示所述测试值满足所述质量管理条件,“fault”表示所述测试值不满足所述质量管理条件;所述管理条件标识展示栏用于展示所述管理条件标识,所述管理参数展示栏用于展示所述管理参数或所述管理参数中的参数范围。
可选地,所述根据所述管理条件标识、所述管理参数以及所述执行方式,生成质量管理条件的步骤之后,还包括:展示质量管理条件管理界面,所述质量管理条件管理界面包括管理条件标识展示栏、编辑操作栏和删除操作栏;通过所述质量管理条件标识展示栏展示所述管理条件标识;通过所述编辑操作栏获取条件编辑指令;基于所述条件编辑指令展示所述质量管理条件设置界面,操作人员可以在所述质量管理条件设置界面对所述质量管理条件进行再次编辑;通过所述删除操作栏获取条件删除指令;基于所述条件删除指令对所述管理条件标识对应的所述质量管理条件进行删除。可选地,所述质量管理条件管理界面还可以包括质量管理条件创建信息栏、质量管理条件关联任务栏和质量管理条件使用状态栏;所述质量管理条件创建信息栏用于展示所述质量管理条件的创建信息,包括创建者编号和创建时间等;所述质量管理条件关联任务栏用于展示使用该质量管理条件的质量管理任务的数量;所述质量管理条件使用状态栏用于展示所述质量管理条件是否处于停用状态。所述质量管理条件管理界面还可以展示对所述质量管理条件进行描述的信息。
步骤S204,请参阅图6,展示质量管理任务设置界面,所述质量管理任务设置界面包括任务属性设置区域410和条件调用区域420。
具体地,通过所述数据质量管理装置20展示质量管理任务设置界面。所述数据质量管理装置20可以通过展示模块展示所述质量管理任务设置界面,所述质量管理任务设置界面是一个可视化的界面,便于所述操作人员30对所述质量管理任务设置界面进行观察和操作。
可选地,所述质量管理任务设置界面还包括质量管理任务设置主题栏400,所述质量管理任务设置主题栏400是一个可选择性的功能栏,操作人员30通过对质量管理任务设置主题栏400的操作,使数据质量管理装置20展示所述质量管理任务设置界面,并具体展示任务属性设置区域410和条件调用区域420。
需要说明的是,本申请实施例对任务属性设置区域410和条件调用区域420在所述质量管理任务设置界面中的具体位置不做限制,可以根据实际需求进行自由选择。
进一步地,请参阅图7,任务属性设置区域410包括任务标识设置栏、管理对象设置栏、管理范围设置栏和管理任务说明栏;所述任务标识设置栏用于接收操作人员30输入的管理任务标识;所述管理对象设置栏用于接收操作人员30输入的管理对象路径,所述管理对象路径可以指向所述数据库10中的具体的数据或数据集;所述管理范围设置栏用于接收操作人员30输入的数据管理范围,具体可以是所述数据集中的某一段数据;所述管理任务说明栏用于接收操作人员30输入的质量管理任务说明参数。本申请实施例对所述任务标识设置栏、所述管理对象设置栏、所述管理范围设置栏和所述管理任务说明栏在任务属性设置区域410中的具体位置不做限制,可以根据实际需求进行自由选择。
进一步地,请参阅图8,所述条件调用区域420包括目标数据设置栏和管理条件调用栏,还可以包括参数配置栏和配置操作栏;所述目标数据设置栏用于接收操作人员30输入的目标数据标识,通过所述目标数据标识可以从数据库10中找到对应的目标数据;所述管理条件调用栏用于接收操作人员30输入的管理条件标识,通过所述管理条件标识可以调用对应的质量管理条件;所述参数配置栏用于展示所述质量管理条件对应的管理参数;所述配置操作栏用于接收操作人员30输入的操作信息,所述操作信息可以包括编辑操作和删除操作,所述编辑操作用于对所述条件调用区域420进行再次编辑,所述删除操作用于删除所述条件调用区域420内的已输入项。
需要说明的是,本实施例以动态可视化的方式将用于生成质量管理任务的各个参数和配置条件的设置界面展示给操作人员30,操作人员30可以直接在所述质量管理任务设置界面中输入相应管理任务信息,进而生成所述质量管理任务,相较于现有技术,大大简化了配置质量管理任务的步骤和方法。
步骤S205,请参阅图6,通过所述任务属性设置区域410获取管理任务标识以及管理对象标识,通过所述条件调用区域420获取被调用的质量管理条件。
具体地,请参阅图7,所述任务属性设置区域410包括所述任务标识设置栏、所述管理对象设置栏、所述管理范围设置栏和所述管理任务说明栏;所述通过任务属性设置区域410获取管理任务标识以及管理对象标识的步骤,包括:通过所述任务标识设置栏获取所述管理任务标识;通过所述管理对象设置栏获取所述管理对象标识;通过所述管理范围设置栏获取所述管理对象标识对应的目标数据的管理范围;通过所述管理任务说明栏获取质量管理任务说明。
进一步地,请参阅图8,所述条件调用区域420包括所述目标数据设置栏和所述管理条件调用栏,还可以包括所述参数配置栏和所述配置操作栏;所述通过条件调用区域420获取被调用的质量管理条件的步骤,包括:通过所述目标数据设置栏获取所述管理对象标识对应的目标数据标识,通过所述目标数据标识可以从数据库10中找到对应的目标数据;通过所述管理条件调用栏调取所述质量管理条件标识,通过所述管理条件标识可以调用对应的质量管理条件;通过所述参数配置栏展示所述质量管理条件对应的管理参数;通过所述配置操作栏接收操作信息,所述操作信息可以包括编辑操作和删除操作,所述编辑操作用于对所述条件调用区域420进行再次编辑,所述删除操作用于删除所述条件调用区域420内的已输入项。
步骤S206,根据所述管理任务标识、所述管理对象标识以及所述质量管理条件,生成质量管理任务。
需要说明的是,所述管理任务标识是所述质量管理任务的识别信息,所述管理对象标识是需要进行数据质量管理的目标数据的识别信息,所述质量管理条件是采用上述方法生成的质量管理条件。所述质量管理条件可以是一个包含质量管理对象和质量管理条件的校验程度,以实现对所述质量管理对象的检验和管理。
可选地,所述根据所述管理任务标识、所述管理对象标识以及所述质量管理条件,生成质量管理任务的步骤之后还包括:展示质量管理任务管理界面,所述质量管理任务管理界面包括管理任务标识展示栏和管理任务操作栏,还可以包括执行信息栏和执行状态栏,所述执行信息栏用于展示所述质量管理任务的运行模式、运行周期和操作人员等信息,所述执行状态栏用于展示所述质量管理任务的运行状态;通过所述管理任务标识展示栏展示所述管理任务标识;通过所述管理任务操作栏获取任务编辑指令;基于所述任务编辑指令展示所述质量管理任务设置界面,进而可以对所述质量管理任务进行再次编辑;通过所述管理任务操作栏获取任务删除指令;基于所述任务删除指令删除所述管理任务标识对应的所述质量管理任务。
步骤S207,使用所述质量管理任务对所述管理对象标识对应的目标数据进行质量管理。
需要说明的是,对所述目标数据进行质量管理包括使用所述质量管理条件对所述目标数据的合格率进行分析,并输出合格率的统计信息,如合格率变化趋势图等,还包括对不符合所述质量管理条件的所述目标数据发出预警信息,以提示操作人员采取下一步操作。通过上述方法可以实现对目标数据的数据质量的判断和预警,以便于操作人员采取合理措施。
综上所述,本申请实施例提供的数据质量管理方法,通过展示质量管理条件设置界面获取管理条件标识、管理参数和执行方式,根据所述管理条件标识、所述管理参数以及所述执行方式生成质量管理条件,并通过展示质量管理任务设置界面获取管理任务标识、管理对象标识和所述质量管理条件,根据所述管理任务标识、所述管理对象标识以及所述质量管理条件,生成质量管理任务,通过所述质量管理任务对所述管理对象标识对应的目标数据进行质量管理;所述数据质量管理方法提供了动态可视化的和便于操作的质量管理条件设置方法和质量管理任务设置方法,解决了现有技术设置质量管理条件时操作复杂、效率低下的问题。
基于上述数据质量管理方法,本申请实施例还提供一种数据质量管理装置。请参阅图9和图1所示,其中图9是本申请实施例提供的数据质量管理装置20的结构示意图。所述数据质量管理装置20包括第一展示模块201、第一获取模块202、第一生成模块203、第二展示模块204、第二获取模块205、第二生成模块206和执行模块207。
所述第一展示模块201用于展示质量管理条件设置界面,所述质量管理条件设置界面包括基础属性设置区域、参数设置区域、参数执行区域。
所述第一获取模块202用于通过所述基础属性设置区域获取管理条件标识,并用于通过所述参数设置区域获取管理参数,并用于通过所述参数执行区域获取所述管理参数对应的执行方式。
所述第一生成模块203用于根据所述管理条件标识、所述管理参数以及所述执行方式,生成质量管理条件。
所述第二展示模块204用于展示质量管理任务设置界面,所述质量管理任务设置界面包括任务属性设置区域和条件调用区域。
所述第二获取模块205用于通过所述任务属性设置区域获取管理任务标识以及管理对象标识,并用于通过所述条件调用区域获取被调用的质量管理条件。
所述第二生成模块206用于根据所述管理任务标识、所述管理对象标识以及所述质量管理条件,生成质量管理任务。
所述执行模块207用于使用所述质量管理任务对所述管理对象标识对应的目标数据进行质量管理。
在一种实施例中,所述基础属性设置区域包括基础标识设置栏和管理条件说明栏,所述第一获取模块202用于通过所述基础标识设置栏获取所述管理条件标识,并用于通过所述管理条件说明栏获取质量管理条件说明参数。
在一种实施例中,所述参数设置区域包括参数标识设置栏、参数编码设置栏、参数类型设置栏和参数范围设置栏,所述管理参数包括参数标识、参数编码、参数类型和参数范围;所述第一获取模块202用于通过所述参数标识设置栏获取所述参数标识,还用于通过所述参数编码设置栏获取所述参数编码,还用于通过所述参数类型设置栏获取所述参数类型,还用于通过所述参数范围设置栏获取所述参数范围。
在一种实施例中,所述参数执行区域包括执行方式配置栏,所述第一获取模块202还用于通过所述执行方式配置栏获取所述执行方式。
在一种实施例中,所述任务属性设置区域包括任务标识设置栏、管理对象设置栏、管理范围设置栏和管理任务说明栏;所述第二获取模块205用于通过所述任务标识设置栏获取所述管理任务标识,还用于通过所述管理对象设置栏获取所述管理对象标识,还用于通过所述管理范围设置栏获取所述管理对象标识对应的目标数据的管理范围;还用于通过所述管理任务说明栏获取质量管理任务说明参数。
在一种实施例中,所述条件调用区域包括目标数据设置栏和管理条件调用栏;所述第二获取模块还用于通过所述目标数据设置栏获取所述管理对象标识对应的目标数据标识,还用于通过所述管理条件调用栏调取所述质量管理条件标识。
在一种实施例中,所述数据质量管理装置还包括测试控制模块;所述测试控制模块用于展示条件测试界面,所述条件测试界面包括测试值设置栏、测试状态输出栏、执行结果输出栏和测试控制栏;所述测试控制模块还用于通过所述测试值设置栏获取测试值,通过所述测试控制栏获取测试指令,基于所述测试指令使用所述质量管理条件对所述测试值进行测试,通过所述测试状态输出栏输出所述质量管理条件的测试状态,并通过所述执行结果输出栏输出所述质量管理条件对所述测试值进行测试的执行结果。
在一种实施例中,所述数据质量管理装置还包括条件管理模块;所述条件管理模块用于展示质量管理条件管理界面,所述质量管理条件管理界面包括管理条件标识展示栏、编辑操作栏和删除操作栏;所述条件管理模块还用于通过所述质量管理条件标识展示栏展示所述管理条件标识,通过所述编辑操作栏获取条件编辑指令,基于所述条件编辑指令展示所述质量管理条件设置界面,通过所述删除操作栏获取条件删除指令,基于所述条件删除指令对所述管理条件标识对应的所述质量管理条件进行删除。
在一种实施例中,所述数据质量管理装置还包括任务管理模块;所述任务管理模块用于展示质量管理任务管理界面,所述质量管理任务管理界面包括管理任务标识展示栏和管理任务操作栏;所述任务管理模块还用于通过所述管理任务标识展示栏展示所述管理任务标识,通过所述管理任务操作栏获取任务编辑指令,基于所述任务编辑指令展示所述质量管理任务设置界面,通过所述管理任务操作栏获取任务删除指令,基于所述任务删除指令删除所述管理任务标识对应的所述质量管理任务。
本申请实施例还提供了一种计算机设备,该计算机设备可以包括上述实施例提供的数据质量管理装置,其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现上述实施例所述的交管数据处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图10中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以实现以下功能:
展示质量管理条件设置界面,所述质量管理条件设置界面包括基础属性设置区域、参数设置区域和参数执行区域;通过所述基础属性设置区域获取管理条件标识,通过所述参数设置区域获取管理参数,通过所述参数执行区域获取所述管理参数对应的执行方式;根据所述管理条件标识、所述管理参数以及所述执行方式,生成质量管理条件;展示质量管理任务设置界面,所述质量管理任务设置界面包括任务属性设置区域和条件调用区域;通过所述任务属性设置区域获取管理任务标识以及管理对象标识,通过所述条件调用区域获取被调用的质量管理条件;根据所述管理任务标识、所述管理对象标识以及所述质量管理条件,生成质量管理任务;使用所述质量管理任务对所述管理对象标识对应的目标数据进行质量管理。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令,可以执行本申请实施例所提供的任一种方法中的步骤,因此,可以实现本申请实施例所提供的任一种方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
需要说明的是,虽然本申请以具体实施例揭露如上,但上述实施例并非用以限制本申请,本领域的普通技术人员,在不脱离本申请的精神和范围内,均可作各种更动与润饰,因此本申请的保护范围以权利要求界定的范围为准。
Claims (10)
1.一种数据质量管理方法,其特征在于,包括:
展示质量管理条件设置界面,所述质量管理条件设置界面包括基础属性设置区域、参数设置区域和参数执行区域;
通过所述基础属性设置区域获取管理条件标识,通过所述参数设置区域获取管理参数,通过所述参数执行区域获取所述管理参数对应的执行方式;
根据所述管理条件标识、所述管理参数以及所述执行方式,生成质量管理条件;
展示质量管理任务设置界面,所述质量管理任务设置界面包括任务属性设置区域和条件调用区域;
通过所述任务属性设置区域获取管理任务标识以及管理对象标识,通过所述条件调用区域获取被调用的质量管理条件;
根据所述管理任务标识、所述管理对象标识以及所述质量管理条件,生成质量管理任务;
使用所述质量管理任务对所述管理对象标识对应的目标数据进行质量管理。
2.根据权利要求1所述的数据质量管理方法,其特征在于,所述基础属性设置区域包括基础标识设置栏和管理条件说明栏;所述通过基础属性设置区域获取管理条件标识的步骤,包括:
通过所述基础标识设置栏获取所述管理条件标识;
通过所述管理条件说明栏获取质量管理条件说明参数。
3.根据权利要求1所述的数据质量管理方法,其特征在于,所述参数设置区域包括参数标识设置栏、参数编码设置栏、参数类型设置栏和参数范围设置栏,所述管理参数包括参数标识、参数编码、参数类型和参数范围;所述通过参数设置区域获取管理参数的步骤,包括:
通过所述参数标识设置栏获取所述参数标识;
通过所述参数编码设置栏获取所述参数编码;
通过所述参数类型设置栏获取所述参数类型;
通过所述参数范围设置栏获取所述参数范围。
4.根据权利要求1所述的数据质量管理方法,其特征在于,所述参数执行区域包括执行方式配置栏;所述通过参数执行区域获取所述管理参数对应的执行方式的步骤,包括:
通过所述执行方式配置栏获取所述执行方式。
5.根据权利要求1所述的数据质量管理方法,其特征在于,所述任务属性设置区域包括任务标识设置栏、管理对象设置栏、管理范围设置栏和管理任务说明栏;所述通过任务属性设置区域获取管理任务标识以及管理对象标识的步骤,包括:
通过所述任务标识设置栏获取所述管理任务标识;
通过所述管理对象设置栏获取所述管理对象标识;
通过所述管理范围设置栏获取所述管理对象标识对应的目标数据的管理范围;
通过所述管理任务说明栏获取质量管理任务说明参数。
6.根据权利要求1所述的数据质量管理方法,其特征在于,所述条件调用区域包括目标数据设置栏和管理条件调用栏;所述通过条件调用区域获取被调用的质量管理条件的步骤,包括:
通过所述目标数据设置栏获取所述管理对象标识对应的目标数据标识;
通过所述管理条件调用栏调取所述质量管理条件标识。
7.根据权利要求1所述的数据质量管理方法,其特征在于,所述根据所述管理条件标识、所述管理参数以及所述执行方式,生成质量管理条件的步骤之后,还包括:
展示条件测试界面,所述条件测试界面包括测试值设置栏、测试状态输出栏、执行结果输出栏和测试控制栏;
通过所述测试值设置栏获取测试值;
通过所述测试控制栏获取测试指令;
基于所述测试指令使用所述质量管理条件对所述测试值进行测试;
通过所述测试状态输出栏输出所述质量管理条件的测试状态;
通过所述执行结果输出栏输出所述质量管理条件对所述测试值进行测试的执行结果。
8.根据权利要求1所述的数据质量管理方法,其特征在于,所述根据所述管理条件标识、所述管理参数以及所述执行方式,生成质量管理条件的步骤之后,还包括:
展示质量管理条件管理界面,所述质量管理条件管理界面包括管理条件标识展示栏、编辑操作栏和删除操作栏;
通过所述质量管理条件标识展示栏展示所述管理条件标识;
通过所述编辑操作栏获取条件编辑指令;
基于所述条件编辑指令展示所述质量管理条件设置界面;
通过所述删除操作栏获取条件删除指令;
基于所述条件删除指令对所述管理条件标识对应的所述质量管理条件进行删除。
9.根据权利要求1所述的数据质量管理方法,其特征在于,所述根据所述管理任务标识、所述管理对象标识以及所述质量管理条件,生成质量管理任务的步骤之后,还包括:
展示质量管理任务管理界面,所述质量管理任务管理界面包括管理任务标识展示栏和管理任务操作栏;
通过所述管理任务标识展示栏展示所述管理任务标识;
通过所述管理任务操作栏获取任务编辑指令;
基于所述任务编辑指令展示所述质量管理任务设置界面;
通过所述管理任务操作栏获取任务删除指令;
基于所述任务删除指令删除所述管理任务标识对应的所述质量管理任务。
10.一种数据质量管理装置,其特征在于,包括:
第一展示模块,用于展示质量管理条件设置界面,所述质量管理条件设置界面包括基础属性设置区域、参数设置区域、参数执行区域;
第一获取模块,用于通过所述基础属性设置区域获取管理条件标识,并用于通过所述参数设置区域获取管理参数,并用于通过所述参数执行区域获取所述管理参数对应的执行方式;
第一生成模块,用于根据所述管理条件标识、所述管理参数以及所述执行方式,生成质量管理条件;
第二展示模块,用于展示质量管理任务设置界面,所述质量管理任务设置界面包括任务属性设置区域和条件调用区域;
第二获取模块,用于通过所述任务属性设置区域获取管理任务标识以及管理对象标识,并用于通过所述条件调用区域获取被调用的质量管理条件;
第二生成模块,用于根据所述管理任务标识、所述管理对象标识以及所述质量管理条件,生成质量管理任务;
执行模块,用于使用所述质量管理任务对所述管理对象标识对应的目标数据进行质量管理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011079464.8A CN112181254A (zh) | 2020-10-10 | 2020-10-10 | 数据质量管理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011079464.8A CN112181254A (zh) | 2020-10-10 | 2020-10-10 | 数据质量管理方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112181254A true CN112181254A (zh) | 2021-01-05 |
Family
ID=73947509
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011079464.8A Pending CN112181254A (zh) | 2020-10-10 | 2020-10-10 | 数据质量管理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112181254A (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110138312A1 (en) * | 2009-12-07 | 2011-06-09 | Yeh Peter Zei-Chan | Method and system for accelerated data quality enhancement |
CN102915237A (zh) * | 2011-06-30 | 2013-02-06 | 国际商业机器公司 | 根据用户应用程序要求改写数据质量规则的方法和系统 |
US20140365967A1 (en) * | 2013-06-05 | 2014-12-11 | Tencent Technology (Shenzhen) Company Limited | Method and device for data screening |
US20160342629A1 (en) * | 2013-07-05 | 2016-11-24 | Palantir Technologies, Inc. | System and method for data quality monitors |
CN109299169A (zh) * | 2018-10-24 | 2019-02-01 | 中国平安人寿保险股份有限公司 | 数据可视化方法、系统、终端及计算机可读存储介质 |
US10268711B1 (en) * | 2016-01-26 | 2019-04-23 | Amazon Technologies, Inc. | Identifying and resolving data quality issues amongst information stored across multiple data sources |
CN111125153A (zh) * | 2019-12-26 | 2020-05-08 | 腾讯科技(深圳)有限公司 | 对象管理方法、装置、客户端及介质 |
CN111325463A (zh) * | 2020-02-18 | 2020-06-23 | 深圳前海微众银行股份有限公司 | 数据质量检测方法、装置、设备及计算机可读存储介质 |
US20200249860A1 (en) * | 2019-02-04 | 2020-08-06 | EMC IP Holding Company LLC | Optmizing metadata management in data deduplication |
-
2020
- 2020-10-10 CN CN202011079464.8A patent/CN112181254A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110138312A1 (en) * | 2009-12-07 | 2011-06-09 | Yeh Peter Zei-Chan | Method and system for accelerated data quality enhancement |
CN102915237A (zh) * | 2011-06-30 | 2013-02-06 | 国际商业机器公司 | 根据用户应用程序要求改写数据质量规则的方法和系统 |
US20140365967A1 (en) * | 2013-06-05 | 2014-12-11 | Tencent Technology (Shenzhen) Company Limited | Method and device for data screening |
US20160342629A1 (en) * | 2013-07-05 | 2016-11-24 | Palantir Technologies, Inc. | System and method for data quality monitors |
US10268711B1 (en) * | 2016-01-26 | 2019-04-23 | Amazon Technologies, Inc. | Identifying and resolving data quality issues amongst information stored across multiple data sources |
CN109299169A (zh) * | 2018-10-24 | 2019-02-01 | 中国平安人寿保险股份有限公司 | 数据可视化方法、系统、终端及计算机可读存储介质 |
US20200249860A1 (en) * | 2019-02-04 | 2020-08-06 | EMC IP Holding Company LLC | Optmizing metadata management in data deduplication |
CN111125153A (zh) * | 2019-12-26 | 2020-05-08 | 腾讯科技(深圳)有限公司 | 对象管理方法、装置、客户端及介质 |
CN111325463A (zh) * | 2020-02-18 | 2020-06-23 | 深圳前海微众银行股份有限公司 | 数据质量检测方法、装置、设备及计算机可读存储介质 |
Non-Patent Citations (2)
Title |
---|
吴双双: "数据质量管理系统分析与设计", 《HTTP://WWW.DOC88.COM/P-0764364346039.HTML》 * |
微众开源: "Qualitis数据质量管理系统,让异常数据无处藏身", 《HTTPS://MY.OSCHINA.NET/WEBANK/BLOG/4407504》 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109302522B (zh) | 测试方法、装置以及计算机系统和介质 | |
CN107506300B (zh) | 一种用户界面测试方法、装置、服务器和存储介质 | |
CN110647471B (zh) | 接口测试用例生成方法、电子装置及存储介质 | |
CN113377614B (zh) | 调用链信息的生成方法、装置、电子设备及存储介质 | |
CN111797026A (zh) | 测试用例生成方法、装置、计算机设备及存储介质 | |
CN104156305A (zh) | 一种应用程序测试方法及装置 | |
JP6891780B2 (ja) | ソフトウェア品質判定装置、ソフトウェア品質判定方法、及びソフトウェア品質判定プログラム | |
CN114238134A (zh) | 一种测试结果展示方法、装置、设备及存储介质 | |
CN112613275B (zh) | 单据生成方法、装置、计算机设备和存储介质 | |
CN110908899A (zh) | 应用程序的调试方法、移动终端及计算机可读存储介质 | |
CN113918864A (zh) | 网站页面的测试方法、测试系统、装置、电子设备及介质 | |
CN112685023A (zh) | 基于基础库的前端开发处理方法、装置、设备和存储介质 | |
CN111767218A (zh) | 一种用于持续集成的自动化测试方法、设备及存储介质 | |
CN112181254A (zh) | 数据质量管理方法及装置 | |
CN113282476B (zh) | 接口性能测试方法、装置和电子设备 | |
CN111858302B (zh) | 小程序的测试方法、装置、电子设备及存储介质 | |
CN113900932A (zh) | 测试脚本生成方法、装置、介质及电子设备 | |
CN111143227B (zh) | 一种数据操作方法、装置、终端及存储介质 | |
CN111159027B (zh) | 自动化测试方法、装置、计算机设备和可读存储介质 | |
CN113220586A (zh) | 一种自动化的接口压力测试执行方法、装置和系统 | |
CN112765018A (zh) | 一种仪器仪表调试系统及方法 | |
CN111190574A (zh) | 多级联动组件的选项选择方法、装置、设备和存储介质 | |
CN116610557B (zh) | 动作绑定信息排错方法、装置、存储介质及电子设备 | |
US12001323B2 (en) | Test recorder for API unit testing | |
CN111026650B (zh) | 软件测试的方法、装置、存储介质和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210105 |