CN110262973B - 数据养成维护方法、装置、设备及计算机存储介质 - Google Patents
数据养成维护方法、装置、设备及计算机存储介质 Download PDFInfo
- Publication number
- CN110262973B CN110262973B CN201910520757.6A CN201910520757A CN110262973B CN 110262973 B CN110262973 B CN 110262973B CN 201910520757 A CN201910520757 A CN 201910520757A CN 110262973 B CN110262973 B CN 110262973B
- Authority
- CN
- China
- Prior art keywords
- data
- action
- execution
- product
- acquiring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012423 maintenance Methods 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 230000009471 action Effects 0.000 claims abstract description 212
- 238000012545 processing Methods 0.000 claims abstract description 64
- 238000009826 distribution Methods 0.000 claims abstract description 58
- 238000012360 testing method Methods 0.000 claims abstract description 48
- 238000007405 data analysis Methods 0.000 claims abstract description 19
- 238000011161 development Methods 0.000 claims abstract description 14
- 235000016709 nutrition Nutrition 0.000 claims description 19
- 230000035764 nutrition Effects 0.000 claims description 19
- 235000015097 nutrients Nutrition 0.000 claims description 14
- 230000001502 supplementing effect Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 4
- 239000000047 product Substances 0.000 description 126
- 230000008569 process Effects 0.000 description 14
- 238000007726 management method Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 238000013523 data management Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/03—Credit; Loans; Processing thereof
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Finance (AREA)
- Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- General Physics & Mathematics (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Hardware Design (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及金融科技(Fintech)技术领域,并公开了一种数据养成维护方法,该方法包括:对线上产品的各产品存量数据进行数据分析,以获取各产品存量数据的数据形态分布;基于数据形态分布确定数据形态模型和执行动作模型,并基于数据形态模型和执行动作模型确定各产品存量数据对应的动作执行序列;获取各产品存量数据对应的生命周期规划,并基于生命周期规则和各动作执行序列依次获取数据形态分布中各数据形态对应的批次计划;基于批次计划和动作执行序列对各产品存量数据进行养数处理,并基于养数处理结果对目标环境进行数据测试。本发明还公开了一种数据养成维护装置、设备和一种计算机存储介质。本发明提高了数据测试的智能性。
Description
技术领域
本发明涉及金融科技(Fintech)技术领域,尤其涉及数据养成维护方法、装置、设备及计算机存储介质。
背景技术
随着计算机技术的发展,越来越多的技术(大数据、分布式、区块链Blockchain、人工智能等)应用在金融领域,传统金融业正在逐步向金融科技(Fintech)转变,但由于金融行业的安全性、实时性要求,也对技术提出了更高的要求。例如,在大数据中,尤其是对金融类产品的数据进行数据测试时,目前基本上是按照每个金融类产品版本的功能逻辑变动,整理与之对应的测试案例和回归测试案例;并且是人工制定模拟实际贷款产品生命周期的批次计划,并将制定好的批次计划运行批量,在每个批量完成后,人工通过前端业务系统或者调用接口的方式进行整理,并且是人工对数据进行识别和使用的,整个测试过程非常依赖人工执行,智能性很低。因此,如何提高对数据测试的智能性成为目前亟待解决的技术问题。
发明内容
本发明的主要目的在于提出一种数据养成维护方法、装置、设备及计算机存储介质,旨在提高对数据测试的智能性。
为实现上述目的,本发明提供一种数据养成维护方法,所述数据养成维护方法包括如下步骤:
对线上产品的各产品存量数据进行数据分析,以获取各所述产品存量数据的数据形态分布;
基于所述数据形态分布确定数据形态模型和执行动作模型,并基于所述数据形态模型和执行动作模型确定各所述产品存量数据对应的动作执行序列;
获取各所述产品存量数据对应的生命周期规划,并基于所述生命周期规则和各所述动作执行序列依次获取所述数据形态分布中各数据形态对应的批次计划;
基于所述批次计划和所述动作执行序列对各所述产品存量数据进行养数处理,并基于所述养数处理结果对目标环境进行数据测试。
可选地,所述基于所述数据形态分布确定数据形态模型的步骤,包括:
获取各产品存量数据的产品属性,并基于所述产品属性和所述数据形态分布中的根节点确定形态节点;
基于所述形态节点对各所述数据形态进行分组归类,以获取数据形态模型。
可选地,所述基于所述数据形态分布确定执行动作模型的步骤,包括:
获取所述数据形态分布中的数据形态对应的各系统动作,并基于各所述系统动作获取各执行动作;
获取预设的调用参数,通过所述调用参数对各所述执行动作进行调试,以获取执行动作模型。
可选地,所述基于各所述系统动作获取各执行动作的步骤,包括:
依次遍历各所述数据形态,获取当前遍历的数据形态对应的操作配置,将所述当前遍历的数据形态对应的系统动作和所述操作配置进行组合,并将所述组合结果作为执行动作,直至各所述数据形态遍历完成。
可选地,所述基于所述数据形态模型和执行动作模型确定各所述产品存量数据对应的动作执行序列的步骤,包括:
根据所述数据形态模型依次遍历各所述产品存量数据,获取当前遍历的产品存量数据的养数场景,并在所述执行动作模型中确定当前遍历的产品存量数据对应的关联动作;
在所述养数场景中对所述关联动作进行映射以形成动作执行序列,直至各所述产品存量数量遍历完成。
可选地,所述养数处理包括养数执行计划,所述基于所述批次计划和所述动作执行序列对各所述产品存量数据进行养数处理的步骤,包括:
基于所述批次计划和所述动作执行序列计算养数执行计划;
获取预设的环境信息和关联信号,并基于所述环境信息和所述关联信号执行所述养数执行计划。
可选地,所述基于所述养数处理结果对目标环境进行数据测试的步骤,包括:
确定目标环境是否为小概率场景,若目标环境是小概率场景,则获取预存的存量数据包;
获取处理结果对应的全量数据包,并将所述存量数据包补充到所述全量数据包中,以获得更新后的养数处理结果;
基于更新后的养数处理结果对目标环境进行数据测试。
此外,为实现上述目的,本发明还提供一种数据养成维护装置,所述数据养成维护装置包括:
分析模块,用于对线上产品的各产品存量数据进行数据分析,以获取各所述产品存量数据的数据形态分布;
确定模块,用于基于所述数据形态分布确定数据形态模型和执行动作模型,并基于所述数据形态模型和执行动作模型确定各所述产品存量数据对应的动作执行序列;
获取模块,用于获取各所述产品存量数据对应的生命周期规划,并基于所述生命周期规则和各所述动作执行序列依次获取所述数据形态分布中各数据形态对应的批次计划;
测试模块,用于基于所述批次计划和所述动作执行序列对各所述产品存量数据进行养数处理,并基于所述养数处理结果对目标环境进行数据测试。
可选地,所述确定模块,还用于:
获取各产品存量数据的产品属性,并基于所述产品属性和所述数据形态分布中的根节点确定形态节点;
基于所述形态节点对各所述数据形态进行分组归类,以获取数据形态模型。
可选地,所述确定模块,还用于:
获取所述数据形态分布中的数据形态对应的各系统动作,并基于各所述系统动作获取各执行动作;
获取预设的调用参数,通过所述调用参数对各所述执行动作进行调试,以获取执行动作模型。
可选地,所述确定模块,还用于:
依次遍历各所述数据形态,获取当前遍历的数据形态对应的操作配置,将所述当前遍历的数据形态对应的系统动作和所述操作配置进行组合,并将所述组合结果作为执行动作,直至各所述数据形态遍历完成。
可选地,所述确定模块,还用于:
根据所述数据形态模型依次遍历各所述产品存量数据,获取当前遍历的产品存量数据的养数场景,并在所述执行动作模型中确定当前遍历的产品存量数据对应的关联动作;
在所述养数场景中对所述关联动作进行映射以形成动作执行序列,直至各所述产品存量数量遍历完成。
可选地,所述养数处理包括养数执行计划,所述测试模块,还用于:
基于所述批次计划和所述动作执行序列计算养数执行计划;
获取预设的环境信息和关联信号,并基于所述环境信息和所述关联信号执行所述养数执行计划。
可选地,所述测试模块,还用于:
确定目标环境是否为小概率场景,若目标环境是小概率场景,则获取预存的存量数据包;
获取养数处理结果对应的全量数据包,并将所述存量数据包补充到所述全量数据包中,以获得更新后的养数处理结果;
基于更新后的养数处理结果对目标环境进行数据测试。
此外,为实现上述目的,本发明还提供一种数据养成维护设备,所述数据养成维护设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据养成维护程序,所述数据养成维护程序被所述处理器执行时实现如上所述的数据养成维护方法的步骤。
此外,为实现上述目的,本发明还提供一种计算机存储介质,所述计算机存储介质上存储有数据养成维护程序,所述数据养成维护程序被处理器执行时实现如上所述的数据养成维护方法的步骤。
本发明通过对线上产品的各产品存量数据进行数据分析,以获取各所述产品存量数据的数据形态分布;基于各所述数据形态分布确定数据形态模型和执行动作模型,并基于所述数据形态模型和执行动作模型确定各所述产品存量数据对应的动作执行序列;获取各所述产品存量数据对应的生命周期规划,并基于所述生命周期规则和各所述动作执行序列依次获取所述数据形态分布中各数据形态对应的批次计划;基于所述批次计划和所述动作执行序列对各所述产品存量数据进行养数处理,并基于所述养数处理结果对目标环境进行数据测试。通过对线上存量的数据进行数据分析,确定各个数据形态分布,从而保障了测试数据的全面性,并且由于是根据数据形态模型和执行动作模型确定动作执行序列,并根据动作执行序列和批次计划进行养数处理,减少了人工干涉处理,节省了人力成本,并由于是直接根据养数处理结果对目标环境进行数据测试,从而也提高了对数据测试的智能性。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图;
图2为本发明数据养成维护方法第一实施例的流程示意图;
图3为本发明数据养成维护装置的装置模块示意图;
图4为本发明数据养成维护方法中获取数据形态分布的流程示意图;
图5为本发明数据养成维护方法的流程示意图;
图6为本发明数据养成维护方法中获取数据形态模型的流程示意图;
图7为本发明数据养成维护方法中获取执行动作模型的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。
本发明实施例数据养成维护设备可以是PC机或服务器设备,其上运行有Java虚拟机。
如图1所示,该数据养成维护设备可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的设备结构并不构成对设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及数据养成维护程序。
在图1所示的设备中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的数据养成维护程序,并执行下述数据养成维护方法中的操作。
基于上述硬件结构,提出本发明数据养成维护方法实施例。
参照图2,图2为本发明数据养成维护方法第一实施例的流程示意图,所述方法包括:
步骤S10,对线上产品的各产品存量数据进行数据分析,以获取各所述产品存量数据的数据形态分布;
线上产品可以是已经投产并被用户使用的产品,而在本实施例中特指带有复杂生命周期的金融类产品。数据形态可以是产品在生命周期中所有时刻的不同状态的集合。数据分析可以是用适当的统计分析方法对收集来的大量数据进行分析,提取有用信息和形成结论,并对数据加以详细研究和概括总结的过程。对线上产品存量的数据按照各产品生命周期的特征和属性,以统计学进行定性和定量分析,产出各产品存量数据的数据形态分布。例如,如图4所示,各条线各产品均对应有一套的数据源,且不同数据源配置有单独的分析引擎,并在配置完成后,会对线上产品存量的数据进行数据收集、数据处理和数据分析,最终产出各产品的线上数据形态分布结果。其中,数据源可以是对线上产品数据形态做数据分析的大量数据来源,在本实施例中可以是准生产数据库。
步骤S20,基于所述数据形态分布确定数据形态模型和执行动作模型,并基于所述数据形态模型和执行动作模型确定各所述产品存量数据对应的动作执行序列;
当获取到数据形态分布后,以数据形态分布为基础,对不同条线、不同产品的数据进行抽象和分层,整理出适配所有条线、产品的通用化分层数据模型,构建数据形态的树状结构,即数据形态模型,并以数据形态分布为基础,对产出产品生命周期的特征/属性的数据动作进行整理和归类,产出适用各条线、各产品的通用化动作模型,即执行动作模型,以达到共用动作模型,差异化可配置的效果。并在确定数据形态模型和执行动作模型后,进行养数场景维护管理,即对养数的数据形态,按照数据形态模型和执行动作模型进行配置维护,产出每个数据形态对应的动作执行序列,也就是各个产品存量数据的动作执行序列。其中,条线可以是不同盈利模式、不同产品生态属性的产品大类。产品生命周期可以是产品的每种形态从产生到完结所经历的全部过程。养数可以是数据生产,对带有生命周期产品的数据形态进行生产构造的过程。执行动作可以是产生某种数据形态所必须经过的用户在各种媒介上的操作,如在小程序借款、在APP查询等。动作执行序列可以是日期+执行动作组成的动作在各个日期的执行计划表。
步骤S30,获取各所述产品存量数据对应的生命周期规划,并基于所述生命周期规则和各所述动作执行序列依次获取所述数据形态分布中各数据形态对应的批次计划;
批次可以是用于生命周期的系统群的逻辑处理,处理当天业务的待处理交易,而批次计划可以是执行批次的日期队列,且日期只能向前不会向后。生命周期规划可以是产品的每种形态从产生到完结所经历的全部过程的规划。在获取到各个产品存量数据的动作执行序列后,需要根据智能引擎计算各个数据形态对应的批次计划,也就是根据各条线的各产品独特的生命周期规则,根据数据形态的执行动作序列和数据形态的产出日期,自动计算产出所有数据形态的批次计划。其中,智能引擎可以是根据场景包中的养数场景,自动计算批次计划和业务日期执行动作序列。养数场景可以是生产某种产品的数据形态的执行动作序列。场景包可以是很多养数场景组成的养数场景集合。
步骤S40,基于所述批次计划和所述动作执行序列对各所述产品存量数据进行养数处理,并基于所述养数处理结果对目标环境进行数据测试。
在获取到各个数据形态的批次计划后,则可以进行养数运行,即按照产出的批次计划和各数据形态的执行动作序列对各个产品存量数据进行自动化养数过程处理,并支持运行时参数对数据形态做差异化扩展。在养数过程完成后,会产生带有数据标签的各条线各产品各形态数据,形成层次分明清晰可见的数据包,即养数处理结果,并可以将此数据包应用到目标环境中进行数据测试。其中,目标环境可以是用户选择的任意环境。数据包可以是对应养数场景包,养数场景包执行养数过程后,产出的数据集合。
在本实施例中,基于当前线上产品的属性和状态进行的数据形态分析,为了能在测试环境高效生产和线上相同及线上有可能产生的数据形态,在本实施例中,用户只需配置养数场景,系统自动识别各产品的差异化规则,自动智能计算养数所需批次计划,自动执行批次计划,自动识别并执行当前业务日期的执行动作,自动产出所需的数据形态,并对产生数据自动打标签,以及支持同步和调用的数据使用策略。另外为了辅助对数据测试的原理的理解,下面进行举例说明。
例如,如图5所示,先通过数据分析模块对当前线上产品的属性和状态进行数据分析,并在数据形态模型抽象模块中,以数据形态分布为基础,对各个产品数据进行抽象和分层,以建立数据形态模型,然后再通过执行动作模型抽象模块建立执行动作模型,即以数据形态分布为基础,对产出产品生命周期的特征/属性的数据动作进行整理和归纳以建立执行动作模型。再到养数场景维护管理模块中获取各个数据形态对应的执行动作序列,并在批次智能引擎执行模块中计算出各个数据形态的批次计划。然后再通过养数运行模块进行自动化养数,以获取养数结果,然后通过养数结果处理模块将养数结果同步到任一环境中进行数据测试,并在发现新产品新功能或数据分析缺失的小概率场景时,可以通过增量数据包维护模块定期以存量数据包形式养数生成,作为补充数据形态补充到已养成的全量数据包。
本实施例通过对线上产品的各产品存量数据进行数据分析,以获取各所述产品存量数据的数据形态分布;基于所述数据形态分布确定数据形态模型和执行动作模型,并基于所述数据形态模型和执行动作模型确定各所述产品存量数据对应的动作执行序列;获取各所述产品存量数据对应的生命周期规划,并基于所述生命周期规则和各所述动作执行序列依次获取所述数据形态分布中各数据形态对应的批次计划;基于所述批次计划和所述动作执行序列对各所述产品存量数据进行养数处理,并基于所述养数处理结果对目标环境进行数据测试。通过对线上存量的数据进行数据分析,确定各个数据形态分布,从而保障了测试数据的全面性,并且由于是根据数据形态模型和执行动作模型确定动作执行序列,并根据动作执行序列和批次计划进行养数处理,减少了人工干涉处理,节省了人力成本,并由于是直接根据养数处理结果对目标环境进行数据测试,从而也提高了对数据测试的智能性。
进一步地,基于本发明数据养成维护方法第一实施例,提出本发明数据养成维护方法第二实施例。本实施例是本发明第一实施例的步骤S20,基于所述数据形态分布确定数据形态模型的步骤的细化,包括:
步骤a,获取各产品存量数据的产品属性,并基于所述产品属性和所述数据形态分布中的根节点确定形态节点;
产品属性可以是用户自行对各个产品进行定义的层级。按照数据形态分布结果和从上到下的树形配置原则,以条线和产品为根节点,并根据各个产品存量数据的产品属性,配置到能区分产品生命周期属性的形态节点。
步骤b,基于所述形态节点对各所述数据形态进行分组归类,以获取数据形态模型。
再根据形态节点对各个数据形态进行分组归类,即将类似的数据形态进行分组归类,最终产出各产品的数据形态层级结构模型,也就是数据形态模型。例如,如图6所示,在获取数据形态模型时,先对各产品数据进行条线配置,产品配置,并自定义层级配置,再进行形态配置,到形态分组定义,从而最终得到数据形态层级结构模型。
在本实施例中,通过根据产品属性和根节点来确定形态节点,并根据形态节点对各个数据形态进行分组归类以获取数据形态模型,从而提高了获取数据形态模型的准确性。
进一步地,基于所述数据形态分布确定执行动作模型的步骤,包括:
步骤c,获取所述数据形态分布中的数据形态对应的各系统动作,并基于各所述系统动作获取各执行动作;
系统动作可以是页面action(行为),http接口,socket接口,数据修改等。获取数据形态分布中的数据形态对应的各系统动作,也就是对产生数据形态的系统动作进行整理、分类后各条线各产品人员将各自的操作配置在系统上,然后将各个操作进一步组合,组合成可达到产品某一属性的执行动作。其中,执行动作可以是产生某种数据形态所必须经过的用户在各种媒介上的操作,如在小程序借款、在App中查询等。
步骤d,获取预设的调用参数,通过所述调用参数对各所述执行动作进行调试,以获取执行动作模型。
调用参数可以是用户提前预设的维护动作的参数。在获取到各个执行动作后,还需要配置维护动作的调用参数,并根据调用参数对各个执行动作进行调试,以产出可用待用的执行动作,最终形成执行动作的层级结构模型,即执行动作模型。例如,如图7所示,通过对系统动作采用数据系统操作整理归类,并进行系统操作配置、执行动作配置、并对动作配置中的动作参数配置管理,在管理完成后进行动作调试,产出可用待用的执行动作,最终形成执行动作层级结构模型。
在本实施例中,通过获取各系统动作,并根据系统动作来获取执行动作,再通过调用参数对各个执行动作进行调试,以获取执行动作模型,从而提高了获取到的执行动作模型的准确性。
具体地,基于各所述系统动作获取各执行动作的步骤,包括:
步骤c1,依次遍历各所述数据形态,获取当前遍历的数据形态对应的操作配置,将所述当前遍历的数据形态对应的系统动作和所述操作配置进行组合,并将所述组合结果作为执行动作,直至各所述数据形态遍历完成。
依次遍历数据形态分布中的各个数据形态,并获取当前遍历的数据形态对应的操作配置,并将当前遍历的数据形态对应的系统动作和操作配置进行组合,将组合结果作为执行动作,直至各个数据形态遍历完成,也就是每个产品数据均有各自对应的执行动作。
在本实施例中,通过对各个数据形态依次进行遍历,获取各个数据形态对应的执行动作,从而保障了获取到的执行动作模型的准确性。
进一步地,基于所述数据形态模型和执行动作模型确定各所述产品存量数据对应的动作执行序列的步骤,包括:
步骤e,根据所述数据形态模型依次遍历各所述产品存量数据,获取当前遍历的产品存量数据的养数场景,并在所述执行动作模型中确定当前遍历的产品存量数据对应的关联动作;
在获取到数据形态模型后,会根据数据形态模型来依次遍历各个产品存量数据,并获取当前遍历的产品存量数据的养数场景包,并对养数场景包进行维护管理,然后再对养数场景维护管理,并在执行动作模型中确定当前遍历的产品存量数据需要应用到的关联动作。
步骤f,在所述养数场景中对所述关联动作进行映射以形成动作执行序列,直至各所述产品存量数据遍历完成。
当在养数场景中对关联动作进行映射以形成动作执行序列,而维护好的养数场景则可以构成养数场景包,直至各个产品存量数据遍历完成,从而获取到每个产品存量数据对应的养数场景的动作执行序列。例如,在对养数场景进行维护管理时,先进行养数场景包维护管理,再在场景包下进行养数场景维护管理,并在关联动作映射后,形成养数场景动作执行序列,此时维护好的养数场景构成养数场景包。
在本实施例中,通过对各产品存量数据依次进行遍历,并根据维护养数场景和关联动作确定动作执行序列,直到遍历完成,从而保障了获取到的动作执行序列的准确性。
进一步地,在本发明第一至第二实施例任意一个的基础上,提出了本发明数据养成维护方法的第三实施例,本实施例是在本发明第一实施例的步骤S40,基于所述批次计划和所述动作执行序列对各所述产品存量数据进行养数处理的步骤的细化,包括:
步骤g,基于所述批次计划和所述动作执行序列计算养数执行计划;
在本实施例中,所述养数处理包括养数执行计划。
当获取到各产品存量数据的动作执行序列和各个数据形态的批次计划后,则可以按照产出的批次计划和各数据形态的执行动作序列进行自动化养数过程,以计算养数执行计划。
步骤h,获取预设的环境信息和关联信号,并基于所述环境信息和所述关联信号执行所述养数执行计划。
在选择维护好的养数场景包后,计算出养数的执行计划(批次计划和对应业务日期的动作执行序列),然后选择配置好的环境信息和对应的外发和接收信号,维护好运行时变量,开始自动执行养数计划,最终产出带有标签数据的数据包。并且,新产品、新功能/功能变更或数据分析缺失的小概率场景,可以定期以存量数据包形式进行养数生成,作为补充数据形态补充到已养成的全量数据包。其中,带标签数据的数据包可以进行数据管理,一键环境同步,数据调用管理等。数据管理可以是支持数据形态筛选,数据标签修改,数据占用,关联变更记录等。一键环境同步可以是选择所要同步环境,一键将数据包同步过去,以供测试人员使用。数据调用管理可以是提供对外接口API,支持联机自动化、非金融回放自动化等其他数据使用方按照约定格式对养成数据进行获取。
在本实施例中,通过在养数处理为养数执行计划时,先根据批次计划和动作执行序列计算养数执行计划,再根据环境信息和关联信号执行养数执行计划,从而保障了养数处理的准确性,提高了用户的使用体验感。
进一步地,步骤S40,基于所述养数处理结果对目标环境进行数据测试的步骤,包括:
步骤x,确定目标环境是否为小概率场景,若目标环境是小概率场景,则获取预存的存量数据包,
小概率场景可以是新产品、新功能/功能变更或数据分析缺失的小概率场景。当通过养数处理结果对目标环境进行数据测试时,还需要确定目标环境是否为小概率场景,若经过判断发现目标环境是小概率场景,则需要获取预先存储的存量数据包。若经过判断发现目标环境不是小概率场景,则可以直接进行数据测试。
步骤y,获取养数处理结果对应的全量数据包,并将所述存量数据包补充到所述全量数据包中,以获得更新后的养数处理结果;
获取养数处理结果对应的已养成的全量数据包,并将提前获取到的存量数据包补充到全量数据包中,以获得更新后的养数处理结果。
步骤z,基于更新后的养数处理结果对目标环境进行数据测试。
将更新后的养数处理结果应用到目标环境中进行数据测试,从而保障数据测试的正常进行。
在本实施例中,通过在目标环境为小概率场景时,将预存的存量数据包补充到全量数据包中,从而保障了数据测试的准确性。
本发明还提供一种数据养成维护装置,参照图3,所述数据养成维护装置包括:
分析模块,用于对线上产品的各产品存量数据进行数据分析,以获取各所述产品存量数据的数据形态分布;
确定模块,用于基于所述数据形态分布确定数据形态模型和执行动作模型,并基于所述数据形态模型和执行动作模型确定各所述产品存量数据对应的动作执行序列;
获取模块,用于获取各所述产品存量数据对应的生命周期规划,并基于所述生命周期规则和各所述动作执行序列依次获取所述数据形态分布中各数据形态对应的批次计划;
测试模块,用于基于所述批次计划和所述动作执行序列对各所述产品存量数据进行养数处理,并基于所述养数处理结果对目标环境进行数据测试。
可选地,所述确定模块,还用于:
获取各产品存量数据的产品属性,并基于所述产品属性和所述数据形态分布中的根节点确定形态节点;
基于所述形态节点对各所述数据形态进行分组归类,以获取数据形态模型。
可选地,所述确定模块,还用于:
获取所述数据形态分布中的数据形态对应的各系统动作,并基于各所述系统动作获取各执行动作;
获取预设的调用参数,通过所述调用参数对各所述执行动作进行调试,以获取执行动作模型。
可选地,所述确定模块,还用于:
依次遍历各所述数据形态,获取当前遍历的数据形态对应的操作配置,将所述当前遍历的数据形态对应的系统动作和所述操作配置进行组合,并将所述组合结果作为执行动作,直至各所述数据形态遍历完成。
可选地,所述确定模块,还用于:
根据所述数据形态模型依次遍历各所述产品存量数据,获取当前遍历的产品存量数据的养数场景,并在所述执行动作模型中确定当前遍历的产品存量数据对应的关联动作;
在所述养数场景中对所述关联动作进行映射以形成动作执行序列,直至各所述产品存量数量遍历完成。
可选地,所述养数处理包括养数执行计划,所述测试模块,还用于:
基于所述批次计划和所述动作执行序列计算养数执行计划;
获取预设的环境信息和关联信号,并基于所述环境信息和所述关联信号执行所述养数执行计划。
可选地,所述测试模块,还用于:
确定目标环境是否为小概率场景,若目标环境是小概率场景,则获取预存的存量数据包;
获取养数处理结果对应的全量数据包,并将所述存量数据包补充到所述全量数据包中,以获得更新后的养数处理结果;
基于更新后的养数处理结果对目标环境进行数据测试。
上述各程序模块所执行的方法可参照本发明数据养成维护方法各个实施例,此处不再赘述。
本发明还提供一种计算机存储介质。
本发明计算机存储介质上存储有数据养成维护程序,所述数据养成维护程序被处理器执行时实现如上所述的数据养成维护方法的步骤。
其中,在所述处理器上运行的数据养成维护程序被执行时所实现的方法可参照本发明数据养成维护方法各个实施例,此处不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种数据养成维护方法,其特征在于,所述数据养成维护方法包括如下步骤:
对线上产品的各产品存量数据进行数据分析,以获取各所述产品存量数据的数据形态分布;
基于所述数据形态分布确定数据形态模型和执行动作模型,并基于所述数据形态模型和执行动作模型确定各所述产品存量数据对应的动作执行序列;
获取各所述产品存量数据对应的生命周期规划,并基于所述生命周期规划和各所述动作执行序列依次获取所述数据形态分布中各数据形态对应的批次计划;
基于所述批次计划和所述动作执行序列对各所述产品存量数据进行养数处理,并基于养数处理结果对目标环境进行数据测试;
其中,所述基于所述数据形态分布确定数据形态模型的步骤,包括:
获取各产品存量数据的产品属性,并基于所述产品属性和所述数据形态分布中的根节点确定形态节点;
基于所述形态节点对各所述数据形态进行分组归类,以获取数据形态模型;
其中,所述基于所述数据形态分布确定执行动作模型的步骤,包括:
获取所述数据形态分布中的数据形态对应的各系统动作,并基于各所述系统动作获取各执行动作;
获取预设的调用参数,通过所述调用参数对各所述执行动作进行调试,以获取执行动作模型;
其中,所述养数处理包括养数执行计划,所述基于所述批次计划和所述动作执行序列对各所述产品存量数据进行养数处理的步骤,包括:
基于所述批次计划和所述动作执行序列计算养数执行计划;
获取预设的环境信息和关联信号,并基于所述环境信息和所述关联信号执行所述养数执行计划。
2.如权利要求1所述的数据养成维护方法,其特征在于,所述基于各所述系统动作获取各执行动作的步骤,包括:
依次遍历各所述数据形态,获取当前遍历的数据形态对应的操作配置,将所述当前遍历的数据形态对应的系统动作和所述操作配置进行组合,并将所述组合结果作为执行动作,直至各所述数据形态遍历完成。
3.如权利要求1所述的数据养成维护方法,其特征在于,所述基于所述数据形态模型和执行动作模型确定各所述产品存量数据对应的动作执行序列的步骤,包括:
根据所述数据形态模型依次遍历各所述产品存量数据,获取当前遍历的产品存量数据的养数场景,并在所述执行动作模型中确定当前遍历的产品存量数据对应的关联动作;所述养数场景包括生产某种产品的数据形态的执行动作序列;
在所述养数场景中对所述关联动作进行映射以形成动作执行序列,直至各所述产品存量数量遍历完成。
4.如权利要求1至3任一项所述的数据养成维护方法,其特征在于,所述基于所述养数处理结果对目标环境进行数据测试的步骤,包括:
确定目标环境是否为小概率场景,若目标环境是小概率场景,则获取预存的存量数据包;
获取养数处理结果对应的全量数据包,并将所述存量数据包补充到所述全量数据包中,以获得更新后的养数处理结果;
基于更新后的养数处理结果对目标环境进行数据测试。
5.一种数据养成维护装置,其特征在于,所述数据养成维护装置包括:
分析模块,用于对线上产品的各产品存量数据进行数据分析,以获取各所述产品存量数据的数据形态分布;
确定模块,用于基于所述数据形态分布确定数据形态模型和执行动作模型,并基于所述数据形态模型和执行动作模型确定各所述产品存量数据对应的动作执行序列;
获取模块,用于获取各所述产品存量数据对应的生命周期规划,并基于所述生命周期规划和各所述动作执行序列依次获取所述数据形态分布中各数据形态对应的批次计划;
测试模块,用于基于所述批次计划和所述动作执行序列对各所述产品存量数据进行养数处理,并基于养数处理结果对目标环境进行数据测试;
其中,所述确定模块,还用于:
获取各产品存量数据的产品属性,并基于所述产品属性和所述数据形态分布中的根节点确定形态节点;
基于所述形态节点对各所述数据形态进行分组归类,以获取数据形态模型;
其中,所述确定模块,还用于:
获取所述数据形态分布中的数据形态对应的各系统动作,并基于各所述系统动作获取各执行动作;
获取预设的调用参数,通过所述调用参数对各所述执行动作进行调试,以获取执行动作模型;
其中,所述养数处理包括养数执行计划,所述测试模块,还用于:
基于所述批次计划和所述动作执行序列计算养数执行计划;
获取预设的环境信息和关联信号,并基于所述环境信息和所述关联信号执行所述养数执行计划。
6.如权利要求5所述的数据养成维护装置,其特征在于,所述确定模块,还用于:
依次遍历各所述数据形态,获取当前遍历的数据形态对应的操作配置,将所述当前遍历的数据形态对应的系统动作和所述操作配置进行组合,并将所述组合结果作为执行动作,直至各所述数据形态遍历完成。
7.如权利要求5所述的数据养成维护装置,其特征在于,所述确定模块,还用于:
根据所述数据形态模型依次遍历各所述产品存量数据,获取当前遍历的产品存量数据的养数场景,并在所述执行动作模型中确定当前遍历的产品存量数据对应的关联动作;所述养数场景包括生产某种产品的数据形态的执行动作序列;
在所述养数场景中对所述关联动作进行映射以形成动作执行序列,直至各所述产品存量数量遍历完成。
8.如权利要求5至7任一项所述的数据养成维护装置,其特征在于,所述测试模块,还用于:
确定目标环境是否为小概率场景,若目标环境是小概率场景,则获取预存的存量数据包;
获取养数处理结果对应的全量数据包,并将所述存量数据包补充到所述全量数据包中,以获得更新后的养数处理结果;
基于更新后的养数处理结果对目标环境进行数据测试。
9.一种数据养成维护设备,其特征在于,所述数据养成维护设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据养成维护程序,所述数据养成维护程序被所述处理器执行时实现如权利要求1至4中任一项所述的数据养成维护方法的步骤。
10.一种计算机存储介质,其特征在于,所述计算机存储介质上存储有数据养成维护程序,所述数据养成维护程序被处理器执行时实现如权利要求1至4中任一项所述的数据养成维护方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910520757.6A CN110262973B (zh) | 2019-06-14 | 2019-06-14 | 数据养成维护方法、装置、设备及计算机存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910520757.6A CN110262973B (zh) | 2019-06-14 | 2019-06-14 | 数据养成维护方法、装置、设备及计算机存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110262973A CN110262973A (zh) | 2019-09-20 |
CN110262973B true CN110262973B (zh) | 2024-03-22 |
Family
ID=67918751
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910520757.6A Active CN110262973B (zh) | 2019-06-14 | 2019-06-14 | 数据养成维护方法、装置、设备及计算机存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110262973B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111444188B (zh) * | 2020-04-15 | 2023-06-02 | 中信银行股份有限公司 | 存量测试数据的准备方法、装置、存储介质及电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103761432A (zh) * | 2014-01-13 | 2014-04-30 | 京信通信系统(中国)有限公司 | 板级测试数据分析方法及装置 |
US9262493B1 (en) * | 2012-12-27 | 2016-02-16 | Emc Corporation | Data analytics lifecycle processes |
CN108984712A (zh) * | 2018-07-06 | 2018-12-11 | 深圳前海微众银行股份有限公司 | 基于业务场景的造数方法、设备及可读存储介质 |
CN109784818A (zh) * | 2019-01-30 | 2019-05-21 | 美林数据技术股份有限公司 | 基于bom的产品数据处理方法、装置、设备及存储介质 |
-
2019
- 2019-06-14 CN CN201910520757.6A patent/CN110262973B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9262493B1 (en) * | 2012-12-27 | 2016-02-16 | Emc Corporation | Data analytics lifecycle processes |
CN103761432A (zh) * | 2014-01-13 | 2014-04-30 | 京信通信系统(中国)有限公司 | 板级测试数据分析方法及装置 |
CN108984712A (zh) * | 2018-07-06 | 2018-12-11 | 深圳前海微众银行股份有限公司 | 基于业务场景的造数方法、设备及可读存储介质 |
CN109784818A (zh) * | 2019-01-30 | 2019-05-21 | 美林数据技术股份有限公司 | 基于bom的产品数据处理方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110262973A (zh) | 2019-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109767255B (zh) | 一种通过大数据建模实现智能运营及精准营销的方法 | |
US7489976B2 (en) | System and method for dynamically simulating process and value stream maps | |
US10452625B2 (en) | Data lineage analysis | |
US8180623B2 (en) | Integration of a discrete event simulation with a configurable software application | |
US7574379B2 (en) | Method and system of using artifacts to identify elements of a component business model | |
US7599755B2 (en) | System and method for dynamically simulating value stream and network maps | |
CN109670267A (zh) | 一种数据处理方法和装置 | |
US7926024B2 (en) | Method and apparatus for managing complex processes | |
CN103365946B (zh) | 数据库性能分析 | |
CN106408435A (zh) | 一种工艺编制系统和工艺编制方法 | |
US10963963B2 (en) | Rule based hierarchical configuration | |
CN115470195A (zh) | 一种融合维度模型的指标数据自动化计算方法及装置 | |
KR20080035427A (ko) | 논리 프로세스 및 물리 프로세스를 맵핑한 비즈니스프로세스를 생성하기 위한 시스템 및 방법 | |
CN110262973B (zh) | 数据养成维护方法、装置、设备及计算机存储介质 | |
CN109360106A (zh) | 画像构建方法、系统、介质和计算机系统 | |
CN113722564A (zh) | 基于空间图卷积能源物资供应链的可视化方法及装置 | |
CN117172641A (zh) | 基于区块链与数字孪生的生产物流管理平台及实现方法 | |
CN108132802B (zh) | 一种配置模型在系统开发中的应用方法 | |
CN110062112A (zh) | 数据处理方法、装置、设备及计算机可读存储介质 | |
US20140149186A1 (en) | Method and system of using artifacts to identify elements of a component business model | |
CN104123584A (zh) | 基于信息系统的组织优化方法 | |
CN113344604A (zh) | 一种基于用户行为数据及流计算的用户细分方法 | |
CN104123585A (zh) | 基于业务仿真的业务组织优化分析方法 | |
KR20090073061A (ko) | 논리 프로세스 및 물리 프로세스 모델을 맵핑한 비즈니스 프로세스 모델을 관리하기 위한 시스템 및 방법 | |
CN117609216A (zh) | 数据质量模型的构建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |