CN113642622B - 数据模型的效果评估方法、系统、电子装置和存储介质 - Google Patents
数据模型的效果评估方法、系统、电子装置和存储介质 Download PDFInfo
- Publication number
- CN113642622B CN113642622B CN202110886961.7A CN202110886961A CN113642622B CN 113642622 B CN113642622 B CN 113642622B CN 202110886961 A CN202110886961 A CN 202110886961A CN 113642622 B CN113642622 B CN 113642622B
- Authority
- CN
- China
- Prior art keywords
- data model
- calculation result
- result
- test case
- case set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013499 data model Methods 0.000 title claims abstract description 180
- 238000011156 evaluation Methods 0.000 title claims abstract description 101
- 230000000694 effects Effects 0.000 title claims abstract description 68
- 238000004364 calculation method Methods 0.000 claims abstract description 139
- 238000012360 testing method Methods 0.000 claims abstract description 84
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000004590 computer program Methods 0.000 claims description 15
- 238000012216 screening Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000012854 evaluation process Methods 0.000 abstract description 5
- 238000012795 verification Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000032683 aging Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012821 model calculation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请涉及一种数据模型的效果评估方法、系统、电子装置和存储介质，其中，该方法包括：根据预设时间参数，从旧数据模型服务端中获取测试用例集；从旧数据模型中获取与测试用例集关联的第一计算结果；将测试用例集输入到新数据模型中进行执行，得到第二计算结果；将第一计算结果和第二计算结果进行比对评估，生成评估结果。通过本申请，解决了相关技术中存在需要人工参与评估过程，导致评估效率低，准确率不高的问题，实现了新数据模型与旧数据模型的自动对比效果评估，避免人为因数介入，而且使用时间参数从旧数据模型服务端中筛选的测试用例集，能够保证测试用例的广泛性、随机性以及及时性；从而能够提高准确率及评估效率。
Description
技术领域
本申请涉及数据模型效果评估技术领域，特别是涉及数据模型的效果评估方法、系统、电子装置和存储介质。
背景技术
随着精细化运营的理念不断深入人心，越来越多的企业开始重视数据的价值，并且希望搭建出一套自己企业的业务计算的数据模型，以便更好地指导决策。目前在多种应用领域中，都已经广泛使用建模来实现各种智能化处理功能。同时，为了避免随着时间的推移导致模型的适用性下降或者随着业务场景的增加或者变化，均需要不断迭代更新。而对新旧模型进行效果评估是新旧模型迭代更新的先决条件。
目前，对新旧模型进行效果评估方式是需要人为准备大量的测试用例，手动执行测试脚本，根据既定的量化指标，评估新模型的效果是否优于旧模型。并且，针对新旧模型计算结果不一致的用例，需要逐条对比中间计算结果差异，需要人工确认查找差异原因以确认新模型的效果是否优于旧模型。
目前针对相关技术中，存在需要人工参与评估过程，导致评估效率低，准确率不高，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种数据模型的效果评估方法、系统、电子装置和存储介质，以至少解决相关技术中存在需要人工参与评估过程，导致评估效率低，准确率不高的问题。
第一方面，本申请实施例提供了一种数据模型的效果评估方法，包括：
根据预设时间参数，从旧数据模型服务端中获取测试用例集；
从旧数据模型中获取与所述测试用例集关联的第一计算结果；
将所述测试用例集输入到新数据模型中进行执行，得到第二计算结果；
将所述第一计算结果和第二计算结果进行比对评估，生成评估结果。
在其中一些实施例中，所述根据预设时间参数，从旧数据模型服务端中获取测试用例集，包括：
根据所述预设时间参数，生成日期批次数据集；
根据所述日期批次数据集，对所述旧数据模型服务端进行数据筛选，得到对应的测试用例集。
在其中一些实施例中，所述从旧数据模型中获取与所述测试用例集关联的第一计算结果，包括：
基于所述测试用例集，从与旧数据模型对应的第一结果数据库表中存储的执行结果进行匹配，得到第一计算结果；
或，将所述测试用例集输入到所述旧数据模型中进行执行，得到第一计算结果。
在其中一些实施例中，其特征在于，所述将所述测试用例集输入到新数据模型中进行执行，得到第二计算结果，包括：
将所述测试用例集输入到多个相同逻辑的所述新数据模型中进行执行，得到第二计算结果，并将所述第二计算结果存储于每个新数据模型对应的第二结果数据库表中。
在其中一些实施例中，所述将所述第一计算结果和第二计算结果进行比对评估，生成评估结果，包括：
将所述第一计算结果和第二计算结果进行比对，判断所述第一计算结果和第二计算结果是否一致；
若所述第一计算结果与第二计算结果一致，则将所述新数据模型判定为有效，生成评估结果。
在其中一些实施例中，还包括：
若所述第一计算结果与第二计算结果不一致，则将所述第二计算结果与预设结果进行评估，并在评估通过后将所述新数据模型判定为有效，生成评估结果。
在其中一些实施例中，还包括：
在生成评估结果之后，在所述评估结果满足预设的替换条件的情况下，将所述评估结果通过远程服务器反馈至用户端，将所述旧数据模型迭代成所述新数据模型。
第二方面，本申请实施例提供了一种数据模型的效果评估系统，包括模型效果评估模块、旧模型应用模块、新模型应用模块以及模型效果对比评估模块；
所述模型效果评估模块，用于根据预设时间参数，从旧数据模型服务端中获取测试用例集；
所述旧模型应用模块，用于从旧数据模型中获取与所述测试用例集关联的第一计算结果；
所述新模型应用模块，用于将所述测试用例集输入到新数据模型中进行执行，得到第二计算结果；
所述模型效果对比评估模块，用于将所述第一计算结果和第二计算结果进行比对评估，生成评估结果。
在其中一些实施例中，所述旧模型应用模块包括旧数据模型服务端和第一结果数据库表；
所述旧数据模型服务端，用于执行旧数据模型；
所述第一结果数据库表，用于存储第一计算结果。
在其中一些实施例中，所述新模型应用模块包括新数据模型服务端和第二结果数据库表；
所述新数据模型服务端，用于执行新数据模型；
所述第二结果数据库表，用于存储第二计算结果。
第三方面，本申请实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的数据模型的效果评估方法。
第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的数据模型的效果评估方法。
相比于相关技术，本申请实施例提供的数据模型的效果评估方法、系统、电子装置和存储介质，通过根据预设时间参数，从旧数据模型服务端中获取测试用例集；从旧数据模型中获取与测试用例集关联的第一计算结果；将测试用例集输入到新数据模型中进行执行，得到第二计算结果；将第一计算结果和第二计算结果进行比对评估，生成评估结果。本申请解决了相关技术中存在需要人工参与评估过程，导致评估效率低，准确率不高的问题，实现了新数据模型与旧数据模型的自动对比效果评估，避免人为因数介入，而且使用时间参数从旧数据模型服务端中筛选的测试用例集，能够保证测试用例的广泛性、随机性以及及时性；从而能够提高准确率及评估效率。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本申请一实施例提供的数据模型的效果评估方法的终端设备的硬件结构框图；
图2是本申请一实施例提供的数据模型的效果评估方法的流程图；
图3是图2中步骤S240的流程图；
图4是本申请一实施例提供的数据模型的效果评估系统的结构框图；
图5是本申请一实施例提供的基于数据模型的效果评估系统运行的流程示意图。
图中：100、模型效果评估模块；200、旧模型应用模块；300、新模型应用模块；400、模型效果对比评估模块。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本实施例提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。以运行在终端上为例，图1是本发明实施例的数据模型的效果评估方法的终端的硬件结构框图。如图1所示，终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限定。例如，终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的数据模型的效果评估方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括终端10的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
本实施例提供了一种数据模型的效果评估方法、系统、电子装置和存储介质方法，图2是根据本申请实施例的数据模型的效果评估方法的流程图，如图2所示，该流程包括如下步骤：
步骤S210，根据预设时间参数，从旧数据模型服务端中获取测试用例集；
步骤S220，从旧数据模型中获取与测试用例集关联的第一计算结果；
步骤S230，将测试用例集输入到新数据模型中进行执行，得到第二计算结果；
步骤S240，将第一计算结果和第二计算结果进行比对评估，生成评估结果。
需要说明的是，旧数据模型指的是当前实际运行的数据模型，可以是数据挖掘的数据模型、机器学习的数据模型等需要大量用例来验证效果的模型。比如：旧数据模型为：根据实际业务发生过程中产生的数据，来计算一些评价指标，以达到某种业务目的。如根据一笔物流运单的运输时效、单价、轨迹等，判断该运输业务是否真实有效。一般旧数据模型部署在旧数据模型服务端中，旧数据模型服务端会提供服务的接口。在需要旧数据模型进行运行时，可以通过程序来调用接口，通过post请求的方式传入参数，再根据参数进行计算，并返回结果。当然一些相关参数或者相关数据的获取，也可以利用这种方式实现。比如，以application/json的方式实现。
application/json作为请求头，用来告诉服务端消息主体是序列化的JSON字符串。一般的IE都支持JSON.stringify()的方法，服务端也有处理JSON的函数。举例：
//请求数据
var data＝{date:'20210601',date:'20210603'}；
//请求数据序列化处理
JSON.stingify(data)；
//结果：{'date':'20210601','date':'20210603'}。
那么可以通过上述方式利用预设时间参数从旧数据模型服务端中获取的测试用例集。由于旧数据模型本身是在实际场景中一直应用的，会存在第一计算结果，可以直接筛选出第一计算结果使用。且测试用例的广泛性、随机性和及时性也能够得到保障。这是现有技术中采用人为准备大量的测试用例所不具备的优势。
新数据模型指的是相对于旧数据模型而新优化的数据模型。其在模型内部逻辑上可以是部分一致。主要是由于为了避免随着时间的推移导致数据模型的适用性下降或者随着业务场景的增加或者变化，新数据模型和旧数据模型只是相对的概念。新数据模型的运行原理也是和旧数据模型一样。将测试用例集输入到新数据模型中进行执行，可以得到第二计算结果。那么对比评估第一计算结果和第二计算结果，即可生成评估结果。评估结果包括统计指标、新旧模型不一致用例原因分析、不一致用例记录等数据。比如：新数据模型的时效规则为小于等于70公里/时。旧数据模型的时效规则为由于等于80公里/时变。其他规则不变。那么某个测试用例为时效是75公里/时。用旧数据模型的运行结果为通过；而新数据模型的运行结果为不通过。则说明新数据模型评估通过。
通过上述步骤，利用预设时间参数从旧数据模型服务端中获取测试用例集，和现有技术中需要人为准备大量的测试用例比，不仅能够简化测试用例的数量，而且测试用例的广泛性、随机性以及及时性均能够得到保障；更容易发现新数据模型存在的问题。利用该测试用例集并结合新数据模型和旧数据模型，得到第一计算结果和第二计算结果；自动将第一计算结果和第二计算结果进行比较评估，生成评估结果；整个过程不需要人为因数介入，将旧模型的第一计算结果作为对比评估的依据，能够对比模型的计算逻辑，即需要保持逻辑一致的部分，评估新模型是否有bug产生，在新模型需要修改计算逻辑的部分，能够评估新逻辑是否准确生效，从而能够提高准确率及评估效率。完全替代了现有技术中的筛选用例、执行新模型脚本以及效果验证等手工操作方式。
下面通过优选实施例对本申请实施例进行描述和说明。
在其中一些实施例中，在图2实施例中的基础上，还包括以下步骤；
在评估结果满足预设的替换条件的情况下，将评估结果通过远程服务器反馈至用户端，将旧数据模型迭代成新数据模型。
由于新数据模型和旧数据模型可以是部署在应用中，可以通过远程服务器来关联不同的数据模型。那么在新模型验证通过后，利用远程服务器将评估结果反馈至用户端，用户能够在手机、平板、电脑等用户端上查看评估结果，再确定数据模型的迭代；使用户能够知道哪些地方被优化，从而能够提升用户体验。
在其中一些实施例中，图2实施例中的步骤S210，包括以下步骤；
S211，根据预设时间参数，生成日期批次数据集；
S212，根据日期批次数据集，对旧数据模型服务端进行数据筛选，得到对应的测试用例集。
具体的，预设时间参数即为选定的日期范围，比如：2021-06-01 00:00:00至2021-06-02 00:00:00；2021-06-02 12:00:00至2021-06-03 00:00:00；等。日期批次数据集是一个批次数据集的记录，比如2021-06-01 00:00:00——2021-06-02 00:00:00的数据集，可以用batch20210601作为id来代表。根据上述日期批次数据集即可使用数据库查询的方式，比如：在where条件中，代表时间的字段大于batch时间范围的最小值，小于batch时间范围的最大值，即可把测试用例集都查询出来。
在其中一些实施例中，图2实施例中的步骤S220，包括以下步骤；
根据基于所述测试用例集，从与旧数据模型对应的第一结果数据库表中存储的执行结果进行匹配，得到第一计算结果；
或，将所述测试用例集输入到所述旧数据模型中进行执行，得到第一计算结果。
对于第一计算结果的获取有两种方式。第一种方式为：根据测试用例集从与旧数据模型对应的第一结果数据库表中存储的执行结果进行匹配，得到第一计算结果。也就是说旧数据模型对应的第一结果数据库表中会存储相关的计算结果，可以通过匹配或者筛选的方式直接得到第一计算结果，而不需要再运行旧数据模型。这种方式能够简化运算过程，提高效率。但是由于原始存储的相关数据可能会存在缺失等情况，可以采用第二种方式得到第一计算结果。第二种方式为：将测试用例集输入到旧数据模型中进行执行，得到第一计算结果。将第一计算结果存储到第一结果数据库表中，方便后续调取使用。
在其中一些实施例中，图2实施例中的步骤S230，包括以下步骤；
将测试用例集输入到多个相同逻辑的新数据模型中进行执行，得到第二计算结果，并将第二计算结果存储于每个新数据模型对应的第二结果数据库表中。也就是说多个相同逻辑的新数据模型可以同时进行对比评估，效果评估的过程是一样的。为了进一步提高运算效率，测试用例集的执行可以采用逐条、并行或者分布式的计算方式进行处理。
在其中一些实施例中，图2实施例中的步骤S240，如图3所示，包括以下步骤；
步骤S241、将第一计算结果和第二计算结果进行比对，判断第一计算结果和第二计算结果是否一致；
步骤S242、若第一计算结果与第二计算结果一致，则将新数据模型判定为有效，生成评估结果；
步骤S243、若第一计算结果与第二计算结果不一致，则将第二计算结果与预设结果进行评估，并在评估通过后将新数据模型判定为有效，生成评估结果。
具体的，通过上述步骤能够验证新数据模型的处理逻辑。比如，在新数据模型和旧数据模型中逻辑规则没有改变的部分，那么测试用例在新数据模型和旧数据模型中运行的结果是一致的。如果存在不一致的情况，肯定是新模型存在BUG，需要修改。说明测试用例集也能够有效的用来测试漏洞(BUG)。在新数据模型和旧数据模型中逻辑规则有改变的部分，预设结果即为一些标准的条件要求，可以理解为替换条件，是新逻辑条件下运行的准确结果。那么可以将第二计算结果与预设结果进行评估，在评估通过后将新数据模型判定为有效，生成评估结果。评估结果中包括统计指标、新旧模型不一致用例原因分析、不一致用例记录等数据。第一计算结果和第二计算结果可以随时调取，使得旧数据模型和新数据模型结果不一致时，可对比第一计算结果和第二计算结果这一中间结果，排查结果不一致的原因；使得测试用例集也能够有效的用来验证新逻辑的准确性。于其他实施例中，上述验证过程可以重复进行。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。例如，步骤S242和步骤S243可以调换，可以执行步骤S243、若第一计算结果与第二计算结果不一致，则将第二计算结果与预设结果进行评估，并在评估通过后将新数据模型判定为有效，生成评估结果。再执行步骤S242、若第一计算结果与第二计算结果一致，则将新数据模型判定为有效，生成评估结果。对此不再进行一一举例。
本实施例还提供了一种数据模型的效果评估系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图4是根据本申请实施例的数据模型的效果评估系统的结构框图，如图4所示，该系统包括模型效果评估模块100、旧模型应用模块200、新模型应用模块300以及模型效果对比评估模块400；
模型效果评估模块100，用于根据预设时间参数，从旧数据模型服务端中获取测试用例集；
旧模型应用模块200，用于从旧数据模型中获取与测试用例集关联的第一计算结果；
新模型应用模块300，用于将测试用例集输入到新数据模型中进行执行，得到第二计算结果；
模型效果对比评估模块400，用于将第一计算结果和第二计算结果进行比对评估，生成评估结果。
模型效果评估模块100，分别与旧模型应用模块200、新模型应用模块300以及模型效果对比评估模块400连接；通过上述数据模型的效果评估系统，不仅能够简化测试用例的数量，而且测试用例的广泛性、随机性以及及时性均能够得到保障；更容易发现新数据模型存在的问题。且能够评估新逻辑是否准确生效，从而能够提高准确率及评估效率。
下面在一个实施例中对数据模型的效果评估系统各部件进行详细说明：
旧模型应用模块200包括旧数据模型服务端和第一结果数据库表DResult；旧数据模型服务端，用于执行旧数据模型；第一结果数据库表DResult，用于存储第一计算结果。
旧模型应用模块200需要遵守的约定规则为：模型出参，不仅需要记录最终结果数据，还需要记录关键中间结果数据，即记录第一计算结果，以便于结果分析。其中，第一计算结果存储于第一结果数据库表DResult中。第一结果数据库表DResult需要遵守的约定规则为：第一结果数据库表DResult包含但不限于modelId、模型入参字段以及模型计算结果字段。
新模型应用模块300包括新数据模型服务端和第二结果数据库表DResultTest；新数据模型服务端，用于执行新数据模型；第二结果数据库表DResultTest，用于存储第二计算结果。
其中，新模型应用模块300需要遵守的约定规则为：模型出参，不仅需要记录最终结果数据，还需要记录关键中间结果数据，即记录第二计算结果，以便于结果分析。其中，第二计算结果存储于第二结果数据库表DResultTest中。第二结果数据库表DResultTest需要遵守的约定规则为：第二结果数据库表DResultTest包含不限于modelId、模型入参字段以及模型计算结果字段；这些基础上增加了原结果resultId、验证数据集batchId等和验证集相关的字段。
模型效果评估模块100包括效果验证操作系统、操作数据库表DOperation、模型应用配置表DModel以及验证数据集表DBatch。
模型应用配置表DModel包含但不限于modelId、应用名称、模型参数、老模型应用结果表名称、新模型应用结果表名称以及其他和模型有关的配置项，如新老模型部署服务器等。验证数据集数据库表DBatch包含但不限于batchId、数据起始日期、数据结束日期、数据来源表名称DResult、modelId以及创建时间等信息。操作数据库表DOperation包含但不限于operationId、操作人、操作状态、模型应用modelId、数据集batchId、创建时间以及完成时间等。效果验证操作系统中有各类操作界面。比如：模型重跑、立即执行、效果评估等。
对于上述相关数据的配置方式并不进行限制，可以是通过界面手动配置。
具体的基于上述架构的系统，如图5所示，对数据模型的效果评估的流程为：点击效果验证操作系统中的“模型重跑”，筛选时间参数范围内，生成日期批次数据集。点击效果验证操作系统中的“立即执行”，根据日期批次数据集，在第一结果数据库表DResult中筛选测试用例集后，调用新模型应用模块300和旧模型应用模块200。将新数据模型的第二计算结果存储在第二结果数据库表DResultTest中。点击效果验证操作系统中的“效果评估”，会进行效果对比评估；对比第一结果数据库表DResult中对应的第一计算结果和第二结果数据库表DResultTest中的第二对比结果，返回评估结果。评估完成，用户查看。
基于上述流程，仅需要在效果验证操作系统中点击按钮这类简单的操作，即可自动生成测试用例集，并将测试用例集传给新数据模型应用模块，计算结果自动存入第二结果数据库表。并且，在测试用例集中所有用例执行完成后，自动进行对比评估，输出评估结果。
在其中一些实施例中，在图4所示的所有模块的基础上，此外还包括：更新迭代模块；更新迭代模块，用于在生成评估结果之后，在所述评估结果满足预设的替换条件的情况下，将所述评估结果通过远程服务器反馈至用户端，将旧数据模型迭代成新数据模型。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，根据预设时间参数，从旧数据模型服务端中获取测试用例集；
S2，从旧数据模型中获取与测试用例集关联的第一计算结果；
S3，将测试用例集输入到新数据模型中进行执行，得到第二计算结果；
S4，将第一计算结果和第二计算结果进行比对评估，生成评估结果。
通过上述电子装置，不仅能够简化测试用例的数量，而且测试用例的广泛性、随机性以及及时性均能够得到保障；更容易发现新数据模型存在的问题。且能够评估新逻辑是否准确生效，从而能够提高准确率及评估效率。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
另外，结合上述实施例中的数据模型的效果评估方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种数据模型的效果评估方法。
本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种数据模型的效果评估方法，其特征在于，包括：
根据预设时间参数，从旧数据模型服务端中获取测试用例集；
从旧数据模型中获取与所述测试用例集关联的第一计算结果；
将所述测试用例集输入到新数据模型中进行执行，得到第二计算结果；
将所述第一计算结果和第二计算结果进行比对评估，生成评估结果；
其中，从旧数据模型中获取与所述测试用例集关联的第一计算结果包括：基于所述测试用例集，从与旧数据模型对应的第一结果数据库表中存储的执行结果进行匹配，得到第一计算结果；或，将所述测试用例集输入到所述旧数据模型中进行执行，得到第一计算结果；
将所述测试用例集输入到新数据模型中进行执行，得到第二计算结果，包括：将所述测试用例集输入到多个相同逻辑的所述新数据模型中进行执行，得到第二计算结果，并将所述第二计算结果存储于每个新数据模型对应的第二结果数据库表中，所述测试用例集的执行采用逐条、并行或者分布式的计算方式进行处理。
2.根据权利要求1所述的数据模型的效果评估方法，其特征在于，所述根据预设时间参数，从旧数据模型服务端中获取测试用例集，包括：
根据所述预设时间参数，生成日期批次数据集；
根据所述日期批次数据集，对所述旧数据模型服务端进行数据筛选，得到对应的测试用例集。
3.根据权利要求1所述的数据模型的效果评估方法，其特征在于，所述将所述第一计算结果和第二计算结果进行比对评估，生成评估结果，包括：
将所述第一计算结果和第二计算结果进行比对，判断所述第一计算结果和第二计算结果是否一致；
若所述第一计算结果与第二计算结果一致，则将所述新数据模型判定为有效，生成评估结果。
4.根据权利要求3所述的数据模型的效果评估方法，其特征在于，还包括：
若所述第一计算结果与第二计算结果不一致，则将所述第二计算结果与预设结果进行评估，并在评估通过后将所述新数据模型判定为有效，生成评估结果。
5.根据权利要求1所述的数据模型的效果评估方法，其特征在于，还包括：
在生成评估结果之后，在所述评估结果满足预设的替换条件的情况下，将所述评估结果通过远程服务器反馈至用户端，将所述旧数据模型迭代成所述新数据模型。
6.一种数据模型的效果评估系统，其特征在于，包括模型效果评估模块、旧模型应用模块、新模型应用模块以及模型效果对比评估模块；
所述模型效果评估模块，用于根据预设时间参数，从旧数据模型服务端中获取测试用例集；
所述旧模型应用模块，用于从旧数据模型中获取与所述测试用例集关联的第一计算结果；
所述新模型应用模块，用于将所述测试用例集输入到新数据模型中进行执行，得到第二计算结果；
所述模型效果对比评估模块，用于将所述第一计算结果和第二计算结果进行比对评估，生成评估结果；其中，从旧数据模型中获取与所述测试用例集关联的第一计算结果包括：基于所述测试用例集，从与旧数据模型对应的第一结果数据库表中存储的执行结果进行匹配，得到第一计算结果；或，将所述测试用例集输入到所述旧数据模型中进行执行，得到第一计算结果；
将所述测试用例集输入到新数据模型中进行执行，得到第二计算结果，包括：将所述测试用例集输入到多个相同逻辑的所述新数据模型中进行执行，得到第二计算结果，并将所述第二计算结果存储于每个新数据模型对应的第二结果数据库表中，所述测试用例集的执行采用逐条、并行或者分布式的计算方式进行处理。
7.根据权利要求6所述的数据模型的效果评估系统，其特征在于，所述旧模型应用模块包括旧数据模型服务端和第一结果数据库表；
所述旧数据模型服务端，用于执行旧数据模型；
所述第一结果数据库表，用于存储第一计算结果。
8.根据权利要求6所述的数据模型的效果评估系统，其特征在于，所述新模型应用模块包括新数据模型服务端和第二结果数据库表；
所述新数据模型服务端，用于执行新数据模型；
所述第二结果数据库表，用于存储第二计算结果。
9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至5中任一项所述的数据模型的效果评估方法。
10.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至5中任一项所述的数据模型的效果评估方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110886961.7A CN113642622B (zh) | 2021-08-03 | 2021-08-03 | 数据模型的效果评估方法、系统、电子装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110886961.7A CN113642622B (zh) | 2021-08-03 | 2021-08-03 | 数据模型的效果评估方法、系统、电子装置和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113642622A CN113642622A (zh) | 2021-11-12 |
| CN113642622B true CN113642622B (zh) | 2024-08-09 |
Family
ID=78419454
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110886961.7A Active CN113642622B (zh) | 2021-08-03 | 2021-08-03 | 数据模型的效果评估方法、系统、电子装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113642622B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115098862B (zh) * | 2022-06-06 | 2023-12-08 | 中国船舶集团有限公司系统工程研究院 | 水面无人系统智能算法模型安全可信评估方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110503206A (zh) * | 2019-08-09 | 2019-11-26 | 阿里巴巴集团控股有限公司 | 一种预测模型更新方法、装置、设备及可读介质 |
| CN112560721A (zh) * | 2020-12-21 | 2021-03-26 | 平安银行股份有限公司 | 无感知模型切换方法、装置、电子设备及存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2883445B1 (fr) * | 2005-03-18 | 2007-05-04 | Alcatel Sa | Dispositif d'optimisation de modeles de configuration de cellules d'un reseau de communication radio |
| US8214308B2 (en) * | 2007-10-23 | 2012-07-03 | Sas Institute Inc. | Computer-implemented systems and methods for updating predictive models |
| US8296257B1 (en) * | 2009-04-08 | 2012-10-23 | Google Inc. | Comparing models |
| CN110414376B (zh) * | 2019-07-08 | 2022-08-09 | 浙江大华技术股份有限公司 | 更新人脸识别模型的方法、人脸识别相机及服务器 |
| CN112257733B (zh) * | 2019-10-25 | 2024-04-09 | 北京沃东天骏信息技术有限公司 | 一种模型迭代方法、第二电子设备及存储介质 |
| CN111461283A (zh) * | 2020-03-18 | 2020-07-28 | 上海携程商务有限公司 | Ai模型的自动迭代运维方法、系统、设备及存储介质 |
-
2021
- 2021-08-03 CN CN202110886961.7A patent/CN113642622B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110503206A (zh) * | 2019-08-09 | 2019-11-26 | 阿里巴巴集团控股有限公司 | 一种预测模型更新方法、装置、设备及可读介质 |
| CN112560721A (zh) * | 2020-12-21 | 2021-03-26 | 平安银行股份有限公司 | 无感知模型切换方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113642622A (zh) | 2021-11-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106708719B (zh) | 业务功能的测试方法和装置 | |
| CN108984712B (zh) | 基于业务场景的造数方法、设备及可读存储介质 | |
| EP3975482B1 (en) | Quantitative network testing framework for 5g and subsequent generation networks | |
| Ben-Amram et al. | Ranking functions for linear-constraint loops | |
| US8180762B2 (en) | Database tuning methods | |
| Ummels et al. | Computing quantiles in Markov reward models | |
| CN107861876A (zh) | 测试方法、装置、计算机设备及可读存储介质 | |
| CN111045933A (zh) | 一种回归策略更新方法、装置、存储介质及终端设备 | |
| CN107741904A (zh) | 测试机自动配置方法、装置、设备及存储介质 | |
| CN113642622B (zh) | 数据模型的效果评估方法、系统、电子装置和存储介质 | |
| CN118377511B (zh) | 基于行为分析的ota任务管理方法、系统、设备及存储介质 | |
| CN112613627A (zh) | 车辆维修信息推送方法、装置、系统、设备及存储介质 | |
| CN113568900A (zh) | 基于人工智能的大数据清洗方法及云服务器 | |
| CN111400178A (zh) | 接口自动造数方法、装置、计算机设备及存储介质 | |
| CN111782507B (zh) | 数据测试方法、装置、存储介质及电子设备 | |
| CN113360353A (zh) | 一种测试服务器和云平台 | |
| CN116204396A (zh) | 一种针对分析型数据库性能的测试方法和装置 | |
| CN113656295B (zh) | 测试数据的自动生成方法、装置、电子设备及存储介质 | |
| CN109815121A (zh) | 接口自动化测试用例生成方法及相关设备 | |
| CN114138654A (zh) | 接口测试用例生成方法、装置、计算机设备和存储介质 | |
| CN114812695A (zh) | 一种产品测试方法、装置、计算机设备和存储介质 | |
| CN112149696B (zh) | 图嵌入模型的训练方法及装置 | |
| D’Ippolito et al. | Alloy+ hotcore: A fast approximation to unsat core | |
| CN116450187B (zh) | 应用于ai分析的数字化在线应用处理方法及ai应用系统 | |
| CN111105059B (zh) | 属性冲突发现方法、装置和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |