CN113342700B - 一种模型评估方法、电子设备及计算机可读存储介质 - Google Patents

一种模型评估方法、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN113342700B
CN113342700B CN202110888946.6A CN202110888946A CN113342700B CN 113342700 B CN113342700 B CN 113342700B CN 202110888946 A CN202110888946 A CN 202110888946A CN 113342700 B CN113342700 B CN 113342700B
Authority
CN
China
Prior art keywords
factor
value
search
decision
factor group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110888946.6A
Other languages
English (en)
Other versions
CN113342700A (zh
Inventor
赵菁
李旭冬
袁明凯
黄斌
罗章龙
严明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110888946.6A priority Critical patent/CN113342700B/zh
Publication of CN113342700A publication Critical patent/CN113342700A/zh
Application granted granted Critical
Publication of CN113342700B publication Critical patent/CN113342700B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3604Software analysis for verifying properties of programs
    • G06F11/3608Software analysis for verifying properties of programs using formal methods, e.g. model checking, abstract interpretation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/006Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供一种模型评估方法、电子设备及计算机可读存储介质;方法包括:获取K个因素组、以及每个因素组对应的K个第1次查找值;通过迭代i执行以下处理:获取K个第i次查找值对应的第i次决策值;基于第i次决策值与决策阈值的比较结果,将K个因素组划分为第一因素组和第二因素组;将第一因素组中的目标因素的第i次查找值,更新至第二因素组中的每个因素组中;在第一因素组和更新的第二因素组中,对每个因素组的目标因素的第i次查找值进行折半查找,得到每个因素组对应的K个第i+1次查找值;基于迭代i得到的每个因素组对应的K个第I次查找值,确定最优组合值,并基于最优组合值评估决策模型。通过本申请,能够提升决策模型的评估效率。

Description

一种模型评估方法、电子设备及计算机可读存储介质
技术领域
本申请涉及计算机应用领域中的模型评估技术,尤其涉及一种模型评估方法、电子设备及计算机可读存储介质。
背景技术
在涉及多因素的决策模型的评估过程中,常常存在多因素最优化处理,其中,多因素是指影响决策模型决策的多个因素,最优化是指最大化或最小化决策模型的决策值的过程。
一般来说,针对决策模型的评估过程中的多因素最优化,可以通过粒子群算法实现。然而,采用粒子群算法实现多因素最优化时,涉及到粒子群体中因素的数目、粒子搜索过程中的速度、最大速度、消息同步的频率和迭代的次数等,所以,粒子群算法的复杂度较高;因此,采用粒子群算法实现决策模型评估过程中的多因素最优化时,复杂度较高,导致决策模型的评估效率较低。
发明内容
本申请实施例提供一种模型评估方法、装置、电子设备及计算机可读存储介质,能够提升决策模型的评估效率。
本申请实施例的技术方案是这样实现的:
本申请实施例提供一种模型评估方法,包括:
获取K个因素组,基于每个所述因素组所包括的目标因素,确定每个所述因素组对应的K个第1次查找值,每个所述因素组还包括K-1个因素,每个所述因素组的所述目标因素不同,K为大于1的正整数;
通过迭代i执行以下处理,1≤i≤I-1,且i为递增的正整数变量,I为大于1的正整数:
利用决策模型得出K个所述第i次查找值对应的第i次决策值;
基于所述第i次决策值与决策阈值的比较结果,将K个所述因素组划分为第一因素组和第二因素组;
将所述第一因素组中的所述目标因素的第i次查找值,更新至所述第二因素组中的每个所述因素组中;
在所述第一因素组和更新的所述第二因素组中,对每个所述因素组的所述目标因素的所述第i次查找值进行折半查找,得到每个所述因素组对应的K个第i+1次查找值;
基于迭代i得到的每个所述因素组对应的K个第I次查找值,确定最优组合值,并基于所述最优组合值评估所述决策模型。
本申请实施例提供一种模型评估装置,包括:
初始化模块,用于获取K个因素组,基于每个所述因素组所包括的目标因素,确定每个所述因素组对应的K个第1次查找值,每个所述因素组还包括K-1个因素,每个所述因素组的所述目标因素不同,K为大于1的正整数;
查找迭代模块,用于通过迭代i执行以下处理,1≤i≤I-1,且i为递增的正整数变量,I为大于1的正整数:利用决策模型得出K个所述第i次查找值对应的第i次决策值;基于所述第i次决策值与决策阈值的比较结果,将K个所述因素组划分为第一因素组和第二因素组;将所述第一因素组中的所述目标因素的第i次查找值,更新至所述第二因素组中的每个所述因素组中;在所述第一因素组和更新的所述第二因素组中,对每个所述因素组的所述目标因素的所述第i次查找值进行折半查找,得到每个所述因素组对应的K个第i+1次查找值;
模型评估模块,用于基于迭代i得到的每个所述因素组对应的K个第I次查找值,确定最优组合值,并基于所述最优组合值评估所述决策模型。
在本申请实施例中,所述初始化模块,还用于获取所述决策模型关联的M个个体对象、以及每个所述个体对象对应的N个属性,其中,M为正整数,N为正整数;基于M个所述个体对象中每个所述个体对象对应的N个所述属性,生成K个所述因素组,其中,所述目标因素和所述K-1个所述因素中的任一个对应于一个所述个体对象的一个所述属性,K=M*N。
在本申请实施例中,所述初始化模块,还用于获取查找方向;结合所述查找方向和每个所述因素组的所述目标因素,确定每个所述因素组的所述目标因素的所述第1次查找值、以及K-1个所述因素的K-1个所述第1次查找值;将所述目标因素的所述第1次查找值、以及K-1个所述因素的K-1个所述第1次查找值,组合为每个所述因素组对应的K个所述第1次查找值。
在本申请实施例中,所述初始化模块,还用于当所述查找方向为正向查找方向时,将每个所述因素组的所述目标因素的最大因素值,确定为每个所述因素组的所述目标因素的所述第1次查找值,并将K-1个所述因素的K-1个最小因素值,确定为K-1个所述因素的K-1个所述第1次查找值;当所述查找方法为反向查找方向时,将每个所述因素组的所述目标因素的最小因素值,确定为每个所述因素组的所述目标因素的所述第1次查找值,并将K-1个所述因素的K-1个最大因素值,确定为K-1个所述因素的K-1个所述第1次查找值,所述反向查找方向与所述正向查找方向相对。
在本申请实施例中,所述查找迭代模块,还用于在K个所述因素组中,将所述第i次决策值大于所述决策阈值的所述因素组组合为所述第一因素组,并将所述第i次决策值小于或等于所述决策阈值的所述因素组组合为所述第二因素组。
在本申请实施例中,所述模型评估模块,还用于针对迭代i得到的每个所述因素组对应的K个第I次查找值,获取第I次决策值;基于大于所述决策阈值的每个所述第I次决策值对应的K个第I次查找值,确定最低组合值,所述最低组合值为K个第I次查找值的最低组合得分;将所述最低组合值确定为所述最优组合值。
在本申请实施例中,所述查找迭代模块,还用于遍历所述第一因素组,并在所述第二因素组中的每个所述因素组中,将与遍历到的所述因素组的所述目标因素相同的所述因素,确定为第一待更新因素;将所述第一待更新因素的所述第i次查找值,更新为遍历到的所述因素组的所述目标因素的所述第i次查找值。
在本申请实施例中,所述查找迭代模块,还用于获取所述第一因素组中每个所述因素组对应的组合值,得到与所述第一因素组对应的至少一个组合值;从至少一个所述组合值中选择最高组合值;将所述第一因素组中与所述最高组合值对应的所述因素组,确定为目标因素组;在所述第二因素组中的每个所述因素组中,将与所述目标因素组的所述目标因素相同的所述因素,确定为第二待更新因素;将所述第二待更新因素的所述第i次查找值,更新为所述目标因素组中所述目标因素的所述第i次查找值。
在本申请实施例中,所述查找迭代模块,还用于针对所述第一因素组中的每个所述因素组,结合所述目标因素的当前查找范围,对所述目标因素的所述第i次查找值进行折半查找,得到所述第一因素组中的每个所述因素组对应的K个所述第i+1次查找值,所述当前查找范围是基于迭代次数和所述目标因素的取值范围确定的;针对更新的所述第二因素组中的每个所述因素组,结合所述目标因素的当前查找范围,对所述目标因素的所述第i次查找值进行折半查找,得到更新的所述第二因素组中的每个所述因素组对应的K个所述第i+1次查找值;将所述第一因素组中的每个所述因素组对应的K个所述第i+1次查找值、以及更新的所述第二因素组中的每个所述因素组对应的K个所述第i+1次查找值,组合为K个所述因素组中每个所述因素组对应的K个所述第i+1次查找值。
在本申请实施例中,所述查找迭代模块,还用于针对更新的所述第二因素组中的每个所述因素组,利用所述决策模型得出对应的折半决策值;当所述折半决策值大于所述决策阈值时,获取所述目标因素所对应的所述当前查找范围的最小因素值;基于所述目标因素的所述第i次查找值、以及所述当前查找范围的所述最小因素值,确定第一待更新值;利用所述第一待更新值,更新所述目标因素的所述第i次查找值,得到更新的所述第二因素组中的每个所述因素组对应的K个所述第i+1次查找值。
在本申请实施例中,所述查找迭代模块,还用于当所述折半决策值小于或等于所述决策阈值时,获取所述目标因素所对应的所述当前查找范围的最大因素值;基于所述目标因素的所述第i次查找值、以及所述当前查找范围的所述最大因素值,确定第二待更新值;利用所述第二待更新值,更新所述目标因素的所述第i次查找值,得到更新的所述第二因素组中的每个所述因素组对应的K个所述第i+1次查找值。
在本申请实施例中,所述模型评估模块,还用于从K个所述因素组中,获取大于所述决策阈值的每个所述第I次决策值对应的所述因素组,得到J个所述因素组,J≤K,J为正整数;对J个所述因素组中每个所述因素组对应的K个第I次查找值进行组合值的计算,得到与J个所述因素组对应的J个组合值;将J个组合值中最低的组合值确定为所述最低组合值。
在本申请实施例中,所述查找迭代模块,还用于在K个所述因素组中,将所述第i次决策值小于或等于所述决策阈值的所述因素组组合为所述第一因素组,并将所述第i次决策值大于所述决策阈值的所述因素组组合为所述第二因素组。
在本申请实施例中,所述模型评估模块,还用于针对迭代i得到的每个所述因素组对应的K个第I次查找值,获取第I次决策值;基于大于所述决策阈值的每个第I次决策值对应的K个第I次查找值,确定最大组合值,所述最大组合值为K个第I次查找值的最高组合得分;将所述最大组合值确定为所述最优组合值。
在本申请实施例中,所述模型评估模块,还用于获取所述决策模型的前序决策模型对应的前序最优组合值;获取所述决策模型的后序决策模型对应的后序最优组合值;获取所述前序最优组合值和所述后序最优组合值对应的组合值趋势信息;获取所述最优组合值与所述组合值趋势信息的组合值距离;基于所述组合值距离与距离阈值的比较结果,确定所述决策模型的评估结果。
本申请实施例提供一种用于模型评估的电子设备,包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现本申请实施例提供的模型评估方法。
本申请实施例提供一种计算机可读存储介质,存储有可执行指令,用于引起处理器执行时,实现本申请实施例提供的模型评估方法。
本申请实施例至少具有以下有益效果:通过针对决策模型所关联的K个因素,构建K个包括K个因素的因素组,并利用每个因素组控制一个因素(目标因素)进行折半查找,以及在一次查找结束后,基于查找值对应的决策值与决策阈值的比较结果,确定是直接对目标因素的值进行折半查找,还是更新查找值后再对目标因素的值进行折半查找;如此迭代,直至无法再进行折半查找时,基于大于决策阈值的迭代查找出的决策值所对应的K个因素的K个值的组合值,评估决策模型;也就是说,通过利用粒子群算法中信息共享的方式,并同步独立对每个因素的值进行折半查找,能够快速确定用于评估决策模型的K个因素的最优值,从而,能够提升决策模型的评估效率。
附图说明
图1a是本申请实施例提供的模型评估系统的一个可选的架构示意图;
图1b是本申请实施例提供的模型评估系统的另一个可选的架构示意图;
图2是本申请实施例提供的图1a中的一种服务器的示例性的组成结构示意图;
图3是本申请实施例提供的模型评估方法的一个可选的流程示意图;
图4是本申请实施例提供的模型评估方法的另一个可选的流程示意图;
图5是本申请实施例提供的模型评估方法的又一个可选的流程示意图;
图6是本申请实施例提供的一种示例性的模型评估方法的应用示意图;
图7是本申请实施例提供的一种示例性的模型评估模块的组成示意图;
图8是本申请实施例提供的一种示例性的模型评估方法的流程示意图;
图9是本申请实施例提供的一种示例性的搜索变量组合示意图;
图10是本申请实施例提供的一种示例性的同步更新前的示意图;
图11是本申请实施例提供的一种示例性的同步更新的示意图;
图12是本申请实施例提供的另一种示例性的同步更新的示意图;
图13是本申请实施例提供的一种示例性的二分查找示意图;
图14是本申请实施例提供的一种示例性的模型评估示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
在以下的描述中,所涉及的术语“第一\第二\第三\第四”仅仅是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三\第四”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义,本申请实施例所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本申请实施例中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前,对本申请实施例中涉及的名词和术语进行说明,本申请实施例中涉及的名词和术语适用于如下的解释。
1)人工智能(AI,Artificial Intelligence),是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。从而,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。或者说,人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。本申请实施例中,可以利用人工智能获取决策模型关联的K个因素对应的最优组合值。
2)粒子群算法,是通过模拟鸟群觅食行为而发展起来的一种基于群体协作的随机搜索算法;通过利用群体中的个体因素实现的信息共享,使得整个群体的运动在问题求解空间中产生从无序到有序的演化过程,从而获得问题的最优解。
3)二分查找,也称折半查找,是一种效率较高的查找方法;通过将数组b中的c个元素分成大致相等的两部分,取b[c/2]与x做比较,如果x=b[c/2],则查找到了x,查找中止;如果x<b[c/2],则在数组b左半部分继续查找x,如果x>b[c/2],则在数组b的右半部继续查找x。在本申请实施例中,目标因素的取值范围对应于上述的数据b中的c个元素,以及每次折半查找出的值用于进行决策值的计算。
4)区块链(Block Chain),是由区块(Block)形成的加密的、链式的交易存储结构。
5)区块链网络(Block Chain Network),通过共识的方式将新区块纳入区块链得到的一系列的节点的集合。
一般来说,针对决策模型的评估过程中的多因素最优化,可以通过粒子群算法实现。然而,采用粒子群算法实现多因素最优化时,涉及到粒子群体中因素的数目、粒子搜索过程中的速度、最大速度、消息同步的频率和迭代的次数等等,所以,粒子群算法的复杂度较高;因此,采用粒子群算法实现决策模型评估过程中的多因素最优化时,复杂度较高,导致决策模型的评估效率较低。并且,粒子群算法的使用效果取决于算法对应用场景的适应度,所以,通用性存在一定局限性,同时随着查找过程中迭代次数的增加,越靠近查找目标,时间代价越高,而且可能随着迭代次数增加,查找的效率会慢慢降低,为了减少时间代价,往往会减少迭代次数,导致无法获得最优解,也将无法实现决策模型的决策值的最优化。
另外,由于决策模型的评估过程中涉及到的为多因素最优化,各因素之间联系复杂或者无明确的联系,难以转化为一个目标函数来最优化求解,所以,求解过程复杂度高;并且也不是顺序结构;二分查找虽然查找效率高,但是无法直接应用于多因素问题的最优化求解中,无法解决复杂问题;并且二分查找应用于顺序结构中,故二分查找无法应用于决策模型评估过程的多因素最优化处理中。
基于此,本申请实施例提供一种模型评估方法、装置、电子设备和计算机可读存储介质,能够提升决策模型的评估效率,且具有通用性。下面说明本申请实施例提供的用于模型评估的电子设备(以下简称为模型评估设备)的示例性应用,本申请实施例提供的模型评估设备可以实施为智能手机、智能手表、笔记本电脑、平板电脑、台式计算机、智能电视、机顶盒、智能车载设备、便携式音乐播放器、个人数字助理、专用消息设备、便携式游戏设备和智能音箱等各种类型的终端,也可以实施为服务器。下面,将说明模型评估设备实施为服务器时的示例性应用。
参见图1a,图1a是本申请实施例提供的模型评估系统的一个可选的架构示意图;如图1a所示,为支撑一个模型评估应用,在模型评估系统100中,服务器400(模型评估设备)通过网络300连接服务器200,网络300可以是广域网或者局域网,又或者是二者的组合;这里,模型评估系统100中还包括数据库500,用于向服务器400提供数据支持。并且,图1a中示出的为数据库500独立于服务器400的一种情况,另外,数据库500还可以集成在服务器400中,本申请实施例对此不作限定。此外,模型评估系统100中还包括通过网络300与服务器200连接的终端600,服务器200通过网络300向终端600提供服务计算(比如,虚拟场景的数据)。
服务器400,用于获取K个因素组,基于每个因素组所包括的目标因素,确定每个因素组对应的K个第1次查找值,每个因素组还包括K-1个因素,每个因素组的目标因素不同,K为大于1的正整数;通过迭代i执行以下处理,1≤i≤I-1,且i为递增的正整数变量,I为大于1的正整数:通过网络300向服务器200发送K个第i次查找值,并通过网络300接收服务器200发送的第i次决策值;基于第i次决策值与决策阈值的比较结果,将K个因素组划分为第一因素组和第二因素组;将第一因素组中的目标因素的第i次查找值,更新至第二因素组中的每个因素组中;在第一因素组和更新的第二因素组中,对每个因素组的目标因素的第i次查找值进行折半查找,得到每个因素组对应的K个第i+1次查找值;基于迭代i得到的每个因素组对应的K个第I次查找值,确定最优组合值,并基于最优组合值评估决策模型,并基于最优组合值评估决策模型。
服务器200,用于通过网络300接收服务器400发送的K个第i次查找值,并利用决策模型得出K个第i次查找值对应的第i次决策值,并通过网络300向服务器400发送第i次决策值。
在本申请的一些实施例中,服务器200和服务器400可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(CDN,Content Delivery Network)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端600可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请实施例中不作限制。
本申请实施例提供的模型评估方法所涉及的最优组合值可保存于区块链上。
另外,本申请实施例提供的模型评估方法中,模型评估设备可作为区块链上的节点;参见图1b,图1b是本申请实施例提供的模型评估系统的另一个可选的架构示意图。图1b示出的模型评估系统100中,通过服务器200向服务器400发送K个第i次查找值。
在本申请的一些实施例中,服务器200和服务器400可以加入区块链网络700而成为其中的一个节点。区块链网络700的类型是灵活多样的,例如可以为公有链、私有链或联盟链中的任意一种。以公有链为例,任何业务主体的电子设备,都可以在不需要授权的情况下接入区块链网络700,以作为区块链网络700的共识节点,比如,服务器400映射为区块链网络700中的共识节点700-1,服务器200映射为区块链网络700中的共识节点700-2。
以区块链网络700为联盟链为例,服务器200和服务器400在获得授权后可以接入区块链网络700而成为节点。服务器200可以通过执行智能合约的方式将K个第i次查找值对应的第i次决策值发送至区块链网络700中进行共识。当共识通过时,服务器200再将第i次决策值发送至服务器400。可见,通过区块链网络中的多个节点对K个第i次查找值对应的第i次决策值进行共识确认后再发送至服务器400,能够提高模型评估过程中第i次决策值的获取的可靠性和准确性。
参见图2,图2是本申请实施例提供的图1a中的一种服务器的示例性的组成结构示意图,图2所示的服务器400包括:至少一个处理器410、存储器450、至少一个网络接口420和用户接口430。服务器400中的各个组件通过总线系统440耦合在一起。可理解,总线系统440用于实现这些组件之间的连接通信。总线系统440除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图2中将各种总线都标为总线系统440。
处理器410可以是一种集成电路芯片,具有信号的处理能力,例如通用处理器、数字信号处理器(DSP,Digital Signal Processor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,其中,通用处理器可以是微处理器或者任何常规的处理器等。
用户接口430包括使得能够呈现媒体内容的一个或多个输出装置431,包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口430还包括一个或多个输入装置432,包括有助于用户输入的用户接口部件,比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器450可以是可移除的,不可移除的或其组合。示例性的硬件设备包括固态存储器,硬盘驱动器,光盘驱动器等。存储器450可选地包括在物理位置上远离处理器410的一个或多个存储设备。
存储器450包括易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM,Read Only Memory),易失性存储器可以是随机存取存储器(RAM,Random Access Memory)。本申请实施例描述的存储器450旨在包括任意适合类型的存储器。
在本申请的一些实施例中,存储器450能够存储数据以支持各种操作,这些数据的示例包括程序、模块和数据结构或者其子集或超集,下面示例性说明。
操作系统451,包括用于处理各种基本系统服务和执行硬件相关任务的系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务;
网络通信模块452,用于经由一个或多个(有线或无线)网络接口420到达其他计算机设备,示例性的网络接口420包括:蓝牙、无线相容性认证(Wi-Fi)、和通用串行总线(USB,Universal Serial Bus)等;
呈现模块453,用于经由一个或多个与用户接口430相关联的输出装置431(例如,显示屏、扬声器等)使得能够呈现信息(例如,用于操作外围设备和显示内容和信息的用户接口);
输入处理模块454,用于对一个或多个来自一个或多个输入装置432之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在本申请的一些实施例中,本申请实施例提供的模型评估装置可以采用软件方式实现,图2示出了存储在存储器450中的模型评估装置455,其可以是程序和插件等形式的软件,包括以下软件模块:初始化模块4551、查找迭代模块4552和模型评估模块4553,这些模块是逻辑上的,因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。
在本申请的另一些实施例中,本申请实施例提供的模型评估装置可以采用硬件方式实现,作为示例,本申请实施例提供的模型评估装置可以是采用硬件译码处理器形式的处理器,其被编程以执行本申请实施例提供的模型评估方法,例如,硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC,Application Specific IntegratedCircuit)、DSP、可编程逻辑器件(PLD,Programmable Logic Device)、复杂可编程逻辑器件(CPLD,Complex Programmable Logic Device)、现场可编程门阵列(FPGA,Field-Programmable Gate Array)或其他电子元件。
下面,将结合本申请实施例提供的模型评估设备的示例性应用和实施,说明本申请实施例提供的模型评估方法。
参见图3,图3是本申请实施例提供的模型评估方法的一个可选的流程示意图,将结合图3示出的步骤进行说明。
S301、获取K个因素组,基于每个因素组所包括的目标因素,确定每个因素组对应的K个第1次查找值。
在本申请实施例中,模型评估设备用于对决策模型进行评估,以评估决策模型中的参数的设置的合理性;这里,当模型评估设备针对决策模型进行评估时,基于决策模型关联的K个因素,生成K个包括K个因素的因素组,模型评估设备也就获得了K个因素组。
这里,每个因素组用于针对K个因素中的一个因素进行值查找,即第k个因素组用于针对第k个因素进行值查找;其中,每个因素组所针对性进行值查找的因素即该因素组的目标因素,所以,每个因素组包括1个目标因素和K-1个因素,各个因素组之间的目标因素不同;K为大于1的正整数,1≤k≤K,且k为递增的正整数变量;从而,模型评估设备对每个因素组中的K个因素的值进行初始化时,基于每个因素组的目标因素对K个因素进行赋值;模型评估设备基于K个因素中每个因素的取值范围,确定每个因素的两个边界值(最大因素值和最小因素值),并基于每个因素的两个边界值,对每个因素组中的目标因素和除目标因素之外的K-1个因素进行赋值;其中,每个因素组中的目标因素和K-1个因素的赋值选择方式相反;比如,目标因素的赋值为最大因素值时,K-1个因素的赋值为最小因素值;又比如,目标因素的赋值为最小因素值时,K-1个因素的赋值为最大因素值。当模型评估设备对每个因素组中的K个因素均完成了初始化的赋值之后,也就获得了每个因素组中的K个因素对应的K个第1次查找值。
需要说明的是,决策模型用于对K个因素的值进行决策,比如,通关策略,又比如,虚拟道具组装策略,等等。
在本申请实施例中,通过迭代i执行S302至S305来实现决策模型的K个因素的最优化处理;其中,1≤i≤I-1,且i为递增的正整数变量,I为大于1的正整数;下面,分别对各步骤分别进行说明。
S302、利用决策模型得出K个第i次查找值对应的第i次决策值。
在本申请实施例中,模型评估设备利用决策模型对每个因素组对应的K个第i次查找值进行决策,也就获得了每个因素组对应的K个第i次查找值所对应的第i次决策值。其中,第i次决策值用于表征K个第i次查找值进行组合时所对应的决策能力。
S303、基于第i次决策值与决策阈值的比较结果,将K个因素组划分为第一因素组和第二因素组。
在本申请实施例中,模型评估设备能够获取到决策阈值,该决策阈值用于确定第i次决策值对应的决策结果。比如,当第i次决策值大于决策阈值时,决策结果为通过决策,表明K个第i次查找值进行组合时能够通过决策;当第i次决策值小于或等于决策阈值时,决策结果为未通过决策,表明K个第i次查找值进行组合时无法通过决策。又比如,当第i次决策值小于或等于决策阈值时,决策结果为通过决策,表明K个第i次查找值进行组合时能够通过决策;当第i次决策值大于决策阈值时,决策结果为未通过决策,表明K个第i次查找值进行组合时无法通过决策。
需要说明的是,模型评估设备通过将每个第i次决策值与决策阈值进行比较,来基于比较结果将通过决策的因素组组成第一因素组,而将无法通过决策的因素组组成第二因素组。从而,第一因素组包括第i次决策值大于决策阈值的因素组,第二因素组包括第i次决策值小于或等于决策阈值的因素组;或者,第一因素组包括第i次决策值小于或等于决策阈值的因素组,第二因素组包括第i次决策值大于决策阈值的因素组。
S304、将第一因素组中的目标因素的第i次查找值,更新至第二因素组中的每个因素组中。
在本申请实施例中,模型评估设备将通过决策的因素组中目标因素的值,同步给未通过决策的因素组中与通过决策的因素组的目标因素相同的因素,也就完成了将第一因素组中的目标因素的第i次查找值更新至第二因素组中的每个因素组中的处理。也就是说,模型评估设备在第二因素组的每个因素组中,利用第一因素组中的目标因素的第i次查找值,更新与第一因素组中的目标因素相同的因素的第i次查找值。
示例性地,第一因素组中的第k1个因素组的目标因素为第k1个因素,第二因素组中的第k2个因素组的目标因素为第k2个因素,第k2个因素组中的第k1个因素与第k1个因素组中的第k1个因素即是相同的因素;k1和k2均为大于等于1且小于等于K的正整数。
S305、在第一因素组和更新的第二因素组中,对每个因素组的目标因素的第i次查找值进行折半查找,得到每个因素组对应的K个第i+1次查找值。
在本申请实施例中,模型评估设备在完成了通过决策的因素组的第i次查找值向未通过决策的因素组的查找值的同步之后,整体对每个因素组的目标因素进行折半查找;这里,模型评估设备在每个目标因素对应的当前查找范围中对该目标因素的当前查找值(即第i次查找值)进行折半查找;完成折半查找之后,也就查找到了K个因素组中的每个因素组的K个因素的值,所查找到的K个因素组中的每个因素组的K个因素的值,即每个因素组对应的K个第i+1次查找值。其中,当前查找范围是基于迭代次数(查找次数)和所述目标因素的取值范围确定的。
需要说明的是,模型评估设备在进行折半查找时,是基于是否通过决策确定查找区间的,其中,查找区间指将当前查找范围一半。从而,由于第一因素组为确定的通过决策的因素组构成的集合,因此,只需要利用决策模型对更新的第二因素组是否能够通过决策进行判断,并基于判断结果确定查找区间。
S306、基于迭代i得到的每个因素组对应的K个第I次查找值,确定最优组合值,并基于最优组合值评估决策模型。
在本申请实施例中,模型评估设备通过迭代i执行决策处理、同步处理和折半查找处理,直至无法进行折半查找时,迭代结束,获得K个因素组中的每个因素组的K个因素所对应的K个第I次查找值;此时,模型评估设备利用决策模型对K个因素组中的每个因素组的K个因素所对应的K个第I次查找值决策,以获得每个因素组对应的第I次决策值,并基于每个因素组对应的第I次决策值与决策阈值的比较结果,获取通过决策的第I次决策值对应的各个因素组,进而基于通过决策的每个因素组中K个第I次查找值的组合值,确定最优组合值;以及,将该最优组合值作为决策模型的评估依据。
需要说明的是,组合值是指K个第I次查找值进行组合时的决策能力。其中,最优组合值可以是最低组合值,也可以是最大组合值;当通过决策为大于决策阈值时,最优组合值是最低组合值;当通过决策为小于或等于决策阈值时,最优组合值是最大组合值;也就是说,最优组合值是指K个因素对应的K个第I次查找值进行组合时对应的组合值的最值,且该最优组合值的最值方向与决策阈值的比较方向相反,即决策阈值的比较方向为小于决策阈值的方向时,最值对应最大值;决策阈值的比较方向为大于决策阈值的方向时,最值对应最小值。
可以理解的是,通过针对决策模型所关联的K个因素,构建K个包括K个因素的因素组,并利用每个因素组控制一个因素(目标因素)进行折半查找,以及在一次查找结束后,基于查找值对应的决策值与决策阈值的比较结果,确定是直接对目标因素的值进行折半查找,还是更新查找值后再对目标因素的值进行折半查找;如此迭代,直至无法再进行折半查找时,基于K个因素的K个值的组合值,评估决策模型;也就是说,通过利用粒子群算法中信息共享的方式,并同步独立对每个因素的值进行折半查找,能够快速确定用于评估决策模型的K个因素的最优值,从而,能够提升决策模型的评估效率。
在本申请实施例中,S301中模型评估设备获取K个因素组,可通过S3011和S3012实现,下面对各步骤分别进行说明。
S3011、获取决策模型关联的M个个体对象、以及每个个体对象对应的N个属性。
需要说明的是,M个个体对象是决策模型关联的至少一种个体对象;并且,M个个体对象中的每个个体对象对应着至少一种属性,该至少一种属性即N个属性;其中,M和N均为正整数。
S3012、基于M个个体对象中每个个体对象对应的N个属性,生成K个因素组。
需要说明的是,模型评估设备基于M个个体对象中每个个体对象对应的N个属性,生成K个因素,并生成K个包含K个因素的因素组,也就获得了K个因素组;其中,K个因素中的每个因素对应于一个个体对象的一个属性,K=M*N。
在本申请实施例中,S301中模型评估设备基于每个因素组所包括的目标因素,确定每个因素组对应的K个第1次查找值,可通过S3013至S3015实现,下面对各步骤分别进行说明。
S3013、获取查找方向。
需要说明的是,查找方向是指模型评估设备基于K个因素的取值范围对K个因素进行值查找的方向。
S3014、结合查找方向和每个因素组的目标因素,确定每个因素组的目标因素的第1次查找值、以及K-1个因素的K-1个第1次查找值。
需要说明的是,模型评估设备结合查找方向确定每个因素组的目标因素的取值范围的边界值中的任一个,也就获得了每个因素组的目标因素的第1次查找值;并基于目标因素所选择的边界值,确定除K-1个因素的所选择的边界值,也就获得了每个因素组中K-1个因素的K-1个第1次查找值;其中,目标因素所选择的边界值,与K-1个因素的所选择的边界值不同,并且,K-1个因素与K-1个第1次查找值一一对应。
S3015、将目标因素的第1次查找值、以及K-1个因素的K-1个第1次查找值,组合为每个因素组对应的K个第1次查找值。
需要说明的是,在每个因素组对应的K个因素中,当模型评估设备完成了该因素组的目标因素的第1次查找值的确定,以及K-1个因素的K-1个第1次查找值的确定之后;将确定的目标因素的第1次查找值、以及K-1个因素的K-1个第1次查找值,组合为每个因素组对应的K个第1次查找值。
在本申请实施例中,S3014可通过S30141或S30142实现;也就是说,模型评估设备结合查找方向和每个因素组的目标因素,确定每个因素组的目标因素的第1次查找值、以及K-1个因素的K-1个第1次查找值,包括S30141或S30142,下面对各步骤分别进行说明。
S30141、当查找方向为正向查找方向时,将每个因素组的目标因素的最大因素值,确定为每个因素组的目标因素的第1次查找值,并将K-1个因素的K-1个最小因素值,确定为K-1个因素的K-1个第1次查找值。
需要说明的是,正向查找方向是指按照从小到大的正序方向进行值查找的方向;最大因素值为目标因素的取值范围中的最大值,即取值范围的边界值中的最大边界值;最小因素值为因素的取值范围中的最小值,即取值范围的边界值中的最小边界值。
S30142、当查找方法为反向查找方向时,将每个因素组的目标因素的最小因素值,确定为每个因素组的目标因素的第1次查找值,并将K-1个因素的K-1个最大因素值,确定为K-1个因素的K-1个第1次查找值,反向查找方向与正向查找方向相对。
需要说明的是,正向查找方向是指按照从大到小的倒序方向进行值查找的方向;易知,反向查找方向与正向查找方向相对。
参见图4,图4是本申请实施例提供的模型评估方法的另一个可选的流程示意图;如图4所示,在本申请实施例中,S303可通过S3031实现;也就是说,模型评估设备基于第i次决策值与决策阈值的比较结果,将K个因素组划分为第一因素组和第二因素组,包括S3031,下面对该步骤分别进行说明。
S3031、在K个因素组中,将第i次决策值大于决策阈值的因素组组合为第一因素组,并将第i次决策值小于或等于决策阈值的因素组组合为第二因素组。
需要说明的是,当通过决策为决策值大于决策阈值时,模型评估设备获得的第一因素组是由第i次决策值大于决策阈值的因素组组合得到的,第二因素组是由第i次决策值小于或等于决策阈值的因素组组合得到的。
继续参见图4,相应地,在本申请实施例中,S306中模型评估设备基于迭代i得到的大于决策阈值的每个第I次决策值对应的K个第I次查找值,确定最优组合值,可通过S3061和S3062实现,下面对各步骤分别进行说明。
S3061、针对迭代i得到的每个因素组对应的K个第I次查找值,获取第I次决策值,基于大于决策阈值的每个第I次决策值对应的K个第I次查找值,确定最低组合值。
S3062、将最低组合值确定为最优组合值。
在本申请实施例中,模型评估设备采用决策模型对每个因素组对应的K个第I次查找值进行决策,也就获得了每个因素组对应的第I次决策值。
需要说明的是,当模型评估设备将决策值大于决策阈值确定为通过决策时,表明模型评估设备进行多因素最优化,是为了确定K个因素对应的最低的组合值;从而此时,模型评估设备获取的最优组合值为最低组合值。其中,最低组合值为K个第I次查找值的最低组合得分,用于表征K个第I次查找值通过决策的决策能力。
在本申请实施例中,S304可通过S3041实现;也就是说,模型评估设备将第一因素组中的目标因素的第i次查找值,更新至第二因素组中的每个因素组中,包括S3041,下面对该步骤进行说明。
S3041、遍历第一因素组,并在第二因素组中的每个因素组中,将与遍历到的因素组的目标因素相同的因素,确定为第一待更新因素,将第一待更新因素的第i次查找值,更新为遍历到的因素组的目标因素的第i次查找值。
需要说明的是,模型评估设备将第一因素组中所有因素组的目标因素的第i次查找值均同步到第二因素组中的各个因素组中。这里,模型评估设备对第一因素组中的所有因素组进行遍历,针对每个遍历到的因素组,在第二因素组中的每个因素组中,将与遍历到的因素组的目标因素相同的因素的第i次查找值,更新为遍历到的因素组的目标因素的第i次查找值。
在本申请实施例中,S304还可通过S3042至S3045实现;也就是说,模型评估设备将第一因素组中的目标因素的第i次查找值,更新至第二因素组中的每个因素组中,包括S3042至S3045,下面对各步骤进行说明。
S3042、获取第一因素组中每个因素组对应的组合值,得到与第一因素组对应的至少一个组合值。
在本申请实施例中,模型评估设备可以将第一因素组中的所有因素组的目标因素的第i次查找值全部同步至第二因素组中,也可以将第一因素组的部分因素组的目标因素的第i次查找值同步至第二因素组中,本申请实施例对此不作限定。
这里,当模型评估设备将第一因素组中的部分因素组的目标因素的第i次查找值同步至第二因素组中时,可以从第一因素组中任意选择因素组,来获得用于同步的因素组,也可以基于因素组的组合值进行选择;从而,模型评估设备基于因素组的组合值进行选择时,获取第一因素组中每个因素组对应的K个第i次查找值对应的组合值,得到第一因素组对应的至少一个组合值;其中,第一因素组中的至少一个因素组与至少一个组合值一一对应。
S3043、从至少一个组合值中选择最高组合值。
需要说明的是,模型评估设备从至少一个组合值中选择最高的组合值,并将该最高的组合值确定为最高组合值。
这里,当通过决策为决策值大于决策阈值时,进行部分更新的过程中,模型评估设备从至少一个组合值中选择最高组合值。
S3044、将第一因素组中与最高组合值对应的因素组,确定为目标因素组。
需要说明的是,模型评估设备从第一因素组中确定与最高组合值所对应的因素组,并将确定的与最高组合值所对应的因素组确定为目标因素组。
S3045、在第二因素组中的每个因素组中,将与目标因素组的目标因素相同的因素,确定为第二待更新因素,将第二待更新因素的第i次查找值,更新为目标因素组中目标因素的第i次查找值。
需要说明的是,模型评估设备利用目标因素组来代表第一因素组实现对第二因素组中因素的值更新。这里,模型评估设备遍历第二因素组中的每个因素组,并在第二因素组中的每个因素组中,将与目标因素组的目标因素相同的因素的第i次查找值,更新为目标因素组的目标元素的第i次查找值。
在本申请实施例中,S305可通过S3051至S3053实现;也就是说,模型评估设备在第一因素组和更新的第二因素组中,对每个因素组的目标因素的第i次查找值进行折半查找,得到每个因素组对应的K个第i+1次查找值,包括S3051至S3053,下面对各步骤分别进行说明。
S3051、针对第一因素组中的每个因素组,结合目标因素的当前查找范围,对目标因素的第i次查找值进行折半查找,得到第一因素组中的每个因素组对应的K个第i+1次查找值。
S3052、针对更新的第二因素组中的每个因素组,结合目标因素的当前查找范围,对目标因素的第i次查找值进行折半查找,得到更新的第二因素组中的每个因素组对应的K个第i+1次查找值。
需要说明的是,模型评估设备针对第一因素组和更新后的第二因素组中的目标因素进行折半查找,除了目标因素之外的剩余K-1个因素的值不变。这里,模型评估设备对第一因素组中每个因素组的目标因素的第i次查找值进行折半查找,得到第一因素组中的每个因素组对应的K个第i+1次查找值;而对更新的第二因素组中每个因素组的目标因素的第i次查找值进行折半查找,得到更新的第二因素组中的每个因素组对应的K个第i+1次查找值。
S3053、将第一因素组中的每个因素组对应的K个第i+1次查找值、以及更新的第二因素组中的每个因素组对应的K个第i+1次查找值,组合为K个因素组中每个因素组对应的K个第i+1次查找值。
需要说明的是,K个因素组中每个因素组对应的K个第i+1次查找值,包括:第一因素组中的每个因素组对应的K个第i+1次查找值、以及更新的第二因素组中的每个因素组对应的K个第i+1次查找值。
在本申请实施例中,S3052可通过S30521至S30524实现;也就是说,模型评估设备针对更新的第二因素组中的每个因素组,结合目标因素的当前查找范围,对目标因素的第i次查找值进行折半查找,得到更新的第二因素组中的每个因素组对应的K个第i+1次查找值,包括S30521至S30524,下面对各步骤分别进行说明。
S30521、针对更新的第二因素组中的每个更新的因素组,利用决策模型得出对应的折半决策值。
需要说明的是,模型评估设备利用决策模型对更新的第二因素组中的每个更新的因素组对应的K个值(包括第i次查找值和更新的第i次查找值)进行决策,决策出的决策值即折半决策值。这里,折半决策值用于确定每个更新的因素组对应的查找范围。
S30522、当折半决策值大于决策阈值时,获取目标所对应的当前查找范围的最小因素值。
S30523、基于目标因素的第i次查找值、以及当前查找范围的最小因素值,确定第一待更新值。
在本申请实施例中,模型评估设备将折半决策值与预测阈值进行比较,当通过决策是指决策值大于决策阈值时,如果折半决策值大于决策阈值,确定折半决策值对应的更新的第二因素组中的因素组通过决策;此时,对更新的第二因素组中的该因素组的目标因素,从当前查找范围的较小一半中进行值查找,从而,模型评估设备获取该因素组的目标因素所对应的当前查找范围的最小因素值,并将当前查找范围的最小因素值与目标因素的第i次查找值对应的中间值确定为第一待更新值。其中,第一待更新值用于确定更新的第二因素组中通过决策的因素组的目标因素的新的查找值。
S30524、利用第一待更新值,更新目标因素的第i次查找值,得到更新的第二因素组中的每个因素组对应的K个第i+1次查找值。
需要说明的是,更新后的目标因素的第i次查找值即第一待更新值;而完成更新后的因素组对应的K个值即K个第i+1次查找值。
在本申请实施例中,S30521之后还包括S30525至S30527;也就是说,模型评估设备针对更新的第二因素组中的每个因素组,利用决策模型得出对应的折半决策值之后,该模型评估方法还包括S30525至S30527,下面对各步骤分别进行说明。
S30525、当折半决策值小于或等于决策阈值时,获取目标因素所对应的当前查找范围的最大因素值。
S30526、基于目标因素的第i次查找值、以及当前查找范围的最大因素值,确定第二待更新值。
在本申请实施例中,模型评估设备将折半决策值与预测阈值进行比较,当通过决策是指决策值大于决策阈值时,如果折半决策值小于或等于决策阈值,确定折半决策值对应的更新的第二因素组中的因素组未通过决策;此时,对更新的第二因素组中的该因素组的目标因素,从当前查找范围的较大一半中进行值查找,从而,模型评估设备获取该因素组的目标因素所对应的当前查找范围的最大因素值,并将当前查找范围的最大因素值与目标因素的第i次查找值对应的中间值确定为第二待更新值。其中,第二待更新值用于确定更新的第二因素组中未通过决策的因素组的目标因素的新的查找值。
S30527、利用第二待更新值,更新目标因素的第i次查找值,得到更新的第二因素组中的每个因素组对应的K个第i+1次查找值。
需要说明的是,更新后的目标因素的第i次查找值即第二待更新值;而完成更新后的因素组对应的K个值即K个第i+1次查找值。
在本申请实施例中,S3061中模型评估设备基于大于决策阈值的每个第I次决策值对应的K个第I次查找值,确定最低组合值,包括S30611至S30613,下面对各步骤分别进行说明。
S30611、从K个因素组中,获取大于决策阈值的每个第I次决策值对应的因素组,得到J个因素组。
需要说明的是,模型评估设备通过迭代i,在i为I时,如果无法再进行折半查找,则确定迭代结束;此时,K个因素组中每个因素组所对应的K的第I次查找值所对应的第I次决策值可能大于决策阈值,也可能小于或等于决策阈值;这里,模型评估设备仅获取大于决策阈值的每个第I次决策值对应的因素组;易知,J个因素组中的每个因素组即为大于决策阈值的第I次决策值对应的因素组,其中,J≤K,J为正整数。
S30612、对J个因素组中每个因素组对应的K个第I次查找值进行组合值的计算,得到与J个因素组对应的J个组合值。
S30613、将J个组合值中最低的组合值确定为最低组合值。
在本申请实施例中,模型评估设备对K个第I次查找值进行组合值的计算时,可以基于预设的组合值模型计算,也可以对K个第I次查找值进行加权计算,还可以对K个第I次查找值进行换算,本申请实施例对此不作具体限定。这里,模型评估设备对K个第I次查找值进行组合值的计算,并从计算出的J个组合值中选择出最低的组合值,来获得最低组合值。
参见图5,图5是本申请实施例提供的模型评估方法的又一个可选的流程示意图;如图5所示,在本申请实施例中,S303可通过S3032实现;也就是说,模型评估设备基于第i次决策值与决策阈值的比较结果,将K个因素组划分为第一因素组和第二因素组,包括S3032,下面对该步骤分别进行说明。
S3032、在K个因素组中,将第i次决策值小于或等于决策阈值的因素组组合为第一因素组,并将第i次决策值大于决策阈值的因素组组合为第二因素组。
需要说明的是,当通过决策是指决策值小于或等于决策阈值时,模型评估设备获得的第一因素组是由第i次决策值小于或等于决策阈值的因素组组合得到的,第二因素组是由第i次决策值大于决策阈值的因素组组合得到的。
继续参见图5,相应地,在本申请实施例中,S306中模型评估设备基于迭代i得到的每个所述因素组对应的K个第I次查找值,确定最优组合值,可通过S3063和S3064实现,下面对各步骤分别进行说明。
S3063、针对迭代i得到的每个因素组对应的K个第I次查找值,获取第I次决策值,基于大于决策阈值的每个第I次决策值对应的K个第I次查找值,确定最大组合值。
S3064、将最大组合值确定为最优组合值。
需要说明的是,当模型评估设备将决策值小于或等于决策阈值确定为通过决策时,表明模型评估设备通过多因素最优化,是为了确定K个因素对应的最高的值;从而此时,模型评估设备获取的最优组合值为最大组合值。其中,最大组合值为K个第I次查找值的最高组合得分,用于表征K个第I次查找值通过决策的决策能力。
在本申请实施例中,S3042之后,当通过决策为决策值小于或等于决策阈值时,模型评估设备从至少一个组合值中选择最小组合值;并将第一因素组中与最小组合值对应的因素组,确定为目标因素组;以及在第二因素组中的每个因素组中,将与目标因素组的目标因素相同的因素的第i次查找值,更新为目标因素组的目标元素的第i次查找值。
在本申请实施例中,模型评估设备将折半决策值与预测阈值进行比较,当通过决策是指决策值小于或等于决策阈值时,如果折半决策值小于或等于决策阈值,则获取更新的第二因素组中因素组的目标因素的最大因素值;基于目标因素的第i次查找值、以及目标因素的最大因素值,确定第三待更新值;利用第三待更新值,更新目标因素的第i次查找值,得到更新的第二因素组中的每个因素组对应的K个第i+1次查找值。而当折半决策值大于决策阈值时,获取更新的第二因素组中因素组的目标因素的最小因素值;基于目标因素的第i次查找值、以及目标因素的最小因素值,确定第四待更新值;利用第四待更新值,更新目标因素的第i次查找值,得到更新的第二因素组中的每个因素组对应的K个第i+1次查找值。
在本申请实施例中,当通过决策是指决策值小于或等于决策阈值时,S3063中模型评估设备基于大于决策阈值的每个第I次决策值对应的K个第I次查找值,确定最大组合值可通过以下步骤实现:模型评估设备从K个因素组中,获取迭代i得到的小于或等于决策阈值的每个第I次决策值对应的因素组,得到T个因素组,T≤K,T为正整数;对T个因素组中每个因素组对应的K个第I次查找值进行组合值的计算,得到与T个因素组对应的T个组合值;将T个组合值中最高的组合值确定为最大组合值。
在本申请实施例中,S306中模型评估设备基于最优组合值评估决策模型,包括S3065和S3069,下面对各步骤分别进行说明。
S3065、获取决策模型的前序决策模型对应的前序最优组合值。
S3066、获取决策模型的后序决策模型对应的后序最优组合值。
需要说明的是,决策模型是决策模型序列中的一个决策模型,模型评估设备基于最优组合值评估决策模型时,通过与决策模型序列中相邻的决策模型的最优组合值进行比较。从而,模型评估设备从决策模型序列中获取决策模型之前的至少一个决策模型对应的至少一个最优组合值,也就获得了前序决策模型对应的前序最优组合值;并从决策模型序列中获取决策模型之后的至少一个决策模型对应的至少一个最优组合值,也就获得了后序决策模型对应的后序最优组合值。
S3067、获取前序最优组合值和后序最优组合值对应的组合值趋势信息。
在本申请实施例中,模型评估设备基于前序最优组合值和后序最优组合值对应的至少两个值,确定组合值趋势信息;比如,基于前序最优组合值和后序最优组合值对应的至少两个值构建的折线或拟合的直线;其中,组合值趋势信息是指各决策模型的各最优组合值的变换趋势信息,可以是单调的,也可以是非单调的,本申请实施例对此不作具体限定。
S3068、获取最优组合值与组合值趋势信息的组合值距离。
S3069、基于组合值距离与距离阈值的比较结果,确定决策模型的评估结果。
在本申请实施例中,模型评估设备获取最优组合值与组合值趋势信息的组合值距离,并将获得的组合值距离与距离阈值进行比较,当比较结果为组合值距离大于距离阈值,确定决策模型的评估结果为决策模型中的参数是异常的,设置不合理;当比较结果为组合值距离小于或等于距离阈值,确定决策模型的评估结果为决策模型中的参数是正常的,设置合理。
需要说明的是,当评估结果为决策模型中的参数是异常的时,还可以将最优组合值与决策模型的预设最优组合值进行比较,以确定最终的评估结果。
下面,将说明本申请实施例在一个实际的应用场景中的示例性应用。该示例性应用为虚拟场景的关卡强度测试;其中,虚拟场景的关卡强度测试是数值测试中的一项;当通过人工方式进行虚拟场景的关卡强度测试时,针对每一关(对应于上述的决策模型)所关联的多个因素(K个因素),难以覆盖所有的组合;从而,通过人工方式进行虚拟场景的关卡强度测试时,测试效率和测试准确性较低。而采用本申请实施例提供的模型评估方法对每一关卡进行评估,能够快速准确地确定每一关卡所关联的参数的设置是否合理。
参见图6,图6是本申请实施例提供的一种示例性的模型评估方法的应用示意图;如图6所示,用于实现模型评估方法的模型评估模块6-1是虚拟场景6-2中数值测试6-21的模块,能够对数值测试6-21中每一关所关联的参数的合理性进行评估。
下面,对模型评估模块6-1的组成进行说明。模型评估模块6-1的组成参见图7,图7是本申请实施例提供的一种示例性的模型评估模块的组成示意图;如图7所示,模型评估模块6-1包括初始化模块7-1、计算模块7-2、逻辑判断模块7-3、二分查找模块7-4和同步更新模块7-5。其中,初始化模块7-1用于根据影响目标结果(决策值)的多个因素初始化搜索变量组合(因素组)中各变量的值(K个第1次查找值);计算模块7-2用于计算每一关的通关结果(决策值)和搜索变量组合中各变量的值对应的战力(组合值);逻辑判断模块7-3用于判断二分查找是否结束,还用于判断是直接进行二分查找还是同步后再进行二分查找,还用于在同步后进行二分查找时确定二分查找的范围区间;二分查找模块7-4用于进行二分查找;同步更新模块7-5用于基于更新策略同步各搜索变量组合之间的变量的值。
下面说明图7中的五个模块所执行的处理。参见图8,图8是本申请实施例提供的一种示例性的模型评估方法的流程示意图;如图8所示,该示例性的模型评估方法包括:
S801、开始。
S802、初始化。
需要说明的是,关卡强度测试是针对待测试关卡,计算通关组合的最低战力(最优组合值)的处理,即确定影响最终战力的每个变量的值,以根据通关组合的最低战力确定待测试关卡中参数设置的合理性。
示例性地,参见图9,图9是本申请实施例提供的一种示例性的搜索变量组合示意图;如图9所示,每个六边形为虚拟场景中的一个虚拟对象(个体对象),在虚拟场景中,通过选择虚拟对象进行通关;虚拟场景中的所有虚拟对象组合9-1包括(0-24)25种虚拟对象,在当前的待测试关卡中,当选择虚拟对象9-11、虚拟对象9-12、虚拟对象9-13、虚拟对象9-14和虚拟对象9-15进行关卡强度测试时,虚拟对象数量M=5,由于每个虚拟对象对应N种属性,则M个虚拟对象(M个个体对象)与每个虚拟对象对应的N种属性,能够生成K个搜索变量组合(K个因素组),每个搜索变量组合包括K个变量,每个变量对应一个虚拟对象的一个属性;并且,每个搜索变量组合用于控制一个变量(每个因素组的目标因素)进行值搜索(值查找),K=M*N。
这里,当每个搜索变量组合表示为:Kk=(Kk1,Kk2,…,Kkk,…,KkK)时,则初始化每个搜索变量组合Kk,得到:(min(a(Kk1)),min(a(Kk2)),…,max(a(Kkk)…,min(a(KkK)))(K个第i次查找值);其中,min(a())是指变量的取值范围的最小值,max(a())是指变量的取值范围的最大值。另外,还可以采用另一种方式初始化每个搜索变量组合Kk,得到:(max(a(Kk1)),max(a(Kk2)),…,min(a(Kkk)…,max(a(KkK)))(K个第i次查找值)。
也就是说,第k个搜索变量组合中的第k个变量的值初始化为取值范围的最大值时,剩余K-1个变量的值初始化为取值范围的最小值;而第k个搜索变量组合中的第k个变量的值初始化为取值范围的最小值时,剩余K-1个变量的值初始化为取值范围的最大值。
还需要说明的是,S802通过图7中的初始化模块7-1实现。
S803、判断是进行二分查找还是同步更新。进行二分查找则执行S806,如果进行同步更新则执行S804至S806。
需要说明的是,获得了每个搜索变量组合中各变量的初始化值之后,确定每个搜索变量组合中各变量的初始化值对应的战斗结果(第i次决策值与决策阈值的比较结果);当战斗结果为1时表明通关(通过决策),当战斗结果为0时表明未通关(未通过决策))。这里,可以将每个搜索变量组合中各变量的初始化值发送至后台服务器(比如图1a和图1b中的服务器200)来获取战斗结果(决策值与决策阈值的比较结果),也可以通过编辑器和模拟器,或者客户端设置对应属性来获取战斗结果。
这里,当战斗结果为通关时,直接进行二分查找;而当战斗结果为未通关时,先进行同步更新再进行二分查找。
还需要说明的是,S803通过图7中的计算模块7-2和逻辑判断模块7-3实现。
S804、同步更新。
需要说明的是,二分查找用于针对一个变量进行值查找,而同步更新用于各变量之间的值同步。
这里,同步更新是在战斗结果为未通关的搜索变量组合中,将与战斗结果为通关的搜索变量组合所控制的变量相同的变量的值,更新为战斗结果为通关的搜索变量组合所控制的变量的值;也就是说,将战斗结果为通关的第k1个搜索变量组合中第k1个变量的值,同步至战斗结果为未通关的第k2个搜索变量组合中第k1个变量的值。
在实现同步更新时,一种同步更新策略是将所有战斗结果为通关的搜索变量组合控制的变量的值,同步至战斗结果为未通关的搜索变量组合中。参见图10,图10是本申请实施例提供的一种示例性的同步更新前的示意图;如图10所示,示出了K个搜索变量组合中的前5个搜索变量组合(第1个搜索变量组合、第2个搜索变量组合、第3个搜索变量组合、第4个搜索变量组合和第5个搜索变量组合)中5个变量(示例性地示出了第1个变量至第5个变量)的值。这里,第1个搜索变量组合、第3个搜索变量组合和第4个搜索变量组合(第一因素组)的通关结果为通关,第2个搜索变量组合和第5个搜索变量组合(第二因素组)的通关结果为未通关;因此,同步更新时,参见图11,图11是本申请实施例提供的一种示例性的同步更新的示意图;如图11所示,将第1个搜索变量组合的第1个变量的值,同步至第2个搜索变量组合的第1个变量(第一待更新因素)、以及第5个搜索变量组合的第1个变量(第一待更新因素);将第3个搜索变量组合的第3个变量的值,同步至第2个搜索变量组合的第3个变量(第一待更新因素)、以及第5个搜索变量组合的第3个变量(第一待更新因素);将第4个搜索变量组合的第4个变量的值,同步至第2个搜索变量组合的第4个变量(第一待更新因素)、以及第5个搜索变量组合的第4个变量(第一待更新因素)。
在实现同步更新时,另一种同步更新策略是将所有战斗结果为通关的搜索变量组合中战力最高的搜索变量组合控制的变量的值,同步至战斗结果为未通关的搜索变量组合中。基于图10进行同步更新时,参见图12,图12是本申请实施例提供的另一种示例性的同步更新的示意图;如图12所示,第1个搜索变量组合、第3个搜索变量组合和第4个搜索变量组合中,第3个搜索变量组合的战力最高,从而,将第3个搜索变量组合的第3个变量的值,同步至第2个搜索变量组合的第3个变量(第二待更新因素)、以及第5个搜索变量组合的第3个变量(第二待更新因素)。
还需要说明的是,S804通过图7中的同步更新模块7-5实现。
S805、获取战斗结果(折半决策值)。
需要说明的是,当搜索变量组合中变量的值对应的战斗结果为未通关时,完成更新后,基于更新的搜索变量组合(更新的第二因素组)中变量的值获取战斗结果。
还需要说明的是,S805通过图7中的计算模块7-2实现。
S806、二分查找。
需要说明的是,当S803之后执行二分查找时,对控制的变量在取值范围的较小一半中进行二分查找。
还需要说明的是,当S805之后执行二分查找时,如果获取的战斗结果为通关,则对控制的变量在取值范围的较小一半中进行二分查找;如果获取的战斗结果为未通关,则对控制的变量在取值范围的较大一半中进行二分查找。
这里,二分查找时,如果第k个搜索变量组合的第k个变量的当前查找范围为stk至endk,则第k个搜索变量组合的第k个变量的查找值为stk和endk的中间值,即mid(stk,endk)。并且,二分查找时,可以是全范围进行值查找,如果有额外信息(比如,各变量之间的值的约束信息)提前过滤获得更小的查找范围,也可以仅对过滤后的查找范围进行值查找。
另外,二分查找只针对控制的变量进行,其他变量的值不变。参见图13,图13是本申请实施例提供的一种示例性的二分查找示意图;如图13所示,白色方框为二分查找针对的变量13-1(目标因素),第1个搜索变量组合针对第1个变量进行二分查找,第2个搜索变量组合针对第2个变量进行二分查找,第3个搜索变量组合针对第3个变量进行二分查找,第4个搜索变量组合针对第4个变量进行二分查找,第5个搜索变量组合针对第5个变量进行二分查找,…。
还需要说明的是,S806通过图7中的逻辑判断模块7-3和二分查找模块7-4实现。
S807、判断是否查找结束。如果是则执行S808,如果否则执行S803。
需要说明的是,当无法再进行二分查找时,确定查找结束。以及,S807通过图7中的逻辑判断模块7-3实现。
S808、获取最低战力(最优组合值)。
需要说明的是,最低战力即搜索变量组合中各变量的值对应的战力中的最低值。以及,S808通过图7中的计算模块7-2实现。
S809、结束。
下面,说明基于最低战力进行关卡强度评估的过程。参见图14,图14是本申请实施例提供的一种示例性的模型评估示意图;如图14所示,横轴表示的为关卡,待测试关卡14-1为第65关;纵轴表示的为战力;曲线14-2(组合值趋势信息)为各关卡的最低战力。这里,由于随着关卡的递增,关卡强度逐渐提高,对应的最低战力也是递增的;如果出现某一关卡的强度突然降低(组合值距离大于距离阈值),即最低战力较低,则说明该关卡的数值设置可能存在异常,需要进行调整;比如,待测试关卡14-1。
需要说明的是,本申请实施例提供的模型评估方法还可以应用于虚拟场景中虚拟道具(比如,虚拟枪支和虚拟车辆等)的各虚拟器件的组装中。
可以理解的是,本申请实施例提供的模型评估方法还可以应用于多因素最优化的过程中,结合二分查找的线性搜索方式和粒子群算法消息共享的方式,快速搜索,求解多个因素的最优化问题,减少了搜索迭代次数,大大提高搜索效率。并且,具有很强的通用性,不存在大量的学习和训练,也无需进行参数的重新选择和适配,探索的因素数目也不受限制。
下面继续说明本申请实施例提供的模型评估装置455的实施为软件模块的示例性结构,在一些实施例中,如图2所示,存储在存储器450的模型评估装置455中的软件模块可以包括:
初始化模块4551,用于获取K个因素组,基于每个所述因素组所包括的目标因素,确定每个所述因素组对应的K个第1次查找值,每个所述因素组还包括K-1个因素,每个所述因素组的所述目标因素不同,K为大于1的正整数;
查找迭代模块4552,用于通过迭代i执行以下处理,1≤i≤I-1,且i为递增的正整数变量,I为大于1的正整数:利用决策模型得出K个所述第i次查找值对应的第i次决策值;基于所述第i次决策值与决策阈值的比较结果,将K个所述因素组划分为第一因素组和第二因素组;将所述第一因素组中的所述目标因素的第i次查找值,更新至所述第二因素组中的每个所述因素组中;在所述第一因素组和更新的所述第二因素组中,对每个所述因素组的所述目标因素的所述第i次查找值进行折半查找,得到每个所述因素组对应的K个第i+1次查找值;
模型评估模块4553,用于基于迭代i得到的每个所述因素组对应的K个第I次查找值,确定最优组合值,并基于所述最优组合值评估所述决策模型。
在本申请实施例中,所述初始化模块4551,还用于获取所述决策模型关联的M个个体对象、以及每个所述个体对象对应的N个属性,其中,M为正整数,N为正整数;基于M个所述个体对象中每个所述个体对象对应的N个所述属性,生成K个所述因素组,其中,所述目标因素和所述K-1个所述因素中的任一个对应于一个所述个体对象的一个所述属性,K=M*N。
在本申请实施例中,所述初始化模块4551,还用于获取查找方向;结合所述查找方向和每个所述因素组的所述目标因素,确定每个所述因素组的所述目标因素的所述第1次查找值、以及K-1个所述因素的K-1个所述第1次查找值;将所述目标因素的所述第1次查找值、以及K-1个所述因素的K-1个所述第1次查找值,组合为每个所述因素组对应的K个所述第1次查找值。
在本申请实施例中,所述初始化模块4551,还用于当所述查找方向为正向查找方向时,将每个所述因素组的所述目标因素的最大因素值,确定为每个所述因素组的所述目标因素的所述第1次查找值,并将K-1个所述因素的K-1个最小因素值,确定为K-1个所述因素的K-1个所述第1次查找值;当所述查找方法为反向查找方向时,将每个所述因素组的所述目标因素的最小因素值,确定为每个所述因素组的所述目标因素的所述第1次查找值,并将K-1个所述因素的K-1个最大因素值,确定为K-1个所述因素的K-1个所述第1次查找值,所述反向查找方向与所述正向查找方向相对。
在本申请实施例中,所述查找迭代模块4552,还用于在K个所述因素组中,将所述第i次决策值大于所述决策阈值的所述因素组组合为所述第一因素组,并将所述第i次决策值小于或等于所述决策阈值的所述因素组组合为所述第二因素组。
在本申请实施例中,所述模型评估模块4553,还用于针对迭代i得到的每个所述因素组对应的K个第I次查找值,获取第I次决策值;基于大于所述决策阈值的每个所述第I次决策值对应的K个第I次查找值,确定最低组合值,所述最低组合值为K个第I次查找值的最低组合得分;将所述最低组合值确定为所述最优组合值。
在本申请实施例中,所述查找迭代模块4552,还用于遍历所述第一因素组,并在所述第二因素组中的每个所述因素组中,将与遍历到的所述因素组的所述目标因素相同的所述因素,确定为第一待更新因素;将所述第一待更新因素的所述第i次查找值,更新为遍历到的所述因素组的所述目标因素的所述第i次查找值。
在本申请实施例中,所述查找迭代模块4552,还用于获取所述第一因素组中每个所述因素组对应的组合值,得到与所述第一因素组对应的至少一个组合值;从至少一个所述组合值中选择最高组合值;将所述第一因素组中与所述最高组合值对应的所述因素组,确定为目标因素组;在所述第二因素组中的每个所述因素组中,将与所述目标因素组的所述目标因素相同的所述因素,确定为第二待更新因素;将所述第二待更新因素的所述第i次查找值,更新为所述目标因素组中所述目标因素的所述第i次查找值。
在本申请实施例中,所述查找迭代模块4552,还用于针对所述第一因素组中的每个所述因素组,结合所述目标因素的当前查找范围,对所述目标因素的所述第i次查找值进行折半查找,得到所述第一因素组中的每个所述因素组对应的K个所述第i+1次查找值,所述当前查找范围是基于迭代次数和所述目标因素的取值范围确定的;针对更新的所述第二因素组中的每个所述因素组,结合所述目标因素的当前查找范围,对所述目标因素的所述第i次查找值进行折半查找,得到更新的所述第二因素组中的每个所述因素组对应的K个所述第i+1次查找值;将所述第一因素组中的每个所述因素组对应的K个所述第i+1次查找值、以及更新的所述第二因素组中的每个所述因素组对应的K个所述第i+1次查找值,组合为K个所述因素组中每个所述因素组对应的K个所述第i+1次查找值。
在本申请实施例中,所述查找迭代模块4552,还用于针对更新的所述第二因素组中的每个所述因素组,利用所述决策模型得出对应的折半决策值;当所述折半决策值大于所述决策阈值时,获取所述目标因素所对应的所述当前查找范围的最小因素值;基于所述目标因素的所述第i次查找值、以及所述当前查找范围的所述最小因素值,确定第一待更新值;利用所述第一待更新值,更新所述目标因素的所述第i次查找值,得到更新的所述第二因素组中的每个所述因素组对应的K个所述第i+1次查找值。
在本申请实施例中,所述查找迭代模块4552,还用于当所述折半决策值小于或等于所述决策阈值时,获取所述目标因素所对应的所述当前查找范围的最大因素值;基于所述目标因素的所述第i次查找值、以及所述当前查找范围的所述最大因素值,确定第二待更新值;利用所述第二待更新值,更新所述目标因素的所述第i次查找值,得到更新的所述第二因素组中的每个所述因素组对应的K个所述第i+1次查找值。
在本申请实施例中,所述模型评估模块4553,还用于从K个所述因素组中,获取大于所述决策阈值的每个所述第I次决策值对应的所述因素组,得到J个所述因素组,J≤K,J为正整数;对J个所述因素组中每个所述因素组对应的K个第I次查找值进行组合值的计算,得到与J个所述因素组对应的J个组合值;将J个组合值中最低的组合值确定为所述最低组合值。
在本申请实施例中,所述查找迭代模块4552,还用于在K个所述因素组中,将所述第i次决策值小于或等于所述决策阈值的所述因素组组合为所述第一因素组,并将所述第i次决策值大于所述决策阈值的所述因素组组合为所述第二因素组。
在本申请实施例中,所述模型评估模块4553,还用于针对迭代i得到的每个所述因素组对应的K个第I次查找值,获取第I次决策值;基于大于所述决策阈值的每个第I次决策值对应的K个第I次查找值,确定最大组合值,所述最大组合值为K个第I次查找值的最高组合得分;将所述最大组合值确定为所述最优组合值。
在本申请实施例中,所述模型评估模块4553,还用于获取所述决策模型的前序决策模型对应的前序最优组合值;获取所述决策模型的后序决策模型对应的后序最优组合值;获取所述前序最优组合值和所述后序最优组合值对应的组合值趋势信息;获取所述最优组合值与所述组合值趋势信息的组合值距离;基于所述组合值距离与距离阈值的比较结果,确定所述决策模型的评估结果。
本申请实施例提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。模型评估设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本申请实施例上述的模型评估方法。
本申请实施例提供一种存储有可执行指令的计算机可读存储介质,其中存储有可执行指令,当可执行指令被处理器执行时,将引起处理器执行本申请实施例提供的模型评估方法,例如,如图3示出的模型评估方法。
在本申请的一些实施例中,计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器;也可以是包括上述存储器之一或任意组合的各种设备。
在本申请的一些实施例中,可执行指令可以采用程序、软件、软件模块、脚本或代码的形式,按任意形式的编程语言(包括编译或解释语言,或者声明性或过程性语言)来编写,并且其可按任意形式部署,包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例,可执行指令可以但不一定对应于文件系统中的文件,可以可被存储在保存其它程序或数据的文件的一部分,例如,存储在超文本标记语言(HTML,Hyper TextMarkup Language)文档中的一个或多个脚本中,存储在专用于所讨论的程序的单个文件中,或者,存储在多个协同文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。
作为示例,可执行指令可被部署为在一个计算机设备上执行,或者在位于一个地点的多个计算机设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算机设备上执行。
综上所述,本申请实施例通过针对决策模型关联的K个因素,构建K个包括K个因素的因素组,并利用每个因素组控制一个因素进行折半查找,以及在一次查找结束后,基于查找值对应的决策值与决策阈值的比较结果,确定是直接对目标因素的值进行折半查找,还是更新查找值后再对目标因素的值进行折半查找;如此迭代,直至无法再进行查找时,基于大于决策阈值的迭代查找出的决策值所对应的K个因素的K个值的组合值,评估决策模型;也就是说,通过利用粒子群算法中信息共享的方式,并同步独立对每个因素的值进行折半查找,能够快速确定用于评估决策模型的K个因素的最优值,从而,能够提升决策模型的评估效率。另外,本申请实施例提供的模型评估方法的适用范围较宽,具有通用性。
以上所述,仅为本申请的实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等,均包含在本申请的保护范围之内。

Claims (17)

1.一种模型评估方法,其特征在于,包括:
获取K个因素组,基于每个所述因素组所包括的目标因素,确定每个所述因素组对应的K个第1次查找值,每个所述因素组还包括K-1个因素,每个所述因素组的所述目标因素不同,K为大于1的正整数,所述因素对应于一个虚拟对象的一个属性,所述虚拟对象用于在关卡强度测试中对待测关卡进行通关;
通过迭代i执行以下处理,1≤i≤I-1,且i为递增的正整数变量,I为大于1的正整数:
利用决策模型得出K个第i次查找值对应的第i次决策值,其中,所述决策模型为所述待测关卡对应的通关模型;
基于所述第i次决策值与决策阈值的比较结果,将K个所述因素组划分为第一因素组和第二因素组,其中,所述第i次决策值为通关组合的战力,所述比较结果为通关结果;
将所述第一因素组中的所述目标因素的第i次查找值,更新至所述第二因素组中的每个所述因素组中;
在所述第一因素组和更新的所述第二因素组中,对每个所述因素组的所述目标因素的所述第i次查找值进行折半查找,得到每个所述因素组对应的K个第i+1次查找值;
基于迭代i得到的每个所述因素组对应的K个第I次查找值,确定最优组合值,并基于所述最优组合值评估所述决策模型,其中,所述最优组合值为通关组合的最低战力。
2.根据权利要求1所述的方法,其特征在于,所述获取K个因素组,包括:
获取所述决策模型关联的M个个体对象、以及每个所述个体对象对应的N个属性,其中,M为正整数,N为正整数;
基于M个所述个体对象中每个所述个体对象对应的N个所述属性,生成K个所述因素组,其中,所述目标因素和所述K-1个所述因素中的任一个对应于一个所述个体对象的一个所述属性,K=M*N。
3.根据权利要求1所述的方法,其特征在于,所述基于每个所述因素组所包括的目标因素,确定每个所述因素组对应的K个第1次查找值,包括:
获取查找方向;
结合所述查找方向和每个所述因素组的所述目标因素,确定每个所述因素组的所述目标因素的所述第1次查找值、以及K-1个所述因素的K-1个所述第1次查找值;
将所述目标因素的所述第1次查找值、以及K-1个所述因素的K-1个所述第1次查找值,组合为每个所述因素组对应的K个所述第1次查找值。
4.根据权利要求3所述的方法,其特征在于,所述结合所述查找方向和每个所述因素组的所述目标因素,确定每个所述因素组的所述目标因素的所述第1次查找值、以及K-1个所述因素的K-1个所述第1次查找值,包括:
当所述查找方向为正向查找方向时,将每个所述因素组的所述目标因素的最大因素值,确定为每个所述因素组的所述目标因素的所述第1次查找值,并将K-1个所述因素的K-1个最小因素值,确定为K-1个所述因素的K-1个所述第1次查找值;
当所述查找方向 为反向查找方向时,将每个所述因素组的所述目标因素的最小因素值,确定为每个所述因素组的所述目标因素的所述第1次查找值,并将K-1个所述因素的K-1个最大因素值,确定为K-1个所述因素的K-1个所述第1次查找值,所述反向查找方向与所述正向查找方向相对。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述基于所述第i次决策值与决策阈值的比较结果,将K个所述因素组划分为第一因素组和第二因素组,包括:
在K个所述因素组中,将所述第i次决策值大于所述决策阈值的所述因素组组合为所述第一因素组,并将所述第i次决策值小于或等于所述决策阈值的所述因素组组合为所述第二因素组;
所述基于迭代i得到的每个所述因素组对应的K个第I次查找值,确定最优组合值,包括:
针对迭代i得到的每个所述因素组对应的K个第I次查找值,获取第I次决策值;
基于大于所述决策阈值的每个所述第I次决策值对应的K个第I次查找值,确定最低组合值,所述最低组合值为K个第I次查找值的最低组合得分;
将所述最低组合值确定为所述最优组合值。
6.根据权利要求1至4任一项所述的方法,其特征在于,所述将所述第一因素组中的所述目标因素的第i次查找值,更新至所述第二因素组中的每个所述因素组中,包括:
遍历所述第一因素组,并在所述第二因素组中的每个所述因素组中,将与遍历到的所述因素组的所述目标因素相同的所述因素,确定为第一待更新因素;
将所述第一待更新因素的所述第i次查找值,更新为遍历到的所述因素组的所述目标因素的所述第i次查找值。
7.根据权利要求5所述的方法,其特征在于,所述将所述第一因素组中的所述目标因素的第i次查找值,更新至所述第二因素组中的每个所述因素组中,包括:
获取所述第一因素组中每个所述因素组对应的组合值,得到与所述第一因素组对应的至少一个组合值;
从至少一个所述组合值中选择最高组合值;
将所述第一因素组中与所述最高组合值对应的所述因素组,确定为目标因素组;
在所述第二因素组中的每个所述因素组中,将与所述目标因素组的所述目标因素相同的所述因素,确定为第二待更新因素;
将所述第二待更新因素的所述第i次查找值,更新为所述目标因素组中所述目标因素的所述第i次查找值。
8.根据权利要求5所述的方法,其特征在于,所述在所述第一因素组和更新的所述第二因素组中,对每个所述因素组的所述目标因素的所述第i次查找值进行折半查找,得到每个所述因素组对应的K个第i+1次查找值,包括:
针对所述第一因素组中的每个所述因素组,结合所述目标因素的当前查找范围,对所述目标因素的所述第i次查找值进行折半查找,得到所述第一因素组中的每个所述因素组对应的K个所述第i+1次查找值,所述当前查找范围是基于迭代次数和所述目标因素的取值范围确定的;
针对更新的所述第二因素组中的每个所述因素组,结合所述目标因素的当前查找范围,对所述目标因素的所述第i次查找值进行折半查找,得到更新的所述第二因素组中的每个所述因素组对应的K个所述第i+1次查找值;
将所述第一因素组中的每个所述因素组对应的K个所述第i+1次查找值、以及更新的所述第二因素组中的每个所述因素组对应的K个所述第i+1次查找值,组合为K个所述因素组中每个所述因素组对应的K个所述第i+1次查找值。
9.根据权利要求8所述的方法,其特征在于,所述针对更新的所述第二因素组中的每个所述因素组,结合所述目标因素的当前查找范围,对所述目标因素的所述第i次查找值进行折半查找,得到更新的所述第二因素组中的每个所述因素组对应的K个所述第i+1次查找值,包括:
针对更新的所述第二因素组中的每个所述因素组,利用所述决策模型得出对应的折半决策值;
当所述折半决策值大于所述决策阈值时,获取所述目标因素所对应的所述当前查找范围的最小因素值;
基于所述目标因素的所述第i次查找值、以及所述当前查找范围的所述最小因素值,确定第一待更新值;
利用所述第一待更新值,更新所述目标因素的所述第i次查找值,得到更新的所述第二因素组中的每个所述因素组对应的K个所述第i+1次查找值。
10.根据权利要求9所述的方法,其特征在于,所述针对更新的所述第二因素组中的每个所述因素组,利用所述决策模型得出对应的折半决策值之后,所述方法还包括:
当所述折半决策值小于或等于所述决策阈值时,获取所述目标因素所对应的所述当前查找范围的最大因素值;
基于所述目标因素的所述第i次查找值、以及所述当前查找范围的所述最大因素值,确定第二待更新值;
利用所述第二待更新值,更新所述目标因素的所述第i次查找值,得到更新的所述第二因素组中的每个所述因素组对应的K个所述第i+1次查找值。
11.根据权利要求5所述的方法,其特征在于,所述基于大于所述决策阈值的每个所述第I次决策值对应的K个第I次查找值,确定最低组合值,包括:
从K个所述因素组中,获取大于所述决策阈值的每个所述第I次决策值对应的所述因素组,得到J个所述因素组,J≤K,J为正整数;
对J个所述因素组中每个所述因素组对应的K个第I次查找值进行组合值的计算,得到与J个所述因素组对应的J个组合值;
将J个组合值中最低的组合值确定为所述最低组合值。
12.根据权利要求1至4任一项所述的方法,其特征在于,所述基于所述第i次决策值与决策阈值的比较结果,将K个所述因素组划分为第一因素组和第二因素组,包括:
在K个所述因素组中,将所述第i次决策值小于或等于所述决策阈值的所述因素组组合为所述第一因素组,并将所述第i次决策值大于所述决策阈值的所述因素组组合为所述第二因素组;
所述基于迭代i得到的每个所述因素组对应的K个第I次查找值,确定最优组合值,包括:
针对迭代i得到的每个所述因素组对应的K个第I次查找值,获取第I次决策值;
基于大于所述决策阈值的每个第I次决策值对应的K个第I次查找值,确定最大组合值,所述最大组合值为K个第I次查找值的最高组合得分;
将所述最大组合值确定为所述最优组合值。
13.根据权利要求1至4任一项所述的方法,其特征在于,所述基于所述最优组合值评估所述决策模型,包括:
获取所述决策模型的前序决策模型对应的前序最优组合值;
获取所述决策模型的后序决策模型对应的后序最优组合值;
获取所述前序最优组合值和所述后序最优组合值对应的组合值趋势信息;
获取所述最优组合值与所述组合值趋势信息的组合值距离;
基于所述组合值距离与距离阈值的比较结果,确定所述决策模型的评估结果。
14.一种用于模型评估的电子设备,其特征在于,包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现权利要求1至13任一项所述的方法。
15.一种计算机可读存储介质,其特征在于,存储有可执行指令,用于被处理器执行时,实现权利要求1至13任一项所述的方法。
16.一种模型评估装置,其特征在于,包括:
初始化模块,用于获取K个因素组,基于每个所述因素组所包括的目标因素,确定每个所述因素组对应的K个第1次查找值,每个所述因素组还包括K-1个因素,每个所述因素组的所述目标因素不同,K为大于1的正整数,所述因素对应于一个虚拟对象的一个属性,所述虚拟对象用于在关卡强度测试中对待测关卡进行通关;
查找迭代模块,用于通过迭代i执行以下处理,1≤i≤I-1,且i为递增的正整数变量,I为大于1的正整数:利用决策模型得出K个第i次查找值对应的第i次决策值,其中,所述决策模型为所述待测关卡对应的通关模型;基于所述第i次决策值与决策阈值的比较结果,将K个所述因素组划分为第一因素组和第二因素组,其中,所述第i次决策值为通关组合的战力,所述比较结果为通关结果;将所述第一因素组中的所述目标因素的第i次查找值,更新至所述第二因素组中的每个所述因素组中;在所述第一因素组和更新的所述第二因素组中,对每个所述因素组的所述目标因素的所述第i次查找值进行折半查找,得到每个所述因素组对应的K个第i+1次查找值;
模型评估模块,用于基于迭代i得到的每个所述因素组对应的K个第I次查找值,确定最优组合值,并基于所述最优组合值评估所述决策模型,其中,所述最优组合值为通关组合的最低战力。
17.一种计算机程序产品,包括计算机程序或指令,其特征在于,所述计算机程序或指令被处理器执行时实现权利要求1至13任一项所述的方法。
CN202110888946.6A 2021-08-04 2021-08-04 一种模型评估方法、电子设备及计算机可读存储介质 Active CN113342700B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110888946.6A CN113342700B (zh) 2021-08-04 2021-08-04 一种模型评估方法、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110888946.6A CN113342700B (zh) 2021-08-04 2021-08-04 一种模型评估方法、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113342700A CN113342700A (zh) 2021-09-03
CN113342700B true CN113342700B (zh) 2021-11-19

Family

ID=77480577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110888946.6A Active CN113342700B (zh) 2021-08-04 2021-08-04 一种模型评估方法、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113342700B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978410A (zh) * 2019-04-10 2019-07-05 沈阳哲航信息科技有限公司 一种采用通关式的任务评价系统及方法
CN110443350A (zh) * 2019-07-10 2019-11-12 平安科技(深圳)有限公司 基于数据分析的模型质量检测方法、装置、终端及介质
WO2020068141A1 (en) * 2018-09-26 2020-04-02 Google Llc Predicted variables in programming
CN111563392A (zh) * 2020-05-11 2020-08-21 腾讯科技(深圳)有限公司 模型参数的重要程度评估方法、装置及电子设备
CN111957047A (zh) * 2020-08-12 2020-11-20 超参数科技(深圳)有限公司 关卡配置数据调整方法、计算机设备及存储介质
CN112199293A (zh) * 2020-10-19 2021-01-08 平安国际智慧城市科技股份有限公司 软件质量评价方法、装置、终端设备及存储介质
CN112232580A (zh) * 2020-10-26 2021-01-15 广东电网有限责任公司广州供电局 一种供电中断损失分析方法和装置
CN112286824A (zh) * 2020-11-18 2021-01-29 长江大学 基于二分搜索迭代的测试用例生成方法、系统及电子设备
CN113134238A (zh) * 2021-03-26 2021-07-20 超参数科技(深圳)有限公司 关卡设置方法、装置、计算机设备和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10379908B2 (en) * 2017-05-30 2019-08-13 Red Hat, Inc. Merging scaled-down container clusters using vitality metrics
JP6751376B2 (ja) * 2017-08-31 2020-09-02 富士フイルム株式会社 最適解探索方法、最適解探索プログラム及び最適解探索装置
US11449761B2 (en) * 2018-10-31 2022-09-20 Fair Isaac Corporation Efficient value lookup in a set of scalar intervals
CN111507552A (zh) * 2019-01-31 2020-08-07 深圳富桂精密工业有限公司 深度学习方法、系统、服务器及可读存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020068141A1 (en) * 2018-09-26 2020-04-02 Google Llc Predicted variables in programming
CN109978410A (zh) * 2019-04-10 2019-07-05 沈阳哲航信息科技有限公司 一种采用通关式的任务评价系统及方法
CN110443350A (zh) * 2019-07-10 2019-11-12 平安科技(深圳)有限公司 基于数据分析的模型质量检测方法、装置、终端及介质
CN111563392A (zh) * 2020-05-11 2020-08-21 腾讯科技(深圳)有限公司 模型参数的重要程度评估方法、装置及电子设备
CN111957047A (zh) * 2020-08-12 2020-11-20 超参数科技(深圳)有限公司 关卡配置数据调整方法、计算机设备及存储介质
CN112199293A (zh) * 2020-10-19 2021-01-08 平安国际智慧城市科技股份有限公司 软件质量评价方法、装置、终端设备及存储介质
CN112232580A (zh) * 2020-10-26 2021-01-15 广东电网有限责任公司广州供电局 一种供电中断损失分析方法和装置
CN112286824A (zh) * 2020-11-18 2021-01-29 长江大学 基于二分搜索迭代的测试用例生成方法、系统及电子设备
CN113134238A (zh) * 2021-03-26 2021-07-20 超参数科技(深圳)有限公司 关卡设置方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN113342700A (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
WO2020259502A1 (zh) 神经网络模型的生成方法及装置、计算机可读存储介质
US8756183B1 (en) System for representing, storing, and reconstructing an input signal
CN111461226A (zh) 对抗样本生成方法、装置、终端及可读存储介质
KR20140092879A (ko) 비감독 신경 리플레이, 학습 리파인먼트, 연관 및 기억 전달: 신경 연관 학습, 패턴 완성, 분리, 일반화 및 계층적 리플레이를 위한 방법들 및 장치
Chaves-Gonzalez et al. Software requirement optimization using a multiobjective swarm intelligence evolutionary algorithm
KR20140092882A (ko) 비감독 신경 리플레이, 학습 리파인먼트, 연관 및 기억 전달: 신경 성분 기억 전달을 위한 방법들 및 장치
Hunold et al. Predicting MPI collective communication performance using machine learning
CN113342700B (zh) 一种模型评估方法、电子设备及计算机可读存储介质
CN109731338B (zh) 游戏中的人工智能训练方法及装置、存储介质及电子装置
Scheerer et al. Design-time validation of runtime reconfiguration strategies: An environmental-driven approach
CN116866865B (zh) 一种整车控制器数据共享方法及系统
El Kateb et al. Generic cloud platform multi-objective optimization leveraging models@ run. time
US11574175B2 (en) Security optimizing compute distribution in a hybrid deep learning environment
Cardelli et al. A process model of actin polymerisation
US20150150011A1 (en) Self-splitting of workload in parallel computation
CN116894469A (zh) 端边云计算环境中的dnn协同推理加速方法、设备及介质
Uzunov et al. Decomposing distributed software architectures for the determination and incorporation of security and other non-functional requirements
CN112070205A (zh) 一种多损失模型获取方法以及装置
KR102392576B1 (ko) 인공 지능 모델의 무결성 검증 방법과 이를 수행하기 위한 컴퓨팅 장치 및 시스템
CN110610241B (zh) 一种模型训练方法、设备及存储介质
Hamrick et al. Imagination-based decision making with physical models in deep neural networks
Spieck et al. Run-time scenario-based MPSoC mapping reconfiguration using machine learning models
Huang et al. Elastic DNN Inference with Unpredictable Exit in Edge Computing
Moizer et al. Planning robust policing futures: modelling using multimethodology
Zahri et al. Federated learning for iot networks: Enhancing efficiency and privacy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40052323

Country of ref document: HK