CN116128239B - 策略评估方法和装置 - Google Patents

策略评估方法和装置 Download PDF

Info

Publication number
CN116128239B
CN116128239B CN202310118035.4A CN202310118035A CN116128239B CN 116128239 B CN116128239 B CN 116128239B CN 202310118035 A CN202310118035 A CN 202310118035A CN 116128239 B CN116128239 B CN 116128239B
Authority
CN
China
Prior art keywords
group
policy
groups
brokers
clients
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310118035.4A
Other languages
English (en)
Other versions
CN116128239A (zh
Inventor
赵娜
李子龙
董静
李璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seashell Housing Beijing Technology Co Ltd
Original Assignee
Seashell Housing Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seashell Housing Beijing Technology Co Ltd filed Critical Seashell Housing Beijing Technology Co Ltd
Priority to CN202310118035.4A priority Critical patent/CN116128239B/zh
Publication of CN116128239A publication Critical patent/CN116128239A/zh
Application granted granted Critical
Publication of CN116128239B publication Critical patent/CN116128239B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0645—Rental transactions; Leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/16—Real estate

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Accounting & Taxation (AREA)
  • Theoretical Computer Science (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本公开实施例提供了一种策略评估方法和装置，策略评估方法包括：基于人特征和房特征将目标区域中的经纪人和房屋均分到A组和B组中；基于A组中的经纪人和房屋，以及第一策略进行APP的线上运行，并基于B组中的经纪人和房屋，以及第二策略进行APP的线上运行；响应于客户接入APP，根据第一分配规则将客户划分到目标组，其中，目标组为A组或B组；响应于A组和B组中的客户数均不小于预设样本量，获取A组对应的第一运行数据，以及B组对应的第二运行数据；根据第一运行数据和第二运行数据评估第一策略和第二策略。该方法能够客观、准确地进行策略评估。

Description

策略评估方法和装置
技术领域
本公开实施例涉及一种策略评估方法和装置。
背景技术
相关技术中评估一个策略时，直接通过线上运行该策略，获取运行结果来评估该策略。
当存在两个策略需要进行评估并比较时，相关技术中通常会使用AB实验进行线上运行评估；
但是当策略涉及BC两端，除了策略不同这一影响因素之外，还有很多复杂因素影响的时候，传统的AB实验将无法提供相同的线上运行环境，进而也不能客观、准确地进行策略评估。
发明内容
有鉴于此，本申请提供一种策略评估方法和装置，能够客观、准确地进行策略评估。
为解决上述技术问题，本申请的技术方案是这样实现的：
在一个实施例中，提供了一种策略评估方法，所述方法包括：
基于人特征和房特征将目标区域中的经纪人和房屋均分到A组和B组中；
基于所述A组中的经纪人和房屋，以及第一策略进行APP的线上运行，并基于所述B组中的经纪人和房屋，以及第二策略进行所述APP的线上运行；
响应于客户接入所述APP，根据第一分配规则将所述客户划分到目标组，其中，所述目标组为所述A组或所述B组；
响应于所述A组和所述B组中的客户数均不小于预设样本量，获取所述A组对应的第一运行数据，以及所述B组对应的第二运行数据；
根据所述第一运行数据和所述第二运行数据评估所述第一策略和所述第二策略。
其中，所述根据第一分配规则将所述客户划分到目标组之后，所述响应于所述A组和所述B组中的客户数均不小于预设样本量之前，所述方法还包括：
按照第二分配规则将分配到所述A组的客户分配到A1组或A2组；
按照所述第二分配规则将分配到所述B组的客户分配到B1组或B2组；
所述响应于所述A组和所述B组的客户数均不小于预设样本量，获取所述A组对应的第一运行数据，以及所述B组对应的第二运行数据，包括：
响应于所述A1组和所述B1组中的客户数均不小于预设样本量，获取所述A1组对应的第一运行数据，以及所述B1组对应的第二运行数据；
其中，所述第二分配规则是根据客户的客特征设置的。
其中，所述方法还包括：
若分配到所述A1组的客户与分配到所述A2组的客户的客特征分布不均匀，则调整所述第一分配规则，并使用调整后的第一分配规则对之后接入的客户进行分配；
其中，调整后的所述第一分配规则使分配到所述A1组的客户与分配到所述A2组的客户的客特征分布均匀。
其中，
所述人特征包括：区域、成交量、经验值和服务意愿值；
所述房特征包括：区域、居室、房屋数量和价值；
所述客特征：渠道、需求类型和APP入口。
其中，所述人特征、所述房特征和所述客特征为，通过特征分析排除多重共线性及误差影响后剩余的人特征、房特征和客特征。
其中，所述基于人特征和房特征将目标区域中的经纪人和房屋均分到A组和B组中，包括：
基于客户行为转化率将目标区域划分为多组用于进行实验的区域；
针对每组用于进行实验的区域进行相同比例经纪人和房屋进行抽样；
从每组用于进行实验的所述区域对应的后台数据库分别获取抽样的所述经纪人的人特征，以及所述房屋的房特征；
根据获取的人特征和房特征将抽样的经纪人和房屋均分到所述A组和所述B组。
其中，所述根据所述第一运行数据和所述第二运行数据评估所述第一策略和所述第二策略，包括：
根据所述第一运行数据确定所述第一策略对应的第一客户行为转化率；
根据所述第二运行数据确定所述第二策略对应的第二客户行为转化率；
若所述第一客户行为转化率大于所述第二客户行为转化率，则确定所述第一策略优于所述第二策略；否则，确定所述第二策略优于所述第一策略。
在另一个实施例中，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如所述策略评估的方法。
在另一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述策略评估方法的步骤。
在另一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现所述策略评估方法。
由上面的技术方案可见，上述实施例中通过特征前选的方式将目标区域的经纪人和房屋按照对应的人特征和房特征均匀地分到AB组，基于A组和B分别运行要评估的策略；然后再基于算法的规则将接入APP的真实运行环境的客户分配到AB组中，实现在AB实验中将人房客分组的问题，这样就可以通过获取A组和B组对应的运行数据评估两个策略。该方案能够客观、准确地进行策略评估。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例中人房特征获取流程示意图；
图2为本申请实施例中策略评估流程示意图；
图3为本申请实施例中基于AB组的进一步划分进行策略评估流程示意图；
图4为本申请实施例中实验分组及系统交互示意图；
图5为本申请实施例中客户特征分布示意图；
图6为本申请实施例中策略评估装置结构示意图；
图7为本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。
下面以具体实施例对本发明的技术方案进行详细说明。下面几个具体实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
相关技术中评估一个策略时，可以直接线上运行该策略，通过运行结果来评估该策略的优劣。
由于
如果要评估不同策略，由于线上运行不是同时空的，干扰因素就不是相同，在加上策略运行通常涉及BC两端，因素多且复杂，如果单看运行结果，不具有客观性；因此，两个策略对应的运行结果也就没有可比性。
相关技术中通过AB实验进行两个策略的评估，针对一个匹配因素可实现，当涉及到多个因素匹配时，传统的AB实验是很难做到的。
如应用场景是房产领域中一个线上房屋服务场景，APP需要运行策略来实现人房客(经纪人、房屋和客户)三方匹配，进而确定对应策略所能达到的客户行为转化率，使用客户行为转化率评估策略的优劣。
这里涉及到人房客三方匹配问题，传统的AB实验则无法解决房产领域人房客三方匹配的AB实验分组问题，也就无法实现两个策略的比较。
基于上述问题，本申请实施例中提供一种策略评估方法，通过特征前选及算法后分两种方式，解决AB实验人房客三方均匀分组的问题，以提升人房客三方匹配评估实验的显著性，代替以往直接上线效果后验评估的方式。本方案能够准确、客观地进行策略评估。
本申请实施例中在进行策略评估之前，需要确定每组的预设样本量，即用来确定可以获取运行数据对策略进行评估时每组的实验最小样本量。
确定预设样本量，即实验最小样本量时，通过如下公式计算：
其中，n表示预设样本量，zα和zβ通过查表获取，一般α为0.05，且z值为双侧，zα＝1.96；β为单侧，把握度(检验效能)为0.9时，zβ＝1.28，把握度(校验效能)为0.8时，zβ＝0。84，通常选择把握度0.9，这样会需要更多样本，本申请实施例中对此不进行限制，可以根据实际需要选择；σ表示样本标准差；δ表示差值，即实验组和对照组平均值的差值。
本申请实施例中涉及到人房客三方匹配，需要获取三方各自的特征，直接从数据库中获取影响客户行为转化率的人房客三方的特征数据时，大约有145个特征。
因为影响客户行为转化率是人房客三方匹配，而策略实质是后端人房匹配策略(变量)，其策略效果(也就是实验指标“客户行为转化率”)实际除受到变量影响外，还会受到人房客特征、房客策略及人客策略等因素的影响，严格的AB实验需要尽可能排除两组由于这些特征分布不均匀导致对实验结果的影响。
本申请实施例中并不会将所有特征用户进行相关实验的，而是从中选择真正对客户转化率影响大的特征，即找到显著影响实验指标的特征。具体实现时，通过特征分析排除多重共线性及误差影响后剩余的人特征、房特征和客特征，也可以根据历史经验直接指定需要关注的人特征、房特征和客特征。
本申请实施例中关注人房客三方特征如下，但不限于如下特征：
人特征包括：区域、成交量、经验值和服务意愿值；
其中，区域可以为经纪人所在的某个城市，也可以为所在的某个城市中的某个区域；
成交量即经纪人的业绩，成交房屋的价格或数量等；
经验值，根据经纪人工作的年限，业绩等为其配置的经验值；
服务意愿值，根据客户对经纪人的满意度评价确定的数值；
房特征包括：区域、居室、房屋数量和价值；
其中，区域为房屋所在的某个城市，也可以为所在的某个城市中的某个区域；
居室，也可以看作房屋的类型，如三居、二居等；
房屋数量，即对应区域的房屋数量、套数；
价值，每套房屋的价格。
客特征：渠道、需求类型和APP入口。
渠道可以是该客户被引来的方式，客户介绍、经纪人挖掘、广告等；
需求类型指客户对房屋是刚需、改善等；
APP入口，即客户通过APP的哪个按钮点击进入的。
在具体实现时，为了提升实验的显著性，进而提高策略评估的准确性，更接近于现实而有意义，会选择较大的目标区域，以便提高实验的覆盖性，在具体实现时，这样的目标区域可以为城市；
也为了尽量不对业务城市过分干扰，会对选择的目标区域进行抽样，抽样比例可以根据实际应用设置。
参见图1，图1为本申请实施例中人房特征获取流程示意图。具体步骤为：
步骤101，基于客户行为转化率将目标区域划分为多组用于进行实验的区域。
客户行为转化率根据不同的场景可以有不同的定义，如房产领域，可以是业绩，即成交行为；
选择出目标区域，该目标区域包括多个城市，将这几个城市按照预设时间，如三个月内的客户行为转化率划分为多个区域进行实验的区域，如划分为三个区域，按照客户行为转化率的高中低划分。
步骤102，针对每组用于进行实验的区域进行相同比例经纪人和房屋进行抽样。
这里进行抽样率可以根据实际需要设置抽样率，如将抽样率设置为20％，后续仅使用抽样出的区域，如城市进行实验，避免影响更多城市的业务。
步骤103，从每组用于进行实验的区域对应的后台数据库分别获取抽样的经纪人的人特征，以及房屋的房特征。
基于抽取出的用于进行实验的区域对应的后台数据库获取经纪人的人特征，以及房屋的房特征；
这里的人特征和房特征并非所有的人特征和房特征，而是通过特征分析排除多重共线性及误差影响后剩余的人特征和房特征。
在上述信息准备完成后，可以进行策略评估。下面结合附图，详细描述本申请实施例中策略评估过程。
参见图2，图2为本申请实施例中策略评估流程示意图。具体步骤为：
步骤201，基于人特征和房特征将目标区域中的经纪人和房屋均分到A组和B组中。
由于人特征和房特征属于B端相对稳定可靠部分，因此，本申请在后端算法层首先根据人特征和房特征将目标区域的经纪人和房屋均分到A组和B组。
这里的目标区域中的经纪人和房屋为抽样出的经纪人和房屋。
步骤202，基于A组中的经纪人和房屋，以及第一策略进行APP的线上运行，并基于B组中的经纪人和房屋，以及第二策略进行APP的线上运行。
第一策略和第二策略为两个需要评估比较的策略，如第一策略可以为原运行策略，第二策略为重构的运行策略。
这样的运行结果相当于实现不同运行策略运行在相同的环境下，也就是说两组实验仅是运行的策略不同。
步骤203，响应于客户接入APP，根据第一分配规则将客户划分到目标组，其中，目标组为A组或B组。
在有客户接入APP时，按照第一分配规则将客户均匀地划分到A组或B组。
这里的第一分配规则可以为按照接入APP的客户的客户数的单双数来确定分配到A组或B组，也可以是随机规则分配客户到A组或B组；具体实现时，不限于上述规则的实现。
步骤204，响应于A组和B组中的客户数均不小于预设样本量，获取A组对应的第一运行数据，以及B组对应的第二运行数据。
在A组和B组中的客户数均不小于预设样本量时，可以获取对应的数据，进行策略评估，至于实验是否结束，本申请实施例中对此并不进行限制。
步骤205，根据第一运行数据和第二运行数据评估第一策略和第二策略。
本申请实施例中通过特征前选的方式将目标区域的经纪人和房屋按照对应的人特征和房特征均匀地分到AB组，基于A组和B分别运行要评估的策略；然后再基于算法的规则将接入APP的真实运行环境的客户分配到AB组中，实现在AB实验中将人房客分组的问题，这样就可以通过获取A组和B组对应的运行数据评估两个策略。该方案能够客观、准确地进行策略评估。
在一种可能实施方式中，步骤203之后，步骤204之前，策略评估方法还包括：
按照第二分配规则将分配到A组的客户分配到A1组或A2组；
按照第二分配规则将分配到B组的客户分配到B1组或B2组；
响应于A组和B组的客户数均不小于预设样本量时，获取A组对应的第一运行数据，以及B组对应的第二运行数据，包括：
响应于A1组和B1组中的客户数均不小于预设样本量时，获取A1组对应的第一运行数据，以及B1组对应的第二运行数据；
其中，第二分配规则是根据客户的客特征设置。
若分配到A1组的客户与分配到A2组的客户的客特征分布不均匀，则调整第一分配规则，并使用调整后的第一分配规则对之后接入的客户进行分配；
其中，调整后的第一分配规则使分配到A1组的客户与分配到A2组的客户的客特征分布均匀。
在一个示例中，根据第一运行数据和第二运行数据评估第一策略和第二策略的具体实现，包括：
根据第一运行数据确定第一策略对应的第一客户行为转化率；
根据第二运行数据确定第二策略对应的第二客户行为转化率；
若第一客户行为转化率大于第二客户行为转化率，则确定第一策略优于第二策略；否则，确定第二策略优于第一策略。
其中，在根据运行数据确定客户行为转化率的具体实现可以为：
采用假设检验的方法，通过提出假设、选择检验统计量、计算检验统计量和显著性检验四步，确定客户行为转化率；进而最终进行决策。
参见图3，图3为本申请实施例中基于AB组的进一步划分进行策略评估流程示意图。具体步骤为：
步骤301，基于人特征和房特征将目标区域中的经纪人和房屋均分到A组和B组中。
由于人特征和房特征属于B端相对稳定可靠部分，因此，本申请在后端算法层首先根据人特征和房特征将实验区域的经纪人和房屋均分到A组和B组。
步骤302，基于A组中的经纪人和房屋，以及第一策略进行APP的线上运行，并基于B组中的经纪人和房屋，以及第二策略进行APP的线上运行。
第一策略和第二策略为两个需要评估比较的策略，如第一策略为原运行策略，第二策略为重构的运行策略。
这样的运行结果相当于实现不同运行策略运行在相同的环境下，也就是说两组实验仅是运行策略不同。
步骤303，响应于客户接入APP，根据第一分配规则将客户划分到目标组，其中，目标组为A组或B组。
在有客户接入APP时，按照第一分配规则将客户均匀地划分到A组或B组。
这里的第一分配规则可以为按照接入APP的客户的客户数的单双数来确定分配到A组或B组，也可以是随机规则分配客户到A组或B组；具体实现时，不限于上述规则的实现。
步骤304，按照第二分配规则将分配到A组的客户分配到A1组或A2组；并按照第二分配规则将分配到B组的客户分配到B1组或B2组；其中，第二分配规则是根据客户的客特征设置。
在具体实施例中，基于客特征将划分到A组的客户划分到A1组或A2组，将划分到B组的客户划分到B2组或B2组。
这里的第二分配规则根据客户的客特征设置；如经过特征分析排除多重共线性及误差影响后剩余的客特征为：渠道、需求类型和APP入口。
针对每个客特征的值分别设置预设范围；当一个客户的所有客特征均满足对应的预设范围时，将该客户划分到A1组；否则，划分到A2组。
针对B组也使用同样的第二分配规则进行客户的划分。
如特征渠道对应的特征值为0、1或2；需求类型对应的特征值为0、1或2；APP入口对应的特征值为1、2或3；
如第二分配规则为满足如下条件：
第一客特征(渠道)对应的特征值为0或1，第二客特征(需求类型)对应的特征值不大于1，且第三客特征(APP入口)对应的特征值为1。
以划分到A组的客户为例：
若划分到A组的客户1的第一客特征对应的特征值为0，第二客特征对应的特征值为2，且第三客特征对应的特征值为1，则将客户1划分到A1组中；
若划分到A组的客户2的第一客特征对应的特征值为2，第二客特征对应的特征值为2，且第三客特征对应的特征值为2，则将客户1划分到A2组。
划分到B组的客户划分到B1组还是B2组与A1组中的客户的划分规则一样，这里不再详细赘述。
步骤305，若分配到A1组的客户与分配到A2组的客户的客特征分布不均匀，则调整第一分配规则，并使用调整后的第一分配规则对之后接入的客户进行分配。
这里的客特征分布可以表示为：
A1组：
B1组：
其中，a1、a2、a3分别表示B1组第一客特征、第二客特征和第三客特征对应的客户的数量；M为A1组中总的客户数；b1、b2、b3分别表示B1组第一客特征、第二客特征和第三客特征对应的客户的数量；N为B1组中总的客户数。
这里的客特征分布均匀，指A1组和B1组的客特征分布趋于一致即可，而不是一定相同。
其中，调整后的第一分配规则使分配到A1组的客户与分配到A2组的客户的客特征分布均匀。
若分配到A1组的客户与分配到B1组的客户的客特征分布不均匀，且分配到A1组的客户对应客特征分布比例小于分配到B1组的客户的客特征的分布比例，则在调整第一分配规则时，使接入的客户划分到A组的客户数大于划分到B组的客户数，具体调整规则可以为：
如之前的第一分配规则为按照客户的手机号的尾号的单双数划分客户，单数划分到A组，双数划分到B组，调整后的第一分配规则，会将一部分双数的客户划分到A组，即通过增加A组的样本的前提下来增加A1组中的样本分布比例；
在具体实现时，可以每隔一定的预设时间确定一次A1组和B1组的客特征的分布，也可以每接入K个客户确定一次A1组和B1组的客特征的分布；本申请实施例中对此实现不进行限制；若确定A1组和B1组的分布比例不趋于一致，则调整一次第一分配规则。
步骤306，响应于A1组和B1组中的客户数均不小于预设样本量，获取A1组对应的第一运行数据，以及B1组对应的第二运行数据。
在A1组和B1组中的客户数均不小于预设样本量时，可以获取对应的数据，进行策略评估，至于实验是否结束，本申请实施例中对此并不进行限制。
步骤307，根据第一运行数据和第二运行数据评估第一策略和第二策略。
本申请实施例中通过特征前选的方式将目标区域的经纪人和房屋按照对应的人特征和房特征均匀地分到AB组，基于A组和B分别运行要评估的策略；然后再基于算法的规则将接入APP的真实运行环境的客户分配到AB组中，基于相同的客特征将分配到A组的用户划分到A1组或B1组，将分配到B组的用户划分到A2组或B2组，实现在AB实验中将人房客均匀分组的问题，这样就可以通过获取A组和B组对应的运行数据评估两个策略。该方案能够客观、准确地进行策略评估。
在一种可能实施方式中，步骤307中根据第一运行数据和第二运行数据评估第一策略和第二策略的具体实现，包括：
根据第一运行数据确定第一策略对应的第一客户行为转化率；
根据第二运行数据确定第二策略对应的第二客户行为转化率；
若第一客户行为转化率大于第二客户行为转化率，则确定第一策略优于第二策略；否则，确定第二策略优于第一策略。
其中，在根据运行数据确定客户行为转化率的具体实现可以为：
采用假设检验的方法，通过提出假设、选择检验统计量、计算检验统计量和显著性检验四步，确定客户行为转化率；进而最终进行决策。
本申请实施例中通过AB实验获得的数据对两个策略进行评估，是一种客观、准确的评估方法；由于AB实验是很难解决三个因子影响的策略的分组问题，本申请具体实现时，首先选择目标区域，然后利用特征分析方法在选定城市中进行人房客三方的特征前选，找到除策略变量之外的影响实验指标的显著性特征，拿相对能控制的B端的人、房特征均匀分两组；之后将为随机的客变量进行算法后分组：客进入APP，便自动匹配到之前分的AB两组，之前AB两组将根据客特征分别再扩两组，系统算法计算该客分到各组的特征分布和样本量，最终决定将客分到两组中的某一小组中，从而实现人房客三个特征均匀分配，只保留策略一个变量，将显著提升实验效果和评估科学性。
在具体实现时，采用特征前选和算法后分两种方式实现传统AB实验无法解决的房产领域人房客三方匹配的AB实验分组问题，解决之前不能采用AB实验评估的局限；
根据算法模拟客进入各组后的分配概率，控制客均匀分配，最终得到人房客三方特征均匀且客样本量一致的两组进行AB实验检验，将大大提升实验显著性；
事前采用按客户行为转化率分层抽样选择目标区域(实验城市)，既能尽可能检验策略在全区域(全国)的效果，又能保证尽量不对业务城市过分干扰。
参见图4，图4为本申请实施例中实验分组及系统交互示意图。图4中的系统包括：业务端、APP前端、后端数仓层、后端算法层和AB平台端；
其中，业务端和APP前端可以部署在一个终端也可以部署在不同的终端；后端数仓层、后端算法层和AB平台端可以部署在同一服务器上，也可以部署在不同服务器上。
实验准备阶段：
业务端获取预设时间内(如3个月)目标区域，即多个城市的客户行为转化率(业绩)，按照客户行为转化率将这些城市分为多组用于进行实验的区域，本实施例中以划分三组为例，高中低三组分别为：高转化率城市、中转化率城市和低转化率城市。
针对每组用于进行实验的区域进行相同比例经纪人和房屋进行抽样。
这里进行抽样率可以根据实际需要设置抽样率，如将抽样率设置为20％，后续仅使用抽样出的区域，如城市进行实验，避免影响更多城市的业务。
因实验对象(商机)是人房客三方匹配，而实验对象(商机)重构策略实质是后端人房匹配策略(变量)，其策略效果(也就是实验指标“客户行为转化率”)实际除受到变量影响外，还会受到人房客特征、房客策略及人客策略等因素的影响，严格AB实验需要尽可能排除两组由于这些特征分布不均匀导致对实验结果的影响。
基于后端数仓层从数据库中取到实验城市的所有可能影响客户转化成交率的“人”(指经纪人)、“房(房屋)”、“客”(指客户)特征标签数据，共约145个特征，有些特征之间会存在多重共性及误差影响，需要通过特征分析进行排除。
后端算法层进行特征分析，排除多重共线性及误差影响，最终找到显著特征如下：
人特征包括：区域、成交量、经验值和服务意愿值；
其中，区域可以为经纪人所在的某个城市，也可以为所在的某个城市中的某个区域；
成交量即经纪人的业绩，成交房屋的价格或数量等；
经验值，根据经纪人工作的年限，业绩等为其配置的经验值；
服务意愿值，根据客户对经纪人的满意度评价确定的数值；
房特征包括：区域、居室、房屋数量和价值；
其中，区域为房屋所在的某个城市，也可以为所在的某个城市中的某个区域；
居室，也可以看作房屋的类型，如三居、二居等；
房屋数量，即对应区域的房屋数量、套数；
价值，每套房屋的价格。
客特征：渠道、需求类型和APP入口。
渠道可以是该客户被引来的方式，客户介绍、经纪人挖掘、广告等；
需求类型指客户对房屋是刚需、改善等；
APP入口，即客户通过APP的哪个按钮点击进入的。
最终考虑的数据是确定的人房客的显著特征相关的数据。
后端算法层基于人特征和房特征交叉1：1均匀分组为A、B两组。
AB平台端基于A组中的经纪人和房屋，以及第一策略进行APP的线上运行，并基于B组中的经纪人和房屋，以及第二策略进行APP的线上运行。
第一策略和第二策略为两个需要评估比较的策略，如第一策略为原运行策略，第二策略为重构的运行策略。
这样的运行结果相当于实现不同运行策略运行在相同的环境下，也就是说两组实验仅是运行策略不同。
AB前端通过APP接收客户的接入。
AB平台端响应于客户接入APP，根据第一分配规则将客户划分到目标组，其中，目标组为A组或B组。
在有客户接入APP时，按照第一分配规则将客户均匀地划分到A组或B组。
这里的第一分配规则可以为按照接入APP的客户的客户数的单双数来确定分配到A组或B组，也可以是随机规则分配客户到A组或B组；具体实现时，不限于上述规则的实现。
初始实现的时候，第一分配规则是一种均匀分配规则，即将客户均分到A、B两组。
AB平台端按照第二分配规则将分配到A组的客户分配到A1组或A2组；并按照第二分配规则将分配到B组的客户分配到B1组或B2组；其中，第二分配规则是根据客户的客特征设置。
在具体实施例中，基于客特征将划分到A组的客户划分到A1组或A2组，将划分到B组的客户划分到B2组或B2组。
这里的第二分配规则根据客户的客特征设置；如经过特征分析排除多重共线性及误差影响后剩余的客特征为：渠道、需求类型和APP入口。
以A组为例，针对每个客特征的值分别设置预设范围；当一个客户的所有客特征均满足对应的预设范围时，将该客户划分到A1组；否则，划分到A2组。
针对B组也使用同样的第二分配规则进行客户的划分。
若分配到A1组的客户与分配到A2组的客户的客特征分布不均匀，则调整第一分配规则，并使用调整后的第一分配规则对之后接入的客户进行分配。
参见图5，图5为本申请实施例中客户特征分布示意图。
图5中，基于第一分配规则将客户分配到A组或B组中；以A组为例，根据第二分配规则，将进入A组的客户分配到A1组或A2组中；
图5中所示A1组中的客特征分布于B1组中的客特征分布趋于一致，这个时候是不需要进行第一分配规则调整的；如果客特征分布不均匀，即不趋于一致时，是需要调整第一分配规则，使得客特征分布均匀。
一直进行客户的接入，直到A1组和B1组中的客户数均不小于预设样本量时，获取A1组对应的运行数据，以及B1组对应的运行数据；
通过对运行数据进行分析，确定对应的运行策略哪个更优。
基于同样的发明构思，本申请实施例中还提供一种策略评估装置。参见图6，图6为本申请实施例中策略评估装置结构示意图。该策略评估装置包括：
第一划分单元601，被配置为执行基于人特征和房特征将目标区域中的经纪人和房屋均分到A组和B组中；
运行单元602，被配置为执行基于所述A组中的经纪人和房屋，以及第一策略进行APP的线上运行，并基于所述B组中的经纪人和房屋，以及第二策略进行所述APP的线上运行；
第二划分单元603，被配置为执行响应于客户接入所述APP，根据第一分配规则将所述客户划分到目标组，其中，所述目标组为所述A组或所述B组；
获取单元604，被配置为执行响应于所述A组和所述B组中的客户数均不小于预设样本量，获取所述A组对应的第一运行数据，以及所述B组对应的第二运行数据；
评估单元605，被配置为执行根据所述第一运行数据和所述第二运行数据评估所述第一策略和所述第二策略。
在另一个实施例中，该策略评估装置还包括：
第三划分单元606，被配置为执行按照第二分配规则将分配到所述A组的客户分配到A1组或A2组；按照所述第二分配规则将分配到所述B组的客户分配到B1组或B2组；
获取单元605，被配置为具体执行响应于所述A1组和所述B1组中的客户数均不小于预设样本量，获取所述A1组对应的第一运行数据，以及所述B1组对应的第二运行数据；
其中，所述第二分配规则是根据客户的客特征设置的。
在另一个实施例中，
第二划分单元603，进一步被配置为执行若分配到所述A1组的客户与分配到所述A2组的客户的客特征分布不均匀，则调整所述第一分配规则，并使用调整后的第一分配规则对之后接入的客户进行分配；
其中，调整后的所述第一分配规则使分配到所述A1组的客户与分配到所述A2组的客户的客特征分布均匀。
在另一个实施例中，
所述人特征包括：区域、成交量、经验值和服务意愿值；
所述房特征包括：区域、居室、房屋数量和价值；
所述客特征：渠道、需求类型和APP入口。
在另一个实施例中，
所述人特征、所述房特征和所述客特征为，通过特征分析排除多重共线性及误差影响后剩余的人特征、房特征和客特征。
第一划分单元601，被配置为具体执行基于客户行为转化率将目标区域划分为多组用于进行实验的区域；针对每组用于进行实验的区域进行相同比例经纪人和房屋进行抽样；从每组用于进行实验的所述区域对应的后台数据库分别获取抽样的所述经纪人的人特征，以及所述房屋的房特征；根据获取的人特征和房特征将抽样的经纪人和房屋均分到所述A组和所述B组。
评估单元605，被配置为执行根据所述第一运行数据确定所述第一策略对应的第一客户行为转化率；根据所述第二运行数据确定所述第二策略对应的第二客户行为转化率；若所述第一客户行为转化率大于所述第二客户行为转化率，则确定所述第一策略优于所述第二策略；否则，确定所述第二策略优于所述第一策略。
上述实施例的单元可以集成于一体，也可以分离部署；可以合并为一个单元，也可以进一步拆分成多个子单元。
在另一个实施例中，还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述策略评估方法的步骤。
在另一个实施例中，还提供一种计算机可读存储介质，其上存储有计算机指令，所述指令被处理器执行时可实现所述策略评估方法中的步骤。
在另一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现所述策略评估方法。
图7为本发明实施例提供的电子设备的实体结构示意图。如图7所示，该电子设备可以包括：处理器(Processor)710、通信接口(Communications Interface)720、存储器(Memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行如下方法：
基于人特征和房特征将目标区域中的经纪人和房屋均分到A组和B组中；
基于A组中的经纪人和房屋，以及第一策略进行APP的线上运行，并基于B组中的经纪人和房屋，以及第二策略进行APP的线上运行；
响应于客户接入APP，根据第一分配规则将客户划分到目标组，其中，目标组为A组或B组；
响应于A组和B组中的客户数均不小于预设样本量，获取A组对应的第一运行数据，以及B组对应的第二运行数据；
根据第一运行数据和第二运行数据评估第一策略和第二策略。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (9)

1.一种策略评估方法，其特征在于，包括：
基于人特征和房特征将目标区域中的经纪人和房屋均分到A组和B组中；
基于所述A组中的经纪人和房屋，以及第一策略进行APP的线上运行，并基于所述B组中的经纪人和房屋，以及第二策略进行所述APP的线上运行；
响应于客户接入所述APP，根据第一分配规则将所述客户划分到目标组，其中，所述目标组为所述A组或所述B组；
按照第二分配规则将分配到所述A组的客户分配到A1组或A2组；按照所述第二分配规则将分配到所述B组的客户分配到B1组或B2组；其中，所述第二分配规则是根据客户的客特征设置的；
若分配到所述A1组的客户与分配到所述A2组的客户的客特征分布不均匀，则调整所述第一分配规则，并使用调整后的第一分配规则对之后接入的客户进行分配；
响应于所述A1组和所述B1组中的客户数均不小于预设样本量，获取所述A1组对应的第一运行数据，以及所述B1组对应的第二运行数据；
根据所述第一运行数据和所述第二运行数据评估所述第一策略和所述第二策略。
2.根据权利要求1所述的方法，其特征在于，调整后的所述第一分配规则使分配到所述A1组的客户与分配到所述B1组的客户的客特征分布均匀。
3.根据权利要求1所述的方法，其特征在于，
所述人特征包括：区域、成交量、经验值和服务意愿值；
所述房特征包括：区域、居室、房屋数量和价值；
所述客特征：渠道、需求类型和APP入口。
4.根据权利要求3所述的方法，其特征在于，所述人特征、所述房特征和所述客特征为，通过特征分析排除多重共线性及误差影响后剩余的人特征、房特征和客特征。
5.根据权利要求1所述的方法，其特征在于，所述基于人特征和房特征将目标区域中的经纪人和房屋均分到A组和B组中，包括：
基于客户行为转化率将目标区域划分为多组用于进行实验的区域；
针对每组用于进行实验的区域进行相同比例经纪人和房屋进行抽样；
从每组用于进行实验的所述区域对应的后台数据库分别获取抽样的所述经纪人的人特征，以及所述房屋的房特征；
根据获取的人特征和房特征将抽样的经纪人和房屋均分到所述A组和所述B组。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述根据所述第一运行数据和所述第二运行数据评估所述第一策略和所述第二策略，包括：
根据所述第一运行数据确定所述第一策略对应的第一客户行为转化率；
根据所述第二运行数据确定所述第二策略对应的第二客户行为转化率；
若所述第一客户行为转化率大于所述第二客户行为转化率，则确定所述第一策略优于所述第二策略；否则，确定所述第二策略优于所述第一策略。
7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6任一项所述的方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-6任一项所述的方法。
9.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-6任一项所述的方法。
CN202310118035.4A 2023-02-10 2023-02-10 策略评估方法和装置 Active CN116128239B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310118035.4A CN116128239B (zh) 2023-02-10 2023-02-10 策略评估方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310118035.4A CN116128239B (zh) 2023-02-10 2023-02-10 策略评估方法和装置

Publications (2)

Publication Number Publication Date
CN116128239A CN116128239A (zh) 2023-05-16
CN116128239B true CN116128239B (zh) 2024-05-14

Family

ID=86300861

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310118035.4A Active CN116128239B (zh) 2023-02-10 2023-02-10 策略评估方法和装置

Country Status (1)

Country Link
CN (1) CN116128239B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110990542A (zh) * 2019-10-11 2020-04-10 北京华跃博弈科技有限公司 一种房产中介服务平台客户需求匹配系统
CN112819266A (zh) * 2019-11-15 2021-05-18 北京三快在线科技有限公司 配送参数调整方法、装置、存储介质及电子设备
CN114070707A (zh) * 2020-11-10 2022-02-18 北京市天元网络技术股份有限公司 一种互联网性能监控方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9792205B2 (en) * 2014-06-13 2017-10-17 Ebay Inc. A/B testing for mobile applications

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110990542A (zh) * 2019-10-11 2020-04-10 北京华跃博弈科技有限公司 一种房产中介服务平台客户需求匹配系统
CN112819266A (zh) * 2019-11-15 2021-05-18 北京三快在线科技有限公司 配送参数调整方法、装置、存储介质及电子设备
CN114070707A (zh) * 2020-11-10 2022-02-18 北京市天元网络技术股份有限公司 一种互联网性能监控方法及系统

Also Published As

Publication number Publication date
CN116128239A (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
US20080059284A1 (en) Methods, Systems and Computer Readable Code for Forecasting Time Series and for Forecasting Commodity Consumption
CN112381428A (zh) 基于强化学习的业务分配方法、装置、设备及存储介质
JP2023551514A (ja) 生成的モデル予測における欠落している共変量からの不確実性を考慮する方法およびシステム
CN111797320A (zh) 数据处理方法、装置、设备及存储介质
CN112445699A (zh) 策略匹配方法、装置、电子设备及存储介质
CN115422788B (zh) 一种配电网线损分析管理方法、装置、存储介质及系统
CN116128239B (zh) 策略评估方法和装置
CN109167806B (zh) 一种基于前景理论的不确定QoS感知Web服务选择方法
CN117097789A (zh) 一种数据处理方法、装置、电子设备及存储介质
Bassetti et al. The tree of political violence: a GMERT analysis
CN112818241B (zh) 一种内容推广方法、装置、计算机设备和存储介质
CN116974894A (zh) 数据处理方法、装置、存储介质及计算机设备
CN112966968B (zh) 一种基于人工智能的名单分配方法及相关设备
CN111008871A (zh) 一种房地产复购客户跟进数量计算方法、装置及存储介质
CN112905476B (zh) 测试的执行方法及装置、电子设备、存储介质
CN114020635B (zh) 基于场景化消息队列的数据测试方法、装置、设备及介质
CN113516562B (zh) 家庭社交网络构建方法、装置、设备及存储介质
CN109559013A (zh) 基于小游戏的风险测试方法及装置、电子设备及可读存储介质
Dryden et al. Image segmentation using Voronoi polygons and MCMC, with application to muscle fibre images
CN113448876A (zh) 一种业务测试方法、装置、计算机设备及存储介质
CN116266946A (zh) 一种基站位置的确定方法、装置及设备
CN106682205A (zh) 数据处理装置及方法
CN112861309B (zh) 物品分发系统的分发结果预测方法、装置及设备
CN116402249B (zh) 推荐系统溢出效应评估方法、设备及存储介质
CN112163633B (zh) 测试评估方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant