CN112163633A - 测试评估方法、装置、电子设备及存储介质 - Google Patents
测试评估方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112163633A CN112163633A CN202011099198.5A CN202011099198A CN112163633A CN 112163633 A CN112163633 A CN 112163633A CN 202011099198 A CN202011099198 A CN 202011099198A CN 112163633 A CN112163633 A CN 112163633A
- Authority
- CN
- China
- Prior art keywords
- negative
- sample
- target
- positive
- behavior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 96
- 238000012360 testing method Methods 0.000 title claims abstract description 60
- 238000003860 storage Methods 0.000 title claims abstract description 21
- 238000009826 distribution Methods 0.000 claims abstract description 66
- 238000005070 sampling Methods 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000013210 evaluation model Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 12
- 230000006399 behavior Effects 0.000 description 89
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000015654 memory Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000012216 screening Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请提供了一种测试评估方法、装置、电子设备及存储介质，涉及数据处理技术领域，该方法包括：采用预设的采样模型，确定多个特征在多个第一正样本中的联合概率分布，并从多个第一正样本中选择与联合概率分布相同的多个目标正样本；根据目标正样本，从第一负样本中选择与联合概率分布相同的目标负样本；根据第一正样本和目标负样本，对负向行为的影响进行测试评估。第一正样本和第一负样本整体概率类似，基于第一正样本筛选到的目标正样本和基于第一负样本筛选到的目标负样本，既满足整体概率类似又满足特征同概率分布，减小了实验组和对照组之间的差别，使得评估的负向行为在服务中的影响也更加准确。
Description
技术领域
本申请涉及数据处理技术领域，具体而言，涉及一种测试评估方法、装置、电子设备及存储介质。
背景技术
随机实验是研究因果关系的最好方法之一，线上实验会由于耗费时间较长、成本较高等原因无法进行。因此，基于线上的历史数据进行线下实验受到了广泛的欢迎。
相关技术中，可以从服务提供方和服务接受方的历史数据中，选取针对某项措施整体影响概率相同的实验组数据和对照组数据，继而基于该实验组数据和对照组数据，评估某项措施在服务中所造成的影响。
但是，相关技术中，选取的两组数据某项措施整体影响概率相同，该两组数据差别较大，容易导致评估的某项措施在服务中的影响不准确的问题。
发明内容
有鉴于此，本申请实施例的目的在于提供一种测试评估方法、装置、电子设备及存储介质，已解决相关技术中，选取的两组数据某项措施整体影响概率相同，该两组数据差别较大，容易导致评估的某项措施在服务中的影响不准确的问题。
第一方面，本申请实施例提供了一种测试评估方法，包括：
采用预设的采样模型，确定多个特征在多个第一正样本中的联合概率分布，并从所述多个第一正样本中选择与所述联合概率分布相同的多个目标正样本；其中，所述第一正样本包括：接受到服务提供方的负向行为的服务接受方的数据；
根据所述目标正样本，从第一负样本中选择与所述联合概率分布相同的目标负样本；所述第一负样本包括：未接受到服务提供方的负向行为的服务接受方的数据，所述第一正样本和所述第一负样本中所述多个特征对负向行为的整体影响概率在预设范围内；
根据所述第一正样本和所述目标负样本，对负向行为的影响进行测试评估。
可选的，所述采用预设的采样模型，确定多个特征在多个第一正样本中联合概率分布之前，还包括：
采用预设的倾向评分匹配模型，根据预设自变量，从第二正样本和第二负样本中，分别确定所述第一正样本和所述第一负样本；所述预设自变量为所述多个特征。
可选的，所述采用预设的采样模型，确定多个特征在多个第一正样本中联合概率分布，包括：
采用所述采样模型，分别确定所述多个第一正样本中每个特征的条件概率，基于所述多个特征的条件概率得到所述联合概率分布；
其中，所述每个特征的条件概率为其他特征在所述每个特征下的条件概率。
可选的，所述根据所述目标正样本，从所述第一负样本中选择与所述联合概率分布相同的目标负样本，包括：
根据所述目标正样本中所述每个特征的数据，从所述第一负样本中选择与所述联合概率分布相同，并且，相同类型特征的数据偏差在预设范围内的所述目标负样本。
可选的，所述根据所述第一正样本和所述目标负样本，对负向行为的影响进行测试评估包括：
采用预设评估模型，对所述第一正样本和所述目标负样本进行评估，得到评估值；
若所述评估值满足预设条件，则基于所述第一正样本和所述目标负样本进行分析，确定所述负向行为的影响系数。
可选的，所述方法还包括：
若所述评估值不满足预设条件，则根据所述评估值对所述采样模型和所述倾向评分匹配模型的模型参数进行更新。
可选的，所述基于所述第一正样本和目标负样本进行分析，确定所述负向行为的影响系数，包括：
从所述第一正样本和所述目标负样本中，分别确定每种负向行为对应的第一数据组和第二数据组；
根据所述第一数据组和所述第二数据组中所述每种负向行为的影响特征数据的偏差，计算所述每种负向行为的影响系数。
可选的，所述方法还包括：
根据所述每种负向行为的影响系数，得到所述负向行为对应的处罚策略的参考数据。
第二方面，本申请实施例提供了一种测试评估装置，包括：
确定模块，用于采用预设的采样模型，确定多个特征在多个第一正样本中的联合概率分布，并从所述多个第一正样本中选择与所述联合概率分布相同的多个目标正样本；其中，所述第一正样本包括：接受到服务提供方的负向行为的服务接受方的数据；
选择模块，用于根据所述目标正样本，从第一负样本中选择与所述联合概率分布相同的目标负样本；所述第一负样本包括：未接受到服务提供方的负向行为的服务接受方的数据，所述第一正样本和所述第一负样本中所述多个特征对负向行为的整体影响概率在预设范围内；
评估模块，用于根据所述第一正样本和所述目标负样本，对负向行为的影响进行测试评估。
可选的，所述装置还包括：
第一确定模块，用于采用预设的倾向评分匹配模型，根据预设自变量，从第二正样本和第二负样本中，分别确定所述第一正样本和所述第一负样本；所述预设自变量为所述多个特征。
可选的，所述确定模块，还用于采用所述采样模型，分别确定所述多个第一正样本中每个特征的条件概率，基于所述多个特征的条件概率得到所述联合概率分布；其中，所述每个特征的条件概率为其他特征在所述每个特征下的条件概率。
可选的，所述选择模块，还用于根据所述目标正样本中所述每个特征的数据，从所述第一负样本中选择与所述联合概率分布相同，并且，相同类型特征的数据偏差在预设范围内的所述目标负样本。
可选的，所述评估模块，还用于采用预设评估模型，对所述第一正样本和所述目标负样本进行评估，得到评估值；若所述评估值满足预设条件，则基于所述第一正样本和所述目标负样本进行分析，确定所述负向行为的影响系数。
可选的，所述装置还包括：
更新模块，用于若所述评估值不满足预设条件，则根据所述评估值对所述采样模型和所述倾向评分匹配模型的模型参数进行更新。
可选的，所述评估模块，还用于从所述第一正样本和所述目标负样本中，分别确定每种负向行为对应的第一数据组和第二数据组；根据所述第一数据组和所述第二数据组中所述每种负向行为的影响特征数据的偏差，计算所述每种负向行为的影响系数。
可选的，所述装置还包括：
获取模块，用于根据所述每种负向行为的影响系数，得到所述负向行为对应的处罚策略的参考数据。
第三方面，本申请实施例提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行时执行如第一方面任一所述的测试评估方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面任一所述的测试评估方法的步骤。
综上所述，本申请实施例提供一种测试评估方法、装置、电子设备及存储介质，该方法包括：采用预设的采样模型，确定多个特征在多个第一正样本中的联合概率分布，并从多个第一正样本中选择与联合概率分布相同的多个目标正样本；根据目标正样本，从第一负样本中选择与联合概率分布相同的目标负样本；根据第一正样本和目标负样本，对负向行为的影响进行测试评估。第一正样本和第一负样本整体概率类似，基于第一正样本筛选到的目标正样本和基于第一负样本筛选到的目标负样本，既满足整体概率类似又满足特征同概率分布，减小了实验组和对照组之间的差别，使得评估的负向行为的影响也更加准确。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本申请一些实施例的测试评估系统的框图；
图2示出了本申请一些实施例提供电子设备的结构示意图；
图3示出了本申请实施例所提供的一种测试评估方法的流程图；
图4示出了本申请实施例所提供的一种测试评估方法的流程图；
图5示出了本申请实施例所提供的一种测试评估方法的流程图；
图6示出了本申请实施例所提供的一种测试评估方法的流程图；
图7示出了本申请实施例所提供的一种测试评估装置的结构图；
图8示出了本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
本申请中的术语“乘客”、“请求方”、“服务人员”、“服务请求方”和“客户”可互换使用，以指代可以请求或订购服务的个人、实体或工具。本申请中的术语“司机”、“提供方”、“服务提供方”和“供应商”可互换使用，以指代可以提供服务的个人、实体或工具。
图1示出了本申请一些实施例的测试评估系统100的框图。例如，测试评估系统100可以是用于诸如出租车、代驾服务、快车、拼车、公共汽车服务、驾驶员租赁、或班车服务之类的运输服务、或其任意组合的在线运输服务平台。测试评估系统100可以包括服务器110、网络120、服务请求方终端130、服务提供方终端140和数据库150中的一种或多种，服务器110中可以包括执行指令操作的处理器。
在一些实施例中，服务器110可以是单个服务器，也可以是服务器组。服务器组可以是集中式的，也可以是分布式的(例如，服务器110可以是分布式系统)。在一些实施例中，服务器110相对于终端，可以是本地的、也可以是远程的。例如，服务器110可以经由网络120访问存储在服务请求方终端130、服务提供方终端140、或数据库150、或其任意组合中的信息和/或数据。作为另一示例，服务器110可以直接连接到服务请求方终端130、服务提供方终端140和数据库150中至少一个，以访问存储的信息和/或数据。在一些实施例中，服务器110可以在云平台上实现；仅作为示例，云平台可以包括私有云、公有云、混合云、社区云(community cloud)、分布式云、跨云(inter-cloud)、多云(multi-cloud)等，或者它们的任意组合。在一些实施例中，服务器110可以在具有本申请中图2所示的一个或多个组件的电子设备200上实现。
在一些实施例中，服务器110可以包括处理器。处理器可以处理与服务请求有关的信息和/或数据，以执行本申请中描述的一个或多个功能。例如，处理器可以获取第一正样本和第一负样本。在一些实施例中，处理器可以包括一个或多个处理核(例如，单核处理器(S)或多核处理器(S))。仅作为举例，处理器可以包括中央处理单元(Central ProcessingUnit，CPU)、专用集成电路(Application Specific Integrated Circuit，ASIC)、专用指令集处理器(Application Specific Instruction-set Processor，ASIP)、图形处理单元(Graphics Processing Unit，GPU)、物理处理单元(Physics Processing Unit，PPU)、数字信号处理器(Digital Signal Processor，DSP)、现场可编程门阵列(Field ProgrammableGate Array，FPGA)、可编程逻辑器件(Programmable Logic Device，PLD)、控制器、微控制器单元、简化指令集计算机(Reduced Instruction Set Computing，RISC)、或微处理器等，或其任意组合。
网络120可以用于信息和/或数据的交换。在一些实施例中，测试评估系统100中的一个或多个组件(例如，服务器110，服务请求方终端130，服务提供方终端140和数据库150)可以向其他组件发送信息和/或数据。例如，服务器110可以经由网络120从服务请求方终端130获取样本数据。在一些实施例中，网络120可以是任何类型的有线或者无线网络，或者是他们的结合。仅作为示例，网络120可以包括有线网络、无线网络、光纤网络、远程通信网络、内联网、因特网、局域网(Local Area Network，LAN)、广域网(Wide Area Network，WAN)、无线局域网(Wireless Local Area Networks，WLAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、公共电话交换网(Public Switched TelephoneNetwork，PSTN)、蓝牙网络、ZigBee网络、或近场通信(Near Field Communication,NFC)网络等，或其任意组合。在一些实施例中，网络120可以包括一个或多个网络接入点。例如，网络120可以包括有线或无线网络接入点，例如基站和/或网络交换节点，测试评估系统100的一个或多个组件可以通过该接入点连接到网络120以交换数据和/或信息。
数据库150可以存储数据和/或指令。在一些实施例中，数据库150可以存储从服务请求方终端130和/或服务提供方终端140获得的数据。在一些实施例中，数据库150可以存储在本申请中描述的示例性方法的数据和/或指令。在一些实施例中，数据库150可以包括大容量存储器、可移动存储器、易失性读写存储器、或只读存储器(Read-Only Memory，ROM)等，或其任意组合。作为举例，大容量存储器可以包括磁盘、光盘、固态驱动器等；可移动存储器可包括闪存驱动器、软盘、光盘、存储卡、zip磁盘、磁带等；易失性读写存储器可以包括随机存取存储器(Random Access Memory，RAM)；RAM可以包括动态RAM(Dynamic RandomAccess Memory，DRAM)，双倍数据速率同步动态RAM(Double Date-Rate Synchronous RAM，DDR SDRAM)；静态RAM(Static Random-Access Memory，SRAM)，晶闸管RAM(Thyristor-Based Random Access Memory，T-RAM)和零电容器RAM(Zero-RAM)等。作为举例，ROM可以包括掩模ROM(Mask Read-Only Memory，MROM)、可编程ROM(Programmable Read-OnlyMemory，PROM)、可擦除可编程ROM(Programmable Erasable Read-only Memory，PEROM)、电可擦除可编程ROM(Electrically Erasable Programmable read only memory，EEPROM)、光盘ROM(CD-ROM)、以及数字通用磁盘ROM等。在一些实施例中，数据库150可以在云平台上实现。仅作为示例，云平台可以包括私有云、公有云、混合云、社区云、分布式云、跨云、多云或者其它类似的等，或其任意组合。
在一些实施例中，数据库150可以连接到网络120以与测试评估系统100(例如，服务器110，服务请求方终端130，服务提供方终端140等)中的一个或多个组件通信。测试评估系统100中的一个或多个组件可以经由网络120访问存储在数据库150中的数据或指令。在一些实施例中，数据库150可以直接连接到测试评估系统100中的一个或多个组件(例如，服务器110，服务请求方终端130，服务提供方终端140等)；或者，在一些实施例中，数据库150也可以是服务器110的一部分。
图2示出根据本申请的一些实施例的可以实现本申请思想的服务器110的电子设备200的示例性硬件和软件组件的示意图。例如，处理器220可以用于电子设备200上，并且用于执行本申请中的功能。
电子设备200可以是通用计算机或特殊用途的计算机，两者都可以用于实现本申请的测试评估方法。本申请尽管仅示出了一个计算机，但是为了方便起见，可以在多个类似平台上以分布式方式实现本申请描述的功能，以均衡处理负载。
例如，电子设备200可以包括连接到网络的网络端口210、用于执行程序指令的一个或多个处理器220、通信总线230、和不同形式的存储介质240，例如，磁盘、ROM、或RAM，或其任意组合。示例性地，计算机平台还可以包括存储在ROM、RAM、或其他类型的非暂时性存储介质、或其任意组合中的程序指令。根据这些程序指令可以实现本申请的方法。电子设备200还包括计算机与其他输入输出设备(例如键盘、显示屏)之间的输入/输出(Input/Output，I/O)接口250。
为了便于说明，在电子设备200中仅描述了一个处理器。然而，应当注意，本申请中的电子设备200还可以包括多个处理器，因此本申请中描述的一个处理器执行的步骤也可以由多个处理器联合执行或单独执行。例如，若电子设备200的处理器执行步骤A和步骤B，则应该理解，步骤A和步骤B也可以由两个不同的处理器共同执行或者在一个处理器中单独执行。例如，第一处理器执行步骤A，第二处理器执行步骤B，或者第一处理器和第二处理器共同执行步骤A和B。
本申请实施例提供的测试评估方法，执行主体可以为上述服务器110，该服务器110可以称为应用服务器。另外，执行主体可以为独立的测试服务器或者测试终端，本申请实施例对此不进行具体限制。以下以服务器为例，进行解释说明。
图3示出了本申请实施例所提供的一种测试评估方法的流程图，如图3所示，该方法可以包括：
S101、采用预设的采样模型，确定多个特征在多个第一正样本中的联合概率分布，并从多个第一正样本中选择与联合概率分布相同的多个目标正样本。
其中，第一正样本包括：接受到服务提供方的负向行为的服务接受方的数据。例如，在司乘服务中，服务提供方可以为司机，服务接受方可以为乘客，则第一样本可以为接受到司机负向行为的乘客的数据。
另外，各个特征可以包括：服务接受方的属性特征和服务接受方的行为特征。可选的，负向行为可以包括下述至少一项：服务提供方恶意取消订单、服务提供方多收附加费、服务提供方未提供服务收取费用、服务提供方未按时到达指定地点等等。当然，还可以为其他类型的影响服务接受方体验的负向行为，本申请实施例对此不进行具体限制。
在一些实施方式中，对于每个第一正样本均可以包括多个特征，每个特征下包括对应的多个特征数据，服务器可以采用预设的采样模型，根据所确定的多个特征的联合概率分布，从每个特征对应的多个特征数据中选取目标特征数据，则得到各特征对应的目标特征数据，即得到目标正样本。
需要说明的是，从第一正样本中所选择的多个目标正样本，其联合概率分布相同，则选取的多个目标正样本中各个特征对应的数据类似，即多个目标正样本之间差别极小。
S102、根据目标正样本，从第一负样本中选择与联合概率分布相同的目标负样本。
其中，第一负样本包括：未接受到服务提供方的负向行为的服务接受方的数据，第一正样本和第一负样本中多个特征对负向行为的整体影响概率在预设范围内。
在一种可能的实施方式中，目标正样本的联合概率分布是相同的，基于目标正样本从第一负样本中所选择的目标负样本，联合概率分布也是相同的。即，所选择的目标负样本差别很小。
在本申请实施例中，目标正样本和目标负样本，除收否接收到负向行为这一特征不同外，目标特征(研究对象)也可以不同。目标正样本和目标负样本中其他的特征对应的特征数据，均可以相同，也可以相似，本申请实施例对此不进行具体限制。其他的特征可以为，多个特征中除负向行为特征和目标特征外剩余的特征。其中，目标特征也可以称为研究因素，负向行为可以称为干预措施。
另外，在第一正样本和第一负样本的整体概率在预设范围内的基础上，根据目标正样本从第一负样本中选择得到的目标负样本联合概率也相同，因此，所获取到的样本既满足整体概率类似，又满足特征同概率分布。
需要说明的是，第一正样本和第一负样本的整体概率类似，是指针对预设自变量的概率类似。在整体概率类似时，第一正样本和第一负样本在各特征上的分布会存在差异，即单个变量会存在差异。
S103、根据第一正样本和目标负样本，对负向行为的影响进行测试评估。
其中，服务器可以根据第一正样本和目标负样本，评估负向行为对目标特征的影响。
在一种可能的实施方式中，服务器可以对第一样本中目标特征对应的特征数据进行统计；还可以对目标样本中目标特征对应打分特征数据进行统计，根据统计后的数据评估负向行为对目标特征的影响。
需要说明的是，目标特征可以为发单量，即服务接受方下单的数量，也可以为好评量，即服务器接受方是否给到服务提供方好评，还可以为其他待研究的特征，本申请实施例对此不进行具体限制。
另外，目标负样本也可以称为对照组，第一正样本所属的样本可以称为实验组。本申请实施例中，所获取的对照组和实验组数据其联合概率分布均是相同的，因此，对照组和实验组差别很小，两组数据既满足整体概率类似，又满足特征同概率分布。在此基础上，评估负向行为对目标特征的影响时，所得到的评估结果也更加准确。
在本申请实施例中，在研究负向行为对于目标特征的影响时，若直接进行线上试验会影响司乘体验，因此，可以通过回溯历史数据进行线下模拟试验。
综上所述，本申请实施例提供一种测试评估方法，该方法可以包括：采用预设的采样模型，确定多个特征在多个第一正样本中的联合概率分布，并从多个第一正样本中选择与联合概率分布相同的多个目标正样本；根据目标正样本，从第一负样本中选择与联合概率分布相同的目标负样本；根据第一正样本和目标负样本，对负向行为的影响进行测试评估。第一正样本和第一负样本整体概率类似，基于第一正样本筛选到的目标正样本和基于第一负样本筛选到的目标负样本，既满足整体概率类似又满足特征同概率分布，减小了实验组和对照组之间的差别，使得评估的负向行为的影响也更加准确。
可选的，图4示出了本申请实施例所提供的一种测试评估方法的流程图，如图4所示，上述S101中采用预设的采样模型，确定多个特征在多个第一正样本中联合概率分布的过程之前，该方法还可以包括：
S201、采用预设的倾向评分匹配模型，根据预设自变量，从第二正样本和第二负样本中，分别确定第一正样本和第一负样本。
其中，预设自变量为多个特征。第二正样本可以为接受到服务提供方的负向行为的服务接受方的原始数据；第二负样本可以为未接受到服务提供方的负向行为的服务接受方的原始数据。本申请实施例中，负向行为也可以称为恶意行为。
另外，第二正样本和第二负样本可以为，从线上采集的多个服务接受方在预设时间周期的数据。其中，预设时间周期可以为两周，也可以为一个月，还可以根据实际需求或者经验值进行设定，本申请实施例对此不进行具体限制。
在本申请实施例中，可以从线上服务数据中采集第二正样本和第二负样本，继而确定第二正样本和第二负样本中的预设自变量，再对第二正样本和第二负样本进行预处理，得到预处理后的第二正样本和第二负样本。将预处理后的第二正样本和第二负样本输入预设的倾向评分匹配模型中，预设的倾向评分匹配模型可以对预处理后的第二正样本和第二负样本进行处理，输出第一正样本和第一负样本。其中，预处理可以包括但不限于数据清洗处理、特征加工处理等等。
其中，预设自变量可以根据负向行为进行确定，可以为与负向行为具有一定关联的多个特征。上述预设自变量可以称为混淆变量，例如，预设自变量可以包括服务提供方标签、历史行为等等。
在一些实施方式中，预设的倾向评分匹配模型可以为称为PSM(Propensity ScoreMatching，倾向评分匹配)模型，PSM模型基于预设自变量确定从第二正样本中确定第一正样本；基于第一正样本的整体概率从第二负样本中确定第一负样本。其中，第一正样本和第一负样本的整体概率可以相同，两者的整体概率也可以在预设范围内，本申请实施例对此不进行具体限制。
需要说明的是，PSM模型是一种统计学方法，可以在第一正样本和第一负样本之间削弱混淆变量的影响，消除干扰因素，使得第一正样本和第一负样本之间的整体概率相同。
在实际应用中，第一负样本的数量可以远远大于第一正样本的数量，例如，第一正样本的数量∶第二负样本的数量＝1∶n，其中，n大于1。
综上所述，采用预设的倾向评分匹配模型，根据预设自变量，从第二正样本和第二负样本中，分别确定第一正样本和第一负样本。采用预设的倾向评分匹配模型选取第一正样本和第一负样本，可以使得选取的第一正样本和第一负样本整体概率更加接近或者相同。
可选的，上述S101中采用预设的采样模型，确定多个特征在多个第一正样本中联合概率分布的过程，可以包括：
采用采样模型，分别确定多个第一正样本中每个特征的条件概率，基于多个特征的条件概率得到联合概率分布。
其中，每个特征的条件概率可以为其他特征在每个特征下的条件概率。
在一种可能的实施方式中，将第一正样本输入采样模型中，采样模型可以对第一正样本进行筛选处理，则得到并输出目标正样本。采样模型在对第一正样本进行筛选时，可以确定多个特征中每个特征的条件概率，继而可以确定联合概率分布；服务器可以采用该采样模型，从多个第一正样本中选择满足该联合概率分布的样本，作为多个目标正样本，各个目标正样本特征同概率分布。
例如，多个特征可以分别为：A、B、C、D、E，每个特征的条件概率可以分别为P(A|B、C、D、E)、P(B|A、C、D、E)、P(C|A、B、D、E)、P(D|A、B、C、E)、P(E|A、B、C、D)。其中，P(A|B、C、D、E)表示在特征B、C、D、E下特征A发生的概率；P(B|A、C、D、E)表示在特征A、C、D、E下特征B发生的概率、P(C|A、B、D、E)表示在特征A、B、D、E下特征C发生的概率、P(D|A、B、C、E)表示在特征A、B、C、E下特征D发生的概率、P(E|A、B、C、D)表示在特征A、B、C、D下特征E发生的概率。
另外，若第一正样本中，一个样本对应的特征数据均满足P(A|B、C、D、E)、P(B|A、C、D、E)、P(C|A、B、D、E)、P(D|A、B、C、E)、P(E|A、B、C、D)，则该样本可以作为目标正样本。
需要说明的是，多个第一正样本可以为实验组，多个目标负样本可以对照组。
在本申请实施例中，多个第一正样本可以呈表格分布，表格的第一行可以为多个特征，表格的第一列可以为多个服务提供方，对于同一行数据，也即是同一服务提供方的数据，可以将不同的特征数据填入对应的列中，以对应相应的特征。从多个第一正样本中筛选目标正样本时，可以依次遍历表中各行特征数据。
综上所述，采用采样模型，分别确定多个第一正样本中每个特征的条件概率，基于多个特征的条件概率得到联合概率分布。使得选取的目标正样本更加准确，即，更好的满足联合概率分布，还提高了筛选效率。
可选的，上述采样模型可以为吉布斯采样(Gibbs sampling)模型，当然也可以为其他类型能够从多个第一正样本中筛选得到目标正样本的模型，本申请实施例对此不进行具体限制。
可选的，根据目标正样本，从第一负样本中选择与联合概率分布相同的目标负样本，包括：
根据目标正样本中每个特征的数据，从第一负样本中选择与联合概率分布相同，并且，相同类型特征的数据偏差在预设范围内的目标负样本。
在一种可能的实施方式中，服务器可以从第一负样本中选择联合概率分布相同的候选负样本，继而将候选负样本中相同类型特征的数据偏差在预设范围内的样本，作为目标负样本。
在另一种可能的实施方式中，对于各目标正样本，服务器可以从第一负样本中选择与该正样本中各个特征的数据均相同的样本，作为负样本；其中，各个特征中可以不包括负向行为特征和研究的特征。
例如，一个目标正样本特征包括：性别、年龄、投诉量、差评次数，是否受到恶意行为，对应的特征数据分别为：男、26、3、4、是；基于该目标正样本选择的负样本，对应的特征数据可以为：男、26、4、3、否，也可以为：男、26、3、4、否。
综上所述，根据目标正样本中每个特征的数据，从第一负样本中选择与联合概率分布相同，并且，相同类型特征的数据偏差在预设范围内的目标负样本。使得获取的目标负样本既可以满足联合概率分布相同，又可以使得获取的目标负样本满足数量要求。
可选的，图5示出了本申请实施例所提供的一种测试评估方法的流程图，如图5所示，上述S103中根据第一正样本和目标负样本，对负向行为的影响进行测试评估的过程，可以包括：
S301、采用预设评估模型，对第一正样本和目标负样本进行评估，得到评估值。
其中，评估值可以用于表征筛选得到的第一正样本和目标负样本，是否随机。
在一些实施方式中，预设评估模型可以为AUC(Area Under Curve)模型。将第一正样本和目标负样本输入AUC模型中，AUC模型可以输出评估值，基于该评估值便可以确定实验组和对照组是否具备随机性。
需要说明的是，AUC是二分类模型的评估指标，评估值可以在0.5-1之间，当评估值为1时代表模型可以完全正确的预测出正样本和负样本，不具备随机性；当评估值为0.5时表示没有规律完全随机。
在本申请实施例中，服务器可以计算第一正样本和目标负样本的评估值，若评估值满足预设条件，则说明获取的第一正样本和目标负样本随机。其中，预设条件可以基于0.5进行确定。
S302、若评估值满足预设条件，则基于第一正样本和目标负样本进行分析，确定负向行为的影响系数。
在一种可能的实施方式中，预设条件可以为0.5，若评估值等于0.5时，则第一正样本和目标负样本具备随机性，继而可以基于第一正样本和目标负样本进行分析，确定负向行为的影响系数。
在另一种可能的实施方式中，服务器可以计算评估值与0.5的差值的绝对值，判断该绝对值是否小于预设阈值，若该绝对值小于预设阈值，则第一正样本和目标负样本具备随机性，继而基于第一正样本和目标负样本进行分析，确定负向行为的影响系数。
需要说明的是，服务器还可以采用其他模型或者算法，评估第一正样本和目标负样本之间的随机性，本申请实施例对此不进行具体限制。
综上所述，对第一正样本和目标负样本的随机性进行评估，若评估值满足预设条件，则基于第一正样本和目标负样本进行分析，确定负向行为的影响系数，使得评估的负向行为的影响置信度更高。
可选的，方法还包括：
若评估值不满足预设条件，则根据评估值对采样模型和倾向评分匹配模型的模型参数进行更新。
其中，服务器可以根据评估值对采样模型和/或倾向评分匹配模型的模型参数进行更新。即，服务器可以仅对采样模型或者倾向评分匹配模型的模型参数进行更新，也可以同时对采样模型和倾向评分匹配模型的模型参数进行更新，本申请实施例对此不进行具体限制。
可选的，服务器可以根据评估值的大小来选择待更新模型，继而对相应待更新模型的模型参数进行更新。其中，待更新模型可以包括：采样模型、倾向评分匹配模型。
在一种可能的实施方式中，若评估值与0.5的差值的绝对值大于或者等于预设阈值，则第一正样本和目标负样本不具备随机性。即，说明采样模型以及倾向评分匹配模型所选取的样本不合格。因此，可以对采样模型以及倾向评分匹配模型的模型参数进行更新；以便基于更新后的采样模型和更新后的倾向评分匹配模型，筛选出具备随机性的第一正样本和目标负样本。
综上所述，在评估值不满足预设条件时，根据评估值对采样模型和倾向评分匹配模型的模型参数进行更新，实现了对于采样模型和倾向评分匹配模型的智能优化，使得基于采样模型和倾向评分匹配模型所选择的第一正样本和目标负样本随机性更佳。
可选的，图6示出了本申请实施例所提供的一种测试评估方法的流程图，如图6所示，上述S302中，基于第一正样本和目标负样本进行分析，确定负向行为的影响系数的过程，可以包括：
S401、从第一正样本和目标负样本中，分别确定每种负向行为对应的第一数据组和第二数据组。
可选的，负向行为可以包括下述至少一项：服务提供方恶意取消订单、服务提供方多收附加费、服务提供方未提供服务收取费用、服务提供方未按时到达指定地点等。其中，每项负向行为均可以具有对应的第一正样本和目标负样本，也即是均可以具有对应的实验组和对照组。
在一些实施方式中，对于每项负向行为，统计对应的第一正样本中针对目标特征(研究特征)的特征数据得到第一数据组；统计对应的目标负样本中针对目标特征的特征数据得到第二数据组，则得到每项负向行为对应的第一数据组和第二数据组。
例如，负向行为可以为服务提供方恶意取消订单，目标特征可以为发单量。对于服务提供方恶意取消订单对应的第一数据组和第二数据组，第一数据组可以表征第一正样本中的人均发单量，第二数据组可以表征目标负样本中的人均发单量。
当然，第一数据组也可以表征第一正样本中的总发单量，第二数据组可以表征目标负样本中的总发单量，本申请实施例对此不进行具体限制。
S402、根据第一数据组和第二数据组中每种负向行为的影响特征数据的偏差，计算每种负向行为的影响系数。
其中，负向行为可以为多项，例如，负向行为的项数可以为十几项或者几十项。每项负向行为均具有对应的影响系数。
在一种可能的实施方式中，对于每项负向行为的第一数据组和第二数据组，计算第一数据组和第二数据组的差值，继而根据差值计算对应的负向行为的影响系数。
例如，针对服务提供方恶意取消订单这一负向行为，第一数据组表征第一正样本中的人均发单量，第二数据组表征目标负样本中的人均发单量，则可以两者人均发单量的差值，作为服务提供方恶意取消订单(负向行为)对于发单量(目标特征)的影响系数。
在另一种可能的实施方式中，对于每项负向行为的第一数据组和第二数据组，比较第一数据组和第二数据组的大小得到比较结果，继而根据比较结果计算对应的负向行为的影响系数。
需要说明的是，服务器还可以根据每项负向行为对应的第一数据组和第二数据组，确定每项负向行为对应的影响系数，本申请实施例对此不进行具体限制。
可选的，方法还包括：
根据每种负向行为的影响系数，得到负向行为对应的处罚策略的参考数据。
其中，处罚策略的参考数据可以为针对服务提供方的处罚参考数据。
在一些实施方式中，可以根据负向行为对应的处罚策略的参考数据，对做出负向行为的服务提供方进行相应的处罚。可选的，处罚的方式可以包括：扣除服务提供方的分值，不同的负向行为对应扣除服务提供方的分值可以不同；服务提供方的分值越高，说明服务提供方的可信度越高；服务提供方的分值越低，说明服务提供方的可信度越低。
例如，服务提供方的初始分值可以为100分；服务提供方多收附加费和服务提供方未提供服务收取费用的影响系数，大于服务提供方恶意取消订单对的影响系数。则服务提供方恶意取消订单对应的扣分值可以为5分、服务提供方多收附加费对应的扣分值可以为10分、服务提供方未提供服务收取费用对应的扣分值可以为10分。若服务提供方恶意取消订单两次，多收附加费两次，则可以将该服务提供方的分值更新为70分。
综上所述，采用预设的采样模型，确定多个特征在多个第一正样本中的联合概率分布，并从多个第一正样本中选择与联合概率分布相同的多个目标正样本；根据目标正样本，从第一负样本中选择与联合概率分布相同的目标负样本；根据第一正样本和目标负样本，对负向行为的影响进行测试评估。第一正样本和第一负样本整体概率类似，基于第一正样本筛选到的目标正样本和基于第一负样本筛选到的目标负样本，既满足整体概率类似又满足特征同概率分布，减小了实验组和对照组之间的差异，使得评估的负向行为的影响也更加准确。而且，在评估的负向行为的影响更换准确的基础上，所确定的处罚策略的参考数据也更加准确，依据该处罚策略的参考数据所确定服务提供方的分值也更加准确，从而提高了用户体验。
下述对用以执行本申请所提供的测试评估方法的测试评估装置、电子设备及存储介质等进行说明，其具体的实现过程以及技术效果参见上述测试评估方法的相关内容，下述不再赘述。
图7示出了本申请实施例所提供的一种测试评估装置的结构图，如图7所示，该测试评估装置实现的功能对应上述方法执行的步骤。该装置可以理解为上述服务器，或服务器的处理器，也可以理解为独立于上述服务器或处理器之外的在服务器控制下实现本申请功能的组件，如图7所示，该装置可以包括：
确定模块701，用于采用预设的采样模型，确定多个特征在多个第一正样本中的联合概率分布，并从多个第一正样本中选择与联合概率分布相同的多个目标正样本；其中，第一正样本包括：接受到服务提供方的负向行为的服务接受方的数据；
选择模块702，用于根据目标正样本，从第一负样本中选择与联合概率分布相同的目标负样本；第一负样本包括：未接受到服务提供方的负向行为的服务接受方的数据，第一正样本和第一负样本中多个特征对负向行为的整体影响概率在预设范围内；
评估模块703，用于根据第一正样本和目标负样本，对负向行为的影响进行测试评估。
可选的，装置还包括：
第一确定模块，用于采用预设的倾向评分匹配模型，根据预设自变量，从第二正样本和第二负样本中，分别确定第一正样本和第一负样本；预设自变量为多个特征。
可选的，确定模块701，还用于采用采样模型，分别确定多个第一正样本中每个特征的条件概率，基于多个特征的条件概率得到联合概率分布；其中，每个特征的条件概率为其他特征在每个特征下的条件概率。
可选的，选择模块702，还用于根据目标正样本中每个特征的数据，从第一负样本中选择与联合概率分布相同，并且，相同类型特征的数据偏差在预设范围内的目标负样本。
可选的，评估模块703，还用于采用预设评估模型，对第一正样本和目标负样本进行评估，得到评估值；若评估值满足预设条件，则基于第一正样本和目标负样本进行分析，确定负向行为的影响系数。
可选的，装置还包括：
更新模块，用于若评估值不满足预设条件，则根据评估值对采样模型和倾向评分匹配模型的模型参数进行更新。
可选的，评估模块703，还用于从第一正样本和目标负样本中，分别确定每种负向行为对应的第一数据组和第二数据组；根据第一数据组和第二数据组中每种负向行为的影响特征数据的偏差，计算每种负向行为的影响系数。
可选的，装置还包括：
获取模块，用于根据每种负向行为的影响系数，得到负向行为对应的处罚策略的参考数据。
上述模块可以经由有线连接或无线连接彼此连接或通信。有线连接可以包括金属线缆、光缆、混合线缆等，或其任意组合。无线连接可以包括通过LAN、WAN、蓝牙、ZigBee、或NFC等形式的连接，或其任意组合。两个或更多个模块可以组合为单个模块，并且任何一个模块可以分成两个或更多个单元。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
需要说明的是，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(Digital Singnal Processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(System-on-a-chip，简称SOC)的形式实现。
图8示出了本申请实施例所提供的一种电子设备的结构图，如图8所示，该电子设备可以包括：处理器801和存储器802，其中：
存储器802用于存储程序，处理器801调用存储器802存储的程序，以执行上述方法实施例。具体实现方式和技术效果类似，这里不再赘述。
需要说明的是，电子设备可以为图1中的服务器110，也可以为独立的测试服务器或者测试终端，本申请实施例对此不进行具体限制。
可选地，本发明还提供一种程序产品，例如计算机可读存储介质，包括程序，该程序在被处理器执行时用于执行上述方法实施例。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种测试评估方法，其特征在于，包括：
采用预设的采样模型，确定多个特征在多个第一正样本中的联合概率分布，并从所述多个第一正样本中选择与所述联合概率分布相同的多个目标正样本；其中，所述第一正样本包括：接受到服务提供方的负向行为的服务接受方的数据；
根据所述目标正样本，从第一负样本中选择与所述联合概率分布相同的目标负样本；所述第一负样本包括：未接受到服务提供方的负向行为的服务接受方的数据，所述第一正样本和所述第一负样本中所述多个特征对负向行为的整体影响概率在预设范围内；
根据所述第一正样本和所述目标负样本，对负向行为的影响进行测试评估。
2.根据权利要求1所述的方法，其特征在于，所述采用预设的采样模型，确定多个特征在多个第一正样本中联合概率分布之前，还包括：
采用预设的倾向评分匹配模型，根据预设自变量，从第二正样本和第二负样本中，分别确定所述第一正样本和所述第一负样本；所述预设自变量为所述多个特征。
3.根据权利要求1所述的方法，特征在于，所述采用预设的采样模型，确定多个特征在多个第一正样本中联合概率分布，包括：
采用所述采样模型，分别确定所述多个第一正样本中每个特征的条件概率，基于所述多个特征的条件概率得到所述联合概率分布；
其中，所述每个特征的条件概率为其他特征在所述每个特征下的条件概率。
4.根据权利要求1所述的方法，其特征在于，所述根据所述目标正样本，从所述第一负样本中选择与所述联合概率分布相同的目标负样本，包括：
根据所述目标正样本中每个特征的数据，从所述第一负样本中选择与所述联合概率分布相同，并且，相同类型特征的数据偏差在预设范围内的所述目标负样本。
5.根据权利要求2所述的方法，其特征在于，所述根据所述第一正样本和所述目标负样本，对负向行为的影响进行测试评估包括：
采用预设评估模型，对所述第一正样本和所述目标负样本进行评估，得到评估值；
若所述评估值满足预设条件，则基于所述第一正样本和所述目标负样本进行分析，确定所述负向行为的影响系数。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
若所述评估值不满足预设条件，则根据所述评估值对所述采样模型和所述倾向评分匹配模型的模型参数进行更新。
7.根据权利要求5所述的方法，其特征在于，所述基于所述第一正样本和目标负样本进行分析，确定所述负向行为的影响系数，包括：
从所述第一正样本和所述目标负样本中，分别确定每种负向行为对应的第一数据组和第二数据组；
根据所述第一数据组和所述第二数据组中所述每种负向行为的影响特征数据的偏差，计算所述每种负向行为的影响系数。
8.一种测试评估装置，其特征在于，包括：
确定模块，用于采用预设的采样模型，确定多个特征在多个第一正样本中的联合概率分布，并从所述多个第一正样本中选择与所述联合概率分布相同的多个目标正样本；其中，所述第一正样本包括：接受到服务提供方的负向行为的服务接受方的数据；
根据所述目标正样本，从第一负样本中选择与所述联合概率分布相同的目标负样本；所述第一负样本包括：未接受到服务提供方的负向行为的服务接受方的数据，所述第一正样本和所述第一负样本中所述多个特征对负向行为的整体影响概率在预设范围内；
根据所述第一正样本和所述目标负样本，对负向行为的影响进行测试评估。
9.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行时执行如权利要求1至7任一所述的测试评估方法的步骤。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任一所述的测试评估方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011099198.5A CN112163633A (zh) | 2020-10-14 | 2020-10-14 | 测试评估方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011099198.5A CN112163633A (zh) | 2020-10-14 | 2020-10-14 | 测试评估方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112163633A true CN112163633A (zh) | 2021-01-01 |
Family
ID=73866915
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011099198.5A Pending CN112163633A (zh) | 2020-10-14 | 2020-10-14 | 测试评估方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112163633A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107292918A (zh) * | 2016-10-31 | 2017-10-24 | 清华大学深圳研究生院 | 基于视频在线学习的跟踪方法和装置 |
| CN109729395A (zh) * | 2018-12-14 | 2019-05-07 | 广州市百果园信息技术有限公司 | 视频质量评估方法、装置、存储介质和计算机设备 |
| CN110427560A (zh) * | 2019-08-08 | 2019-11-08 | 腾讯科技（深圳）有限公司 | 一种应用于推荐系统的模型训练方法以及相关装置 |
| CN110852400A (zh) * | 2019-11-19 | 2020-02-28 | 广州品唯软件有限公司 | 分类模型的评估方法、装置、计算机设备和存储介质 |
| CN111091210A (zh) * | 2018-10-24 | 2020-05-01 | 北京嘀嘀无限科技发展有限公司 | 一种乘车确认方法、发单设备、接单设备及服务器 |
| CN111428963A (zh) * | 2020-02-21 | 2020-07-17 | 贝壳技术有限公司 | 一种数据处理方法及装置 |
| CN111612200A (zh) * | 2019-02-25 | 2020-09-01 | 北京嘀嘀无限科技发展有限公司 | 一种订单安全性预测方法、装置、服务器及存储介质 |
-
2020
- 2020-10-14 CN CN202011099198.5A patent/CN112163633A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107292918A (zh) * | 2016-10-31 | 2017-10-24 | 清华大学深圳研究生院 | 基于视频在线学习的跟踪方法和装置 |
| CN111091210A (zh) * | 2018-10-24 | 2020-05-01 | 北京嘀嘀无限科技发展有限公司 | 一种乘车确认方法、发单设备、接单设备及服务器 |
| CN109729395A (zh) * | 2018-12-14 | 2019-05-07 | 广州市百果园信息技术有限公司 | 视频质量评估方法、装置、存储介质和计算机设备 |
| CN111612200A (zh) * | 2019-02-25 | 2020-09-01 | 北京嘀嘀无限科技发展有限公司 | 一种订单安全性预测方法、装置、服务器及存储介质 |
| CN110427560A (zh) * | 2019-08-08 | 2019-11-08 | 腾讯科技（深圳）有限公司 | 一种应用于推荐系统的模型训练方法以及相关装置 |
| CN110852400A (zh) * | 2019-11-19 | 2020-02-28 | 广州品唯软件有限公司 | 分类模型的评估方法、装置、计算机设备和存储介质 |
| CN111428963A (zh) * | 2020-02-21 | 2020-07-17 | 贝壳技术有限公司 | 一种数据处理方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106919957B (zh) | 处理数据的方法及装置 | |
| CN112418341A (zh) | 模型融合方法、预测方法、装置、设备及存储介质 | |
| WO2017071369A1 (zh) | 一种预测用户离网的方法和设备 | |
| CN111680382A (zh) | 等级预测模型训练方法、等级预测方法、装置及电子设备 | |
| CN110110916A (zh) | 一种医院门诊就诊量的预测方法及系统 | |
| CN111797320A (zh) | 数据处理方法、装置、设备及存储介质 | |
| CN111415027A (zh) | 构建件量预测模型的方法和装置 | |
| CN112183899A (zh) | 确定安全度预测模型的方法、装置、设备和存储介质 | |
| CN114428748B (zh) | 一种用于真实业务场景的模拟测试方法及系统 | |
| CN114782123A (zh) | 一种信用评估方法及系统 | |
| CN113554350A (zh) | 活跃度评估方法、装置、电子设备及计算机可读存储介质 | |
| CN111476371B (zh) | 对服务方面临的特定风险进行评估的方法及装置 | |
| CN116739742A (zh) | 信贷风控模型的监控方法、装置、设备及存储介质 | |
| CN111860927A (zh) | 模型的训练方法、服务请求处理方法、装置、设备及介质 | |
| CN112163633A (zh) | 测试评估方法、装置、电子设备及存储介质 | |
| CN113435713B (zh) | 基于gis技术和两模型融合的风险地图编制方法及系统 | |
| CN115204501A (zh) | 企业评估方法、装置、计算机设备和存储介质 | |
| CN111611353A (zh) | 筛选方法、装置、电子设备及计算机可读存储介质 | |
| CN113393023B (zh) | 模具质量评估方法、装置、设备及存储介质 | |
| CN114841664A (zh) | 一种多任务处理顺序确定方法及装置 | |
| CN112785044B (zh) | 公共交通工具的实时满载率预测方法、装置、设备和介质 | |
| CN111339468B (zh) | 信息推送方法、装置、电子设备和存储介质 | |
| CN112669073A (zh) | 一种用户留存预测方法、装置、电子设备及存储介质 | |
| CN112801690A (zh) | 一种干预特征的确定方法和装置 | |
| CN114492905A (zh) | 基于多模型融合的客诉率预测方法、装置和计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |