CN111651686B - 一种测试处理方法、装置、电子设备及存储介质 - Google Patents
一种测试处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111651686B CN111651686B CN201910907626.3A CN201910907626A CN111651686B CN 111651686 B CN111651686 B CN 111651686B CN 201910907626 A CN201910907626 A CN 201910907626A CN 111651686 B CN111651686 B CN 111651686B
- Authority
- CN
- China
- Prior art keywords
- address information
- candidate address
- candidate
- accuracy
- prediction model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 101
- 238000003672 processing method Methods 0.000 title claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 36
- 238000012549 training Methods 0.000 claims description 31
- 238000004590 computer program Methods 0.000 claims description 6
- 238000000034 method Methods 0.000 abstract description 16
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000000977 initiatory effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000029305 taxis Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
- G06Q30/0635—Processing of requisition or of purchase orders
-
- G06Q50/40—
Abstract
本申请提供了一种测试处理方法、装置、电子设备及存储介质，其中，该方法包括：建立测试样本库，该测试样本库中包括每个订单样本的多个候选地址信息和真实地址信息；基于每个所述候选地址信息和预先训练的地址预估模型，确定该候选地址信息被服务请求者选择的概率值；从同一订单的多个候选地址信息中选择对应的所述概率值最大的候选地址信息，并基于所述概率值最大的候选地址信息确定该订单的目标候选地址信息；基于多个订单分别对应的所述目标候选地址信息和所述真实地址信息，确定所述地址预估模型的准确率。本申请更加准确地确定了地址预估模型的预测准确率。
Description
技术领域
本申请涉及计算机技术领域，具体而言，涉及一种测试处理方法、装置、电子设备及存储介质。
背景技术
目前，随着互联网移动通信技术及智能设备的迅速发展，各种服务软件的出现给人们的生活带来了更大的方便，比如，乘客可以通过乘车软件发起出行请求，司机可以通过该乘车软件接受乘客的出行请求，为乘客提供出行服务。
乘客在使用乘车软件时可以通过输入页面输入出发地地址信息和目的地地址信息，为了节省乘客在使用乘车软件时输入目的地地址的时间耗费，通常会根据乘客的历史订单给乘客推荐一个目的地地址信息，比如可以基于该乘客的历史订单记录以及预先训练的地址预估模型，为乘客自动推荐一个目的地地址信息。
因此，地址预估模型的预测精确率决定着目的地地址信息推荐的准确性，需要对地址预估模型的预测准确率进行提前测试，以便进一步对模型进行优化或采取其它有效的补偿措施。
发明内容
有鉴于此，本申请的目的在于提供一种测试处理方法、装置、电子设备及存储介质，以更加精准的确定地址预估模型的预测准确率。
第一方面，本申请实施例提供了一种测试处理方法，包括：
建立测试样本库，所述测试样本库中包括每个订单样本的多个候选地址信息和真实地址信息；
基于每个所述候选地址信息和预先训练的地址预估模型，确定该候选地址信息被服务请求者选择的概率值；
从同一订单的多个候选地址信息中选择对应的所述概率值最大的候选地址信息，并基于所述概率值最大的候选地址信息确定该订单的目标候选地址信息；
基于多个订单分别对应的所述目标候选地址信息和所述真实地址信息，确定所述地址预估模型的准确率。
在一些实施方式中，所述测试样本库中还包括每个订单样本的起始地地址信息和下发订单时间信息；所述基于每个所述候选地址信息和预先训练的地址预估模型，确定该候选地址信息被服务请求者选择的概率值，包括：
将所述起始地地址信息、所述下发订单时间信息和所述候选地址信息输入所述地址预估模型，得到每个候选地址信息被服务请求者选择的概率值。
在一些实施方式中，按照以下方式训练所述地址预估模型：
建立训练样本库，所述训练样本库中包括每个订单样本的多个候选地址信息和指示每个候选地址信息是否被服务请求者选择为真实地址信息的概率值；
将每个订单样本的所述候选地址信息作为输入变量，将指示每个候选地址信息是否被服务请求者选择为真实地址信息的概率值作为输出变量输入地址预估模型进行训练，得到所述地址预估模型的模型参数。
在一些实施方式中，所述从同一订单的多个候选地址信息中选择对应的所述概率值最大的候选地址信息，并基于所述概率值最大的候选地址信息确定该订单的目标候选地址信息，包括：
从同一订单的多个候选地址信息中选择对应的所述概率值最大且超过设定概率阈值的候选地址信息；
将提取到的所述概率值最大且超过设定概率阈值的候选地址信息作为该订单样本的所述目标候选地址信息。
在一些实施方式中，所述基于多个订单分别对应的所述目标候选地址信息和所述真实地址信息，确定所述地址预估模型的准确率，包括：
基于每个订单分别对应的所述目标候选地址信息和所述真实地址信息，确定所述测试样本库中所述目标候选地址信息等于所述真实地址信息的预测正确个数，以及所述目标候选地址信息不等于所述真实地址信息的预测错误个数；
基于所述预测正确个数，以及所述预测正确个数和所述预测错误个数之和，确定所述地址预估模型的准确率。
在一些实施方式中，所述确定所述地址预估模型的准确率之后，所述测试处理方法还包括：
判断所述地址预估模型的准确率是否达到预设准确率；
若否，重新训练所述地址预估模型，直至所述地址预估模型的准确率达到所述预设准确率后输出所述地址预估模型。
在一些实施方式中，所述确定所述地址预估模型的准确率之后，所述测试处理方法还包括：
接收到服务请求端的服务请求时，获取与所述服务请求端关联的历史订单；
提取所述历史订单中的目的地地址信息，得到所述服务请求端的候选地址信息；
基于所述服务请求端的候选地址信息和所述地址预估模型，确定每个候选地址被所述服务请求端对应的服务请求者选择的概率值；
选择所述概率值最大的候选地址信息作为所述服务请求者的目标候选地址信息进行推送。
在一些实施方式中，所述订单为出行订单，所述目标候选地址信息为目的地地址信息。
第二方面，本申请实施例提供了一种测试处理装置，包括：
样本建立模块，用于建立测试样本库，所述测试样本库中包括每个订单样本的多个候选地址信息和真实地址信息；
概率确定模块，用于基于所述样本建立模块建立的每个所述候选地址信息和预先训练的地址预估模型，确定该候选地址信息被服务请求者选择的概率值，并将所述概率值传输至地址确定模块；
所述地址确定模块，从同一订单的多个候选地址信息中选择对应的所述概率值最大的候选地址信息，并基于所述概率值最大的候选地址信息确定该订单的目标候选地址信息，以及将所述目标候选地址信息发送至准确率确定模块；
所述准确率确定模块，用于基于多个订单分别对应的所述目标候选地址信息和所述真实地址信息，确定所述地址预估模型的准确率。
在一些实施方式中，所述测试样本库中还包括每个订单样本的起始地地址信息和下发订单时间信息；所述概率确定模块，具体用于：
将所述起始地地址信息、所述下发订单时间信息和所述候选地址信息输入所述地址预估模型，得到每个候选地址信息被服务请求者选择的概率值。
在一些实施方式中，所述测试处理装置还包括模型训练模块，所述模型训练模块按照以下方式训练所述地址预估模型：
建立训练样本库，所述训练样本库中包括每个订单样本的多个候选地址信息和指示每个候选地址信息是否被服务请求者选择为真实地址信息的概率值；
将每个订单样本的所述候选地址信息作为输入变量，将指示每个候选地址信息是否被服务请求者选择为真实地址信息的概率值作为输出变量输入地址预估模型进行训练，得到所述地址预估模型的模型参数。
在一些实施方式中，所述地址确定模块，具体用于：
从同一订单的多个候选地址信息中选择对应的所述概率值最大且超过设定概率阈值的候选地址信息；
将提取到的所述概率值最大且超过设定概率阈值的候选地址信息作为该订单样本的所述目标候选地址信息。
在一些实施方式中，所述准确率确定模块，具体用于：
基于每个订单分别对应的所述目标候选地址信息和所述真实地址信息，确定所述测试样本库中所述目标候选地址信息等于所述真实地址信息的预测正确个数，以及所述目标候选地址信息不等于所述真实地址信息的预测错误个数；
基于所述预测正确个数，以及所述预测正确个数和所述预测错误个数之和，确定所述地址预估模型的准确率。
在一些实施方式中，所述准确率确定模块，还用于：
确定所述地址预估模型的准确率之后，判断所述地址预估模型的准确率是否达到预设准确率；
所述模型训练模块，还用于在所述地址预估模型的准确率未达到预设准确率时，重新训练所述地址预估模型，直至所述地址预估模型的准确率达到所述预设准确率后输出所述地址预估模型。
在一些实施方式中，所述测试处理装置还包括服务处理模块，在所述准确率确定模块确定所述地址预估模型的准确率之后，所述服务处理模块用于：
接收到服务请求端的服务请求时，获取与所述服务请求端关联的历史订单；
提取所述历史订单中的目的地地址信息，得到所述服务请求端的候选地址信息；
基于所述服务请求端的候选地址信息和所述地址预估模型，确定每个候选地址被所述服务请求端对应的服务请求者选择的概率值；
选择所述概率值最大的候选地址信息作为所述服务请求者的目标候选地址信息进行推送。
在一些实施方式中，所述订单为出行订单，所述目标候选地址信息为目的地地址信息。
第三方面，本申请实施例提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如第一方面所述测试处理方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如第一方面任一所述测试处理方法的步骤。
本申请实施例提供的测试处理方法，通过建立测试样本库，得到每个订单样本的多个候选地址信息和真实地址信息，然后根据每个候选地址信息和预先训练的地址预估模型，得到该候选地址信息被服务请求者选择的概率值，针对多个候选地址信息，在属于同一订单的候选地址信息中选择出概率最大的候选地址作为该订单的目标候选地址信息，然后就可以基于多个订单分别对应的目标候选地址信息和真实地址信息，确定出地址预估模型的准确率。
在出行场景中，对服务请求端的目的地地址进行预测时，一般只会选择一个候选目的地地址推送给服务请求端，以节省服务请求者在请求出行服务时需要输入目的地的时间消耗，所以本申请实施例提供的测试处理方法，在属于同一订单的候选地址选择一个概率值最大的候选地址信息作为目标候选地址信息，而不是将所有大于设定阈值的候选地址均作为目标候选地址信息进行选择，这样通过在同一个订单中选择一个目标候选地址信息的方式，然后基于该目标候选地址信息和真实地址信息来评估地址预估模型的准确率，更能符合出行场景中，使用该地址预估模型的准确率来确定服务请求端的目的地地址的情况，即本申请实施例提供的测试处理方法，能够更加精准地确定地址预估模型的预测准确率，这样，精准的预测准确率有利于进一步提高地址预估模型的预测准确率，从而提高对服务请求者进行目的地地址信息推荐时的准确性。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例提供的一种测试处理系统的架构示意图；
图2示出了本申请实施例提供的一种测试处理方法的流程图；
图3示出了本申请实施例提供的一种测试处理装置的结构图；
图4示出了本申请实施例提供的一种电子设备的结构图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了使得本领域技术人员能够使用本申请内容，结合特定应用场景“乘车场景下的测试处理方法”，给出以下实施方式。对于本领域技术人员来说，在不脱离本申请的精神和范围的情况下，可以将这里定义的一般原理应用于其他实施例和应用场景。虽然本申请主要围绕乘车场景下的测试处理方法场景进行描述，但是应该理解，这仅是一个示例性实施例。
需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
本申请中的术语“乘客”、“请求方”、“请求者”、“服务请求方”和“客户”可互换使用，以指代可以请求或订购服务的个人、实体或工具。本申请中的术语“司机”、“提供方”、“提供者”、“服务提供方”和“供应商”可互换使用，以指代可以提供服务的个人、实体或工具。
本申请中的术语“服务请求”和“订单”可互换使用，以指代由乘客、服务请求方、司机、服务提供方、或供应商等、或其任意组合发起的请求。接受该“服务请求”或“订单”的可以是乘客、服务请求方、司机、服务提供方、或供应商等、或其任意组合。服务请求可以是收费的或免费的。
本申请中使用的定位技术可以基于全球定位系统(Global Positioning System,GPS)、全球导航卫星系统(Global Navigation Satellite System,GLONASS)，罗盘导航系统(COMPASS)、伽利略定位系统、准天顶卫星系统(Quasi-Zenith Satellite System,QZSS)、无线保真(Wireless Fidelity,WiFi)定位技术等，或其任意组合。一个或多个上述定位系统可以在本申请中互换使用。
本申请的一个方面涉及一种测试处理系统。该系统可以通过地址预估模型，在测试样本中属于同一订单的候选地址中确定每个订单的目标候选地址，进而根据测试样本的目标候选地址和真实地址，确定地址预估模型的准确率。
值得注意的是，在本申请提出申请之前，测试处理方法在确定地址预估模型的准确率之前，通过地址预估模型确定测试样本中每个候选地址被选择的概率值，将概率值大于设定阈值的候选地址即作为目标候选地址，但是在通过地址预估模型预测当前服务请求的目的地地址时，一般只会选择一个候选地址作为服务请求端的目的地地址，所以现有技术在对地址预估模型进行测试时，确定的地址预估模型的准确率的准确性较低的问题。
图1是本申请实施例提供的一种测试处理系统的架构示意图。例如，测试处理系统可以是用于诸如出租车、代驾服务、快车、拼车、公共汽车服务、驾驶员租赁、或班车服务之类的运输服务、或其任意组合的在线运输服务平台。测试处理系统可以包括服务器101、网络102、服务请求端103、服务提供端104、和数据库105中的一种或多种。
本申请实施例的测试处理方法可以应用于上述系统的服务器101。在乘车场景下，服务请求端103可以为服务请求方使用的终端设备，服务提供端104可以为服务提供方使用的终端设备或车载终端等。
在一些实施例中，服务器101可以包括处理器。处理器可以处理与服务请求有关的信息和/或数据，以执行本申请中描述的一个或多个功能。在一些实施例中，处理器可以包括一个或多个处理核(例如，单核处理器(S)或多核处理器(S))。仅作为举例，处理器可以包括中央处理单元(Central Processing Unit,CPU)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、专用指令集处理器(Application Specific Instruction-set Processor,ASIP)、图形处理单元(Graphics Processing Unit,GPU)、物理处理单元(Physics Processing Unit,PPU)、数字信号处理器(Digital Signal Processor,DSP)、现场可编程门阵列(Field Programmable Gate Array,FPGA)、可编程逻辑器件(Programmable Logic Device,PLD)、控制器、微控制器单元、简化指令集计算机(ReducedInstruction Set Computing,RISC)、或微处理器等，或其任意组合。
在一些实施例中，服务请求端103和服务提供端104对应的设备类型可以是移动设备，比如可以包括智能家居设备、可穿戴设备、智能移动设备、虚拟现实设备、或增强现实设备等，也可以是平板计算机、膝上型计算机、或机动车辆中的内置设备等。
在一些实施例中，数据库105可以连接到网络102以与测试处理系统中的一个或多个组件(例如，服务器101，服务请求端103，服务提供端104等)通信。测试处理系统中的一个或多个组件可以经由网络102访问存储在数据库105中的数据或指令。在一些实施例中，数据库105可以直接连接到测试处理系统中的一个或多个组件，或者，数据库105也可以是服务器101的一部分。
下面结合上述图1示出的测试处理系统中描述的内容，对本申请实施例提供的测试处理方法进行详细说明。
本申请实施例提供了一种测试处理方法，如图2所示，包括以下步骤S201～S204：
S201，建立测试样本库，该测试样本库中包括每个订单样本的多个候选地址信息和真实地址信息。
这里的订单可以指出行订单，比如服务请求者请求从A地到的B地的出行订单，也可以指服务订单，比如服务请求者请求物品从A地送往B地的服务订单，本申请将以订单为出行订单、目标候选地址信息为目的地地址信息为例进行阐述，对应的服务请求者可以指代为乘客。
在建立测试样本库之前，可以预先采集大量的出行订单，并记录每个出行订单的候选地址信息和真实地址信息，这里的候选地址信息是指在乘客在请求出行服务时，通过该乘客的历史出行订单中的目的地地址得到该乘客的当前出行订单对应的候选地址信息，然后该乘客在当前出行订单中真实选择的目的地地址作为本次出行订单的真实地址信息。
比如，乘客A在2018年1月20日上午8点登陆用车服务系统发起服务请求，可以根据该乘客A起始地地址信息和早于当前出行订单的历史订单中的目的地地址，确定出乘客A当前订单的候选地址信息，在确定候选地址信息时，可以将历史订单中出现次数排名靠前的目的地地址作为当前出行订单的候选地址，然后可以将候选地址对应的用于表征候选地址的信息(比如候选地址的名称或经纬度)作为该乘客在当前订单中的候选地址信息，将该乘客在发起出行服务请求时输入或者选择的用于表征真实目的地地址的信息(比如真实目的地地址的名称或经纬度)作为真实地址信息。
这里可以预先采集10000个订单样本组成这里的测试样本库，每个订单均对应多个候选地址信息和一个真实地址信息，即得到由每个订单样本对应的候选地址信息和真实地址信息组成的测试样本库。
S202，基于每个候选地址信息和预先训练的地址预估模型，确定该候选地址信息被服务请求者选择的概率值。
这里的地址预估模型是预先训练得到的，其可以用来预测每个候选地址信息被乘客选择的概率值，具体地，可以按照以下方式训练地址预估模型：
(1)建立训练样本库，该训练样本库中包括每个订单样本的多个候选地址信息和指示每个候选地址信息是否被服务请求者选择为真实地址信息的概率值；
(2)将每个订单样本的候选地址信息作为输入变量，将指示每个候选地址信息是否被服务请求者选择为真实地址信息的概率值作为输出变量输入地址预估模型进行训练，得到地址预估模型的模型参数。
这里训练样本库包括大量出行订单对应的候选地址信息和指示每个候选地址信息是否被乘客选择为真实地址信息的概率，其中候选地址信息与上文测试样本库中的候选地址信息的确定过程相似，在此不再赘述，这里指示每个候选地址信息是否被乘客选择为真实地址信息的概率值可以解释为：若任一候选地址信息被乘客选择为真实地址信息，则指示该任一候选地址信息被乘客选择为真实地址信息的概率值为1；若该任一候选地址信息未被乘客选择为真实地址信息，则指示该任一候选地址信息未被乘客选择为真实地址信息的概率值为0。
这里在建立训练样本库后，将每个订单样本的候选地址信息作为输入变量，将指示每个候选地址信息是否被乘客选择为真实地址信息的概率值作为输出变量，输入地址预估模型中进行训练，在经过大量的输入变量和输出变量对地址预估模型训练后，即得到地址预估模型的模型参数，这样就得到训练完成后的地址预估模型。
在本申请实施例中，无论在训练地址预估模型时还是在基于每个候选地址信息确定该候选地址信息被乘客选择的概率值时，这里的候选地址信息除了包括候选地址的名称或经纬度以外，还可以包括表征候选地址的其他特征的信息，比如候选地址的关注热度和候选地址的历史订单量等，候选地址的关注热度可以通过获取历史数据来确定，比如通过历史数据可以得到某个候选地址在设定历史时期内被搜索的次数，可以用该次数来定义关注热度，被搜索的次数越多，其对应的关注热度就越高；候选地址的历史订单量指将该候选地址作为起始地地址或者目的地地址的历史订单数量。
另外，在测试地址预估模型的预测准确率和训练地址预估模型时，输入变量除了包括候选地址信息，还可以包括其他的特征信息，比如还可以包括每个订单样本的起始地地址信息和下发订单时间信息。
以测试地址预估模型的预测准确率的过程为例，步骤S202中，基于每个候选地址信息和预先训练的地址预估模型，确定该候选地址信息被服务请求者选择的概率值，包括：
将起始地地址信息、下发订单时间信息和候选地址信息输入地址预估模型，得到每个候选地址信息被服务请求者选择的概率值。
这里即将每个订单的起始地地址信息、下发订单时间信息和候选地址信息作为输入变量输入训练好的地址预估模型中，即可以得到每个候选地址信息被乘客选择的概率值。
这里的起始地地址信息包括订单中乘客的上车位置信息；下发订单时间信息为订单生成的时间，得到每个候选地址信息被乘客选择的概率值指的是每个候选地址信息被乘客选择为目的地地址信息的概率值。
在得到每个订单的候选地址信息被乘客选择为目的地地址信息的概率值后，可以进一步选择出各个订单的目标候选地址信息，具体如下：
S203，从同一订单的多个候选地址信息中选择对应的概率值最大的候选地址信息，并基于概率值最大的候选地址信息确定该订单的目标候选地址信息。
考虑到针对一个乘客端发起的服务请求，在通过地址预估模型对该乘客端推荐目的地地址信息时，一般会在该乘客端对应的多个候选地址信息中选择一个目标候选地址信息作为目的地地址信息，所以这里在测试地址预估模型的准确率时，当确定出候选地址信息被乘客选择的概率值后，也要在属于同一个订单的候选地址信息中，选择一个目标候选地址信息作为目的地地址信息。
具体地，每个候选地址信息中可以携带订单号码，然后将携带订单号码的候选地址信息输入地址预估模型中，得到每个候选地址信息被乘客选择的概率值，然后可以根据每个候选地址信息携带的订单号码，将属于同一订单的多个候选地址信息作为一组进行考虑，在同一组候选地址信息中选择概率值最大的候选地址信息作为该订单的目标候选地址信息。
考虑到存在一种情况，即候选地址信息中不包含目的地地址信息，比如乘客在不经常登录用车服务系统的地点偶尔登录并发起的一次用车请求，则其本次出行想要到达的目的地可能并未出现在历史订单记录中，即可以提前设定一个概率阈值，通过该设定概率阈值考虑该最大概率值对应的候选地址信息是否为目标候选地址信息，若该最大概率值对应的候选地址信息小于该设定概率阈值，则可以认为该最大概率值对应的候选地址信息不是模板候选地址信息。
具体地，步骤S203中，从同一订单的多个候选地址信息中选择对应的概率值最大的候选地址信息，并基于概率值最大的候选地址信息确定该订单的目标候选地址信息，包括：
(1)从同一订单的多个候选地址信息中选择对应的概率值最大且超过设定概率阈值的候选地址信息；
(2)将提取到的概率值最大且超过设定概率阈值的候选地址信息作为该订单样本的所述目标候选地址信息。
比如，这里的设定概率阈值为0.55，若其中订单编号为10010的订单包括4个候选地址信息，分别为A1、B1、C1和D1，若这四个候选地址信息被乘客选择的概率值分别为0.6、0.7、0.2和0.1，则这里概率值最大且超过设定概率阈值0.55的候选地址信息为B1，则订单编号10010的订单的目标候选地址信息为B1。
若该订单编号为10010的订单包括的4个候选地址信息A1、B1、C1和D1被乘客选择的概率分别为0.3、0.2、0.2和0.1，虽然概率值最大的候选地址信息为A1，但是这里的0.3未超过0.55，则该订单编号为10010的订单中的候选地址信息中不包括目的地地址信息，即不会在这些候选地址信息中选择目标候选地址信息。
在通过上文提到的方式确定出目标候选地址信息后，可以考虑通过该目标候选地址信息和真实地址信息确定地址预估模型的准确率，具体如下：
S204，基于多个订单分别对应的目标候选地址信息和真实地址信息，确定地址预估模型的准确率。
通过在测试样本库属于同一订单的候选地址信息中选择出目标候选地址信息后，可以基于以下过程确定地址预估模型的准确率：
(1)基于每个订单分别对应的目标候选地址信息和真实地址信息，确定测试样本库中目标候选地址信息等于真实地址信息的预测正确个数，以及目标候选地址信息不等于真实地址信息的预测错误个数；
(2)基于预测正确个数，以及预测正确个数和预测错误个数之和，确定地址预估模型的准确率。
这里在确定地址预估模型的准确率之前，先引入地址预估模型的准确率的确定公式，如下表1所示：
具体地，为了说明精确率的含义，本申请实施例引入四种分类情况：真正例(TruePositives，TP)、假正例(False Positives，FP)、假反例(False Negatives，FN)和真反例(True Negatives，TN)，其具体含义如下表所示：
表1
然后可以根据以下公式表示地址预估模型的准确率：
其中，在本申请实施例中，要确定地址预估模型的准确率，即要知道测试结果中TP的个数和FP的个数，即在候选地址信息中选择出目标候选地址信息后，需要知道测试样本库中目标候选地址信息等于真实地址信息的预测正确个数(即真实地址信息被判断为目标候选地址信息的个数)，以及测试样本库中目标候选地址信息不等于真实地址信息的预测错误个数(即非真实地址信息被判断为目标候选地址信息的个数)。
这里以一个具体实施例进行解释确定的地址预估模型的准确率的过程，比如测试样本库中包括两个订单，这里的预设概率阈值为0.55，该测试样本库包括订单1的乘客1、真实地址信息A1、候选地址信息：A1、B1、C1和D1，且通过地址预估模型确定出候选地址信息A1、B1、C1和D1被乘客1选择的概率值分别为0.6、0.7、0.2和0.1；该测试样本库包括订单2的乘客2、真实地址信息B2、候选地址信息：A2、B2和C2，且通过地址预估模型确定出候选地址信息A2、B2和C2被乘客2选择的概率值分别为0.5、0.6和0.2，如下表2所示：
表2
可见，这里确定准确率时，在属于订单1中的候选地址信息中选择概率值最大的候选地址信息B1作为目标候选地址信息，在属于订单2中的候选地址信息中选择概率值最大的候选地址信息B2作为目标候选地址信息，其中订单1中的真实地址信息为A1，订单2中的真实地址信息为B2，可见TP的个数为1，FP的个数也为1，则根据准确率公式得出地址预估模型的准确率为0.5。
在测试出地址预估模型的准确率后，能够通过该准确率表征应用该地址预估模型预测出行领域中乘客的目的地地址信息的准确率，比如测试出地址预估模型的准确率为0.5，那么在基于该地址预估模型进行线上评估即对当前乘客端发出的服务请求进行目的地地址预测时，预测的目的地地址的准确率也为0.5。
本申请在确定地址预估模型的准确率时，不是将每个超过设定概率阈值的候选地址信息均作为目标候选地址信息去确定地址预估模型的准确率，而是在属于同一订单的候选地址信息中选择概率值最大的候选地址信息作为目标候选地址信息，这样更加符合线上评估的应用场景，因为在线上评估时，一般每个订单只会选择出一个目标候选地址信息作为目的地地址信息进行推送，这样即达到了预测时的准确率和线上评估时的准确率的一致性，即本申请实施例能够更加准确地确定地址预估模型的预测准确率。
这样，如果想要地址预估模型在线上评估时达到高的准确率，可以在测试过程中，基于地址预估模型的准确率对地址预估模型进行修正，提高地址评估模型的预测准确率，从而提高对乘客进行目的地地址信息推荐时的准确性。
在另一实施方式中，确定地址预估模型的准确率之后，测试处理方法还包括：
判断地址预估模型的准确率是否达到预设准确率；
若否，重新训练地址预估模型，直至地址预估模型的准确率达到预设准确率后输出地址预估模型。
比如预设准确率为0.7，则在测试过程中得到地址预估模型的准确率小于0.7时，可以重新训练地址预估模型，比如重新更换训练样本库和/或重新更换模型训练参数，直至地址预估模型的准确率达到0.7时，得到更新后的地址预估模型，这样，使用更新后的地址预估模型，在预测发起服务请求的乘客端的目的地地址信息时，能够更加准确地预测出乘客的真实目的地地址信息，从而给乘客推荐的目的地地址信息更能符合乘客的真实需要。
下面以应用该地址预估模型进行线上评估为例进行说明，在确定出地址预估模型的准确率之后，具体可以是确定地址预估模型的准确率达到预设准确率后，测试处理方法还包括：
(1)接收到服务请求端的服务请求时，获取与服务请求端关联的历史订单；
(2)提取历史订单中的目的地地址信息，得到服务请求端的候选地址信息；
(3)基于服务请求端的候选地址信息和地址预估模型，确定每个候选地址被服务请求端对应的服务请求者选择的概率值；
(4)选择概率值最大的候选地址信息作为服务请求者的目标候选地址信息进行推送。
比如，在出行领域这里的服务请求端具体为乘客端，具体可以包括乘车环境中乘客使用的移动电话或固定电话或其他具有信息传输功能的设备等，例如智能手机、个人数码助理(Personal Digital Assistant,PDA)、平板电脑、笔记本电脑、车载电脑(carputer)、掌上游戏机、智能眼镜、智能手表、可穿戴设备、虚拟显示设备或显示增强设备等，在此不做具体限定。
当乘客端登录用车服务系统后，可以向用车平台服务器发送服务请求，这里的服务请求可以用来请求用车平台服务器向乘客端推送目的地地址信息，具体地，乘客端的服务请求中可以携带有该乘客端的账号信息以及该乘客端的起始地地址信息，账号信息可以为乘客在用车服务系统上注册的账号信息。
服务器接收到乘客端发送的服务请求时，可以基于该乘客端的账号信息获取该乘客端关联的历史订单，比如获取过去一年内以该账号信息发起的订单记录，然后提取这些历史订单记录中的目的地地址信息，在这些目的地地址信息中滤除掉该乘客端的当前起始地地址信息，可以得到候选地址信息，若目的地地址信息比较多，也可以选择出现次数排名靠前的，比如排名前10的目的地地址信息作为这里的候选地址信息。
然后将候选地址信息输入预先训练好的地址预估模型中，即得到每个候选地址被乘客端端对应的乘客选择的概率值，最后选择概率值最大的候选地址信息作为乘客的目标候选地址信息即目的地地址信息推送给该乘客端。
或者，也可以将该乘客端的起始地地址信息、发送服务请求的时间信息和选择出来的候选地址信息一起输入地址预估模型，得到每个候选地址信息被乘客选择的概率值，即不只将候选地址信息作为输入变量，还要将起始地地址信息和服务请求的时间信息作为输入变量，一起确定每个候选地址信息被乘客选择的概率值。
另外，还可以在选择出概率值最大的候选地址信息后，继续判断该候选地址信息的概率值是否超过设定概率阈值，若否，也可以不将该概率值最大的候选地址信息作为目的地地址信息进行推送，而是向乘客端发送用于提示乘客输入目标地地址信息的提示信息。
本申请实施例提供的测试处理方法，在属于同一订单的候选地址选择一个概率值最大的候选地址信息作为目标候选地址信息，而不是将所有大于设定阈值的候选地址均作为目标候选地址信息进行选择，这样通过在同一个订单中选择一个目标候选地址信息的方式，然后基于该目标候选地址信息和真实地址信息来评估地址预估模型的准确率，更能符合出行场景中，使用该地址预估模型的准确率来确定服务请求端的目的地地址的情况，即本申请实施例提供的测试处理方法，能够更加精准地确定地址预估模型的预测准确率，这样，精准的预测准确率有利于进一步提高地址预估模型的预测准确率，从而提高对服务请求者进行目的地地址信息推荐时的准确性。
基于同一发明构思，本申请实施例中还提供了与测试处理方法对应的测试处理装置，由于本申请实施例中的装置解决问题的原理与本申请实施例上述测试处理方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
如图3所示，为本申请实施例提供的一种测试处理装置300的结构示意图，包括：
样本建立模块301，用于建立测试样本库，该测试样本库中包括每个订单样本的多个候选地址信息和真实地址信息；
概率确定模块302，用于基于样本建立模块301建立的每个候选地址信息和预先训练的地址预估模型，确定该候选地址信息被服务请求者选择的概率值，并将概率值传输至地址确定模块303；
地址确定模块303，从同一订单的多个候选地址信息中选择对应的概率值最大的候选地址信息，并基于概率值最大的候选地址信息确定该订单的目标候选地址信息，以及将目标候选地址信息发送至准确率确定模块304；
准确率确定模块304，用于基于多个订单分别对应的目标候选地址信息和真实地址信息，确定地址预估模型的准确率。
在一种实施方式中，测试样本库中还包括每个订单样本的起始地地址信息和下发订单时间信息；概率确定模块302，具体用于：
将起始地地址信息、下发订单时间信息和候选地址信息输入地址预估模型，得到每个候选地址信息被服务请求者选择的概率值。
在一种实施方式中，测试处理装置300还包括模型训练模块305，模型训练模块305按照以下方式训练地址预估模型：
建立训练样本库，训练样本库中包括每个订单样本的多个候选地址信息和指示每个候选地址信息是否被服务请求者选择为真实地址信息的概率值；
将每个订单样本的候选地址信息作为输入变量，将指示每个候选地址信息是否被服务请求者选择为真实地址信息的概率值作为输出变量输入地址预估模型进行训练，得到地址预估模型的模型参数。
在一种实施方式中，地址确定模块303，具体用于：
从同一订单的多个候选地址信息中选择对应的所述概率值最大且超过设定概率阈值的候选地址信息；
将提取到的概率值最大且超过设定概率阈值的候选地址信息作为该订单样本的目标候选地址信息。
在一种实施方式中，准确率确定模块304，具体用于：
基于每个订单分别对应的目标候选地址信息和真实地址信息，确定测试样本库中目标候选地址信息等于真实地址信息的预测正确个数，以及目标候选地址信息不等于真实地址信息的预测错误个数；
基于预测正确个数，以及预测正确个数和预测正确个数和预测错误个数之和，确定地址预估模型的准确率。
在一种实施方式中，准确率确定模块304，还用于：
确定地址预估模型的准确率之后，判断地址预估模型的准确率是否达到预设准确率；
模型训练模块305，还用于在地址预估模型的准确率未达到预设准确率时，重新训练地址预估模型，直至地址预估模型的准确率达到预设准确率后输出地址预估模型。
在一种实施方式中，测试处理装置300还包括服务处理模块306，在准确率确定模块304确定地址预估模型的准确率之后，服务处理模块306用于：
接收到服务请求端的服务请求时，获取与服务请求端关联的历史订单；
提取历史订单中的目的地地址信息，得到服务请求端的候选地址信息；
基于服务请求端的候选地址信息和地址预估模型，确定每个候选地址被服务请求端对应的服务请求者选择的概率值；
选择概率值最大的候选地址信息作为服务请求者的目标候选地址信息进行推送。
在一种实施方式中，订单为出行订单，目标候选地址信息为目的地地址信息。
本申请实施例还提供了一种电子设备400，如图4所示，为本申请实施例提供的电子设备400的结构示意图，包括：处理器401、存储介质402、和总线403。存储介质402存储有处理器401可执行的机器可读指令(比如，图3中的装置中样本建立模块301、概率确定模块302、地址确定模块303、准确率确定模块304对应的执行指令等)，当电子设备400运行时，处理器401与存储器402之间通过总线403通信，机器可读指令被处理器401执行时执行如下处理：
建立测试样本库，测试样本库中包括每个订单样本的多个候选地址信息和真实地址信息；
基于每个候选地址信息和预先训练的地址预估模型，确定该候选地址信息被服务请求者选择的概率值；
从同一订单的多个候选地址信息中选择对应的所述概率值最大的候选地址信息，并基于概率值最大的候选地址信息确定该订单的目标候选地址信息；
基于多个订单分别对应的目标候选地址信息和真实地址信息，确定地址预估模型的准确率。
一种可能的实施方式中，测试样本库中还包括每个订单样本的起始地地址信息和下发订单时间信息，处理器401执行的指令中，具体包括：
将起始地地址信息、下发订单时间信息和候选地址信息输入地址预估模型，得到每个候选地址信息被服务请求者选择的概率值。
一种可能的实施方式中，处理器401执行的指令中，还包括：
建立训练样本库，训练样本库中包括每个订单样本的多个候选地址信息和指示每个候选地址信息是否被服务请求者选择为真实地址信息的概率值；
将每个订单样本的候选地址信息作为输入变量，将指示每个候选地址信息是否被服务请求者选择为真实地址信息的概率值作为输出变量输入地址预估模型进行训练，得到地址预估模型的模型参数。
一种可能的实施方式中，处理器401执行的指令中，具体包括：
从同一订单的多个候选地址信息中选择对应的所述概率值最大且超过设定概率阈值的候选地址信息；
将提取到的概率值最大且超过设定概率阈值的候选地址信息作为该订单样本的目标候选地址信息。
一种可能的实施方式中，处理器401执行的指令中，具体包括：
基于每个订单分别对应的目标候选地址信息和真实地址信息，确定测试样本库中目标候选地址信息等于真实地址信息的预测正确个数，以及目标候选地址信息不等于真实地址信息的预测错误个数；
基于预测正确个数，以及预测正确个数和预测正确个数和预测错误个数之和，确定地址预估模型的准确率。
一种可能的实施方式中，处理器401执行的指令中，确定地址预估模型的准确率之后，还包括：
判断地址预估模型的准确率是否达到预设准确率；
若否，重新训练地址预估模型，直至地址预估模型的准确率达到预设准确率后输出地址预估模型。
一种可能的实施方式中，处理器401执行的指令中，确定地址预估模型的准确率之后，还包括：
接收到服务请求端的服务请求时，获取与服务请求端关联的历史订单；
提取历史订单中的目的地地址信息，得到服务请求端的候选地址信息；
基于服务请求端的候选地址信息和地址预估模型，确定每个候选地址被服务请求端对应的服务请求者选择的概率值；
选择概率值最大的候选地址信息作为服务请求者的目标候选地址信息进行推送。
在一些实施方式中，订单为出行订单，目标候选地址信息为目的地地址信息。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述测试处理方法的步骤。
具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述测试处理方法，从而解决地址预估模型的预测准确率的准确性较低的问题，进而达到提高地址预估模型的预测准确率的准确性的效果。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种测试处理装置，用于测试地址预估模型的准确率，其特征在于，包括：
样本建立模块，用于建立测试样本库，所述测试样本库中包括每个订单样本的多个候选地址信息和真实地址信息；
概率确定模块，用于基于所述样本建立模块建立的每个所述候选地址信息和预先训练的地址预估模型，确定该候选地址信息被服务请求者选择的概率值，并将所述概率值传输至地址确定模块；
所述地址确定模块，从同一订单的多个候选地址信息中选择对应的所述概率值最大的候选地址信息，并基于所述概率值最大的候选地址信息确定该订单的目标候选地址信息，以及将所述目标候选地址信息发送至准确率确定模块；
所述准确率确定模块，用于基于多个订单分别对应的所述目标候选地址信息和所述真实地址信息，确定所述地址预估模型的准确率。
2.根据权利要求1所述的测试处理装置，其特征在于，所述测试样本库中还包括每个订单样本的起始地地址信息和下发订单时间信息；所述概率确定模块，具体用于：
将所述起始地地址信息、所述下发订单时间信息和所述候选地址信息输入所述地址预估模型，得到每个候选地址信息被服务请求者选择的概率值。
3.根据权利要求1所述的测试处理装置，其特征在于，所述测试处理装置还包括模型训练模块，所述模型训练模块按照以下方式训练所述地址预估模型：
建立训练样本库，所述训练样本库中包括每个订单样本的多个候选地址信息和指示每个候选地址信息是否被服务请求者选择为真实地址信息的概率值；
将每个订单样本的所述候选地址信息作为输入变量，将指示每个候选地址信息是否被服务请求者选择为真实地址信息的概率值作为输出变量输入地址预估模型进行训练，得到所述地址预估模型的模型参数。
4.根据权利要求1所述的测试处理装置，其特征在于，所述地址确定模块，具体用于：
从同一订单的多个候选地址信息中选择对应的所述概率值最大且超过设定概率阈值的候选地址信息；
将提取到的所述概率值最大且超过设定概率阈值的候选地址信息作为该订单样本的所述目标候选地址信息。
5.根据权利要求1所述的测试处理装置，其特征在于，所述准确率确定模块，具体用于：
基于每个订单分别对应的所述目标候选地址信息和所述真实地址信息，确定所述测试样本库中所述目标候选地址信息等于所述真实地址信息的预测正确个数，以及所述目标候选地址信息不等于所述真实地址信息的预测错误个数；
基于所述预测正确个数，以及所述预测正确个数和所述预测错误个数之和，确定所述地址预估模型的准确率。
6.根据权利要求3所述的测试处理装置，其特征在于，所述准确率确定模块，还用于：
确定所述地址预估模型的准确率之后，判断所述地址预估模型的准确率是否达到预设准确率；
所述模型训练模块，还用于在所述地址预估模型的准确率未达到预设准确率时，重新训练所述地址预估模型，直至所述地址预估模型的准确率达到所述预设准确率后输出所述地址预估模型。
7.根据权利要求1所述的测试处理装置，其特征在于，所述测试处理装置还包括服务处理模块，在所述准确率确定模块确定所述地址预估模型的准确率之后，所述服务处理模块用于：
接收到服务请求端的服务请求时，获取与所述服务请求端关联的历史订单；
提取所述历史订单中的目的地地址信息，得到所述服务请求端的候选地址信息；
基于所述服务请求端的候选地址信息和所述地址预估模型，确定每个候选地址被所述服务请求端对应的服务请求者选择的概率值；
选择所述概率值最大的候选地址信息作为所述服务请求者的目标候选地址信息进行推送。
8.一种测试处理方法，用于测试地址预估模型的准确率，其特征在于，包括：
建立测试样本库，所述测试样本库中包括每个订单样本的多个候选地址信息和真实地址信息；
基于每个所述候选地址信息和预先训练的地址预估模型，确定该候选地址信息被服务请求者选择的概率值；
从同一订单的多个候选地址信息中选择对应的所述概率值最大的候选地址信息，并基于所述概率值最大的候选地址信息确定该订单的目标候选地址信息；
基于多个订单分别对应的所述目标候选地址信息和所述真实地址信息，确定所述地址预估模型的准确率。
9.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求8所述测试处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求8所述测试处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910907626.3A CN111651686B (zh) | 2019-09-24 | 2019-09-24 | 一种测试处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910907626.3A CN111651686B (zh) | 2019-09-24 | 2019-09-24 | 一种测试处理方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111651686A CN111651686A (zh) | 2020-09-11 |
| CN111651686B true CN111651686B (zh) | 2021-02-26 |
Family
ID=72343639
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910907626.3A Active CN111651686B (zh) | 2019-09-24 | 2019-09-24 | 一种测试处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111651686B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105989330A (zh) * | 2015-02-03 | 2016-10-05 | 阿里巴巴集团控股有限公司 | 一种图片检测方法及设备 |
| CN107111794A (zh) * | 2015-01-11 | 2017-08-29 | 微软技术许可有限责任公司 | 预测和利用地图服务中出行时间的可变性 |
| CN107704102A (zh) * | 2017-10-09 | 2018-02-16 | 北京新美互通科技有限公司 | 一种文本输入方法及装置 |
| CN108647207A (zh) * | 2018-05-08 | 2018-10-12 | 上海携程国际旅行社有限公司 | 自然语言修正方法、系统、设备及存储介质 |
| CN109766421A (zh) * | 2018-12-28 | 2019-05-17 | 上海汇付数据服务有限公司 | 智能问答系统以及方法 |
| CN109816134A (zh) * | 2017-11-22 | 2019-05-28 | 北京京东尚科信息技术有限公司 | 收货地址预测方法、装置以及存储介质 |
| CN110083693A (zh) * | 2019-04-28 | 2019-08-02 | 腾讯科技（深圳）有限公司 | 机器人对话回复方法及装置 |
| CN110222272A (zh) * | 2019-04-18 | 2019-09-10 | 广东工业大学 | 一种潜在客户挖掘与推荐方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9805713B2 (en) * | 2015-03-13 | 2017-10-31 | Google Inc. | Addressing missing features in models |
| US10366233B1 (en) * | 2016-11-18 | 2019-07-30 | Symantec Corporation | Systems and methods for trichotomous malware classification |
| CN107507613B (zh) * | 2017-07-26 | 2021-03-16 | 合肥美的智能科技有限公司 | 面向场景的中文指令识别方法、装置、设备和存储介质 |
| US11468358B2 (en) * | 2017-11-30 | 2022-10-11 | Palo Alto Networks (Israel Analytics) Ltd. | Framework for semi-supervised learning when no labeled data is given |
| CN108846370B (zh) * | 2018-06-26 | 2021-08-24 | 安徽大学 | 一种小麦白粉病中晚期病害严重度自动分析方法 |
-
2019
- 2019-09-24 CN CN201910907626.3A patent/CN111651686B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107111794A (zh) * | 2015-01-11 | 2017-08-29 | 微软技术许可有限责任公司 | 预测和利用地图服务中出行时间的可变性 |
| CN105989330A (zh) * | 2015-02-03 | 2016-10-05 | 阿里巴巴集团控股有限公司 | 一种图片检测方法及设备 |
| CN107704102A (zh) * | 2017-10-09 | 2018-02-16 | 北京新美互通科技有限公司 | 一种文本输入方法及装置 |
| CN109816134A (zh) * | 2017-11-22 | 2019-05-28 | 北京京东尚科信息技术有限公司 | 收货地址预测方法、装置以及存储介质 |
| CN108647207A (zh) * | 2018-05-08 | 2018-10-12 | 上海携程国际旅行社有限公司 | 自然语言修正方法、系统、设备及存储介质 |
| CN109766421A (zh) * | 2018-12-28 | 2019-05-17 | 上海汇付数据服务有限公司 | 智能问答系统以及方法 |
| CN110222272A (zh) * | 2019-04-18 | 2019-09-10 | 广东工业大学 | 一种潜在客户挖掘与推荐方法 |
| CN110083693A (zh) * | 2019-04-28 | 2019-08-02 | 腾讯科技（深圳）有限公司 | 机器人对话回复方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| "面向订票服务器端爬虫的可视检测方法研究";吴向阳 等;《计算机辅助设计与图形学学报》;20180131;第30卷(第1期);782-785 * |
| Applying Probabilistic Model Checking to Service Discovery Framework;Honghao Gao 等;《2016 IEEE International Conference on Services Computing》;20160702;20-29 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111651686A (zh) | 2020-09-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200134648A1 (en) | Methods and systems for preventing user churn | |
| CN111831897B (zh) | 一种出行目的地推荐方法、装置、电子设备及存储介质 | |
| US20200051193A1 (en) | Systems and methods for allocating orders | |
| JP2021504850A (ja) | 電動乗り物の充電のためのシステムおよび方法 | |
| CN111324824B (zh) | 一种目的地推荐方法、其装置、电子设备及可读存储介质 | |
| CN111832788B (zh) | 一种服务信息生成的方法、装置、计算机设备及存储介质 | |
| CN111316308B (zh) | 用于识别错误订单请求的系统及方法 | |
| WO2020107894A1 (zh) | 一种驾驶行为评分方法、装置及计算机可读存储介质 | |
| CN111353092B (zh) | 服务推送方法、装置、服务器及可读存储介质 | |
| CN112236787A (zh) | 用于生成个性化目的地推荐的系统和方法 | |
| CN110782301A (zh) | 一种拼单方法、装置、电子设备及计算机可读存储介质 | |
| US20200193357A1 (en) | Systems and methods for allocating service requests | |
| US20200211122A1 (en) | Artificial intelligent systems and methods for recommending at least one insurance company | |
| CN104750767A (zh) | 在车辆中向用户提供信息的方法及系统 | |
| CN111858873A (zh) | 一种推荐内容的确定方法、装置、电子设备及存储介质 | |
| CN111861081A (zh) | 一种订单分配方法、装置、电子设备及存储介质 | |
| CN111859172B (zh) | 信息推送方法、装置、电子设备和计算机可读存储介质 | |
| CN112561285A (zh) | 网点的推荐方法、装置、电子设备及计算机可读存储介质 | |
| CN108536695B (zh) | 一种地理位置信息点的聚合方法以及装置 | |
| US11120091B2 (en) | Systems and methods for on-demand services | |
| CN111199239B (zh) | 通过打车订单识别醉酒乘客的人工智能系统和方法 | |
| CN111523933B (zh) | 一种下单概率预测方法、装置、电子设备及可读存储介质 | |
| CN111651686B (zh) | 一种测试处理方法、装置、电子设备及存储介质 | |
| CN111833080A (zh) | 信息推送的方法、装置、电子设备和计算机可读存储介质 | |
| CN112465331A (zh) | 乘车安全控制方法、模型训练方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |