CN111833080A - 信息推送的方法、装置、电子设备和计算机可读存储介质 - Google Patents

信息推送的方法、装置、电子设备和计算机可读存储介质 Download PDF

Info

Publication number
CN111833080A
CN111833080A CN201910300830.9A CN201910300830A CN111833080A CN 111833080 A CN111833080 A CN 111833080A CN 201910300830 A CN201910300830 A CN 201910300830A CN 111833080 A CN111833080 A CN 111833080A
Authority
CN
China
Prior art keywords
candidate
poor
evaluation rate
question
service request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910300830.9A
Other languages
English (en)
Inventor
匡峰
郄小虎
韩冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Didi Infinity Technology and Development Co Ltd
Original Assignee
Beijing Didi Infinity Technology and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Didi Infinity Technology and Development Co Ltd filed Critical Beijing Didi Infinity Technology and Development Co Ltd
Priority to CN201910300830.9A priority Critical patent/CN111833080A/zh
Publication of CN111833080A publication Critical patent/CN111833080A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0282—Rating or review of business operators or products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/55—Push-based network services

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Tourism & Hospitality (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请提供了一种信息推送的方法、装置、电子设备和计算机可读存储介质，其中，该方法包括：获取待评价订单对应的候选问题集；针对所述候选问题集中的每个候选问题，预测所述待评价订单对应的服务请求端针对该候选问题的差评率；基于预测的所述差评率，以及在该候选问题下，差评率范围与误差评率之间的对应关系，确定所述服务请求端针对该候选问题的有效差评率；基于所述候选问题集中各候选问题的有效差评率，从所述候选问题集中为所述服务请求端确定待反馈的问题，并将确定的问题推送给所述服务请求端。本申请能够提高推送信息的反馈结果的准确度。

Description

信息推送的方法、装置、电子设备和计算机可读存储介质
技术领域
本申请涉及信息技术领域，具体而言，涉及一种信息推送的方法、装置、电子设备和计算机可读存储介质。
背景技术
目前，随着汽车电子技术的持续快速发展，乘坐出租车出行和预约乘坐私家车出行等出行方式得到了长足发展，在人们日常生活出行中起到了不可替代的作用，为广大人民的日常生活、交通出行带来了极大方便。
平台在订单完成后，可以向乘客端推送待反馈的问题，以收集乘客端对司机端的评价信息，从而进一步提升平台服务质量。这种情况下，如果向乘客端推送的问题较多，对于乘客端会产生信息干扰，从而影响评价结果的准确性；而如果只向乘客端推送单一的问题，目前尚无法通过有效的方式筛选出匹配性较高的一个问题，从而无法保证推送信息的反馈结果的准确性，进而无法有效提升平台服务质量。
发明内容
有鉴于此，本申请的目的在于提供一种信息推送的方法、装置、电子设备和计算机可读存储介质，以提高推送信息的反馈结果的准确度。
第一方面，本申请实施例提供了一种信息推送的方法，该方法包括：
获取待评价订单对应的候选问题集；
针对所述候选问题集中的每个候选问题，预测所述待评价订单对应的服务请求端针对该候选问题的差评率；基于预测的所述差评率，以及在该候选问题下，差评率范围与误差评率之间的对应关系，确定所述服务请求端针对该候选问题的有效差评率；
基于所述候选问题集中各候选问题的有效差评率，从所述候选问题集中为所述服务请求端确定待反馈的问题，并将确定的问题推送给所述服务请求端。
可选地，针对每个候选问题，所述基于预测的所述差评率，以及在该候选问题下，差评率范围与误差评率之间的对应关系，确定所述服务请求端针对该候选问题的有效差评率，包括：
基于所述候选问题的问题标识，以及问题标识、差评率范围、和误差评率之间的对应关系，确定在该候选问题下，差评率范围与误差评率之间的对应关系；
基于预测的所述差评率，以及确定的所述差评率范围与误差评率之间的对应关系，确定所述服务请求端针对该候选问题的误差评率；
根据预测的所述服务请求端针对该候选问题的差评率和所述误差评率，确定所述服务请求端针对该候选问题的有效差评率。
可选地，所述根据预测的所述服务请求端针对所述候选问题的差评率和所述误差评率，确定所述服务请求端针对该候选问题的有效差评率，包括：
基于所述服务请求端针对所述候选问题的误差评率，确定所述服务请求端针对所述候选问题的正确评价概率；
将所述差评率和所述正确评价概率的乘积作为所述有效差评率。
可选地，所述方法还包括：
针对每个候选问题，根据该候选问题在每个差评率范围下，误评的历史差评订单的数目与历史差评订单的总数目，确定该候选问题在该差评率范围下的误差评率。
可选地，针对每个候选问题，根据以下步骤确定该候选问题在任一差评率范围下的误差评率：
将所述候选问题在该任一差评率范围下，误评的历史差评订单的数目与历史差评订单的总数目的比值，作为所述候选问题在该任一差评率范围下的误差评率。
可选地，所述基于所述候选问题集中各候选问题的有效差评率，从所述候选问题集中为所述服务请求端确定待反馈的问题，包括：
从所述候选问题集中，选取对应的有效差评率最大的候选问题作为所述待反馈的问题。
可选地，所述预测所述待评价订单对应的服务请求端针对该候选问题的差评率，包括：
获取所述待评价订单对应的订单特征信息；
将所述订单特征信息和所述候选问题集中所述候选问题的问题标识输入到预先训练的差评率预测模型中，得到所述候选问题的差评率。
可选地，根据以下步骤训练所述差评率预测模型：
构建训练样本库，所述训练样本库中包括多个历史订单的历史订单特征信息、每个历史订单对应的已反馈问题的问题标识、以及所述已反馈问题对应的差评反馈结果；
以所述历史订单特征信息和所述问题标识作为模型输入特征，以所述差评反馈结果作为模型输出特征，训练得到所述差评率预测模型。
可选地，所述订单特征信息包括所述待评价订单的订单属性信息和所述待评价订单对应的服务请求端和服务提供端的订单行为信息；
所述历史订单特征信息包括所述历史订单的历史订单属性信息和所述历史订单对应的服务请求端和服务提供端的历史订单行为信息。
第二方面，本申请实施例提供了一种信息推送的装置，该装置包括：
获取模块，用于获取待评价订单对应的候选问题集；
第一确定模块，用于针对所述候选问题集中的每个候选问题，预测所述待评价订单对应的服务请求端针对该候选问题的差评率；基于预测的所述差评率，以及在该候选问题下，差评率范围与误差评率之间的对应关系，确定所述服务请求端针对该候选问题的有效差评率；
第二确定模块，用于基于所述候选问题集中各候选问题的有效差评率，从所述候选问题集中为所述服务请求端确定待反馈的问题，并将确定的问题推送给所述服务请求端。
第三方面，本申请实施例提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行上述方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述方法的步骤。
本申请实施例提供的信息推送的方法，在预测得到待评价订单对应的每个候选问题的差评率后，根据得到的每个候选问题的差评率，以及在各候选问题下的差评率范围与误差评率之间的对应关系，确定各候选问题的有效差评率，进而利用有效差评率确定服务请求端需要反馈的问题。由于有效差评能够真实反映服务请求端针对待反馈的问题的反馈结果，进而能够有效地减少服务请求端在对待反馈问题进行反馈时的误操作行为对于反馈结果的影响，因此，利用有效差评率得到的待反馈的问题与服务请求端的匹配性更好，从而保证了推送信息的反馈结果的准确性，有效提升平台服务质量。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例提供的一种信息推送系统的架构示意图；
图2示出了本申请实施例提供的一种信息推送的方法的流程图；
图3示出了本申请实施例提供的信息推送的方法中，预测差评率的具体方法的流程图；
图4示出了本申请实施例提供的信息推送的方法中，训练差评率预测模型的具体方法的流程图；
图5示出了本申请实施例提供的信息推送的方法中，确定有效差评率的具体方法的第一种流程图；
图6示出了本申请实施例提供的信息推送的方法中，确定有效差评率的具体方法的第二种流程图；
图7示出了本申请实施例提供的一种信息推送的装置的结构示意图；
图8示出了本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了使得本领域技术人员能够使用本申请内容，结合特定应用场景“出行场景”，给出以下实施方式。对于本领域技术人员来说，在不脱离本申请的精神和范围的情况下，可以将这里定义的一般原理应用于其他实施例和应用场景。虽然本申请主要围绕对出行场景进行描述，但是应该理解，这仅是一个示例性实施例。
需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
本申请中的术语“乘客”、“请求方”、“服务请求方”和“客户”可互换使用，以指代可以请求或订购服务的个人、实体或工具。本申请中的术语“司机”、“提供方”、“服务提供方”和“供应商”可互换使用，以指代可以提供服务的个人、实体或工具。本申请中的术语“用户”可以指代请求服务、订购服务、提供服务或促成服务的提供的个人、实体或工具。例如，用户可以是乘客、驾驶员、操作员等，或其任意组合。在本申请中，“乘客”和“乘客终端”可以互换使用，“驾驶员”和“驾驶员终端”可以互换使用。
本申请中的术语“服务请求”和“订单”可互换使用，以指代由乘客、服务请求方、司机、服务提供方、或供应商等、或其任意组合发起的请求。接受该“服务请求”或“订单”的可以是乘客、服务请求方、司机、服务提供方、或供应商等、或其任意组合。服务请求可以是收费的或免费的。
本申请实施例可以服务于出行服务平台，该出行服务平台用于根据接收的客户端的出行服务请求为用户提供相应的服务。出行服务平台可以包括多个打车系统，如包括出租车打车系统、快车打车系统、专车打车系统、顺风车打车系统等。
本申请实施例的信息推荐方法可以应用于出行服务平台的服务器，也可以应用于其它任意具有处理功能的计算设备。在一些实施例中，上述服务器或计算设备可以包括处理器。处理器可以处理与服务请求有关的信息和/或数据，以执行本申请中描述的一个或多个功能。
目前，出行服务平台在订单完成后、通过向乘客端推送待反馈问题获取乘客端的反馈评价时，可以通过五星评价方式获取乘客端对司机端的反馈评价，但是，在五星评价方式中，乘客端除了需要给出针对司机端的星级评价外，还需要从相应的标签信息中为司机端选择相应的标签，如，乘客端针对司机端给出的标签可以为平稳、不绕路等，大量的信息标签会给乘客端带来干扰，导致乘客端的评价流程繁琐，降低了乘客端的反馈意愿，同时，也降低评价信息的回收率。
为了提升乘客端的反馈意愿，增加订单反馈信息的回收率，现有技术可以通过提问式评价方式获取乘客端对司机端的反馈评价，预先设置有若干候选问题，通过获取司机端和乘客端的历史表现以及当前待评价订单的订单特征，预测推送的每个候选问题的差评率，进而根据预测的每个候选问题的差评率为乘客端确定待反馈的问题。这样，虽然减少了多余信息的干扰，但是，乘客端在对司机端进行评价时，发生误差评行为的概率很高，如，乘客端本意是针对当前司机端给出好评，由于注意力不集中或其他客观原因，导致乘客端最终给出了差评，当给出司机端的差评中的误差评很多时，回收到的差评的准确度会降低，减少了有效差评的回收率，同时，也会降低平台服务质量。因此，如何降低由于乘客端的误操作行为导致的差评率、保障推送信息的反馈结果的准确度、提高有效差评的回收率显得尤为重要。
为了便于描述，本文引入有效差评，有效差评是指能够真实反映乘客端的反馈意图的差评，即，从平台获取的差评中，去除由于乘客端的误操作行为导致的差评后得到的差评。本申请针对待评价订单，预测待评价订单对应的各候选问题的差评率，通过提前建立每个候选问题下，差评率范围与误差评率之间的关系，从而确定各候选问题的有效差评率，进而为服务请求端确定待反馈的问题，以提高推送信息的反馈结果的准确度，本申请实施例将基于该思想进行详细描述。
图1是本申请实施例提供的一种信息推送系统100的架构示意图。例如，信息推送系统100可以是用于诸如出租车、代驾服务、快车、拼车、公共汽车服务、驾驶员租赁、或班车服务之类的运输服务、或其任意组合的在线运输服务平台。信息推送系统100可以包括服务器110、网络120、服务请求方终端130、服务提供方终端140、和数据库150中的一种或多种。
在一些实施例中，服务器110可以包括处理器。处理器可以处理与服务请求有关的信息和/或数据，以执行本申请中描述的一个或多个功能。例如，处理器可以基于从服务请求方终端130获得的服务请求来确定目标车辆。在一些实施例中，处理器可以包括一个或多个处理核(例如，单核处理器(S)或多核处理器(S))。仅作为举例，处理器可以包括中央处理单元(Central Processing Unit,CPU)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、专用指令集处理器(Application Specific Instruction-set Processor,ASIP)、图形处理单元(Graphics Processing Unit,GPU)、物理处理单元(Physics Processing Unit,PPU)、数字信号处理器(Digital Signal Processor,DSP)、现场可编程门阵列(Field Programmable Gate Array,FPGA)、可编程逻辑器件(Programmable Logic Device,PLD)、控制器、微控制器单元、简化指令集计算机(ReducedInstruction Set Computing,RISC)、或微处理器等，或其任意组合。
在一些实施例中，服务请求方终端130和服务提供方终端140对应的设备类型可以是移动设备，比如可以包括智能家居设备、可穿戴设备、智能移动设备、虚拟现实设备、或增强现实设备等，也可以是平板计算机、膝上型计算机、或机动车辆中的内置设备等。
在一些实施例中，数据库150可以连接到网络120以与信息推送系统100中的一个或多个组件(例如，服务器110，服务请求方终端130，服务提供方终端140等)通信。信息推送系统100中的一个或多个组件可以经由网络120访问存储在数据库150中的数据或指令。在一些实施例中，数据库150可以直接连接到信息推送系统100中的一个或多个组件，或者，数据库150也可以是服务器110的一部分。
下面结合上述图1示出的信息推送系统100中描述的内容，对本申请实施例提供的信息推送的方法进行详细说明。
参照图2所示，为本申请实施例提供的一种信息推送的方法的流程示意图，该方法可以由信息推送系统100中的服务器110来执行，具体执行过程为：
S201，获取待评价订单对应的候选问题集。
这里，待评价订单一般为出行订单，如，乘客端通过出行服务平台完成从服务起始地点A到服务结束地点B后，还未对司机端进行评价的出行订单；候选问题集一般是预先设置的，候选问题集中包含的候选问题的数目可以根据实际情况设置，在设置候选问题集时可以根据历史经验确定，也可以通过对历史订单对应的乘客端和司机端的数据进行分析确定，此处不进行详细叙述。
S202，针对所述候选问题集中的每个候选问题，预测所述待评价订单对应的服务请求端针对该候选问题的差评率；基于预测的所述差评率，以及在该候选问题下，差评率范围与误差评率之间的对应关系，确定所述服务请求端针对该候选问题的有效差评率。
这里，差评率表征服务请求端针对候选问题给出差评的概率，该概率越高表征服务请求端针对该候选问题给出差评的可能性越大；差评率范围表征差评率所属的区间，误差评率表征由于服务请求端的误操作行为导致的差评的概率，误差评率越高，表明服务请求端在针对候选问题给出评价的误操作行为越多；有效差评率表征能够表达服务请求端的真实意图(不包含误操作行为)的差评的概率，有效差评率越高，表示服务请求端误操作行为越少。
差评率范围与误差评率之间的对应关系可以通过以下方式确定：
由于差评率是属于0到1之间的小数，将差评率估计函数进行离散化，得到预设数目个差评率范围，在对差评率估计函数进行离散化时，可以将0到1等分为预设数目个区间，每个区间的长度可以相同，预设数目可以根据实际情况设置，一般地，预设数目为10，如，离散化为10个区间s_0-s_1、s_1-s_2、……、s_9-s_10，其中，s_0＝0，s_10＝1。但是，在实际应用中，差评率的分布不一定是均匀分布的，若使用按照均匀离散化的差评率范围，会降低应用过程中得到的误差评率的准确度，为了提高应用过程中得到的误差评率的准确度，可以获取大量的历史差评订单，对历史差评订单的差评率进行统计分析，确定差评率的概率分布方法，进而利用相应的概率分布方法对差评率估计函数进行离散化，以提高得到的误差评率的准确度。其中，可以利用正太分布、泊松分布等概率分布对差评率估计函数进行离散化，通过概率分布对差评率估计函数进行离散化得到的差评率区间的区间长度一般不同。
在具体应用中，通过对大量的历史差评订单进行分析发现，在针对服务提供端的问题中，不同问题的误差评率差异较大，且差评率越低的服务提供端对应的误差评率越高。基于上述事实，可以判断服务请求端的误操作行为并不是随机的，那么，误差评率也不是随机，而是可以通过分析确定的。
在对误差评率进行分析确定时，可以考虑使用机器学习模型，如，神经网络模型等，但是，使用机器学习模型需要大量的训练样本，而不同问题的误差评率差异比较大，因此，需要针对不同的问题分别进行建模，如，一个问题需要一万个训练样本才能进行模型训练，那么，十个问题则需要十万个样本，而每个样本是否为误差评，需要进行人工标识，在训练样本庞大时，给标注带来了巨大的工作量，降低了模型的训练效率，而且在人工标注每个样本是否为误差评时，由于人为客观因素的存在可能会导致标注出错，从而也会降低训练的模型的准确度。因此，为了降低样本标注的工作量，提高训练的模型的准确度，需要提出一种简单有效的方法，以便于得到准确度更高的误差评率。
通过大量的研究发现，误差评率除了与问题标识相关外，也与期望差评率相关，因此，可以得到以下模型：
p_mistake(i)＝f_i(meanp_bad(i))；
其中，p_mistake(i)为第i个问题的误差评率，f_i为第i个问题对应的误差评率估计函数，p_bad(i)为第i个问题的差评率，meanp_bad(i)为第i个问题的期望差评率。
由于p_bad(i)为界于0到1的小数，将f_i离散化为10个区间s_0-s_1、s_1-s_2、……、s_9-s_10。其中s_0＝0，s_10＝1。
误差评率可以通过以下公式得到：
p_mistake(i)＝f(i，k)；
其中，i为问题标识，k为第i个问题的差评率p_bad(i)对应的差评率范围，该差评率范围满足s_k<＝p_bad(i)<s_{k+1}，k属于0到9。
由于i和k均为整数，当候选问题的数目为n_q，得到的差评率的规模为n_q×10，数据量较小，容易通过人工标注的样本直接统计得到无偏估计。在具体实施过程中，一般30个有效样本得到的差评率具有统计价值，因此，在候选问题的数目为10时，需要有效样本量为10×10×30＝3000个，相比基于机器学习模型所需要的10万样本而言，所需要的样本量只有机器学习模型的样本量的3％，大大减少了使用的样本量，提高了效率。
例如，具体估计方法如下：
获取大量的历史差评订单，根据每个历史差评订单对应的已反馈问题所对应的历史差评率，统计该已反馈问题在相应差评率范围下，历史差评订单的总数目(n_bad)和误评的历史差评订单的数目(n_mistake)，在进行统计时，应使得每个差评率范围下对应的n_bad大于30，这样，最终得到的差评率范围、n_bad、n_mistake之间的对应关系表才会具有实际参考价值，差评率范围、n_bad、n_mistake之间的对应关系表如下：
Figure BDA0002028164810000101
对误差评率进行估计，得到：
f(i,k)＝n_mistake(i,k)/n_bad(i,k)；
其中，f(i,k)为第i个问题在第k个差评率范围下的误差评率，n_mistake(i,k)为第i个问题在第k个差评率范围下对应的误评的历史差评订单的数目，n_bad(i,k)为第i个问题在第k个差评率范围下对应的历史差评订单的总数目。
在得到问题标识、差评率范围、和误差评率之间的对应关系后，确定待评价订单对应的候选问题的误差评率之前，需要预测待评价订单对应的各候选问题的差评率，如图3所示，在执行步骤S202中，预测所述待评价订单对应的服务请求端针对该候选问题的差评率，包括以下步骤：
S301，获取所述待评价订单对应的订单特征信息。
这里，订单特征信息包括待评价订单的订单属性信息和待评价订单对应的服务请求端和服务提供端的订单行为信息，其中，订单属性信息包括待评价订单的服务时长、服务起始地点(如GPS信息)、服务结束地点(如GPS信息)等，订单行为信息包括待评价订单对应的服务请求端的差评率(通过服务请求端针对服务提供端给出的差评确定)、出行次数、出行时长、等待服务提供端的时长等，以及待评价订单对应的服务提供端的差评率(通过服务提供端接收到的差评确定)、接单次数、服务时长、接单时与服务请求端的距离、等待服务请求端的时长等，可以根据实际情况确定，本申请对此不予限制。
S302，将所述订单特征信息和所述候选问题集中所述候选问题的问题标识输入到预先训练的差评率预测模型中，得到所述候选问题的差评率。
这里，问题标识可以为编号、字符等，例如，问题编号可以为1、2、3等，也可以为A1、A2等等。
在具体实施过程中，在获取到待评价订单的订单特征信息后，针对候选问题集中的每个候选问题，将上述订单特征信息(也就是，待评价订单的订单属性信息和待评价订单对应的服务请求端的订单行为信息、服务提供端的订单行为细信息)和该候选问题的问题标识输入到预先训练的差评率预测模型中，预测该候选问题的差评率，差评率越高说明该候选问题出现误差评的概率越高。
例如，待评价订单为A，A订单对应的服务请求端为A1、服务提供端为A2，对应的候选问题集中包括10个候选问题，候选问题的问题标识分别为1、2、3、……、10，获取待评价订单A的订单属性信息，以及A1的订单行为信息、A2的订单行为信息，将A的订单属性信息、A1的订单行为信息、A2的订单行为信息、以及每个候选问题的问题标识输入到差评率预测模型，预测得到每个候选问题的差评率α1、α2、α3……α10。
差评率预测模型一般是通过大量的样本数据进行训练得到的，具体地，如图4所示，在执行步骤S302时，根据以下步骤训练所述差评率预测模型：
S401，构建训练样本库，所述训练样本库中包括多个历史订单的历史订单特征信息、每个历史订单对应的已反馈问题的问题标识、以及所述已反馈问题对应的差评反馈结果。
S402，以所述历史订单特征信息和所述问题标识作为模型输入特征，以所述差评反馈结果作为模型输出特征，训练得到所述差评率预测模型。
这里，历史订单特征信息包括历史订单的历史订单属性信息和历史订单对应的服务请求端和服务提供端的历史订单行为信息，其中，历史订单属性信息包括历史订单的服务时长、服务起始地点、服务结束地点等，订单行为信息包括历史订单对应的服务请求端的差评率、出行次数、出行时长、等待服务提供端的时长等，以及历史订单对应的服务提供端的差评率、接单次数、服务时长、接单时与服务请求端的距离、等待服务请求端的时长等，可以根据实际情况确定，本申请对此不予限制。
每个历史订单对应的服务请求端已评价的问题为已反馈问题，每个已反馈问题对应的差评反馈结果为是差评或者不是差评，已反馈结果可以通过数字标识，也可以通过特定字符或特定字母进行标识，可根据实际情况确定，例如，若已反馈问题为差评，则用1表示，若已反馈问题不是差评，则用0表示。
训练得到的差评率预测模型一般为神经网络模型，例如，可以为卷积神经网络模型、循环神经网络模型、长短期记忆网络模型等，可根据实际情况选择网络模型，此处不对网络模型进行限制。具体应用中，在构建差评率预测模型可以设置多个隐藏层、激活函数和损失函数，隐藏层与隐藏层顺次连接，最后一个隐藏层与激活函数连接，激活函数与损失函数连接，隐藏层用于预测每个问题的差评率，激活函数用于扩展多层神经网络对特征的学习能力，损失函数用于在训练过程中调节网络模型中的参数，以提高最终训练得到的模型的预测准确度。其中，激活函数一般逻辑回归函数。
在构建训练样本库时，具体包括以下步骤：
根据所述已反馈问题对应的差评反馈结果，确定样本集中的正样本和负样本，其中，正样本为差评的历史订单的订单特征信息，负样本为好评的历史订单的订单特征信息；
根据预先设置的正样本和负样本的比例，从所述样本集中选择符合所述比例的正样本和负样本，生成所述训练样本库。
这里，正样本和负样本的比例可以是1:10～10:1之间的比例，也可以根据实际情况设置，本申请对此不予限制。
在具体实现过程中，在获取到大量的样本后，针对每个样本，若该样本的差评反馈结果为差评，则该样本为正样本，若该样本的差评反馈结果为不是差评，则该样本为负样本。
本申请中涉及的正样本均为差评的历史订单，负样本均为好评的历史订单，其中，差评的历史订单中还包括由于服务请求端的误操作行为导致的误差评的历史订单，正样本和负样本均可以通过人工筛选方式和系统自动收集方式获取，例如，从出行平台服务器获取大量的差评的历史订单和好评的历史订单。
为了进一步提高差评率预测模型预测的差评率的准确度，一般选择的正样本的个数和负样本的个数应该接近，比如正样本和负样本的比值控制在1:10～10:1之间，具体地，本申请实施例目的在于预测候选问题可能出现差评的差评率，样本集中正样本的个数要远远大于负样本的个数，本申请实施例通过如下方式从样本集中筛选符合比例的正样本和负样本：
(1)，如果本申请实施例的样本集中正样本的个数是负样本的一万倍，则按照0.001的采样比例在样本集中进行筛选正样本，将正负样本的个数比例调整到1:10以内。
(2)，如果筛选出的正负样本的总量是千级别的，使用较少的样本对模型进行训练，可能会导致模型的准确度降低，此时，可以通过将多个历史时间段得到的正负样本合并到一起，形成最终的训练样本库，比如，将20181001-20181101、20181110-20181210等日期筛选出的正负样本合并后形成最终的训练样本库。
在构建完训练样本库后，将训练样本库中每个样本的订单特征信息以及该样本对应的已反馈问题的问题标识作为模型输入特征，将对应的订单反馈结果作为模型输出特征，训练得到差评率预测模型。
在得到完成训练的差评率预测模型后，为了进一步提高模型的准确度，构建测试样本集，针对测试样本集中的每个测试样本，将测试样本集中该测试样本的订单特征信息和对应的已反馈问题的问题标识输入到已完成训练的差评率预测模型，得到该测试样本对应的已反馈问题的差评率，基于预测的各测试样本的差评率以及各测试样本对应的差评反馈结果，确定损失值，基于损失值调整差评率预测模型中的参数，损失值越小对应的差评率预测模型的准确度越高。
由于在训练得到差评率预测模型时，训练样本中包括误差评的历史订单，训练得到的差评率预测模型的预测准确度较低，因此，在预测得到差评率后，本申请进一步引入有效差评率，以下详述有效差评率的确定过程。
如图5所示，在步骤S202中，预测得到每个候选问题的差评率后，针对每个候选问题，所述基于预测的所述差评率，以及在该候选问题下，差评率范围与误差评率之间的对应关系，确定所述服务请求端针对该候选问题的有效差评率，具体包括以下步骤：
S501，基于所述候选问题的问题标识，以及问题标识、差评率范围、和误差评率之间的对应关系，确定在该候选问题下，差评率范围与误差评率之间的对应关系。
在具体实施过程中，针对每个候选问题，基于该候选问题的问题标识，从问题标识、差评率范围、和误差评率之间的对应关系表中，查询与该候选问题的问题标识对应的问题标识，将查询到的问题标识对应的差评率范围和误差评率之间的对应关系确定为在该候选问题下的差评率范围与误差评率之间的对应关系。
例如，以候选问题集中的一个候选问题为例进行说明，候选问题标识为2，问题标识、差评率范围、和误差评率之间的对应关系表如下：
Figure BDA0002028164810000141
Figure BDA0002028164810000151
与候选问题2对应的差评率范围和误差评率之间的对应关系如下：
差评率范围0.1-0.2 差评率范围0.2-0.3 … 差评率范围0.9-1.0
2 0.33 0.44 … 0.5
应当注意，候选问题集中其他候选问题的查询方式与候选问题2相同，此处不针对其他候选问题一一举例。
S502，基于预测的所述差评率，以及确定的所述差评率范围与误差评率之间的对应关系，确定所述服务请求端针对该候选问题的误差评率。
在具体实施过程中，针对每个候选问题，基于预测的该候选问题的差评率，从确定的差评率范围和误差评率之间的对应关系中，查询与该候选问题的差评率对应的差评率范围，将查询到的差评率范围对应的误差评率确定为服务请求端针对该候选问题的误差评率。
例如，延续步骤S502中的示例，同样以候选问题2为例进行说明，预测得到的候选问题2的差评率为0.25，属于差评率范围0.2-0.3，则该候选问题2对应的误差评率为0.44。
除了上述方法得到误差评率外，还可以通过以下步骤确定每个候选问题在每差评率范围下误差评率：
针对每个候选问题，根据该候选问题在每个差评率范围下，误评的历史差评订单的数目与历史差评订单的总数目，确定该候选问题在该差评率范围下的误差评率。
针对每个候选问题，根据以下步骤确定该候选问题在任一差评率范围下的误差评率时，可以将所述候选问题在该任一差评率范围下，误评的历史差评订单的数目与历史差评订单的总数目的比值，作为所述候选问题在该任一差评率范围下的误差评率。
这里，历史差评订单为在历史时间段中服务请求端给出差评的订单，历史时间段可以为一个星期、连续多个星期、一个季度等，根据实际情况确定。
在具体实施过程中，获取多个历史差评订单，针对每个候选问题，基于该候选问题对应的每个差评率范围，统计该候选问题在该差评率范围下对应的历史差评订单的总数目，将该总数目作为第一数目，以及误评的历史差评订单的数目，将该数目作为第二数目，计算该候选问题对应的第二数目与第一数目的比值，将该比值作为该候选问题在该差评率范围下的误差评率。
例如，以候选问题3为例进行说明，候选问题3对应的差评率范围为s_1-s_2，从出行平台服务器共获取10000个历史差评订单，候选问题3对应的差评率落入s_1-s_2区间的历史差评订单的数目(第一数目)为500，误评的历史差评订单的数目(第二数目)为100，则候选问题3在差评率范围s_1-s_2下的误差评率为100/500＝0.2，该候选问题3在其它差评率范围下的误差评率，以及其它候选问题在各差评率范围下的误差评率的计算方法与该示例相同。
S503，根据预测的所述服务请求端针对该候选问题的差评率和所述误差评率，确定所述服务请求端针对该候选问题的有效差评率。
这里，有效差评为从差评中去除由于服务请求端的误操作行为导致的差评得到的。
如图6所示，在根据预测的所述服务请求端针对所述候选问题的差评率和所述误差评率，确定所述服务请求端针对该候选问题的有效差评率时，包括以下步骤：
S601，基于所述服务请求端针对所述候选问题的误差评率，确定所述服务请求端针对所述候选问题的正确评价概率。
这里，正确评价表征服务请求端基于自身的实际意愿做出的反馈评价，正确评价概率越高表征服务请求端针对候选问题进行评价时的误操作行为越少。
在具体实施过程中，针对每个候选问题，在得到服务请求端针对该问题的误差评率后，计算预设值与误差评率的差值，将该差值作为服务请求端针对该候选问题的正确评价概率。其中，预设值一般为1。
通过以下公式确定正确评价概率p_right：
p_right(i)＝β-p_mistake(i)；
其中，p_right(i)为第i个候选问题的正确评价概率，p_mistake(i)为第i个问题的误差评率，β为正整数，优选地，β为1。
例如，延续步骤S502中的示例，以候选问题2为例，查表得到的候选问题2的误差评率为0.44，则候选问题2的正确评价概率为1-0.44＝0.56。
S602，将所述差评率和所述正确评价概率的乘积作为所述有效差评率。
在具体实施过程中，针对每个候选问题，计算预测得到的该候选问题的差评率与该候选问题的正确评价概率的乘积，将该乘积作为该候选问题的有效差评率，有效差评率越高，服务请求端针对该候选问题进行评价时的误操作行为越少。
通过以下公式确定有效差评率p_effective：
peffective(i)＝pbad(i)×p_right(i)；
其中，p_effective(i)为第i个候选问题的有效差评率，p_bad(i)为预测的第i个候选问题的差评率，p_right(i)为第i个候选问题的正确评价概率。
例如，延续步骤S601中的示例，预测的候选问题2的差评率为0.25，正确差评率为0.56，则候选问题2的有效差评率为0.25×0.56＝0.14。
S203，基于所述候选问题集中各候选问题的有效差评率，从所述候选问题集中为所述服务请求端确定待反馈的问题，并将确定的问题推送给所述服务请求端。
在基于所述候选问题集中各候选问题的有效差评率，从所述候选问题集中为所述服务请求端确定待反馈的问题，包括：
从所述候选问题集中，选取对应的有效差评率最大的候选问题作为所述待反馈的问题。
在具体实施过程中，在得到候选问题集中各候选问题的有效差评率后，将最大的有效差评率对应的候选问题确定待反馈的问题。
例如，得到各候选问题集中各候选问题的有效差评率分别为β1、β2、β3……βn，若β3为最大的有效差评率，而β3对应的候选问题3，候选问题3为最终确定的待反馈的问题。
在得到待反馈问题后，出行平台服务器将待反馈问题推送给服务请求端，服务请求端以应用界面显示的方式对待反馈问题进行显示，以便于服务请求端对该待反馈问题进行评价。这样得到的待反馈问题能够减少服务请求端的误操作行为，从而使得针对服务提供端的差评均为有效差评，提高了差评的回收率，便于平台对服务提供端进行管理和约束。
本申请在得到待评价订单的候选问题集后，针对有效差评建模比较难的问题，将有效差评率拆解为差评率和误差评率两个阶段模型，第一阶段，通过预先训练的差评率预测模型预测每个候选问题的差评率，第二阶段，需要人工标注少量样本，并基于标注的样本，通过离散化统计方法估计误差评率，进而得到有效差评率，结合第一阶段预测的差评率和第二阶段得到的有效差评率，为服务请求端确定待反馈的问题。而在第一阶段，差评能够通过平台直接获取，因此，第一阶段建模过程比较简单、直接，但是，第一阶段预测得到的差评率中包括有由于服务请求端误操作导致的差评，无法真实的表达服务请求端的真实意愿，因此，在第一阶段基础上，引入了第二阶段建模，通过第一阶段和第二阶段结合，解决现有技术中误差评率较高的问题，提高最终确定的待反馈问题的反馈结果的准确度，提升平台的服务质量。
本申请实施例提供了一种信息推送的方法，在预测得到待评价订单对应的每个候选问题的差评率后，根据得到的每个候选问题的差评率，以及在各候选问题下的差评率范围与误差评率之间的对应关系，确定各候选问题的有效差评率，进而利用有效差评率确定服务请求端需要反馈的问题。由于有效差评能够真实反映服务请求端针对待反馈的问题的反馈结果，进而能够有效地减少服务请求端在对待反馈问题进行反馈时的误操作行为对于反馈结果的影响，因此，利用有效差评率得到的待反馈的问题与服务请求端的匹配性更好，从而保证了推送信息的反馈结果的准确性，有效提升平台服务质量。
基于同一发明构思，本申请实施例中还提供了与信息推送的方法对应的信息推送的装置，由于本申请实施例中的装置解决问题的原理与本申请实施例上述信息推送的方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图7所示，为本申请实施例五提供的一种信息推送的装置的示意图，所述装置包括：获取模块71、第一确定模块72、第三确定模块73和训练模块74。
获取模块71，用于获取待评价订单对应的候选问题集；
第一确定模块72，用于针对所述候选问题集中的每个候选问题，预测所述待评价订单对应的服务请求端针对该候选问题的差评率；基于预测的所述差评率，以及在该候选问题下，差评率范围与误差评率之间的对应关系，确定所述服务请求端针对该候选问题的有效差评率；
第二确定模块73，用于基于所述候选问题集中各候选问题的有效差评率，从所述候选问题集中为所述服务请求端确定待反馈的问题，并将确定的问题推送给所述服务请求端。
可选地，针对每个候选问题，所述第二确定模块73具体用于：
基于所述候选问题的问题标识，以及问题标识、差评率范围、和误差评率之间的对应关系，确定在该候选问题下，差评率范围与误差评率之间的对应关系；
基于预测的所述差评率，以及确定的所述差评率范围与误差评率之间的对应关系，确定所述服务请求端针对该候选问题的误差评率；
根据预测的所述服务请求端针对该候选问题的差评率和所述误差评率，确定所述服务请求端针对该候选问题的有效差评率。
可选地，所述第一确定模块72还用于：
基于所述服务请求端针对所述候选问题的误差评率，确定所述服务请求端针对所述候选问题的正确评价概率；
将所述差评率和所述正确评价概率的乘积作为所述有效差评率。
可选地，所述第一确定模块72还用于：
针对每个候选问题，根据该候选问题在每个差评率范围下，误评的历史差评订单的数目与历史差评订单的总数目，确定该候选问题在该差评率范围下的误差评率。
可选地，所述第一确定模块72还用于针对每个候选问题，根据以下步骤确定该候选问题在任一差评率范围下的误差评率：
将所述候选问题在该任一差评率范围下，误评的历史差评订单的数目与历史差评订单的总数目的比值，作为所述候选问题在该任一差评率范围下的误差评率。
可选地，所述第二确定模块73具体用于：
从所述候选问题集中，选取对应的有效差评率最大的候选问题作为所述待反馈的问题。
可选地，所述第一确定模块72具体用于：
获取所述待评价订单对应的订单特征信息；
将所述订单特征信息和所述候选问题集中所述候选问题的问题标识输入到预先训练的差评率预测模型中，得到所述候选问题的差评率。
可选地，所述装置还包括：训练模块74，所述训练模块74用于：
构建训练样本库，所述训练样本库中包括多个历史订单的历史订单特征信息、每个历史订单对应的已反馈问题的问题标识、以及所述已反馈问题对应的差评反馈结果；
以所述历史订单特征信息和所述问题标识作为模型输入特征，以所述差评反馈结果作为模型输出特征，训练得到所述差评率预测模型。
可选地，所述订单特征信息包括所述待评价订单的订单属性信息和所述待评价订单对应的服务请求端和服务提供端的订单行为信息；
所述历史订单特征信息包括所述历史订单的历史订单属性信息和所述历史订单对应的服务请求端和服务提供端的历史订单行为信息。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
本申请实施例还提供了一种计算机设备80，如图8所示，为本申请实施例提供的计算机设备80结构示意图，包括：处理器81、存储器82、和总线83。所述存储器82存储有所述处理器81可执行的机器可读指令(比如，图7中的装置中获取模块71、第一确定模块72、第二确定模块73对应的执行指令等)，当计算机设备80运行时，所述处理器81与所述存储器82之间通过总线83通信，所述机器可读指令被所述处理器81执行时执行如下处理：
获取待评价订单对应的候选问题集；
针对所述候选问题集中的每个候选问题，预测所述待评价订单对应的服务请求端针对该候选问题的差评率；基于预测的所述差评率，以及在该候选问题下，差评率范围与误差评率之间的对应关系，确定所述服务请求端针对该候选问题的有效差评率；
基于所述候选问题集中各候选问题的有效差评率，从所述候选问题集中为所述服务请求端确定待反馈的问题，并将确定的问题推送给所述服务请求端。
一种可能的实施方式中，处理器81执行的指令中，针对每个候选问题，所述基于预测的所述差评率，以及在该候选问题下，差评率范围与误差评率之间的对应关系，确定所述服务请求端针对该候选问题的有效差评率，包括：
基于所述候选问题的问题标识，以及问题标识、差评率范围、和误差评率之间的对应关系，确定在该候选问题下，差评率范围与误差评率之间的对应关系；
基于预测的所述差评率，以及确定的所述差评率范围与误差评率之间的对应关系，确定所述服务请求端针对该候选问题的误差评率；
根据预测的所述服务请求端针对该候选问题的差评率和所述误差评率，确定所述服务请求端针对该候选问题的有效差评率。
一种可能的实施方式中，处理器81执行的指令中，所述根据预测的所述服务请求端针对所述候选问题的差评率和所述误差评率，确定所述服务请求端针对该候选问题的有效差评率，包括：
基于所述服务请求端针对所述候选问题的误差评率，确定所述服务请求端针对所述候选问题的正确评价概率；
将所述差评率和所述正确评价概率的乘积作为所述有效差评率。
一种可能的实施方式中，处理器81执行的指令中，所述方法还包括：
针对每个候选问题，根据该候选问题在每个差评率范围下，误评的历史差评订单的数目与历史差评订单的总数目，确定该候选问题在该差评率范围下的误差评率。
一种可能的实施方式中，处理器81执行的指令中，针对每个候选问题，根据以下步骤确定该候选问题在任一差评率范围下的误差评率：
将所述候选问题在该任一差评率范围下，误评的历史差评订单的数目与历史差评订单的总数目的比值，作为所述候选问题在该任一差评率范围下的误差评率。
一种可能的实施方式中，处理器81执行的指令中，所述基于所述候选问题集中各候选问题的有效差评率，从所述候选问题集中为所述服务请求端确定待反馈的问题，包括：
从所述候选问题集中，选取对应的有效差评率最大的候选问题作为所述待反馈的问题。
一种可能的实施方式中，处理器81执行的指令中，所述预测所述待评价订单对应的服务请求端针对该候选问题的差评率，包括：
获取所述待评价订单对应的订单特征信息；
将所述订单特征信息和所述候选问题集中所述候选问题的问题标识输入到预先训练的差评率预测模型中，得到所述候选问题的差评率。
一种可能的实施方式中，处理器81执行的指令中，根据以下步骤训练所述差评率预测模型：
构建训练样本库，所述训练样本库中包括多个历史订单的历史订单特征信息、每个历史订单对应的已反馈问题的问题标识、以及所述已反馈问题对应的差评反馈结果；
以所述历史订单特征信息和所述问题标识作为模型输入特征，以所述差评反馈结果作为模型输出特征，训练得到所述差评率预测模型。
一种可能的实施方式中，处理器81执行的指令中，所述订单特征信息包括所述待评价订单的订单属性信息和所述待评价订单对应的服务请求端和服务提供端的订单行为信息；
所述历史订单特征信息包括所述历史订单的历史订单属性信息和所述历史订单对应的服务请求端和服务提供端的历史订单行为信息。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述信息推送的方法的步骤。
具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述信息推送的方法，从而解决现有技术中推送信息的反馈结果的准确度低的问题，在预测得到待评价订单对应的每个候选问题的差评率后，根据得到的每个候选问题的差评率，以及在各候选问题下的差评率范围与误差评率之间的对应关系，确定各候选问题的有效差评率，进而利用有效差评率确定服务请求端需要反馈的问题。由于有效差评能够真实反映服务请求端针对待反馈的问题的反馈结果，进而能够有效地减少服务请求端在对待反馈问题进行反馈时的误操作行为对于反馈结果的影响，因此，利用有效差评率得到的待反馈的问题与服务请求端的匹配性更好，从而保证了推送信息的反馈结果的准确性，有效提升平台服务质量。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种信息推送的方法，其特征在于，该方法包括：
获取待评价订单对应的候选问题集；
针对所述候选问题集中的每个候选问题，预测所述待评价订单对应的服务请求端针对该候选问题的差评率；基于预测的所述差评率，以及在该候选问题下，差评率范围与误差评率之间的对应关系，确定所述服务请求端针对该候选问题的有效差评率；
基于所述候选问题集中各候选问题的有效差评率，从所述候选问题集中为所述服务请求端确定待反馈的问题，并将确定的问题推送给所述服务请求端。
2.根据权利要求1所述的方法，其特征在于，针对每个候选问题，所述基于预测的所述差评率，以及在该候选问题下，差评率范围与误差评率之间的对应关系，确定所述服务请求端针对该候选问题的有效差评率，包括：
基于所述候选问题的问题标识，以及问题标识、差评率范围、和误差评率之间的对应关系，确定在该候选问题下，差评率范围与误差评率之间的对应关系；
基于预测的所述差评率，以及确定的所述差评率范围与误差评率之间的对应关系，确定所述服务请求端针对该候选问题的误差评率；
根据预测的所述服务请求端针对该候选问题的差评率和所述误差评率，确定所述服务请求端针对该候选问题的有效差评率。
3.根据权利要求2所述的方法，其特征在于，所述根据预测的所述服务请求端针对所述候选问题的差评率和所述误差评率，确定所述服务请求端针对该候选问题的有效差评率，包括：
基于所述服务请求端针对所述候选问题的误差评率，确定所述服务请求端针对所述候选问题的正确评价概率；
将所述差评率和所述正确评价概率的乘积作为所述有效差评率。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述方法还包括：
针对每个候选问题，根据该候选问题在每个差评率范围下，误评的历史差评订单的数目与历史差评订单的总数目，确定该候选问题在该差评率范围下的误差评率。
5.根据权利要求4所述的方法，其特征在于，针对每个候选问题，根据以下步骤确定该候选问题在任一差评率范围下的误差评率：
将所述候选问题在该任一差评率范围下，误评的历史差评订单的数目与历史差评订单的总数目的比值，作为所述候选问题在该任一差评率范围下的误差评率。
6.根据权利要求1所述的方法，其特征在于，所述基于所述候选问题集中各候选问题的有效差评率，从所述候选问题集中为所述服务请求端确定待反馈的问题，包括：
从所述候选问题集中，选取对应的有效差评率最大的候选问题作为所述待反馈的问题。
7.根据权利要求1所述的方法，其特征在于，所述预测所述待评价订单对应的服务请求端针对该候选问题的差评率，包括：
获取所述待评价订单对应的订单特征信息；
将所述订单特征信息和所述候选问题集中所述候选问题的问题标识输入到预先训练的差评率预测模型中，得到所述候选问题的差评率。
8.根据权利要求7所述的方法，其特征在于，根据以下步骤训练所述差评率预测模型：
构建训练样本库，所述训练样本库中包括多个历史订单的历史订单特征信息、每个历史订单对应的已反馈问题的问题标识、以及所述已反馈问题对应的差评反馈结果；
以所述历史订单特征信息和所述问题标识作为模型输入特征，以所述差评反馈结果作为模型输出特征，训练得到所述差评率预测模型。
9.根据权利要求8所述的方法，其特征在于，所述订单特征信息包括所述待评价订单的订单属性信息和所述待评价订单对应的服务请求端和服务提供端的订单行为信息；
所述历史订单特征信息包括所述历史订单的历史订单属性信息和所述历史订单对应的服务请求端和服务提供端的历史订单行为信息。
10.一种信息推送的装置，其特征在于，该装置包括：
获取模块，用于获取待评价订单对应的候选问题集；
第一确定模块，用于针对所述候选问题集中的每个候选问题，预测所述待评价订单对应的服务请求端针对该候选问题的差评率；基于预测的所述差评率，以及在该候选问题下，差评率范围与误差评率之间的对应关系，确定所述服务请求端针对该候选问题的有效差评率；
第二确定模块，用于基于所述候选问题集中各候选问题的有效差评率，从所述候选问题集中为所述服务请求端确定待反馈的问题，并将确定的问题推送给所述服务请求端。
11.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至9任一所述方法的步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至9任一所述方法的步骤。
CN201910300830.9A 2019-04-15 2019-04-15 信息推送的方法、装置、电子设备和计算机可读存储介质 Pending CN111833080A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910300830.9A CN111833080A (zh) 2019-04-15 2019-04-15 信息推送的方法、装置、电子设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910300830.9A CN111833080A (zh) 2019-04-15 2019-04-15 信息推送的方法、装置、电子设备和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN111833080A true CN111833080A (zh) 2020-10-27

Family

ID=72915342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910300830.9A Pending CN111833080A (zh) 2019-04-15 2019-04-15 信息推送的方法、装置、电子设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111833080A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580106A (zh) * 2021-01-26 2021-03-30 证通股份有限公司 多源数据处理系统以及多源数据处理方法
CN113902132A (zh) * 2021-12-09 2022-01-07 北京达佳互联信息技术有限公司 负反馈行为预测模型训练方法、消息推送方法及设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11232278A (ja) * 1998-02-12 1999-08-27 Fujitsu Ltd 情報源推薦装置
JP2003150378A (ja) * 2001-11-15 2003-05-23 Fujitsu Ltd 解候補推薦装置
CN104572734A (zh) * 2013-10-23 2015-04-29 腾讯科技（深圳）有限公司 问题推荐方法、装置及系统
CN105824963A (zh) * 2016-03-31 2016-08-03 北京小度信息科技有限公司 订单推荐方法和装置
CN107105031A (zh) * 2017-04-20 2017-08-29 北京京东尚科信息技术有限公司 信息推送方法和装置
CN107222526A (zh) * 2017-05-16 2017-09-29 百度在线网络技术（北京）有限公司 推送推广信息的方法、装置、设备和计算机存储介质
CN108335234A (zh) * 2018-01-18 2018-07-27 北京三快在线科技有限公司 布草信息发送方法、装置、电子设备及可读存储介质
CN109492837A (zh) * 2018-12-29 2019-03-19 携程旅游网络技术（上海）有限公司 机票订单保险推送方法、装置、电子设备、存储介质
CN109492160A (zh) * 2018-10-31 2019-03-19 北京字节跳动网络技术有限公司 用于推送信息的方法和装置
CN109544392A (zh) * 2019-01-18 2019-03-29 携程旅游信息技术（上海）有限公司 用于保险订单处理的方法、系统、设备以及介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11232278A (ja) * 1998-02-12 1999-08-27 Fujitsu Ltd 情報源推薦装置
JP2003150378A (ja) * 2001-11-15 2003-05-23 Fujitsu Ltd 解候補推薦装置
CN104572734A (zh) * 2013-10-23 2015-04-29 腾讯科技（深圳）有限公司 问题推荐方法、装置及系统
CN105824963A (zh) * 2016-03-31 2016-08-03 北京小度信息科技有限公司 订单推荐方法和装置
CN107105031A (zh) * 2017-04-20 2017-08-29 北京京东尚科信息技术有限公司 信息推送方法和装置
WO2018192491A1 (zh) * 2017-04-20 2018-10-25 北京京东尚科信息技术有限公司 信息推送方法和装置
CN107222526A (zh) * 2017-05-16 2017-09-29 百度在线网络技术（北京）有限公司 推送推广信息的方法、装置、设备和计算机存储介质
CN108335234A (zh) * 2018-01-18 2018-07-27 北京三快在线科技有限公司 布草信息发送方法、装置、电子设备及可读存储介质
CN109492160A (zh) * 2018-10-31 2019-03-19 北京字节跳动网络技术有限公司 用于推送信息的方法和装置
CN109492837A (zh) * 2018-12-29 2019-03-19 携程旅游网络技术（上海）有限公司 机票订单保险推送方法、装置、电子设备、存储介质
CN109544392A (zh) * 2019-01-18 2019-03-29 携程旅游信息技术（上海）有限公司 用于保险订单处理的方法、系统、设备以及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
朱锐 等: "基于偏好推荐的可信服务选择", 软件学报, vol. 22, no. 05, pages 852 - 864 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580106A (zh) * 2021-01-26 2021-03-30 证通股份有限公司 多源数据处理系统以及多源数据处理方法
CN113902132A (zh) * 2021-12-09 2022-01-07 北京达佳互联信息技术有限公司 负反馈行为预测模型训练方法、消息推送方法及设备

Similar Documents

Publication Publication Date Title
CN112525551A (zh) 自动驾驶车辆的路测方法、装置、设备及存储介质
CN111310055A (zh) 一种信息推荐方法、装置、电子设备及存储介质
US20160285672A1 (en) Method and system for processing network media information
CN110910180B (zh) 信息推送方法、装置、电子设备和存储介质
CN114418035A (zh) 决策树模型生成方法、基于决策树模型的数据推荐方法
CN110782301A (zh) 一种拼单方法、装置、电子设备及计算机可读存储介质
CN113688326B (zh) 推荐方法、装置、设备及计算机可读存储介质
CN111832869A (zh) 一种车辆调度方法、装置、电子设备及存储介质
CN112288337B (zh) 行为推荐方法、装置、设备及介质
CN111831894A (zh) 一种信息匹配方法及装置
CN111523933B (zh) 一种下单概率预测方法、装置、电子设备及可读存储介质
CN111833080A (zh) 信息推送的方法、装置、电子设备和计算机可读存储介质
CN111858873A (zh) 一种推荐内容的确定方法、装置、电子设备及存储介质
CN111861521A (zh) 数据处理方法、装置、计算机可读介质及电子设备
CN113506050A (zh) 员工绩效的评估方法、装置、电子设备及可读存储介质
CN111309815A (zh) 一种关系图谱的处理方法、装置和电子设备
CN111292105A (zh) 一种业务需求确定方法以及装置
CN111859172B (zh) 信息推送方法、装置、电子设备和计算机可读存储介质
CN115660783A (zh) 模型训练方法、商品推荐方法、装置、设备及介质
CN114596111A (zh) 风险识别模型生成方法、装置、设备及存储介质
CN111310961A (zh) 数据预测方法、装置、电子设备和计算机可读存储介质
CN113886697A (zh) 基于聚类算法的活动推荐方法、装置、设备及存储介质
CN111861538A (zh) 信息推送方法、装置、电子设备和存储介质
CN109460778B (zh) 活动评估方法、装置、电子设备及存储介质
CN111325614A (zh) 电子对象的推荐方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination