CN115712745B - 一种用户标注数据的获取方法、系统及电子设备 - Google Patents

Abstract

一种用户标注数据的获取方法、系统及电子设备，涉及终端技术领域，可以解决卡片排序模型的训练数据仅来自实验室构造的问题。该方法应用于包括显示屏的电子设备，显示屏的显示界面上卡片显示区域重叠显示有多张卡片，该方法包括：在电子设备的显示屏显示显示界面的过程中，若电子设备确定用户当前所处场景与第一目标场景匹配，则在显示界面上显示标注界面；第一目标场景包括在多张卡片对应的目标场景中，多张卡片中的任一张卡片对应至少一个目标场景，目标场景用于触发电子设备在显示界面显示标注界面；响应于用户在标注界面的标注操作，电子设备采集用于表征用户在标注界面对多张卡片的排序结果的用户标注数据。

Description

一种用户标注数据的获取方法、系统及电子设备

技术领域

本申请涉及终端技术领域，尤其涉及一种用户标注数据的获取方法、系统及电子设备。

背景技术

目前，电子设备的显示界面上显示有卡片，以使得电子设备通过卡片更为方便直观地为用户提供信息。当电子设备的显示界面显示有多张卡片时，可以根据卡片排序模型的输出结果确定多张卡片的排序，其中，卡片排序模型具有预测多张卡片的排列顺序的能力。

但是，现有的卡片排序模型的训练数据主要来自实验室构造的数据，而实验室构造的数据仅能反映业务侧对排序的诉求，无法准确体现用户对卡片排序的实际体验诉求。

发明内容

本申请实施例提供一种用户标注数据的获取方法、系统及电子设备，该方法在电子设备的卡片显示区域重叠显示有多张卡片时，在电子设备确定用户当前所处场景与第一目标场景匹配的情况下，电子设备的显示界面上显示标注界面，响应于用户在标注界面对多张卡片的标注操作，电子设备采集得到表征用户对多张卡片的排序结果的用户标注数据，该用户标注数据用于对卡片排序模型进行训练，卡片排序模型具有预测多张卡片在显示界面的排序结果的能力。由此，实现了采集得到用户对多张卡片的真实期望排序的数据作为卡片排序模型的训练数据的目的。

为达到上述目的，本申请采用如下技术方案：

第一方面，本申请实施例提供一种用户标注数据的获取方法，应用于包括显示屏的电子设备，显示屏的显示界面上卡片显示区域重叠显示有多张卡片，该方法包括：

在电子设备的显示屏显示显示界面的过程中，若电子设备确定用户当前所处场景与第一目标场景匹配，则在显示界面上显示标注界面；第一目标场景包括在多张卡片对应的目标场景中，多张卡片中的任一张卡片对应至少一个目标场景，目标场景用于触发电子设备在显示界面显示标注界面；标注界面用于用户标注多张卡片在卡片显示区域的排序；

响应于用户在标注界面的标注操作，电子设备采集用户标注数据，用户标注数据用于表征用户在标注界面对多张卡片的排序结果，用户标注数据用于对卡片排序模型进行训练，卡片排序模型具有预测多张卡片在显示界面的排序结果的能力。

其中，第一目标场景可以为卡片显示区域重叠显示的多张卡片对应的目标场景中的任一目标场景，此处不做限定。电子设备确定用户当前所处场景与多张卡片对应的至少一个目标场景匹配，则电子设备确定用户当前所处场景与第一目标场景匹配。

比如，电子设备的卡片显示区域重叠显示有5张卡片，电子设备确定用户当前所处场景与5张卡片中的至少一张卡片对应的目标场景匹配，则电子设备确定用户当前所处场景与第一目标场景匹配。

在本申请实施例中，在电子设备的显示屏上显示显示界面时，触发电子设备确定用户当前所处场景与第一目标场景是否匹配。当电子设备确定用户当前所处场景与第一目标场景匹配时，显示界面上显示标注界面，响应于用户在标注界面对重叠显示的多张卡片的排序操作，电子设备采集得到用户标注数据。由此，电子设备可以采集得到用户对多张卡片的真实期望排序的数据作为卡片排序模型的训练数据，采用用户标注数据作为训练数据对卡片排序模型进行训练，使得卡片排序模型预测多张卡片在显示界面的排序结果更加符合用户真实期望的排序结果。

可选地，卡片对应设置有显示参数，显示参数包括卡片对应的标注界面的显示频率和/或卡片对应的标注界面的并发次数，并发次数是指在第一预设时间内所述电子设备确定所述用户当前所处场景与所述第一目标场景多次匹配的情况下，所述显示界面显示标注界面的次数。

若电子设备确定用户当前所处场景与第一目标场景匹配，则在显示界面上显示标注界面，包括：

电子设备确定用户当前所处场景与第一目标场景匹配之后，则确定第一目标场景对应的目标卡片，若满足目标卡片对应的显示参数，则在显示界面上显示标注界面。

可选地，多张卡片包括高频显示卡片和低频显示卡片，高频显示卡片是指在第二预设时间内卡片的显示频率大于或等于第一阈值的卡片，低频显示卡片是指在第二预设时间内卡片的显示频率小于第一阈值的卡片；卡片的显示频率用于反映单位时间内卡片在显示界面上显示的次数；

高频显示卡片对应的标注界面的显示频率小于低频显示卡片对应的标注界面的显示频率，和/或，同一时段内高频显示卡片对应的标注界面的并发次数小于低频显示卡片对应的标注界面的并发次数。

可选地，高频显示卡片、低频显示卡片对应的标注界面的显示频率以及并发次数由电子设备采用令牌桶算法控制。

在本申请实施例中，电子设备采用令牌桶算法控制高频显示卡片和低频显示卡片对应的标注界面的显示频率以及并发次数，从而避免了高频显示卡片对应的标注界面在显示界面并发次数较多，影响用户使用体验的问题。可选地，高频显示卡片、低频显示卡片对应的标注界面的显示频率以及并发次数由电子设备采用令牌桶算法控制，包括：

电子设备采用第一令牌生成速率在高频显示卡片对应的第一令牌桶中生成令牌，电子设备采用第二令牌生成速率在低频显示卡片对应的第二令牌桶中生成令牌；第一令牌生成速率小于第二令牌生成速率，第一令牌桶的容量小于第二令牌桶的容量；第一令牌生成速率等于高频显示卡片对应的标注界面的显示频率；第二令牌生成速率等于低频显示卡片对应的标注界面的显示频率；第一令牌桶的容量等于高频显示卡片对应的标注界面的并发次数；第二令牌桶的容量等于低频显示卡片对应的标注界面的并发次数；

在电子设备确定用户当前所处场景与高频显示卡片的目标场景匹配，且第一令牌桶中令牌的个数大于预设个数的情况下，显示界面显示标注界面；

在电子设备确定用户当前所处场景与低频显示卡片的目标场景匹配，且第二令牌桶中令牌的个数大于预设个数的情况下，显示界面显示标注界面。

由此，电子设备通过控制令牌生成速率，对显示频率不同的卡片显示标注界面的显示频率进行控制，即对不同显示频率的卡片采集得到的用户标注数据的数量进行控制，不仅避免了标注界面在显示界面并发次数较多，影响用户体验的问题，还可以确保采集得到的用户标注数据的数量在各类型卡片上保持均衡。可选地，卡片对应的每一个目标场景下设置有标注界面的显示概率，电子设备确定用户当前所处场景与第一目标场景匹配，在显示界面上显示标注界面，包括：

电子设备确定用户当前所处场景与第一目标场景匹配之后，确定第一目标场景下标注界面的显示概率；若标注界面的显示概率大于第二阈值，则在显示界面上显示标注界面。

其中，第二阈值为预先设定的概率值，此处对第二阈值的具体取值不做限定。

可以理解为，当某一张卡片对应的目标场景较多时，为了确保电子设备均匀采集到在同一卡片的不同目标场景下的用户标注数据，电子设备还可以根据该卡片在不同目标场景下标注界面的显示概率是否大于第二阈值，以确定是否在显示界面上显示标注界面。

可选地，上述用户标注数据的获取方法还可以包括：

在电子设备确定在卡片对应的第二目标场景下，采集的用户标注数据的数量满足目标数量的情况下，电子设备调整第二目标场景下标注界面的显示概率，目标数据为预先设置的卡片对应的第二目标场景下采集用户标注数据的最大数量。

此处对目标数据量的具体数值不做限定，比如，目标数据量可以为5000个，8000个，等等。

可以理解为，当电子设备确定卡片对应的第二目标场景下采集的用户标注数据满足目标数据量后，电子设备可以降低该第二目标场景下标注界面的显示概率，以达到动态的调整各目标场景下的用户标注数据的采样数量的目的，由此，电子设备采集的用户标注数据更加符合预期的分布，提高了用户标注数据的采样质量。

可选地，确定用户当前所处场景与第一目标场景匹配之前，上述用户标注数据的获取方法还可以包括：

电子设备根据多张卡片中显示的内容，确定多张卡片分别对应的类别；根据多张卡片分别对应的类别，确定每一张卡片对应的至少一个目标场景。

可选地，确定用户当前所处场景与第一目标场景匹配之前，上述用户标注数据的获取方法还可以包括：

电子设备获取当前时间信息和/或用户当前的位置信息；电子设备根据当前时间信息和/或用户当前的位置信息，确定用户当前所处场景。

在本申请实施例中，电子设备的显示屏显示显示界面的过程中，电子设备可以实时的或周期性的获取当前时间信息和/或用户当前的位置信息，以根据当前时间信息和/或用户当前的位置信息，确定用户当前所处场景。

可选地，确定用户当前所处场景与第一目标场景匹配之前，上述用户标注数据的获取方法还可以包括：

电子设备确定用户的运动状态，用户的运动状态包括用户处于乘车状态、步行状态、跑步状态或静止状态；电子设备根据用户的运动状态，确定用户当前所处场景。

比如，电子设备根据获取到的用户的运动状态信息，确定用户的运动状态由乘车状态切换至步行状态，此时，电子设备确定用户当前所处场景为出地铁站的场景。

第二方面，本申请提供一种用户标注数据的获取系统，该系统可以包括：至少一个包括显示屏的电子设备；服务器；

其中，电子设备用于在显示屏显示显示界面的过程中，若电子设备确定用户当前所处场景与第一目标场景匹配，则在显示界面上显示标注界面，第一目标场景包括在多张卡片对应的目标场景中，多张卡片中的任一张卡片对应至少一个目标场景，目标场景用于触发电子设备在显示界面显示标注界面；标注界面用于用户标注多张卡片在卡片显示区域的排序；响应于用户在标注界面的标注操作，电子设备采集用户标注数据，用户标注数据用于表征用户在标注界面对多张卡片的排序结果，用户标注数据用于对卡片排序模型进行训练，卡片排序模型具有预测多张卡片在显示屏的排序结果的能力；

服务器用于接收来自至少一个电子设备的用户标注数据后，采用用户标注数据对卡片排序模型进行训练。

第三方面，本申请提供一种电子设备，包括：显示屏；一个或多个处理器；存储器；

其中，存储器中存储有一个或多个计算机程序，一个或多个计算机程序包括指令，当指令被电子设备执行时，使得电子设备执行上述用户标注数据的获取方法。

第四方面，本申请提供一种电子设备，该电子设备具有实现上述第一方面所述的方法的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。例如，该电子设备包括显示模块用于在电子设备的显示屏显示显示界面的过程中，若电子设备确定用户当前所处场景与第一目标场景匹配，则在显示屏上显示标注界面；

数据采集模块用于响应于用户在标注界面的标注操作，电子设备采集用户标注数据，用户标注数据用于表征用户在标注界面对多张卡片的排序结果，用户标注数据用于对卡片排序模型进行训练，卡片排序模型具有预测多张卡片在显示屏的排序结果的能力。

第五方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当指令在电子设备上运行时，使得电子设备执行如第一方面中任一项所述的用户标注数据的获取方法。

第六方面，本申请提供一种计算机程序产品，计算机程序产品包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行如第一方面中任一项所述的用户标注数据的获取方法。

可以理解地，上述提供的第三方面和第四方面所述的电子设备、第五方面所述的计算机存储介质，以及第六方面所述的计算机程序产品均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

附图说明

图1为本申请实施例提供的电子设备显示卡片的示例图一；

图2为本申请实施例提供的电子设备显示卡片的示例图二；

图3为本申请实施例提供的电子设备显示卡片的示例图三；

图4为本申请实施例提供的电子设备显示卡片的示例图四；

图5为本申请实施例提供的电子设备显示卡片的示例图五；

图6为本申请实施例提供的一种用户标注数据的处理系统的结构示意图；

图7为本申请实施例提供的一种服务器的结构示意图；

图8为本申请实施例提供的一种电子设备的结构示意图；

图9为本申请实施例提供的一种电子设备的软件结构示意图；

图10为本申请实施例提供的一种用户标注数据获取的示例图一；

图11为本申请实施例提供的一种用户标注数据获取的示例图二；

图12为本申请实施例提供的令牌桶算法的原理图；

图13为本申请实施例提供的另一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

目前，电子设备的显示界面可以显示界面小组件。其中，显示界面小组件可以通过卡片的形式显示在电子设备的显示界面上，当然也可以以其它形式显示，在此不做限定。其中，卡片是一种具有封闭轮廓的信息载体，以浓缩的形式直观快捷地提供重要或密切相关的信息，用于信息的显示和交互。卡片可以显示在电子设备的显示界面（比如，电子设备的显示界面，负一屏等）上，以使得用户在打开电子设备后即可看到卡片中显示的内容。一个应用程序（application，APP）可以对应于一张卡片，也可以对应于多张卡片，在此不做限定。

例如，假设APP为天气，该APP对应于一张卡片，该一张卡片的形式可以有多种，比如，不同形式的卡片大小或形状不同，电子设备的显示界面中显示的该卡片仅用于显示天气推送的信息。短视频APP可以对应于多张卡片，多张卡片在电子设备的显示界面用于显示短视频APP推送的信息。此外，一张卡片也可以用于显示多个APP推送的信息，例如，一张卡片上可以显示有天气、日历、时钟以及地图等多个APP推送的信息。此外，卡片中显示的内容包括但不限于文字，数字，图像以及视频等，本申请实施例中对卡片中显示的内容也不做限定。

在本申请实施例中，用户可以在电子设备中预先设置是否允许APP通过卡片推送信息。在一个示例中，假设APP为天气，用户可以在天气APP中预先设置通过卡片推送天气信息，以使得电子设备可以在显示界面显示的卡片中推送天气信息。如图1所示，用户在天气APP中设置通过卡片推送天气信息，电子设备的显示界面可以通过卡片显示当天天气信息。还例如，假设APP为会议APP，用户可以在会议APP中设置，以使得电子设备可以在显示界面显示的卡片中推送会议提示信息。如图2所示，用户可以在会议APP中设置提前30分钟通过卡片推送会议提示信息。如图2中会议开始时间为9:00，电子设备的显示界面在8:30显示的卡片中显示有会议时间、会议地点、会议主题、参会人员等等。

需要说明的是，用户在电子设备中预先设置允许APP通过卡片推送消息后，电子设备可以根据用户设置的卡片显示时间，在卡片显示时间即将到来或卡片显示时间到来时在显示界面显示卡片，还可以根据卡片中事件的发生时间，在事件的发生时间即将到来或事件的发生时间到来时在显示界面显示卡片，等等。

示例性的，如图3中示出了电子设备的显示界面中显示航班卡片的过程。当电子设备检测到用户在航班APP购买机票后，电子设备的显示界面可以显示航班卡片1，该航班卡片中显示已出票的提示信息，如图3中的（a）所示。当该航班开放值机时，电子设备的显示界面可以显示航班卡片2，如图3中的（b）所示。当电子设备检测到用户触发航班卡片2中的“值机选座”控件后，航班APP响应于用户的触发操作，显示值机选座位的界面。在该航班出发前两小时，电子设备的显示界面可以显示航班卡片3，以提示用户是否需要预约出租车，如图3中的（c）所示。在该航班起飞前80分钟时，电子设备的显示界面可显示航班卡片4，以提示用户是否到达机场，如图3中的（d）所示。在该航班起飞前一小时，电子设备的显示界面可以显示航班卡片5，以提示用户是否托运行李，如图3中的（e）所示。在该航班起飞前半小时，电子设备的显示界面可以显示航班卡片6，以提示用户是否已经登机，如图3中的（f）所示。

上述图3中电子设备的显示界面显示各航班卡片的时间仅作为示例性描述，航班APP也可以根据用户当前所处的时间、地点以及航班信息等通过卡片推送消息，此处不做限定。此外，航班卡片在显示界面显示的时长也不做限定，比如，图3中的（a）示出的航班卡片1可以持续在电子设备的显示界面显示，直至该航班出发当天。上述图3中显示的航班卡片1至航班卡片6可以是同一张航班卡片，也可以是不同的航班卡片，此处也不做限定。当航班卡片1至航班卡片6为同一张航班卡片的情况下，该航班卡片在不同时间显示不同的事件信息。

上述图1-图3中所示的卡片仅为示例性说明，本申请所示卡片不限于图1-图3任一所示卡片的属性信息，还可以具备其他属性信息。本申请中，卡片的属性信息可以包括但不限于卡片的形状、大小、卡片中字体颜色等等。

在一些实施例中，卡片的属性信息可以为开发人员在该卡片对应的APP中通过RemoteViews数据结构来预先设置的卡片的属性信息。如定义RemoteViews及其坐标布局，设置RemoteViews的字体颜色、字符串内容、图标和响应用户输入的操作等数据信息。或者，卡片的属性信息还可以为开发人员在该卡片对应的APP中通过xml文件等数据结构描述的关于卡片布局的属性信息。本申请实施例中对设置卡片的属性信息的方式不做限定。

其中，卡片的属性信息可以为电子设备厂商在电子设备出厂前在其自行开发的应用中预先设置。比如，刚出厂的电子设备，该电子设备上还未安装第三方应用，电子设备厂商可以在出厂时在其自行开发的应用中预先设置卡片的属性信息。再比如，电子设备厂商与第三方应用提供商提前协商一致，通过电子设备自带的应用市场下载的第三方应用对应的卡片的属性信息可以经过上述方法预先设置。当然，电子设备上的应用也可以为部分应用经过预先设置卡片的属性信息，部分应用没有经过预先设置卡片的属性信息等等，本申请实施例中在此不做限定。

在本申请实施例中，电子设备的显示界面中可以显示一张卡片，也可以同时显示多张卡片，本申请实施例中电子设备的显示界面显示的卡片的数量，可以根据用户预先设定的显示数量进行显示，也可以根据实际需求进行显示，此处不做限定。电子设备的使用者可以通过拖动操作，将卡片向任意位置移动，电子设备可以根据检测到的使用者的拖动动作，调整卡片在电子设备的显示界面中的位置。例如，电子设备的使用者可以拖动卡片向电子设备的显示界面的下侧区域移动，以实现调整卡片在电子设备的显示界面中的位置的目的。

在一种场景下，当电子设备的显示界面中显示一张卡片时，本申请实施例中对该张卡片在电子设备的显示界面中的显示位置不做限定，卡片可以在电子设备的显示界面的任意位置进行显示。例如，卡片可以显示在电子设备的显示界面的上侧区域、左侧区域、右侧区域以及中间区域等等。此外，本申请实施例中，对卡片的形状也不做限定，卡片可以为任意具有封闭区域的规则形状或者不规则形状。例如，卡片可以为长方形、椭圆形、正方形以及圆形等规则形状。

在另一种场景下，当电子设备的显示界面中同时显示多张卡片时，该多张卡片可以在电子设备的显示界面中重叠显示，也可以在电子设备的显示界面中平铺显示，等等，本申请实施例中对电子设备的显示界面同时显示多张卡片的显示方法不做限定。同样地，多张卡片可以在电子设备的显示界面的任意位置进行显示，本申请实施例中对多张卡片显示的位置也不做限定。此外，本申请实施例中，多张卡片的形状和大小可以相同，也可以不相同。例如，电子设备的显示界面同时显示5张大小相同的长方形的卡片。

示例性的，如图4所示，假设手机的显示界面中同时显示3张卡片，该3张卡片可以在手机的显示界面中重叠显示。可选地，手机的显示界面上包括有显示区域，显示区域中显示有标记，以使得用户根据显示屏的显示区域中显示的标记更加直观的确定手机的显示界面一共重叠显示有几张卡片以及当前显示的是第几张卡片。如图4中，根据卡片的显示标记确定手机的显示界面一共重叠显示3张卡片，当前显示的是第几张卡片。图4中卡片的显示标记仅作为示例性描述，也可以为任意形状、形式的标记，本申请实施例中对此不做限定。

当电子设备的显示界面中叠加显示多张卡片时，电子设备的使用者可以通过上下滑动的方式切换电子设备的显示界面当前显示的卡片。例如，如图4所示，假设手机的显示界面中有卡片A，卡片B以及卡片C叠加显示，如图4中的（a）所示的显示界面，手机的显示界面当前显示的卡片为卡片B。手机的使用者向上滑动该卡片B，则手机的显示界面当前显示的卡片从卡片B切换为卡片C，如图4中的（b）所示。

在本申请实施例中，电子设备的显示界面中叠加显示多张卡片时，电子设备可以根据以下两种方式确定电子设备的显示界面中显示的多张卡片的排序。

第一种方式，当电子设备的显示界面中叠加显示多张卡片时，电子设备的使用者可以通过在电子设备的显示界面显示的弹窗里对多张卡片进行重新排序。然后，电子设备的显示界面中叠加显示重新排序后的多张卡片。

示例性的，如图5所示，假设手机的显示界面中有卡片A，卡片B以及卡片C叠加显示，如图5中的（a）所示的显示界面，手机的显示界面当前显示的卡片为天气卡片。手机的使用者在手机的显示界面显示的弹窗中触发选中卡片的操作，手机响应于用户对用于选中卡片的控件的操作，对手机的显示界面中的3张卡片进行重新排序。例如，如图5中的（b）所示的显示界面为对手机的显示界面中的3张卡片重新排序后的显示结果，此时，手机的显示界面当前显示的卡片为健康卡片。比如，手机可以根据用户触发选中卡片的控件的先后顺序，对手机的显示界面中的3张卡片进行重新排序。

以上图1至图5的卡片以定时推送的方式显示，仅仅是本申请的一些示例，本申请不限于此。电子设备还可以响应于用户直接在电子设备的显示界面上设置卡片的操作，卡片中实时显示对应的推送信息。在以上示例中，对卡片显示的具体形状、形式等不做限定。

第二种方式，电子设备还可以根据经过训练后的卡片排序模型的预测结果对多张卡片进行排序。其中，卡片排序模型具有根据输入的多张卡片的种类预测多张卡片排序的能力。

但是，相关技术中，卡片排序模型的训练数据主要来自实验室构造的数据，导致卡片排序模型预测的多张卡片的排序结果，无法准确的体现用户对多张卡片排序的真实诉求，从而导致电子设备的显示界面上显示的多张卡片的排序结果直接影响用户的使用体验。因此，如何获取更符合用户真实需求的排序结果作为训练数据，对卡片排序模型的预测精度具有至关重要的作用。

为了解决上述问题，本申请实施例提供一种用户标注数据的获取方法，应用于包括显示屏的电子设备，显示屏的显示界面上的卡片显示区域重叠显示有多张卡片，该方法在电子设备的显示屏显示显示界面的过程中，若电子设备确定用户当前所处场景与第一目标场景匹配，则在显示界面上显示标注界面，响应于用户在标注界面的标注操作，电子设备采集得到表征用户在标注界面对多张卡片的排序结果的用户标注数据，其中，用户标注数据用于训练卡片排序模型，卡片排序模型具有预测多张卡片在显示屏的排序结果的能力，从而实现了采集得到反映用户对多张卡片的真实期望排序的数据作为卡片排序模型的训练数据的目的。

在一种可能的情况下，电子设备采集得到用户标注数据后，电子设备可以将用户标注数据上报至服务器。服务器接收到来自电子设备上报的用户标注数据后，可以采用用户标注数据对卡片排序模型进行训练。由此，服务器训练后的卡片排序模型预测得到的电子设备的显示界面中多张卡片的排序结果，更加符合用户期望的排序结果，有利于提高卡片排序模型的预测精度。

在另一种可能的情况下，电子设备采集得到用户标注数据后，电子设备可以采用用户标注数据对卡片排序模型进行训练，使得训练后的卡片排序模型预测得到的电子设备的显示界面中多张卡片的排序结果，更加符合用户的个性化需求，有利于提高卡片排序模型的预测精度。

需要解释的是，上述服务器训练得到的卡片排序模型预测得到的电子设备的显示界面中多张卡片的排序结果，符合多数用户对多张卡片的真实期望排序结果。而电子设备采用用户标注数据训练得到的卡片排序模型，更加符合电子设备的使用者对多张卡片的真实期望排序结果，能够满足电子设备的使用者的个性化需求，提高了用户的使用体验。

在一些实施例中，图6为本申请实施例提供的一种用户标注数据的处理系统的结构示意图，如图6所示，该系统可以包括电子设备、数据采集服务器、大数据平台及数据处理服务器。其中，数据采集服务器可以接收一个或多个电子设备采集并发送的用户标注数据，并实时的或周期性的（比如，20分钟）将接收到的用户标注数据存储至大数据平台。此处，数据采集服务器、大数据平台及数据处理服务器可以集成在一起，也可以分别设置在不同的设备上，本申请实施例不予限定。

其中，数据处理服务器可以对用户标注数据进行处理和分析，例如，数据处理服务器可以对用户标注数据的一致性进行分析，删除一致性低的数据，保留一致性高的数据。数据处理服务器还可以对各场景下的用户标注数据进行汇总，然后，根据汇总结果，调整各场景的采样概率，直至各场景的用户标注数据采集充分。

图7为本申请实施例提供的一种服务器的结构示意图，该服务器可以是上述数据采集服务器、大数据平台或数据处理服务器，也可以是集成有数据采集服务器、大数据平台或数据处理服务器的设备。下面对服务器进行具体说明。可以理解的是，本申请实施例示意的结构并不构成对服务器的具体限定。在另一些实施例中，服务器可以包括比图7中更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

如图7所示，服务器可以包括处理器710、存储器720及通信模块730。处理器710可用于读取和执行计算机可读指令。具体地，处理器710可以包括控制器、运算器和寄存器。其中，控制器主要负责指令译码，并为指令对应的操作发出控制信号。运算器主要负责保存指令执行过程中临时存放的寄存器操作数和中间操作结果等。寄存器是有限存贮容量的高速存贮部件,可用来暂存指令、数据和地址。

其中，处理器710还可以包括数据分析模块711和配置更新模块712。数据分析模块711可以用于对用户标注数据进行一致性分析，删除一致性低的数据，保留一致性高的数据，从而筛选出有效的用户标注数据，并对不同类型的卡片对应的有效用户标注数据进行汇总。

配置更新模块712可以用于根据数据分析模块711汇总后的用户标注数据，确定某一目标场景下的用户标注数据的数量已经达到目标数据量后，降低该目标场景对应的采样概率。

具体实现中，处理器710的硬件架构可以是专用集成电路(application specificintegrated circuit，ASIC)架构、无内锁流水线微处理器(microprocessor withoutinterlocked piped stages，MIPS)架构、ARM(advanced risc machines)架构或者网络处理器(net processor，NP)架构等等。

存储器720与处理器710耦合，用于存储各种软件程序和/或多组指令。本申请实施例中，电子设备的数据存储方法除了可以集成在服务器的一个处理器中实现以外，也可以以程序代码的形式存储于服务器的存储器中，由服务器的一个处理器调用服务器的存储器中存储的代码，执行以上方法。具体实现中，存储器720可包括高速随机存取的存储器，并且也可包括非易失性存储器，例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。存储器720可以存储操作系统，例如uCOS，VxWorks、RTLinux等嵌入式操作系统。

通信模块730可用于通过网络建立服务器与其它通信终端（如图6中的多个电子设备）之间的通信连接，并用于通过网络收发数据。例如，在电子设备开机联网的情况下，服务器通过通信模块730与电子设备建立连接，以便于后续用户样本数据的传输。例如，在电子设备采集到用户反馈的用户样本数据时，服务器可以接收来自电子设备上报的用户样本数据。

可以理解的是，本实施例示意的结构并不构成对服务器的具体限定。在另一些实施例中，服务器可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

其中，上述电子设备可以为手机、平板电脑、个人计算机（personal computer，PC）、个人数字助理（personal digital assistant，PDA）、智能手表、上网本、可穿戴电子设备、增强现实技术（augmented reality，AR）设备、虚拟现实（virtual reality，VR）设备、车载设备、智能汽车等具有显示屏的设备，本申请实施例中对电子设备的具体形式不做任何限制。

如图8所示，图8为本申请实施例提供的一种电子设备的结构示意图。

电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线（universal serial bus，USB）接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块（subscriber identification module，SIM）卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器（application processor，AP），调制解调处理器，图形处理器（graphics processingunit，GPU），图像信号处理器（image signal processor，ISP），控制器，存储器，视频编解码器，数字信号处理器（digital signal processor，DSP），基带处理器，和/或神经网络处理器（neural-network processing unit，NPU）等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路（inter-integrated circuit，I2C）接口，集成电路内置音频（inter-integrated circuitsound，I2S）接口，脉冲编码调制（pulse code modulation，PCM）接口，通用异步收发传输器（universal asynchronous receiver/transmitter，UART）接口，移动产业处理器接口（mobile industry processor interface，MIPI），通用输入输出（general-purposeinput/output，GPIO）接口，用户标识模块（subscriber identity module，SIM）接口，和/或通用串行总线（universal serial bus，USB）接口等。

可以理解的是，本申请实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态（漏电，阻抗）等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器（low noise amplifier，LNA）等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备（不限于扬声器170A，受话器170B等）输出声音信号，或通过显示屏194显示图像或视频。

无线通信模块160可以提供应用在电子设备100上的包括无线局域网（wirelesslocal area networks，WLAN）（如无线保真（wireless fidelity，Wi-Fi）网络），蓝牙（bluetooth，BT），全球导航卫星系统（global navigation satellite system，GNSS），调频（frequency modulation，FM），近距离无线通信技术（near field communication，NFC），红外技术（infrared，IR）等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。无线通信技术可以包括全球移动通讯系统（global system for mobile communications，GSM），通用分组无线服务（general packet radio service，GPRS），码分多址接入（codedivision multiple access，CDMA），宽带码分多址（wideband code division multipleaccess，WCDMA），时分码分多址（time-division code division multiple access，TD-SCDMA），长期演进（long term evolution，LTE），BT，GNSS，WLAN，NFC ，FM，和/或IR技术等。GNSS可以包括全球卫星定位系统（global positioning system，GPS），全球导航卫星系统（global navigation satellite system，GLONASS），北斗卫星导航系统（beidounavigation satellite system，BDS），准天顶卫星系统（quasi-zenith satellitesystem，QZSS）和/或星基增强系统（satellite based augmentation systems，SBAS）。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏（liquid crystal display，LCD），有机发光二极管（organic light-emittingdiode，OLED），有源矩阵有机发光二极体或主动矩阵有机发光二极体（active-matrixorganic light emitting diode的，AMOLED），柔性发光二极管（flex light-emittingdiode，FLED），Miniled，MicroLed，Micro-oLed，量子点发光二极管（quantum dot lightemitting diodes，QLED）等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组（moving picture experts group，MPEG）1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络（neural-network，NN）计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序（比如声音播放功能，图像播放功能等）等。存储数据区可存储电子设备100使用过程中所创建的数据（比如音频数据，电话本等）等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器（universal flash storage，UFS）等。

内部存储器121还可以用于存储电子设备采集的用户标注数据。

电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。

扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐，或收听免提通话。

受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。

麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。

耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动电子设备平台（open mobile terminal platform，OMTP）标准接口，美国蜂窝电信工业协会（cellular telecommunications industry association of the USA，CTIA）标准接口。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。

马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用（例如拍照，音频播放等）的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景（例如：时间提醒，接收信息，闹钟，游戏等）也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。

指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡，Micro SIM卡，SIM卡等。同一个SIM卡接口195可以同时插入多张卡。多张卡的类型可以相同，也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，电子设备100采用eSIM，即：嵌入式SIM卡。eSIM卡可以嵌在电子设备100中，不能和电子设备100分离。

电子设备的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本发明实施例以分层架构的Android系统为例，示例性说明电子设备的软件结构。

图9为本申请实施例提供的一种电子设备的软件结构示意图。

可以理解的是，分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，Android系统分为四层，可以包括应用程序层（简称为应用层），应用程序框架层（简称为框架层），安卓运行时（Android Runtime）和系统库，以及内核层。

上述应用程序层可以包括一系列应用程序包。如图9所示，应用程序包可以包括系统应用。其中，系统应用是指电子设备在出厂之前设置在电子设备内的应用。示例性的，系统应用可以包括相机、图库、日历、音乐、短信息以及通话等程序。应用程序包还可以包括第三方应用，第三方应用是指用户从应用商店（或者应用市场）下载安装包后安装的应用。例如，地图类应用、外卖类应用、阅读类应用（例如电子书）、社交类应用以及出行类应用等。

应用程序层还可以包括卡片分类模块、频率控制模块、场景匹配模块和数据采集模块。

其中，卡片分类模块用于对电子设备中各APP对应的卡片进行分类。比如，卡片分类模块可以将各APP对应的卡片分为任务提醒类卡片、信息呈现类卡片或服务类卡片，等等。

频率控制模块用于控制电子设备的显示界面显示标注界面的频率。其中标注界面是指用户对多张卡片的排序进行标注的界面。

场景匹配模块用于判断用户当前所处场景与目标场景是否匹配。其中，目标场景是指预先设置的在显示界面显示标注界面时卡片对应的场景。比如，目标场景可以为卡片刚刚创建时，卡片中的事件即将开始时，卡片中的事件已经开始时，卡片中的事件即将结束时等等。

数据采集模块用于采集用户在标注界面对多张卡片进行排序的用户标注数据。

上述应用程序框架层为应用程序层的应用程序提供应用编程接口（applicationprogramming interface，API）和编程框架。应用程序框架层包括一些预先定义的函数。

如图9所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器，显示通知模块以及组件服务管理器等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供电子设备的通信功能。例如通话状态的管理（包括接通，挂断等）。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，手机振动，指示灯闪烁等。

显示通知模块用于通知标注界面在电子设备的显示界面上显示。比如，标注界面以弹窗的形式显示的电子设备的显示界面时，显示通知模块可以通知电子设备的显示界面显示标注界面。

组件服务管理器用于接收显示界面的APP发布的桌面小组件（比如卡片）的属性信息并保存起来，同时提供接口以查询APP的桌面小组件的属性信息。其中，桌面小组件的属性信息可以指桌面小组件显示的位置，桌面小组件中显示的字体颜色，图标以及响应于用户输入的操作等信息。以Android系统为例，组件服务管理器可以作为一个常驻在Android系统的服务进程，提供一个远程调用接口接收APP发布的桌面小组件的属性信息，同时提供另一个远程调用接口供查询桌面小组件的属性信息。组件服务管理器保存了APP的唯一标识和该APP对应的桌面小组件的属性信息。其中，APP的唯一标识可以为该APP的应用包名称等。该APP对应的桌面小组件的属性信息以数据结构的形式发布和保存。

Android Runtime包括核心库和虚拟机。Android Runtime负责安卓系统的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

系统库可以包括多个功能模块。例如：表面管理器（surface manager），媒体库（Media Libraries），三维图形处理库（例如：OpenGL ES），二维图形引擎（例如：SGL）等。

表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了二维和三维图层的融合。

媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。

三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。

二维图形引擎是二维绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动以及传感器驱动。

以下实施例中所涉及到的技术方案均可以在具有上述硬件结构和软件架构的电子设备中实现。以下仍以电子设备为手机为例，对本方案进行示例性说明。

在本申请实施例中，手机解锁屏幕后，用户可以在手机中已安装的APP中设置是否在手机的显示屏的显示区域（例如，手机的显示界面）显示APP对应的卡片。例如，用户可以在手机中已安装的APP中设置在预设时间段内在手机的显示界面的卡片显示区域显示卡片。其中，卡片中包括至少一个APP推送的信息。在本申请实施例中，手机的显示界面中可以显示一张卡片，也可以同时显示多张卡片。本申请实施例中手机的显示界面中显示的卡片的数量，可以根据用户预先设定的显示数量进行显示，也可以根据实际需求进行显示，此处不做限定。

需要解释的是，卡片显示区域可以在手机的显示界面的任意位置进行显示，本申请实施例中对卡片显示区域在手机的显示界面中的显示位置不做限定。比如，可以在手机的显示界面的上侧区域、左侧区域、右侧区域以及中间区域等等。

在一种可能的场景下，在手机的屏幕解锁后，手机的显示界面的卡片显示区域包括多张卡片，且多张卡片可以在卡片显示区域重叠显示。此处，手机的显示界面的卡片显示区域显示多张卡片的排序是基于卡片排序模型的预测结果进行排序的。其中，卡片排序模型具有预测多张卡片在卡片显示区域的排序的能力。

为了提高卡片排序模型的预测精度，服务器可以基于手机的数据采集模块上报的用户标注数据对卡片排序模型进行训练。其中，用户标注数据为手机的显示界面的卡片显示区域包括多张卡片时，手机的数据采集模块采集到的用户对卡片显示区域中多张卡片的期望排序结果。比如，假设卡片显示区域包括天气卡片、日程卡片和时间卡片时，若用户对该三张卡片的期望排序结果分别为日程卡片、天气卡片和时间卡片，则用户标注数据可以为天气卡片对应2，日程卡片对应1，时间卡片对应3。

可以理解为，手机的显示界面的卡片显示区域的重叠显示的多张卡片的排序结果，可能并不符合用户真实需求。这种情况下，手机的数据采集模块可以采集用户真实期望的排序结果，作为用户标注数据。然后，手机将采集到的用户标注数据上报至服务器，使得服务器根据接收到的用户标注数据对卡片排序模型进行训练。

作为一种可能的实现方式，手机的显示界面的卡片显示区域中包括重叠显示的多张卡片时，当手机的显示界面切换至手机桌面时，手机的显示界面中可以触发显示标注界面，使得用户在标注界面中标注真实期望的卡片排序结果。用户在标注界面对多张卡片的排序进行重新标注后，数据采集模块采集到用户在标注界面对多张卡片的标注结果，数据采集模块将多张卡片的标注结果作为用户标注数据上报至服务器，使得服务器根据接收到的用户标注数据对卡片排序模型进行训练。

示例性的，在手机的屏幕解锁后，假设手机的显示界面的卡片显示区域包含3张卡片，如图10中的（a）所示。为了收集用户对多张卡片的真实期望的排序结果，当手机的显示界面切换至手机桌面时，手机的显示界面中可以触发显示标注界面，使得用户在标注界面中标注真实期望的卡片排序结果，如图10中的（b）示出了用于用户标注卡片排序的标注界面。手机可以根据用户触发选中卡片的控件的先后顺序，对手机的显示界面中的3张卡片的排序进行标注。比如，假设图10中的3张卡片的原始排序从上至下依次为天气卡片、健康卡片和出行卡片。而用户真实期望的排序与原始排序并不相同，这种情况下，用户可以在标注界面中标注出真实期望的卡片排序结果。比如，在图10中的（b），手机响应于用户依次选中出行卡片、健康卡片和天气卡片的操作，然后，手机检测到用户触发“提交反馈”的控件操作后，手机的数据采集模块采集到用户反馈的用户标注数据。其中，用户标注数据中包括用户对图10中3张卡片的真实期望的卡片排序结果。

需要解释的是，图10中的标注界面是以弹窗的形式显示在手机的显示界面中，当然，标注界面也可以通过其它形式显示在手机的显示界面中，此处不做限定。标注界面可以在手机的显示界面、消息通知界面、状态栏等位置显示，本申请实施例中对标注界面显示的具体形状、形式以及位置等不做限定。

在本申请实施例中，手机的显示界面的卡片显示区域的中包括多张重叠显示的卡片的场景下，当手机的显示界面显示手机桌面时，场景匹配模块可以实时的或周期性的（比如，每隔5分钟，10分钟等）获取当前时间信息、用户当前的位置信息、用户的运动状态信息（比如，用户正在行走，跑步等）和卡片状态信息中的至少一个。然后，场景匹配模块根据当前时间信息、用户当前的位置信息、用户的运动状态信息和卡片状态信息中的至少一个判断是否在手机的显示界面显示标注界面。在场景匹配模块确定用户当前所处场景与目标场景匹配的情况下，场景匹配模块向显示通知模块发送匹配成功的结果，显示通知模块可以根据匹配成功的结果通知手机的显示界面显示标注界面。

需要解释的是，手机的显示界面的卡片显示区域中重叠显示多张卡片时，每一张卡片对应至少一个目标场景，目标场景用于触发手机在显示界面显示标注界面。

在本申请实施例中，场景匹配模块判断是否在手机的显示界面显示标注界面的方法包括但不限于以下三种。

第一种方法，场景匹配模块可以根据当前时间信息和用户当前的位置信息，确定用户当前所处场景，然后，场景匹配模块判断用户当前所处场景与卡片显示区域中重叠显示多张卡片中至少一张卡片对应的目标场景是否匹配，以确定是否显示标注界面。然后，显示通知模块可以根据场景匹配模块的匹配结果确定是否通知手机的显示界面显示标注界面。

此处，用户当前所处场景是指场景匹配模块根据当前时间信息和用户当前的位置信息，确定的真实环境下用户当前所处的场景。目标场景是指根据卡片所属类别预先设置的，在手机的显示界面显示标注界面的场景，比如，目标场景为卡片显示区域中显示有快递卡片，且用户当前所处场景与快递柜的距离在预设范围时所处的场景。用户当前所处场景为用户真实所处的位置，比如，用户当前所处场景可以为用户在2022年12月10日下午3点在公司上班，下午5点在回家的路上，下午6点在快递柜3米处，等等。

本申请实施例中，场景匹配模块可以实时的或周期性的获取当前时间信息和/或用户当前的位置信息，然后，场景匹配模块判断当前时间信息与目标场景中的预设时间信息是否匹配，和/或，用户当前所处的位置信息与目标场景中预设的位置信息是否匹配，以判断用户当前所处场景与卡片显示区域中重叠显示多张卡片中的至少一张卡片对应的目标场景是否匹配。

需要解释的是，假设手机的显示界面的卡片显示区域中重叠显示有三张卡片，场景匹配模块确定用户当前所处场景后，若场景匹配模块确定用户当前所处场景与三张卡片中的任意一张卡片的一个目标场景匹配，则场景匹配模块确定用户当前所处场景与目标场景匹配。若场景匹配模块确定用户当前所处场景与三张卡片中的任意两张卡片分别对应的至少一个目标场景匹配，则场景匹配模块确定用户当前所处场景与目标场景匹配。也可以理解为，场景匹配模块确定用户当前所处场景与三张卡片对应的至少一个目标场景中的任一目标场景匹配，场景匹配模块可以确定用户当前所处场景与目标场景匹配。

在本申请实施例中，卡片分类模块可以将手机中各APP对应的卡片进行分类。比如，卡片分类模块可以根据卡片中显示的内容对各APP对应的卡片进行分类，以确定多张卡片分别对应的类别。然后，卡片分类模块根据多张卡片分别对应的类别，确定每一张卡片对应的至少一个目标场景。即卡片分类模块针对每一类别卡片，确定手机的显示界面中显示标注界面时的场景。示例性的，表1中示出了根据卡片内容对每类卡片进行标注时的目标场景。由表1可知，卡片分类模块根据卡片内容将卡片分为3大类别，分别为任务提醒类卡片、信息呈现类卡片和便捷服务类卡片。然后，卡片分类模块分别对3大类别进行细分，比如，卡片分类模块将任务提醒类卡片细分为出行提醒类卡片、事件开始提醒类卡片、事件结束提醒类卡片以及取物提醒类卡片。卡片分类模块可以根据用户对卡片的关注顺序，确定每一小类别卡片对应的目标场景。比如，事件开始提醒类卡片可以包括5个目标场景，分别为卡片刚出现时，事件即将开始时，事件已开始时，事件即将结束时和事件已结束时。

表1

需要解释的是，上述表1中卡片分类模块对手机中各APP对应的卡片进行的分类，以及各类别卡片对应的目标场景仅作为示例性描述，本申请实施例中对此不做限定。卡片分类模块对卡片进行分类以及确定卡片对应的目标场景时，以实际分类和实际对应的目标场景为准，在此不做限定。

示例性的，假设用户在购票APP上购买了一张上午10:30出发的火车票，购票APP响应于用户的购票操作，在手机的显示界面通过出行类卡片向用户推送出行信息，如图11中的（a）所示。当手机的显示界面中的出行类卡片在显示界面显示时，场景匹配模块确定用户当前所处场景符合卡片刚出现这一目标场景的情况下，场景匹配模块可以向显示通知模块发送场景匹配结果，显示通知模块可以根据场景匹配结果通知手机的显示界面显示标注界面，如图11中的（a）所示。用户在标注界面标注对卡片集中的3张卡片的真实期望排序后，手机响应于用户触发“提交反馈”的控件操作，将用户标注数据发送至数据采集模块。此后，手机的显示界面不显示标注界面，如图11中的（b）所示。场景匹配模块可以实时的或周期性的获取时间信息以及用户当前所处的位置信息，以判断用户当前所处场景。在场景匹配模块确定用户当前所处时间临近建议出发时间（比如，建议出发时间为9:30，用户当前所处时间为9:20）的情况下，场景匹配模块确定用户当前所处场景为临近建议出发时间对应的场景，此时，场景匹配模块可以向显示通知模块发送匹配结果，显示通知模块可以根据匹配结果通知手机的显示界面显示标注界面，如图11中的（c）所示。此时，用户还可以在标注界面标注对卡片集中的3张卡片的真实期望排序，手机响应于用户触发“提交反馈”的控件操作，将用户标注数据发送至数据采集模块。

需要解释的是，上述图11中手机的显示界面显示标注界面的场景仅作为示例性描述，手机的显示界面中显示标注界面的场景，以卡片内容和对应的实际场景为准，此处不做限定。

第二种方法，场景匹配模块还可以根据用户的运动状态，确定用户当前所处场景，然后，场景匹配模块判断用户当前所处场景与预先设置的目标场景是否匹配，以确定是否在手机的显示界面显示标注界面。

示例性的，假设手机的显示界面的卡片显示区域中包括地铁卡片，且手机的显示界面显示手机桌面时，场景匹配模块可以实时的或周期性的（比如，每隔10秒或30秒等）获取用户的运动状态信息，以确定用户的运动状态。比如，用户处于乘车状态，步行状态，跑步状态或静止状态等。当场景匹配模块根据用户的运动状态信息，确定用户的运动状态发生切换时，场景匹配模块确定用户当前所处场景，进而，场景匹配模块判断用户当前所处场景与预先设置的目标场景是否匹配。此处，目标场景可以为用户进地铁站的场景或用户出地铁站的场景。比如，场景匹配模块根据获取到的用户的运动状态信息，确定用户的运动状态由乘车状态切换至步行状态，此时，用户当前所处场景为出地铁站的场景，场景匹配模块确定用户当前所处场景与预先设置的目标场景匹配。

第三种方法，场景匹配模块还可以根据卡片状态与卡片对应的至少一个目标场景是否匹配，判断是否在手机的显示界面显示标注界面。其中，卡片状态是指卡片在卡片显示区域的显示状态。

示例性的，当手机的显示界面的卡片显示区域中包括日程类卡片时，场景匹配模块可以根据日程类卡片的卡片状态，判断该日程类卡片的卡片状态与该日程类卡片对应的目标场景是否匹配，以确定是否在手机的显示界面显示标注界面。其中，日程类卡片对应的目标场景可以包括日程即将开始，日程已过半和日程即将结束，等等。比如，日程类卡片对应的目标场景包括日程开始前10分钟，日程还有10分钟结束，等等。

上述场景匹配模块确定是否满足卡片对应的目标场景时，为了避免场景匹配模块实时的判断是否满足卡片对应的目标场景，造成资源浪费的问题。本申请实施例中，在手机的显示界面的卡片显示区域中包括多张重叠显示的卡片时，且手机的显示界面显示卡片显示区域所处的界面时，手机的显示界面触发对多张卡片进行排序。由此，手机在显示界面触发对多张卡片进行排序时，场景匹配模块判断用户当前所处场景与预先设置的目标场景是否匹配，节省了手机功耗，避免了资源浪费。

在场景匹配模块确定用户当前所处场景与目标场景匹配的情况下，场景匹配模块发送匹配结果给显示通知模块，显示通知模块通知手机的显示界面显示标注界面。这种情况下，若在预设时间内，场景匹配模块确定用户当前所处场景与预先设置的目标场景匹配的次数过多，可能存在手机的显示界面中频繁显示标注界面，影响用户正常使用手机的问题。为了避免手机的显示界面中频繁显示标注界面，影响用户正常的使用体验。本申请实施例中，频率控制模块可以对标注界面的并发次数和/或标注界面的显示频率进行控制，以使得数据采集模块在采集到用户真实标注的用户标注数据的同时，确保用户的使用体验。其中，并发次数是指在第一预设时间内手机的显示界面中显示标注界面的次数。标注界面的显示频率是指单位时间内手机的显示界面中显示标注界面的次数。

可以理解为，标注界面可以一直以控件的形式位于手机的显示界面中，只是并未在手机的显示界面实时显示。当显示通知模块通知手机的显示界面显示标注界面时，手机的显示界面中显示标注界面，从而避免了手机的显示界面中实时显示或频繁显示标注界面，影响用户正常使用体验。

本申请实施例中，频率控制模块可以采用令牌桶算法控制手机的显示界面中显示的标注界面的并发次数和标注界面的显示频率。其中，令牌桶算法是网络流量整形和速率限制中最常使用的一种算法。如图12所示，令牌桶算法的原理是系统会以一个恒定的速度往桶里放入令牌（比如，每秒放10个），而如果请求需要被处理，则需要先从桶里获取一个令牌，当桶里没有令牌可取时，则拒绝服务，即桶内令牌不足，丢弃请求。当桶里令牌满时，新添加的令牌被丢弃或拒绝。令牌桶算法是一个存放固定容量令牌的桶，按照固定速率往桶里添加令牌。按照系统向令牌桶投放令牌的速率和令牌桶的数量划分，实现令牌桶的方式有如下三种模式：单速单桶，单速双桶和双速双桶。

其中，单速单桶模式是指只有一个令牌桶C桶，系统以承诺信息速率（committedinformation rate，CIR）往C桶投放令牌，如果可用令牌的总数量小于C桶容量，则令牌继续增加。如果令牌桶已满，则令牌不再增加。在单速单桶模式中，如果一直没有报文请求，那么令牌桶在满了之后就会一直不断溢出浪费，这个时候可以增加一个E桶，在C桶满了之后，多出的令牌会放在E桶内，当C桶内的令牌不够用时，会切换到E桶领取令牌，即单速双桶模式。双速双桶模式是指有两个令牌桶C桶和P桶，C桶容量为承诺突发尺寸（committed burstsize，CBS），令牌填充速率为CIR，P桶容量为峰值突发尺寸（peak burst size，PBS），令牌填充速率为峰值信息速率（peak information rate，PIR）。系统按照PIR速率向P桶中投放令牌，按照CIR速率向C桶中投放令牌。如果P桶中可用令牌的总数量小于PBS，则P桶中令牌数增加。如果C桶中可用令牌的总数量小于CBS，则C桶中令牌数增加。

在本申请实施例中，频率控制模块可以根据不同类型卡片在手机的显示界面的显示频率差异，设置多个令牌桶（或者简称为桶），显示频率不同的卡片使用不同的桶容量和不同的令牌生成速率，以显示标注界面。其中，令牌生成速率是指令牌桶中生成两个令牌的时间间隔，比如，系统每4小时向令牌桶投放一个令牌，该令牌生成速率为4小时。

在本申请实施例中，频率控制模块可以根据手机的显示界面中卡片的显示频率，将卡片分为高频显示卡片和低频显示卡片。高频显示卡片对应的标注界面的显示频率小于低频显示卡片对应的标注界面的显示频率，和/或，同一时段内高频显示卡片对应的标注界面的并发次数小于低频显示卡片对应的标注界面的并发次数。卡片的显示频率用于反映单位时间内卡片在显示界面上显示的次数。其中，高频显示卡片可以是在第二预设时间内卡片的显示频率大于或等于第一阈值的卡片。第二预设时间可以为12小时、24小时等等，此处不做限定。第一阈值可以是预先设定的频率次数，比如，第一阈值可以为3或5等，此处不做限定。低频显示卡片可以是在第二预设时间内卡片的显示频率小于第一阈值的卡片。比如，假设用户在某一日历卡片中添加各种会议，使得日历卡片一天在手机的显示界面显示5次，则该日历卡片可以称为高频显示卡片。假设某航班卡片在用户出发前，一天中在手机的显示界面显示1次，则该航班卡片可以称为低频显示卡片。

然后，频率控制模块使用两个令牌桶和不同的令牌生成速率，控制高频显示卡片和低频显示卡片对应的标注界面的显示频率和并发次数。手机采用第一令牌生成速率在高频显示卡片对应的第一令牌桶中生成令牌，手机采用第二令牌生成速率在低频显示卡片对应的第二令牌桶中生成令牌；第一令牌生成速率小于第二令牌生成速率，第一令牌桶的容量小于第二令牌桶的容量；第一令牌生成速率等于高频显示卡片对应的标注界面的显示频率；第二令牌生成速率等于低频显示卡片对应的标注界面的显示频率；第一令牌桶的容量等于高频显示卡片对应的标注界面的并发次数；第二令牌桶的容量等于低频显示卡片对应的标注界面的并发次数。

比如，频率控制模块设置高频显示卡片对应的令牌桶为C桶，令牌桶容量为C1，令牌生成速率为S1，低频显示卡片对应的令牌桶为P桶，令牌桶容量为C2，令牌生成速率为S2。其中，C1小于C2，S1大于S2。C桶中以S1的速率生成一个令牌，P桶中以S2的速率生成一个令牌，假设S1为172800秒，S2为14400秒，即C桶中每48小时生成一个令牌，P桶中每4小时生成一个令牌，C桶的令牌生成速率大于P桶的令牌生成速率。

以卡片显示区域中包括低频显示卡片为例进行说明，当手机的显示界面第一次显示手机桌面时，手机触发对卡片显示区域中重叠显示的多张卡片进行重新排序，此时，频率控制模块确定P桶中的令牌个数为0，手机的显示界面不显示标注界面。假设手机的显示界面在2小时后再次显示手机桌面，此时，频率控制模块确定P桶中的令牌个数为0.5，手机的显示界面也不显示标注界面。假设手机的显示界面在5小时后再次显示手机桌面，此时，频率控制模块确定P桶中的令牌个数为1.25个。这种情况下，频率控制模块确定P桶中令牌的个数大于1，若场景匹配模块确定用户当前所处场景与目标场景匹配，则场景匹配模块将匹配结果发送至显示通知模块，显示通知模块通知手机的显示界面显示标注界面。由此，频率控制模块通过控制令牌生成速率，对显示频率不同的卡片显示标注界面的显示频率进行控制，即对不同显示频率的卡片采集得到的用户标注数据的数量进行控制，从而可以确保采集得到的用户标注数据的数量在各类型卡片上保持均衡。

需要解释的是，当手机的显示界面显示手机桌面时，手机触发对卡片显示区域中重叠显示的多张卡片进行重新排序，此时，频率控制模块判断令牌桶中令牌的数量是否大于1。当频率控制模块确定令牌桶中令牌的数量大于1的情况下，场景匹配模块根据用户当前所处场景与目标场景是否匹配，确定是否在手机的显示界面显示标注界面。当频率控制模块确定令牌桶中令牌的数量小于1，手机无需进行场景匹配。由于场景匹配模块需要获取当前所处时间、用户位置信息、用户的运动状态信息等，需要消耗大量的功耗，因此，在频率控制模块确定令牌桶中令牌的数量小于1的情况下，不仅实现了对标注界面的显示频率进行控制，还节省了大量的功耗。

由上述实施例可知，令牌桶中生成的令牌数量有限，使得手机的显示界面中显示标注界面的次数受到限制。当某一类型卡片对应的目标场景较多时，为了确保数据采集模块均匀采集到用户在同一卡片的不同目标场景下标注的数据，频率控制模块还可以根据该类型卡片在不同目标场景下标注界面的显示概率，确定是否通知显示通知模块显示标注界面。由此，避免了由于对某一类型卡片排序时，标注界面显示的次数有限且该类型卡片的各目标场景的时间差较小，导致后续目标场景下无法显示标注界面的问题。

本申请实施例中，当需要在手机的显示界面的卡片显示区域的卡片集中包括多张卡片时，卡片分类模块确定卡片集中的多张卡片对应的目标场景，以及每个目标场景下标注界面的显示概率。其中，目标场景下标注界面的显示概率，是指卡片对应的其他场景下不显示标注界面的情况下，目标场景下显示标注界面的概率。当场景匹配模块确定用户当前所处场景为某一卡片对应的目标场景，频率控制模块确定显示界面在该卡片的其他目标场景下不显示标注界面，在该目标场景下显示标注界面的显示概率大于第二阈值（比如，第二阈值可以为0.5，0.6等）时，频率控制模块向显示通知模块发送显示标注界面的消息，以使得显示通知模块通知手机的显示界面显示标注界面。

作为一种示例，假设某一类卡片存在3个目标场景为{S₁，S₂，S₃}，此处，令每一个目 标场景下手机的显示界面显示标注界面的显示概率相同，即

在场景匹配模块确定用户当前所处场景为目标场景S₁时不显示标注界面，且确定用户当前所处场景为目标场景S₂时显示标注界面的显示概率为：

以此类推，在场景匹配模块确定用户当前所处场景为目标场景S₁和目标场景S₂时不显示标注界面，且确定用户当前所处场景为目标场景S₃时显示标注界面的显示概率为：

假设第二阈值为0.5，当场景匹配模块确定用户当前所处场景为目标场景S₃,频率控制模块确定在目标场景S₁和目标场景S₂时不显示标注界面，且用户当前所处场景为目标场景S₃时显示标注界面的显示概率为1，则频率控制模块向显示通知模块发送显示标注界面的消息，以使得显示通知模块通知手机的显示界面显示标注界面。

在本申请实施例中，频率控制模块可以确定各类型卡片对应的至少一个目标场景后，计算各类型卡片在其他目标场景不显示标注界面的情况下，在一个目标场景下显示标注界面的概率，以确定不同类型卡片对应的各目标场景下手机的显示界面显示标注界面的显示概率。示例性的，参见如下表2，表2中示出了不同类型卡片在不同的目标场景下，手机的显示界面显示标注界面的显示概率。

表2

在本申请实施例中，数据采集模块采集到的标注界面中同一个用户对多张卡片的重新排序结果，可能是该用户真实期望的排序，也可能是该用户随机选择的排序。即同一个用户在标注界面中对于同一张卡片的排序可能相同，也可能不同。比如，假设卡片显示区域包括天气卡片，数据采集模块采集到的同一个用户在相同目标场景下标注的多个用户标注数据时，多个用户标注数据中天气卡片均排在第一，即该用户每次在标注界面对多张卡片进行重新排序时，对天气卡片的排序是相同的。若数据采集模块采集到的同一张卡片在相同目标场景下，同一个用户标注的多个用户标注数据中，其中一个用户标注数据中天气卡片排在第一，另一个用户标注数据中天气卡片排在第三，则该用户多次在标注界面对天气卡片的排序并不相同。为了提高数据采集模块采集到的同一个用户在相同目标场景下多次标注的用户标注数据的真实性，对于同一卡片，数据采集模块可以多次采集的同一个用户在相同目标场景下标注的多个用户标注数据，以确定该用户在标注界面对该卡片排序的一致性，从而筛选出高质量的用户标注数据。

本申请实施例中，数据采集模块将多次采集的同一张卡片在相同目标场景下，同一个用户标注的多个用户标注数据上传至服务器后，服务器的数据分析模块可以对多个用户标注数据进行一致性分析，从而筛选出有效的用户标注数据，丢弃无效的用户标注数据。

作为一种示例，数据分析模块可以使用肯德尔和谐系数（又称为肯德尔w系数）校验同一卡片在相同目标场景下，同一个用户采集的多个用户标注数据的一致性。

其中，肯德尔和谐系数是计算多个等级变量相关程度的一种相关量。肯德尔和谐系数的计算公式如下：

其中，

上述公式中，

表示所有用户标注数据的平均数；R表示每个用户标注数据之和 与所有这些和的平均数的离差平方和；k表示用户标注数据的数量；m表示上报用户标注数 据的手机数量或评分所依据的标准数。

上述公式中0≤W≤1,当W=1时，表示多个用户标注数据完全一致；当0<W<1时，表示多个用户标注数据不完全一致；当W=0时，表示多个用户标注数据完全不一致。

需要解释的是，上述数据分析模块采用肯德尔w系数校验同一张卡片在相同目标场景下，同一个用户标注的多个用户标注数据的一致性仅作为示例性描述，数据分析模块还可以采用其它可以实现的方法校验同一卡片在相同目标场景下的多个用户标注数据的一致性，比如，组内相关系数算法、Kappa系数检验方法，等等，此处不做限定。

本申请实施例中，服务器的数据分析模块对同一卡片的相同目标场景下，同一个用户标注的多个用户标注数据进行一致性分析，保留一致性高的用户标注数据，删除一致性低的用户标注数据，以筛选出有效的用户标注数据。例如，数据分析模块将对多个用户标注数据计算得到的肯德尔和谐系数与预设的系数阈值进行比较，若数据分析模块确定肯德尔和谐系数大于或等于系数阈值，则确定该目标场景下采集的同一个用户标注多个用户标注数据的一致性较高。这种情况下，数据分析模块保留该目标场景下采集的多个用户标注数据，作为有效的用户标注数据。若数据分析模块确定肯德尔和谐系数小于系数阈值，则确定该目标场景下采集的同一个用户标注多个用户标注数据的一致性较低。这种情况下，数据分析模块删除该目标场景下采集的多个用户标注数据。然后，数据分析模块可以对不同类型的卡片对应的有效用户标注数据进行汇总。然后，数据分析模块将汇总后的有效用户标注数据发送至配置更新模块。配置更新模块可以根据接收到的有效用户标注数据的数量动态的调整各目标场景下标注界面的显示概率，以达到动态的调整各目标场景下的用户标注数据的采样数量的目的。

可选地，配置更新模块可以根据汇总后的用户标注数据，确定某一目标场景下的用户标注数据的数量已经达到目标数据量后，配置更新模块可以降低该目标场景下显示界面显示标注界面的显示概率，提高未达到目标数据量的目标场景下显示界面显示标注界面的显示概率，直至充分采集到各目标场景对应的用户标注数据的数量。由此，配置更新模块对各目标场景下的显示界面显示标注界面的显示概率进行调整，使得采集的用户标注数据更加符合预期的分布，提高了用户标注数据的采样质量。

示例性的，如下表3，表3中示出了不同类型的卡片在各目标场景下对应的用户标注数据的数量。配置更新模块可以根据表3中各类型卡片在各目标场景对应的用户标注数据的数量，调整表2中对应的目标场景下标注界面的显示概率。由表3中可知，类型1的卡片在目标场景1对应的用户标注数据的数量有5个，在目标场景2对应的用户标注数据的数量有6个，在目标场景3对应的用户标注数据的数量有3个，在目标场景4对应的用户标注数据的数量有2个，等等。假设配置更新模块确定类型1的卡片在目标场景1对应的用户标注数据的数量已经达到目标数据量，配置更新模块可以将表2中目标场景1下标注界面的显示概率调整为0。即在场景匹配模块确定用户当前所处场景满足目标场景1的情况下，数据采集模块不采集该目标场景1下的用户标注数据，手机的显示界面不显示标注界面，不仅实现了动态调整采集的用户标注数据的数量，还可以达到节省手机功耗的目的。

表3

需要解释的是，上述表3中的卡片类型和目标场景下对应的用户标注数据的数量仅作为示例性描述，具体的卡片类型、目标场景以及用户标注数据的数量以实际为准，此处不做限定。

在本申请实施例的一种可能的情况下，配置更新模块还可以根据汇总后的有效用户标注数据，确定某一目标场景下的有效用户标注数据的数量已经达到目标数据量后，配置更新模块可以降低该目标场景对应的采样概率，提高未达到目标数据量的目标场景的采样概率，直至充分采集到各目标场景对应的有效用户标注数据的数量。

本申请实施例中，服务器接收到来自至少一个手机的用户标注数据后，服务器采用接收到的用户标注数据对卡片排序模型进行训练，使得训练后的卡片排序模型预测的多张卡片的排列顺序更加符合用户预期排序，有利于提高卡片预测模型的预测精度。

由于每个用户的使用习惯不同，导致手机的显示界面的卡片显示区域的卡片集中包括多张卡片，且多张卡片可以在卡片显示区域重叠显示时，每个用户对卡片集中多张卡片的期望排序可能并不完全相同。这种情况下，手机的数据采集模块可以采集当前用户标注的多个用户标注数据，然后，手机采用当前用户的多个用户标注数据对卡片排序模型进行训练，使得训练后的卡片排序模型能够更加精确的预测得到当前用户对多张卡片的期望排序结果。

可以理解为，手机根据当前用户标注的多个用户标注数据对卡片排序模型进行个性化训练，使得每个手机的显示界面显示的多张卡片的排序结果符合当前用户的期望排序结果。

综上所述，本申请实施例中，手机的显示界面的卡片显示区域重叠显示有多张卡片时，在手机的显示屏显示显示界面的过程中，场景匹配模块确定用户当前所处场景与目标场景匹配后，场景匹配模块将匹配结果发送至显示通知模块，显示通知模块可以根据匹配结果通知手机的显示界面显示标注界面，手机的数据采集模块采集到表征用户在标注界面对多张卡片进行排序得到的用户标注数据。由此，手机可以采集得到用户对多张卡片的真实期望排序结果。然后，数据采集模块将用户标注数据发送至服务器，服务器采用用户标注数据对卡片排序模型进行训练，使得训练后的卡片排序模型能够更加精确的预测得到用户对多张卡片的期望排序结果。

此外，服务器接收到来自手机的用户标注数据后，服务器的数据分析模块可以对同一张卡片的相同目标场景下，同一个用户采集的多个用户标注数据进行一致性分析，从而筛选出有效的用户标注数据，提高用户标注数据的质量。然后，服务器采用筛选后的用户标注数据对卡片排序模型进行训练，提高了卡片排序模型的预测多张卡片的排序结果的预测能力。

此外，服务器的配置更新模块根据接收到的用户标注数据的数量，对目标场景的采样概率进行调整，使得采集的用户标注数据更加符合预期分布，有利于提高用户标注数据的采样质量。

如图13所示，本申请实施例公开了一种电子设备，该电子设备可以为上述手机。该电子设备具体可以包括：触摸屏1301，所述触摸屏1301包括触摸传感器1306和显示屏1307；一个或多个处理器1302；存储器1303；一个或多个应用程序（未示出）；以及一个或多个计算机程序1304，上述各器件可以通过一个或多个通信总线1305连接。其中，上述一个或多个计算机程序1304被存储在上述存储器1303中并被配置为被该一个或多个处理器1302执行，该一个或多个计算机程序1304包括指令，该指令可以用于执行上述实施例中的相关步骤。

可以理解的是，上述电子设备等为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。

本申请实施例可以根据上述方法示例对上述电子设备等进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本发明实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在采用对应各个功能划分各个功能模块的情况下，上述实施例中涉及的电子设备的一种可能的组成示意图，该电子设备可以包括：显示单元、传输单元和处理单元等。需要说明的是，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

本申请实施例还提供一种电子设备，包括一个或多个处理器以及一个或多个存储器。该一个或多个存储器与一个或多个处理器耦合，一个或多个存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当一个或多个处理器执行计算机指令时，使得电子设备执行上述相关方法步骤实现上述实施例中的用户标注数据的获取方法。

本申请的实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机指令，当该计算机指令在电子设备上运行时，使得电子设备执行上述相关方法步骤实现上述实施例中的用户标注数据的获取方法。

本申请的实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机指令，当该计算机指令在电子设备上运行时，使得电子设备执行上述相关方法步骤实现上述实施例中的用户标注数据的获取方法。

另外，本申请的实施例还提供一种装置，这个装置具体可以是芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使装置执行上述各方法实施例中电子设备执行的用户标注数据的获取方法。

其中，本实施例提供的电子设备、计算机可读存储介质、计算机程序产品或装置均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到 ，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请实施例各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种用户标注数据的获取方法，其特征在于，应用于包括显示屏的电子设备，所述显示屏的显示界面上卡片显示区域重叠显示有多张卡片，所述方法包括：

在所述电子设备的所述显示屏显示显示界面的过程中，若所述电子设备确定用户当前所处场景与第一目标场景匹配，则在所述显示界面上显示标注界面；所述第一目标场景包括在所述多张卡片对应的目标场景中，所述多张卡片中的任一张卡片对应至少一个目标场景，所述目标场景用于触发所述电子设备在所述显示界面显示标注界面；所述标注界面用于用户标注所述多张卡片在所述卡片显示区域的排序；所述多张卡片包括高频显示卡片和低频显示卡片，所述高频显示卡片是指在第二预设时间内所述卡片的显示频率大于或等于第一阈值的卡片，所述低频显示卡片是指在所述第二预设时间内所述卡片的显示频率小于所述第一阈值的卡片；所述卡片的显示频率用于反映单位时间内所述卡片在显示界面上显示的次数；所述高频显示卡片对应的标注界面的显示频率小于所述低频显示卡片对应的标注界面的显示频率，和/或，同一时段内所述高频显示卡片对应的标注界面的并发次数小于所述低频显示卡片对应的标注界面的并发次数；

响应于所述用户在所述标注界面的标注操作，所述电子设备采集用户标注数据，所述用户标注数据用于表征所述用户在所述标注界面对所述多张卡片的排序结果，所述用户标注数据用于对卡片排序模型进行训练，所述卡片排序模型具有预测所述多张卡片在所述显示界面的排序结果的能力。

2.根据权利要求1所述的方法，其特征在于，所述卡片对应设置有显示参数，所述显示参数包括所述卡片对应的标注界面的显示频率和/或所述卡片对应的标注界面的并发次数，所述并发次数是指在第一预设时间内所述电子设备确定所述用户当前所处场景与所述第一目标场景多次匹配的情况下，所述显示界面显示标注界面的次数，若所述电子设备确定用户当前所处场景与第一目标场景匹配，则在所述显示界面上显示标注界面，包括：

所述电子设备确定用户当前所处场景与第一目标场景匹配之后，则确定所述第一目标场景对应的目标卡片，若满足所述目标卡片对应的显示参数，则在所述显示界面上显示标注界面。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

所述高频显示卡片、低频显示卡片对应的标注界面的显示频率以及并发次数由所述电子设备采用令牌桶算法控制。

4.根据权利要求3所述的方法，其特征在于，所述高频显示卡片、低频显示卡片对应的标注界面的显示频率以及并发次数由所述电子设备采用令牌桶算法控制，包括：

所述电子设备采用第一令牌生成速率在所述高频显示卡片对应的第一令牌桶中生成令牌，所述电子设备采用第二令牌生成速率在所述低频显示卡片对应的第二令牌桶中生成令牌；所述第一令牌生成速率小于所述第二令牌生成速率，所述第一令牌桶的容量小于所述第二令牌桶的容量；所述第一令牌生成速率等于所述高频显示卡片对应的标注界面的显示频率；所述第二令牌生成速率等于所述低频显示卡片对应的标注界面的显示频率；所述第一令牌桶的容量等于所述高频显示卡片对应的标注界面的并发次数；所述第二令牌桶的容量等于所述低频显示卡片对应的标注界面的并发次数；

在所述电子设备确定所述用户当前所处场景与所述高频显示卡片的目标场景匹配，且所述第一令牌桶中令牌的个数大于预设个数的情况下，所述显示界面显示所述标注界面；

在电子设备确定所述用户当前所处场景与所述低频显示卡片的目标场景匹配，且所述第二令牌桶中令牌的个数大于所述预设个数的情况下，所述显示界面显示所述标注界面。

5.根据权利要求1所述的方法，其特征在于，所述卡片对应的每一个目标场景下设置有所述标注界面的显示概率，所述电子设备确定用户当前所处场景与第一目标场景匹配，则在所述显示界面上显示标注界面，包括：

所述电子设备确定所述用户当前所处场景与所述第一目标场景匹配之后，确定所述第一目标场景下所述标注界面的显示概率；

若所述标注界面的显示概率大于第二阈值，则在所述显示界面上显示所述标注界面。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述电子设备确定在所述卡片对应的第二目标场景下，采集的所述用户标注数据的数量满足目标数量的情况下，所述电子设备调整所述第二目标场景下所述标注界面的显示概率，所述目标数量为预先设置的所述卡片对应的第二目标场景下采集所述用户标注数据的最大数量。

7.根据权利要求1所述的方法，其特征在于，所述确定用户当前所处场景与第一目标场景匹配之前，所述方法还包括：

所述电子设备根据所述多张卡片中显示的内容，确定所述多张卡片分别对应的类别；

根据所述多张卡片分别对应的类别，确定每一张卡片对应的至少一个所述目标场景。

8.根据权利要求1所述的方法，其特征在于，所述确定用户当前所处场景与第一目标场景匹配之前，所述方法还包括：

所述电子设备获取当前时间信息和/或用户当前的位置信息；

所述电子设备根据所述当前时间信息和/或用户当前的位置信息，确定所述用户当前所处场景。

9.根据权利要求1所述的方法，其特征在于，所述确定用户当前所处场景与第一目标场景匹配之前，所述方法还包括：

所述电子设备确定用户的运动状态，所述用户的运动状态包括用户处于乘车状态、步行状态、跑步状态或静止状态；

所述电子设备根据所述用户的运动状态，确定所述用户当前所处场景。

10.一种用户标注数据的获取系统，其特征在于，所述系统包括：

至少一个包括显示屏的电子设备；

服务器；

其中，所述电子设备用于在所述显示屏显示显示界面的过程中，若所述电子设备确定用户当前所处场景与第一目标场景匹配，则在所述显示界面上显示标注界面，所述第一目标场景包括在多张卡片对应的目标场景中，所述多张卡片中的任一张卡片对应至少一个目标场景，所述目标场景用于触发所述电子设备在所述显示界面显示标注界面；所述标注界面用于用户标注所述多张卡片在卡片显示区域的排序；所述多张卡片包括高频显示卡片和低频显示卡片，所述高频显示卡片是指在第二预设时间内所述卡片的显示频率大于或等于第一阈值的卡片，所述低频显示卡片是指在所述第二预设时间内所述卡片的显示频率小于所述第一阈值的卡片；所述卡片的显示频率用于反映单位时间内所述卡片在显示界面上显示的次数；所述高频显示卡片对应的标注界面的显示频率小于所述低频显示卡片对应的标注界面的显示频率，和/或，同一时段内所述高频显示卡片对应的标注界面的并发次数小于所述低频显示卡片对应的标注界面的并发次数；响应于所述用户在所述标注界面的标注操作，所述电子设备采集用户标注数据，所述用户标注数据用于表征所述用户在所述标注界面对所述多张卡片的排序结果，所述用户标注数据用于对卡片排序模型进行训练，所述卡片排序模型具有预测所述多张卡片在所述显示界面的排序结果的能力；

所述服务器用于接收来自至少一个所述电子设备的所述用户标注数据后，采用所述用户标注数据对所述卡片排序模型进行训练。

11.一种电子设备，其特征在于，包括：

显示屏；

一个或多个处理器；

存储器；

其中，所述存储器中存储有一个或多个计算机程序，所述一个或多个计算机程序包括指令，当所述指令被所述电子设备执行时，使得所述电子设备执行如权利要求1-9中任一项所述的用户标注数据的获取方法。

12.一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，当所述指令在电子设备上运行时，使得所述电子设备执行如权利要求1-9中任一项所述的用户标注数据的获取方法。

Images