CN113902589A - 目标服务策略的测试方法、介质、装置和计算设备 - Google Patents

目标服务策略的测试方法、介质、装置和计算设备 Download PDF

Info

Publication number
CN113902589A
CN113902589A CN202111182594.9A CN202111182594A CN113902589A CN 113902589 A CN113902589 A CN 113902589A CN 202111182594 A CN202111182594 A CN 202111182594A CN 113902589 A CN113902589 A CN 113902589A
Authority
CN
China
Prior art keywords
information
service
target service
experience
recommended
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111182594.9A
Other languages
English (en)
Inventor
傅家伟
赵屹华
谭镕
方欢
赵孜若
潘照明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Media Technology Beijing Co Ltd
Original Assignee
Netease Media Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Media Technology Beijing Co Ltd filed Critical Netease Media Technology Beijing Co Ltd
Priority to CN202111182594.9A priority Critical patent/CN113902589A/zh
Publication of CN113902589A publication Critical patent/CN113902589A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本公开的实施方式提供了一种目标服务策略的测试方法、介质、装置和计算设备。不仅基于目标服务策略向体验人员提供服务以获取体验人员的体验反馈作为主观测试结果，还针对向体验人员提供目标服务的过程进行监测，并利用监测结果量化逻辑对监测结果进行量化。得到用于衡量目标服务的服务效果的量化指标集合，作为客观测试结果。对目标服务策略的最终测试结果，实际上综合了主观测试结果与客观测试结果。

Description

目标服务策略的测试方法、介质、装置和计算设备
技术领域
本公开的实施方式涉及信息技术领域，更具体地，本公开的实施方式涉及一种目标服务策略的测试方法、介质、装置和计算设备。
背景技术
在互联网时代，用户可以获取互联网平台提供的各类互联网服务，例如听歌服务、信息推荐服务等。
互联网平台所采用的针对用户的服务策略(例如歌曲界面展示策略、信息推荐策略等)往往会影响用户对服务的满意度，因此需要对服务策略进行测试，帮助互联网平台优化服务策略。
发明内容
本公开提供一种目标服务策略的测试方法、介质、装置和计算设备，以便对服务策略进行比较准确地测试。
在本公开实施方式的第一方面中，提供了一种目标服务策略的测试方法，包括：
基于目标服务策略向体验人员提供目标服务，并从所述体验人员获取针对所述目标服务的体验反馈，作为主观测试结果；
监测向所述体验人员提供目标服务的过程，并根据监测结果与预设的监测结果量化逻辑，确定用于衡量所述目标服务的服务效果的量化指标集合，作为客观测试结果；
基于所述主观测试结果与所述客观测试结果，确定最终测试结果。
在本公开的一个实施例中，所述监测结果，包括：
关于目标服务的内容的一个或多个内容相关特征；
和/或
关于所述体验人员与所述目标服务的交互的一个或多个交互相关特征。
在本公开的一个实施例中，从所述体验人员获取针对所述目标服务的体验反馈，包括：
从所述体验人员获取：所述体验人员以模拟预设用户画像的方式给出的、针对所述目标服务的体验反馈。
在本公开的一个实施例中，其中，所述体验反馈，包括：
在预设的各个服务体验维度上的体验反馈。
在本公开的一个实施例中，其中，所述目标服务为信息推荐服务；
所述各个服务体验维度包括以下至少一个：
推荐的每个信息的标题与正文是否匹配；
推荐的每个信息的篇幅是否合理；
推荐的每个信息的展示方式是否清楚；
推荐的每个信息是否属于劣质信息；
推荐的全部信息是否匹配于所述体验人员对应的信息偏好；
推荐的全部信息是否覆盖所述信息偏好所包含的大部分预设兴趣点；
推荐的全部信息涉及的信息类型是否丰富；
对本轮推荐的全部信息中匹配于所述信息偏好所包含的任一预设兴趣点的信息，给出正面反馈之后，在下一轮推荐的全部信息中匹配于该预设兴趣点的信息数量是否合理增加；
对本轮推荐的全部信息中，匹配于其他预设兴趣点的信息给出负面反馈之后，在下一轮推荐的全部信息中匹配于该其他预设兴趣点的信息数量是否合理减少；该其他预设兴趣点不包含于所述信息偏好。
在本公开的一个实施例中，所述体验人员对应的信息偏好，包括：所述体验人员所模拟的预设用户画像的信息偏好。
在本公开的一个实施例中，所述监测结果量化逻辑包括与各个服务体验维度一一对应的计算任务；其中，每个计算任务根据所述监测结果中的至少部分结果，计算用于衡量所述目标服务在该计算任务对应的服务体验维度上的服务效果的量化指标。
在本公开的一个实施例中，其中，所述目标服务为信息推荐服务；其中一个服务体验维度为，推荐的每个信息的标题与正文是否匹配；
该服务体验维度对应的计算任务用于，计算推荐的每个信息的标题与正文之间的相似度。
在本公开的一个实施例中，其中，所述目标服务为信息推荐服务；其中一个服务体验维度为，推荐的每个信息的篇幅是否合理；
该服务体验维度对应的计算任务用于，根据推荐的每个信息的预期浏览时长与推荐的信息数量，计算推荐的各个信息的平均预期浏览时长。
在本公开的一个实施例中，其中，所述目标服务为信息推荐服务；其中一个服务体验维度为，推荐的每个信息的篇幅是否合理；
该服务体验维度对应的计算任务用于，根据推荐的每个信息被所述体验人员浏览的浏览进度、推荐的信息数量，计算推荐的各个信息被所述体验人员浏览的平均浏览进度。
在本公开的一个实施例中，其中，所述目标服务为信息推荐服务；其中一个服务体验维度为，推荐的每个信息的篇幅是否合理；
该服务体验维度对应的计算任务用于，根据推荐的各个信息中被所述体验人员完整浏览的信息数量、推荐的各个信息中被所述体验人员浏览过的信息数量，计算推荐的各个信息中被所述体验人员完整浏览的信息的比例。
在本公开的一个实施例中，其中，所述目标服务为信息推荐服务；其中一个服务体验维度为，推荐的每个信息的展示方式是否清楚；
该服务体验维度对应的计算任务用于，计算推荐的每个信息中包括的图像的分辨率，和/或，计算推荐的每个信息中包括的视频的码率。
在本公开的一个实施例中，其中，所述目标服务为信息推荐服务；其中一个服务体验维度为，推荐的每个信息是否属于劣质信息；
该服务体验维度对应的计算任务用于，调用信息分类模型，对推荐的每个信息是否属于劣质信息进行分类预测，得到每个信息对应的分类预测结果。
在本公开的一个实施例中，其中，所述目标服务为信息推荐服务；其中一个服务体验维度为，推荐的全部信息是否匹配于所述体验人员对应的信息偏好；
该服务体验维度对应的计算任务用于，针对推荐的每个信息，若确定该信息匹配于所述信息偏好所包含的任一预设兴趣点，则计算该信息与该预设兴趣点之间的匹配度；根据计算得到的各个匹配度，确定综合匹配度。
在本公开的一个实施例中，其中，所述目标服务为信息推荐服务；其中一个服务体验维度为，推荐的全部信息是否覆盖所述信息偏好所包含的大部分预设兴趣点；
该服务体验维度对应的计算任务用于，根据推荐的各个信息所匹配的预设兴趣点的数量，计算推荐的各个信息对于所述各个预设兴趣点的覆盖度。
在本公开的一个实施例中，其中，所述目标服务为信息推荐服务；其中一个服务体验维度为，推荐的全部信息涉及的信息类型是否丰富；
该服务体验维度对应的计算任务用于，确定推荐的各个信息分别对应的信息类型，计算每个信息类型对应的信息在推荐的全部信息中的占比。
在本公开的一个实施例中，其中，所述目标服务为信息推荐服务；其中一个服务体验维度为，对本轮推荐的全部信息中匹配于所述信息偏好所包含的任一预设兴趣点的信息，给出正面反馈之后，在下一轮推荐的全部信息中匹配于该预设兴趣点的信息数量是否合理增加；
该服务体验维度对应的计算任务用于：
对本轮基于目标服务策略推荐的全部信息中匹配于所述信息偏好所包含的任一预设兴趣点的信息，给出正面反馈之后，确定在下一轮基于目标服务策略推荐的全部信息中匹配于该预设兴趣点的信息数量；
对本轮基于非目标服务策略推荐的全部信息中匹配于所述信息偏好所包含的任一预设兴趣点的信息，给出正面反馈之后，确定在下一轮基于非目标服务策略推荐的全部信息中匹配于该预设兴趣点的信息数量；
基于两个信息数量之间的差异，计算目标服务策略对应的正面灵敏度，用于表征目标服务策略响应于针对信息的正面反馈进行信息推荐调整的灵敏程度。
在本公开的一个实施例中，其中，所述目标服务为信息推荐服务；其中一个服务体验维度为，对本轮推荐的全部信息中，匹配于其他预设兴趣点的信息给出负面反馈之后，在下一轮推荐的全部信息中匹配于该其他预设兴趣点的信息数量是否合理减少；该其他预设兴趣点不包含于所述信息偏好；
该服务体验维度对应的计算任务用于：
对本轮基于目标服务策略推荐的全部信息中匹配于该其他预设兴趣点的信息，给出负面反馈之后，确定在下一轮基于目标服务策略推荐的全部信息中匹配于该其他预设兴趣点的信息数量；
对本轮基于非目标服务策略推荐的全部信息中匹配于该其他预设兴趣点的信息，给出负面反馈之后，确定在下一轮基于非目标服务策略推荐的全部信息中匹配于该其他预设兴趣点的信息数量；
基于两个信息数量之间的差异，计算目标服务策略对应的负面灵敏度，用于表征目标服务策略响应于针对信息的负面反馈进行信息推荐调整的灵敏程度。
在本公开实施方式的第二方面中，提供了一种目标服务策略的测试装置，包括：
主观测试模块，基于目标服务策略向体验人员提供目标服务，并从所述体验人员获取针对所述目标服务的体验反馈，作为主观测试结果；
客观测试模块，监测向所述体验人员提供目标服务的过程，并根据监测结果与预设的监测结果量化逻辑，确定用于衡量所述目标服务的服务效果的量化指标集合，作为客观测试结果；
最终测试模块，基于所述主观测试结果与所述客观测试结果，确定最终测试结果。
在本公开实施方式的第三方面中，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开提供的方法。
在本公开实施方式的第四方面中，提供了一种计算设备，包括存储器、处理器；所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现本公开提供的方法。
在本公开提供的技术方案中，不仅基于目标服务策略向体验人员提供服务以获取体验人员的体验反馈作为主观测试结果，还针对向体验人员提供目标服务的过程进行监测，并利用监测结果量化逻辑对监测结果进行量化，得到用于衡量目标服务的服务效果的量化指标集合，作为客观测试结果。对目标服务策略的最终测试结果，实际上综合了主观测试结果与客观测试结果。
如此，既可以利用体验人员模拟真实用户使用目标服务的场景，又可以借助量化指标尽可能减弱体验人员的体验反馈的主观性，得到的最终测试结果综合了主观测试结果与客观测试维度，是比较准确的。
附图说明
通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，其中：
图1是本公开示例性提供的一种目标服务策略的测试方法流程；
图2示例性提供一种目标服务策略的测试装置的结构；
图3是本公开提供的一种计算机可读存储介质的示意图；
图4是本公开提供的一种计算设备的结构示意图；
在附图中，相同或对应的标号表示相同或对应的部分。附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
具体实施方式
下面将参考若干示例性实施方式来描述本公开的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何方式限制本公开的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道，本公开的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
根据本公开的实施方式，提出了一种目标服务策略的测试方法、介质、装置和计算设备。
下面参考本公开的若干代表性实施方式，详细阐释本公开的原理和精神。
本文所述的服务，可以是指用户能够通过互联网途径获取的各种电子类服务，可以称为互联网服务。一般的互联网服务模式为，互联网平台基于预设的服务策略，将服务提供给用户进行使用。
常见的互联网服务例如可以是电商服务、听歌服务、视频观看服务、信息推荐服务等等。
对于互联网平台而言，用于向用户提供服务的服务策略是比较重要的，如果服务策略不佳，则容易对用户的服务体验产生不良影响，降低用户对互联网服务的满意度。因此，互联网平台通常需要对服务策略进行测试，以评估服务策略所提供的互联网服务产生的服务效果的优劣，并根据评估结果对服务策略进行优化。
本文为了描述的方便，将待测试的服务策略称为目标服务策略。
本公开提供的一种服务策略的测试方法为，基于目标服务策略分别向体验人员提供服务，体验人员对服务进行体验(模拟真实用户使用服务)，给出体验反馈，作为测试结果。
然而，通过这种测试方法得到的测试结果的主观性较强，这容易导致以下三个问题：
其一，不同人的主观感受差别较大，根据体验人员给出的测试结果调整后的目标服务策略不一定能够对其他人产生更好的服务效果。
其二，很难明确体验人员给出这样的体验反馈的客观理由，这意味着测试结果的可解释性比较差，根据这样的测试结果对目标服务策略进行的调整容易流于表面，很难在更深层面上对目标服务策略进行调整。
其三，体验人员以及帮助推进测试流程的工作人员可能带着“应当要调整目标服务策略”的主观倾向性参与到测试中，容易导致体验人员给出主观倾向性太强的体验反馈，增加测试结果的不准确性。
此处需要说明，帮助推进测试流程的工作人员，可以理解为帮助体验人员更顺利地完成测试的工作人员，例如，工作人员可以为体验人员提出的如何体验的疑问进行解答，又如，工作人员可以向体验人员提供用于填写体验反馈的问卷。
为了克服上述问题，本公开还提供的另一种目标服务策略的测试方法中，不仅基于目标服务策略向体验人员提供服务以获取体验人员的体验反馈作为主观测试结果，还针对向体验人员提供目标服务的过程进行监测，并利用监测结果量化逻辑对监测结果进行量化。得到用于衡量目标服务的服务效果的量化指标集合，作为客观测试结果。对目标服务策略的最终测试结果，实际上综合了主观测试结果与客观测试结果。
如此，既可以利用体验人员模拟真实用户使用目标服务的场景，又可以借助量化指标尽可能减弱体验人员的体验反馈的主观性，得到的最终测试结果综合了主观测试结果与客观测试维度，是比较准确的。
图1是本公开示例性提供的一种目标服务策略的测试方法流程，包括以下步骤：
S100：基于目标服务策略向体验人员提供目标服务，并从所述体验人员获取针对所述目标服务的体验反馈，作为主观测试结果。
S102：监测向所述体验人员提供目标服务的过程，并根据监测结果与预设的监测结果量化逻辑，确定用于衡量所述目标服务的服务效果的量化指标集合，作为客观测试结果。
S104：基于所述主观测试结果与所述客观测试结果，确定最终测试结果。
图1所示方法流程的执行主体可以是部署在电子设备上的服务策略的测试系统。此处的电子设备例如可以是互联网平台的服务器或服务器集群。
需要说明的是，图1所示方法流程是针对单个体验人员而言的，而在实际应用方案时，可以有一个或多个体验人员参与对目标服务策略的测试，可以针对其中每个体验人员，分别执行图1所示的方法流程。
向体验人员提供目标服务的过程往往是可监测的。可以采用的监测手段有多种。
例如，可以利用视频采集装置对过程进行图像采集，将图像作为监测结果，或者对图像进行特征提取得到监测结果。
又如，如果体验人员现场操作终端设备体验目标服务，则可以利用终端设备进行录屏，将录屏得到的视频文件作为监测结果，或者对视频文件进行特征提取得到监测结果。
又如，目标服务的服务形式可能是用户与服务界面进行交互，这种情况下，体验人员需要现场操作终端设备，通过与终端设备上展示的服务界面进行交互的方式体验目标服务。可以在终端设备上预先部署界面监测程序，界面监测程序可以监测服务界面中呈现的内容，也可以监测用户在服务界面中的操作，进而确定监测结果。假设目标服务是信息推荐服务，则界面监测程序可以监测用于提供信息推荐服务的信息推荐界面中的各个信息以及用户在信息推荐界面中的交互操作。
对过程的监测结果，往往可以在客观上反映出所提供的目标服务的服务效果。因此，可以在测试系统中预设监测结果量化逻辑，将监测结果量化成若干量化指标，用于衡量目标服务的服务效果。
在一些实施例中，监测结果可以包括关于目标服务的内容的一个或多个内容相关特征，和/或，关于所述体验人员与所述目标服务的交互的一个或多个交互相关特征。
其中，内容相关特征可以是关于目标服务的内容的若干统计指标，例如目标服务是信息推荐服务的情况下，可以将推荐的信息数量作为内容相关特征。交互相关特征可以是关于体验人员与目标服务的交互的若干统计指标，例如目标服务是信息推荐服务的情况下，可以将用户点赞的信息的数量作为交互相关特征。
此处可以结合上述的界面监测程序获取监测结果的示例进行进一步说明。界面监测程序可以在监测到界面中呈现的目标服务的内容的基础上，进一步对监测到的内容进行统计分析，得到若干内容相关特征。界面监测程序可以在监测到体验人员在界面中进行的交互操作的基础上，进一步对监测到的操作进行统计分析，得到若干交互相关特征。
在一些实施例中，可以利用服务界面的形式，向体验人员提供目标服务。服务界面中可以包含目标服务的内容，体验人员可以与服务界面进行交互，如点击服务界面中的按钮、上下滑动服务界面。
在一些实施例中，体验人员的体验反馈，是基于自己使用目标服务过程中的感受给出的。
在另一些实施例中，可以要求体验人员暂时“扮演”一个虚拟用户身份，以这个虚拟用户身份的视角，模拟该虚拟用户使用服务过程中的感受，并给出相应的体验反馈。可以给不同的体验人员分配不同的虚拟用户身份。
虚拟用户身份可以是互联网平台基于自己所要服务的用户群体的特点预先设置好的，设置虚拟用户身份并提供给体验人员“扮演”，可以使得对目标服务策略的测试更有针对性。
在一些实施例中，可以预先创建若干预设用户画像，分别作为若干虚拟用户身份。如此，体验人员可以以模拟预设用户画像的方式，使用目标服务，并给出相应的体验反馈。
在一些实施例中，可以要求体验人员给出的体验反馈覆盖若干服务体验维度，不同的服务体验维度对应于服务效果评估的不同方面，获取各个服务体验维度上的体验反馈，使得可以更全面的评估服务效果。
互联网平台可以根据主观测试结果与客观测试结果，比较准确地评估基于目前的目标服务策略所产生的服务效果如何，以及了解为何产生这样的服务效果(可解释性)。互联网平台可以合理判断是否需要调整目标服务策略，以及，如果需要调整目标服务策略的话，具体进行怎样的调整。
在一些实施例中，可以将主观测试结果与客观测试结果共同作为最终测试结果输出。
在另一些实施例中，可以将主观测试结果与客观测试结果提供给工作人员，工作人员根据业务经验，参考客观测试结果修正主观测试结果，将修正后的主观测试结果作为最终测试结果。
另外，在一些实施例中，可以将参与测试的多个体验人员分为两个测试组，一组作为目标服务策略对应的目标测试组，另一组作为非目标服务策略对应的对照测试组，每个体验人员并不知晓自己实际处于哪个测试组。针对目标测试组中的每个体验人员，基于目标服务策略提供目标服务；针对对照测试组中的每个体验人员，基于非目标服务策略提供非目标服务。并且，帮助推进测试的工作人员也不能知晓每个体验人员实际处于哪个测试组。
如此，可以实现随机双盲测试的效果，即体验人员的分组是随机的，并且，体验人员与工作人员都不知晓实际的分组情况(体验人员不知晓自己测试的到底是不是目标服务策略，工作人员也无法提示体验人员)。这样也可以在一定程度上减弱体验人员在“是否应当调整目标服务策略”上的主观倾向性。
此处以目标服务为信息推荐服务为例，对一些方案实现细节进行进一步说明。
一般而言，信息推荐服务的服务形式是用户与服务界面进行交互，将信息推荐界面展示给用户，用户浏览信息推荐界面获取推荐的信息。用户还可以与信息推荐界面进行交互，例如用户为了对信息推荐界面中的某个信息表达偏好，在信息推荐界面中进行点赞操作。这种情况下，可以利用界面监测程序对信息推荐界面进行监测，确定信息推荐服务的内容相关特征，以及确定体验人员与信息推荐服务之间的交互相关特征。
提供给体验人员模拟的虚拟用户身份可以是基于预设用户画像定义的。预设用户画像可以是真实用户的用户画像，也可以是虚构的用户画像。每个预设用户画像可以包括以下四个方面中至少一个属性：用户身份属性、用户信息偏好属性、用户的服务使用状态属性、用户的服务使用行为属性。
其中，用户身份属性可以例如可以包括性别、年龄、地域、用户设备型号、吸引用户在互联网平台上注册的引流渠道、用户设备上安装的服务客户端的版本等信息。
用户信息偏好属性例如可以包括预设兴趣点集合，预设兴趣点集合可以反映用户对于信息的兴趣点分布。
用户的服务使用状态属性可以理解为用户对目标服务的历史使用记录所反映出的用户对服务的使用状态。服务使用状态属性例如可以包括用户订阅的信息发布账号、用户访问互联网平台的历史、互联网平台上预设的信息类型中被用户标记为“不喜欢”的信息类型等等。
用户的服务使用行为属性可以理解为用户使用目标服务的习惯，其例如可以包括用户习惯使用的网络类型(Wi-Fi、4G、5G)、用户访问互联网平台时所处的地域、用户在使用信息推荐服务时标记为喜欢的信息类型、用户使用信息推荐服务的频次、用户所归属的用户群体标签(例如群体标签可以是大学生)。
目标服务为信息推荐服务的情况下，预设的各个服务体验维度可以包括以下至少一个：
(1)推荐的每个信息的标题与正文是否匹配；
(2)推荐的每个信息的篇幅是否合理；
(3)推荐的每个信息的展示方式是否清楚；
(4)推荐的每个信息是否属于劣质信息；
(5)推荐的全部信息是否匹配于所述体验人员对应的信息偏好；
(6)推荐的全部信息是否覆盖所述信息偏好所包含的大部分预设兴趣点；
(7)推荐的全部信息涉及的信息类型是否丰富；
(8)对本轮推荐的全部信息中匹配于所述信息偏好所包含的任一预设兴趣点的信息，给出正面反馈之后，在下一轮推荐的全部信息中匹配于该预设兴趣点的信息数量是否合理增加；
(9)对本轮推荐的全部信息中，匹配于其他预设兴趣点的信息给出负面反馈之后，在下一轮推荐的全部信息中匹配于该其他预设兴趣点的信息数量是否合理减少；该其他预设兴趣点不包含于所述信息偏好。
其中，体验人员对应的信息偏好，可以是体验人员自己本人的信息偏好，也可以是体验人员所模拟的预设用户画像的信息偏好。
需要说明的是，体验维度(1)至(4)可以理解为与推荐的信息的质量有关的维度，体验维度(5)可以理解为与推荐的信息的准确性有关的维度，体验维度(6)、(7)可以理解为与推荐的信息的多样性有关的维度，体验维度(8)、(9)可以理解为与信息推荐策略的灵活性有关的维度。
相应地，监测结果量化逻辑可以包括与各个服务体验维度一一对应的计算任务；其中，每个计算任务根据所述监测结果中的至少部分结果，计算用于衡量所述目标服务在该计算任务对应的服务体验维度上的服务效果的量化指标。
以下针对上述的举例中的各个服务体验维度，给出相应的计算任务举例。本领域技术人员应当理解，用于衡量同一个服务体验维度上的服务效果的量化指标可以有多种，相应的计算任务也可以有多种，下文对某一服务体验维度对应的量化指标与计算任务的举例只是示例性说明而已，并不构成对本说明书记载范围的限制。
若服务体验维度为推荐的每个信息的标题与正文是否匹配，则该服务体验维度对应的计算任务可以用于，计算推荐的每个信息的标题与正文之间的相似度。可以理解，信息的标题与正文之间的相似度越大，可以说明标题与正文越匹配。
若服务体验维度为推荐的每个信息的篇幅是否合理，则该服务体验维度对应的计算任务可以用于，根据推荐的每个信息的预期浏览时长与推荐的信息数量，计算推荐的各个信息的平均预期浏览时长。可以理解，各个信息的平均预期浏览时长越长，可以说明基于目标服务策略推荐的各个信息的篇幅越合理。
若服务体验维度为推荐的每个信息的篇幅是否合理，则该服务体验维度对应的计算任务可以用于，根据推荐的每个信息被所述体验人员浏览的浏览进度、推荐的信息数量，计算推荐的各个信息被所述体验人员浏览的平均浏览进度。可以理解，各个信息的平均浏览进度越大，也可以说明基于目标服务策略推荐的各个信息的篇幅越合理。
若服务体验维度为推荐的每个信息的篇幅是否合理，则该服务体验维度对应的计算任务可以用于，根据推荐的各个信息中被所述体验人员完整浏览的信息数量、推荐的各个信息中被所述体验人员浏览过的信息数量，计算推荐的各个信息中被所述体验人员完整浏览的信息的比例。可以理解，各个信息中被体验人员完成浏览的信息的比例越高，也可以说明基于目标服务策略推荐的各个信息的篇幅越合理。
若服务体验维度为推荐的每个信息的展示方式是否清楚，则该服务体验维度对应的计算任务可以用于，计算推荐的每个信息中包括的图像的分辨率，和/或，计算推荐的每个信息中包括的视频的码率。可以理解，推荐的信息中包括的图像的分辨率和/或视频的码率越高，可以说明信息的展示方式越清楚。
若服务体验维度为推荐的每个信息是否属于劣质信息，则该服务体验维度对应的计算任务可以用于，调用信息分类模型，对推荐的每个信息是否属于劣质信息进行分类预测，得到每个信息对应的分类预测结果。
例如，可以从信息内容是否为“三俗”来区分是否为劣质信息。可以获取在信息推荐对应的数据域上微调过的文本分类模型，以及获取图像分类模型，对文本分类模型与图像分类模型进行模型融合，得到融合模型。以信息的标题与信息的封面图片为融合模型的输入，输出用于表征是否属于“三俗”的分类结果。
又如，可以以信息的标题是否“标题党”来区分是否为劣质信息。可以将信息的标题对应的句式特征作为句式分类模型的输入，输出用于表征句式是否属于“标题党”的分类结果，此外，还可以进一步结合预设的“标题党”句式判断规则，更准确确定信息的标题是否属于“标题党”。
若服务体验维度为推荐的全部信息是否匹配于所述体验人员对应的信息偏好，则该服务体验维度对应的计算任务可以用于，针对推荐的每个信息，若确定该信息匹配于所述信息偏好所包含的任一预设兴趣点，则计算该信息与该预设兴趣点之间的匹配度；根据计算得到的各个匹配度，确定综合匹配度。其中，根据计算得到的各个匹配度，确定综合匹配度的方式例如可以是，以匹配于所述信息偏好的每个信息在推荐的全部信息中的占比为权重值，计算匹配于所述信息偏好的每个信息的加权和，得到综合匹配度。可以理解，推荐的全部信息对应的综合匹配度越高，则可以说明推荐的全部信息越匹配于体验人员对应的信息偏好。
若服务体验维度为推荐的全部信息是否覆盖所述信息偏好所包含的大部分预设兴趣点，则该服务体验维度对应的计算任务可以用于，根据推荐的各个信息所匹配的预设兴趣点的数量，计算推荐的各个信息对于所述各个预设兴趣点的覆盖度。例如，假设各个信息所匹配的兴趣点的数量为N，推荐的全部信息的数量为R，那么覆盖率可以为N/log2(R)。
若服务体验维度为推荐的全部信息涉及的信息类型是否丰富，则该服务体验维度对应的计算任务用于，确定推荐的各个信息分别对应的信息类型，计算每个信息类型对应的信息在推荐的全部信息中的占比。可以理解，各个信息类型分别对应的信息在推荐的全部信息中的占比，可以反映出推荐的信息的信息类型的丰富程度。
若服务体验维度为，对本轮推荐的全部信息中匹配于所述信息偏好所包含的任一预设兴趣点的信息，给出正面反馈之后，在下一轮推荐的全部信息中匹配于该预设兴趣点的信息数量是否合理增加；则该服务体验维度对应的计算任务可以用于：
对本轮基于目标服务策略推荐的全部信息中匹配于所述信息偏好所包含的任一预设兴趣点的信息，给出正面反馈之后，确定在下一轮基于目标服务策略推荐的全部信息中匹配于该预设兴趣点的信息数量；
对本轮基于非目标服务策略推荐的全部信息中匹配于所述信息偏好所包含的任一预设兴趣点的信息，给出正面反馈之后，确定在下一轮基于非目标服务策略推荐的全部信息中匹配于该预设兴趣点的信息数量；
基于两个信息数量之间的差异，计算目标服务策略对应的正面灵敏度，用于表征目标服务策略响应于针对信息的正面反馈进行信息推荐调整的灵敏程度。
若服务体验维度为对本轮推荐的全部信息中，匹配于其他预设兴趣点的信息给出负面反馈之后，在下一轮推荐的全部信息中匹配于该其他预设兴趣点的信息数量是否合理减少，该其他预设兴趣点不包含于所述信息偏好；则该服务体验维度对应的计算任务可以用于：
对本轮基于目标服务策略推荐的全部信息中匹配于该其他预设兴趣点的信息，给出负面反馈之后，确定在下一轮基于目标服务策略推荐的全部信息中匹配于该其他预设兴趣点的信息数量；
对本轮基于非目标服务策略推荐的全部信息中匹配于该其他预设兴趣点的信息，给出负面反馈之后，确定在下一轮基于非目标服务策略推荐的全部信息中匹配于该其他预设兴趣点的信息数量；
基于两个信息数量之间的差异，计算目标服务策略对应的负面灵敏度，用于表征目标服务策略响应于针对信息的负面反馈进行信息推荐调整的灵敏程度。
图2示例性提供一种目标服务策略的测试装置的结构，包括：
主观测试模块201，基于目标服务策略向体验人员提供目标服务，并从所述体验人员获取针对所述目标服务的体验反馈，作为主观测试结果；
客观测试模块202，监测向所述体验人员提供目标服务的过程，并根据监测结果与预设的监测结果量化逻辑，确定用于衡量所述目标服务的服务效果的量化指标集合，作为客观测试结果；
最终测试模块203，基于所述主观测试结果与所述客观测试结果，确定最终测试结果。
在一些实施例中，所述监测结果，包括：
关于目标服务的内容的一个或多个内容相关特征；
和/或
关于所述体验人员与所述目标服务的交互的一个或多个交互相关特征。
在一些实施例中，所述主观测试模块201，从所述体验人员获取：所述体验人员以模拟预设用户画像的方式给出的、针对所述目标服务的体验反馈。
在一些实施例中，其中，所述体验反馈，包括：
在预设的各个服务体验维度上的体验反馈。
在一些实施例中，其中，所述目标服务为信息推荐服务；
所述各个服务体验维度包括以下至少一个：
推荐的每个信息的标题与正文是否匹配；
推荐的每个信息的篇幅是否合理；
推荐的每个信息的展示方式是否清楚；
推荐的每个信息是否属于劣质信息；
推荐的全部信息是否匹配于所述体验人员对应的信息偏好；
推荐的全部信息是否覆盖所述信息偏好所包含的大部分预设兴趣点；
推荐的全部信息涉及的信息类型是否丰富；
对本轮推荐的全部信息中匹配于所述信息偏好所包含的任一预设兴趣点的信息，给出正面反馈之后，在下一轮推荐的全部信息中匹配于该预设兴趣点的信息数量是否合理增加；
对本轮推荐的全部信息中，匹配于其他预设兴趣点的信息给出负面反馈之后，在下一轮推荐的全部信息中匹配于该其他预设兴趣点的信息数量是否合理减少；该其他预设兴趣点不包含于所述信息偏好。
在一些实施例中，所述体验人员对应的信息偏好，包括：
所述体验人员所模拟的预设用户画像的信息偏好。
在一些实施例中，所述监测结果量化逻辑包括与各个服务体验维度一一对应的计算任务；其中，每个计算任务根据所述监测结果中的至少部分结果，计算用于衡量所述目标服务在该计算任务对应的服务体验维度上的服务效果的量化指标。
在一些实施例中，其中，所述目标服务为信息推荐服务；其中一个服务体验维度为，推荐的每个信息的标题与正文是否匹配；
该服务体验维度对应的计算任务用于，计算推荐的每个信息的标题与正文之间的相似度。
在一些实施例中，其中，所述目标服务为信息推荐服务；其中一个服务体验维度为，推荐的每个信息的篇幅是否合理；
该服务体验维度对应的计算任务用于，根据推荐的每个信息的预期浏览时长与推荐的信息数量，计算推荐的各个信息的平均预期浏览时长。
在一些实施例中，其中，所述目标服务为信息推荐服务；其中一个服务体验维度为，推荐的每个信息的篇幅是否合理；
该服务体验维度对应的计算任务用于，根据推荐的每个信息被所述体验人员浏览的浏览进度、推荐的信息数量，计算推荐的各个信息被所述体验人员浏览的平均浏览进度。
在一些实施例中，其中，所述目标服务为信息推荐服务；其中一个服务体验维度为，推荐的每个信息的篇幅是否合理；
该服务体验维度对应的计算任务用于，根据推荐的各个信息中被所述体验人员完整浏览的信息数量、推荐的各个信息中被所述体验人员浏览过的信息数量，计算推荐的各个信息中被所述体验人员完整浏览的信息的比例。
在一些实施例中，其中，所述目标服务为信息推荐服务；其中一个服务体验维度为，推荐的每个信息的展示方式是否清楚；
该服务体验维度对应的计算任务用于，计算推荐的每个信息中包括的图像的分辨率，和/或，计算推荐的每个信息中包括的视频的码率。
在一些实施例中，其中，所述目标服务为信息推荐服务；其中一个服务体验维度为，推荐的每个信息是否属于劣质信息；
该服务体验维度对应的计算任务用于，调用信息分类模型，对推荐的每个信息是否属于劣质信息进行分类预测，得到每个信息对应的分类预测结果。
在一些实施例中，其中，所述目标服务为信息推荐服务；其中一个服务体验维度为，推荐的全部信息是否匹配于所述体验人员对应的信息偏好；
该服务体验维度对应的计算任务用于，针对推荐的每个信息，若确定该信息匹配于所述信息偏好所包含的任一预设兴趣点，则计算该信息与该预设兴趣点之间的匹配度；根据计算得到的各个匹配度，确定综合匹配度。
在一些实施例中，其中，所述目标服务为信息推荐服务；其中一个服务体验维度为，推荐的全部信息是否覆盖所述信息偏好所包含的大部分预设兴趣点；
该服务体验维度对应的计算任务用于，根据推荐的各个信息所匹配的预设兴趣点的数量，计算推荐的各个信息对于所述各个预设兴趣点的覆盖度。
在一些实施例中，其中，所述目标服务为信息推荐服务；其中一个服务体验维度为，推荐的全部信息涉及的信息类型是否丰富；
该服务体验维度对应的计算任务用于，确定推荐的各个信息分别对应的信息类型，计算每个信息类型对应的信息在推荐的全部信息中的占比。
在一些实施例中，其中，所述目标服务为信息推荐服务；其中一个服务体验维度为，对本轮推荐的全部信息中匹配于所述信息偏好所包含的任一预设兴趣点的信息，给出正面反馈之后，在下一轮推荐的全部信息中匹配于该预设兴趣点的信息数量是否合理增加；
该服务体验维度对应的计算任务用于：
对本轮基于目标服务策略推荐的全部信息中匹配于所述信息偏好所包含的任一预设兴趣点的信息，给出正面反馈之后，确定在下一轮基于目标服务策略推荐的全部信息中匹配于该预设兴趣点的信息数量；
对本轮基于非目标服务策略推荐的全部信息中匹配于所述信息偏好所包含的任一预设兴趣点的信息，给出正面反馈之后，确定在下一轮基于非目标服务策略推荐的全部信息中匹配于该预设兴趣点的信息数量；
基于两个信息数量之间的差异，计算目标服务策略对应的正面灵敏度，用于表征目标服务策略响应于针对信息的正面反馈进行信息推荐调整的灵敏程度。
在一些实施例中，其中，所述目标服务为信息推荐服务；其中一个服务体验维度为，对本轮推荐的全部信息中，匹配于其他预设兴趣点的信息给出负面反馈之后，在下一轮推荐的全部信息中匹配于该其他预设兴趣点的信息数量是否合理减少；该其他预设兴趣点不包含于所述信息偏好；
该服务体验维度对应的计算任务用于：
对本轮基于目标服务策略推荐的全部信息中匹配于该其他预设兴趣点的信息，给出负面反馈之后，确定在下一轮基于目标服务策略推荐的全部信息中匹配于该其他预设兴趣点的信息数量；
对本轮基于非目标服务策略推荐的全部信息中匹配于该其他预设兴趣点的信息，给出负面反馈之后，确定在下一轮基于非目标服务策略推荐的全部信息中匹配于该其他预设兴趣点的信息数量；
基于两个信息数量之间的差异，计算目标服务策略对应的负面灵敏度，用于表征目标服务策略响应于针对信息的负面反馈进行信息推荐调整的灵敏程度。
应当注意，尽管在上文详细描述中提及了装置的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
图3是本公开提供的一种计算机可读存储介质的示意图，该介质140上存储有计算机程序，所述程序被处理器执行时实现本公开任一实施例的方法。
本公开还提供了一种计算设备，包括存储器、处理器；所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现本公开任一实施例的方法。
图4是本公开提供的一种计算设备的结构示意图，该计算设备15可以包括但不限于：处理器151、存储器152、连接不同系统组件(包括存储器152和处理器151)的总线153。
其中，存储器152存储有计算机指令，该计算机指令可以被处理器131执行，使得处理器151能够执行本公开任一实施例的方法。存储器152可以包括随机存取存储单元RAM1521、高速缓存存储单元1522和/或只读存储单元ROM1523。该存储器152还可以包括：具有一组程序模块1524的程序工具1525，该程序模块1524包括但不限于：操作系统、一个或多个应用程序、其他程序模块和程序数据，这些程序模块一种或多种组合可以包含网络环境的实现。
总线153例如可以包括数据总线、地址总线和控制总线等。该计算设备15还可以通过I/O接口154与外部设备155通信，该外部设备155例如可以是键盘、蓝牙设备等。该计算设备15还可以通过网络适配器156与一个或多个网络通信，例如，该网络可以是局域网、广域网、公共网络等。该网络适配器156还可以通过总线153与计算设备15的其他模块进行通信。
此外，尽管在附图中以特定顺序描述了本公开方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
虽然已经参考若干具体实施方式描述了本公开的精神和原理，但是应该理解，本公开并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本公开旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (10)

1.一种目标服务策略的测试方法，包括：
基于目标服务策略向体验人员提供目标服务，并从所述体验人员获取针对所述目标服务的体验反馈，作为主观测试结果；
监测向所述体验人员提供目标服务的过程，并根据监测结果与预设的监测结果量化逻辑，确定用于衡量所述目标服务的服务效果的量化指标集合，作为客观测试结果；
基于所述主观测试结果与所述客观测试结果，确定最终测试结果。
2.如权利要求1所述方法，所述监测结果，包括：
关于目标服务的内容的一个或多个内容相关特征；
和/或
关于所述体验人员与所述目标服务的交互的一个或多个交互相关特征。
3.如权利要求1所述方法，从所述体验人员获取针对所述目标服务的体验反馈，包括：
从所述体验人员获取：所述体验人员以模拟预设用户画像的方式给出的、针对所述目标服务的体验反馈。
4.如权利要求1所述方法，其中，所述体验反馈，包括：
在预设的各个服务体验维度上的体验反馈。
5.如权利要求4所述方法，其中，所述目标服务为信息推荐服务；
所述各个服务体验维度包括以下至少一个：
推荐的每个信息的标题与正文是否匹配；
推荐的每个信息的篇幅是否合理；
推荐的每个信息的展示方式是否清楚；
推荐的每个信息是否属于劣质信息；
推荐的全部信息是否匹配于所述体验人员对应的信息偏好；
推荐的全部信息是否覆盖所述信息偏好所包含的大部分预设兴趣点；
推荐的全部信息涉及的信息类型是否丰富；
对本轮推荐的全部信息中匹配于所述信息偏好所包含的任一预设兴趣点的信息，给出正面反馈之后，在下一轮推荐的全部信息中匹配于该预设兴趣点的信息数量是否合理增加；
对本轮推荐的全部信息中，匹配于其他预设兴趣点的信息给出负面反馈之后，在下一轮推荐的全部信息中匹配于该其他预设兴趣点的信息数量是否合理减少；该其他预设兴趣点不包含于所述信息偏好。
6.如权利要求5所述方法，所述体验人员对应的信息偏好，包括：
所述体验人员所模拟的预设用户画像的信息偏好。
7.如权利要求4所述方法，所述监测结果量化逻辑包括与各个服务体验维度一一对应的计算任务；其中，每个计算任务根据所述监测结果中的至少部分结果，计算用于衡量所述目标服务在该计算任务对应的服务体验维度上的服务效果的量化指标。
8.一种目标服务策略的测试装置，包括：
主观测试模块，基于目标服务策略向体验人员提供目标服务，并从所述体验人员获取针对所述目标服务的体验反馈，作为主观测试结果；
客观测试模块，监测向所述体验人员提供目标服务的过程，并根据监测结果与预设的监测结果量化逻辑，确定用于衡量所述目标服务的服务效果的量化指标集合，作为客观测试结果；
最终测试模块，基于所述主观测试结果与所述客观测试结果，确定最终测试结果。
9.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现权利要求1-7任一项所述的方法。
10.一种计算设备，包括存储器、处理器；所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现权利要求1-7任一项所述的方法。
CN202111182594.9A 2021-10-11 2021-10-11 目标服务策略的测试方法、介质、装置和计算设备 Pending CN113902589A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111182594.9A CN113902589A (zh) 2021-10-11 2021-10-11 目标服务策略的测试方法、介质、装置和计算设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111182594.9A CN113902589A (zh) 2021-10-11 2021-10-11 目标服务策略的测试方法、介质、装置和计算设备

Publications (1)

Publication Number Publication Date
CN113902589A true CN113902589A (zh) 2022-01-07

Family

ID=79191412

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111182594.9A Pending CN113902589A (zh) 2021-10-11 2021-10-11 目标服务策略的测试方法、介质、装置和计算设备

Country Status (1)

Country Link
CN (1) CN113902589A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104468266A (zh) * 2014-11-24 2015-03-25 北京美琦华悦通讯科技有限公司 基于智能终端实现流媒体用户体验监测的系统及方法
CN104702666A (zh) * 2015-01-30 2015-06-10 北京邮电大学 用户体验质量确定方法及系统
CN110111152A (zh) * 2019-05-10 2019-08-09 腾讯科技（深圳）有限公司 一种内容推荐方法、装置及服务器
CN111538904A (zh) * 2020-04-27 2020-08-14 北京百度网讯科技有限公司 用于推荐兴趣点的方法和装置
CN112819507A (zh) * 2020-12-31 2021-05-18 北京嘀嘀无限科技发展有限公司 一种服务推送方法、装置、电子设备以及可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104468266A (zh) * 2014-11-24 2015-03-25 北京美琦华悦通讯科技有限公司 基于智能终端实现流媒体用户体验监测的系统及方法
CN104702666A (zh) * 2015-01-30 2015-06-10 北京邮电大学 用户体验质量确定方法及系统
CN110111152A (zh) * 2019-05-10 2019-08-09 腾讯科技（深圳）有限公司 一种内容推荐方法、装置及服务器
CN111538904A (zh) * 2020-04-27 2020-08-14 北京百度网讯科技有限公司 用于推荐兴趣点的方法和装置
CN112819507A (zh) * 2020-12-31 2021-05-18 北京嘀嘀无限科技发展有限公司 一种服务推送方法、装置、电子设备以及可读存储介质

Similar Documents

Publication Publication Date Title
CN110781321B (zh) 一种多媒体内容推荐方法及装置
CN104205158B (zh) 测量在线观众的系统、方法和产品
US11417232B2 (en) Method, apparatus, and computer program for operating machine-learning framework
US7958000B2 (en) Method and system for analyzing the effectiveness of marketing strategies
US11068285B2 (en) Machine-learning models applied to interaction data for determining interaction goals and facilitating experience-based modifications to interface elements in online environments
AU2005267372A1 (en) Real-time selection of survey candidates
US20130035989A1 (en) Conducting market research using social games
CN113535991B (zh) 一种多媒体资源推荐方法、装置、电子设备及存储介质
US20220189085A1 (en) Apparatus and methods for generating data structures to represent and compress data profiles
Narwaria et al. Data analysis in multimedia quality assessment: Revisiting the statistical tests
Song Web service reliability prediction based on machine learning
KR20160123948A (ko) 교육 컨텐츠를 위한 서비스 제공 서버, 개발자 단말 및 그 방법
CN109636530B (zh) 产品确定方法、装置、电子设备及计算机可读存储介质
CN113421135B (zh) 确定资源投放控制参数的方法和装置、电子设备
KR101730340B1 (ko) 평가 대상에 대한 평가 결과를 정량화하는 방법
CN114139046B (zh) 对象推荐方法、装置、电子设备及存储介质
CN113902589A (zh) 目标服务策略的测试方法、介质、装置和计算设备
CN110472852A (zh) 一种电力服务应用的体验测评实施管理方法
CN114697725B (zh) 直播间中的业务提问、回答处理方法、装置及电子设备
CN114936281A (zh) 基于大数据的试题动态分类方法、装置、设备及存储介质
CN112801458B (zh) 视频会议应用评价方法、装置、设备及存储介质
US20050135267A1 (en) Method of load testing a system
CN112395174A (zh) 数据处理方法及装置、设备、存储介质
Zhang et al. VidPlat: A Tool for Fast Crowdsourcing of Quality-of-Experience Measurements
KR102683091B1 (ko) 머신 러닝 기반으로 온라인 강의의 품질을 평가하는 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination