CN114127770A - 样本增量监视 - Google Patents

样本增量监视 Download PDF

Info

Publication number
CN114127770A
CN114127770A CN201980098565.9A CN201980098565A CN114127770A CN 114127770 A CN114127770 A CN 114127770A CN 201980098565 A CN201980098565 A CN 201980098565A CN 114127770 A CN114127770 A CN 114127770A
Authority
CN
China
Prior art keywords
data set
indication
computer
sample
experimental
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980098565.9A
Other languages
English (en)
Inventor
聂科宇
特德·涛·袁
徐炳全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
eBay Inc
Original Assignee
eBay Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by eBay Inc filed Critical eBay Inc
Publication of CN114127770A publication Critical patent/CN114127770A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Probability & Statistics with Applications (AREA)
  • Economics (AREA)
  • Algebra (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Game Theory and Decision Science (AREA)
  • Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Human Resources & Organizations (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Tests Of Electronic Circuits (AREA)

Abstract

一种在随机对照试验中监视变异的方法，该方法包括：限定第一实验组和第二实验组；接收指示随机对照试验中的第一实验组的第一数据组；接收指示随机对照试验中的第二实验组的第二数据组；基于第一数据组和第二数据组的样本计数，生成随机对照试验中实验组偏斜的指示。

Description

样本增量监视
背景技术
在随机对照试验中，受试者被随机分配至两个或更多个组，并且针对选定的响应对这些组进行比较。处理组可能具有正在评估的替选条件，而对照组接收默认条件。例如，在A/B测试中，应用双样本假设测试来比较来自两个组/两个变体的结果。这两个变体可以包括当前版本或对照版本、以及在一些方面被修改的处理版本。在这种随机对照试验中，目标是为了在测试各种条件时减少偏差的来源。
针对这些和其他技术考虑，提出了本文中做出的公开内容。
发明内容
在进行随机对照试验时，重要的是确保测试组与对照组之间观察到的群体比率与设计的预期比率相匹配，即50％对50％。如果观察到的群体比率与预期值显著不同，则应当向实验者告警，并且应当停止实验以避免潜在的样本偏差。通常，类型I误差是拒绝真的零假设(null hypothesis)，这也可以被称为假阳性。类型II误差是未能拒绝假的零假设，这也可以被称为假阴性。期望使这些误差中的一个或两个最小化。本公开内容描述了用于减少对下述群体比率差异的错误警报的系统和方法：该群体比率差异是由可能在试验的早期阶段发生的样本数据的随机性而导致的。
公开了用于在随机对照实验中检测对照组与实验/处理组之间的样本偏斜、而不需要学习期的各种实施方式。在实施方式中，样本增量或在实验组之间预期样本计数比率与观察到的样本计数比率之间的差异可以用于监视和确定偏斜(样本增量)是否达到阈值。这使得能够较早地检测偏斜，同时使错误警报最小化，这反过来使得能够进行较早的干预，并且避免在样本大小偏离时重新运行昂贵的测试。
在一个实施方式中，创建两个独立的假设测试以检测样本增量度量的方向以及上边界和下边界。在零假设和替选假设下观察到的样本的似然比的对数可以用作测试统计。可以应用顺序测试算法和规则来控制假阳性率/假阴性率。
应当理解，上面描述的以及下面进一步详细描述的主题可以被实现为计算机控制的装置、计算机实现的方法、计算设备或者诸如计算机可读存储介质的制品。通过阅读以下具体实施方式并且查看相关联的附图，这些特征和各种其他特征将是明显的。
提供本发明内容来以简化形式介绍一系列构思，这些构思将在下面的具体实施方式中进一步描述。本发明内容既不意图标识所要求保护的主题的关键特征或必要特征，也不意图将本发明内容用于限制所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本公开内容的任何部分中提到的任何或所有缺点的实现方式。
附图说明
参照附图来描述具体实施方式。在附图中，附图标记的最左边的数字标识该附图标记首次出现的附图。不同附图中的相同附图标记指示类似或相同的项。
图1是示出本文中所公开的一个实施方式的系统图；
图2是示出根据本文中所公开的一个实施方式的示例系统的各方面的图；
图3是示出根据本文中所公开的一个实施方式的随机实验的各方面的图；
图4是示出本文中所公开的偏斜检测的一个示例的框图；
图5是示出根据本文中所公开的一个实施方式的说明性例程的各方面的流程图；
图6是示出根据本文中所公开的一个实施方式的说明性例程的各方面的流程图；
图7是示出用于以下计算机的示例计算机架构的各方面的计算机架构图：该计算机能够执行本文中所描述的软件部件。
图8是示出计算机环境的说明性示例的数据架构图。
具体实施方式
以下具体实施方式呈现了用于在随机对照试验中检测组(例如对照组与处理组)之间的偏斜/样本增量的技术。在各种实施方式中，样本增量或在实验组之间预期的样本计数比率与观察到的样本计数比率之间的差异可以用于监视和确定偏斜是否达到阈值。在零假设和替选假设下观察到的样本的似然比的对数可以用作测试统计，并且可以应用顺序测试算法和规则来控制假阳性率/假阴性率。
所公开的技术可以增强各种在线测试环境和其他测试环境的功能和效率。仅举一个示例，通过减少随机对照试验中重新测试的量，可以改善计算资源的使用。通过所公开的技术的实现方式也可以实现除了本文中具体提及的益处之外的技术益处。
应当理解，虽然本文中所公开的技术主要是在随机测试的背景中描述的，但是本文中所描述的技术可以用于在其他背景中使偏斜最小化，这对于本领域技术人员来说将是明显的。
将参照附图描述用于测试进行和监视的各种技术的各方面，在附图中，贯穿若干附图，相似的附图标记表示相似的元件。在以下具体实施方式中，参照了构成本文的一部分的附图，并且这些附图是通过说明特定配置或示例的方式示出的。
作为执行随机对照试验的一部分，例如在A/B测试中，期望确保变体/分支之间实际观察到的随机流量比例(randomized traffic proportion)在期望阈值内与实验的设计比率一致。例如，对于两个变体测试，所期望的比率可能是50％对50％。
为了说明一个示例，A/B测试可以用于比较功能特征的两个版本，例如通过测试受试者对变体A和变体B的响应，并且确定两个变体中的哪个与一个或更多个目标更一致。在一个示例中，第一版本A可以是当前版本或对照版本，而第二版本B可以是在一些方面被修改的处理版本。例如，网站可能呈现有A版本和B版本，并且可以比较结果以确定处理版本是否导致较高的销售量。处理版本可以包括例如格式和布局方面的改变。按钮的放置、呈现的信息的类型、颜色、词的选择、以及网页的其他方面都可以在A/B测试中进行比较。
图3示出了A/B测试的一个示例，其中可以收集对网页的不同版本的响应。通过向用户随机分配不同的网页的两个版本，可以测量设计的处理效果。这种双样本假设测试通常可以用于对两个版本之间的响应差异进行比较。
测试变体和对照变体的样本计数可以在实验开始后逐渐累积。尽可能早地向实验者告警实验群体之间不平衡的问题可能更有效。以这种方式，实验可以停止以调查观察到的与预期计数的偏差，而不是继续收集输入并且甚至完成测试，只是为了发现样本分布与设计的流量比率(traffic ratio)有偏斜。
在一个实施方式中，样本增量可以被限定为两个分支的预期样本计数比率与观察到的样本计数比率之间的差异，该样本增量可以用于监视和确定关于样本计数分布是否存在任何潜在问题，例如不平衡分布。当样本计数小且波动时，期望尽早检测和确定样本计数是否已经偏斜。时间序列度量异常检测模型的使用可能无法提供期望的结果，因为这些模型通常需要样本计数历史作为学习期。所公开的实施方式允许在没有广泛学习期的情况下检测偏斜。可以随着时间提供统计上一致的偏斜检测，同时可以对照和/或降低假阳性率。例如，基于样本大小的差异的t测试的现有算法可能过于灵敏。
在实施方式中，可以实现以下样本增量算法：该样本增量算法创建两个独立的假设测试以用于检测样本增量度量的上边界和下边界。在零假设和替选假设下观察到的样本计数的似然比的对数可以用作测试统计，并且可以应用顺序测试算法和规则来控制假阳性率/假阴性率。
在一些实现方式中，
Figure BDA0003475923150000041
以及
Figure BDA0003475923150000042
可以是在时间K处在处理(T)组和对照(C)组中的累积样本计数，并且预期的流量比率为rT和rC。可以在二项式设置下执行双边假设测试：
H0：
Figure BDA0003475923150000043
HA：p-p0≠0
其中，
Figure BDA0003475923150000044
并且
Figure BDA0003475923150000051
并且观察到的比率
Figure BDA0003475923150000052
并且预期的比率
Figure BDA0003475923150000053
针对每个测试对照对：
H0：
Figure BDA0003475923150000054
HA：p-p0≠0
在一些情况下，这可能导致高灵敏度，尤其是当NK大时。此处的灵敏度意味着在实验的开始时可以将小的偏差(例如，0.1％的差异)检测为显著的。
根据一个实施方式，可以提出以下零假设和替选假设：
H0：|p-p0|≤δ
HA：|p-p0|≥δ
其中，δ(误差阈值)是超参数，该超参数可以基于针对特定用例的要求而被调整。可以解决的一个问题是可以定期(例如，每小时或每天)重复地进行相同的测试。由于“峰值”行为，这可能会抬高假阳性率(α-膨胀)。替代于进行单样本t测试，在一些实施方式中，可以执行顺序概率测试(SPRT)以避免过高的类型I误差。
在一个实施方式中，可以针对每个测试对照对进行两个单边假设测试：
Figure BDA0003475923150000061
其中，δA和δB可以是不同的。
在一个实现方式中，δA＝δB＝δ＝min(5％，20％min(p0，1-p0))。
测试统计(对数似然比)为：
Figure BDA0003475923150000062
Figure BDA0003475923150000063
其中，
Figure BDA0003475923150000064
在该示例中，小写变量指示它是从随机变量中提取的，并且
Figure BDA0003475923150000065
在另一实施方式中，经由中心极限定理(CLT)直接使用二项式分布而不是正态分布：
Figure BDA0003475923150000066
Figure BDA0003475923150000067
可以限定基于α(类型I)和β(类型II)的临界区域。针对任何K＝1，...，∞：
A如果
Figure BDA0003475923150000068
拒绝H0并且接受HA
跳出；
B如果
Figure BDA0003475923150000071
接受H0
跳出；
C否则：
继续监视；
在一些实施方式中，可以如下地实现变体：
设置β＝0。针对任何K＝1，...，∞：
A如果
Figure BDA0003475923150000072
拒绝H0并且接受HA
跳出；
B否则：
继续监视；
在图1中所示出的示例系统中，示出了实现增量监视功能110的测试系统100。增量监视功能110可以被配置成对网络120上的各种设备150以及计算设备130进行管理和进行随机测试。用户界面160可以呈现在计算设备130上。用户界面160可以与应用140结合来提供，应用140使用API经由网络120与增量监视功能110进行通信。在一些实施方式中，测试系统100可以被配置成进行对照实验，同时检测对照组与实验组之间的样本偏斜。在一个示例中，样本增量监视功能110可以被配置成使用两个或更多个测试群体之间的样本计数的差异来检测偏斜，而不需要学习期。
图2示出了框图，该框图示出示例性测试进行和监视实施方式。图2示出了可以包括服务器210的测试进行和监视环境200。服务器210可以包括可以被统称为“服务器”的一个或更多个服务器。测试进行和监视环境200还可以包括数据库215，该数据库215可以被配置成存储由服务器210使用的各种信息，包括测试条件、测试参数、测试数据等。测试进行和监视环境200还可以包括通信服务器220，该通信服务器220例如实现服务器210、在线服务器230与客户端设备240之间的网络通信。客户端设备240可以是由用户250使用以通过通信网络与服务器210连接的任何类型的计算设备。用户250可以是例如正在访问通信服务器220和/或在线服务器230所提供的服务的用户。服务器230可以由参与提供例如在线服务的任何一方操作。例如，服务器230可以被配置成实现拍卖站点或在线交易。因此，服务器230可以是本文中所描述的可以由拍卖经纪人、金融机构等操作的任何类型的计算设备。图2中表示的服务器和设备经由各种网络通信硬件和软件进行通信，以促进对在联网环境中使用的数据的收集和交换。
图3示出了测试进行和监视实现方式的一个示例。作为执行随机对照试验的一部分，可以使用由在UI 330上运行的浏览器应用335和在UI 340上运行的浏览器应用345呈现的两个网站变体来运行实验。在该示例中，A/B测试可以用于比较网页的两个版本，例如通过测试以下响应：受试者组310对浏览器应用335中实现的变体的响应，以及受试者组320对浏览器应用345中实现的变体的响应。可以针对浏览器应用335中实现的变体累积使用率350，并且可以针对浏览器应用345中实现的变体累积使用率360。使用率信息可以用来确定两个变体中的哪个与一个或更多个目标更一致。在一个示例中，在浏览器应用335上实现的版本可以是当前版本或对照版本，并且在浏览器应用345上实现的版本可以是在一些方面被修改的处理版本。例如，可以将结果进行比较以确定处理版本是否导致更高的销售量。处理版本可以包括格式和布局方面的改变。
图4示出了示例流程图，该示例流程图示出了两个独立假设测试和检测样本增量度量的上(δA)边界和下(δA)边界的实施方式。在图中，对于测试A 410和测试B 420，可以针对每个测试对照对进行以下假设测试：
块430：
Ho：p-p0＝0
HA：p-p0＞＝δA
块440：
Ho：p0-p＝0
HA：p0-p＞＝δB
可以在块450和块460中确定对数似然比。可以基于α和β进行临界区域测试470和480。
图5是示出用于实现本文中所公开的技术中的一些技术的例程500的各方面的图。本领域普通技术人员应当理解，本文中所公开的方法的操作不一定以任何特定顺序呈现，以替选顺序来执行这些操作中的一些或全部是可行的并且是被设想的。为了便于描述和说明，已经按示出的顺序呈现了操作。在不脱离所附权利要求书的范围的情况下，可以添加、省略、一起执行和/或同时执行这些操作。
还应当理解，所示出的方法可以在任何时间结束，并且不需要以其整体来执行。如本文中所限定的，可以通过执行计算机存储介质上所包括的计算机可读指令来执行方法中的一些操作或全部操作和/或基本上等同的操作。如在说明书和权利要求书中所使用的，术语“计算机可读指令”及其变型在本文中被广泛地使用以包括例程、应用、应用模块、程序模块、程序、部件、数据结构、算法等。可以在各种系统配置上实现计算机可读指令，所述各种系统配置包括单处理器或多处理器系统、小型计算机、大型计算机、个人计算机、手持式计算设备、基于微处理器的可编程消费电子产品、其组合等。尽管下面描述的示例例程是在计算设备上操作的，但是可以理解，该例程可以在任何计算系统上执行，所述任何计算系统可以包括协同工作以执行本文中所公开的操作的多个计算机。
因此，应当理解，本文中所描述的逻辑操作被实现为(1)一系列计算机实现的动作或在计算系统(例如本文中所描述的计算系统)上运行的程序模块，以及/或者(2)计算系统内互连的机器逻辑电路或电路模块。实现方式是取决于计算系统的性能和其他要求的选择问题。因此，可以以软件、固件、专用数字逻辑及其任何组合来实现逻辑操作。
例程500在操作501处开始，操作501示出在随机对照试验中限定第一实验组和第二实验组。
例程500然后进行至操作503，操作503示出接收用于指示随机对照试验中的第一实验组的第一数据组。
操作505示出接收用于指示随机对照试验中的第二实验组的第二数据组。
接下来，操作507示出基于第一数据组和第二数据组的样本计数，生成随机对照试验中的至少一个实验组偏斜的指示。
在实施方式中，可以基于第一数据组与第二数据组的样本计数之间的差异生成指示。在一些实施方式中，样本计数可以是第一数据组和第二数据组的当前样本计数。
在实施方式中，可以基于确定第一数据组和第二数据组的预期样本计数比率与观察到的样本计数比率之间的差异落在预定义的误差阈值之外来生成指示。附加地并且可选地，可以基于观察到的样本计数的似然比的对数来进一步生成指示。
在实施方式中，似然比可以基于非零误差阈值。在一些实施方式中，可以对差异应用顺序概率比测试，以控制假阳性率。
图6是示出用于实现本文中所公开的技术中的一些技术的例程600的各方面的图。
例程600在操作601处开始，操作601示出接收用于指示随机对照试验中的第一实验组的第一数据组。
例程600然后进行至操作603，操作603示出接收用于指示随机对照试验中的第二实验组的第二数据组。
操作605示出基于第一数据组和第二数据组的样本计数，生成随机对照试验中的至少一个实验组偏斜的指示。
在实施方式中，可以基于第一数据组和第二数据组的预期样本计数比率与观察到的样本计数比率之间的差异来生成指示。
在实施方式中，可以基于确定第一数据组和第二数据组的样本计数之间的差异落在预定义的误差阈值之外来生成指示。
在实施方式中，可以基于观察到的样本计数的似然比的对数来进一步生成指示。
在实施方式中，似然比也可以基于非零误差阈值。
在实施方式中，可以对差异应用顺序概率比测试，以控制假阳性率。在一个实施方式中，非零误差阈值可以是min(5％，20％min(p0，1-p0))，其中，p0是针对每个测试对照对的预期比率。
在实施方式中，第一实验组可以与零假设相关联；预定义的误差阈值可以基于类型I误差率(α)和类型II误差率(β)；如果对数似然比大于log((1-β)/α)，则可以拒绝零假设并接受替选假设；如果对数似然比小于log(β/(1-α))，则可以接受零假设。
在一个实施方式中，β＝0并且如果对数似然比大于log(1/α)，则可以拒绝零假设，可以接受替选假设。
图7示出了用于以下计算机的示例计算机架构：该计算机能够提供本文中所描述的功能，例如诸如被配置成实现上面参照图1至图6所描述的功能的计算设备。因此，图7中示出的计算机架构700示出了用于适于实现本文中所描述的功能的服务器计算机或其他类型计算设备的架构。计算机架构700可以被用来执行本文中所呈现的各种软件部件以实现所公开的技术。
图7中示出的计算机架构700包括：中央处理单元702(“CPU”)；系统存储器704，其包括随机存取存储器706(“RAM”)和只读存储器(“ROM”)708；以及系统总线77，其将存储器704耦接至CPU 702。固件被存储在ROM 708中，该固件包含例如在启动期间帮助在计算机架构700内的元件之间传送信息的基本例程。计算机架构700还包括大容量存储设备712，该大容量存储设备712用于存储操作系统714、其他数据以及一个或更多个可执行程序，例如用于实现随机测试715或存储测试结果717的程序。
大容量存储设备712通过连接至总线77的大容量存储控制器(未示出)而连接至CPU 702。大容量存储设备712及其相关联的计算机可读介质为计算机架构700提供非易失性存储。尽管对本文中包含的计算机可读介质的描述是指大容量存储设备，例如固态驱动器、硬盘或光盘驱动器，但是本领域技术人员应当理解，计算机可读介质可以是能够被计算机架构700访问的任何可用的计算机存储介质或通信介质。
通信介质包括计算机可读指令、数据结构、程序模块、或调制数据信号(例如载波)、或其他传输机制中的其他数据，并且包括任何传送介质。术语“调制数据信号”意指以下述方式改变或设置其一个或更多个特性的信号：将信息编码在该信号中的方式。作为示例而非限制，通信介质包括有线介质例如有线网络或直接有线连接，以及无线介质例如声学、射频、红外和其他无线介质。上面的任何组合也应当被包括在计算机可读介质的范围内。
作为示例而非限制，计算机可读存储介质可以包括以用于存储信息(例如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术而实现的易失性和非易失性、可移除和不可移除的介质。例如，计算机介质包括但不限于RAM、ROM、EPROM、EEPROM、闪存或其他固态存储器技术、CD-ROM、数字多功能盘(“DVD”)、HD-DVD、BLU-RAY或其他光学存储装置、磁带盒、磁带、磁盘存储装置或其他磁存储设备、或者可以用于存储期望的信息并且可以被计算机架构700访问的任何其他介质。出于权利要求书的目的，短语“计算机存储介质”、“计算机可读存储介质”及其变型本身不包括波、信号、以及/或者其他瞬态和/或无形通信介质。
根据各种实现方式，计算机架构700可以通过网络750和/或其他网络(未示出)使用与远程计算机的逻辑连接在联网环境下操作。实现计算机架构700的计算设备可以通过连接至总线77的网络接口单元716连接至网络750。应当理解，网络接口单元716也可以用于连接至其他类型的网络和远程计算机系统。
计算机架构700还可以包括用于接收和处理来自若干其他设备的输入的输入/输出控制器718，该若干其他设备包括键盘、鼠标或电子笔(图7中未示出)。类似地，输入/输出控制器718可以向显示屏、打印机或其他类型的输出设备(图7中也未示出)提供输出。
应当理解，本文中所描述的软件部件可以在被加载至CPU 702中并被执行时，将CPU 702和整个计算机架构700从通用计算系统转换为专用计算系统，该专用计算系统被定制成促进实现本文中提出的功能。CPU 702可以由任意数目的晶体管或其他分立电路元件构成，晶体管或其他分立电路元件可以单独地或共同地假定任意数目的状态。更具体地，CPU 702可以响应于本文中公开的软件模块内所包含的可执行指令而作为有限状态机操作。这些计算机可执行指令可以通过指定CPU 702如何在状态之间转变来对CPU 702进行转换，从而对构成CPU 702的晶体管或其他分立硬件元件进行转换。
对本文中所呈现的软件模块进行编码也可以对本文中所呈现的计算机可读介质的物理结构进行转换。在本说明书的不同实现方式中，物理结构的具体转换可能取决于各种因素。这样的因素的示例可以包括但不限于：用于实现计算机可读介质的技术、计算机可读介质被表征为主要存储装置还是被表征为次要存储装置等。如果计算机可读介质被实现为基于半导体的存储器，则可以通过对半导体存储器的物理状态进行转换而将本文中所公开的软件编码在计算机可读介质上。例如，该软件可以对构成半导体存储器的晶体管、电容器或其他分立电路元件的状态进行转换。该软件还可以对这样的部件的物理状态进行转换，以便在其上存储数据。
作为另一示例，可以使用磁性或光学技术来实现本文中所公开的计算机可读介质。在这样的实现方式中，本文中所呈现的软件可以在该软件被编码在磁介质或光学介质中时对磁介质或光学介质的物理状态进行转换。这些转换可以包括改变给定磁性介质内位置的磁性特性。这些转换还可以包括改变给定光学介质内位置的物理特征或特性，以改变这些位置的光学特性。利用仅为了方便本讨论而提供的前述示例，在不脱离本说明书的范围和精神的情况下进行物理介质的其他转换是可能的。
鉴于以上内容，应当理解，在计算机架构700中发生了许多类型的物理转换，以便存储和执行本文中所呈现的软件部件。还应当理解，计算机架构700可以包括其他类型的计算设备，包括手持式计算机、嵌入式计算机系统、个人数字助理以及本领域技术人员已知的其他类型的计算设备。
还可以设想，计算机架构700可以不包括图7中示出的所有部件，可以包括未在图7中明确示出的其他部件，或者可以利用与图7中示出的架构完全不同的架构。例如，在不限制的情况下，本文中所公开的技术可以与用于通过并行化来改进性能的多个CPU、用于较快计算的图形处理单元(“GPU”)和/或张量处理单元(“TPU”)一起使用。本文中所使用的术语“处理器”包括CPU、GPU、TPU和其他类型的处理器。
图8示出了能够执行上面参照图1至图7描述的技术和处理的示例计算环境。在各种示例中，计算环境包括主机系统802。在各种示例中，主机系统802在网络804上操作、与网络804进行通信操作或作为网络804的一部分操作。
网络804可以是，或者可以包括各种接入网络。例如，一个或更多个客户端设备806(1)……806(N)可以经由网络804和/或其他连接与主机系统802通信。主机系统802和/或客户端设备可以包括但不限于以下各种设备中的任何一种：所述各种设备包括便携式设备或固定设备，例如服务器计算机、智能电话、移动电话、个人数字助理(PDA)、电子书设备、膝上型计算机、台式计算机、平板计算机、便携式计算机、游戏控制台、个人媒体播放器设备，或者任何其他电子设备。
根据各种实现方式，可以由一个或更多个服务器来提供主机系统802的功能，该服务器执行为网络804的一部分或者与网络804进行通信。服务器可以托管各种服务、虚拟机、门户网站和/或其他资源。例如，可以托管一个或更多个门户网站、网站和/或其他信息，或者提供对一个或更多个门户网站、网站和/或其他信息的访问。
主机系统802可以包括处理器1208、存储器810。存储器810可以包括操作系统812、应用814和/或文件系统816。此外，存储器810可以包括上面参照图1至图7所描述的存储单元82。
处理器808可以是单个处理单元或者是多个单元，该多个单元中的每一个都可以包括多个不同的处理单元。处理器可以包括微处理器、微型计算机、微控制器、数字信号处理器、中央处理单元(CPU)、图形处理单元(GPU)、安全处理器等。替选地或另外地，本文中所描述的技术中的一些或全部可以至少部分地由一个或更多个硬件逻辑部件执行。例如，在不限制的情况下，可以使用的硬件逻辑部件的说明性类型包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、状态机、复杂可编程逻辑器件(CPLD)、其他逻辑电路、片上系统(SoC)以及/或者基于指令执行操作的任何其他装置。除了其他能力之外，处理器还可以被配置成提取并执行存储在存储器810中的计算机可读指令。
存储器810可以包括一个计算机可读介质或计算机可读介质的组合。如本文中所使用的，“计算机可读介质”包括计算机存储介质和通信介质。
计算机存储介质包括以用于存储信息(例如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术而实现的易失性和非易失性、可移除和不可移除的介质。计算机存储介质包括但不限于：相变存储器(PCM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程ROM(EEPROM)、闪存或其他存储技术、致密盘ROM(CD-ROM)、数字多功能盘(DVD)或其他光学存储装置、磁带盒、磁带、磁盘存储装置、或其他磁存储设备、或者可以用于存储信息以被计算设备访问的任何其他介质。
相比之下，通信介质包括计算机可读指令、数据结构、程序模块、或调制数据信号(例如载波)中的其他数据。如本文中所限定的，计算机存储介质不包括通信介质。
主机系统802可以经由网络接口818在网络804上通信。网络接口818可以包括各种类型的网络硬件和软件，以用于支持两个或更多个设备之间的通信。
本技术可以涉及在一个或更多个机器中发生的操作。如本文中所使用的，“机器”意指用指令编程以执行专门的计算操作的物理数据存储和处理硬件。应当理解的是，两个或更多个不同的机器可以共享硬件部件。例如，同一集成电路可以是两个或更多个不同机器的一部分。
应当理解，本文中所描述的方法可以在任何时间结束，并且不需要被整体执行。可以通过执行计算机存储介质上所包括的如下面限定的计算机可读指令，来执行本文中所描述的方法中的一些操作或全部操作以及/或者基本上等同的操作。如在说明书和权利要求书中所使用的，术语“计算机可读指令”及其变型在本文中被广泛地使用以包括例程、应用、应用模块、程序模块、程序、部件、数据结构、算法等。可以在各种系统配置上实现计算机可读指令，所述各种系统配置包括单处理器或多处理器系统、小型计算机、大型计算机、个人计算机、手持式计算设备、基于微处理器的可编程消费电子产品、其组合等。
因此，应当理解，本文中所描述的逻辑操作被实现为(1)一系列计算机实现的动作或在计算系统上运行的程序模块，以及/或者(2)计算系统内互连的机器逻辑电路或电路模块。实现是取决于计算系统的性能和其他要求的选择问题。因此，本文中所描述的逻辑操作被不同地称为状态、操作、结构装置、动作或模块。这些操作、结构装置、动作和模块可以以软件、以固件、以专用数字逻辑及其任何组合来实现。
如本文中所描述的，结合本文中所描述的附图，本文中将例程的操作描述为至少部分地由应用、部件和/或电路来实现。尽管以下说明涉及指定附图中的部件，但是可以理解，例程的操作也可以以许多其他方式来实现。例如，例程可以至少部分地由计算机处理器或其他计算机的一个处理器或多个处理器来实现。另外，替选地或者附加地，例程的一个或更多个操作可以至少部分地由单独工作的计算机或者与其他软件模块结合工作的计算机来实现。
例如，例程的操作在本文中被描述为至少部分地由应用、部件和/或电路来实现，这些应用、部件和/或电路在本文中被统称为模块。在一些配置中，模块可以是动态链接库(DLL)、静态链接库、通过应用编程接口(API)产生的功能、经编译的程序、解释程序、脚本或任何其他可执行指令集。数据和/或模块(例如本文中所公开的数据和模块)可以以数据结构存储在一个或更多个存储器部件中。可以通过寻址至数据结构的链接或引用来从数据结构中检索数据。
最后，尽管已经以特定于结构特征和/或方法动作的语言描述了本文中所呈现的各种技术，但是应当理解，在所附表示中限定的主题不必限于所描述的特定特征或动作。相反，该特定特征和动作是作为实现所要求保护的主题的示例形式而公开的。

Claims (20)

1.一种在随机对照试验中监视变异的方法，所述方法包括：
在所述随机对照试验中限定第一实验组和第二实验组；
接收指示所述随机对照试验中的第一实验组的第一数据组；
接收指示所述随机对照试验中的第二实验组的第二数据组；以及
基于所述第一数据组和所述第二数据组的样本计数，生成所述随机对照试验中至少一个所述实验组偏斜的指示。
2.根据权利要求1所述的方法，其中，基于所述第一数据组和所述第二数据组的样本计数之间的差异生成所述指示。
3.根据权利要求1所述的方法，其中，所述样本计数是所述第一数据组和所述第二数据组的当前样本计数。
4.根据权利要求2所述的方法，其中，基于确定所述第一数据组和所述第二数据组的预期样本计数比与观察到的样本计数比之间的差异落在预定义的误差阈值之外来生成所述指示。
5.根据权利要求2所述的方法，其中，基于所述样本计数的似然比的对数来进一步生成所述指示。
6.根据权利要求5所述的方法，其中，所述似然比基于非零误差阈值。
7.根据权利要求2所述的方法，还包括对所述差异应用顺序概率比测试以控制假阳性率。
8.一种计算系统，包括：
一个或更多个处理器；以及
计算机可读存储介质，所述计算机可读存储介质上存储有计算机可执行指令，所述计算机可执行指令在被所述处理器执行时使所述处理器：
接收指示随机对照试验中的第一实验组的第一数据组；
接收指示所述随机对照试验中的第二实验组的第二数据组；以及
基于所述第一数据组和所述第二数据组的样本计数，生成所述随机对照试验中至少一个所述实验组偏斜的指示。
9.根据权利要求8所述的计算系统，其中，基于所述第一数据组和所述第二数据组的预期样本计数比与观察到的样本计数比之间的差异生成所述指示。
10.根据权利要求8所述的计算系统，其中，所述样本计数是所述第一数据组和所述第二数据组的当前样本计数。
11.根据权利要求9所述的计算系统，其中，基于确定所述第一数据组和所述第二数据组的样本计数之间的差异落在预定义的误差阈值之外来生成所述指示。
12.根据权利要求9所述的计算系统，其中，基于所述样本计数的似然比的对数来进一步生成所述指示。
13.根据权利要求12所述的计算系统，其中，所述似然比基于非零误差阈值。
14.根据权利要求9所述的计算系统，还包括对所述差异应用顺序概率比测试以控制假阳性率。
15.根据权利要求13所述的计算系统，其中，所述非零误差阈值是min(5％,20％min(p0,1-p0))，其中，p0是针对每个测试对照对的预期比。
16.根据权利要求11所述的计算系统，其中，
所述第一实验组与零假设相关联；
所述预定义误差阈值基于类型I误差率(α)和类型II误差率(β)；
如果对数似然比大于log((1-β)/α)，则拒绝所述零假设并且接受替选假设；并且
如果所述对数似然比小于log(β/(1-α))，则接受所述零假设。
17.根据权利要求16所述的计算系统，其中，β＝0并且如果所述对数似然比大于log(1/α)，则拒绝所述零假设并且接受所述替选假设。
18.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可执行指令，所述计算机可执行指令在被计算设备的处理器执行时使所述计算设备：
在随机对照试验中限定第一实验组和第二实验组；
接收指示所述随机对照试验中的第一实验组的第一数据组；
接收指示所述随机对照试验中的第二实验组的第二数据组；以及
基于所述第一数据组和所述第二数据组的样本计数，生成所述随机对照试验中至少一个所述实验组偏斜的指示。
19.根据权利要求18所述的计算机可读存储介质，其中，基于所述第一数据组和所述第二数据组的预期样本计数比与观察到的样本计数比之间的差异生成所述指示。
20.根据权利要求19所述的计算机可读存储介质，其中，基于确定所述第一数据组和所述第二数据组的样本计数落在预定义的误差阈值之外来生成所述指示。
CN201980098565.9A 2019-07-19 2019-07-19 样本增量监视 Pending CN114127770A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/096663 WO2021012074A1 (en) 2019-07-19 2019-07-19 Sample delta monitoring

Publications (1)

Publication Number Publication Date
CN114127770A true CN114127770A (zh) 2022-03-01

Family

ID=74192784

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980098565.9A Pending CN114127770A (zh) 2019-07-19 2019-07-19 样本增量监视

Country Status (3)

Country Link
US (1) US20220245219A1 (zh)
CN (1) CN114127770A (zh)
WO (1) WO2021012074A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116821647B (zh) * 2023-08-25 2023-12-05 中国电子科技集团公司第十五研究所 基于样本偏离评估的数据标注的优化方法、装置及设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040267566A1 (en) * 2003-01-10 2004-12-30 Badgett Robert Gwathmey Computer-based clinical knowledge system
CN202050509U (zh) * 2011-05-09 2011-11-23 北京中传网联数据服务有限公司 一种获取数字电视受众信息的装置
US9679316B2 (en) * 2011-06-06 2017-06-13 Paypal, Inc. Selecting diverse product titles to display on a website
CN103205483B (zh) * 2012-01-13 2017-02-08 北京命码生科科技有限公司 microRNA标准化的内参基因及其用途
CN103970973B (zh) * 2013-01-31 2017-07-07 复旦大学附属儿科医院 一种基于真实数据的模拟rct分析方法
JOP20190112A1 (ar) * 2016-11-14 2019-05-14 Amgen Inc علاجات مدمجة لتصلب الشرايين، شاملة مرض قلبي وعائي تصلبي
CN107066783A (zh) * 2016-11-16 2017-08-18 哈沙斯特医学研发有限公司 一种跨平台临床大数据分析及显示系统
CN109091455A (zh) * 2018-08-24 2018-12-28 内蒙古医科大学附属医院 一种夹脊穴注射单磷酸阿糖腺苷的临床研究方法

Also Published As

Publication number Publication date
US20220245219A1 (en) 2022-08-04
WO2021012074A1 (en) 2021-01-28

Similar Documents

Publication Publication Date Title
CN109840312B (zh) 一种锅炉负荷率-能效曲线的异常值检测方法和装置
US9557797B2 (en) Algorithm for preferred core sequencing to maximize performance and reduce chip temperature and power
US20120221496A1 (en) Text Classification With Confidence Grading
US11443389B2 (en) Determination of paywall metrics
US20170140417A1 (en) Campaign Effectiveness Determination using Dimension Reduction
RU2722692C1 (ru) Способ и система выявления вредоносных файлов в неизолированной среде
CN109271611B (zh) 一种数据校验方法、装置及电子设备
US20160239401A1 (en) Black-box software testing with statistical learning
US20160171104A1 (en) Detecting multistep operations when interacting with web applications
US20230359519A9 (en) Cross-Correlation Of Metrics For Anomaly Root Cause Identification
CN111523039B (zh) 一种用于处理阅读应用中书籍催更请求的方法与设备
CN106649210B (zh) 一种数据转换方法及装置
US10664594B2 (en) Accelerated code injection detection using operating system controlled memory attributes
CN114127770A (zh) 样本增量监视
CN115858487A (zh) 一种数据迁移方法及装置
CN112068781B (zh) 一种存储器的数据读写方法及相关设备
CN112101024B (zh) 基于app信息的目标对象识别系统
CN111796731B (zh) 一种自动排列图标的方法与设备
CN108052344A (zh) 一种内核差异检测方法及装置
CN115204923A (zh) 实体检测方法、装置、计算机设备及存储介质
US9111025B2 (en) Providing automated performance test execution
CN111666252B (zh) 一种获取推荐书籍的推荐热度信息的方法与设备
CN110825726B (zh) 区块链数据检测方法、装置及设备
CN110163471B (zh) 一种异常识别方法和装置
CN113569969A (zh) 数据处理方法和数据处理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination