CN105373571A - 用于创建和评估实验的系统和方法 - Google Patents

Abstract

本申请提供用于创建和评估实验的系统。包括学习知识库和定义模块，学习知识库储存学习数据，定义模块限定多个经营目标和基于多个经营目标生成一个或多个假设。定义模块还设计与一个或多个假设相关联的多个实验。还包括设计模块和执行模块，设计模块基于一个或多个假设确定与多个实验中每个都相关联的一个或多个实验参数并验证多个实验中的每个实验，执行模块执行多个实验。还包括分析模块和通信网络，分析模块分析多个实验的结果并生成输出数据，通信网络联接至学习知识库、定义模块、设计模块、执行模块以及分析模块。通信网络实现学习知识库、定义模块、设计模块、执行模块与分析模块之间的信息流。

Description

用于创建和评估实验的系统和方法

技术领域

本发明大体涉及用于创建和评估实验的系统和方法，更具体地涉及一种用于设计实验以评估经营策略的效果的系统和方法。

背景技术

在商业组织中经常为决策和可执行的行动设置方向采用策略。决策过程的关键输入包括决策者的直觉和以往的经验

然而，以往的经验有时并不相关，或者直觉可能由于许多混淆的因素而原本就是错误的。商业组织通过返回和重新处理决策来弥补这些缺陷。决策的这些反复可能延迟策略的发展和实施。

另外，作为实施中长时间延迟的结果，对策略进行测量和评估是很乏味的，这反过来又影响了商业的盈利能力。而且，将调查结果转化为可消耗的见解和经营策略同样具有挑战性。因此，缺少结构化且可预测的方法使商业组织难以制定一贯有效的经营策略。

因此，有必要实现具有成本效益的实验系统，该实验系统使用有效的分析技术来提高决策制定的总体精度和速度。

发明内容

简而言之，根据本发明的一方面，提供了一种用于创建和评估实验的系统。该系统包括学习知识库和定义模块，其中，学习知识库被配置成储存学习数据，定义模块被配置成限定多个经营目标以及基于多个经营目标生成一个或多个假设。定义模块还被配置成设计与一个或多个假设相关联的多个实验。该系统还包括设计模块和执行模块，其中，设计模块被配置成基于一个或多个假设确定与多个实验中的每个相关联的一个或多个实验参数并验证多个实验中的每个实验，执行模块被配置成执行多个实验。该系统还包括分析模块和通信网络，其中，分析模块被配置成分析多个实验的结果并生成输出数据，通信网络联接至学习知识库、定义模块、设计模块、执行模块以及分析模块。通信网络被配置成实现学习知识库、定义模块、设计模块、执行模块与分析模块之间的信息流。

根据另一方面，提供了一种用于创建和评估实验的计算机执行的方法。该方法包括：访问学习知识库中的学习数据；通过定义模块限定多个经营目标；以及基于多个经营目标生成一个或多个假设。该方法还包括：通过定义模块设计与一个或多个假设相关联的多个实验；以及基于一个或多个假设通过设计模块确定与多个实验中每个相关联的一个或多个实验参数。该方法还包括：通过执行模块执行多个实验；通过分析模块分析多个实验的结果，以及生成输出数据。

根据又一方面，本申请描述了永久性的计算机可读介质。一些示例的永久性计算机可读介质可以包括存储在其上的计算机可执行指令，该计算机可执行指令可由处理器执行，从而在计算机中执行或使该计算机可执行指令执行各种方法来创建和评估实验。示例性方法可包括要求访问存储学习数据的学习知识库以限定多个经营目标以及基于多个经营目标通过定义模块生成一个或多个假设。该要求可与在计算机系统的处理器上执行的指令相关联，从而设计与一个或多个假设相关联的多个实验，并基于一个或多个假设确定与多个实验中每个相关联的一个或多个实验参数。该多个实验可通过执行模块进行执行，多个实验的结果可通过分析模块进行分析，并且可生成输出数据。

附图说明

参照附图阅读以下详细描述可更好地理解本发明的以上特征、方面和优点和其他特征、方面和优点，在所有附图中，类似的字符表示相同的部分，在附图中：

图1是根据本技术的多个方面实施的用于创建和评估实验的系统的一个实施方式的框图；

图2是根据本技术的多个方面实施的定义模块的一个实施方式的框图；

图3是根据本技术的多个方面实施的设计模块的一个实施方式的框图；

图4是根据本技术的多个方面实施的执行模块的一个实施方式的框图；

图5是根据本技术的多个方面实施的分析模块的一个实施方式的框图；

图6是根据本技术的多个方面实施的用于创建和评估实验的一个方法的一个示例性流程图；

图7是表示通过图1中的根据本技术的多个方面实施的系统创建的示例性实验的屏幕截图；

图8是表示与图7中限定的根据本技术的多个方面实施的实验相对应的示例性学习数据的屏幕截图；

图9是表示与图8中根据本技术的多个方面实施的学习数据相关的示例性细节的屏幕截图；

图10是表示用于通过图1中根据本技术的多个方面实施的系统创建的实验的示例性日历式视图的屏幕截图；

图11是表示用于在图7中限定的根据本技术的多个方面实施的实验示例性情境-冲突-问题(Situation-Complication-Question)矩阵模板的屏幕截图；

图12是表示用于在图7中限定的根据本技术的多个方面实施的实验的示例性因素映射模板的屏幕截图；

图13是表示用于在图7中限定的根据本技术的多个方面实施的实验的示例性假设矩阵模板的屏幕截图；

图14是表示用于在图7中限定的根据本技术的多个方面实施的实验的示例性实验参数的屏幕截图；

图15是表示用于在图7中限定的根据本技术的多个方面实施的实验的示例性响应的屏幕截图；

图16是表示用于在图7中限定的根据本技术的多个方面实施的实验的示例性响应创建的屏幕截图；

图17是表示用于在图7中限定的根据本技术的多个方面实施的实验的示例性因素的屏幕截图；

图18是表示用于在图17中根据本技术的多个方面实施的设计因素的示例性交互的屏幕截图；

图19是表示用于在图7中限定的根据本技术的多个方面实施的实验的示例性样本大小确定的屏幕截图；

图20是表示用于在图7中限定的根据本技术的多个方面实施的实验的示例性样本分配的屏幕截图；

图21是表示用于在图7中限定的根据本技术的多个方面实施的实验的示例性样本列表的屏幕截图；

图22是表示用于在图7中限定的根据本技术的多个方面实施的实验的示例性设计验证的屏幕截图；

图23是表示用于在图7中限定的根据本技术的多个方面实施的实验的示例性设计验证图的屏幕截图；

图24是表示用于实施用于创建和评估根据本技术的多个方面实施的实验的系统的示例性通用计算设备的框图；以及

图25示出了可用于在计算机系统中实施实验的创建和评价的示例性计算机程序产品。

具体实施方式

本发明提供了用于创建和评估实验的系统和方法。通过示例性实施方式和附图描述了该用于创建和评估实验的系统和方法。说明书中提到的“一个实施方式”、“实施方式”、“示例性实施方式”是指所描述的实施方式可包括特定的特征、结构或特性，但是每个实施方式都可不必包括该特定的特征、结构或特性。而且，这种词语不一定指相同的实施方式。另外，当就实施方式描述特定的特征、结构或特性时，无论是否明确描述，都应认为这种特征、结构或特性能应用到其他实施方式的情况处于本领域技术人员的知识范围内。

图1是根据本技术的用于创建和评估实验的系统10的框图。系统10包括定义模块12、设计模块14、执行模块16、分析模块18和学习知识库20。系统10还包括通信网络22和显示装置24。下面将更详细地描述各部件。

定义模块12联接至学习知识库20，并且被配置成限定多个经营目标26。定义模块12还被配置成基于多个经营目标26生成一个或多个假设28。多个经营目标26的示例包括组织中收益流失的原因、顾客购买模式、销售价格上涨的影响、确定促销运动等。定义模块12还被配置成设计与一个或多个假设28相关联的多个实验30。

在一个实施方式中，多个经营目标26由使用者基于与一个或多个执行的实验相关联的历史数据进行限定。如本文所用，术语“使用者”可指自然人以及作为“使用者”进行操作的其他实体。示例包括公司、组织、企业、团队或其他人群。定义模块12还被配置成为多个实验确定具有多个时隙的学习计划32。

设计模块14联接至学习知识库20，并且被配置成基于一个或多个假设28确定与多个实验30中每个相关联的一个或多个实验参数34，并且验证多个实验30中的每个实验。与多个实验30中每个相关联的一个或多个实验参数34的示例可包括但不限于以下：实验类型、与实验相关联的多个因素、因素的样本大小、执行实验的成本或它们的组合。实验类型的示例可包括但不限于以下：预选实验、随机化实验、设计析因实验、部分析因实验、中心复合实验、Plackett-Burman实验或它们的组合。

在一个示例性实施方式中，设计模块14还被配置成估计度量标准以确定实验30的成功并且验证相应的假设28。在另一示例性实施方式中，设计模块14还被配置成区分多个实验30的优先次序和/或基于多个经营目标26将一个或多个假设28结合在单次实验中。

执行模块16联接至学习知识库20，并且被配置成执行多个实验30。在该实施方式中，执行模块16被配置成根据通过定义模块12确定的学习计划32执行多个实验30。执行模块16还被配置成跟踪多个实验30的执行，并且基于多个实验30的结果修改一个或多个实验参数34。在一个实施方式中，可基于初始数据终止多个实验30。执行模块16还被配置成为多个实验30执行质量检查。

分析模块18联接至学习知识库20，并且被配置成分析多个实验30的结果并且生成输出数据36。输出数据36的示例可包括但不限于以下：表示实验结果的一个或多个仪表盘、基于实验的结果的一个或多个经营策略或其组合。在一个实施方式中，分析模块18还包括优化器和模拟器(未示出)，从而为使用者生成仪表盘和展示情景。

在该实施方式中，定义模块12、设计模块14、执行模块16和分析模块18中每个都进一步被配置成从用于创建和评估实验的其他模块中的至少一个接收输入。

学习知识库20联接至定义模块12、设计模块14、执行模块16和分析模块18，并且被配置成储存学习数据38。在一个实施方式中，学习数据38包括与一个或多个执行的实验相关联的历史数据。学习数据38的示例可包括与组织/商业相关联的数据，诸如消费者数据、客户数据、经营目标数据、假设和组成问题数据、分析数据、预算数据等。定义模块12、设计模块14、执行模块16和分析模块18利用来自学习知识库20的学习数据38来执行若干操作，如限定多个实验30、确定与多个实验30中每个相关联的一个或多个实验参数34、执行多个实验30以及分析多个实验30的结果。

通信网络22(诸如互联网络22)联接至学习知识库20、定义模块12、设计模块14、执行模块16和分析模块18，并且被配置成实现学习知识库20、定义模块12、设计模块14、执行模块16和分析模块18之间的信息流。

显示装置24联接至分析模块18，并且被配置成将输出数据36传达至系统10的使用者。在该实施方式中，显示装置24以各种格式传达多个实验30的结果，诸如展示仪表盘40和分析仪表盘42。以上所述的用于创建和评估实验10的系统还被配置成为了使用者的浏览而公布所设计的多个实验30。以下对定义模块12、设计模块14、执行模块16和分析模块18的操作方式进行了更详细的描述。

图2是图1中的系统的定义模块12的示例的框图。如上所述，定义模块12被配置成限定多个经营目标26，并基于多个经营目标26生成一个或多个假设28。在一个示例性实施方式中，定义模块12通过使用被设计成以结构化方式收集学习数据38的数据收集框架(未示出)来生成一个或多个假设28。该数据收集框架的一个示例在于2013年1月7日提交的名为“数据管理系统和工具”的申请号为160/CHE/2013的印度专利申请中进行了描述，该印度专利申请被并入本文。数据收集框架确保适当强调对学习数据38的充分有效收集，以准确地表述多个经营目标26并准确地界定多个经营目标26。

在一个示例中，数据收集框架包括情境-冲突-问题(SCQ)界面、因素映射界面和假设界面。这些界面由数据收集框架使用以填充它们各自的模板(如以下图9、10、11中所示)，从而为由使用者限定的多个经营目标26收集相关的学习数据38。SCQ界面基于从使用者接收的多个经营目标26来填充相应的SCQ模板，从而表示当前状态、所期望的解决方案以及当前状态与和多个经营目标26相关的所期望的解决方案之间的差距。然后，由因素映射界面使用完成的SCQ模板来完成因素映射模板。因素映射模板包括直接或间接地有助于由使用者限定的多个经营目标26的各种因素。在某些实施方式中，使用者可根据多个经营目标26的性质通过添加或删除影响因素来改变因素映射。

假设界面为具体的多个经营目标26确定假设矩阵，并且通过生成一个或多个假设28来填充相应的假设模板。在所示的实施方式中，为多个经营目标26生成的一个或多个假设28包括分别由附图标记28-A、28-B、28-C和28-D表示的假设1至假设4。定义模块12被配置成使用假设模板设计与一个或多个假设28相关联的多个实验30。例如，由定义模块12设计的多个实验30包括分别由附图标记30-A、30-B和30-C表示的实验1至实验3。可设想任意数目的假设和实验。定义模块12还被配置成为多个实验30确定具有多个时隙的学习计划32。设计模块14操作的方式在以下进行更详细的描述。在一些示例中，学习计划32可与系统10的使用者的工作日程表相集成。

图3是根据本技术的多个方面实施的设计模块14的一个实施方式的框图。在该实施方式中，基于由系统10的使用者提供的输入限定了多个实验30(由附图标记52表示)。设计模块14使得使用者能够从预先限定的实验类型为实验确定合适的设计。在一个示例性实施方式中，实验类型包括预选测试和控制实验(由附图标记54表示)、随机化测试和控制实验(由附图标记56表示)以及设计析因实验(由附图标记58表示)、中心复合实验、Plackett-Burman实验或其组合。

如上所述，设计模块14被配置成基于一个或多个假设28确定与多个实验30中每个相关联的一个或多个实验参数34。例如，设计模块14可被为实验确定样本大小60。另外，可为多个实验30确定最佳设计62。如附图标记64所表示，为实验进行样本分配，并且可修改样本分配标准(由附图标记66表示)。设计模块14还被配置成为多个实验30中每个执行采样鲁棒性验证(由附图标记68表示)以完成学习计划32。

图4是根据本技术的多个方面实施的执行模块16的一个实施方式的框图。执行模块16便于根据由定义模块12确定的学习计划32实施多个实验(由附图标记72表示)。执行模块16还被配置成为多个实验30执行质量测试(由附图标记74表示)。在所示的实施方式中，执行模块16通过分析结果的缺失值和异常值执行质量测试(由附图标记76表示)。

执行模块16还被配置成为多个实验30确定早期读数78。在所示的实施方式中，执行模块16被配置成通过对比一个或多个执行实验的结果与预期的和模拟的输出来确定早期读数(由附图标记80表示)。

执行模块16还被配置成为多个实验30生成自适应实验设计82。在所示的实施方式中，执行模块16通过在执行过程中基于早期读数修改一个或多个实验参数34(诸如样本大小)来生成自适应实验设计(由附图标记84表示)。

图5是根据本技术的多个方面实施的分析模块18的一个实施方式的框图。如上所述，分析模块18被配置成执行多个实验30的结果的分析(大体由附图标记92表示)，并且生成输出数据36。分析模块18包括显示装置24，以将输出数据36传达给系统10的使用者。

在一个实施方式中，输出数据36包括表示实验结果的一个或多个仪表盘以及基于实验结果的一个或多个经营策略或其组合。在一个实施方式中，分析模块18包括分析仪表盘94和展示仪表盘96，从而将输出数据36传达给系统10的使用者。可以设想表示输出数据36的其它格式。分析模块18还包括优化器和模拟器(未示出)，从而为使用者生成展示解决方案98。创建和评估多个实验30的方式在下文中进行更详细的描述。

图6是根据本技术的多个方面实施的用于创建和评估实验的一个方法的示例性流程图100。该过程的每个步骤都在下文中进行描述。

在方框102中，学习知识库20中的学习数据38被访问。在一个实施方式中，学习数据38包括与一个或多个执行实验相关联的历史数据。学习数据38的示例可包括消费者和客户数据、经营目标数据、假设和组成问题数据、分析数据、外部数据、预算数据等。

在方框104中，通过定义模块12限定多个经营目标26，并且基于多个经营目标26生成一个或多个假设28。多个经营目标26的示例包括收益流失的原因、顾客购买模式、销售价格上涨的影响、确定促销运动等。在一个实施方式中，多个经营目标26由使用者基于与一个或多个执行的实验相关联的历史数据进行限定。

在方框106中，通过定义模块12设计与一个或多个假设28相关联的多个实验30。实验类型的示例可包括但不限于以下：预选实验、随机化实验、设计析因实验、部分析因实验、中心复合实验、Plackett-Burman实验或其组合。

在方框108中，基于一个或多个假设28通过设计模块14确定与多个实验30中每个相关联的一个或多个实验参数34。与多个实验30中每个相关联的一个或多个实验参数34的示例可包括但不限于以下：实验类型、与实验相关联的因素的数量、样本大小、执行实验的成本或其组合。多个实验30中每个都由设计模块14进行进一步验证。

在方框110中，由执行模块16执行多个实验30。在一个实施方式中，根据由定义模块12确定的学习计划32执行多个实验30。

在方框112中，通过分析模块18对多个实验30的结果进行分析，并且生成输出数据36。在一个实施方式中，基于多个实验30的结果确定一个或多个经营策略。

在一个实施方式中，限定经营目标、设计实验、执行实验、分析实验的结果中至少一个来自使用学习知识库20中存储的学习数据38的输入执行。

上述用于创建和评估实验的系统和方法10实现几个使用者界面来使得使用者能够创建和评估多个实验。相关界面中的一些在下文中进行更详细的描述。

图7是表示通过图1中的系统10创建的示例性实验的屏幕120。屏幕120提供使用表格视图(TableView)(单选按钮122)或日历视图(CalendarView)(单选按钮124)查看存在于学习知识库中的实验和经营目标的列表的选项。在所示的实施方式中，实验列表(单元126)和经营目标列表(单元128)在选择“表格视图”选项(单选按钮122)时以表格形式进行显示。通过图1的系统创建的实验的示例包括营销效果(单元130)、价格测试(PriceTest)(单元132)等。类似地，经营目标的示例包括与一个或多个产品相关联的目标，诸如Price_reduction(单元134)、IncreaseHHSpend(表示由商店的消费者所消费)(单元136)、IncreaseSpendVisit(表示商店的消费者的访问次数)(单元138)、Labor_Day(表示该年具体日期的销售/收益)(单元140)等。

表格视图(单选按钮122)还包括用于每个实验和经营目标的关于最后修改日期和时间(单元142)的区域。另外，屏幕120表示与每个实验和经营目标相关的一个或多个阶段，如计划(单元144)、设计(单元146)、执行(单元148)和测量(单元150)。另外，使用颜色编码方案(由附图标记144-A、146-A、148-A、150-A示出)表明在每个阶段用于每个实验和经营目标的一个或多个状态，并且作为对实验的具体阶段的直接链接。颜色表明实验的阶段的状态，例如，该阶段是否开始(例如，由红色表示)、部分完成(例如，由橙色表示)或完成(例如，由绿色表示)。屏幕120还包括实验摘要方框152，提供细节，如实验的开始日期和结束日期(单元154)、与每个实验相关的描述(例如假设、处理因素、响应)(单元156)。另外，屏幕120中还设有示出经营目标的摘要(如目标、关键问题、实验、创建日期、最后修改日期)的经营目标摘要方框158。如以下图8所示，点击屏幕120中设置栏标160可查看与实验相对应的学习数据。

图8是表示与图7中限定的实验相对应的示例性学习数据的屏幕170。在该示例中，学习数据包括“平均家庭支出仅由于电子邮件活动增加750$”(单元172)、“小册子增加平均家庭支出500$”(单元174)、“与年龄较大的消费者相比，电子邮件活动在年轻消费者中增加储存销售”(单元176)等。这种学习数据可对应于先前执行的实验的结果。还可以通过在设置于屏幕170中的搜索区域178中指定关键字在学习知识库中搜索学习数据。与所检索学习数据相关的细节可通过点击该学习数据获得。例如，点击学习数据“平均家庭支出仅由于电子邮件活动增加750$”(单元172)，屏幕170转变为如图9所示的另一弹出屏幕180。在弹出屏幕180中提供的与学习数据相关的各种细节包括经营目标(单元182)、关联实验(单元184)、优先级(单元186)、重要性(单元188)、时间线(单元190)和注释(单元192)。

图10是表示由图1的系统10创建的实验的示例性日历视图的屏幕200。在屏幕120中选择“日历视图”选项(单选按钮124)时，屏幕转换至日历视图屏幕200。屏幕200便于使用者查看多个实验(单元206)和经营目标(未示出)的、用于“实验视图”202和“经营目标视图”204的栏标。在该示例中，在选择实验(诸如营销效果实验)时，时所用弹出窗口208显示相应的经营目标(例如Labor_Day)。屏幕200还以具有多个时间空档的日历格式显示用于每个实验(例如，营销效果实验)的学习计划(单元210)。因此，可使用该示例性屏幕200以不同格式查看该实验以及与该实验相关联的经营目标。

图11是表示用于在图7中限定的根据本技术的多个方面实施的实验示例性情境-冲突-问题(SCQ)矩阵模板221的屏幕220。在所示实施方式中，使用当前状态(单元222)、所需解决方案或未来所需状态(单元224)以及经营目标的当前状态与所需解决方案之间的差距(单元226)来表示经营目标。屏幕220使得使用者能够输入实现所需状态需要回答的与经营目标的当前状态与所需状态之间的差距相关的多个问题(单元228)。

在该示例性实施方式中，屏幕220示出实验的细节以介绍在劳动节假期期间增加市场份额的活动。单元222包括与清空情境或当前状态相关的已知事实，诸如使用者通过营销渠道进行活动的意图。这种已知事实量化经营目标的当前状态，并且使用输入区域222-A键入。

另外，单元226包括用于具体经营目标的差距/冲突的细节。在本示例中，用于经营目标的冲突为缺乏与因素驱动渠道效果有关的知识。这些事实使用输入区域226-A键入。与未来所需状态相关的事实使用输入区域224-A在单元224中列出。例如，在当前实验中，期望实验中在劳动节期间获得市场份额。

另外，与差距相关的问题(单元228)使用输入区域228-A键入。在该示例中，单元228包括多个问题，如，什么是影响渠道效果的因素。本领域技术人员应理解的是，可在问题限定阶段制定各种其他问题。

图12是表示用于在图7中限定的根据本技术的多个方面实施的实验的示例性因素映射模板231的屏幕230。在该示例中，屏幕230包括影响营销效果实验的多个因素。这些因素可由该系统的使用者来确定。在本示例中，由使用者认定的渠道效果因素232被进一步分类为多个因素类别，如储存属性234、竞争者236、外部因素238和营销240。另外，储存属性因素类234包括各种子因素，如存储布局、产品、关联事物等。使用者可创建详尽的因素列表。这种因素列表可使用屏幕230上设置的栏标“添加”(栏标242)和“删除”(栏标244)定期或周期性地进行更新。另外，屏幕230上还设置由格式(栏标246)选项，以便因素映射的适当可视化和自动格式化。另外，通过使用导航动作(栏标248)，使用者可访问子导航窗口250，子导航窗口250允许包括放大和缩小功能的方便导航。

图13是表示用于在图7中限定的根据本技术的多个方面实施的实验的示例性假设矩阵模板261的屏幕260。假设矩阵模板261包括基于经营目标的一个或多个假设。参照先前示例，这里假设屏幕260包括与营销效果实验相关的一个或多个假设(单元262)。一个或多个假设的示例可包括“通过小册子的营销使销售提高”(单元264)、“增大营销频率使销售提高”(单元266)等。在该示例性实施方式中，屏幕260可包括附加单元268，附加单元268用于为每个假设分别分配优先级和/或为一组假设分配优先级(单元270)。另外，指定与每个假设相对应的一个或多个相关联的组成问题(单元272)，并认定与组成问题相关联的数据元素。数据元素可用使用者通过栏标274添加。与示例性假设相对应的示例性组成问题包括“什么是由通过小册子的营销造成的销售提高？”(单元276)等。另外，可使用“添加假设”栏标278将假设添加至假设矩阵模板。使用者还可以选择并通过“添加至学习数据”栏标280将假设添加至学习知识库中可用的学习数据。

图14是表示用于在图7中限定的根据本技术的多个方面实施的实验的示例性实验参数的屏幕290。屏幕290包括使用者用于描述实验291的描述区域292。另外，可指定一个或多个实验参数，如基础实验成本(单元294)、开始日期(单元296)和结束日期(单元298)。另外，可添加或删除相应的经营目标(单元300)和数据集(单元302)。屏幕290还使得使用者能够使用“选择假设”栏标304为经营目标中每个选择一个或多个假设。与实验相关的假设和组成问题使用窗格306进行显示。对于该营销效果实验的示例，Labor_Day和store_details分别作为经营目标和数据集进行添加。相应的假设和组成问题(如“提供电子邮件的活动使销售提高”)使用窗格308进行显示。

图15是表示用于在图7中限定的根据本技术的多个方面实施的实验的示例性响应311的屏幕310。屏幕310显示了应用于实验291的连续响应(单元312)和分类响应(单元314)。在所示的实施方式中，用于营销效果实验的连续响应以表格形式进行显示。连续响应312包括一个或多个响应(单元316)(例如SalesPerMonth)以及用于相应的响应参数(如单位(单元318)、当前值/基线(单元320)、标准偏差(单元322)、可检测差异(单元324)、动力(单元326)、意义(单元328)、样本单元(单元330))的值。连续响应312还包括单元(单元332)以表明该相应是否在整个样本单元中不同。类似地，可获得用于所有上述响应参数的分类响应314。另外，在点击响应栏标311时，屏幕310中出现如图16所示的弹出窗口340，从而允许使用者创建新的响应。可在弹出窗口340中指定与响应相关的各种细节，如样本单元(单元342)、数据集(单元344)、关联变量(单元346)和响应名称(单元348)。

图17是表示用于在图7中限定的根据本技术的多个方面实施的实验的示例性因素351的屏幕350。屏幕350显示与实验相关的连续因素(单元354)和分类因素(单元352)。通常，分类因素(单元352)包括可采取受限且通常固定的可能值中之一的因素，而连续因素(单元354)包括具有可连续变化的值的因素。在所示的实施方式中，分类因素(单元352)的示例包括电子邮件(单元356)、小册子(单元358)等。可设想各种其他参数。另外，可通过点击与因素相关联的经营目标使来自所有可用假设的列表的一个或多个假设与每个因素相关联或解除关联。与分离因素相关的细节也以表格形式指定，该表格形式包括因素类型(单元360)、水平(单元362)、每个样本的成本(单元364)。屏幕350还为使用者提供指定是否能为样本单元(单元366)改变因素水平的选项。

图18是表示用于在图17中根据本技术的多个方面实施的因素351的示例性交互371的屏幕370。在所示的实施方式中，使用用于因素中每个的效果(单元372)和重要性(单元374)来表示与多个因素相关的交互371。因素的重要性可单独进行分配或以组合的方式进行分配。对于本示例，因素电子邮件和小册子的重要性(单元376)分别进行分配(单元378)。另外，因素的效果进行组合(单元380)以分配重要性(单元382)。交互屏幕370为使用者选择实验类型(诸如随机化控制(栏标384)、随机化测试(栏标386)以及随机化测试和控制(栏标388))提供多个设计选择。还可以设想其他设计选项。

图19是表示用于在图7中限定的根据本技术的多个方面实施的实验的示例性样本大小391确定的屏幕截图390。在这里，样本大小基于各种参数来确定，诸如多个因素的影响(单元392)、基础实验成本(单元394)和响应(单元396)。用于实验的样本大小可使用“计算样本大小”栏标398来估计。所估计的样本大小可使用“设计结果”窗格400来显示。一个或多个设计结果以表格形式进行查看，其中，该表格形式表明各种结构参数，如设计类型(单元402)、样本单元(单元404)、样本大小(单元406)、成本(单元408)和主效果精度(单元410)。

设计结果还可以用于发现因素在影响响应中的效果。使用者可基于成本和样本大小标准来选择合适的设计，并且还可以为后继步骤保存所选择的设计。设计结果可使用“保存设计”栏标412进行保存。另外，“实验总结”窗格414提供所设计实验的总结，突出显示关键属性，如开始日期和结束日期(单元416)、描述(单元418)、设计结果(单元420)、处理因素(单元422)和响应(单元424)。

图20是表示用于在图7中限定的根据本技术的多个方面实施的实验的示例性样本分配431的屏幕430。由使用者保存的设计结果包括使用屏幕430显示的因素351的多个处理组合。如本文中所用，因素的处理组合包括可分配给实验的因素组合。对于本示例，处理组合窗格432提供关于处理的细节，使用者可使用该处理来使用所选择的因素的处理组合存储并分配具体数目的存储至不同的处理运行(单元434)。例如，对于处理运行1(由单元436表示)，所选择的因素处理组合(单元438)为“电子邮件：未给出|小册子：未给出”(单元440)，样本大小(单元442)为约23的存储(单元444)，相应成本(单元446)为约$0(单元448)。样本分配使用“采样选项”窗格450来实现，“采样选项”窗格450包括整个数据集(单元454)(例如store_details)可用的存储列表(单元452)，“采样选项”窗格450具有一栏来保持作为样本ID变量(例如Store_Number)的用于每个存储的标识符。另外，通过使用“分配样本”栏标458，执行自动将具体存储分配至具体运行数量/处理组合而不会为每个处理允许重叠存储的相应指令。

图21是表示用于根据本技术的多个方面实施的在图7中限定的实验的示例性样本列表的细节的屏幕460。如上所述，使用者可使用屏幕430中的“分配样本”栏标458分配样本。样本分配一完成，使用者就可以使用“视图输出”栏标462来查看输出。在该示例中，显示弹出窗口464，其中，弹出窗口464具有已分配至每个处理运行(单元468)并通过样本ID变量(456)(例如Store_Number)进行识别的样本(存储)的列表(单元466)。而且，可为测试和控制设计(例如仅具有一个因素和两个水平的设计)利用弹出窗口464中包括的控制指示器(单元470)，以表明测试和控制运行。对于本示例，所选择的实验为多变量实验(包括多个因素)，因此，每次允许都仅为一次处理(单元472)。另外，通过“作为逗号分隔值(CSV)下载”栏标474为使用者提供将样本列表(单元466)作为逗号分隔值(CSV)文件下载的选项，使用者可用逗号分隔值(CSV)文件来实际进行实验。

图22是表示用于根据本技术的多个方面实施的在图7中限定的实验的示例性设计验证481的细节的屏幕480。在操作中，样本分配一完成，使用者就可以使用屏幕480为每次处理运行查看所有不同协变量(影响响应的因素)的变换响应，从而理解因素之间的相似性。使用者可使用窗格482来选择图表输入，窗格482包括数据集(单元484)，数据集(单元484)包括数据、表明多个运行以进行比较的运行号(单元486)、响应变量(单元488)(例如销售)、协变量(单元490)(例如人口)和加总函数(单元492)(例如平均值)。另外，还可以指定日期变量(单元494)、开始日期(单元496)、结束日期(单元498)和二进制数(numberofbins)(单元500)。而且，使用者可使用“图表”栏标502来查看每次运行的图(例如用于处理运行1的图504以及用于处理运行2的图506)。每个图都可以包括示出分配至具体运行的样本之间的人口分配的协变量的柱状图。另外，每个图都表明用于每个二进制的响应的总值(以附图标记508和510示出)，例如，在该人口的具体间隔内的每个存储的销售平均值。而且，使用者可通过选择图以比较并且点击“比较”栏标514来利用“添加以比较”复选框512，屏幕480转换至如下所述的弹出屏幕。

图23是表示根据本技术的多个方面实施的在图7中限定的实验的示例性设计验证图的屏幕520。为了在调用“比较”栏标514时的比较，并排查看使用屏幕480绘制的设计验证图表。在所示的实施方式中，用于处理运行4、1、2、3的图(由附图标记522、524、526、528示出)可由使用者并排查看和比较。

图24是表示用于实施用于创建和评估根据本技术的多个方面实施的实验的系统的示例性通用计算设备600的框图。在非常基本的配置602中，计算系统600通常包括一个或多个处理器604以及系统存储器606。可为处理器604与系统存储器606之间的通信使用存储器总线608。

根据所希望的配置，处理器604可以是下述任何类型，包括但不限于微处理器(μP)、微控制器(μC)、数字信号处理器(DSP)、或者其任意组合。处理器604可以包括一个或多个级别的缓存(如一级缓存610和二级缓存612)、处理器核614、以及寄存器616。示例处理器核614可包括算术逻辑单元(ALU)、浮点单元(FPU)、数字信号处理核(DSP核)，或者其任意组合。示例存储控制器618还可与处理器604一同使用，或者在某些实现中，存储控制器618可以是处理器604的内部部件。

根据所希望的配置，系统存储器606可以是ROM、闪存存储器或者其任意组合。系统存储器606可包括操作系统620、包括创建和评估实验的算法626的应用程序622以及包括学习数据628的程序数据624。

用于创建和评估实验的算法626被配置成限定多个实验、确定与多个实验中每个相关联的一个或多个实验参数、执行多个实验以及通过利用程序数据624中存储的学习数据628分析多个实验的结果。该所述基本配置602由图24中在内虚线内的组件示出。

计算系统600可具有其他的特征或功能、以及其他的界面以便于基本配置602与任何所需设备和界面之间的通信。例如，总线/接口控制器630可被用于便于基本配置602与一个或多个数据存储装置632之间的、经由存储接口总线638的通信。数据存储装置632可以是可拆卸的存储设备634、不可拆卸的存储设备636、或者其组合。

移动存储设备和固定存储设备的示例包括磁盘设备(诸如软磁盘驱动器和硬盘驱动器(HDD))、光盘驱动器(诸如光盘(CD)驱动器或数字通用盘(DVD)驱动器)、固态驱动器(SSD)以及磁带驱动器等等。示例性计算机存储介质可包括通过任意方法或技术实现的、用于存储信息(诸如计算机可读指令、数据结构、程序模块、或者其他数据)的易失性介质和非易失性介质、移动介质和固定介质。

系统存储器606、可擦除的存储设备634和不可擦除的存储设备636为计算机存储介质的示例。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存存储器或其他存储技术，CD-ROM、数字通用盘(DVD)或其他光学存储器、磁带盒、磁带、磁盘存储或其他磁性存储设备，或者任何其他可被用于存储所希望的信息并可被计算系统600访问的介质。任何这种的计算机存储介质都可以是计算系统600的一部分。

计算系统600还可包括接口总线640，其用于便于从多种界面设备(例如输出设备642、外围界面650以及通信设备658)经由总线/界面控制器630至基本配置602的通信。示例输出设备642包括图形处理单元644和音频处理单元646，图形处理单元644和音频处理单元646可被配置为经由一个或多个音频/视频(A/V)端口648与多种外部设备(诸如显示装置或扬声器)进行通信。

示例性外围接口650包括串行接口控制器652或并行接口控制器654，串行接口控制器652或并行接口控制器654可被配置为经由一个或多个输入/输出(I/O)端口656与诸如输入设备(例如键盘、鼠标、笔、语音输入设备、接触式输入设备等)的外部设备或其他外围设备(例如打印机、扫描仪等)进行通信。示例性通信设备658包括网络控制器660，其可被布置为便于与一个或多个其他商业计算设备662在网络通信链路上经由一个或多个通信端口664进行通信。

网络通信链路可以是通信介质的一个示例。通信介质通常可由计算机可读指令、数据结构、程序模块或调制数据信号中的其它数据(诸如载波或其他传输机制)来体现，并且可包括任何信息传递介质。“调制数据信号”可以是通过某种方式设置或改变一个或多个自身的特性以此来将信息编码于信号中的信号。例如，但不局限于此，通信介质可包括诸如有线网络或直接有线连接的有线介质，以及诸如音频、射频(RF)、微波、红外线(IR)的无线介质和其他的无线介质。本文中所使用的术语“计算机可读介质”可同时包括存储介质和通信介质。

计算系统600可被实现为小型便携式(或移动)电子设备(诸如移动电话、个人数字助理(PDA))、个人媒体播放器设备、无线网络手表设备、个人耳机设备、专用设备、或者包括任何上述功能的混合型设备的一部分。需要注意的是，计算系统600还可被实现为同时包括膝上计算机和非膝上计算机配置的个人计算机。

图25示出了根据本文中描述的至少一些实施方式设置的、可用于在计算机系统中实现实验的创建和评估的示例性计算机程序产品700。程序产品700可包括信号承载介质702。信号承载介质702可包括一个或多个指令704，一个或多个指令704可响应通过例如处理器的执行通过以上就图1至图24所述的特征。因此，例如，参照系统600，处理器604可响应于通过介质702传送至系统700然后执行的指令704进行或被导致进行在图24中示出的方框中的一个或多个中描述的操作。

在一些实施中，信号承载介质702可包括永久性的计算机可读介质706，诸如但不限于，硬盘驱动器、光盘(CD)、数字视频光盘(DVD)、数字磁带、存储器等。在一些实施中，信号承载介质702可包括可记录介质708，诸如但不限于，存储器、读/写(R/W)CD、读/写DVD等。在一些实施中，信号承载介质702可包括通信介质710，诸如但不限于，数字和/或模拟通信介质(例如光纤电缆、波导、有线通信链路、无线通信链路等)。因此，例如，程序产品700可通过RF信号承载介质702被输送至系统600的一个或多个模块，其中，信号承载介质702通过无线通信介质710进行传输(例如符合IEEE802.11标准的无线通信介质)。

本领域技术人员应理解的是，通常来说，本文中所使用的特别是所附权利要求(例如，所附权利要求的主体)中所使用的术语一般作为“开放性”术语(例如，术语“包括(including)”应被解释为“包括但不局限于”，术语“具有(having)”应被解释为“具有至少”，术语“包括(includes)”应被解释为“包括但不局限于”等)。本领域技术人员还应理解的是，如果打算对特定数量的所修辞的权利要求叙述进行保护，这种意图就会在权利要求中明确列出，如果没有这种意图则不列出。

例如，为帮助理解，所附权利要求可能会使用介绍性词组“至少一个”和“一个或多个”来引入权利要求叙述。然而，即使是同一个权利要求中包括介绍性词组“一个或多个”或“至少一个”和诸如“一个(a)”或“一个(an)”的不定冠词，这种词组的使用也不应被理解为暗示使用不定冠词“一个(a)”或“一个(an)”进行修辞的权利要求叙述就是将包括这类所修辞权利要求叙述的任意具体权利要求限制到只含有一个此类叙述的实施方式中(例如，“一个(a)”和/或“一个(an)”应被解读为“至少一个”或“一个或多个”)；这些对使用定冠词来修辞权利要求叙述的情况同样适用。另外，即使特定数量的所修辞权利要求叙述被明确列出,本领域技术人员将认识到这类叙述应被理解为：权利要求至少是所列出的数量(例如，在没有其他修饰语时，“两个表述”的无修辞叙述意为至少两个表述，或者不小于两个表述)。

尽管本文中只说明和描述了一些实施方式的某些特征，本领域技术人员会据此想到许多修改和变更。因此，需要理解的是，所附权利要求旨在覆盖落入本发明真实精神之内的所有修改和变更。

Claims (21)

1.一种用于创建和评估实验的系统，所述系统包括：

学习知识库，配置成储存学习数据；

定义模块，配置成限定多个经营目标并基于所述多个经营目标生成一个或多个假设，其中，所述定义模块还被配置成设计与所述一个或多个假设相关联的多个实验；

设计模块，配置成基于所述一个或多个假设确定与所述多个实验的每个相关联的一个或多个实验参数并且验证所述多个实验中的每个实验；

执行模块，配置成执行所述多个实验；

分析模块，配置成分析所述多个实验的结果，并且生成输出数据，以及

通信网络，联接至所述学习知识库、所述定义模块、所述设计模块、所述执行模块和所述分析模块，其中，所述通信网络被配置成实现所述学习知识库、所述定义模块、所述设计模块、所述执行模块与所述分析模块之间的信息流。

2.根据权利要求1所述的系统，其中，所述学习数据包括与一个或多个执行的实验相关联的历史数据。

3.根据权利要求1所述的系统，其中，所述定义模块、所述设计模块、所述执行模块和所述分析模块中每个都利用来自所述学习知识库的学习数据：限定所述多个实验、确定与所述多个实验的每个相关联的一个或多个实验参数、执行所述多个实验以及分析所述多个实验的结果。

4.根据权利要求1所述的系统，其中，所述多个经营目标由使用者基于与一个或多个执行的实验相关联的历史数据来限定。

5.根据权利要求1所述的系统，其中，所述定义模块还被配置成确定具有多个时隙的学习计划。

6.根据权利要求5所述的系统，其中，所述执行模块被配置成根据所述学习计划执行所述多个实验。

7.根据权利要求1所述的系统，其中，与所述多个实验的每个相关联的一个或多个实验参数包括实验类型、与所述实验相关联的多个因素、样本大小、执行实验的成本或它们的组合。

8.根据权利要求7所述的系统，其中，所述设计模块还被配置成估计度量标准以确定实验的成功并且验证相应的假设。

9.根据权利要求7所述的系统，其中，所述实验类型包括预选实验、随机化实验、设计析因实验、部分析因实验、中心复合实验、Plackett-Burman实验或它们的组合。

10.根据权利要求1所述的系统，其中，所述执行模块还被配置成跟踪所述多个实验的执行并且基于所述多个实验的结果修改一个或多个实验参数。

11.根据权利要求10所述的系统，其中，所述执行模块还被配置成对所述多个实验执行质量检查。

12.根据权利要求1所述的系统，其中，所述分析模块还包括优化器和模拟器来为使用者生成展示情景。

13.根据权利要求1所述的系统，还包括显示装置，以将输出数据传达给所述系统的使用者。

14.根据权利要求13所述的系统，其中，所述输出数据表示所述实验的结果的一个或多个仪表盘、基于所述实验的结果的一个或多个经营策略或它们的组合。

15.根据权利要求1所述的系统，其中，所述定义模块、所述设计模块、所述执行模块和所述分析模块都被配置成接收来自其他模块中的至少一个模块的输入来创建和评估所述实验。

16.一种用于创建和评估实验的计算机执行方法，所述方法包括：

访问学习知识库中的学习数据；

通过定义模块限定多个经营目标，并且基于所述多个经营目标生成一个或多个假设；

通过定义模块设计与所述一个或多个假设相关联的多个实验；

基于所述一个或多个假设，通过设计模块确定与所述多个实验中每个相关联的一个或多个实验参数；

通过执行模块执行所述多个实验；以及

通过分析模块分析所述多个实验的结果，并且生成输出数据。

17.根据权利要求16所述的计算机执行的方法，其中，使用来自储存在所述学习知识库中的学习数据的输入，来执行限定所述多个经营目标、设计所述多个实验、执行所述多个实验、分析所述多个实验的结果中至少一个。

18.根据权利要求16所述的计算机执行的方法，还包括通过所述设计模块验证所述多个实验中的每个实验。

19.根据权利要求16所述的计算机执行的方法，还包括将与一个或多个执行的实验相关联的历史数据作为所述学习数据存储。

20.根据权利要求16所述的计算机执行的方法，还包括基于所述多个实验的结果确定一个或多个经营策略。

21.一种永久性计算机可读介质，其上存储有可由处理器执行以执行或被导致执行权利要求16至20中的任何一项或多项所述的方法。