CN101796539B - 向时隙样本分配内容条以测定所分配内容的效应的系统和方法 - Google Patents

Abstract

本发明提供了向时隙样本分配内容条以测定所分配内容的效应的系统和方法。所述系统和方法接收识别每条内容相对于其它内容为实验内容或对照内容的成对内容关联性数据；以及在算法上使用内容关联性数据向时隙样本分配实验内容条或对照内容条，其中，分配给特定时隙样本的额外内容条不包括相对于此前分配给特定时隙样本的实验内容条定义的不同的相关实验内容条。

Description

向时隙样本分配内容条以测定所分配内容的效应的系统和方法

相关专利申请

本申请要求提交于2007年7月3日的临时专利申请序号60/947,803的优先权，根据35U.S.C.§119(e)(美国法典第35条第119款第(e)项)要求其优先权，并且其以引用的方式并入本文。

技术领域

本发明涉及通信内容的分配，更具体地讲，涉及按照一定方式分配通信内容，使得该分配模式能够测定内容有效性。

背景技术

零售环境中的视觉信息经常采取广告内容的形式。这种内容为固有说服性的，并且通常设计成影响观察者的态度、感觉和行为，以便产生积极的商业影响，例如增加销售，提升品牌知名度或形成顾客忠诚度。

2002年，例如，在一般称为购买点(POP)的零售环境中使用的广告内容方面的全部开销在美国估计是170亿美元，在全球每年超过430亿美元。如此规模的开销已引起品牌所有者高层的越来越多的关注，他们要求增加对市场营销的投资的透明度。

根据业内人士估计，因为首席市场营销主管的平均任期已经下降到22.9个月，所以对可测定性能的需求亦日益迫切。因此，市场营销领导人无法抽出宝贵的时间以可测定方式展示其市场努力的结果。市场营销研究(研究领域之一)已经从历史的角度使用相关的或匹配的对照研究成果，以针对目标评价广告内容的性能。然而，这些“最佳惯例”的市场营销研究方法没有可靠地反映市场营销消息与商业结果之间的因果关系，正如市场营销分析专家(如Don E.Schultz，Market Research Deserves Blamefor Marketing’s Decline，Marketing News，February 15，2005(市场营销研究应归咎于市场的衰落，市场新闻，2005年2月15日))已经对此进行了广泛的评论。即使这样，市场营销研究的开销目前估计为仅仅在美国每年就是80亿美元，这包括这些类型的研究。

发明内容

本发明涉及向时隙样本分配内容条以测定所分配内容的效应的系统和方法。根据本发明的实施例的方法涉及接收识别每条内容为实验内容或对照内容的成对内容关联性数据。方法还涉及在算法上使用内容关联性数据向时隙样本分配实验内容条或对照内容条，其中，分配到特定时隙样本的额外内容条不包括相对此前分配到特定时隙样本的实验内容条定义的不同的相关实验内容条。

本发明的系统实施例包括处理器和连接到处理器的存储器。存储器被构造为存储识别每条内容为实验内容或对照内容的成对内容关联性数据。处理器被构造为执行程序指令以使用内容关联性数据向时隙样本分配实验内容条或对照内容条，其中，分配到特定时隙样本的额外内容条不包括相对此前分配到特定时隙样本的实验内容条定义的不同的相关实验内容条。

实施例涉及一种计算机可读存储介质，在这种计算机可读存储介质上存储有可由处理器执行的程序指令。这些指令可用于执行涉及接收识别每条内容为实验内容或对照内容的成对内容关联性数据的过程。这些指令还可用于执行另外过程，这些过程涉及使用内容关联性数据向时隙样本分配实验内容条或对照内容条，其中，分配到特定时隙样本的额外内容条不包括相对此前分配到特定时隙样本的实验内容条定义的不同的相关实验内容条。

以上对本发明的概述并非旨在说明本发明的每个实施例或每个实施方式。参见以下结合附图的具体实施方式和权利要求，本发明的优点和成效将显而易见，这样就能更全面地理解和领会本发明。

附图说明

图1A和图1B是方便在本发明的上下文中分别理解位间混淆和位内混淆的图解；

图2A示出了根据本发明的实施例的用于分配通信内容并且评价这种内容的有效性的基于计算机辅助执行的过程；

图2B示出了根据本发明的实施例的用于分配通信内容并且评价这种内容的有效性的基于计算机辅助执行的过程；

图3示出了根据本发明的实施例的涉及与符合真实验的约束在算法上调度并显示通信内容有关的网络设置和数据收集的过程；

图4A示出了根据本发明的实施例的与分配通信内容并评价这种内容的有效性有关的对照位置残留效应的过程；

图4B示出了根据本发明的其它实施例的与分配通信内容并评价这种内容的有效性有关的对照位置残留效应的过程；

图5示出了根据本发明的实施例的符合真实验的约束在算法上调度并显示通信内容的过程；

图6A示出了根据本发明的实施例的涉及生成时隙样本的多种过程；

图6B示出了根据本发明的实施例的涉及将内容分配到时隙样本的多种过程；

图6C示出了根据本发明的实施例的可以用于使用完整的随机化过程将计划表分析成时隙样本的算法的实施例；

图6D示出了根据本发明的实施例的可以用于将计划表分析成顺序产生的时隙样本的算法的实施例；

图6E示出了根据本发明的实施例的可以用于建立实验设计播放列表的算法的过程；

图6F示出了根据本发明的实施例的向时隙样本分配内容以用于测试内容的相对有效性的算法的过程；

图6G示出了根据本发明的实施例的使用受到约束的随机化过程向时隙样本分配内容以使得每一条的实验内容分配到相同数，目的时隙样本的算法的过程；

图6H示出了根据本发明的实施例采取样本大小要求作为输入并且使用受到约束的随机化过程向时隙样本分配内容以确保满足样本大小要求的算法的过程；

图6I示出了根据本发明的实施例的使用完整的随机化过程但加入优化因子约束向时隙样本分配内容的算法的过程；

图6J示出了根据本发明的实施例的使用完整的随机化过程但加入块因子约束向时隙样本分配内容的算法的过程；

图7A示出了根据本发明的实施例的向时隙样本分配内容的算法的过程，其中各条内容比时隙样本短；

图7B示出了根据本发明的实施例的向时隙样本分配内容的算法的过程，该算法确保在关注的持续时间内不存在位置混淆；

图7C-7F示出了每天的时隙样本的数目对完成根据本发明的实施例执行的实验的持续时间的显著影响；

图7G-7J示出了位置的数目对完成根据本发明的实施例执行的实验的持续时间的显著影响；

图8A示出了根据本发明的实施例的可以被构造为执行多种方法(包括方便设计真实验或具有真实验的约束的多种子过程)的系统(可以是专家系统)的组件；

图8B示出了根据本发明的实施例的由设计处理器和用户界面执行以设计真实验或具有真实验的约束的多种子过程的过程；

图8C示出了真实验的元素；

图8D为示出被构造用于设计真实验或具有真实验的约束的多种子过程、进行实验或执行这种子过程、分析实验数据和/或解释真实验或具有真实验的约束的子过程的结果的系统的框图；

图9A-9E示出了根据本发明的实施例的可以由实验设计处理器执行的过程的示意图；

图10A-10P为根据本发明的实施例的示出在用于设计真实验或具有真实验的约束的子过程的过程中的一些的可以呈现给用户的问题的显示屏的截屏；

图11A为根据本发明的实施例的可以并入用于设计真实验或具有真实验的约束的子过程的能力以测试数字标牌通信内容的有效性的数字标牌系统的框图；以及

图11B示出了根据本发明的实施例的被构造用于设计、执行和分析真实验或具有真实验的约束的子过程以评价数字标牌内容的系统。

虽然本发明本发明可修改为各种变化形式和替代形式，但其细节通过附图中的例子已示出并且将会作详细说明。然而应当了解，这并非旨在将本发明的范围限定在所描述的具体实施例中。相反，本发明涵盖所有在所附权利要求中所限定的本发明范围之内的修改形式、等同物及替代形式。

具体实施方式

在以下所示实施例的描述中，参照形成实施例的一部分的附图，并通过举例说明的方式在该附图中示出在其中可以实施本发明的多种实施例。应当理解，可以使用所述实施例，而且可以进行结构上的更改而不脱离本发明的范围。

近年来，由于在通信方面所花费的大量资金以及当前不能准确理解通信的内容及其对接收方的有效性之间的因果关系，商业界对更多的数据驱动的市场营销有效性的需求已经显著增加。即使使用常规的市场营销研究技术可在一定程度上反映因果关系，但通常直到市场活动早已结束之后才可以获得研究结果。这样，当这些研究结果具有最大价值时(即，当仍然有机会进行调整并将活动结果最大化时)，这些研究结果不能够提供可以采取行动的情报。这些和其它情形已经加强了市场营销研究的重要性以有助于识别通信概念、验证这些概念，以及在进行产出和分配以后，在可用的时间框架内测定和评价其有效性。

存在两类主要的研究：实验类和非实验类。本发明整体涉及用于进行“真”实验研究的系统和方法以及这些系统和方法的具有独立实用性和有效性的子系统和子过程。然而，虽然发现本文所述的本发明的系统和过程当用作真实验的一部分时具有某些有效性，但发现本文所述的多个系统、过程和方法具有真实验之外的有效性和价值。

例如，可以在准实验、相关性研究或其它形式的非实验研究中执行描述为真实验的一部分的系统和过程的多个方面(如，子系统和子过程)。执行本文所述的多个系统方面和方法可显著提高非真实验系统和方法的效率和准确度。因此应当理解，本文所述的过程、方法、系统和装置不限于仅在真实验研究环境内使用，但可以有利地在其它形式的研究(例如，非实验或准实验研究和相关性研究)中使用。

通常进行实验以根据经验确定在两个或更多个变量之间是否存在关系，并且通常以形成断定在一个或多个自变量与一个或多个因变量之间存在关系的一个或多个假设开始。例如，制药公司的研究人员可设置患者服用的新药剂量与患者的血压有关的假设。通过能够减少或消除混淆变量的效应的方式和程度可以区分多种类型的实验。混淆变量是可随自变量的水平发生系统性变化的因子。然而，只有“真实验”可根据经验确定因果关系这就是Food and Drug Administration(食品和药物管理局)要求使用“真实验”从而得到有关(例如)新药有效性的数据的原因。

自变量是实验期间由实验员进行定义或操纵的变量，例如对患者施用药品的量和/或频率。因变量是断定由自变量的值进行预测的变量(例如，患者的血压)。实验员然后进行试验以确定自变量与因变量之间是否实际上存在关系，例如在医药实验中患者接受的药品的量是否与患者的血压有关。

混淆变量另外可以影响因变量。虽然这些混淆变量不是实验中的主要关注对象，但它们仍会影响因变量并且因此使自变量与因变量之间的准确的因果关系模糊。虽然实验员试图理解自变量与因变量之间的因果关系，但这些混淆变量可使实验结果无法解释。混淆变量中的一些实例包括霍桑效应、顺序效应、残留效应(例如，位间混淆和位内混淆)、需求特性和/或可随自变量的水平发生系统性变化的任何其它因子(如例如上述医药实验中的测试对象的体重)。

混淆变量使得很难或不可以知道哪个因子(变量)导致任何观测到的因变量的变化。实验期间没有得到恰当对照的混淆变量的存在使得很难或不可以对自变量与因变量之间的因果关系进行统计推论。

通过能够减少或消除混淆变量的效应的方式和程度可以区分多种类型的实验。可靠反映因果关系的唯一研究方法是真实验。术语“真实验”表示其中必须存在下面三种特性的实验：

1.存在自变量的至少两个水平。

2.样本随机分配到自变量的水平。即，实验中的每一个样本等几率分配到自变量的水平。

3.存在某种对照或消除混淆的方法。

缺乏以上三种特性中的任何一个的实验不是真实验，经常称为准实验或相关性设计。只有真实验才可以得出有关自变量与因变量之间的因果关系的统计推论。准实验和相关性设计可以允许建立自变量与因变量之间的关系，但不可以确定这些关系是否是因果关系。例如，在Campbell，D.T.，&Stanley，J.C.，Experimental  and Quasi-ExperimentalDesigns for Research，Rand McNally，(1963)中描述了多种类型的实验设计(包括真实验)。

准实验和相关性设计遭受已知为“第三变量问题”和“方向性问题”。第三变量问题是实验结果可能由未受到对照或随机化的一些其它变量导致的。第三变量问题的一个著名实例是发现溺死与冰激凌销售之间存在高度的正相关性。然而，基本确定无误的情况是冰激凌以外的某一其它变量(如，导致人们购买冰激凌并导致人们去游泳的环境温度)解释这种相关性。

市场研究员面临可以、并经常的确解释了它们的相关性研究发现的大量的第三变量。方向性问题是：它可能是导致变量B变化的变量A，或可能是变量B导致变量A变化的情况。激烈辩论的方向性问题的实例是观看暴力媒体与攻击行为之间的高度相关性。该方向性问题是获知是否暴力媒体导致攻击行为的障碍之一。既可能是观看暴力媒体导致攻击行为，也可能是攻击行为的倾向导致人们喜欢观看暴力媒体。市场营销研究中的方向性问题的实例是：它可能是与促销媒体的交互导致购买行为的情况、或购买意图导致与促销媒体进行交互的情况。

甚至最老练的市场人员也常常采用相关性研究，如互联网分析的本文描述所证实的那样。例如，相关性研究对在数字招牌上播放特定广告内容的相同时间段内的销售点(POS)数据进行比较。该方法不能够考虑另外会影响商业结果的许多因素(例如，测试周期内发生的竞争促销或改变的经济条件)。同样，与任何相关性方法一样，这种方法不能够确定因果关系。

匹配对照研究(另一个常用方法)识别使用数字标牌的一定数目的测试商店以及仔细选择的在许多方面相似但没有使用数字标牌的一组“匹配”对照商店。然后，对相同时间段内的销售进行比较。匹配对照研究受到的限制与相关性研究一样，这是因为：不能够知道在安装标牌之前测试和对照商店是否相同以及不能够知道是否标牌系统和内容以外的某一事件导致这些商店之间的任何观察到的差别。即，测试商店和对照商店的事件和条件经常完全不同，并且大致被忽视。克服这种使用匹配对照方法的限制的唯一方法是向测试和对照条件随机分配极大数目的商店，这通常认为是不现实的。此外，如果使用这些数据进行推行数字标牌网络的决策，则非标牌对照组丢失，从而不能够进一步测定和优化数字标牌系统的有效性。

互联网自身似乎已经建成提供可测定市场营销通信的“黄金标准”，因为它提供“闭环”，其中可分配市场营销消息，可观察并跟踪顾客的响应。大多数情况下，这种响应采取如下形式：鼠标点击或一系列鼠标点击、或在网页上花费一定时间、或通过使用设置在单独的计算机上的“cookies”并跟踪他们的在线行为的多个监视服务进行跟踪的某一其它尺度。

若干主要的互联网媒体公司和专业互联网市场营销分析事务所已经开发出极其成熟的分析能力。这些能力包括与反映消息版本与性能尺度(例如，点击率)之间的相关性的所谓的用户响应的“实时”跟踪结合的无数消息版本的算法分配。大量的努力持续集中在增强和扩展这些能力，并且它的价值已经被市场证实，如最近引人注目的几十亿美元采集所证实的那样。

虽然互联网型测定方法在技术上是复杂的，但它在概念上是简单的。当在某种形式的显示设备上观看互联网内容时，观看者的响应几乎仅受限于使用该相同设备的反应。同样，互联网的闭环是极其直截了当的。

就实验而言，各个用户是样本，多种版本的网页对应于自变量。鼠标点击是响应，点击数据对应于因变量。实际上通过点击自变量产生因变量数据，同样，收集因变量数据的这种动作不可避免地将因变量数据与自变量数据连接在一起。

通常存在由cookies启用的极其详细的物理记录，它识别用户并跟踪其互联网点击路径，从而记录用户暴露于自变量的哪个水平。重要的是，混淆变量在因变量与自变量之间存在是罕见的。

由于在互联网域内不存在出现混淆的可能，所以在物理环境内在显示器上传送内容是普遍的。在物理环境中，虽然人们产生因变量数据(如，销售点或POS日志、满意度调查响应、传感器事件)，但很难将因变量数据连接到它们可能已经向其暴露的自变量的水平(如，显示器上的内容)。顾客逛商店，有可能注意到也可能没有注意到显示器或在这些显示器上播放的内容。此外，当顾客位于观看范围内时，播放的内容可以变化，从而使他们暴露于自变量的多个水平。此外，许多其它变量(在或多或少可预测变量(例如，变化的酒店入住率或季节的温度变化)到不可预测变量(例如，竞争市场营销促销和道路建设)的范围内)会影响因变量数据。

物理环境下的两种类型的混淆呈现极其困难的有关测定的挑战：位间混淆和位内混淆(另外称为位间残留效应和位内残留效应)。可以既具有位内残留效应又具有位间残留效应。当处于一个实验条件下(如，在显示对照内容时)的观察者仍然处于不同的实验条件下(如，当显示实验内容时)时，出现位内残留效应。当在一个位置处的观察者在不同位置处对内容进行反应时出现位间残留效应。

下面的实例方便理解位间混淆，在图1A中示出了它的描述。考虑一种情况，其中顾客访问位于其工作场所附近的汽车经销商并且观看显示器上促销汽车检查的消息。在离开该经销商之前，该顾客没有购买检查(即，其未响应该消息)。在当晚开车回家的期间，该顾客考虑该检查消息，并且决定在家附近的不同的经销商位置处停车，并且购买检查。但是，第二个经销商已经在其显示器上播放了该消息的不同版本。在这种情况下，该检查销售将归因于该错误消息。

下面的实例方便理解位内混淆，在图1B中示出了它的描述。考虑一种情况，其中访问汽车经销商的顾客观看显示器上促销车辆检查的消息(该消息暗示顾客在未来可避免出现故障)。然而，当顾客考虑该促销报价时，在同一显示器上显示关于省钱的不同的有关检查的消息，顾客有可能看到也有可能没有看到该消息。顾客基于初始“避免故障”消息决定购买检查，但当显示“省钱”消息时进行购买。在这种情况下，不可能知道购买应当归因于哪个消息。

这些问题导致品牌拥有商管理人员质疑使用常规市场营销研究技术获得的结果的准确性。虽然声称销售增加10％似乎是有希望的，但基于这些数据品牌拥有商管理人员仍不愿意推行数字标牌网络。例如，精明的管理人员当前不能够十分肯定地确定是否广告内容“A”独自对商业结果“B”负责，或如果开始推行数字标牌网络，是否可以从数字标牌网络获得最大价值。如上所述，互联网分析法通常不具有真实验的性质，因此经常依赖于非实验相关性技术(例如，多变量回归分析法或人工神经网络)。然而应当理解，一些互联网实验可以被设计为包括真实验的特性。

本发明涉及用于确定通信内容与通信内容对感受者的有效性之间的因果关系的存在以及测定这种因果关系的强度的系统和方法。本发明涉及方便通信内容的分配以及分配的通信内容的有效性的评价的方法和系统。本发明的系统和方法涉及按照一定方式分配通信内容，使得该分配模式能够测定内容有效性的方面。本发明的方法和系统可以对分配通信内容的模式(即，定时和位置)进行系统性对照，以对照和/或消除混淆。

通信内容可以采取多个形式，包括视觉、听觉、或可影响人的感官系统(如，人的感官系统的五官感觉，包括触觉、味觉、嗅觉、视觉和听觉)或由人的感官系统检测到的任何形式。通信内容可以是静态的、动态的或其组合。

可以通过多种方法分配通信内容，这些方法包括(例如)电子方式、光学方式、音频广播、或通过静态或动态图像的图形或图画方式。通信内容可以分配到多种物理环境并在多种物理环境内分配，包括零售商店、银行、酒店、机场、公路、铁路、以及其它公共或私人场所。可以通过固定或移动结构、装置和系统呈现通信内容。

根据本发明的实施例，计算机执行系统和方法可以生成时隙样本，时隙样本中的每一个被分配了时钟时间。每一个时隙样本具有指定的称为时隙样本持续时间的持续时间(可以将内容分配到其上)以及用于测定分配的内容的效应的数据采集时间。时隙样本的数据采集时间是收集因变量数据的时间段。根据其它实施例，计算机执行的系统和方法将多条内容分配到时隙样本，以用于在显示器上显示，以用于测定分配的内容条的有效性。

本发明的系统和方法还涉及通信内容的分配以及涉及评价这些内容符合真实验的约束的有效性。本发明的实施例涉及提供在计算机的执行过程中使用的符合真实验的约束的显示通信内容的规则。可以基于时间或事件驱动的规则优选对照或消除(例如)残留效应的混淆。通信内容根据规则显示。收集关于通信内容的有效性的数据，并且基于收集的数据评价通信内容的有效性。

本发明的实施例涉及在算法上在一个或多个显示器上分配内容，使得分配模式满足真实验的约束，以用于测定内容的效应。在通信内容分配网络(例如数字标牌网络或互联网)上执行真实验，可以确定通信内容与成功的经营措施(如，销售、传感器事件、调查数据等)之间的因果关系的存在以及测定该因果关系的强度。

本发明的实施例采用算法以自动调度并显示标牌内容，使得内容呈现模式精确对应于实验设计。算法的输出可以用作对应于实验条件分析因变量数据的基础。

虽然数字标牌网络(例如)呈现许多挑战，但与其它媒体(例如，广播或有线电视、无线电和印刷)相比，这种网络另外提供理想的实验条件。参照电视和无线电，例如，广告商不能够对照哪些电视播放他们的商业广告(即，不能够操纵自变量)，也不能够测定商业广告对产品销售的直接效应(即，不能够测定自变量对因变量的效应)。由于大多数的市场营销研究方法从这些媒体模型进化而来，所以市场研究员看起来已经忽视了执行真实验的可能性。

作为另一个实例，数字标牌网络可以精确调度广告内容(即，可以精确操纵自变量)。另外，因为显示器通常靠近产品或者说是位于可测定行为变化的环境中，所以可以测定由内容引起的行为变化(即，可以测定自变量对因变量的效应)。另外，通常已经以在试验内可易于采用的形式收集了用于针对目标评价成功的数据。

根据本发明的方法，自变量优选是数字标牌内容，因变量可以是具有商业含义(如，销售数据、传感器数据、调查数据)的任何措施。使用本发明的系统和方法，可以系统性对照数字标牌内容分配在整个数字标牌网络上的模式(即，定时和位置)，以对照和消除混淆。

为在数字标牌网络中使用而实施的本发明的系统和方法提供了高的内部效度和外部效度。内部效度是指准确描述变量之间的因果关系的特征的实验中的置信度水平。在实验室里进行的实验通常具有高的内部效度，因为在实验室里实验员可以获得通常在“真实世界”里不可能获得的对变量的对照程度。外部效度是指变量之间的任何因果关系的方向和强度将保持在实验室之外、即在真实世界中的置信度。例如，品牌经理敏锐地意识到管理内部效度和外部效度的问题。例如，品牌经理经常考虑关注组中的偏爱或行为模式措施是否将存在于商店的走廊内。

从常规上来说，在内部效度和外部效度之间存在权衡，通过研究知道这是“内部效度的悖论”。然而，本发明的方法提供显著的内部效度和外部效度。由于可以在整个数字标牌网络上随机地呈现内容，所以可以确保几乎没有其它因子随自变量的水平发生系统性变化(因此，确保了统计显著性或阿尔法的水平完全代表任何结果代表因果关系的概率)。此外，由于实际上在真实世界中使用已经收集的测定(如，销售数据)作为因变量进行实验，所以外部效度几乎是完美的。

与相关性设计和准实验相比之下，本发明的方法不仅同时并显著增加了数据可用于回答商业关键问题的速度，另外显著增加了数据的置信度。例如，根据阿尔法的置信度水平(通常设置在0.05)使用具有800个显示器的数字显示网络收集充足数据以获知内容A比内容B有效只需要花费大约几个小时。使用匹配对照或相关性研究收集数据可能需要花费几个月时间，并且结果的置信度可能较低。应当注意，即使是最佳设计的相关性研究也只能在收集完数据以后对它进行适当分析。这是因为进行统计需要汇编在研究期间系统性变化的因子(即，混淆)(如，天气、经济条件)的列表，以便尝试从数学上对照通常使用多重回归的相关性模型中的这些变量。每一次尝试估计变量的效应均包含潜在错误，并且该潜在错误是累积的。

在本发明的多种实施例的上下文中，自变量对应于内容的性质(例如，策略消息或甚至类似主要色彩或使用拍摄图像的执行性元素)。总是至少存在两个水平的自变量：或者这两个水平均是实验内容，或者一个水平是实验内容而另一个水平是对照内容。实验内容是假设对因变量产生影响的内容(模拟临床药品实验中进行测试的药品)。对照内容是不期待影响因变量的任何内容(模拟临床药品实验中的安慰剂药丸)。操纵自变量涉及分配在不同时间和不同地点在标牌上待显示的实验内容或对照内容。不同水平的自变量被随机(基于约束，如下所述)分配到不同的标牌和不同的位置。因变量可以是断定受内容影响的任何变量(如，销售数据、测定预购买行为的传感器数据)。

如上所述，混淆变量可以影响因变量，因此使自变量与因变量之间准确的因果关系模糊不清。例如，如果实验双盲并且在给定正确的随机化的条件下，则仅仅存在两种可能混淆：上文描述的残留效应(如，位间混淆和位内混淆)和内容混淆。

当在正在测定因变量的测定的同一时隙内针对相同因变量播放不止一个版本的实验内容时，出现内容混淆。这种情况使得无法知道哪个内容成为任何观察到的因变量中的变化的基础。通过确保在给定时隙内仅仅呈现实验内容和/或对照内容，可以消除这些类型的混淆。

如前所述，当观察者在与实验条件对应的一个时隙内观看内容而在与不同的实验条件相关的时隙内对该内容作出反应时，出现残留效应。再次，这种情况使得无法知道哪个内容成为任何观察到的因变量中的变化的基础。当处于一个实验条件下(如，在显示对照内容时)的观察者仍然处于不同的实验条件下(如，当显示实验内容时)时，出现位内残留效应。通过确保可将内容分配到其上的时隙样本足够长以确保在时隙样本中的一些(如，时隙样本的二分之一)期间出现在观看位置处的绝大多数观察者(如，95％)不会处于此前的时隙样本期间，可以对照位内混淆。在这种情况下，优选仅仅在出现于此前时隙样本期间的绝大多数观察者已经离开该位置的时隙样本的一部分期间记录数据。

如下所述，替代的方法涉及使用在时隙样本期间记录的大多数或所有数据，但与时隙样本的开始部分相比，向时隙样本的结束部分更加加重数据的权重。此外，通过反向平衡呈现内容的顺序(如，确保在整个实验中，内容B跟随内容A的频率与内容A跟随内容B的频率相同)，可以消除任何仍然存在的位内残留效应(如，从可能已经感受两个版本的测试内容的5％或更少的顾客产生的位内残留效应)。

当在一个位置处的观察者在不同位置处对内容进行反应时出现位间残留效应。通过以下方法可以消除位间残留效应：确保位于彼此似乎合理的移动距离内的位置受到播放内容的约束，使得无法在一个实验条件有效时离开一个位置，并在另一个实验内容有效时到达附近位置，并以影响因变量的方式作出反应。

对于不同的原因可以采用两种类型的分块：基于优化因子的分块和基于噪声变量的分块。优化因子是在标牌位置处可以对内容的有效性产生暗示的那些因子。这种因子包括标牌位置、环境光照度、观察者的社会经济地位、时段等等。基于这些因子的分块可以进行因数分析，以测定内容与优化因子之间的交互作用(如，测定内容A是否在早晨更有效，而内容B是否在晚上更有效)。通过消除与会影响可预测但并非相对于实验所关注的因变量的因子相关的变化性，基于噪声变量的分块可用于增加统计功效。

应当注意，在给定正确的随机化的条件下，实验以外的任何因子(如，需求变化、道路建设、其它广告效果)随自变量的水平系统地改变是不可能的。在双盲实验中，对象(在这种情况下，顾客)与研究均不知道谁属于对照组和实验组。仅仅在记录了所有的数据以后，并且在进行分析的一些情况下，研究才知道哪些人在每一个各自的组。以双盲方式进行实验表现一种减轻偏见和无意识物理暗示(安慰剂效应、观察者的偏见、和实验员的偏见)对结果的影响的方法。

当考虑与设计真实验或具有真实验的约束的真实验的子过程的常规的人工方法相关的问题和限制时，易于理解根据多种实施例的本发明的有力的方面。虽然基于真实验产生的数据能够消除混淆效应，但对于其在市场中被广泛接受的使用来讲，人工设计并执行恰当对照或消除混淆变量的真实验的复杂性是一个障碍。

与常规方法相关的第一个问题涉及设计精确的内容分配模式，使得它与限制可测量性的实验设计一致。采用一个、两个或甚至五个变量设计并执行真实验是非常复杂的，需要受过高度训练的统计员进行分块、反向平衡、随机化以及适当处理所有混淆。同样，由于随着进行的实验的数目和复杂性的增长，需要额外的统计和实验设计专家，所以常规的方法不是非常可测量的。

与常规方法相关的第二个问题涉及对内容进行调度，以在与实验设计对应的精确时间在数字标牌软件上播放，从而当进行人工尝试时这会过于耗时。网络通常包括数以百计或甚至数以千计的数字显示器(如，由125,000个LCD显示器组成的WAL-MART TV网络)。例如，顾客(常常表征为特定目标观察者群体分部的一部分)在称为时段的一天的部分时间内访问商店。在整个数字标牌网络和整个这些分部和时段上调度内容已经是耗时活动。例如，对于标牌中的多个确切地在同一时间播放完全相同的内容的300到400个标牌网络，管理数字标牌内容的调度几乎是全职工作。

然而，为了在整个数字标牌网络上执行真实验，统计员必须根据分块、反向平衡、以及通过随机化以其它方式对照所有变量精确调度广告内容。使用当前内容管理软件调度数字标牌内容对于单个标牌经常需要花费高达20分钟。同样，如果不是不可以的话，在整个大标牌网络上使用常规技术人工调度各条数字标牌内容，使得这些数字标牌内容以与实验设计对应的精确模式进行显示将会过于耗时。

与常规方法相关的第三个问题涉及将因变量数据关联到实验条件，这是耗时的。目前，在执行实验以后，统计员必须从财务部门请求(例如)非常具体详细的数据，并且将数据点与在整个网络上播放的精确内容匹配。通过根据本发明分配通信内容并且评价这种内容的有效性，来克服与常规方法相关的这些和其它问题和限制。

下文提供涉及以符合真实验的约束的方式分配通信内容以及评价这种内容的有效性的实例。这些实例仅仅是为了进行示意性的说明而提供的，并非限制本发明所公开的原理的范围或应用。相反，可以设想大量的多种媒体以及通信分配架构和方法，包括涉及印刷媒体、蜂窝或无线通信装置、包括固定装置和便携式(如，手持式)装置的互联网访问的内容和装置、店内和户外(如，电子广告牌)显示系统的那些媒体以及通信分配架构和方法。另外可以设想能够通过这些架构和装置进行通信的大量的多种内容，包括(例如)广告内容、教导内容和寻路内容。

虽然本文所述的自动化实验设计方法总体集中在数字标牌应用上，但应当理解，除了别的以外，这种方法可以应用于许多市场营销通信策略，包括网页设计、互联网广告、购买点印刷市场营销、以及直销。例如，可以根据本发明修改互联网分析方法或基于网络的自动化实验系统(例如，在美国专利No.6,934,748和No.7,130,808中公开的系统，该专利以引用方式并入本文中)，从而执行真实验设计或具有真实验的约束的子过程。

本发明的方面可以并入没有涉及以实验方式测定分配的内容的效应、但涉及基于(例如)履行合同义务的其它约束分配内容的自动化内容分配系统和方法中。在美国专利公布No.2006/0287913中公开了这种系统和方法的实例，该专利以引用方式并入本文中。在这种系统和方法中，在根据本发明测定分配的内容的有效性的同时，可以执行内容分配。

系统和方法的以下非限制性实例示出了本发明的多种实施例。实例中的一些涉及方便符合真实验的约束测定通信内容的有效性的系统和算法。实例中的一些涉及方便对照分配通信内容的模式以便对照和消除(或显著减少)混淆的系统和算法。实例中的一些涉及可以执行以方便(例如)准实验分析和相关性研究中的内容有效性的非实验分析的系统和算法。

本发明的多种实施例可以对应于实验条件自动分析因变量数据。图2A示出了涉及符合真实验的约束的显示通信内容的规则中的第10条的实施例。在一些实施例中，这些规则中的第10条涉及符合真实验的约束建立这种规则。在其它实施例中，建立的规则提供给符合真实验的约束的显示通信内容的系统。如图2A中还示出的那样，根据规则显示通信内容(12)。收集有关通信内容的有效性的数据(14)，基于收集的数据评价通信内容的有效性(16)。

图2B示出了更具体地涉及数字标牌内容的自动化调度和显示的实施例。根据图2B，提供符合真实验的约束的显示通信内容的播放列表和计划表(11)。播放列表是指各条内容的顺序，计划表指示(例如)由播放列表定义的内容条的重放。

在一些实施例中，播放列表和计划表的第11条涉及符合真实验的约束建立播放列表和计划表。在其它实施例中，此前建立的播放列表和计划表提供给可以符合真实验的约束的显示通信内容的系统。在整个数字标牌系统上分配通信内容(13)。根据播放列表和计划表在数字标牌系统的显示器上显示通信内容(15)。收集有关通信内容的有效性的数据(17)，基于收集的数据评价通信内容的有效性(19)。

应当理解，一个或多个处理装置(如，个人电脑、微型计算机、网络处理器、网络服务器等)可以用于进行图2A-2B以及该说明书中的其它附图中所示的一个、一些或所有的过程。例如，第一处理器或处理器组可以用于播放列表和计划表的建立过程中。第二处理器或处理器组可以用于在一个位置处或在整个数字标牌系统上分配内容。第三处理器可以用于根据播放列表和计划表显示内容，而第四处理器可以用于收集有关内容有效性的数据。第五处理器可以用于基于收集的数据评价内容的有效性。在一些实施例中，通过可以组网以便在一些或所有处理器之间进行通信的一个或多个处理器可执行本文所述的这些过程和其它过程。

在其它实施例中，通过没有组网而以其它方式链接以在两者间进行通信的处理器可以执行这种过程中的一些或每一个。例如，第一处理器可以被构造用于执行一组程序指令以实现播放列表和计划表，而第二处理器可以被构造用于执行一组程序指令以用于将内容分配到一个或多个显示装置。除非另外指明，本文和权利要求书中所用的术语处理器或计算机(及其变型形式)设想为单个处理器、一些或全部可以进行通信耦合的多个处理器、不能够通信耦合在一起的完全不同的处理器(子网中的单个处理器)、以及处理资源的其它配置。

图3和图4示出了根据本发明的实施例的与符合真实验的约束在算法上调度并显示通信内容有关的过程。图3示出了根据本发明的实施例的涉及与在算法上调度并显示通信内容结合的网络建立和数据收集的多种过程。

根据图3所示的示例性实例，建立数字标牌网络涉及确定方便对照、减少或消除(例如)残留效应的混淆的显示位置。例如，建立该网络可以涉及确定至少预定百分比(如，95％)的顾客不会访问显示实验内容或对照内容的另一个位置的位置(30)。选择95％的值并非关键所在。然而应当理解，所选的值越大，结果低估该内容的投资回报的精确量的可能性越低。95％的值只是足够大，从而基于适当反向平衡，残留效应的影响将几乎不存在。

重要的是，确保绝大多数的观察者没有机会在一个部位处看见消息而在显示不同对照内容或实验内容的另一个部位处对该消息作出反应。这种情况的情形将是残留效应情形，这会混淆实验结果。例如，如果人们在汽车经销商的显示器上进行实验，则该人需要知道在附近哪些经销商彼此足够靠近，使得观察者可在一个经销商处看见内容而在参与实验的另一个经销商处购买车辆。这可作为数字标牌网络建立的一部分而实现。例如，软件可提示安装人员选择观察者在离开其经销商以后可真正访问的整个网络上的所有位置(如，同一地理区域中的其它经销商)。

作为数字标牌网络建立的一部分，优选识别在标牌位置处显示的网络属性和优化因子(32)。这种因子可以包括预测影响在标牌位置处的因变量的值的每一个场所的特性(如，商店大小、社会经济类别、其它广告效果、在标牌位置处的观察者的通常数目的时段差别)。这些因子然后变成实验中的块因子。

存在两种块因子。一种包括实验将测试交互作用并且将暗示关于显示哪个内容的战略决策(如，在社会经济地位(SES)低的经销商处内容A可能更有效，而在SES高的经销商处内容B可能更有效)的因子。另一种块因子是没有明显暗示显示哪个内容、但无论如何应当被分块以便增加实验的统计功效的因子。此外，这些因子可在软件安装期间指定并且可在以后更新。

网络建立另外包括估计实验的样本大小要求(34)。理想的是，优选使用统计功效分析，以计算找到商业关注的至少某一最小量级的统计显著性结果需要多少数据。

作为网络建立的一部分，定义对照内容和实验内容(36)。对照内容(即，安慰剂)可以是既不预期也不可能影响所需的行为的任何消息(例如，当地天气或新闻)、或关于与因变量无关的产品或服务的消息。实验内容是假设导致因变量发生变化的内容。应当注意，在一些情形下，用于一个假设的实验内容可起到用于不同假设的对照内容的作用。

采集有关绝大多数的观察者进行商业活动在该部位处花费的最长持续时间的数据并且用于对照残留效应(38)。如此前讨论，当观察者在一个时间看见实验内容、然后当播放对照内容时对该内容作出反应(反之亦然)时，出现残留效应。通过以下方法可以容易地消除这些情形：确保在时间段或时隙样本内仅仅显示实验内容或仅仅显示对照内容，并且确保该时间段或时隙样本足够长，以使得感受此前内容的任何人将不会出现在开始数据采集并且正在播放当前内容的时间。

图4A示出了根据本发明的实施例的与分配通信内容并且评估这种内容的有效性有关的对照(如，减小或消除)位置残留效应的过程。图4A示出了如果95％的顾客在标牌位置处花费的最长持续时间是30分钟的情况下如何对照位内残留效应。在该示例性实例中，播放内容的时隙样本22和24是95％的顾客在该位置处花费的最长持续时间的两倍。

直到处于此前时隙样本期间的95％的顾客已经离开标牌位置，才开始记录数据。在该实例中，在时隙样本22和24的最后30分钟部分23和25期间才记录数据。注意：用于每一个位置的时间间隔优选由可测定因变量数据的整个最小时间单位表示。例如，在一些销售点系统中收集的销售数据以秒为单位提供，而其它系统仅仅以整个小时为单位报告销售。图4B示出了根据本发明的其它实施例的与分配通信内容并评估这种内容的有效性有关的对照位置残留效应的过程。在下文中讨论图4B的方面。

图5示出了根据本发明的实施例的符合真实验的约束在算法上调度并显示通信内容的过程。图5所示的过程示出了本发明的实验设计和执行过程的多种行动。图5旨在示出综合系统，它包括许多特征，这些特征方便调度并显示符合真实验的约束的通信内容。应当理解，图5所示的所有特征不必并入本发明的系统和方法中。图5所示的选择的特征可以应用于独立式应用中，或可以与其它特征结合，从而得到根据本发明的实施例的有用的系统和方法。图6A-7B(例如)示出了图5所示的特征的多种可用的组合。可以在非实验系统(例如，准实验系统和采用相关性分析或回归分析或人工神经网络的系统)中实现图5所示的特征的许多组合。

除了别的以外，图5-7B所示过程中的许多具有通常从其它过程、系统(如，POS系统)、传感器(如，在场传感器)、或从用户接收的输入。这些输入包括以下内容：正在测试有效性的每一条内容的持续时间数据(CD)；关注的持续时间(DI)，在其之后如果内容导致正在测定的行为数据或交易数据变化，则把该内容视为非关注的内容)；成对内容关联性数据(CR)(即，期待内容A以不同形式影响与内容B相同的行为数据或交易数据？)；成对位置关联性(LR)(即，在上述的关注的持续时间内观察者可以感受在位置A处的内容并在位置B处作出反应的可能性)；在标牌位置处的优化因子(OF)；基于优化因子针对每一条内容需要多少个时隙样本估计的可选的样本大小要求(SS)；一定百分比的目标观察者(如，95％)在显示器所处位置处花费的最长持续时间(观察者访问持续时间或VVD)；在访问场所期间目标观察者可影响的关注的数据流的数据采集/集合的时间间隔(TI)；块因子(即，可预测因变量数据但本身并不关注优化内容的最有力的因子)；绝对安慰剂内容；和实验内容。

观察者访问持续时间是一个重要参数，它代表指定百分比的观察者在某个位置处花费的最长时间。通常，基于许多观察者的各个VVD计算VVD，应当理解，各个VVD的分配取决于影响各个人在某个位置处花费的时间的大量的因子。VVD的精度取决于场所的大小。小场所(如，小商店)可以提供用于在几分钟内观看内容然后对内容作出反应的良好限定的机会。

可以通过多种方法确定观察者访问持续时间，例如基于期待的VVD估计VVD。确定VVD可以基于一个或多个因子，例如交易数据、此前销售数据、传感器数据(如，邻近或在场传感器数据)和观察数据。在下文提供的示例性实例中讨论用于确定VVD的其它方法。

应当理解，虽然一些“观察者”从来不会看到(或理解)显示的内容，但仍会购买广告的项目(归纳到测定的行为)。有些观察者看到内容但不购买广告的项目，有些观察者看到并购买广告的项目。就这一点而言，本发明的方法涉及随显示的内容的变化(实验内容对比对照内容)反映测定的行为之间的差别。应当注意，进行测定的这种行为差别另外随显示位置而变(如，在偏僻角落中，很少有人能看到，而在醒目位置，所有人都能看到)。如果很少人或没有人看到显示器，则最引人注目的内容(今天平板电视机免费！！！)对于测定的行为(得到免费电视机)实质上不会产生任何差别。

位置是重要条件，它是指物理空间，在该物理空间内，观察者既可感受因变量的水平(如，以数字标牌内容的形式)、又可导致与自变量相对应的因变量数据发生变化(因变量数据经常由销售点或传感器数据组成)。通常，零售环境中的位置是零售商拥有的物理空间。然而，存在位置是零售商拥有的空间的一部分的一些情况。例如，考虑在登记台附近具有显示器(即，在该位置正通过实验测试设计用于增加客人升级到非标准房间的可能性的两条数字标牌内容的相对有效性)的酒店大堂的情况。在这种情况下，由于观察者仅仅可在酒店大堂内感受内容，并且除了观察者在第一次访问酒店大堂过程内升级到非标准房间以外观察者不太可能以后再升级到非标准房间，所以该位置是酒店大堂区域(而非整个酒店)。同样，在该受到对照的物理空间内可以获得精确的VVD。

例如，在具有单个户外显示器和多个零售商业机构的城市里测定顾客行为(如，通过购买在城市的单个户外显示器上呈现的广告产品)的情况下，VVD变得更不精确。购物中心环境通常落在允许精确VVD的受控位置与上述示例性城市场景之间的某处。通过对比，应当注意，最受控的情况是由坐在计算机显示器旁边并通过点击鼠标和/或敲击键盘响应内容(即，对内容作出行为反应)的人员代表的位置。

如此前所述，当自变量的一个水平的效应持续时尝试测定同一自变量的另一个水平的效应时，出现残留效应。由本发明实施例提供的对照或消除残留效应的解决方案是：确保在(1)改变自变量的水平与(2)在改变自变量的水平以后收集数据之间经过了足够的时间。

确保在数字标牌内容的环境中消除残留效应的一种方法是：在自变量的水平变化之间等待很长时间，和/或在改变自变量的水平与收集因变量数据之间等待很长时间。例如，在一次一星期或更长时间内可仅仅显示自变量的一个水平(如，图1A和图1B所示的实例中的“避免故障”)。然后，通过在整个星期内收集数据，在该星期内收集的数据点中的多个将不会受到自变量的不同水平(如，在该实例中，“省钱”)的影响。然而，这种方法严重限制了在自变量的水平可被改变的整个时间内的实例的数目。

本领域技术人员将会知道，可从实验产生结论的速度与可操纵的自变量的整个时间内的实例的数目直接有关。本发明的实施例有利地提供了将VVD和TI用作输入，以确定自变量的水平的变化频率，因此使人们能够在尽可能频繁地改变自变量水平时对照或消除残留效应。

再次参见图5，将计划表分析成时隙样本(40)。分析计划表对于消除残留效应是非常重要的。分析通常涉及在算法上分析计划表，使得时隙样本可分配到指示内容的重播的计划表。

建立播放列表涉及在算法上将内容分配到时隙样本，使得内容分配模式(即，播放内容的定时和位置)满足实验的约束(42)。例如，可以通过以下步骤完成这项工作：确保实验内容和对照内容不混淆(45)；在确保基于网络优化因子(即，正在进行研究的因子)的分块的特定约束的条件下，将内容随机分配到时隙样本(46)；通过可对照和预测但并非研究中所关注的其它因子(即，噪声因子)进行分块(47)；反向平衡顺序效应(48)；对全部非对照的因子进行随机化处理(49)；确保平衡设计，使得在整个块上存在大致相同数目的时隙样本(50)；以及满足建立的样本大小要求(44)。

根据播放列表计划表分配内容(52)。理想的是，该过程和相关算法嵌入在内容管理软件内(52)，从而内容可根据建立的播放列表计划表进行自动分配。优选产生上述算法过程的报告(54)。该报告优选识别呈现什么内容以及何时何地呈现该内容。该报告另外可以表明对什么因变量数据进行编码以及存在或使用任何优化、噪声和块因子。有关影响算法的过程或性能的其它数据另外可以包括在生成的报告上。应当理解，记录这些和其它数据/信息，从而可以生成算法过程的报告。该报告优选指定在每一个时隙样本内对哪个因变量进行编码，以及由于由残留效应或其它混淆导致的可能的污染而使用或丢弃哪个因变量数据。

可以根据实验条件使用产生的报告的数据分析因变量测定(55)。例如，因变量数据(如，POS销售数据)优选标记时间和地点信息，使得可根据实验条件自动分析该数据以用于分析。

图6A示出了根据本发明的实施例的涉及生成时隙样本的多种过程。根据图6A，接收目标观察者在设有显示器的部位正常花费的观察者访问持续时间(53)。接收在访问该部位期间目标观察者可影响的关注的数据流的数据采集或集合的时间间隔(57)。使用观察者访问持续时间和时间间隔，确定测定分配到时隙样本的内容的效应所需的时隙样本的数目，并且确定与时隙样本中的每一个相关的数据采集时间(59)。

如图6A所示的过程举例，本发明的实施例产生可对其分配内容以用于测定分配的内容的效应的“样本”(本文中称为时隙样本)。这些“样本”以及产生这种样本的方法具有显著价值，并且表示可由这些样本的购买者用于测试内容的有效性的最终产品。

通过类推，研究领域需要用于进行实验的样本。产生这些样本经常是很困难的并且花销大。通常样本的实例是适于在生物研究中使用的合格的生物细胞(如，已经确定为具有特定遗传障碍的细胞，例如癌细胞)、已经基于特性仔细选择了响应者的政治民意测验的响应者、以及有资格代表顾客群体的调查对象。根据本发明产生的时隙样本(TSS)代表合格的“样本”，意义在于：TSS提供了对自变量的水平进行分配的有效机会并且可以准确测定自变量的效应。这些TSS是有价值的，因为它们可以与响应人员或癌细胞路线相似的方式卖给媒体公司。

图6B示出了根据本发明的实施例的涉及将内容分配到时隙样本的多种过程。根据图6B，接收相对于其它条内容将每一条内容识别为实验内容或对照内容的内容关联性数据(61)。图6B的过程还涉及在算法上使用内容关联性数据将实验内容或对照内容分配到时隙样本(63)。分配到特定时隙样本的内容条相对于此前分配到该特定时隙样本的实验内容不包括不相同的实验内容。

在一种意义上，图6B所示的过程描述了可用于增加对内容的有效性进行实验的速度和准确性的技术或工具(如，软件)。根据图6B实现的技术或工具代表有价值的最终产品，该最终产品向希望对内容的有效性进行实验的人提供实用性。以此类推，在生物研究领域的环境中，开发了工具并用于增加(例如)对癌细胞进行实验的速度和准确性以及降低进行这种实验的成本。例如，已经开发出遗传排序工具以自动对照遗传排序的步骤。以相似方式，根据图6B实现的工具和技术可以用于增加对内容有效性进行实验的速度和准确性以及降低进行这种实验的成本。

图6C示出了根据本发明的实施例的可以用于使用完整的随机化过程将计划表分析成时隙样本的算法的实施例。根据图6C，识别并量化用于每一个显示位置的时间间隔(TI)的持续时间(62)。确定用于每一个位置的观察者访问持续时间(VVD)(64)。如此前讨论的，TI表示可测定因变量数据的最小时间单位，VVD为预定百分比(如，95％)的观察者在任何一次访问期间在该位置花费的最长时间量。

针对每一个显示位置确定时隙样本持续时间(TSSD)(66)。时隙样本持续时间是时隙样本持续的特定持续时间。在TSSD期间，优选以不存在产生混淆的重叠的方式播放不同的实验内容和对照内容。根据一种方法，以及如图6C的块68、块70和块72所指出的那样，可以如下计算时隙样本持续时间：

TI≥VVD

如果否，则TSSD＝VVD*2

如果是，则TSSD＝TI+VVD    [1]

应当注意，如果在上式[1]中TI不等于或大于VVD(如，TI为1秒)，则在时隙样本持续时间的二分之一长度内，将会出现没有看见此前时隙样本的内容的观察者。重要的是，仅仅在该第二个一半(即，在该实例中，TSSD的数据采集时间)内收集的数据被包括在分析中，并且结合反向平衡，这消除残留效应。

如果在上式[1]中TI等于或大于VVD(如，TI为6分钟，VVD为5分钟)，则在记录因变量之前将这些持续时间加在一起将确保来自感受此前内容的观察者的数据不包括在特定时隙样本期间正在播放的内容的数据中。再次，这消除了残留效应。然后，可以对所有位置建立时隙样本(TSS)(74)。一旦确定了时隙样本的持续时间，则系统就在算法上将时隙样本分配到进度表。

在TI等于或大于VDD并且TSSD＝TI+VVD的情况下，并且如图4B所示，可以定义适当(如，最佳)数据采集时间，其中，TSS在TI开始之前的一个VVD时开始并且一直运行到TI结束。在这种情况下，数据采集时间运行了TI的整个持续时间。应当注意，在这种情况下，所有可肯定的是在TI期间购买的东西。

在图4B所示的示例性实例中，假定在零售商业机构VDD＝15分钟，并且零售商业机构的POS系统最佳工作状态是将购买划分成2小时时间段(因此，TI＝2小时，8AM-10AM、10AM-12PM、12PM-2PM等)。因此，如果TI₂运行时间是10AM-12PM，如图4B所示，则TSS₁(当显示内容时)在9:45AM开始并一直持续到12PM。10AM-12PM可收集清洁数据。由于商业机构的POS系统的约束，因为TI＝2小时，所以不可以确定在特定时间或时间段(例如，12:01PM或1:59PM)是否购买了东西，因此，数据是12PM和2PM之间的所有购买的集合。这种场景中的复杂性在于下一个TSS被调度为直到3:45PM才开始，这是因为如果TSS在1:45PM开始，则TI的最后15分钟会被新的内容混淆。该结果是2小时“空时间段”。

对于轻微混淆数据为合格的实验，可以减小或消除该“空时间段”。例如，如果VVD与TI相比非常短(如，VVD为5分钟，TI为2小时)，则可以接受2小时之内5分钟可以部分地被混淆数据污染。然而，随着VVD接近TI，这将变得不太令人满意。

对于多个实验，一般期望通过确保可将内容分配到其上的时隙样本足够长以确保在时隙样本中的一些(例如，时隙样本的二分之一)期间出现在观看位置处的绝大多数观察者(如，95％)没有出现于此前时隙样本期间，以对照位内混淆。在这种情况下，优选仅仅在出现于此前时隙样本期间的绝大多数观察者已经离开该位置的时隙样本的一部分期间记录数据。如下所述，替代的方法涉及使用在时隙样本期间记录的大多数或所有数据，但与时隙样本的开始部分相比，向时隙样本的结束部分更加加重数据的权重。

根据替代的方法，例如除了在时隙样本的第二半个部分期间收集数据以外，还通过在时隙样本的第一半个部分中的一些或所有内收集数据，有效地减轻了对照位内混淆的约束。在多个场景中，可容忍可能引入由于减轻对照位内混淆的约束出现的位内混淆(残留效应)，并且可获得有意义的结果。

通过减缓对照位内混淆的约束实现的优点在于缩短了时隙样本持续时间，从而增加了可在给定实验中使用的时隙样本的数目。与基于对照位内混淆的更严厉的约束而设计的相同实验相比时，增加时隙样本的数目能够增加实验的数据采集量。缩短时隙样本持续时间另外可减小完成实验所需的时间量。

为了加强对可能是减缓混淆对照约所引起的位内混淆的可能引入的对照，可以通过以下方法实现加权方案：对在时隙样本的前面部分期间收集的数据给出较轻权重，而对在时隙样本的后面部分期间收集的数据给出较重权重。例如，在时隙样本的第一半期间收集的数据的权重可以小于在第二半期间收集的数据的权重。可以采用多个不同的加权方案，例如，采用线性函数、指数函数、阶梯函数或其它所需的函数的加权方案或加权方法。

举个简单实例，可以以线性方式对在时隙样本的第一半期间收集的数据进行加权，例如通过以线性方式增加数据的权重百分比，其中，加权开始时在时隙样本的开始加权因子大约是5％，加权结束时在时隙样本的中间点加权因子大约是50％。从时隙样本的中间点到结束，加权因子可以在中间点处迅速增加(如，在阶梯函数的情况下)至100％并且在时隙样本的剩余部分内保持在100％。

根据另一种方法，可以基于观察者访问持续时间的分配的形状优化时隙样本的持续时间。例如，与VVD为强负偏态分配相比较，如果VVD为强正偏态分配，则可以使用较短的时隙样本。

接着进行随机化过程，对时间间隔进行随机选择(76)。该算法随机选择于特定位置的开放时间以后的该位置的TSSD中的至少一个开始的任何“开放”时间间隔。术语“开放”时间间隔是指还没有已经与之相关的时隙样本的时间间隔。

分配时隙样本，以在随机选择的TI开始之前开始该位置的一个TSSD(77)。该过程76、77和78一直持续到没有合法TI以分配TSS。应当注意，根据以下约束选择时隙样本：不包括由此前选择的时隙样本所包含的时隙样本(如，如果内容已经在9:01-9:20进行了播放，则系统不会选择9:01-9:20作为候选时隙)。

图6D示出了根据本发明的实施例的可以用于将计划表分析成顺序产生的时隙样本的算法的实施例。图6D的过程62-72与图6D的对应过程相同。图6C的过程76、77和78示出了完整的随机时隙样本生成方法。图6D的过程83、73、75、79和81示出了顺序时隙样本生成方法。

根据图6D的顺序时隙样本生成方法，对每一个位置建立时隙样本(74)涉及选择要呈现内容的位置(83)。找到与位置的开放时间相距TSSD的某一TI的开始(73)。分配TSS以在TI开始之前开始一个TSSD(75)。对于与前一个TSSD的结束相距TSSD的最近的TI重复该过程73和75(79)，直到到达关闭时间(81)。对于每一个选择的位置(83)重复该TSS建立过程(74)。通过如图6D所示以顺序方式生成时隙样本，通常导致实现较高的TI利用效率。

应当注意，使用图6D的顺序时隙样本生成方法的有益效果在于：与图6C的完全随机化方法相比，往往会产生较大数目的时隙样本。例如，使用完全随机化方法，如果时隙样本的持续时间是4小时，并且如果该位置每天仅开放9小时，则有可能TSS被随机分配为在每天9小时的第3小时开始并在第7小时结束。同样，由于没有足够时间间隔容纳另一个4小时时隙样本，所以当天在该位置将不会产生更多的时隙样本。然而，使用顺序方法，第一TSS可在商店开放以后一个VVD开始，例如，如果VVD为20分钟，则在商店开放的第一小时期间开始，并且TSS可持续到第四小时，使得剩下的另一个5小时容纳另一个TSS。

基于本发明的实施例，可以迅速进行实验，以测定内容对观察者行为和商业结果的效应。如同任何实验那样，存在完成实验所需的特定数目的样本。样本的特定数目对于每一个实验基于(例如)因变量变化性、实验条件的数目和效应量的多个因子而变。在本发明的实施例的上下文中，实验中的“样本”由时隙样本组成。因此，将每单位时间的时隙样本的数目最大化(通过在对照或消除残留效应的同时将时隙样本持续时间最小化而实现)，可以将获得给定实验所需的样本大小所需的时间最小化，并且就程度而言，将完成实验所需的时间最小化。将完成实验所需的时间最小化是有价值的，因为实验结果可用于提高内容有效性和内容分配模式，以有助于实现商业目标(如，增加销售)。

除了迅速确定并配置有效内容的有益效果以外，迅速完成实验还可以迅速并准确地测试(例如)显示位置因子(如，市内相对于郊外)的内容因子与时段因子(如，早晨相对于夜间)之间的交互作用，因此能够有效地从目标内容获得更多的收入。如果时隙样本持续时间超过时段因子持续时间，则隔离内容与时段之间的交互作用的能力将大大下降。然而，如果时隙样本持续时间明显短于在实验中进行测试的时段因子，则可以使用重复的测定设计，这可以极大减少测试这种交互作用所需的数据量。

如图6C和图6D所示，通过使用VVD或VVD+TI确定时隙样本持续时间。虽然VVD为许多观察者和情况的统计平均值，但许多商业环境(如，零售商业机构)将具有被确定在几分钟到几小时范围内的VVD和相同量级的TI。使用这些数据作为输入会导致通常TSSD也在从几分钟到几小时的范围内，因此可以每天或半天测试多个时隙样本，并且仍然以逻辑方法(非统计方法)的方式对照残留效应，从而保留高质量的数据。

在示例性情况下，用于零售商业机构的VVD为15分钟，TI与之相似。如图6C所示，TSSD将解释成30分钟。如果商业机构在上午9点到下午9点之间开放，则可测试24个时隙样本，或每小时测试两个样本。针对不同类型的零售商业机构对VVD进行一些改变，可以导致VVD短至5分钟或10分钟或长至超过30分钟。

虽然与实际平均观察者访问持续时间相对应的VVD为优选的，但可以将VVD视为针对呈现实验内容的位置的特定条件和/或约束而设计的参数。通常，使用关于要进行实验的给定位置的物理条件和/或约束的信息(例如，给定位置内的大小和观察者流动模式、以及普通观察者行为)根据经验建立VVD。

由于实验需考虑的事项或由于物理约束(如，实际上不可能迅速改变在位置处的非数字标牌)，可能有时使用人造VVD计算TSSD。在这些情况下，可以权宜将人造VVD设置到若干小时、一天或更长，这可能具有较慢的结果和机会成本较高的不利影响。应当注意，短于实际VVD的人造VVD会引入位内残留效应。然而，在许多情况下，尤其是在数据轨迹对给定实验提供足够结果(如，二进制结果[是/否]：基于指定的关注的最小差别，内容A比内容B更有效，虽然由于潜在引入了位内残留效应使得潜在不准确性会对结果产生最小影响)的情况下，在人造更短VVD情况下的这种位内残留效应的引入可以是合格的。

迅速产生评估内容有效性所需的结果的另一种方法是能够使用网络上的每一个均具有能够示出内容的显示器的多个位置。每一个位置可产生实现用于验证假设的数据量所需的时隙样本。通常，数据产生率与位置的数目成比例，如，同时工作的十个位置可产生的样本量大约是单个位置的10倍。该布置导致增加获知内容有效性与显示位置之间的交互作用的可能性。

假定与不同的自变量相关的内容是不相关的，本专利申请中所公开的方法另外可以在相同的时隙样本期间同时测试多个自变量。这是因为一个自变量的实验内容可以是另一个自变量的对照内容。使用该技术还增加实验的速度，因为可以针对多个商业目的同时进行实验，因此释放了显示时间以实现商业目标。

图7C-7J是示意性示出本发明的方法如何迅速实施实验以测定内容对观察者行为和商业结果的效应的示例性实例。图7C-7J的数据反映了根据影响进行实验的速度的某些参数的变型形式完成根据本发明的实施例实现的实验的天数。如图7C-7J所示，这些参数包括：条件的数目(如，内容A与内容B或对照内容相比)；因变量的方差(即，要测定多少数据变化性)；关注的最小差别(即，实验结果中的最小差别，其中，位于该最小差别之上的结果受到关注，位于该最小差别之下的结果不受到关注)；每天时隙样本的数目；以及位置的数目(即，观察者既可以感受自变量的水平、又导致与自变量相对应的因变量数据的物理空间发生改变)。

图7C-7F示出了每天时隙样本的数目对完成实验的持续时间(以天为单位)的影响。在图7C-7F中的每一个中，用于条件的数目、因变量的方差、关注的最小差别以及位置的数目的值是相同的。示出的每天的时隙样本的数目是不同的，以1开始(图7C)，并分别增加到6(图7D)、10(图7E)和16(图7F)。图7C-7F鲜明示出了通过增加每天的时隙样本的数目实现的完成实验的时间的实质下降(如，从使用每天1个TSS的22.3天下降到使用每天16个TSS的1.4天)。

图7G-7J示出了位置的数目对完成实验的持续时间(以天为单位)的影响。在图7G-7J中，条件的数目的值、因变量的方差的值、关注的最小差别的值、以及时隙样本的数目的值是相同的。示出的位置的数目是不同的，以1开始(图7G)，并分别增加到20(图7H)、100(图7I)和1000(图7J)。图7G-7J示出了通过增加用于进行实验的位置的数目实现的完成实验的时间的惊人下降(如，从使用1个位置的139.6天下降到使用1000个位置的0.14天)。

图6E示出了根据本发明的实施例的可以用于建立实验设计播放列表的算法的过程。图6E所示的算法涉及确保实验与对照内容不会混淆(82)。根据图6E所示的方法，每一条实验内容随机分配到时隙样本。该过程确保相对于对因变量的影响彼此进行比较的两条内容绝不会在相同时隙样本内播放。

基于仅仅对照内容分配到与任何条实验内容相同的时隙样本的约束，重复随机分配的过程。这确保不存在位置混淆。应当注意，假定一个假设的实验内容可用作其它假设的实验内容的对照，可以将一个假设的实验内容分配到已经包含另一个假设的实验内容的时隙样本。即，假定这些假设是正交的，可一次进行两个实验。

图6E的算法还可以涉及基于优化因子进行分块(87)。这可以进行因子分析，以测定内容与优化因子之间的交互作用。图6E所示的算法另外可以涉及基于噪声因子进行分块以增加统计功效(88)。这些过程优选持续向时隙样本分配内容直到主要效应和交互效应样本大小需求得到满足并且设计得到平衡。该算法还可以对顺序效应进行反向平衡(89)。在每一个时隙样本内，使用已知技术(如，Latin Squaring(拉丁方阵))反向平衡显示各条内容的顺序。

图6F示出了根据本发明的实施例的向时隙样本分配内容以用于测试内容的相对有效性的算法的过程。图6F所示的算法涉及选择实验的开始点与结束点之间的还没有被分配实验内容的任何时隙样本(502)。该算法还涉及随机选择任何一条实验内容并且在步骤506中分配选择的实验内容以在选择的TSS的整个持续时间内进行播放(504)。

重复块502、504和506中所示的过程，直到时隙样本填充了实验内容(508)。可以产生该算法的输出的报告(510)。该报告可以包含多种信息(例如，此前参照图5描述的信息)。应当注意，如果对时隙样本标记了性质，则可以基于在分配到时隙样本的内容与时隙样本的性质之间发现的任何交互作用产生假设并且使得可以进行探索性数据分析。

在多个实验情况下，期望将自变量(或变量)的每一个水平分配到相同数目的样本。图6G示出了根据本发明的实施例的使用受到约束的随机化过程向时隙样本分配内容以使得每一条的实验内容分配到相同数目的时隙样本的算法的过程。图6G所示的算法涉及选择实验的开始点与结束点之间的还没有被分配实验内容的任何时隙样本(520)。该算法还涉及随机选择任何一条的实验内容并且在步骤524中将选择的实验内容分配到选择的TSS(522)。

基于每一条的实验内容分配到相同数目的时隙样本的约束在步骤526中重复块520、522和524中所示的过程(526)。如此前进行的讨论，可以产生该算法的输出的报告(528)。

在一些实验环境下，可以人工或使用现成的统计软件或例如使用下文中描述的专家系统设计实验，在这种情况下，已经指定了多种实验内容和对照内容的样本大小要求。图6H示出了根据本发明的实施例的采用这些样本大小要求作为输入，并且使用受到约束的随机化过程向时隙样本分配内容，以确保样本大小要求得到满足的算法的过程。图6H所示的算法涉及随机选择所有内容样本所需的时隙样本的数目(540)。该算法还涉及对选择的内容样本随机分配实验内容(542)。应当注意，由于样本大小要求得到满足而不需要的剩余时隙样本可以填入对于商业结果进行优化，而非用于测试任何假设的内容。

图6I示出了根据本发明的实施例的使用完整的随机化过程但加入优化因子约束向时隙样本分配内容的算法的过程；优化因子约束可以以类似方式加入相等的样本大小或预定的样本大小过程。应当注意，每一个内容样本优选具有识别与之相关的优化因子的元数据，并且时隙样本还具有识别哪些优化因子与时隙样本相关的元数据。

图6I所示的算法涉及随机选择任何(第一)条的实验内容(550)，并且随机选择实验开始点与实验结束点之间的任何(第一)时隙样本(552)。随机选择的(第一)条实验内容分配到选择的(第一)时隙样本(554)。

图6I的算法涉及基于一个约束随机选择另一个(第二)时隙样本(556)，其中，该约束是另一个(第二)时隙样本与此前选择的(第一)时隙样本相比具有不同水平的优化因子。随机选择的(第一)条实验内容分配到该(第二)选择的时隙样本(558)。重复上述的TSS选择过程(560)，直到在所有水平的优化因子内选择的(第一)条的内容已经分配到一个TSS。

图6I的算法还涉及随机选择任何(第二)条的实验内容(562)，并且针对该接下来的(第二)条的实验内容重复过程552到560(564)。重复块550到564的过程(566)，直到填充最大数目的时隙样本而不导致非平衡设计(即，直到时隙样本少于优化因子的数目与实验内容条的数目的乘积)。

图6J示出了根据本发明的实施例的使用完整的随机化过程但加入块因子约束向时隙样本分配内容的算法的过程。块因子约束可以以相似方式加入相等样本大小或预定的样本大小过程。应当注意，每一个内容样本优选具有识别与之相关的块因子的元数据，并且时隙样本还具有识别哪些块因子与时隙样本相关的元数据。

图6J所示的算法涉及随机选择任何(第一)条实验内容(602)，并且随机选择实验开始点与结束点之间的任何(第一)时隙样本(604)。随机选择的(第一)条实验内容分配到选择的(第一)时隙样本(606)。

图6J的算法涉及基于约束随机选择另一个(第二)时隙样本(608)，该约束是另一个(第二)时隙样本与此前选择的(第一)时隙样本相比较具有不同水平的块因子。随机选择的(第一)条实验内容分配到该(第二)选择的时隙样本(610)。重复上述的TSS选择过程(612)，直到在所有水平的块因子中选择的(第一)条内容已经分配到一个TSS。

图6J的算法还涉及随机选择任何(第二)条实验内容(614)，并且针对该接下来(第二)条实验内容重复过程604到612(616)。重复块602到616的过程(618)，直到已经填充最大数目的时隙样本而不导致非平衡设计(即，直到时隙样本少于块因子的数目与实验内容条的数目的乘积)。

图7A示出了根据本发明的实施例的向时隙样本分配内容的算法的过程。图7A所示的实施例涉及向时隙样本分配内容(其中各条内容比时隙样本短)的算法。图7A的算法确保不会出现内容混淆并且可以使用相同的时隙样本测试多个假设(即，可以在相同的时隙样本内测试不相关的自变量)。可以以相似方式对相同患者测试多种药品，这会省钱和省时。例如，在药品测试境况下，能够对正在用于测试口臭药物的相同患者测试局部止疼膏。即，局部止疼膏不会影响口臭而口臭药物也不会影响皮肤情况。然而，不希望对正用于测试例如新牙膏的相同患者测试口臭的治疗。

图7A所示的算法涉及随机选择实验开始点与结束点之间的任何开放时隙样本(640)。随机选择一条的实验内容(642)，并且选择的实验内容条分配到选择的TSS(644)。图7A的算法还涉及基于约束随机选择一条实验内容(646)，该约束是选择的这条实验内容与已经分配到TSS的内容不相关。选择的这条实验内容分配到选择的TSS(648)。重复块646和648的过程，直到不可以加入一条实验内容而所有选择的实验内容的持续时间的和不会超过TSS的持续时间，或直到不存在剩余的不相关的实验内容条，以先到者为准。

如果在选择的TSS中还存在任何开放时间，则对TSS的剩余开放时间填入绝对安慰剂内容(652)。图7A的算法还涉及在TSS内随机对内容进行排序(654)。如果TSS包含任何绝对安慰剂内容，则接着进行随机化从而相等持续时间的安慰剂内容对实验内容条进行分离。

在实验开始点与结束点之间随机选择另一个开放TSS(656)。随机选择没有分配到此前填入的TSS的一条实验内容(658)。如果已经分配了所有的内容条，则选择绝对安慰剂内容。如果在块658中选择了绝对安慰剂内容，则对选择的TSS填入绝对安慰剂内容(660)，否则选择的实验内容条分配到选择的TSS，并且根据块646到654的过程对该TSS进行填充。根据块640到660的过程继续对开放TSS进行填充，直到所有的实验内容条已经分配到TSS。

图7B示出了根据本发明的实施例的向时隙样本分配内容的算法的过程。图7所示的实施例涉及一种算法，基于这种算法，可以确保在关注的持续时间内不会出现位置混淆，并且在关注的持续时间以后，如果内容导致正在测定的行为数据或交易数据发生变化则该内容被视为不是关注的内容。即，图7B的算法确保在关注的持续时间内观察者不可以感受自变量的一个水平并在正在测试自变量的不同水平的不同位置对它作出反应。

使用所有实验位置以消除所有的位置混淆的潜在缺点在于：以这种方式使用的任何位置不能够暴露到相同自变量的多个水平。同样，很难测定自变量的不同水平的组合在相同位置内如何彼此进行交互。在一些境况下，可以期望首先选择预定数目的位置以分配实验内容以用于完整的位内测试效应，然后运行该算法以使用剩余位置在没有位间混淆的情况下进行测试。即，例如，可以使用图6H满足用于位内因子的预定的样本大小，然后使用图7B测定位置之间的内容的效应。

图7B所示的算法涉及随机选择任何实验位置(670)，并且选择与选择的位置有关的所有位置(672)。基于约束，内容随机分配到前面两块670和672中选择的位置(674)，该约束是仅仅不相关的内容条分配到这些位置。基于约束，随机选择另一个实验位置(676)，该约束是该选择的实验位置与已经选择的任何位置不相关。选择与前面的块中选择的位置有关(676)，并且与块670和672中选择的位置不相关的所有位置(678)。基于约束，内容随机分配到在前面两个块676和678中选择的位置(680)，该约束是仅仅不相关的内容条分配到这些位置。重复块676到680的过程，直到不存在剩余的不相关的位置。

实例#1

下面实例示出了根据本发明实施的用于评估通信内容的有效性的方法。在该示例性实例中，主要汽车制造商的目标是增加零部件销售及其服务部门内的劳务。汽车制造商的市场营销团队一致认为，实现这些目标的有价值的“追加销售”策略在于增加已经计划约会的顾客之中的汽车检查。然而，关于整体上以及在多种顾客的细分群体之中哪些市场营销通信消息最有效，团队成员的观点不同。

关于顾客的细分群体，团队知道特定群体每一天在明显不同的时间(另外称为时段)访问其服务部门。例如，职业男性在早晨时间内进行访问，所谓的居家妈妈更经常在上午中段到下午中段进行访问。

团队基于这两种观察者推测哪种策略和哪种执行组合更有效。在历史上看，基于多年的经验、直觉以及偶尔的相关性研究形成这些观点，但仍停留于主观争议。

团队的第一个不一致观点在于：哪个策略通信水平的消息可能在整体上更有效；关于提高安全性(避免出现故障)的消息，或关于省钱的消息。例如，不一致地方在于：显示被困在路边的汽车和它的主人的消息与显示由于汽车主人英明并进行预防性维护从而汽车主人捎载那个陷于困境的司机的消息相比之下是否有效性更好。

团队的下一个不一致地方在于：执行性或战术性水平，例如，在任意一个消息中出现女性演员或男性演员可能在多种顾客的细分群体之中更加引人注目。最后，有800个经销商，每一个经销商均希望在一定程度上对它们的广告消息进行“本地化处理”，这可以通过在附近社区商店提供用于购买检查的本地确定价格或折扣来进行表达。

应用根据本发明的方法涉及识别并分类以下变量：因变量是单位时间的以美元计算的销售额(零部件和劳务)。自变量包括：消息策略：提高安全性或省钱；消息执行：女性演员或男性演员；分配时段：早晨或上午中段到下午中段；以及本地报价定制：经销商的数目(即，在该实例中，是800个)。应当注意，调查所有这些因子的实验将具有9,600个条件(2×2×2×800)，这对人工执行提出了不可战胜的挑战，但对于本发明的自动化方法来讲，这是一个微不足道的挑战。

网络建立以及初始数据的存储涉及以下任务：(1)每一个参与经销商识别顾客在离开它们的经销商以后可能会访问的任何其它经销商，即使是很小的机会。这些数据输入系统中以对照不同位置之间的残留效应；(2)经销商大小被识别为用于进一步进行分块的优化因子；(3)计算样本大小要求；(4)定义对照内容和实验内容。例如，在该实例中对照内容(即，安慰剂)是当地天气。实验内容是：a)女性省钱；b)男性省钱；c)显示女性在路边陷于困境；d)显示男性在路边陷于困境；以及(5)观察者访问持续时间：确定了大约95％的顾客对服务部门访问1小时或更短。

实验设计和执行过程涉及以下操作。首先，将计划表分析成时隙样本。由于按照分钟对销售数据进行时间标记，因此在所有经销商处的计划表被分析成2小时时隙样本。第二，建立实验设计播放列表。实验内容(即，上述内容a-d的四个版本)和对照内容(即，当地天气)随机分配到时隙样本，使得内容分配模式(即，播放内容的定时和位置)满足实验的约束。即，基于确保分块时段和位置的特定约束，实验内容和对照内容随机分配到时隙。

第三，根据播放列表分配内容。内容分配在由此前步骤指定的参与经销商服务部门的显示器的网络上。第四，基于实验条件分析因变量测定。标记时间和位置信息的因变量数据(如，POS销售数据)向系统提供，该系统根据实验条件自动分析数据以用于分析。

通过对收集的数据进行回顾方便对通信内容的有效性进行评估。该实验的结果如下：截止到实验的第一天的早晨，汽车公司已经发现了统计意义上的可靠结果(即，当播放实验内容的版本时与当播放对照内容(即，天气)时相比，检查请求增加了25％)。截止到第一天的结束，获得了统计意义上的主要显著效应，其中，基于该统计主要显著效应可以发现在早晨时段女性演员更加有效，而在中午时段男性演员更加有效。虽然省钱相对于避免故障的策略不可靠，但通过与经销商进行交互发现一些经销商示出了基于省钱的较好结果，而另一些经销商示出了基于避免故障的较好结果。实验持续另一个星期，发现各个经销商的统计意义上的可靠结果。这些经销商随后根据时段仅播放在其经销商处最为有效的内容因子的组合。

实例#2

使用本文公开的方法，执行“真实世界”实验以测定在酒店内数字标牌内容对顾客行为的效应。该实验测定在酒店内数字标牌内容对提升房间等级的影响。具体地讲，这是旨在增加在登记台处将其预定从标准房间改成高级房间的客人的数目。建立三种不同的实验内容条(每一个实验内容条持续20秒时间)以增加房间升级(一个实验内容条显示较大房间的图片，另一个实验内容条显示该房间内的特别宜人的图片，另一个实验内容条强调观察者值得特别享受和回报)。在图5中示出了高水平方法步骤，该实例跟随其后。

1.将开放显示时间分析成时隙样本：

使用图6D所示的方法、使用顾客登记花费的观察者访问持续时间(VVD)和用于进行数据采集的时间间隔(TI)建立时隙样本。酒店员工知道大于95％的客人在进入酒店大堂的5分钟内完成登记。同样，VVD＝5分钟。

通过检查酒店销售点(POS)日志确定TI。POS系统最低基于秒建立时间戳，但POS系统上的服务器时钟的准确性在当天发生漂移。为了对实时时间戳的准确性的这种缺乏进行补偿，确定如果TI设置为25分钟，则POS交易的时间准确性将大于99％。同样，TI＝25分钟。如果服务器时钟准确到秒，则TI将变得更短，如，短如1秒。

为了确定TSSD和TSS，使用图6D所示的算法，该算法采用VVD和TI作为输入。由于TI(25分钟)大于等于VVD(5分钟)，按照上式[1]，TSSD＝TI+VVD，因此TSSD＝30分钟。

继续进行图6D所示的算法，对实验建立时隙样本。在该实例中，使用来自POS日志的有关房间升级的历史数据执行统计功效分析，以估计发现显示房间升级内容相对于对照内容的统计可靠效应所需的30分钟时隙样本的数目，其中，阿尔法设置为0.05，贝塔设置为0.8，效应量至少是20％。确定最少需要大约700个时隙样本。由于实验进行18天，所以确定将使用864个时隙样本。实验设计为在第1天的午夜开始。同样，为了实现864个时隙样本的目标，实验设计为在第18天的午夜结束。

建立各个时隙样本。由于酒店大堂从来不关闭，所以与开放时间相距TSSD的第一个TI为第1天的凌晨12:30。同样，第一时隙样本的开始是第1天的午夜。与前一个TSSD的结束相距一个TSSD的下一个TI为第1天的凌晨1:00。因此，分配下一个时隙样本在12:30开始(与前一个TSS的结束相距一个TSSD)。该过程一直持续到实验安排的结束即第18天的午夜。下面的表1示出了在第1天的午夜开始的实验的第一批12个时隙样本。

表1

时隙样本	时隙样本开始时间	时隙样本结束时间
			时隙样本1	00:00:00	00:30:00
时隙样本2	00:30:00	01:00:00
			时隙样本3	01:00:00	01:30:00
时隙样本4	01:30:00	02:00:00
			时隙样本5	02:00:00	02:30:00
时隙样本6	02:30:00	03:00:00
			时隙样本7	03:00:00	03:30:00
时隙样本8	03:30:00	04:00:00
			时隙样本9	04:00:00	04:30:00
时隙样本10	04:30:00	05:00:00
			时隙样本11	05:00:00	05:30:00
时隙样本12	05:30:00	06:00:00

2.建立播放列表(采用约束使实验内容和对照内容随机化到时隙样 本)：

在该过程中的下一个步骤内，在为实验选择的约束内，对30分钟的时隙样本填充各个20秒单元的实验内容和对照内容。对照内容与房间升级无关，例如关于现场设施或休闲活动的内容。针对情形恰当选择在图5的右侧上显示的约束。在该示例性实例中，选择以下约束：

1.确保实验内容和对照内容不会混淆：对于任何给定的时隙样本，仅仅实验内容的一个版本可以分配到时隙样本。

2.基于噪声因子的分块：对时隙样本进行分块，使得对于任何4小时时间段，具有实验内容的时隙样本的数目与仅仅具有对照内容的时隙样本的数目相等，以及具有实验内容的每一个版本的时隙样本的数目相等。

3.在未对照因子上进行随机化处理：基于绝对不存在测试相同实验条件的两个连续时隙样本的约束，在一块内对时隙样本的顺序进行随机化处理。此外，对时隙内的内容的顺序进行随机化处理。

4.平衡实验：在整个实验内(即，从第1天到第18天)，填充对照内容的时隙样本的数目与填充实验内容的时隙样本的数目相等。另外，显示实验内容的每种版本的时隙样本的数目相等。

由于没有正在进行测试的优化因子，所以没有使用有关“基于优化因子的分块”的约束。由于没有测试顺序对结果的效应，所以没有使用对“反向平衡顺序效应”的约束。在实验持续时间的以上描述中已经解决了“满足估计的样本大小要求”的约束。

下面的表2示出了满足上述约束的时隙样本的两个示例性块。

表2

3.根据播放列表计划表分配内容：

使用在酒店大堂内前台附近的3M^TM数字标牌软件-网络版本的数字显示器上显示内容。

4.生成算法输出的报告：

以数据文件的形式产生报告，该报告包括时隙样本的开始时间和结束时间以及与这些时隙样本对应的实验条件(即，内容)。

5.基于实验条件分析因变量测定

在实验过程内酒店POS系统自动收集关于房间升级的额外有时间的销售点数据(即，因变量测定)。在那个系统中，对有关房间升级的交易进行时间标记并且清楚进行标记。对POS数据进行分析并且与它们的对应的时隙样本和内容进行相关。下面的表3示出了如何对数据进行分析并且与各个时隙样本进行相关以进行分析的实例。

表3

然后对数据进行重复的测定方差分析(ANOVA)，这发现了一个统计意义上的可靠主要效应，其中，根据该统计意义上的可靠主要效应，在呈现升级内容的时隙样本期间的升级的平均数目大于没有呈现升级内容的时隙样本内的升级的数目(如，实验结果可以通过统计证明：关于达到期望的商业目的，内容“A”比内容“B”更加有效(阿尔法置信度水平小于0.05)。

本领域技术人员将会知道，如果没有使用基于观察者访问持续时间和用于进行数据采集的时间间隔将时间划分成时隙样本的方法则从上述的“真实世界”实验产生任何可靠结果是困难的。例如，下面的表4示出了已经进行随机调度的内容(如，与已知的准实验和相关性研究的情况一样)。注意：几乎不可能知道哪条内容与升级相相关。

表4

内容变化	内容	时间标记升级
			13:30:00	休闲活动3
13:30:20	升级。0
			13:30:40	升级。0
13:31:00	休闲活动2
			13:31:20	升级。0
13:31:40	休闲活动3
			13:32:00	休闲活动2
13:32:20	升级。0

13:32:40	休闲活动2
			13:33:00	升级。1
13:33:20	升级。2	13:33:31
			13:33:40	升级。0
13:34:00	休闲活动1
			13:34:20	休闲活动1
13:34:40	升级。0
			13:35:00	升级。3
13:35:20	休闲活动3
			13:35:40	升级。1
13:36:00	升级。3
			13:36:20	休闲活动1	13:36:22
13:36:40	休闲活动1
			13:37:00	休闲活动2
13:37:20	升级。2
			13:37:40	休闲活动3

由于在当发生升级时的几秒内显示所有的升级内容的任何版本所以客人可以看见升级内容的任何版本，或客人可能没有看见内容的任何版本(即，他们可能甚至没有观看标牌)。此外，由于POS时间漂移，所以存在低水平置信(即，由于上述系统时钟时间之间的异步性，升级实际上发生在POS系统指示的时间上或靠近该时间的时间上而非数字标牌系统记录的时间上)。给定大量的数据，可以使用复杂分析技术(例如，主要成分分析)反映系统模式。然而，本领域技术人员应当理解，如果这种方法可行的话，将会花费几年时间。

上述“完成实验的时间”的问题会明确地导致研究人员使用下面方法之一，其中，这些方法的每个或耗时或成本高或内部或外部效度很低。

a.顾客拦截：简单询问顾客他们是否进行或不进行升级，他们是否看见了升级内容，以及内容是否影响了他们的行为。顾客拦截劳动强度很大，因此开销很大。此外，大量的研究指示使用顾客拦截采集的数据是不可靠的(内部效度和外部效度低)。

b.仅仅尝试使用大型数字标牌网络进行研究。例如，已记载的使用已知的准实验技术对740个位置进行的实验花费了2个月。

c.使用匹配对照方法，据此，指定不同的酒店以在不同位置显示升级内容的不同版本。由于这种方法需要大量的位置、花费大量的时间并且不可用于优化特定位置，所以该方法是有问题的。

上文中提供的实例示出了按照符合真实验的约束的方式分配通信内容并评估通信内容的有效性的自动化计算机辅助方法的效能。本领域技术人员将会知道，上述的示例性实例呈现了能够受益于根据本发明实施的系统和过程的许多可行情景的一部分。可以对本文描述的实验设计过程进行修改以容纳大量的多种应用和系统配置。

另外，还可以加入额外特征以加强本发明的实验设计过程。例如，在数据采集过程内基于持续或增加的监视数据可以改变实验。例如，可以实施设计的实验以测试五个混淆以减少600个测试对象的样本的血压。随着产生数据，有时候基于因子(例如，效应量、对实验数据执行的更新的统计功效分析、与数据采集相关的成本或其它因子)对条件再分配样本是有利的。

基于这些和其它因子调整实验的方法特性良好并且本领域技术人员知道(如，参见Power&Money：Designing Statistically PowerfulStudies While Minimizing Financial Costs，D.Allison and R.Allison，Physiological Methods，1997，Vol.2，No.1，20-33)。通过对实验进行这些调整，可以明显提高效率，并且更加迅速地得到结果。另外，由于结论通常与商业结果有关，所以存在不用再分配的机会成本。

当实验数据被收集并且显示特定内容条或成组的内容条起重要作用而其它内容条或成组内容条没有起重要作用时，存在“晋升”有力表演者并“降级”无力表演者的机会。降级可以涉及从另一个实验消除无力表演者，这释放了无力表演者驻留的时隙样本从而或a)增加存在的有力测试内容的实例，或b)基于中间结果插入新开发的测试内容的版本以探测这些消息的细微差别元素，或c)基于提高销售、满意度等的目标简单插入非测试内容。

通常，识别样本并且确定在实验开始之前的很长时间哪些样本将接收自变量的特定水平。例如，在酒店内，可以希望在每天早晨时段内测试两个内容版本的相对有效性。通常，在实验开始之前确定时段内的哪些时间块将接收不同的内容版本。

然而，由于实验员不能够预测何时样本条件将证明自身，所以不能够解决一些实验问题。例如，人们希望明白在特定户外温带内促使酒店房间升级的两个消息中的哪一个更加有效，然而人们不能够预测何时温度将落入这些温带内。在这种情况下，可以预先确定当温度第一次到达协议温带时内容版本A将进行播放而内容版本B将被随机分配为当温度第二次到达协议温带时进行播放。

此外，该“触发器”将启动新的时隙样本。与在图6C中进行计算一样，通过将在当前TI内剩余的任何时间加入时隙样本的持续时间可以计算新的时隙样本的持续时间。

在自助商店内可能发生启动样本时隙样本的“触发事件”的另一个实例，其中，在自助商店内，电力工具通常显示在显示器上从而当顾客考虑将购买哪个工具时与之进行交互。在这种情况下，当顾客例如挑选了电钻时，会启动时隙样本，运动传感器可以对此进行捕捉。传感器事件可以触发内容A进行播放并且把它随机分配给该新开始的时隙样本，并且可以对应于新的时隙样本收集例如POS数据的因变量数据。当该时隙样本结束时，内容B可以进行随机分配并且可以收集对应的POS数据。这种交替顺序可以一直重复到工作日的结束。

虽然通常进行实验以使得在对条件分配样本的机会之前确定样本对条件的配置，但关于与非预期条件相关的结果存在另一种反馈机会，这反映了有力或无力的表现并且建议新的进行探测的假设。一个实例可以是当外部温度超过95度时开发用于促使在酒店内升级房间的特定内容起作用。没有预期95+度条件，并且因此在原始实验设计内没有明确涉及。然而，一旦产生了这些数据，系统可以修改它的内容配置方法以适应该新确定的重要的自变量。

内容关联性也是使用常规方法的挑战，并且由本发明的系统和方法进行解决。市场人员可以假设关注他们的汽车的顾客可能会对关于汽车性能的消息和关于汽车安全特性的消息进行回应。根据本发明的实施例，可以设计一个实验用于独立地以及彼此相关地测试性能和安全的内容消息“家族”。内容的实例可以包括长度均是15秒的独立内容条、简单相加两个15秒消息的新组合的30秒消息、或强调两个成分中的一个并改变这些成分的顺序的任何数量的“混合”消息等。

本文描述的系统和方法将这些消息“家族”看做单条内容，对许多版本的每个进行标记以确保当确定时隙样本、受到约束的随机化要求等时可以确保每个内容版本以适当顺序播放适当次数等从而使得结果数据可以完全归结于内容。相比之下，常规方法要求对事后大量数据进行分析并且对可能会影响结果的每一个潜在因子进行“加权”，结果，没有说明解决的其它变量可能会影响结果。

本发明的基于真实验的系统相对于常规方法可以更好发挥作用的另一个方面在于可以使得用户识别重要因子并且对时隙样本重置实验内容和对照内容分配从而说明各个因子以及重要因子的组合。

例如，酒店市场人员希望可以明白基于时段、屏幕位置以及步行交通水平如何进行通信。本发明的系统可以对实验内容和对照内容进行配置以确保在每一个性质关注因子条件内以及在这些关注因子的适当组合内系统播放消息的次数相等。基于此，市场人员可以明白当在大堂内播放消息时以及当在大堂内有许多顾客时，例如在早晨时段内哪些消息可以发挥更大作用。另外，基于常规方法，市场人员不能够将结果完全归因于独立或组合播放的内容。其它未说明的因子也会影响结果。

图8A-11B示出了根据本发明的实施例的实现用于基于用户输入设计真实验和具有真实验的约束的多种子过程的专家计算机化系统的系统和过程。可以实现图8A-11B所示的系统和过程以设计和实施可以用于评估数字标牌通信内容或通过其它手段(包括上文中讨论的手段)进行传送的内容的有效性的真实验或具有真实验的约束的子过程。本发明的计算机化系统还可以自动或半自动辅助用户执行涉及进行实验的一个或多个步骤(包括收集数据，对数据进行统计分析，以及解释和报告实验结果)。专家系统的用户不需要了解实验设计、统计/数学或算法过程的基本原理，也不需要深入了解科学方法。

该专家系统通过呈现给用户的一系列的问题获得提供用于设计真实验或具有真实验的约束的多种子过程的信息的用户的响应。在多种实施例中，实验数据可以人工输入(到系统产生的表格)也可以半自动或全自动收集实验数据。在一些实施例中，系统自动操纵自变量的水平并且对自变量的水平分配样本，而在另外一些实施例中，系统可以提供用户进行自变量操纵和样本分配的协议。用户可以不熟悉实验设计的领域并且可以不需要知道如何设计、执行或分析真实验的结果。

例如，该专家系统减轻了用户具有实验设计和分析的领域的具体知识而非减轻了测试假设的期望。用户对专家系统提供信息以使得该系统可以基于用户输入针对用户设计实验。在设计真实验以后，该专家系统还可以辅助进行实验的过程内的一个或多个步骤(包括收集数据，对数据进行统计分析，以及解释实验结果)。在这种配置中，该专家系统通过对照外部系统(如，哪些电子标牌显示特定内容)以及自动分析电子信息源的数据(如，根据实验条件人工或自动组织销售数据)可以自动进行实验。

用户不需要了解构成实验设计所需的多种概念的知识。这些概念呈现给用户以使得术语和数学单位对应于用户的知识基础。该专家系统可以将抽象的专业常用统计概念转换成用户知道和明白的领域内的基于语法的有意义的语言和数据。例如，该专家系统可以进行统计功效分析以计算实验的样本大小要求，但替代简单地报告关于样本大小的功效分析的输出(例如，680个样本)，该系统可以报告在特定样本大小要求的情况下进行实验所花费的时间量作为功效分析的结果(如，8个工作日)。该专家系统可以自动将统计输出的数据转换成商业信息和/或测定，从而以不熟练用户能够进行决定(如，将Z分数转换成美元或时间，将样本大小要求和/或残留效应消除转换成执行实验所需的时间)的方式呈现数据

。该系统采用的术语和数学单位可以对应于可选择的用户熟悉的水平。例如，在一个选择的结构中，用户可以相对熟悉该专家系统涉及的概念，并且可以通过与用户的知识水平对应的术语和数学表达这些概念。例如，在该结构中，询问用户例如“该变量是连续的还是离散的？”的问题。在另一个选择的结构中，用户可能不熟悉专家系统涉及的概念。对于不熟悉的用户，专家系统能够引导用户经过一系列问题确定信息，而不会使用用户不熟悉的技术术语。在该结构中，用户不需要了解或明白如何使用专家系统涉及的下面的概念的实例。

自变量-实验员操纵的变量。

因变量-实验员测定的变量。

混淆-根据自变量的水平发生系统性变化的任何因子。

随机化-对测试样本选择以及对自变量的水平的样本分配进行随机化的过程。

随机选择的目的：随机选择对于实验的外部效度是关键的。基于实验结果只可以推广到收集样本的人口的事实，随机选择可以确保实验结果推广到收集样本的全部人口而非以偏向(即，非随机)方式收集样本的一部分人口。例如，如果血压药品实验中的所有对象是年龄在35与40之间的男性(之所以选择这些男性，是因为由于他们已经住院进行降压所以他们易于包括在实验内)，则我们不能够将实验结果推广到其它人口(如，年龄65以上的女性)。与从美国所有人随机选择的实验相比，这种实验的外部效度较低。

随机分配的目的：随机分配对于实验的内部效度是关键的。随机分配可以确保在因变量的值中发现的任何效应不是因为样本分配到自变量的水平的系统性变化。例如，与对来自纽约的所有对象给安慰剂并且对来自旧金山的所有对象给药品的血压药品实验相比，随机分配样本以服用安慰剂或药品的血压药品实验的内部效度更高。注意：随机分配的一个主要目的在于：如果没有混淆，则P值反映了发现的任何效应基于自变量的水平相对随机变化的可能性。这不是准实验或相关性设计(其中，P值仅反映从一个或多个基本分配进行样本的可能性)内的情况。即，在真实验内，P值反映了两个均值X和Y不同的可能性，并且反映了它们是由于Z而不同(即，由Z引起)，而在相关性研究内，P值仅仅提供均值X和Y不同的信息但不提供关于它们为什么不同的信息(即，P值没有反映是否Z导致了X与Y之间的不同)。

复制-随机重复实验内的实验条件从而能够估计与设计相关的固有或实验变化性。基于此，P值计算可以评估统计显著性。

分块-以彼此相似的组(块)形式布置实验单位。

测定尺度-变量是否可变是名义上的、有序的、或有间隔的。

功效分析-确定用于发现给定量的效应的样本大小要求、置信区间的宽度、以及出现类型II错误的可能性(当零假设错误时拒绝零假设失败的可能性)的方法。

平衡-确保每个IV与对应的交互彼此独立的方法。

反向平衡-通过或包括处理呈现的所有顺序或随机确定每一个对象的顺序对照重复测定设计中的顺序效应的方法。

描述统计-组织并总结数据的方法。

推论统计-确定特定实验发现的可靠性和普遍性的过程。

根据下文所述的多种实施例，描述方法和装置以引导用户恰当使用以上概念。

在图8A中示出了根据一个实施例的专家系统的组成部分。该专家系统包括设计处理器110，该设计处理器110具有包括中央处理单元(CPU)105和存储器106等等的多种硬件部分。存储器106存储对照用于设计实验的过程的计算机指令以及从用户采集的实验设计所需的信息。在软件的对照之下，CPU 105在算法上选择或产生问题从而从用户采集信息。这些问题通过连接到设计处理器110的用户界面120的输出装置呈现给用户。

例如，用户界面120通常包括例如液晶显示器(LCD)的显示装置或用于向用户呈现问题的其它类型的显示装置。用户界面120另外包括例如响应于手指或铁笔触摸的触摸屏、鼠标、键盘、语音识别器的一个或多个输入装置或其它类型的输入装置。用户通过用户界面的一个或多个输入装置输入对问题的响应。设计处理器110可以基于实验设计以及自变量和因变量的特性对实验确定恰当的描述和推论统计。

图8A所示的系统组件还可以用于实现例如图2A-5所示的没有本文所述的一些或所有专家系统特征的真实验或真实验的一部分(如，在由实验设计领域技术人员开发系统的情况下)。图8A所示的系统组件还可以用于实现例如此前在图5-7B中描述的具有真实验的约束的多种子过程。在这些执行过程中，图8A所示的组件可以位于同一位置(如，位于开发者的办公室内或公共底架上)也可以位于地理上不同的位置(如，系统或装置的分配的组件通过网络或互联网进行通信耦合)。

图8B示出了根据本发明的实施例的由设计处理器和用户界面执行以设计真实验的过程。虽然在图8B以及后面附图中描述的过程涉及设计真实验，但应当理解这种过程还可以用于设计包括此前在图5-7B中描述的具有真实验的约束的多种子过程。

设计处理器识别设计真实验所需的信息并且选择或产生诱导提供所需信息的用户的响应的一系列问题(140)。这些问题通过用户界面呈现给用户(150)。用户对这些问题的响应通过用户界面进行接收并传送到设计处理器(160)。设计处理器从用户响应提取信息(170)，基于该信息设计真实验(180)。该专家系统可以在与其它步骤相关的特定步骤内收集信息。

例如，在步骤X内知道因变量是连续的意味着应当在步骤Y内采用特定类型的统计分析。该系统使用来自此前步骤的数据完成以后的步骤。例如，如果已经采集了数据，则该系统不会针对同一信息再次询问用户。用户不需要知道信息与两个步骤相关。如果从此前步骤没有获得数据，则系统会向用户请求需要的数据。

图8C示出了真实验的元素。真实验包括开发假设或目标。识别自变量和因变量，使用一个或多个自变量的至少两个水平。形成对照组和处理组，样本随机分配到自变量的水平。还有用于对照或消除混淆变量的过程。

例如，在数字标牌实验内，系统将引导用户通过对照残留效应的过程，其中，通过如下步骤对照残留效应：1)平衡和反向平衡在网络上的各个位置上显示各条内容的顺序；和/或2)确保在观察者在商店内可以看见两条实验内容的时间块内不显示这两条实验内容；和/或3)确保在内容从一个版本的实验内容切换成另一个版本的实验内容之间在收集数据之前已经流逝足够时间以使得商店内至少95％的观察者当内容发生改变时已经离开商店。如果恰当应用所有这些元素，则实验产生的结果可用于对自变量与因变量之间的关系形成统计推论。

基于本文描述的专家系统，不熟悉复杂的真实验设计的用户可以设计产生基本上无混淆结果并可用于确定和量化自变量与因变量之间的任何因果关系的实验。应当理解，可以根据用户的熟悉程度(例如，熟悉程度在不熟悉与高度熟悉之间)修改描述的系统的特征和功能。例如，在高度熟悉的用户的情况下，可以简化或消除对几乎不熟悉的用户有用的基本特征。

本发明的实施例涉及能够基于用户输入设计真实验的专家系统。如上所述，使用专家系统，用户不需要具有实验设计的原理或实践的任何基础。真实验具有至少两个水平的自变量。该专家系统从用户采集用于选择实验的自变量和因变量所需的信息。例如，在数字标牌实验内，该专家系统可以向用户询问如下问题，例如“如果内容X(X是用户希望通过实验进行评估的任何一条内容)有效，则基于显示内容X的结果你会期望世界发生如何变化？”。该系统可以提供多个可能变化，例如：特定产品的销售增加；商店内特定位置的步行交通量增加；顾客向工作人员询问特定产品的特征；顾客从货架上取下特定产品；以及没有包括在系统存储的可能变化中的任何其它变化。

本领域技术人员将会知道，这些可能的“世界变化”中的每一个对应于可以在设计用于测试内容X的有效性的实验内进行测定的一个可能的因变量。同样地，该专家系统可以引导用户通过拾取与药品研究内的安慰剂类似的对照内容的过程。例如，该专家系统请求用户识别与内容X的目的没有任何关系的内容。

关于对内部效度的威胁，该专家系统按照提问和用户响应的顺序识别对内部效度的威胁，并且可以启动对照这些威胁的过程(例如，通过平衡、反向平衡和/或分块和/或随机化)。

该专家系统基于用户输入能够执行随机将样本分配到组以使得实验内的每一个样本均等地分配到自变量的水平的过程。该专家系统还可以设计包括随机化、反向平衡和/或分块的实验。该系统可以有助于用户选择自变量或自变量的水平，并且基于与实验的内部和/或外部效度相关的因子有助于用户选择因变量。例如，该系统可以获得对自变量和因变量的多种组合执行功效分析所需的信息，基于用户明白的特定领域术语和值向用户提供多种功效分析的结果(使用销售数据测定这条内容的有效性将花费8周和$1400，而使用传感器数据将花费2周和$800)。

在一些配置中，除了设计真实验以外，该专家系统可以辅助用户执行进行真实验、收集数据、对数据进行统计分析以及解释实验结果中的一个或多个。图8D示出了能够执行、分析和解释实验或具有真实验的约束的多种子过程的专家系统的实施例。除了此前描述的实验设计处理器110和用户界面120以外，该专家系统还可以包括设计用于自动或半自动对照实验的执行的实验对照处理器135。该专家系统还可以包括设计用于分析实验数据和/或解释实验结果的实验分析处理器145。通过了解设计处理器110如何设计实验加强对照处理器135和分析处理器145的功能。

例如，由于分析处理器145接收关于自变量和因变量的信息(如，自变量(IV)和因变量(DV)是连续的还是离散的)，所以分析处理器145具有大量的用于选择应用于实验数据的恰当的统计测试所需的信息。例如，如果存在两个离散水平的一个IV和一个连续DV，则分析处理器145可以选择T-Test用于进行推论统计测试，而如果存在两个离散水平的一个IV和两个离散水平的一个DV，则可以使用Chi-Squared测试进行推论统计测试。同样地，由于分析处理器145访问来自设计处理器110的关于哪些实验条件是特定假设的诊断的信息，所以分析处理器145具有确定哪些实验和对照条件应当进行统计比较并报告给用户所需的大多数或全部的信息。

根据本文所述的多种实施例的基于计算机的实验设计方法涉及计算机化数字标牌信息系统。然而，本发明不限于通信系统或数字标牌的领域。本发明的方法可以用于设计任何关注领域内的真实验。例如，本文所述的方法和系统可以用于设计任何数量的目标领域(包括(但不限于)例如印刷媒体、数字标牌的任何种类的数字化传递消息通信和/或互联网传递广告)的实验以及关于生物、化学、语言、医药、认知科学、社会科学、教育、经济和/或其它科学领域的实验。

在被构造用于设计实验以评价数字标牌内容的专家系统的上下文中描述了这些实例。应当理解，该专家系统可以选择性或另外被编程为评估其它类型的内容，或可以被编程为用于设计除内容评估实验之外的实验。基于下文所述的专家系统，读者可以进一步理解总体跨越所有领域的科学努力的本发明的原理。

图9A-9E中所示的流程图提供了根据本发明的实施例的可以由设计处理器110(图8A和图8D)进行执行的过程的总览。该流程图示出了根据本发明的多种实施例的可以由专家系统通过提示用户提供所需信息执行的真实验的设计的步骤。该专家系统通过向用户呈现问题提示用户提供信息。该专家系统接收用户响应，并且从用户响应提取进行实验所需的信息。图10A-10P是示出在图9A-9E的流程图中指示的过程中的一些的呈现给用户的问题的显示屏的截屏。这些反映屏幕截图呈现与用于测试和测定酒店内的咖啡厅内的数字标牌内容与销售的因果关系的实验或实验的子过程对应的问题。在位于各个位置的数字显示器上呈现多种广告。该实例用于示出在设计真实验过程内由专家系统执行的过程。本领域技术人员认识到，通过向用户呈现问题以采集设计特定关注实验所需的信息可以将用于设计咖啡厅实验的该示例性过程推广至任何实验。

如图9A所示，专家系统设计真实验的过程包括：开发一种操作假设(202)；识别实验的自变量和因变量(204)(包括变量是离散的还是连续的以及应当测试哪些IV水平)。根据用户的输入，专家系统识别混淆和多余变量(206)，确定在所有数字显示器上显示实验内容和对照内容以执行用于实验的计划表(208)。

图9B更加详细地示出了与识别(204)实验变量相关的几个选择过程。专家系统可以获得识别自变量和因变量的信息(210)，并且从用户获得可以执行功效分析的信息(212)。专家系统可以有助于用户通过选择对照内容的过程(214)，专家系统可以从用户采集关于实验协议的信息(216)，其中，在数字标牌意义下的实验协议涉及在整个数字标牌网络上显示内容的调度。该调度包括在整个数字标牌网络上播放内容的位置和时间。

图9C更加详细地示出了采集执行功效分析的信息的过程(212)。基于功效分析，专家系统可以确定实验将检测到给定量级的效应的可能性。在该阶段内采集的信息还可以用于确定实验具有预先指定的统计功效量所需的样本大小。功效分析解决三个参数之中的没有从另外两个参数提供的一个参数。进行功效分析的参数是：样本大小、功效、效应量。专家系统可以陪伴用户选择他们最关心的这些参数之一，并且有助于优化实验设计。例如，如果用户说他们不关注不大于X的效应，则进行功效分析以使得实验具有发现至少与X一样大的效应的足够功效。

功效分析要求对下面信息进行估计：零假设之下的均值222、测试假设之下的均值224、标准偏差226、以及样本大小228。通过一系列简单问题(在图10A-10P内更加详细进行图示)对这些参数进行估计。当标准偏差未知时，历史数据可以提供估计的基础。当没有历史数据时，适度理想近似是使用因变量可以的最大值减去它可以的最小值并且将该差除以4(这对标准偏差进行了保守估计)。

图9D更加详细地示出了识别混淆和妨害值的几个选择过程(206)。混淆变量是随自变量的水平发生系统性变化的任何变量。例如，如果一条对照内容后面总是一条警告升高的恐怖威胁水平的内容而在一条实验内容后面总是睡眠舒适床的广告，则当播放该对照内容或实验内容时咖啡厅内销售的任何差别可以是因为对照相对实验内容的差别或可以是因为在每一条的实验内容和对照内容之后的内容。混淆的实例包括：趋均值回归、顺序效应、残留效应、地板效应、天花板效应、霍桑效应和需求特性。

多余变量是不会随IV的水平发生系统性变化但能够减小咖啡厅实验的统计功效的变量。例如，假定正确随机化，酒店居住率将是一个多余变量。在一个酒店的居住率变化性很大而另一个酒店的居住率变化性较小的两个实验内，如果所有其它相同(如，相同样本大小)，则居住率变化性较小的酒店的统计功效更大。数字标牌实验中的多余变量的实例包括：其它推广活动、天气、星期几、经济条件。专家系统优选通过呈现诱导包含关于这些变量的信息的用户响应的一系列问题采集关于可能的混淆和多余变量的信息。

例如，如图9D所示，专家系统可以呈现被设计用于采集关于残留效应231、选择偏向232、测试效应235、实验失败率236、可以影响实验的本地事件237、以及关于其它广告或推广效果的信息238的信息的一系列问题，其中，与在受控实验内没有经历IV水平的情况(如，某人通过卡板进行观看会改变将如何响应于看见一条内容)相比，测试效应235涉及由于以任何不同方式处理样本导致的结果的任何差别。

图9E更加详细地示出了可以由专家系统进行执行以采集关于残留效应的信息的几个选择过程(231)。专家系统向用户呈现一系列问题，用于获得关于在其它位置进行显示的内容的信息(232)。另外一系列问题诱导来自用户的包括关于可以产生残留效应的内容的定时的信息的响应(234)。

专家系统引导用户经过任何或全部的上述过程以采集执行真实验所需的信息。图10A示出了可以用于向用户呈现问题并接收用户响应的示例性显示器300。图10A所示的显示器300是触敏显示器，虽然还可以使用例如非触敏显示器的适于向用户呈现问题并接收用户响应的任何类型的输入和输出装置。基于显示的触摸灵敏度，用户可以通过触摸显示屏幕输入用户响应。显而易见，可以使用包括鼠标、键盘和/或具有语音识别电路的麦克风的适于接收用户响应的任何类型的输入装置。

在该实例中，显示器300包括问题/响应观看区域305和基于用户触摸可激活的多种下拉菜单310到316从而方便收集信息。每一个下拉菜单310到316对应于由菜单题目指示的提问的不同区域和/或实验设计的不同方面。菜单310到316是分级菜单结构的最高水平的实例。当选择了下拉菜单310时，可以显示一个或多个子菜单320-322，这些子菜单320-322对应于菜单结构中的下一个最高等级。选择子菜单320-322会呈现出另外的菜单。可以根据需要持续呈现分级结构中的子菜单以实现与菜单结构相关的提问或实验设计操作的区域需要的特异性水平。基于触摸屏幕可以下拉菜单和/或子菜单，和/或可以通过触摸菜单题目或菜单项激活菜单项。

应当理解，图10A-10P所示的菜单代表专家系统可以采用的可能菜单中的一部分。例如，可以使用的其它菜单包括涉及采集设计实验的额外信息的菜单或涉及采集用于进行或分析实验的信息的菜单。

专家系统可以以多种模式进行工作，例如，一般情况下，当系统引导用户经过实验设计过程时，由专家系统激活菜单项。在一些实施例中，用户可以与对照处理器和/或分析处理器进行交互从而得到关于实验的表现、实验数据的分析和/或实验结果的解释的输入。

如果需要，用户还可以访问菜单项。例如，专家系统可以通过激活与多种菜单或子菜单项相关的操作初始步入获得信息的过程。如果需要，通过重新激活菜单项，用户可以返回到过程的各个级别。例如，用户希望返回菜单项以改变此前的输入并且可以通过使用下拉菜单310到316方便地进行该操作。

图10A所示的屏幕300示出了标题为“测试模式”的菜单310。如果用户激活测试模式项，则该屏幕显示一个或多个有关确定实验的自变量的问题。如前所述，在该实例中，专家系统被构造为设计实验以分析数字标牌内容(例如，显示在数字显示器上的图形或视频剪辑)，虽然该系统可以被构造为针对其它类型的应用设计实验。当激活了菜单项310“测试模式”时，用户具有在子菜单项320-322之间进行选择的选项。用户可以选择“评估单条内容”、“评估多条内容的相对影响”以及“确定实验是否为”“真”，其中，“评估单条内容”指示用户相对没有内容或安慰剂内容评估一条内容；“评估多条内容的相对影响”指示用户具有他/她想要进行比较的两个广告。

图10A描述了用户已经选择由高亮子菜单项320指示的评估单条内容的情景。选择该选项启动了由专家系统进行对照以从用户采集设计用于评价单条内容的实验所需的信息的过程。如图10B所示，通过激活另一个菜单项，专家系统进入到涉及确定实验假设和实验的因变量的过程内的下一个步骤。

图10B示出了选择名称为“实验变量”的菜单项311(缩写实验变量)。当下拉菜单311时，显示标题为“假设/变量”、“变化性”和“历史数据”的子菜单项的列表。通过激活子菜单项可以向用户呈现一系列的问题和/或选择。例如，如果激活了菜单项假设/变量，则该屏幕可以显示在图10C中指示的多个选择以发展实验的一个假设或多个假设并且确定实验的可能因变量。在一个情景下，如图10C所示，下面的问题呈现给用户：“如果内容产生期望效应，作为结果将会发生什么变化？检查所有你关注的内容”。用户可以选择一个或多个下面的响应：“销售将增加”、“交通流量将增加”、“顾客将向销售员进行咨询”、“顾客将更可能从货架上取下特定产品”、“如果受到研究，顾客将不同回答特定问题”、“其它变化”。在图10C的特定实例里，用户选择了“销售将增加”。该选择对专家系统提供如下识别实验假设的信息：如果对顾客显示数字标牌内容，则销售会增加。该信息还提供实验中的因变量，即由于显示内容导致的销售变化。

在其它情景下，用户可以选择一个或多个额外可能的因变量(如，交通流量、顾客咨询、顾客拾起产品和/或对研究问题的回答)。如果指示了多个因变量，则专家系统将计算实验的成本，针对每一个因变量估计实验的内部效度和外部效度，以及引导用户经过选择恰当的因变量的过程。图10D示出了当在图10C所示的过程步骤内进行多个选择时专家系统可以用于引导用户经过选择一个或多个因变量的过程的一部分。

在一些情景下，图10C中所示的提供的选择均不对应于用户期待的变化，用户可以选择“其它”。如果这样，专家系统引导用户经过用于识别和定义实验的可能因变量的另外一系列问题。例如，如果用户选择了“其它”，则一些问题可以针对确定可能的因变量是连续的还是离散的。用户可以具有明确的或名义上的离散数据(例如，男性和女性)。离散变量可以是称为顺序数据的顺序化分类(例如，年龄分类20到29、30到39、等)。连续数据来自于多种测定技术，其中存在基本闭联集。作为一个实例，对关于从完全不喜欢到完全喜欢的等级(7个分类，1到7等级)或关于从确定不购买到确定购买的购买意图等级的研究进行分级。另一个实例可以是更加常规的连续变量，其中，存在大量的可能值(温度、收入、销售、体重、等)。

例如，在诱导信息过程内，如果用户选择了“其它”分类，则专家系统可以呈现一个或多个额外问题以确定因变量和/或因变量是连续的还是离散的。

专家系统可以引导用户经过一系列问题以获得执行功效分析所需的信息。用于功效分析的参数包括零假设之下的均值、标准偏差、测试假设之下的均值、显著性水平、功效、以及样本大小。从用户获得关于这些参数中的一些参数的信息，而其它参数是编入专家系统的标准值。在确定可能因变量以后，专家系统可以激活与在图10E中所示的标题为“变化性”的子菜单项相关的过程。在这些过程中，专家系统引导用户经过被设计用于确定可能因变量的变化性的一系列问题。

确定可能因变量的变化性提供专家系统用于评价实验的统计功效的信息。例如，专家系统可以提出问题以收集关于例如在图10F和图10G中所示的有用数据的粒度的信息。在图10F中，专家系统呈现一个问题以获得关于有用数据的粒度的下界的信息。如图10F所示，问题“可以测定销售的最小时间增量是什么”提供了下面选择：每小时、在每一次移动以后、每天、每周、每月或其它。在该特定情况下，用户已经指出了可以测定销售的最小时间单位是每小时。在图10F中的屏幕截图上，专家系统还提示用户输入与以最小时间增量测定数据相关的成本。

如图10G所示，专家系统还获得关于用于获得数据的方便的时间增量的信息。在图10G中所示的屏幕截图中，专家系统询问可以测定销售的方便的时间增量。再次提示用户在每小时、在每一次移动以后、每天、每周、每月、或其它之间进行选择。如图10G所示，还请求与以方便增量获得数据相关的成本。

专家系统可以激活与如图10H所示的标题为“历史数据”的子菜单项相关的过程。提示用户指示是否可以获得历史销售数据(图10I)。积极响应触发图10J和图10K中所示的屏幕，基于图10J和图10K中所示的屏幕，用户可以分别输入最小时间增量和方便的时间增量的销售数据。例如，历史销售数据可以用于估计用于功效分析的因变量(在该实例中，销售)的标准偏差以确定实验的统计功效。基于期望的置信度水平和标准偏差，由计算机确定由图10J和图10K所示的屏幕诱导的条目的数目。例如，计算机可以提示用户对估计标准偏差以实现标准偏差将落入特定范围内的特定水平的置信度所需的一定数目的条目提供信息。

用户通常清楚用于标准偏差的置信度水平(如，90％或95％)，虽然它可以是专家系统的可编程值。当构造系统时，可以对由专家系统使用的某些值(例如，上述的因变量的标准偏差的置信度水平以及实验的显著性水平)进行编程。例如，熟悉专家系统软件的管理员可以在以后改变这些构造值。

专家系统可以向用户呈现问题以获得关于实验的效应的信息。图10L是示出可以呈现给用户以确定最小效应量的问题的屏幕截图。在该实例中，专家系统请求用户输入使得内容有价值的销售增加。

为了设计真实验，专家系统采集关于可以影响实验的可能混淆和/或多余变量的信息。例如，混淆变量可以与残留效应、选择偏爱、测试效应和实验失败率相关。如在图10M的屏幕中进行指示，可以激活针对这些因子的每个的菜单项以向用户呈现一系列问题以采集关于这些因子的信息。在图10M中，菜单项残留效应高亮。激活残留效应菜单项，可以出现在图10N-10P内呈现的问题。在图10N中，专家系统呈现引导用户反映关于可以显示内容的其它位置的信息的问题。在图10O和图10P中，专家系统呈现引导用户反映关于残留效应的定时的信息的问题。

图11A为根据本发明的实施例的数字标牌系统(DSS)的框图，该数字标牌系统(DSS)可以设计真实验或具有真实验的约束的子过程(例如，在图5-7B中所示的子过程)以测试数字标牌内容的有效性。例如，图11A(以及图11B)中所示的DSS可以被构造用于实现关于图1-8在上文描述的方法。图11A的框图示出了划分成功能框的DSS的一种结构。本领域技术人员将会知道，可以使用不同的功能框另外示出DSS并且可以由硬件、软件、固件、或硬件、软件和固件的任何组合实现DSS的多种组件。

根据本发明的系统可以包括本文描述的一个或多个特征、结构、方法或它们的组合。例如，系统可以实现为包括在图11A中描述的一个或多个优势特征和/或过程。这种系统不需要包括本文所述的所有特征，而是可以实现为包括提供有用结构和/或功能的选择的特征。

图11A中所示的DSS是一种计算机化系统，被构造用于以音频、视频和/或其它媒体格式呈现信息内容。DSS可以包括自动或半自动产生播放列表和计划表的功能，其中，播放列表提供要进行呈现的信息内容的列表，调度定义呈现内容的顺序。在半自动模式下，用户可以通过交互式用户界面410访问DSS对照处理器405。基于DSS对照处理器405的辅助，用户可以识别要进行呈现的内容并且产生用于对照在一个或多个DSS播放器415上进行呈现的定时和顺序的播放列表和计划表。每一个播放器415根据针对播放器进行开发的播放列表和计划表向感受者呈现内容。例如，信息内容可以包括图形、文本、视频剪辑、静止图像、音频剪辑、网页和/或视频和/或音频内容的任何组合。

在一些具体实施中，在开发了播放列表和计划表以后，DSS对照处理器405确定播放列表所需的内容，从内容服务器下载内容，并且将内容与播放列表和计划表一起传递到向播放器415分配内容的播放器对照器420。虽然图11A仅仅示出了一个播放器对照器420，但多个播放器对照器可以连接到一个DSS对照处理器405。每一个播放器对照器420可以对照一个播放器或多个播放器415。通过恰当提供识别内容/播放列表/调度所指向的播放器415的信息，内容和/或播放列表和计划表可以以压缩格式从DSS对照处理器405传递到一个或多个播放器对照器420。在一些应用情况下，播放器415可以分配在商店内，并且在播放器415上呈现的内容可以是广告。

在其它具体实施中，DSS对照处理器405可以仅仅将播放列表和计划表传递到播放器对照器420。如果内容没有驻留在播放器对照器420上，则播放器对照器420可以访问内容存储器425以采集要进行呈现的内容。在一些情况下，可以通过网络连接(例如，内联网或互联网连接)访问DSS系统的各个组件中的一个或多个组件(包括内容存储器425)。播放器对照器420可以聚集期望内容，或方便根据播放列表和计划表在播放器上显示期望内容。例如，用户可以周期性地或可以按照意愿通过播放器对照器420或通过DSS对照处理器405修改播放列表、调度和/或在播放器415上呈现的内容。

在一些具体实施中，DSS对照处理器405方便在播放器上进行播放的内容的节目的开发和/或形成。例如，DSS对照处理器405可以方便使用模板形成视听节目。该模板包括在开发要进行呈现的视听节目过程中应用的形成约束和/或规则。例如，该模板可以包括与用于一些类型的内容的屏幕的多个部分相关的规则，在每一个部分中可以显示哪种类型的内容、按照什么顺序、字体大小和/或可用于节目的显示的其它约束或规则。每种显示结构可以期望一组独立的规则和/或约束。在一些实施例中，DSS对照处理器405可以自动形成针对不同显示器的节目。

在一些实施例中，基于通过认知科学领域内的研究和实验获得的信息，DSS可以建立模板、产生内容，选择内容，组装节目，和/或形成要进行显示的节目。认知科学尝试理解人类感觉的机制。认知和视觉科学的学科已经产生了关于人类感觉系统如何处理信息、形成注意力的机制、人类大脑如何存储并表现记忆中的信息、以及语言和问题解决的认知基础的大量知识基础。

通过对内容设计、布局、形成和/或内容呈现应用认知科学，可以产生易于人类感觉系统进行处理、易于理解以及易于存储在人类记忆中的信息。从认知科学采集并存储在认知科学数据库430中的知识可以自动或半自动用于通知包括建立模板、内容设计、选择内容、分配内容、组装节目和/或形成显示节目的DSS的一个或多个过程。结合DSS的编程使用的认知科学数据库430产生通过认知科学的教导加强的广告或其它数字标牌节目，并且减轻了系统用户对特定领域内的训练的需要。

例如，认知科学数据库430可以存储在内容设计、分配和/或调整过程内进行使用从而得到易于人类感觉系统进行处理、易于理解并易于存储在记忆中的内容的认知和视觉科学信息。认知科学数据库430可以包括由计算机进行实现以根据认知和视觉科学的原理发展和修改内容的设计规则和模板。认知科学数据库430还可以包括认知和视觉科学的原理的计算机执行模型(例如，视觉注意、文本可读性和记忆原理的模型)。

在开发数字标牌节目(如，广告活动等等)的过程内，DSS对照处理器405可以引导用户经过使用通过认知科学采集的知识进行加强的多个过程。例如，存储在认知科学数据库430中的信息可应用于产生最佳节目布局的模板的选择和/或内容的选择(例如，内容元素是否应当是图形、文本，是否涉及移动、色彩、大小)和/或节目开发的其它方面的执行。

基于本发明的计算机辅助方法和系统，通常不具有应用认知科学和视觉科学的原理所需的训练的内容设计人员能够提升内容设计和分配的有效性。本发明的系统和方法可以并入以多种方式涉及认知科学数据库430的特征和功能，这在于2006年12月29日提交的代理人卷号No.61288WO003、名称为“Content Development and DistributionUsing Cognitive Sciences Database”的指定美国的国际专利申请US2006/049662的共同待审美国专利申请No.12/159106中进行了更加全面的描述，该专利申请以引用方式并入本文中。

DDS能够设计数字标牌节目的其它版本以适应不同的显示器类型和观看条件。显示技术是多种多样的，并且用于在数字标牌网络上呈现内容的多种类型的显示器之间存在较大差别。例如，在整个数字标牌网络上，显示器的大小、形状、亮度、以及观看条件变化很大(如，一些显示器可能较小、柔性和非直线，而另一些显示器可能是标准大格式的液晶显示器(LCD)和等离子体显示器)。显示器类型和观看条件的变化意味着一条内容的任何一个版本不可能对于整个网络上的所有显示器均是最佳的。

为了克服该问题，需要对每种显示器类型和观看条件产生每一条内容的多个版本并且将内容的这些版本选择性分配到网络中的它们的对应屏幕。然而，期待内容设计员具有整个大的DSS网络上的显示器类型和观看条件的这些详细知识是不现实的。此外，即使这些内容设计员具有这种详细知识，针对每种显示器人工建立内容的版本以及人工对内容进行调度以在恰当时间在每一个对应显示器上进行显示将是耗时的。

DSS可以包括数据采集单元435，用于收集用于提高展开的内容的有效性的数据。基于数据采集单元435，在内容展开过程内可以实时连续聚集成为数字标牌网络的有效性的基础的分配因子。采集的信息可以方便持续提高DSS的内容有效性以及改进内容条的各个版本。例如，此前采集的数据可以用于获知哪些传感器或销售事件应当触发特定类型的内容的显示。

任何内容节目内的各条内容均具有特定目的(如，销售特定产品)。一般情况下，数字标牌网络的用户的每一个目标的值是可变的。例如，涉及产品的目标的值的每一个产品的利润率和库存水平是可变的。实现每一个目标的值在调配数字标牌节目的时间内连续变化。例如，产品的库存水平可以变化，因此影响产品的销售目标。

整体上加强DSS的有效性涉及1)准确预测调配数字标牌节目对与数字标牌节目相关的目标的影响；以及2)随着与内容条对应的每一个独立目标的值的变化，连续改变各条内容的分配模式(定时、频率和位置)。在许多情况下，DSS的用户不可以预测调配内容的影响以及基于与每一条内容相关的目标的连续变化值人工改变内容分配模式。DSS提供预测数字标牌节目的影响以及基于预测改变内容的分配的功能。

如此前所述，在播放器415上显示内容，用于影响人类行为(如，影响购买行为)。然而，现有的数字标牌系统不能够反映标牌内容与人类行为之间的因果关系或测定因果关系的强度。出现该难题的原因在于：在整个当前数字标牌网络上传递内容的方法不支持确定人类行为的任何测定的变化是由标牌内容导致的还是由一些混淆因子的结果(例如，天气变化、对产品的一般需求的变化、产品的价格的变化)导致的。

决定性确定标牌内容与人类行为之间的因果关系的方法只有进行真实验，在真实验过程内，使用复杂的实验设计系统性操纵标牌内容，并且仔细测定这些操纵对人类行为的效应。人工进行这种实验是耗时的并且需要关于如何设计真实验的科学方法的大量知识和训练。数字标牌系统的用户可以不具有理解如何设计真实验以采集无混淆结果的充足训练。图11A中所示的DSS包括能够用于设计真实验的实验设计处理器440和用户界面410。

图11B示出了一种包括实验设计处理器的专家系统，该实验设计处理器被构造用于设计真实验或具有真实验的约束的子过程(例如，在图5-7B中描述的子过程)。如此前讨论，实验设计处理器440可以被构造为全自动或半自动与用户交互进行工作。在半自动模式下，实验设计处理器440可以引导用户经过通过用户界面410执行的多个交互式会话以设计真实验。在该过程内，实验设计处理器440确保产生无混淆数据的真实验的设计。因此，用户能够依赖实验设计处理器440的设计并且不需要具有设计真实验的知识或经验。DSS可以仅仅包括实验设计处理器440，或可以包括额外元件(例如，实验调配单元445、数据采集单元435和数据分析单元450)。

实验设计处理器440可以自动或半自动开发实验的目标或假设，识别实验的自变量和因变量，应用恰当随机化、平衡、反向平衡和/或分块形成对照和处理组。在DSS的上下文中，例如，实验目标可以在于评估促进某产品销售的广告活动中内容元素的有效性。自变量可以与内容元素的显示的某一方面相关。因变量可以与产品销售增加相关。

实验设计处理器440可以形成恰当处理和对照组，包括选择要显示实验内容和对照内容的DSS的各个地点。实验设计处理器440对照实验内容的呈现(包括内容格式、调度、呈现位置和/或可对实验过程产生混淆的其它因子)。实验设计处理器440可以确保充分地对对照和处理组进行随机化处理、反向平衡和分块以获得基本无混淆的实验结果。DSS系统中实验的设计可以例如涉及产生用于呈现通过实验进行测试的内容的恰当播放列表和计划表，还可以涉及产生用于呈现对照内容的播放列表和计划表。

在一些配置中，专家系统还可以包括实验调配单元445。实验调配单元445被构造为方便实验的调配。在示例性DSS系统中，实验调配单元445针对多种播放器配置对实验内容和对照组内容进行格式化并方便将实验内容和对照内容传递到播放器对照器420以根据播放列表和计划表在播放器415上进行呈现。

数据采集单元435可被构造用于从对照和处理组收集实验数据。数据采集单元435可以通过任何手段执行或方便与实验相关的数据的采集。例如，在示例性DSS中，数据采集单元435可以连接到多种传感器或数据采集装置462、464和466，这些传感器或数据采集装置462、464和466收集包括产品移动、产品销售、顾客行动或反应和/或其它信息的信息。传感器462例如可以用于检测顾客是否拾取了产品或当显示内容时顾客是否在显示器的附近。可以基于由销售点(POS)系统464采集的信息确定销售。还可以使用证实内容显示的一个或多个装置466。可以通过库存对照系统获得产品的库存水平的变化。可以通过问卷采集顾客反应。如果执行的实验是真实验，则由数据采集单元435采集的数据基本是无混淆的。

数据采集单元435可以连接到数据分析单元450，数据分析单元450可以被构造用于对由数据采集单元435收集的实验数据进行分析。数据分析单元450可以确定和/或量化实验的自变量与因变量之间的因果关系。对于所示的DSS，分析结果可以用于确定内容是否会有效影响产品销售。

由于分析单元450将接收关于自变量和因变量的信息(如，IV和DV是连续还是离散的)，所以分析单元450将具有大量的选择对实验数据应用的恰当统计测试所需的信息。例如，如果存在具有两个离散水平的一个IV和一个连续的DV，则T-Test将用于推论统计测试，而如果存在具有两个离散水平的一个IV和具有两个离散水平的一个DV，则Chi-Squared测试将用于推论统计测试。同样地，由于分析单元将从设计处理器440访问关于哪些实验条件是特定假设的诊断的信息，所以分析单元450将具有确定哪些实验和对照条件应当进行统计比较所需的大多数或全部信息。

此外或另外，分析结果可以用于实现或修改多种过程。例如，如果内容会有效影响产品销售，则可以将该内容并入广告活动。可以基于增加销售的有效性由内容评估过程472对内容分配值。根据内容的值由开账单单元474对使用内容的广告顾客开出账单。数据分析单元450还可以向库存对照476提供信息。另外，数据分析单元450可以向销售预测单元478提供信息，当调配广告活动时销售预测单元478产生销售预测。此外或另外，销售预测单元478可以预测支持通过广告活动产生的销售所需的产品库存。

在于2005年12月29日提交的共同待审美国专利申请No.11/321,340以及于2006年12月29日提交的美国专利申请No.12/159107(即，代理人案件号No.61292WO003、名称为“Expert System for DesigningExperiments”的国际专利申请US2006/049657)中进一步描述了能够产生数字标牌内容、对由专家系统设计的实验进行调配以及收集实验数据的数字标牌系统的具体实施。其中，该专利申请以引用方式并入本文中。

根据本发明的实施例，本文所述的系统和方法可以形成咨询商务的基础。除了别的以外，提供的服务可以包括(但不限于)：与顾客进行工作以针对某些通信目标和某些顾客观察者恰当定义他们的时隙样本，确定研究涉及哪些变量，确定用于进行测试的自变量的水平，确定用于进行分块和随机化处理的因子，以及执行功效分析。此前描述的测定算法可以用于针对优化和块因子指定时隙配置要求。

本发明的另一种应用涉及将总获利能力进行最大化的系统和方法。在此前陈述的Power&Money(Allison&Allison)文章中描述的基本过程以后，例如，本发明的系统可以用于针对两个目标(即，(1)在上文中详细描述的内容有效性测试，以及(2)没有进行测试但涉及例如增加销售、提升顾客满意度、通知员工等的任何数目的商业目标的内容)优化所有可用时隙样本的配置。

本文所述的根据本发明实现的系统可以提供数据以“平衡”时隙样本的总量，使得用户可以确定测试相对非测试时隙样本的最佳水平，并且在这些组内进行配置以使用最小数目的时隙样本更加有效地测试内容，从而对非测试内容释放更多的时隙样本。当用户寻求连续监视和调整内容分配以将获利能力、满意度等最大化时结果数据可以通知用户，并且能够辅助用户确定何时内容“过时”(即，定义为当此前有效内容由于过度暴露给顾客或员工观察者而停止非常有效的时间点)。

使用本文提供的描述，本发明可以实现为机器、过程、或通过使用用于产生编程软件、固件、硬件或它们的组合的标准设计和/或工程技术制造的制品。

可以在一个或多个计算机可用媒体(例如，常驻存储装置、智能卡、DVD、CD或其它可拆卸存储装置、或传输装置)上编入具有计算机可读程序代码的任何所得程序，从而形成根据本发明的计算机程序产品或制品。同样，本文所用的术语“制品”和“计算机程序产品”旨在涵盖永久或临时位于任何计算机可用介质上或传输该程序的传输介质中的计算机程序。

给出本发明不同实施例的上述具体实施方式是出于举例说明和描述目的。并非旨在详尽说明或将本发明限制在已公开的确切的形式。根据以上教导内容还可进行多种修改和变化。例如，可以在大量的多种应用中实现本发明的实施例。本发明的范围不受具体实施方式的限制，而是受所附权利要求书的限制。

Claims (5)

1.一种在具有多个显示器的数字标牌网络上显示内容的方法，所述多个显示器被构造成根据指定内容条的播放列表来显示所述内容条，

所述方法包括：

接收第一内容条和第二内容条的内容关联性数据；

如果处理器基于所述内容关联性数据确定第一内容条和第二内容条相关联，则该处理器以减小残留效应的方式为一个或多个播放列表分配第一内容条和第二内容条；以及

将所述一个或多个播放列表分配给所述数字标牌网络的一个或多个显示器；

根据所述播放列表和计划表在所述数字标牌网络的各显示器上显示所述第一内容条和所述第二内容条；

利用数据采集装置采集关于内容有效性的数据；以及

利用所采集的数据确定所述第一内容条和所述第二内容条的有效性。

2.如权利要求1所述的方法，还包括根据播放列表在显示器上显示两条内容。

3.如权利要求1所述的方法，其中，残留效应为位内残留效应，当观察者在一个位置处观看第一内容条并且在显示第二内容条时在相同位置处对相同的行为数据或交易数据进行测定时引起位内残留效应。

4.如权利要求2所述的方法，还包括在由块因子所限定的块中分配播放列表。

5.如权利要求4所述的方法，其中，所述块因子为优化因子，所述优化因子会影响每条内容有效地影响相同的行为数据或交易数据的方式，包括标牌位置因子、时段因子、或者表示内容条的观察者的期待的社会经济地位的因子中的至少一个。