CN100517223C - 用于确定实验设计信息的系统和方法 - Google Patents

Abstract

本发明公开了用于在数据处理系统中描述实验设计的用于集成实验计划、设计和分析框架的系统、方法和介质。该框架包括用于组织可能的实验信息的结构化实验状态输入的集合。可配置表结构与结构化实验状态输入的集合同时显示。向用户提供使得基于用户对多个实验技术之一的选择自动建立可配置表结构的能力。可使用直接或者拖放操作进一步修改可配置表结构。一旦用户已完成可配置表结构中条目的修改，执行所选的实验处理。所执行实验的输出被存储并集成到可配置表结构。允许用户以事后方式从表结构中交互地调整和查看实验输入和输出信息。

Description

用于确定实验设计信息的系统和方法

技术领域

本发明涉及数据处理系统领域，并且尤其涉及用于使试验设计的设计、执行以及分析自动化以克服功能、用户界面以及可用性缺陷的系统、方法和介质。

背景技术

改进过程或产品的需求产生持续的努力以便获得最高的性能以及最优的产品配方。这是通过理解变化的潜在来源和用于获得性能特征的重要参数以及确定获得性能特征以及使变化最小化的最优值来实现的。分析者/用户必须使用结构化、组织化的方法来确定影响过程和该过程输出的因子之间的关系。这需要高度熟练的人，他必须精确确定必要的实验模型以及使用正确的统计分析以获得希望的结果。图1示出了该过程的复杂性，该图描述了分析者必须人工执行以建立简单的实验设计的步骤。分析者必须首先创建如方框10所示的现实世界的模拟模型。然后如方框12所示跟着创建实验设计以评价现实世界的模型表示。然后分析者必须如方框14所示将实验设计转换为模型输入。接着在方框16为实验设计的每一步骤将转换的设计输入到该模型。在方框18，必须为由分析者识别的实验的每一步骤执行模型。一旦完成模型执行，分析者必须如方框20所示为实验的每一步骤提取模拟结果并且如方框21所示将模拟结果输入到分析工具。最后，该过程需要如方框22所示跟踪用于每一步骤的实验设计的执行。在方框24，分析者确定是否已成功完成实验。如果是，认为实验完成并且在方框26终止该过程。然而，如果在方框24分析者确定实验步骤的多次迭代需要重复进行，该过程行进到方框16以便允许其他处理。

致力于提供用于使产品或过程最优化的易于使用的格式的一种产品是由Northwest Analytical公司生产的Design-Expert(R)软件。该Design-Expert产品允许分析者筛选重要因子、定位用于获得最高性能的理想过程设置并且发现最优产品配方。该产品允许分析者构建设计并且生成具有以随机化运行顺序安排的实验的工作表。Design-Expert产品还向分析者提供多个统计选项，如部分析因(fractional factorial)、Taguchi、正交阵列(orthogonal array)、Placket-Burman等。尽管Design-Expert产品向分析者提供大量自动化特征，它是通过用于生成用于以离线方式运行计划的电子表的静态表来完成这一点的。仍然需要用于使产品和过程最优化的便于使用的技术，其中，本发明构建表，使得用户可通过拖放操作来与该表交互，并且使用该表来实时跟踪结果。

发明内容

因此，本发明的目的是提供一种用于数据处理系统的使基于实验设计的研究的设计、执行和分析自动化的方法。

本发明的另一个目的是提供一种精确确定实验模型的改进的方法，通过该实验模型执行实验技术。

本发明的再一个目的是提供一种用于使用实验设计研究使产品和过程最优化的易于使用、自组织以及有指导的模型

上述目标通过如下方式实现。公开了一种用于描述数据处理系统中的实验设计的集成的实验计划、设计以及分析框架。该框架包括具有结构化实验状态输入集合的层级结构，该层级结构在实施例中被示为用于组织可能的实验输入的树结构。一可配置表结构与树结构一起同时显示。为用户提供使得根据用户对多个实验技术中的一个的选择来自动设置可配置表结构的能力。

还可使用直接或者拖放操作来进一步修改可配置表结构。一旦用户完成可配置表结构中的条目的修改，就根据用户的选择来执行所选实验的处理。执行实验的输出被存储并且集成到可配置表结构。允许用户以事后方式交互地调整和审查输入和输出信息。

附图说明

本发明的其他目的和优点通过阅读下面的说明以及通过参照附图将变得显而易见，附图中相似的附图标记表示相似的部分。

图1示出需要分析者为简单的实验设计建模所需的人工步骤；

图2示出数据处理系统的网络的图示，在该数据处理系统中可以实施本发明的示例方面；

图3示出数据处理系统的方框图，在该数据处理系统中可以实施本发明的示例方面；

图4示出服务器-客户机系统的典型软件体系结构的方框图，在该服务器-客户机系统中可以实施本发明的示例方面；

图5示出根据一个实施例的本发明的实验设计工具的方框图；

图6示出根据本发明的一个实施例的运行计划器输入屏幕的图示，该屏幕示出具有分析者可用的输入字段的表；

图7示出用于由用户选择实验技术的运行计划器输入屏幕的图示；

图8示出根据本发明的选择运行计划器输入屏幕、实验技术或者变量选择的流程图；

图9示出用于确定变量、等级以及复制选择的运行计划器输入屏幕的图示；

图10示出根据本发明的一个实施例的创建等级、复制以及变量模板的流程图；

图11示出显示字段的拖放更新的运行计划器输入屏幕的图示；

图12示出根据本发明的具有用于表中的实验条件的字段的拖放更新的运行计划器输入屏幕的图示；

图13示出根据本发明的使用拖放操作来更新表的流程图；

图14示出根据本发明的具有显示实验状态和结果的更新表条目的运行计划器输入屏幕的图示；以及

图15示出根据本发明的用于实验的事后交互分析的运行计划器屏幕的图示。

具体实施方式

下面将详细描述如附图所示的本发明的示例实施例。示例实施例是如此的详细以至于能够清楚地传达本发明。然而，提供的细节的数量的目的不在于限制实施例的预期变化；相反，本发明意在覆盖所有落入如所附权利要求限定的本发明的精神和范围的修改、等效物以及替代。下面的描述旨在使这些实施例对于本领域的普通技术人员是清楚的。

图2-3提供了数据处理环境的示例图，在该数据处理环境中可实施本发明的实施例。应当明白图2-3仅仅是示例性的，其不是意在断言或者暗示对于其中可以实施本发明的方面或者实施例的环境的任何限制。在不脱离本发明的精神和范围的情况下，可以对所示环境进行许多修改。现在参照附图2，其示出具有数据处理系统的网络的图示。网络数据处理系统100包含网络102，该网络是用于提供在网络数据处理系统100中连接在一起的各种设备和计算机之间的通讯链路的介质。网络102可包含诸如电线、无线通信链路、或者光缆等连接。

在所示的示例中，服务器104和服务器106以及存储单元108连接到网络102。此外，客户机110、112和114例如可是个人计算机或者网络计算机。在所示的示例中，服务器104向客户机110、112和114提供数据，如引导文件、操作系统映像以及应用。在该示例中，客户机110、112和114是服务器104的客户机。网络数据处理系统100可包含其它服务器、客户机以及其他没有显示的设备。

在所示的示例中，网络数据处理系统100是因特网，其中网络102表示使用传输控制协议/网际协议(TCP/IP)的协议组以彼此通信的网络和网关的全世界的集合。在因特网的中心，是包含成千上万个路由数据和信息的商业、政府、教育以及其他计算机系统的主要节点或者主机之间的高速数据通信线的主干。当然，网络数据处理系统100还可实施为多个不同类型的网络，如作为示例，内部网、局域网(LAN)、或者广域网(WAN)。图1只是示例，而不是本发明各种实施例的体系结构限制。

现转到图3，该图示出其中可以实施本发明的一些方面的数据处理系统的方框图。数据处理系统200是计算机的示例，如图2中的服务器104或客户机110，其中可放置实现本发明实施例的过程的计算机可用代码或者指令。在所示的示例中，数据处理系统200使用包括北桥(NB)和存储控制器中心(MCH)202以及南桥(SB)和输入/输出(I/O)控制器中心(ICH)204的中心结构。处理单元206、主存储器208和图形处理器210连接到北桥以及存储控制器中心202。图形处理器210可通过加速图形端口(AGP)连接到北桥以及存储控制器中心202。

在所示的示例中，LAN适配器212连接到南桥和输入/输出控制器中心204。音频适配器216、键盘以及鼠标适配器220、调制解调器222、只读存储器(ROM)224、硬盘驱动器(HDD)226、CD-ROM驱动器230、通用串行总线(USB)端口以及其他通信端口232、和PCI/PCIe设备234通过总线238以及240连接到到南桥和输入/输出控制器中心204。PCI/PCIe设备可包括例如以太网适配器、用于笔记本计算机的附加卡和PC卡。PCI使用卡总线控制器，而PCIe不使用卡总线控制器。ROM 224可以是例如闪速二进制输入/输出系统(BIOS)。

硬盘驱动器226和CD-ROM驱动器230通过总线240连接到南桥和输入/输出控制器中心204。硬盘驱动器226和CD-ROM驱动器230可使用例如集成驱动电子设备(IDE)或者串行高级技术附加装置(SATA)接口。超级I/O(SIO)设备236可连接到南桥和输入/输出控制器中心204。

在图3中，操作系统运行在处理单元206上并且协调和提供数据处理系统200中的各种组件的控制。作为客户端，操作系统可是商业上可得的操作系统，如和

XP(Microsoft和Windows是微软公司在美国、其他国家或既在美国又在其他国家的商标)。面向对象的编程系统，如Java^TM编程系统可结合操作系统运行并且提供从在数据处理系统200上执行的Java程序或者应用到操作系统的调用(Java是SunMicrosystems公司在美国、其他国家或既在美国又在其他国家的商标)。

作为服务器，数据处理系统200可以是例如IBM的eServer^TM

计算机系统，其运行高级交互执行

操作系统或LINUX操作系统(eServer、pSeries和AIX是国际商业机器公司在美国、其他国家或既在美国又在其他国家的商标)。数据处理系统200可以是包括处理单元206中的多个处理器的对称多处理器(SMP)。或者，可使用单处理器系统。

操作系统、面向对象的编程系统以及应用或者程序的指令位于存储装置如硬盘驱动器226中，并且可加载到主存储器208以便由处理单元206执行。处理单元206使用计算机可用程序代码执行本发明实施例的过程，所述计算机可用程序代码可位于存储器如举例来说主存储器208、只读存储器224中，或者位于一个或者多个外围设备226和230中。

本领域技术人员将明白图2-3中的硬件可根据实施变化。其他内部硬件或者外围装置，如闪速存储器、等效非易失性存储器、或者光盘驱动器等也可使用，作为对图2-3中所示硬件的附加或者替代。并且，本发明的过程可应用到多处理器数据处理系统。在某些例示性示例中，数据处理系统200可以是个人数字助理(PDA)，该个人数据助理配置有闪速存储器以提供用于存储操作系统文件和/或用户生成的数据的非易失性存储器。

总线系统可包含一个或者多个总线，例如，如图3中所示的总线238或总线240。当然，可以使用任何类型的通信织构(fabric)或结构来实施总线系统，该通信织构或结构在连接到该构造或结构的各种组件之间提供数据传送。通信单元可包含一个或多个用于传送和接受数据的设备，如图3的调制解调器222或网络适配器212。存储器可以是例如主存储器208、只读存储器224、或如在图3中在北桥和存储器控制器中心202中发现的高速缓存。图2-3中所示的示例以及上述示例不是要暗示结构限制。例如，数据处理系统200还可以是平板计算机、膝上计算机、或者采取了PDA形式的电话设备。

转到图4，示出了用于服务器-客户机系统的典型软件体系结构，其其中可实施本发明的一些方面。在最低层，使用操作系统302以提供高级功能给用户或者其他软件。这样的操作系统通常包括基本输入/输出系统(BIOS)。通信软件304通过直接调用操作功能以间接绕过操作系统来访问用于通过网络通信的硬件，来经由物理通信链路，提供通过外部端口到网络如因特网的通信。应用编程接口(API)306允许系统用户、个人或者软件例程使用标准一致的接口来调用系统能力，而不考虑特定功能是如何实现的。网络访问软件308代表任何可用于允许系统访问网络的软件。该访问可是到网络，如局域网(LAN)、广域网(WAN)或者因特网。利用因特网，该软件可包括如Web浏览器等程序。应用软件310表示任何数目的软件应用，所述软件应用被设计为通过通信端口响应数据以提供用户寻求的希望的功能，如即时消息应用。在该等级的应用可包括那些处理数据、视频、图形、照片或文本所需的可由因特网的用户访问的应用。

现转到图5，其示出用于使基于实验设计的研究的设计和执行自动化的设计工具400的方框图。用户界面412包括可视编辑工具，该工具允许分析者通过动态地呈现在计算机屏幕上的拖放过程实时地可视地将测试对象(test subject)分配给测试单元(test cell)。提供图标的可视分配，所述图标表示测试参与者和所有伴随的以及相关的个人特征和属性，如年龄和性别。设计方法402被包括在设计工具400中以允许包含多种实验设计技术，如拉丁方(Latin Square)、部分析因、Taguchi、特别(ad hoc)、多元方差分析(multivariate analysis of variance)、典型相关(canonicalcorrelation)等。实验框架构建器404包括用于在窗口中创建用于输入和输出的实验数据表或者树结构的过程。允许分析者自动和可视地制定并执行具有所有或部分实验设计的集成工具/过程。运行计划器406包括用于同时显示实验状态输入的表和树的输入面板以用于容易地更新表输入字段。运行执行器和跟踪器408包括用于自动执行实验并保存实验结果以由分析者或者自动工具以后分析的的过程。可视地跟踪实验的执行并且提取、集成并汇总工具/过程输出结果409。实时地可视地呈现输入结果。最后，事后分析410提供用于查看、评价和调整实验输出的过程。

现转到图6，这里显示具有用于实验的输入条目的表504的设计工具400的图形窗口。表504包含多个用于标识实验的特定特征的标题，如实验501、模拟状态503。运行时间和全局505、何处运行507、何处保存509以及状态(结果)511。图形窗口还包括可用于由分析者制定实验的实验状态输入500的树。来自实验状态输入500的树的选择可拖到并插入到表504中。实验状态输入500的树包含与特定实验相关的信息，如报告、运行时间参数、实验变量等。图形窗口还包含运行计划类型502字段以允许分析者选择多个统计实验技术。在图形窗口中提供按钮以用于执行单个实验运行529或者所有实验运行531。所公开的图形窗口提供了用于组织实验条件和提交因子(submission factor)以最小化在建立用于统计分析的实验数据集中所需的耗时和易错误的过程的框架。

现转到图7，这里示出运行计划器输入窗口，其显示用户使用运行计划对话框502选择统计分析技术。特定的统计分析技术的选择导致实验状态输入树500被调整以反映用于该技术的相关信息。这允许各种实验技术的集成从而技术的选择根据需要调整运行计划器。这样分析者能够可视地专注于实验和结果，而不是必须专注于实验执行地细节。现转到图8，这里示出调整如图7所示的运行计划器输入和信息字段的流程图。在步骤600，设计工具被初始化，并且用户启动实验设计配置602。在方框604，确定用户是否已经请求运行计划器。如果是，则过程在方框610继续，创建用于选择运行计划器模板的模板。如果用户没有在方框604请求运行计划器，则处理进行到方框606，在那里确定用户是否已请求选择实验方法技术。用于该动作的选择对话框如图7所示，其中从运行计划类型502对话框中可获得多个实验方法技术。返回到图8，如果用户已在方框612选择了多个实验方法技术中的一个，则在方框612创建用于所选实验方法的模板。如果用户在方框606没有选择试验方法技术，则在方框608确定用户是否已请求选择变量的数目。在图9中在变量数目字段513中指定变量的数目。转到图8，用户选择变量的数目导致如方框616所示更新用于所选实验方法模板的模板。在方框620，处理继续，如图10所示进一步更新运行计划器输入屏幕。

现转到图10，处理继续，在方框700确定用户是否已请求选择等级的数目。如果是，则在方框708，允许用户执行拖放操作以更新用于选择等级数目的模板。图9示出可用于由用户请求等级数目的等级数目515输入字段。转到图10，如果用户没有在方框700指定等级数目选择，则过程进行到方框702，在此确定用户是否请求选择复制间隔，如果是，则在方框710用户选择复制间隔，这更新模板以反映复制。图9示出复制字段517，其中由用户输入选择。返回到图10，如果用户在方框701没有请求选择复制间隔，则处理进行到方框704，在此确定用户是否希望建立变量的初始等级。如果是，则在方框712用户执行拖放操作以建立变量的等级。图11更清楚地示出由用户执行的拖放操作521、523、525和527以更新显示的表519中的变量。本发明允许用户从实验状态输入500中容易地进行选择以更新表519中的输入字段。该过程能够以更及时和高效(productive)的方式图示地更新并且显示实验设计模板以最小化或避免输入错误。返回到图10，在方框706，确定用户是否在使用拖放操作以建立如图11所示的变量的第二等级。如果是，则在方框714，过程提供图示地建立变量的第二等级以显示实验设计模板。然后过程进行到方框716，在那里执行图13中的其他处理。

转到图12，本领域技术人员可以理解相似的处理应用到所选择的每种类型的实验技术。例如，图12示出用户使用运行计划类型选择对话框选择特别502实验技术。显示包含表504以及实验状态输入的树500的运行计划器屏幕。用户能够访问该实验状态输入的树500并且使用拖放操作800、802和804将值输入表504。这使得用户能够使用拖放操作快速且准确地建立变量和实验运行条件。

现参照图13，处理在方框900继续，在那里确定用户是否希望设置其他运行条件。如果是，则在方框906，用户拖放其他运行时参数和运行位置。如果用户在方框900没有选择设置运行条件，则处理在方框902继续，在那里确定用户是否希望运行实验。如果是，则在方框908执行实验并且跟踪完成状态和提供汇总结果以及对细节的访问的显示表被更新和显示给用户。现转到图14，这里显示具有表1000的运行计划器屏幕。表1000中的第一实验指示“完成”状态。本发明允许用户通过选择运行按钮529来运行单个实验或通过使用运行全部按钮531来运行全部实验。表1000在单个图形表中包含了输入信息以及所有实验的状态。

现转到图15，这里显示本发明用于从运行计划器或其他数据源集成的实验信息的事后分析的实施例。该运行计划器用于执行结果并且提供到细节数据的快速访问。分析器允许操纵与一组试验有关的运行以便获得最佳实验结果。本领域技术人员应当明白，来自其他源的数据也可被插入到分析器。图15示出使用直接输入和拖放操作的结合以将实验信息输入到格子1200进行的交互实验分析。将可用实验1100显示给用户。用户使用拖放操作1100将希望的实验放入将要分析的实验的队列1120。用户通过使用拖放操作1140/1190将信息插入格子1200或者通过将输入信息直接输入格子1200，来使用格子1200执行交互分析。用于该格子的运行计划的类型1150、变量数目1160、等级数目1170、以及复制1180由用户确定以用于交互分析。一旦用户满意于输入格子1200的实验信息，选择分析按钮1220使得实验被分析。本领域技术人员可以理解使用本发明可交互执行任何数目的实验变体。一旦用户满意于完成实验分析，选择完成按钮1240导致实验的输出被保存或者丢弃。

总之，被执行以实现本发明实施例的例程可是操作系统的一部分或者特定应用、组件、程序、模块、对象、或者指令序列。本发明的计算机过程通常包含众多指令，所述指令由本机计算机转换成机器可读格式并且从而是可执行指令。此外，程序包含或驻留在程序本地或在存储器或存储设备中可发现的变量和数据结构。此外，文中描述的各种程序可根据在本发明特定实施例中为其实现它们的应用来识别。然而，本领域技术人员应当理解文中的任何特定程序名称仅仅为方便而使用，并且从而本发明不应当限于仅用于由这些名称所标识和/或暗示的任何特定应用。

对于获益于本公开的本领域技术人员显而易见的是，本发明考虑用于在即时消息传递系统中分享输入设备运动信息得方法、系统和介质。应当理解在详细说明以及附图中所显示和说明的本发明的形式应仅仅当作示例。下面的权利要求旨在被广义地解释以包含所公开的示例实施例中的所有变化。

Claims (15)

1.一种用于由用户在数据处理计算机系统中确定实验设计信息的方法，该方法包括：

在所述数据处理计算机系统中的显示器的图形窗口中创建具有实验设计信息的结构化实验状态输入的集合；

创建具有用于所述结构化实验状态输入的集合中的所选择的实验状态输入的条目的可配置表，其中所述表与所述结构化实验状态输入的集合同时显示；以及

选择所述结构化实验状态输入的集合中的至少一个实验状态输入以修改所述可配置表；

其中所述用户从所述可配置表中选择将执行的多个实验中的一个。

2.如权利要求1所述的方法，其中所述创建可配置表包括由所述用户选择多个实验技术中的一个。

3.如权利要求2所述的方法，其中所述创建可配置表包括由所述用户创建用于所述多个实验技术中的所述选择的一个的模板。

4.如权利要求1所述的方法，其中选择所述结构化实验状态输入的集合中的至少一个实验状态输入包括将所述选择的输入拖放到所述可配置表中的条目位置。

5.如权利要求1所述的方法，其中选择所述结构化实验状态输入的集合中的至少一个实验状态输入包括将所述可配置表的所述修改显示给所述用户。

6.如权利要求1所述的方法，其中创建具有条目的可配置表包括：

提供表，该表具有关于相对于用户选择的实验技术的实验信息的条目；以及

拖放来自所述结构化实验状态输入的集合的信息以为所述提供的表提供设置信息。

7.如权利要求1所述的方法，其中从执行所述可配置表中的所述多个实验中的一个产生输出，并且在所述表中显示所述输出。

8.一种用于在数据处理计算机系统中由用户确定实验设计信息的数据处理计算机系统，包括：

用于在所述数据处理计算机系统中的显示器的图形窗口中创建具有实验设计信息的结构化实验状态输入的集合的装置；

用于创建可配置表的装置，所述可配置表具有用于所述结构化实验状态输入的集合中的所选择的实验状态输入的条目，其中所述可配置表与所述结构化实验状态输入的集合同时显示；以及

用于选择所述结构化实验状态输入的集合中的至少一个实验状态输入以修改所述可配置表的装置；

其中，用户从所述可配置表中选择将执行的多个实验中的一个。

9.如权利要求8所述的系统，其中所述用于创建可配置表的装置包括用于由所述用户选择多个实验技术中的一个的装置。

10.如权利要求9所述的系统，其中所述用于创建可配置表的装置包括用于由所述用户为所述多个实验技术的所述选择的一个创建模板的装置。

11.如权利要求8所述的系统，其中所述用于选择所述结构化实验状态输入的集合中的至少一个实验状态输入的装置包括将所述选择的输入拖放到所述可配置表中的条目位置的装置。

12.如权利要求8所述的系统，其中所述用于选择所述结构化实验状态输入的集合中的至少一个实验状态输入的装置包括将所述可配置表的所述修改显示给所述用户的装置。

13.如权利要求8所述的系统，其中所述用于创建具有条目的可配置表的装置包括：

用于提供表的装置，该表具有关于相对于用户所选择的实验技术的实验信息的条目；以及

用于拖放来自所述结构化实验状态输入的集合的信息以设置用于所述提供的表的信息的装置。

14.一种用于由用户在数据处理计算机系统中分析实验设计输出的方法，该方法包括：

提供从在所述数据处理计算机系统中的显示器的图形窗口中运行实验设计信息产生的多个实验输出；

创建具有用于所述多个实验输出中的所选择的实验输出的条目的可配置表，其中所述表与所述多个实验输出同时显示；以及

启动为所述可配置表中的所述多个实验输出中的所选择的实验输出进行的所述实验输出的分析。

15.如权利要求14所述的方法，其中所述创建可配置表的步骤包括将来自所述多个实验输出的实验输出拖放到所述表中的用户选择的条目。

Images