CN1928880B - 用于动态产生复杂计算机辅助系统测试脚本的方法和装置 - Google Patents
用于动态产生复杂计算机辅助系统测试脚本的方法和装置 Download PDFInfo
- Publication number
- CN1928880B CN1928880B CN200610151326XA CN200610151326A CN1928880B CN 1928880 B CN1928880 B CN 1928880B CN 200610151326X A CN200610151326X A CN 200610151326XA CN 200610151326 A CN200610151326 A CN 200610151326A CN 1928880 B CN1928880 B CN 1928880B
- Authority
- CN
- China
- Prior art keywords
- test
- rule
- script
- operation steps
- test script
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
- G06F11/26—Functional testing
- G06F11/263—Generation of test inputs, e.g. test vectors, patterns or sequences ; with adaptation of the tested hardware for testability with external testers
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Test And Diagnosis Of Digital Computers (AREA)
- Debugging And Monitoring (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明涉及一种方法和装置,用于测试复杂计算机辅助设备,特别是可由不同人员按照不同方式操作的医疗技术设备(A)。通过检测单元(10)采集大量的操作脚本。操作脚本按操作步骤的顺序分解并按类别分配。在对里面存放各操作步骤之间依赖关系的规则库(16)访问的条件下,动态和自动产生至少一个测试脚本,该测试脚本可以在随后的步骤中自动执行。
Description
技术领域
本发明涉及测试复杂计算机辅助设备、特别是医疗技术设备或仪器的领域或者制造技术或其它技术领域的设备,并特别是涉及用于产生测试脚本的方法和装置,其中,可以对优选来自临床范围的这种设备和/或仪器无错误地进行检测。
背景技术
原则上存在两种测试策略,即所谓的黑箱测试和白箱测试。本发明涉及黑箱测试,其中,各自的设备从用户的角度通过由用户的模拟操作进行测试。设备的结构、特别是与软件和/或硬件相关的程序设计的细节是未知的。与测试工程师已知结构和软件代码的白箱测试的区别在于所要测试的对象如同“黑箱”。
特别是临床范围中使用的医疗技术设备通常由不同的人员操作和/或按照不同方法和方式使用或应用。如果现在需要测试这种设备,那么在测试时需要考虑或满足不同人员和/或医院的不同操作方式和不同使用状况。
现有技术中在这种相互关系上公知是,执行所谓基于需求的测试。但这些测试局限于小部分的测试上。它们的设计仅限于检测所要测试的设备是否满足各自事先通过要求和设计规范和通过功能规范确定的“需求”或要求。例如如果需要测试计算机断层造影仪,那么采用基于需求的测试仅能测试出该计算机断层造影仪是否还能产生所希望和要求的剖面图像。然而这仅是一小部分测试脚本。例如,如果使用者进行了错误的操作或者有错误的操作命令或操作步骤顺序进行操作,还应能够检查该设备是否还能正常工作。在这种相互关系上困难的是,所要测试的医疗设备(例如计算机X断层造影设备)所希望的结果可以按照不同方式,也就是通过不同顺序的操作步骤实现。这些不同的操作可能性也应能够通过测试得到覆盖。
以往的测试静态实现,也就是说,只能测试预先确定的操作方式。然而实践证明这种过程是有缺陷的。一方面,采用这种过程只能达到相当小的测试范围,而另一方面,采用这种过程不能使测试与各自的使用情况进行动态配合。
在目前公知的系统中,设备的制造商一方与设备的使用者或操作者另一方之间不存在相互作用和信息交换。这一点导致检测和测试程序在具有医疗知识的医疗设备情况下原则上手工建立。因此,迄今为止一直不能实现系统的行为,该行为将迄今收集的对测试重要的数据包括在未来的产生中。
发明内容
因此,本发明的要解决的技术问题在于指明一条路径,利用其可以改进和特别是灵活测试本文开头所述类型的设备,特别是医疗技术设备,从而可以按照不同的人员组和/或不同的应用脚本而设置并利用其还可以拓宽测试范围上述技术问题是通过一种方法实现的,该方法用于测试设备或者仪器,特别是可以由不同应用范围的不同人员并按照多种方式操作的医疗技术的设备或者仪器,具有以下方法步骤:
-采集大量的操作脚本,
-分别将所采集的操作脚本按操作步骤的顺序分解,
-对各操作步骤按类别分类或者分配,
-采集各操作步骤之间和/或操作步骤类别之间的依赖关系,
-在选择所采集的操作步骤的基础上和/或在所采集的操作步骤按类别分配的基础上和/或在规则的基础上动态产生至少一个测试脚本。
在下面的说明中(本发明并不局限于此)作为具体的优选实施方式经常从为其产生测试脚本的医疗技术设备出发。
一般情况下,依据本发明动态产生的测试脚本优选地自动立即或者在其产生之后不久执行。但是这种执行不是该方法必需的组成部分。同样可以仅产生一个测试脚本,它例如可以暂时根本不执行或在以后的时间点上才执行。在该优选的实施方式中,依据本发明的方法因此包括以下方法步骤:
-通过播放器模块自动执行动态产生的测试脚本。
播放器模块因此可以作为动态产生的测试脚本的执行单元定义。
依据本发明解决方案的主要优点在于,所产生的测试程序现在可以系统地建立,方法是对优选地包括所采集的操作脚本的所收集的应用数据进行分析,并且为执行而自动传地送到播放器模块上。因此,既可以改进对各自设备的支持,也可以提供得到改进的测试过程。这一点是可能的,方法是可以从用户方面采集最常用的检查顺序(按照操作步骤的顺序)、检查顺序的变化、设备上的应用变化,并且可以在产生测试脚本时进行处理。此外可以改善错误诊断。
相互进行数据交换(远程传输)的设备使用者或设备制造商均可以配有控制计算机,即所谓的主机。使用者的主机与记录装置相互作用,并且制造商的主机与播放器模块相互作用。记录装置用于采集设备(各自使用者)的应用条件并将其传送到制造商的主机。制造商的工作人员现在可以对传送的使用条件进行分析,以便利用这种知识在必要时访问数据库的条件下选择测试程序。或者,也可以选择全自动执行上述过程,方法是根据所采集的使用条件自动产生测试程序。所收集的和/或所处理的数据可以存放在数据库内。
除此之外,也可以对已经产生的测试脚本进行反馈。在调节单元内对执行各操作步骤的概率进行访问。特别是具有一种机制,它可以使所要产生的测试脚本的各部分不必多次产生,因为它们在以前已经产生过。然后这些步骤和/或部分隐没。因此可以优化地减少方案数量。根据利用已经取得的测试结果的反馈,也可以动态调整操作步骤各自的概率。
一般情况下在正常使用医疗技术设备时可以规定确定的工作流程,也就是操作步骤的顺序。一般情况下绝大多数医疗技术设备以计算机设备为基础地工作。因此,使用者的第一个操作步骤必然是例如“启动”计算机系统。。在第二或者后面的操作步骤中,他必须例如作为得到授权的使用者入选和/或登录,然后才有可能执行确定的工作步骤。为医疗技术设备上的每次投入使用可以定义一个或者通常多个不同的工作流程。一个工作流程由具有确定顺序的工作步骤组成。在此,可以通过执行不同的工作流程取得所希望的医疗技术设备的结果。依据本发明现在可以将所采集的已经投入使用的设备的工作流程用于测试相同类型的其它设备。为此所采集的工作流程或者直接(也就是无改变地)使用或者与所要测试的设备相匹配。
也可以从多个同时投入使用的相同类型的设备中产生至少一个工作流,方法是(需要时在不同的操作地点上)组合同时使用的设备。因此依据本发明的解决方案也可以在分布式系统中使用。
同样可以将所产生的一个测试脚本同时用于多个所要测试的设备。
所有原则上可以执行的操作步骤依据本发明按照可配置的标准类别分配或按类别分类。在该优选的实施方式中,这些标准与时间上执行的各自操作步骤相关进行预配置。与上述举例相关,因此在这里可以确定一个注册类别,其包括操作步骤如打开,登陆,、授权等等。除了大量其它操作类别(例如普通的“产生层拍摄”、“实施重建方法”、“加载已采集的图像”等等)之外,还可以定义包括系统各自使用者的注销的注销类别。
根据时间上必需的顺序确定的操作步骤或确定的类别,可以导出和确定其中存放执行确定操作步骤的技术前提的规则。例如核磁共振断层造影设备只有在下列情况下才能由使用者操作:该使用者事先在该系统注册和得到授权。如果不遵守这些规则,将出现错误操作并且设备必须以适当的方式做出反应(特别是错误提示)因此,依据本发明除了正常使用该系统或正常情况操作外,还可以测试系统的有错误的操作该或非正常情况操作。在后一种情况下,是通过测试产生了错误,而且设备可以根据与这种错误原因相关的具体反应(例如利用相应的错误提示)进行测试。
除此之外,在本发明一种优选的扩展中,可以从错误操作中同时导出其它过程。因此例如可以从错误操作中导出对用户的培训要求,以便可以整体上改进过程。在这种实施方式中,依据本发明的模块与跟踪模块相互作用,在后者中记录了迄今所采集的错误操作并且具有触发模块,它根据在跟踪模块中记录的错误操作启动一个或者多个其它可能的过程,特别是有关培训过程。
在采集大量的操作步骤之后,依据本发明可以动态产生至少一个测试脚本。在此,这些操作步骤可以任意方式或者根据可调整的机制相互组合。
但也可以专门设置测试,方法是将所采集的操作步骤不是以任意方式组合,而是根据对于设备的正常操作的规则相组合(例如先‘接通’,然后‘加载图像’)。在该实施方式中,对包括各操作步骤之间和/或其类别之间依赖关系的规则进行访问。产生测试脚本,方法是将所采集的操作步骤这样组合,使得其满足规则。
在该优选的实施方式中,规则涉及各操作步骤(例如:首先‘操作步骤1’,然后→‘操作步骤2’→‘操作步骤3’,→....)。在本发明一个替换的实施方式中,规则不涉及各个操作步骤,而是涉及其类别(例如:首先‘注册类别’,然后→‘图像产生类别’→‘注销类别’)。通常规则的定义可以配置。如果规则仅在类别层面上产生,那么需要较少的系统知识。对所要测试的设备了解得越详细,规则也就可以越细地构成,而且甚至精确到各操作步骤层面上。优选地,可将按本发明的解决方案划分为三个阶段:
1.采集阶段:在该采集阶段中采集各个操作脚本。这一点通常通过对常用设备操作的跟踪进行。也就是说,如果使用者操作设备,那么由他发出的指令同时执行并储存在运行记录数据内。同样,可以通过接口替换地和/或附加地读入其它操作脚本。例如,如果具有同一功能的设备已经投入使用并且已采集该设备不同的操作脚本,那么这些操作脚本可以用于(具有同一功能)进一步开发的设备的检测。通常在该采集阶段也可以将所采集的操作脚本分解成各个操作步骤并且在需要时按类别分类。通常在该阶段上也进行对规则的访问。如果不能持续采集该设备的应用或应用习惯,也可以零星或者仅一次采集并然后根据可预先定义的结果重复采集。因此可以自动识别使用条件方面的变化。
2.测试产生阶段:在该阶段中,动态产生至少一个测试脚本。在所采集的和分解在各步骤中的操作脚本产生至少一个测试脚本。
3.测试执行阶段:在该阶段中,将所产生的测试脚本加装在医疗技术设备上用于自动执行。
通过依据本发明的解决方案时间上按阶段的划分,可以节省用于执行各自设备测试的系统资源。另一个优点在于,依据本发明的方法可以模块式分成各方法组,并因此在测试过程中不必重复执行始终再现的工作步骤,而是也可以用于执行其它或者以后的测试。因此可以集中系统知识。
按阶段划分的另一优点在于时间上的可变性。一方面,所有方法步骤可以在测试产生阶段执行。另一方面,几个方法步骤可以在预储存的方法步骤中执行。该预储存的方法步骤可以包括以下内容:
-采集操作脚本,
-产生操作步骤,
-按类别分类操作步骤,
-定义规则,
-特别是通过分析“应用记录”收集和分析设备应用,
-采集设备应用方面的变化,
-有针对性地跟踪设备的错误操作,
-有针对性地模拟错误,
-访问规则。
特别优选地,在待测试的设备类型或者类似设备类型的至少一个已经在临床运行中有效的医疗技术设备上安装一个记录装置,例如以记录模块的方式设置。利用该记录装置然后可以采集和记录大量实际操作脚本。然后,在使用这些所记录的操作脚本情况下产生至少一个测试脚本。这一点一方面的优点是,这些操作脚本特别是切合实际的,而且例如也采集和考虑到测试工程师可能根本没有想到的可能的错误操作(例如精确的时间顺序)。为此节省了用于产生作为测试脚本基础所需的附加时间。
依据本发明解决方案一种特别的优点在于,可配置根据确定标准自动和动态产生的测试脚本。可以为测试脚本的产生配置某种操作步骤的组合。特别是可以设定是否所有可能的正常操纵下的组合都可以使用和/或将可导致非正常操作的组合挑选出来。同样,可以将正常情况和非正常情况操作混合。
在该优选的实施方式中,各操作步骤之间和/或其类别之间确定的依赖关系包括逻辑上的和/或时间上的依赖关系。除此之外,可以考虑其它功能上的依赖关系。在考虑到依赖关系的情况下利用这种设定机制可以使依据本发明产生的测试脚本适应性地与各自的应用情况相匹配并且非常灵活地构成。原则上,定义的依赖关系越多或者规则越多,测试设置得就越专业,运行得越迅速,测试范围越小。相反,也可以选择尽可能宽的测试范围,方法是定义尽可能少的规则。
依据本发明方法的基本点在于,测试脚本的产生或所产生的测试脚本的特征可以由使用者和/或根据可选择的标准自动确定。在此,优选地可以配置所产生的测试脚本的特征,方法是在一个附加的方法步骤中采集至少一个参数。这一点例如可以通过测试工程师配置确定的参数来实现。这一点通常可以通过专用的用户接口进行。利用这一特征可以根据该设备各自对于用户重要应用来确定该方法。例如,如果设备仅在特定范围内使用,那么测试该设备的其它应用没有意义。这样可以将测试限定在专门的用途中。例如设置了专门的医院流程的情况。此外,可以将测试脚本为“非常高的患者流量”或者“无拍片的医院”而设计。例如,如果在特定的医院流程中,由计算机断层造影仪产生的图像原则上仅通过电子媒介传送到其它相关部门而不打印出来,那么在该部门测试打印指令就没有意义。该测试依据本发明优选地可以仅限定在重要的测试脚本中。因此,可以尽可能最佳地反映出设备令人满意的用户操作,而无需产生不必要大量的并因此不再(或者需要高维护费用)维护的测试脚本。对于依据本发明的测试脚本产生来说,此外可以考虑已经产生的测试步骤和路径,以便在提高脚本数量情况下降低可能变化的测试数量。为此最好仅需一次执行所有可能的分测试顺序。
在本发明优选的扩展中,自动执行至少一个上述方法步骤。特别是自动执行测试脚本的动态产生。操作脚本的动态产生的优选地也自动进行,方法是在实际使用中同时进行或者记录设备的操作。这一点可以在现场执行。或者,可以通过专用的用户界面选择确定的操作步骤。通常以后操作该设备的人员也在这里规定用户步骤的顺序。该方法的其它步骤可以通过相应的用户输入启动。除此之外,可以让所有方法步骤自动执行。
依据本发明对规则进行访问,这些规则包括各操作步骤之间的依赖关系和/或其类别之间的依赖关系。在此,如何对规则进行访问可以存在多种可能性:
例如,可以在对基于知识的系统访问的条件下自动产生规则。基于知识的系统是指在设备的通常应用中对操作步骤的确定顺序进行过滤,将其提取出并产生这样确定的工作流程。这些工作流程可以利用优先权标明,使得根据其在现场上实际执行的可能性划分流程。规则的定义在该实施方式中自动进行并通过设备的通常应用触发。
在一种更简单且成本更低的实施方式中,规则从外部源或者通过专门设计的用户接口通过用户输入而被读入。利用这种特征可以使所产生的测试脚本按照仪器专用设计,例如只能选择该仪器特定的操作可能性,而所采集的操作脚本专用于应用,特别是可以根据设备在现场的实际应用确定。
依据本发明方法的另一种灵活配合的可能性在于,规则也可以仅用于执行测试而被采集和/或改变。因此,测试工程师可以影响测试的进一步执行。他因此可以改变规则的数量并因此修改测试范围。此外,他可以从内容上修改规则,使得例如各操作步骤不再按照随机原则进行组合,而是按照基于概率数据的可预先规定的规则进行组合。然后,从原则上可能的操作步骤的类别中选择在设备的通常操作中最可能选择的操作步骤。
为了使得测试工程师可以得到依据本发明方法和所产生的测试脚本的概况,显示所形成的类别、规则和/或所产生的测试脚本以及需要时所配置的参数。因此,上述参数及其作用的改变也很容易理解。
在优选的实施方式中,依据本发明所产生的测试脚本并不局限于确定类型的测试上。作为对设备正常情况操作(也就是无错误操作)的附加或者替换,也可以测试设备的非正常情况操作(就此出现错误激发)。所产生的测试脚本因此包括至少一个设备的正常情况操作和非正常情况操作。因此可以优选地提高依据本发明方法的应用可能性。在本发明一种替换的更加简单的实施方式中,测试脚本仅限定在上述两种操作类型上。
一般情况下如下产生测试脚本:在设备的工作流程内部或操作流程内部的每个时间点上,检查原则上在该时间点上可以执行哪些操作步骤。这种检查大多在每个操作步骤之后进行。然后从原则上可执行的大量操作步骤中选择至少一个操作步骤,然后将其作为下一个步骤引入到所要产生的测试脚本中。关于从原则上可执行的大量操作步骤中选择某操作步骤的可能性,依据本发明具有多种选择:
1.随机的机制:操作步骤根据随机原则从可能的和可执行的大量操作步骤中选择。它的优点是,无需附加的知识并可以设置所有操作路径(在表示设备操作可能性的假想的操作树的内部)至少一次和/或同时频繁进行。利用随机的机制可以拓宽测试覆盖面。
2.基于概率的机制:在这种机制中,从原则上可能的大量操作步骤中根据其概率在测试脚本中选择也在现场由使用者选择的操作步骤。在此,开始时执行最可能执行的操作步骤(并因此也许是最重要的操作步骤)。然后测试在该时间点上由设备的操作人员选择的具有更小概率的操作步骤。因此,在这里可以为操作步骤顺序定义确定的概率。在这里例如可以定义技术设备通常通过具有92%概率的操作步骤顺序A、B、C至F进行操作,而操作步骤以具有3%概率的不同顺序C、B、A、D、...F执行等等。在此,在产生测试脚本时可以说明,应该将具有最大概率由使用者启动的操作步骤用于产生测试脚本。在上述举例中因此先测试工作流程A、B、C至F。
在一种可替换的实施方式中,根据通过基于知识的系统产生的规则进行选择。或者,也可以借助于用户接口进行选择,通过该接口用户从大量菜单式列表量中选择各自的操作步骤。因此,该测试脚本可由测试工程师适应性地与各自的应用情况相匹配。
此外,本发明的技术问题还是通过一种用于测试的设备、特别是可由不同人员按照不同方式操作的医疗技术设备的装置得以解决的,包括:
-至少一个采集单元,用于采集大量测试脚本和/或其操作步骤,
-至少一个分解单元,用于将分别一个操作脚本按操作步骤的顺序分解,
-至少一个分配单元,用于将各操作步骤按类别分类,
-至少一个其中存放规则的规则库,规则包括各操作步骤之间和/或其类别之间的依赖关系,以及
-至少一个产生单元,用于在由分解单元产生的操作步骤和/或由分配单元产生的类别和/或规则库的规则基础上动态产生至少一个测试脚本。
在该优选的实施方式中,依据本发明的测试装置包括播放器模块,用于自动执行所产生的测试脚本并因此作为执行单元使用。
上述与依据本发明的方法相关的表述相应地也在依据本发明的装置上使用。
该方法的上述的、依据本发明的实施方式也可以作为带有对应的程序代码装置的计算机程序产品构成,其可加载在与所要测试的医疗技术装置连接的或者与该设备一体化可编程的计算机装置的存储器内,如果程序代码通过计算机装置的处理器执行的话,该计算机装置被构造来执行上述依据本发明的方法。该计算机程序产品特别是也可以存储介质的方式构成,其上面由计算机装置可读地存放用于执行上述计算机执行该方法的程序代码装置。
此外,上述方法的各组成部分可以在市场有售的单元内和其余组成部分可以在其它市场有售的单元内(因此作为分布式系统)构成。
上述方法的组成部分既可以已经集成在市场有售的单元内,但也可以作为独立的产品事后一体化。
附图说明
在下面详细介绍的附图说明中,借助附图对不受限制的实施例及其特征和其它优点进行说明。其中:
图1示出依据本发明优选实施方式操作步骤的输入/输出依赖关系概况图;
图2示出依据本发明产生的、包括工作流程1至3的测试脚本的概况图;
图3示出在规则基础上自动和动态产生的测试脚本举例的概况图;
图4示出在产生测试脚本时随机变化操作步骤选择的概况图;
图5示出在考虑随机变化操作步骤选择下的流程图;
图6示出使用依据本发明的装置的概况图;
图7示出依据本发明一种优选实施方式本发明装置的单元的概况图。
具体实施方式
下面所介绍的实施例涉及医疗技术设备A,如核自旋断层造影仪、计算机断层造影仪、X射线设备或者临床范围中使用的其它医疗产品以及任意类型的医疗技术、计算机辅助仪器或者手持装置。但在本发明的范围内,基本原理也在其它技术领域(例如制造技术等)的设备和/或仪器上使用。本发明整体上可以用于所有具有高度技术复杂性并因此操作高度变化的计算机控制系统。
一般情况下,设备A是一种相当复杂的设备。检测这种设备A是否有缺陷的测试方法最好在尽可能现实的条件下执行。因此,依据本发明将设备A的临床上重要的应用情况在产生测试脚本时应用。
此外,在这种关联上还考虑设备A一般情况下由不同的人员按照不同的方式操作。所有这些不同的操作方式在进行测试时均应予以考虑。这一点依据本发明通过采集大量的操作脚本得以实现。操作脚本是一种设备A实际临床应用或操作的工作流程。一般情况下,对医疗技术产品A来说存在多种操作的可能性并因此大量的这种工作流程。工作流的特征在于该产品上操作步骤的顺序。在工作流程的某个时间点上,存在选择下个操作步骤的多种可能性。在操作工作流内部的该时间点上从大量原则上可能的操作步骤中选择一个操作步骤,可以依据本发明按照不同的机制进行。
一般情况下在这里对定义各操作步骤之间依赖关系的预先定义的规则进行访问。但也可以将外部应用程序、工具或者通过用户接口的输入相互关联。
图1概况式示出工作流程步骤或操作步骤的输入/输出的依赖关系。输入值包括设备A的系统状态、(操作步骤)可能的过程、可能的下个过程和执行条件。在执行下一个操作步骤时应注意边缘条件,例如像必须遵守指令顺序,使得可以执行或者不执行该位置上的步骤。这些边缘条件一般地可以被存放。
设备A通过例如像医疗技术助理或者医生这些得到授权人员的操作,通过自动化工具、外部专用应用程序、系统内的电报被触发和分析。工作流程步骤一般情况下由设备A的指令组成,并且可以包括例如点击界面上的按键或者接通系统。
在执行各自的操作步骤之后的输出包括系统状态(一般情况下与执行各自操作步骤之前的初始系统状态有所不同)、产品动作,也就是在执行操作步骤之后设备A的状态,可能的下个过程和错误记录。原则上设备A在执行一个步骤之后处于一种必须被分析和记录的新状态。必须决定哪些后续动作是有意义的。
取决于所要测试的设备类型或复杂程度,原则上存在两种可能性:
1.如果是一种具有比较少的工作流程步骤的设备A,那么有意义的是所谓间歇式进行测试:测试从每个各工作流程步骤到工作流程步骤进行,其中,在执行一个步骤之后选择可能的后续动作。
2.在包括大量工作流程步骤的复杂设备A上,有意义的是在进行测试之前确定一个包括大量各工作流程步骤的工作流程,以便将测试作为总的分组(也就是直到最后执行工作流程内部的最后工作流步骤)进行。
在上述两种测试脚本中,按照不同的机制(例如基于概率的机制或按照随机原则的随机的机制)从大量原则上可能的工作流程步骤中选择工作流程步骤。
图2示出依据本发明的工作流程产生器的概况图,在该例子中具有三个工作流程。如图2所示,这三个工作流程包括不同数量的操作步骤并部分由时间上连续顺序执行的不同操作步骤组成。
因为仪器或设备A上存在不同的使用者,所以其操作有所不同。这一点造成根据使用者特征也存在不同的工作流程。如图3所示,工作流内部的操作步骤选择并非是随意的,而是通常按照可预先确定的规则进行的。图3中向下的箭头表示这种规则。例如,在可以停止放射前,开始时必须始终接通系统。同样,“放射”前必须始终完成‘患者登记’。通过对规则的访问可以将测试范围限定在临床重要的应用条件上。在一种替换的实施方式中,可以不对这种规则进行访问,而是按照其它机制、特别是在对随机发生器的访问的条件下下选择各操作步骤。在此,不允许的或不可能的步骤顺序可以通过概率“0”表示。如果现在通过随机选择没有遵守操作步骤必要的顺序,那么可以对设备A按照非正常情况操作进行测试。现在可以检查设备A在错误操作(例如在未遵守操作步骤时间顺序)的情况下是否也能伴随对应的错误提示而正确结束。
图4举例示出可以提高测试范围的情况,方法是这种测试脚本可以自动产生,其中,各操作步骤采用随机变化的机制选择。‘步骤1’、‘步骤2’和‘步骤3’表示在使用所要测试的医疗技术产品A时工作流程时间上连续进行的操作步骤。各自的功能表示执行操作步骤期间可能的操作者动作。取决于选择各自作为下个所要执行的功能,为各自的测试脚本产生不同的路径。从大量原则上可能的操作步骤中选择可能的操作步骤或功能例如可以通过随机数和/或基于概率进行。在图4所示的例子中示出三个步骤:‘步骤1’、‘步骤2’和‘步骤3’。这些步骤对应于操作步骤的类别或者组。在步骤1或类别1中,原则上可以执行功能1和功能2,而在类别2中和类别3中则可以分别执行功能3至6和功能7至10。这些功能对应于操作步骤。在步骤y中执行功能x后,一般情况下可以在步骤y+1中执行多个功能。为此选择哪些功能,在该例子中以随机路径选择为基础,特别是在对随机发生器访问的条件下进行。图4中各功能之间的点线连接表示各自的正常情况操作条件,而各功能之间的虚线连接则表示可能的错误激发。在该优选的实施方式中,测试工程师通过适当的用户界面影响这种选择机制并因此根据专用的应用情况设置测试并因此也可以改变测试范围。
图5以流程图的方式举例示出执行可能的测试脚本。启动之后一般情况下存在选择下个操作步骤的多种可能性(Ai或Bi或者Ci)。图5中所示的流程仅为可能的测试脚本的一部分并在一般情况下被记录下来。因此,测试脚本的特征和配置及其执行可以被采集和储存,并在需要时在以后的时间点上用于继续分析或者为执行可经常调整。
图6示出通过设备A的实际应用采集操作脚本与通过执行至少一个测试脚本测试设备A之间的相互配合。图6的左侧示出设备A′的实际操作,而图右侧示出测试设备A。记录装置R或“记录器模块”R记录设备A′的实际应用或操作。记录器模块在该优选的实施方式中为标准化的软件或者硬件模块,它装备在其它复杂系统中并因此可供大量的医疗技术产品使用。记录器模块R记录医疗技术设备A′的应用(例如调用各功能、设备的操作等)并将这样所采集的涉及操作脚本的数据存放在记录文件PD内。记录文件PD输送到分析数据库D。在对数据库D进行访问的另一模块内,依据本发明自动和动态产生测试脚本并输送到“播放器”P或播放器模块P。播放器P连接在设备A上或分配给该设备并从数据库D接收自动产生的测试脚本。播放器模块P自动转换测试脚本并对应于在现场中的临床应用控制或操作医疗产品A。
根据测试脚本的配置并根据规则的设计,设备A按照不同的方法和方式被操作。通常预先配置这样产生测试脚本,使其对应于实际应用中最频繁的使用。这一点优选通过测试脚本内部不同执行路经上的概率分配进行。它的优点是,依据本发明的方法与设备A′的使用人员无关并且也与各自的使用领域无关。其它优点在于测试脚本自动传送或传递到播放器模块和测试脚本通过播放器模块的自动化过程。因此,可以避免由于错误操作测试方法产生的错误。如图6示意示出的那样,依据本发明从实际操作脚本向通过播放器模块P执行的自动和动态产生的测试脚本转换。记录器模块R用于采集大量的操作脚本并存放在记录文件PD内。该方法的其它步骤,即将所采集的操作脚本按各操作步骤分解、各操作步骤按类别分类和对规则的访问以及测试脚本的动态产生,通常在对分析数据库D的访问下并通过播放器模块P进行。此外,播放器模块P用于执行所产生的测试脚本。通过记录器模块R可以自动和有计划地采集设备A′临床重要的应用,然后将其转换成测试脚本。
图7示出依据本发明装置的主要单元及其功能上的相互配合。采集单元10基本对应于记录器模块并用于采集操作脚本。将操作脚本输送到分解单元12,它分别将所采集的操作脚本按操作步骤或工作流步骤的顺序分解。在分配单元14中,各操作步骤按类别分组。通常对其中存放规则的规则库16进行访问,规则包括各操作步骤之间和/或其类别之间的依赖关系。从分解单元12的各操作步骤中和通常在对规则库16的规则访问的条件下自动和动态产生测试脚本。这一点在产生单元18内进行。或者,测试脚本也可以在对规则库16访问和对分配单元14访问的条件下产生。
依据本发明解决方案的主要优点之一在于可以提高灵活性,因为该方法适应地与不同的应用脚本相匹配并可以设计大量不同的测试脚本,方法是在产生测试脚本时对使各自所产生的工作流程与设备A的各自应用专门匹配的规则进行访问。在此,可以自动地为测试考虑大量的影响参数,即必须遵守的操作步骤的顺序、操作步骤的可能过程和下个过程的选择、必须连续完成的操作步骤、用于执行操作步骤所需的特定环境条件、预先确定的系统动作等等。在该优选的实施方式中,记录器R和播放器P作为各自单独的模块集成在相关的设备A′、A中。或者,可以将记录器R和播放器P各自作为单独的模块通过数据连接与相关的设备A′、A连接并且作为外部单元提供。它的优点是,单独的模块P、R也可以用于其它设备A的测试。在该优选的实施方式中,记录文件通过适当的介质,特别是通过“Rdiag/Rwatch(R诊断/R监测)”方法传递到分析数据库D,特别是医疗应用数据库。如图6所示,各自产生的测试脚本转录到播放器P上,以便能够让测试自动播放。在此,播放器P不管是在综合测试和系统测试内部还是在制造测试内部使用无关紧要。使用分析数据库D的优点在于,为测试采集的应用习惯、特别是还有应用条件统计上的分析也可以用于以后的测试或者用于其它的分析方法。
最后需要指出的是,本发明的说明书和实施例原则上并不局限于本发明特定的物理实现上。对于本领域技术人员来说特别显而易见的是,本发明作为多机种系统,可以部分或者完全在软件和/或硬件和/或分布在多种物理产品上实现,在此,特别是也可以作为计算机程序产品实现。
Claims (12)
1.一种用于测试可由不同人员按照不同方式操作的医疗技术设备的方法,具有以下方法步骤:
-借助于接口和/或设置在临床运行中有效的待测试的设备类型的医疗技术设备上的记录装置采集大量的操作脚本,其中,所述记录装置采集和记录大量实际操作脚本,而所述接口用于读入操作脚本,
-分别将操作脚本按操作步骤的顺序分解,
-对各操作步骤按类别分类,
-访问包括各操作步骤之间和/或其类别之间依赖关系的规则,
-在操作步骤和/或其类别和/或规则的基础上动态地产生至少一个测试脚本。
2.按权利要求1所述的方法,其特征在于,所述依赖关系包括逻辑上和/或时间上的依赖关系。
3.按权利要求1所述的方法,其特征在于,在产生测试脚本后自动执行该测试脚本。
4.按权利要求1至3中任意一项所述的方法,其特征在于,通过在一个附加的方法步骤中采集至少一个参数,而可以配置所产生的测试脚本的特征。
5.按权利要求1至3中任意一项所述的方法,其特征在于,通过将规则从操作脚本中、从操作步骤和/或其类别中导出,来对规则进行访问。
6.按权利要求1至3中任意一项所述的方法,其特征在于,通过将规则从外部源中或者通过为此目的专门定义的用户接口读入,来对规则进行访问。
7.按权利要求1至3中任意一项所述的方法,其特征在于,所述操作脚本是针对应用的和/或所产生的测试脚本是针对仪器的。
8.按权利要求1至3中任意一项所述的方法,其特征在于,规则可以在时间上在前的方法步骤中或者为了执行测试而被采集和/或改变。
9.按权利要求1至3中任意一项所述的方法,其特征在于,该方法包括以下方法步骤:
-显示类别、规则和/或所产生的测试脚本。
10.按权利要求1至3中任意一项所述的方法,其特征在于,所产生的测试脚本包括至少一个正常情况操作和/或至少一个非正常情况操作。
11.按权利要求1至3中任意一项所述的方法,其特征在于,通过根据基于随机的机制和/或根据基于概率的机制从在该时间点上原则上可执行的大量操作步骤中分别选择一个操作步骤,来产生测试脚本。
12.一种用于测试可由不同人员按照不同方式操作的医疗技术设备的装置,其特征在于:
-至少一个采集单元(10),用于采集大量的测试脚本,其中,所述采集单元(10)包括记录装置和/或接口,该记录装置用于在临床运行中有效的待测试的设备类型的医疗技术设备上采集和记录大量实际操作脚本,并且所述接口用于读入操作脚本,
-至少一个分解单元(12),用于分别将操作脚本按操作步骤的顺序进行分解,
-至少一个分配单元(14),用于将各操作步骤按类别分类,
-至少一个其中存放规则的规则库(16),规则包括各操作步骤之间和/或其类别之间的依赖关系,以及
-至少一个产生单元(18),用于在由分解单元(12)产生的操作步骤和/或由分配单元(14)产生的类别和/或在规则库(16)的规则的基础上动态地产生至少一个测试脚本。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102005036321.0 | 2005-07-29 | ||
DE102005036321A DE102005036321A1 (de) | 2005-07-29 | 2005-07-29 | Verfahren und Vorrichtung zum dynamischen Generieren von Testszenarien für komplexe rechnergesteuerte Systeme, z.B. für medizintechnische Anlagen |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1928880A CN1928880A (zh) | 2007-03-14 |
CN1928880B true CN1928880B (zh) | 2012-10-31 |
Family
ID=37650408
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200610151326XA Expired - Fee Related CN1928880B (zh) | 2005-07-29 | 2006-07-31 | 用于动态产生复杂计算机辅助系统测试脚本的方法和装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7870432B2 (zh) |
JP (1) | JP2007042094A (zh) |
CN (1) | CN1928880B (zh) |
DE (1) | DE102005036321A1 (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008186294A (ja) * | 2007-01-30 | 2008-08-14 | Toshiba Corp | ソフトウェア更新装置及びソフトウェア更新システム |
JP4941040B2 (ja) * | 2007-03-26 | 2012-05-30 | 富士通株式会社 | テスト仕様書生成プログラム、およびテスト仕様書生成装置 |
US9833277B2 (en) | 2009-04-27 | 2017-12-05 | Nxthera, Inc. | Systems and methods for prostate treatment |
US8732663B2 (en) * | 2010-02-24 | 2014-05-20 | Salesforce.Com, Inc. | System, method and computer program product for providing automated testing by utilizing a preconfigured point of entry in a test or by converting a test to a predefined format |
US20130261403A1 (en) * | 2012-03-29 | 2013-10-03 | General Electric Company | System and Method of Managing Technician Review of Medical Test Data |
US9600792B2 (en) * | 2013-04-11 | 2017-03-21 | Siemens Aktiengesellschaft | Method and apparatus for generating an engineering workflow |
US20150169433A1 (en) * | 2013-12-12 | 2015-06-18 | Rafi Bryl | Automated Generation of Semantically Correct Test Data for Application Development |
CN105320589B (zh) * | 2014-07-14 | 2017-12-22 | 上海计算机软件技术开发中心 | 云测试环境中测试脚本自动解析系统及其实现方法 |
JP6471479B2 (ja) * | 2014-12-03 | 2019-02-20 | 富士通株式会社 | テストパターン作成プログラム、テストパターン作成方法及びテストパターン作成装置 |
CN105758648B (zh) * | 2014-12-19 | 2018-08-28 | 北京宝沃汽车有限公司 | 车辆性能的测试方法和装置 |
CN106871501A (zh) * | 2015-12-10 | 2017-06-20 | 开利公司 | 一种经济器及具有其的制冷系统 |
US11532391B2 (en) | 2017-10-05 | 2022-12-20 | Koninklijke Philips N.V. | System and a method for improving reliability of medical imaging devices |
JP6438612B1 (ja) * | 2018-03-20 | 2018-12-19 | 株式会社Cygames | ゲームプログラムを検査するためのシステム、方法、プログラム、機械学習支援装置、及びデータ構造 |
DE102020001561A1 (de) * | 2020-03-10 | 2021-09-16 | Drägerwerk AG & Co. KGaA | Medizingeräteanordnung mit einem Prüfmodul |
US12013776B2 (en) | 2020-04-03 | 2024-06-18 | International Business Machines Corporation | Intelligent application scenario testing and error detection |
CN116050136B (zh) * | 2023-01-28 | 2023-07-21 | 中国船级社 | 一种智能船舶测试场景库的生成方法、装置及设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5754760A (en) * | 1996-05-30 | 1998-05-19 | Integrity Qa Software, Inc. | Automatic software testing tool |
CN1499374A (zh) * | 2002-11-04 | 2004-05-26 | 华为技术有限公司 | 一种单元测试自动化方法 |
CN1635497A (zh) * | 2003-12-30 | 2005-07-06 | 英业达股份有限公司 | 基于硬件级的测试脚本自动生成系统及方法 |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IL94115A (en) * | 1990-04-18 | 1996-06-18 | Ibm Israel | Dynamic process for creating pseudo-random test templates for pompous hardware design violence |
US5303146A (en) * | 1993-03-11 | 1994-04-12 | Borland International, Inc. | System and methods for improved scenario management in an electronic spreadsheet |
US6279124B1 (en) * | 1996-06-17 | 2001-08-21 | Qwest Communications International Inc. | Method and system for testing hardware and/or software applications |
US5870539A (en) * | 1996-07-01 | 1999-02-09 | Sun Microsystems, Inc. | Method for generalized windows application install testing for use with an automated test tool |
DE19635233A1 (de) * | 1996-08-30 | 1998-03-12 | Siemens Ag | Medizinische Einrichtung |
JP3395163B2 (ja) * | 1997-12-08 | 2003-04-07 | 沖電気工業株式会社 | 通信ソフトウェアの自動検証装置及び方法 |
JP3826604B2 (ja) * | 1998-10-16 | 2006-09-27 | 富士ゼロックス株式会社 | プレゼンテーション資料のシナリオ生成装置およびシナリオ生成方法 |
US6898564B1 (en) * | 2000-05-23 | 2005-05-24 | Microsoft Corporation | Load simulation tool for server resource capacity planning |
IL154585A0 (en) * | 2000-08-28 | 2003-09-17 | Verisity Ltd | Method for providing bitwise constraints for test generation |
US20030056173A1 (en) * | 2001-01-22 | 2003-03-20 | International Business Machines Corporation | Method, system, and program for dynamically generating input for a test automation facility for verifying web site operation |
US7085964B2 (en) * | 2001-02-20 | 2006-08-01 | International Business Machines Corporation | Dynamic test program generator for VLIW simulation |
US6785664B2 (en) * | 2001-06-21 | 2004-08-31 | Kevin Wade Jameson | Collection knowledge system |
US6993470B2 (en) * | 2001-06-26 | 2006-01-31 | International Business Machines Corporation | Method of evaluating test cases in a simulation environment by harvesting |
JP2003099285A (ja) * | 2001-09-25 | 2003-04-04 | Toshiba Corp | 機能競合に関するテストケース生成方法とその装置、そのためのプログラム |
US6907550B2 (en) * | 2002-02-28 | 2005-06-14 | Microsoft Corporation | Stochastic simulation of computer activity based on user categories |
US7174541B2 (en) * | 2002-06-28 | 2007-02-06 | Sap Aktiengesellschaft | Testing of applications |
DE10246097A1 (de) * | 2002-10-02 | 2004-04-15 | Siemens Ag | Verfahren zum Testen eines Softwaresystems für technische Anlagen |
US7007207B2 (en) * | 2002-10-21 | 2006-02-28 | International Business Machines Corporation | Scheduling of transactions in system-level test program generation |
DE10303720B4 (de) * | 2003-01-30 | 2004-12-09 | Siemens Ag | Testsystem für medizinische Anlagen |
DE10335321A1 (de) * | 2003-08-01 | 2005-03-03 | Siemens Ag | Betriebsverfahren für eine medizintechnische Anlage, insbesondere eine Röntgenanlage |
US20050033977A1 (en) * | 2003-08-06 | 2005-02-10 | Victor Zurita | Method for validating a system |
US7293257B2 (en) * | 2003-10-14 | 2007-11-06 | Microsoft Corporation | Method and system for efficient testing of sequences of computer-related operations |
US7007251B2 (en) * | 2003-11-12 | 2006-02-28 | International Business Machines Corporation | Database mining system and method for coverage analysis of functional verification of integrated circuit designs |
US7237210B2 (en) * | 2005-02-08 | 2007-06-26 | International Business Machines Corporation | Methods, systems and media for managing functional verification of a parameterizable design |
US20060277209A1 (en) * | 2005-06-06 | 2006-12-07 | Javaground Usa, Inc. | Efficient and automatic software application development system for wireless devices |
US8401221B2 (en) * | 2005-06-10 | 2013-03-19 | Intel Corporation | Cognitive control framework for automatic control of application programs exposure a graphical user interface |
WO2007055612A1 (en) * | 2005-11-11 | 2007-05-18 | Intel Corporation | Graphical user interface (gui) noise reduction in a cognitive control framework |
US7496820B1 (en) * | 2006-03-07 | 2009-02-24 | Xilinx, Inc. | Method and apparatus for generating test vectors for an integrated circuit under test |
US20070214391A1 (en) * | 2006-03-10 | 2007-09-13 | International Business Machines Corporation | Method and apparatus for testing software |
-
2005
- 2005-07-29 DE DE102005036321A patent/DE102005036321A1/de not_active Ceased
-
2006
- 2006-07-25 US US11/492,426 patent/US7870432B2/en not_active Expired - Fee Related
- 2006-07-27 JP JP2006204652A patent/JP2007042094A/ja not_active Withdrawn
- 2006-07-31 CN CN200610151326XA patent/CN1928880B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5754760A (en) * | 1996-05-30 | 1998-05-19 | Integrity Qa Software, Inc. | Automatic software testing tool |
CN1499374A (zh) * | 2002-11-04 | 2004-05-26 | 华为技术有限公司 | 一种单元测试自动化方法 |
CN1635497A (zh) * | 2003-12-30 | 2005-07-06 | 英业达股份有限公司 | 基于硬件级的测试脚本自动生成系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
US20070038039A1 (en) | 2007-02-15 |
JP2007042094A (ja) | 2007-02-15 |
CN1928880A (zh) | 2007-03-14 |
US7870432B2 (en) | 2011-01-11 |
DE102005036321A1 (de) | 2007-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1928880B (zh) | 用于动态产生复杂计算机辅助系统测试脚本的方法和装置 | |
EP1480096B1 (en) | Field device maintenance tool with enhanced scripts | |
DE68920462T2 (de) | On-line-Problemverwaltung für Datenverarbeitungssysteme. | |
CN109791808B (zh) | 远程数据分析和诊断 | |
Kang et al. | Development of a Bayesian belief network model for software reliability quantification of digital protection systems in nuclear power plants | |
CN101676880A (zh) | 临床诊断分析仪中的冗余错误检测 | |
CN113051181A (zh) | 确定增量测试覆盖信息的方法、装置、设备和存储介质 | |
Azeem et al. | Specification of e-Health system using Z: A motivation to formal methods | |
CN107423219B (zh) | 一种基于静态分析的软件故障预测技术的构建方法 | |
US7698245B2 (en) | Applying rules to validating data for a machine arrangement | |
Vierhauser et al. | Evolving systems of systems: Industrial challenges and research perspectives | |
US20220414613A1 (en) | Remote monitoring, troubleshooting and service scheduling of analytical apparatuses | |
US7222260B2 (en) | Test system for medical systems | |
WO1992009034A1 (en) | Method for analysis and prediction of a software program development process | |
Podgurski | Evidence-based validation and improvement of electronic health record systems | |
Umair et al. | Comparative Study of Medical Claim Scrubber And A Rule Based System | |
Kelly | Incorporating process mining into human reliability analysis | |
Vanderveken et al. | Deriving architectural descriptions from goal-oriented requirements models | |
Fletcher et al. | The DH Accident and Emergency Department Model: A National Generic Model Used Locally | |
O’Hara et al. | Human Performance and Plant Safety Performance: Establishing a Technical Basis and Framework for Evaluating New Human–System Interfaces | |
Huber | Qualification and validation of software and computer systems in laboratories: Part 4. Evaluation and validation of existing systems | |
Huber | Qualification and validation of software and computer systems in laboratories | |
Soner et al. | Metrics calculation for deployment process | |
CR et al. | Exploring the Psychometrics of Common Post-Scenario Human Factors Questionnaires of Workload, Situation Awareness, and Perceived Difficulty | |
Board | Standard glossary of terms used in Software Testing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20121031 Termination date: 20150731 |
|
EXPY | Termination of patent right or utility model |