CN104956339A - 从视频生成软件测试脚本 - Google Patents

Abstract

公开了用于从视频生成软件测试脚本的方法和装置。在此公开的示例性方法包括确定视频的帧中的用户动作，该视频包括记录的软件的测试。示例性方法还包括识别与用户动作相对应的动作参数。示例性方法还包括基于动作参数在没有用户干预的情况下生成脚本，以在软件上执行。

Description

从视频生成软件测试脚本

背景技术

执行软件测试来校验软件是否如应该那样执行。软件测试的过程包括检测软件中的问题，调试软件并校验问题已确定。软件中不希望的问题导致软件的异常行为。例如，表现出异常行为的购物应用可能在通过购物应用试图进行购买时在购物车中显示不正确的商品。

附图说明

图1图示根据本公开教导实施的示例性脚本生成系统。

图2是具有图1的脚本生成系统以对软件进行测试的示例性软件测试环境。

图3图示可由图1和图2的示例性脚本生成系统生成的测试脚本的示例性部分。

图4是图1和图2的示例性脚本生成系统的详图。

图5是可执行以生成测试脚本的示例性机器可读指令的流程示意图。

图6是可执行以确定用户动作的示例性机器可读指令的流程示意图。

图7是可执行以识别输入参数的示例性机器可读指令的流程示意图。

图8是能够执行图5、6和/或7的示例性机器可读指令以实施图1、2和/或4的示例性脚本生成系统的示例性处理平台的框图。

具体实施方式

软件测试包括检测软件中导致软件行为异常的问题。基于该测试，可对软件进行调试来消除该问题。通常，检测软件中的问题和对软件进行调试作为两个分离的步骤完成。质量保证工程师通过运行软件(或应用或应用程序)并对运行软件执行一个或多个用户动作而对软件进行测试。质量保证工程师发现或检测到问题之后，软件开发人员试图在调试过程中重新创建该问题。软件开发人员是编写软件、调试软件和通过重写软件校正问题的人员。在人工调试过程中，软件开发人员识别导致问题发现的用户动作，并重复用户动作来重新创建该问题。在自动调试过程中，用户模拟程序运行测试脚本(其可能已由软件开发人员人工创建)来模拟先前导致问题发现的用户动作，从而试图重新创建该问题。在任一情况下，跳过、遗漏或部分执行一个或多个操作或用户动作可能导致不能够重新创建问题。

通过记录(例如，视频记录)软件的显示屏和/或当质量保证工程师测试软件时记录质量保证工程师，一些现有软件测试技术记录了在软件测试过程期间执行的用户输入操作的次序或顺序。软件开发人员然后能够观看到视频并识别由质量保证工程师执行的导致异常软件行为的操作或用户动作。在一些情况下，软件开发人员然后可以针对将由用户模拟程序在被测软件上运行的各步骤编写测试脚本，以便重新创建任意所发现的问题。也就是，软件开发人员观看视频，然后写下由质量保证工程师执行的用户动作，并利用所写下的用户动作执行人工调试或人工生成测试脚本，以便重现所发现的问题。不同于现有系统，在此公开的示例能够根据被测软件的视频记录自动生成测试脚本。也就是，在没有用户干预的情况下(例如，软件开发人员无需观看视频并记录在软件测试期间执行的用户动作)生成测试脚本。

在一些现有系统中，软件开发人员将截屏(例如，视频帧)或截屏的一部分(例如，按钮)、用户动作(例如，鼠标点击)和相应的动作参数(例如，鼠标点击的坐标)人工提供给图像识别软件，该识别软件生成能够由用户模拟程序执行的脚本，以便例如重新创建或模拟用户动作。在一些现有系统中，软件开发人员利用对象识别软件来生成能够由用户模拟程序执行的测试脚本。然而，在这样的现有系统中，软件开发人员观看软件测试视频记录，以便人工识别相关截屏、用户动作和动作参数，并将识别的信息人工提供给图像识别软件。不同于现有系统，在此公开的示例能够实现在没有用户干预的情况下从视频记录识别信息以供图像识别软件使用来生成测试脚本，并同样在没有用户干预的情况下将该信息提供给图像识别软件。

图1图示示例性脚本生成系统100，系统100包括示例性视频扫描仪102和示例性脚本生成器104。在所图示的示例中，视频扫描仪102与脚本生成器104通信。例如，视频扫描仪102可以通过例如数据总线、局域网(LAN)、无线网等经由例如有线或无线通信与脚本生成器104通信。如在此使用的，包括其变体的措辞“通信”包括通过一个或多个中间元件的直接通信和/或间接通信。在一些示例中，脚本生成器104在视频扫描仪102本地和/或集成在视频扫描仪102中。

在所图示的示例中，视频扫描仪102识别被测软件的视频记录(例如，软件测试视频)中的信息，并且将该信息提供给脚本生成器104以便在没有人工干预的情况下自动生成测试脚本。在所图示的示例中，被测软件的视频记录由质量保证工程师生成，并且质量保证工程师在被测软件中检测到问题之后将视频记录提供给软件开发人员。在一些示例中，示例性视频扫描仪102分析软件测试视频以指示用户动作，例如表示由用户(例如，质量保证工程师)执行的动作的视觉指示器。例如，视频扫描仪102可以自动识别软件测试视频中的与用户动作(例如鼠标点击)对应的视觉指示器。示例性视觉指示器可以是在受制于用户动作的图像对象上或其周围的例如光、圆形、方形或其他形状或标记。示例性用户动作包括例如鼠标动作(例如，按下鼠标、释放鼠标、移动鼠标、拖动鼠标等)、截屏动作、键盘事件等。

在此公开的示例中，软件测试视频中具有与用户动作对应的视觉指示器的视频帧被称为标记帧。在所图示的示例中，视频扫描仪102从软件测试视频中捕获标记帧，然后捕获不包括视觉指示器的非标记帧。在一些示例中，视频扫描仪102捕获一部分非标记帧和/或在非标记帧中显示的对象。在所图示的示例中，非标记帧表示执行用户动作之前的被测软件的用户界面，该用户动作在标记帧中利用视觉指示器进行指示。非标记帧有益于在没有妨碍的情况下(例如，没有插入的视觉指示器)将被测软件的用户界面的视觉表示提供给用户模拟程序，使得用户模拟程序能够利用图像识别来识别对其执行特定用户动作的图形用户界面控制(例如，按钮、文本框等)。例如，在执行用户动作之后，视觉指示器覆盖在视频记录中被测软件的图形用户控制之上或上方，因此，用户模拟程序在运行被测软件的同时，可能不能将标记帧中感兴趣的用户界面控制(例如，对其执行用户动作的图形控制)与被测软件的图形用户界面控制进行匹配。在所图示的示例中，视频扫描仪102还从标记帧识别与用户动作(例如，鼠标点击的坐标)对应的相应动作参数。

在一些示例中，处理软件测试视频包括：视频扫描仪102取回并分析与软件测试视频相关联的元数据。在所图示的示例中，元数据包括描述用户动作的信息。例如，当执行用户动作时，生成例如帧引用、操作和操作参数的元数据。例如，操作参数可描述鼠标动作或键盘动作(例如，键入)。在一些示例中，键盘动作可以包括键盘输入、键释放、键按下、字符码(例如，ASCII码)等。在一些示例中，元数据可以嵌入在软件测试视频中。在所图示的示例中，视频扫描仪102以信息包将用户动作、用户动作参数和非标记帧和/或非标记帧的部分提供给脚本生成器104用于进一步处理。

在所图示的示例中，脚本生成器104基于视频扫描仪102所提供的信息包生成测试脚本(例如，可执行的代码或指令)。例如，脚本生成器104可以生成下述测试脚本，该测试脚本随后由用户模拟程序使用，以便在后续自动调试阶段运行被测软件的同时重新创建用户动作。在一些示例中，脚本生成器104利用诸如基于图像的自动化(IBA)技术之类的已知算法从信息包生成测试脚本。基于图像的自动化是利用显示器上对象的图像识别来执行用户动作的软件不可知(agnostic)技术。然而，利用其它算法生成测试脚本也是可以的。

图2是示例性软件测试环境200的图示，在环境200中，可实施在此公开的示例以对软件进行测试。图2的示例性软件测试环境200包括示例性软件测试系统201、图1的示例性脚本生成系统100和示例性用户模拟程序212。在所图示的示例中，软件测试系统201与脚本生成系统100通信，并且脚本生成系统100与用户模拟程序212通信。

在所图示的示例中，软件测试系统201用于对软件进行测试，并被提供有示例性软件测试机202和示例性视频记录仪204。在一些示例中，软件测试机202为具有输入(例如，鼠标、键盘、触觉界面等)和输出(例如，监视器)的工作站(例如，台式电脑、服务器、膝上型电脑等)。在一些示例中，软件测试机202由质量保证工程师操作以对软件进行测试。

在图2所图示的示例中，视频记录仪204记录被测软件的显示界面(例如，图形用户界面(GUI))的视频，以便在对软件进行测试的同时捕获由质量保证工程师执行的用户动作。在一些示例中，视频记录仪204是在对软件进行测试的同时作为软件测试机202的多任务后台进程和/或多任务前台进程运行的程序。在一些示例中，当质量保证工程师开始使用被测软件时，视频记录仪204开始记录用户动作。所图示的示例的视频记录仪204生成示例性软件测试视频206，以便在对软件进行测试的同时记录由质量保证工程师执行的用户动作。

在一些示例中，视频记录仪204将示例性视觉指示器232叠加或覆盖在软件测试视频206中捕获的被测软件的用户界面上，以指示在何时和/或何处对被测软件的用户界面执行用户动作。例如，当质量保证工程师执行鼠标点击时，视频记录仪204可以在屏幕上质量保证工程师执行鼠标点击的位置处叠加或覆盖彩色圆(例如，视觉指示器232)。在一些示例中，不同类型的视觉指示器对应于不同类型的用户动作。例如，单线红色圆可以表示单次左按钮鼠标点击，单线蓝色圆可以表示单次右按钮鼠标点击，双线红色圆可以表示两次左按钮鼠标点击，绿色“X”可以表示保持左鼠标按钮下降和拖动鼠标光标，红色“X”可以表示在拖动鼠标光标之后松开左鼠标按钮等。因而，示例性软件测试视频206包括具有视觉指示器232的标记帧220和不具有视觉指示器232的非标记帧222。标记帧220和非标记帧222可随后由脚本生成系统100使用，从而生成测试脚本。例如，当脚本生成系统100检测到软件测试视频206中的单线红色圆时，脚本生成系统100生成测试脚本，从而在被测软件的用户界面特征上执行由单线红色圆指示的单次左按钮鼠标点击。尽管在上文中某些示例性符号、形状和颜色被描述成实施所图示示例的一些视觉指示器232，但另外或可替代地，其他符号、形状或颜色可用于实施示例性视觉指示器232，从而表示不同类型的用户输入。所图示示例的视觉记录仪204可被配置为使用任何合适的技术叠加或覆盖不同类型的视觉指示器232，这些技术例如为视频记录仪204提供配置文件，从而将不同用户输入类型映射成不同的符号、形状和颜色(和/或其组合)。可基于包括用户偏好(例如，质量保证工程师和/或软件开发人员的偏好)、公司偏好(例如，公司开发软件的偏好)和/或行业标准(例如，针对质量保证过程所规定的行业所采用的标准)的任意合适的准则选择不同的符号、形状和颜色。

在一些示例中，视频记录仪204生成描述所执行的用户动作的元数据。例如，视频记录仪204可以生成元数据208，包括示例性帧标记引用元数据214、示例性操作元数据216和/或示例性操作参数元数据218。在一些示例中，视频记录仪204以诸如操作文档或列表的数据结构存储针对软件测试视频206而生成的元数据208。在一些示例中，视频记录仪204将元数据208嵌入到软件测试视频206中。元数据208对于观察者是可见的(例如，作为隐藏字幕文本、提供在屏幕上的代码或文本等)或者从观察者来看是不透明的(例如，在视频帧的场消隐期中或者以使元数据对于人觉察不到但可由机器解码的方式编码到视频帧中)。在图2所图示的示例中，帧引用元数据214描述或指定其间执行用户动作的帧在软件测试视频206中的位置。例如，帧引用元数据214可包括帧号和/或与软件测试视频206中的帧位置或时间位置对应的时间戳。在图2所图示的示例中，操作元数据216描述或指定用户输入动作(例如，鼠标动作、触屏动作或键盘动作)。在所图示的示例中，当视频记录仪204检测到用户动作时，视频记录仪204生成包括用户动作在屏幕上的位置或方位的操作参数元数据218。例如，当发生鼠标点击动作时，视频记录仪204可生成包括鼠标光标的坐标(x，y)的操作参数元数据218。在所图示的示例中，当视频记录仪204检测到键盘动作时，视频记录仪204生成包括用户的键盘输入(例如，文本字符或字符串)和/或屏幕上接收输入的方位的操作参数元数据218。

图2的示例性脚本生成系统100处理软件测试视频206和元数据208(如果提供)，并生成示例性测试脚本210。在所图示的示例中，用户模拟程序212在软件调试阶段运行示例性测试脚本210，以便重新创建例如由质量保证工程师利用软件测试系统201在软件测试阶段执行的一个或多个用户动作。在一些示例中，视频扫描仪102处理软件测试视频206和元数据208(如果提供)，并将包括描述在软件测试视频206中执行的用户动作的信息的示例性信息包224提供给脚本生成器104。如下文结合图4所述，示例性视频扫描仪102基于是否提供示例性元数据208以不同方式聚集被包括在示例性信息包224中的信息。不管信息在示例性信息包224中如何设置，信息包224包括示例性用户动作元数据226、示例性动作参数元数据228和非标记帧222。在所图示的示例中，用户动作元数据226指示用户执行的用户动作的类型。例如，用户动作元数据226可以包括识别诸如按下鼠标、释放鼠标、移动鼠标、拖动鼠标、键盘输入、释放键、按下键等的用户动作事件的信息。在所图示的示例中，动作参数元数据228包括与在用户动作元数据226中指定的用户动作有关的附加信息。例如，动作参数元数据228可以包括文本字符或字符串和/或被测软件的屏幕或图形用户界面上的用户动作(例如，鼠标点击、触屏式触摸事件等)的屏幕位置。

在所图示的示例中，脚本生成器104利用信息包224生成测试脚本210，测试脚本210随后由用户模拟程序212运行。在一些示例中，脚本生成器104从软件测试视频206捕获被测软件的用户界面特征的图像对象230，并在测试脚本210中提供图像对象230。在所图示的示例中，被捕获成图像对象230的用户界面特征为按钮、文本框、滚动控制、或受制于软件测试视频206中的用户动作的其他用户界面对象。在一些示例中，当视觉指示器(例如，视觉指示器232)被叠加或覆盖在图像对象230上时，用户模拟程序212可能不能够识别受制于用户动作的图像对象。因而，在一些示例中，脚本生成器104在执行用户动作(由用户动作元数据226供应)的屏幕方位(由动作参数元数据228供应)处从一部分非标记帧222检测图像对象230。例如，一部分非标记帧222可以是作为图像对象230的按钮，其位于发生鼠标点击所在的屏幕位置。在一些示例中，脚本生成器104将生成的测试脚本210编译成数据结构。可由脚本生成器104编译的示例性数据结构在下文中结合图3进行描述。在图2所图示的示例中，用户模拟程序212在先前利用软件测试系统201进行测试的相应软件上运行从脚本生成器104接收的测试脚本210。在所图示的示例中，用户模拟程序212运行测试脚本210，同时被测软件在执行用户模拟程序212的同一机器(例如，计算机)上运行，从而用户模拟程序212能够在被测软件上重新创建(例如，模拟)在测试脚本210中描述的用户动作。通过这种方式，用户模拟程序212能够重新创建被测软件中的异常行为，该异常行为由质量保证工程师在软件测试机202处执行相同用户动作时观测到。

所图示的示例的脚本生成系统100消除了对所涉及的软件开发人员或用以分析软件测试视频206并生成测试脚本210的干预的需求。也就是，脚本生成系统100能够在没有用户干预的情况下分析软件测试视频206并生成测试脚本210。在一些情况下，这有益于为软件开发人员提供更多的时间来专注于解决软件问题而非试图重新创建这些问题。

图3图示了可由图1和图2的示例性脚本生成器104生成并由图2的示例性用户模拟程序212运行的测试脚本302的示例性数据结构300。在所图示的示例中，测试脚本302包括示例性指令窗口描述符304、示例性指令对象描述符306和示例性指令事件描述符308。在所图示的示例中，指令窗口描述符304指定在执行用户动作时用户模拟程序212应关注于显示器的哪个窗口或面板。例如，当用户模拟程序212运行脚本310时，用户模拟程序212关注于窗口标题为“远程桌面连接(Remote Desktop Connection)”的应用程序，该应用程序可能对应于例如微软的远程桌面连接应用程序。在一些示例中，当用户模拟程序212运行脚本312时，用户模拟程序212关注于“远程桌面连接”窗口。

在所图示的示例中，用户模拟程序212基于指令对象描述符306运行指令事件描述符308。例如，当运行脚本310时，用户模拟程序212扫描与用于图像对象316的“远程桌面连接”用户界面对应的窗口，然后在被测软件的“远程桌面连接”用户界面中的图像对象316上“点击”。在所图示的示例中，包括在脚本310中的图像对象316是图2的示例性图像对象230。在所图示的示例中，当运行脚本312时，用户模拟程序212扫描“远程桌面连接”窗口，并在名称为“text(文本).”的文本框中输入文本字符串“edit(编辑)”。利用类似过程，图2的示例性用户模拟程序212执行图3的示例性数据结构3000的每个示例性脚本302，从而重新创建在软件测试阶段利用图2的软件测试系统201发现的软件问题。

图4是图1和图2的示例性脚本生成系统100的示例性实施方式的详图。在图4所图示的示例中，视频扫描仪102包括示例性外部接口402、示例性元数据分析器404、示例性视频分析器406、示例性帧抓取器408、示例性动作识别器410和示例性信息聚集器414。在所图示的示例中，视频扫描仪102还包括示例性存储装置412，以便存储软件测试视频206的至少一部分。在所图示的示例中，存储装置412存储来自软件测试视频206的一个或多个先前经过分析的帧。在所图示的示例中，视频扫描仪102例如经由一个或多个网络和/或局部通信接口与示例性脚本生成器104通信。

尽管在图4中图示了实施图1和图2的示例性脚本生成系统100的示例性方式，但图4中所图示的元件、过程和/或装置中的一个或多个可以组合、分开、重新布置、省略、排除和/或以其他任何方式实施。进一步，示例性视频扫描仪102、示例性脚本生成器104、示例性外部接口402、示例性元数据分析器404、示例性视频分析器406、示例性帧抓取器408、示例性动作识别器410、示例性存储装置412、示例性信息聚集器414、和/或更一般地图4中的示例性脚本生成系统100，可通过硬件、软件、固件和/或硬件、软件和/或固件的任意组合来实施。因而，例如，示例性视频扫描仪102、示例性脚本生成器104、示例性外部接口402、示例性元数据分析器404、示例性视频分析器406、示例性帧抓取器408、示例性动作识别器410、示例性存储装置412、示例性信息聚集器414、和/或更一般地图4中的示例性脚本生成系统100中的任一个，可通过一个或多个电路、可编程处理器、专用集成电路(ASIC)、可编程逻辑器件(PLC)和/或现场可编辑逻辑器件(FPLD)等实施。当本专利的装置权利要求或系统权利要求中的任一个被理解成涵盖纯软件和/或固件实施方式时，示例性视频扫描仪102、示例性脚本生成器104、示例性外部接口402、示例性元数据分析器404、示例性视频分析器406、示例性帧抓取器408、示例性动作识别器410、示例性存储装置412和/或示例性信息聚集器414中的至少一个因而在此被明确限定为包括有形的计算机可读存储装置或诸如存储器、DVD、CD、蓝光光碟等存储软件和/或固件的存储磁盘。更进一步，图4的示例性脚本生成系统100可以包括除了图4中所图示的那些之外或取代图4中所图示的那些的一个或多个元件、过程和/或装置，和/或可以包括任意或所有所图示的元件、过程和装置中的一个以上。

在图4所图示的示例中，视频扫描仪102被提供有外部接口402，以便与例如视频记录仪204(图2)交换通信。例如，外部接口402从视频记录仪204接收软件测试视频206(图2)，并将软件测试视频206提供给视频分析器406和/或存储装置412。在所图示的示例中，如果外部接口402从视频记录仪204接收与软件测试视频206相关联的元数据208(图2)，外部接口402将元数据208提供给元数据分析器404。

在图4所图示的示例中，元数据分析器404分析或解析从外部接口402接收的元数据208。在一些示例中，元数据208可以存储在诸如操作文档的数据结构中或者嵌入在软件测试视频206中。在一些这样的示例中，元数据分析器404可以按顺序分析存储在操作文档中的元数据208。如上文结合图2所述，由示例性视频记录仪204生成的示例性元数据208可以包括示例性帧引用元数据214、示例性操作元数据216和示例性操作参数元数据218。在所图示的示例中，元数据分析器404基于操作元数据216生成用户动作元数据226(图2)。图4的元数据分析器404还基于操作参数元数据218生成动作参数元数据228(图2)。

在图4所图示的示例中，视频分析器406分析从外部接口402接收的软件测试视频206，并识别软件测试视频206中包括视觉指示器(例如，图2的示例性视觉指示器232)的帧(例如，图2的示例性标记帧220)。在一些示例中，视频分析器406逐帧分析软件测试视频206。在所图示的示例中，视频分析器406将先前分析的帧缓存到存储装置412中。存储在存储装置412中的缓存帧的数量可以基于用户偏好或预定数量进行选择。在所图示的示例中，当标记帧(例如，标记帧220)被识别时，视频分析器406利用软件测试视频206中的标记帧220的帧位置生成帧引用。由视频分析器406生成的帧引用可以包括帧号和/或与软件测试视频206中帧位置或时间位置对应的时间戳。

在图4所图示的示例中，帧抓取器408利用从元数据分析器404接收的帧引用元数据214或从视频分析器406接收的帧引用来识别非标记帧(例如，图2的示例性非标记帧222)。例如，帧抓取器408从存储装置412检取回一帧，该帧是由帧引用元数据214指示的帧位置之前的n个帧位置。在所图示的示例中，数字n个帧位置可以基于用户偏好进行选择，基于历史值而获悉或者预先确定。在一些示例中，帧抓取器408扫描所取回的帧，以检查所取回的帧是否有包括在标记帧220中的已叠加或覆盖的视觉指示器232。在一些这样的示例中，当取回的帧具有视觉指示器232时，帧抓取器408可以从存储装置412取回第二帧，该第二帧是所取回的第一帧的帧位置之前的n个帧位置。在所图示的示例中，帧抓取器408连续从存储装置412取回帧，直到识别出非标记帧(例如，非标记帧222)。

为了识别出在标记帧(例如，标记帧220)中指示的用户动作，示例性视频扫描仪102被提供有动作识别器410。在所图示的示例中，动作识别器410从视频分析器406接收包括已叠加或覆盖的视觉指示器232的标记帧220。示例性动作识别器410利用已叠加或覆盖在标记帧220中的视觉指示器232识别用户动作。在所图示的示例中，动作识别器410将视觉指示器232与存储在存储装置412中的示例性参考图像416相比较。在所图示的示例中，参考图像416存储在查询表中，并将视觉指示器映射成相应的用户动作。例如，单线红色圆可以表示单次左按钮鼠标点击，单线蓝色圆可以表示单次右按钮鼠标点击，双线红色圆可以表示两次左按钮鼠标点击，绿色“X”可以表示保持左鼠标按钮按下和拖动鼠标光标，红色“X”可以表示在拖动鼠标光标之后松开左鼠标按钮等。然而，可附加地或可替代地使用用于确定哪些用户动作对应于不同的视觉指示器232的其他方法。在所图示的示例中，动作识别器410基于从参考图像416的分析而识别的用户动作来生成用户动作元数据226。在一些示例中，视觉指示器232(例如，单线彩色圆)的中心对应于用户动作的坐标(x，y)。在一些示例中，动作识别器410基于用户动作生成动作参数元数据228(例如，标记帧220中的视觉指示器232的屏幕位置或方位、文本字符或字符串等)。

在所图示的示例中，信息聚集器414将信息聚集到图2的信息包224中，以发送给脚本生成器104。例如，如果软件测试视频206具有相关联的元数据208，则信息聚集器414从元数据分析器404收集用户动作元数据226和动作参数元数据228并从帧抓取器408收集非标记帧222，并将用户动作元数据226、动作参数元数据228和非标记帧222存储在信息页224中。在一些其他示例中，信息聚集器414可从动作识别器410收集用户动作元数据226和动作参数元数据228并从帧抓取器408收集非标记帧222。

如上文结合图1和图2的示例性脚本生成系统100所述，图4的示例性脚本生成器104生成测试脚本210(图2)以在示例性用户模拟程序212(图2)中执行。例如，脚本生成器104可使用基于图像的自动化技术，以利用包括在信息包224中的信息生成测试脚本210。在一些示例中，脚本生成器104识别图像对象(例如，图2的示例性图像对象230和/或图3的示例性图像对象316)以包括在测试脚本210中。然而，可附加地或可替代地使用从包括在示例性信息包224中的信息生成测试脚本以供用户模拟程序212运行的其他方法。

图5-7中示出表示用于实施图1、2和4的脚本生成系统100的示例性机器可读指令的流程图。在这些示例中，机器可读指令包括由诸如处理器812的处理器执行的程序，处理器812示出在下文结合图8论述的示例性处理平台800中。程序可包含在存储于有形计算机可读介质上的软件中，计算机可读介质例如CD-ROM、软盘、硬盘、数字通用光盘(DVD)、蓝光光碟或与处理器812相关的存储器，但程序全部和/或其部分可替代地可由处理器812之外的装置执行和/或嵌入在固件或专用硬件中。进一步，尽管参照图5-7中所图示的流程图描述了示例性程序，但可替代地可使用实施图1、2和4的脚本生成系统的许多其他方法。例如，可改变框的执行顺序，和/或可改变、排除或组合所描述的一些框。

图5-7的示例性过程可利用存储在有形计算机可读介质上的编码指令(例如，计算机可读指令)实施，有形计算机可读介质例如硬盘驱动器、闪存、只读存储器(ROM)、光盘(CD)、数字通用光盘(DVD)、高速缓存、随机存储器(RAM)和/或其中信息存储任意持续时间(例如，延长时间段、永久地，简短实例的情况下，用于临时缓存和/或用于高速缓存信息)的任意其他存储介质。如在此使用，术语有形计算机可读介质被明确限定成包括任意类型的计算机可读存储并排除传播信号。附加地或可替代地，图5-7的示例性过程可利用存储在非暂时性计算机可读介质上的编码(例如，计算机可读指令)实施，非暂时性计算机可读介质例如硬盘驱动器、闪存、只读存储器、光盘、数字通用光盘、高速缓存、随机存储器和/或其中信息存储任意持续时间(例如，延长时间段、永久地，在简短实例的情况下，用于临时缓存和/或用于高速缓存信息)的任意其他存储介质。如在此使用，术语非暂时性计算机可读介质被明确限定成包括任意类型的计算机可读存储装置或磁盘并排除传播信号。如在此使用，当措辞“至少”在权利要求的前序中用作过渡术语时，其以与术语“包括”为开放式相同的方式也是开放式的。

图5的程序开始于框502，在框502处，示例性外部接口402(图4)确定被测软件的测试视频206(图2)是否包括相应的元数据208(图2)。例如，外部接口402从视频记录仪204(图2)接收示例性软件测试视频206(图2)，并针对相应的元数据208分析示例性软件测试视频206。如果视频记录仪204没有提供元数据208，则图5的过程在没有元数据208的情况下进行(框504)。否则，如果外部接口402从视频记录仪204识别出元数据208，则图5的过程在具有元数据208的情况下进行(框506)。

在框508处，视频扫描仪102确定用户动作。例如，元数据分析器404(图4)或动作识别器410(图4)可以如下文结合图6所述的那样确定用户动作。

在框510处，视频扫描仪102确定与用户动作对应的动作参数。例如，元数据分析器404或动作识别器10如下文结合图7所述的那样确定动作参数。

在框512处，视频扫描仪102从软件测试视频206捕获不包括视觉指示器232的非标记帧(例如，非标记帧222)。例如，帧抓取器408(图4)利用从元数据分析器404接收的帧引用元数据214和/或从视频分析器406接收的帧引用，从存储装置412取回一帧。在一些示例中，帧抓取器408扫描用于视觉指示器232的取回的帧，并可以从存储装置412取回附加的帧，直到帧抓取器408取回没有视觉指示器232的非标记帧222。在所图示的示例中，当帧抓取器408识别出非标记帧222时，帧抓取器408将非标记帧222传送至信息聚集器414(图4)。

在框514处，视频扫描仪102聚集信息，以提供给脚本生成器104从而生成测试脚本210(图2)。例如，信息聚集器414收集由元数据分析器404和/或动作识别器410提供的用户动作元数据226和动作参数元数据228、以及从帧抓取器408收集非标记帧222。信息聚集器414然后将收集到的信息以信息包224的形式传送至脚本生成器104。在框516处，脚本生成器104基于信息包224生成测试脚本210，示例性过程500结束。

图6的程序图示了确定用户动作的示例性方法。图6的示例性过程可以用于实施图5的框508。当软件测试视频206具有由视频记录仪204(图2)提供的相关元数据208时，元数据分析器404(图4)基于图2的操作元数据216确定用户动作(框602)。例如，元数据分析器404分析通过外部接口402接收的元数据208，并识别出操作元数据216。示例性元数据分析器404利用操作元数据216识别出用户动作并生成用户动作元数据226以便描述用户动作(框604)。控制然后返回至诸如图5的示例性程序500的调用函数或过程，图6的示例性过程结束。

当视频记录仪204不提供元数据208时，视频扫描仪102识别出软件测试视频206中的标记帧220(框606)。例如，视频分析器406逐帧分析软件测试视频206，直到视频分析器406找到帧(例如，标记帧220)中的视觉指示器232。在所图示的示例中，视频分析器406将标记帧220传送至动作识别器410。

在框608处，视频扫描仪102基于叠加或覆盖在标记帧220中的用户界面上的视觉指示器232、例如使用动作识别器410将视觉指示器232与存储在存储装置412中的参考图像416相比较，来确定用户动作。以此方式，动作识别器410识别出对应于与视觉指示器232匹配的参考图像416的用户动作。示例性动作识别器410利用识别出的用户动作生成用户动作元数据226(框610)。控制然后返回至诸如图5的示例性程序500的调用函数或过程，图6的示例性过程结束。

图7的程序图示了识别用户参数的示例性方法。图7的示例性过程可用于实施图5的框510。当软件测试视频206具有由视频记录仪204(图2)提供的相关元数据208时，元数据分析器404分析通过外部接口402接收的元数据208，并识别出操作参数元数据218(框702)。在所图示的示例中，示例性元数据分析器404利用操作参数元数据218生成动作参数元数据228(例如，文本字符或字符串、键盘输入、用户动作的坐标等)(框704)。控制然后返回至诸如图5的示例性程序500的调用函数或过程，图7的示例性过程结束。

当视频记录仪204不提供元数据208时，视频扫描仪102从识别出的用户动作识别出动作参数(框706)。例如，动作识别器410基于在图6的框606处识别出的用户动作(例如，视觉指示器232的屏幕位置或方位、文本字符或字符串)在从视频分析器406接收的标记帧220中识别出动作参数。动作识别器410利用动作参数生成动作参数元数据228(框708)。控制然后返回至诸如图5的示例性程序500的调用函数或过程，图7的示例性过程结束。

图8是能够执行图5至图7的指令以实施图1、图2和图4的脚本生成系统100的示例性处理平台800的框图。处理平台800可以是例如服务器、个人电脑、互联网设备或任意其他类型的计算装置。

当前示例的处理平台800包括处理器812。例如，处理器812可通过来自任意所需家庭或制造商的一个或多个微处理器或控制器实现。

处理器812包括本地存储器813(例如，高速缓存)，并通过总线818与包括易失性存储器814和非易失性存储器816的主存储器通信。易失性存储器814可通过同步动态随机存储器(SDRAM)、动态随机存取存储器(DRAM)、RAMBUS动态随机存取存储器(RDRAM)和/或其他任意类型的随机存取存储装置实现。非易失性存储器816可通过闪存和/或任意其他所需类型的存储装置实现。对主存储器814、816的存取由存储器控制器控制。

在所图示的示例中，处理平台800还包括视频扫描仪102和脚本生成器104。尽管视频扫描仪102和脚本生成器104被显示为分立的组件，但视频扫描仪102和/或脚本生成器104可通过处理平台800的其他部件中的一个或多个实现。

处理平台800还包括接口电路820。接口电路820可通过诸如以太网接口、通用串行总线(USB)和/或PCI Express接口的任意类型的接口标准实现。

一个或多个输入装置822连接到接口电路820。输入装置822允许用户将数据和名令输入到处理器812中。输入装置可例如通过键盘、鼠标、触摸屏、跟踪板、跟踪球、等电点(isopoint)和/或语音识别系统实现。

一个或多个输出装置824也连接到接口电路820。输出装置824可例如通过显示装置(例如，液晶显示器、阴极射线管显示器(CRT)、打印机和/或扬声器)实现。接口电路820因而典型地包括图形驱动卡。

接口电路820还包括诸如调制解调器接口卡或网络接口卡的通信装置，以便于通过网络826(例如，以太网连接、数字用户线路(DSL)、电话线、同轴电缆、蜂窝电话系统等)与外部计算机交换数据。

处理平台800还包括一个或多个用于存储软件和数据的大容量存储装置828。这样的大容量存储装置828的示例包括软盘驱动器、硬盘驱动器、光盘和数字通用光盘(DVD)驱动器。大容量存储器828可实现本地存储装置。

表示图5至图7的机器可读指令的编码指令832可存储在大容量存储装置828中、易失性存储器814中、非易失性存储器816中和/或诸如CD或DVD的可移动存储盘上。

根据上文，将认识到，在此公开的示例性方法、装置和制品通过在没有用户干预的情况下从视频生成测试脚本，而不需要人员通过观看视频并人工记录为重新创建被测软件中的问题所需的步骤，提高了测试和调试软件的效率。

尽管在此已公开了某些示例性方法、装置和制品，本专利的覆盖范围不限于此。相反，本专利覆盖完全落入本专利权利要求范围内的所有方法、装置和制品。

Claims (15)

1.一种生成脚本的方法，包括：

确定视频的第一帧中的用户动作，该视频包括软件的所记录的测试；

识别与所述用户动作相对应的动作参数；以及

基于所述动作参数，在没有用户干预的情况下生成脚本以在所述软件上执行。

2.根据权利要求1所述的方法，其中确定所述用户动作进一步包括识别所述第一帧中的视觉指示器，所述视觉指示器表示所述用户动作。

3.根据权利要求2所述的方法，进一步包括将所述视觉指示器与参考图像相比较，所述参考图像与鼠标点击的类型或触摸屏触摸元件中的至少一个相对应。

4.根据权利要求2所述的方法，进一步包括：

识别所述视频的第二帧，其中所述第二帧在所述第一帧之前显示；以及

捕获所述第二帧的包括所述视觉指示器的位置的一部分，其中基于所述用户动作、所述动作参数和所述第二帧的所述一部分生成所述脚本。

5.根据权利要求1所述的方法，其中确定所述用户动作进一步包括分析在所述视频中记录的用户动作的数据结构。

6.根据权利要求1所述的方法，其中所述动作参数包括所述用户动作的屏幕位置。

7.根据权利要求1所述的方法，其中所述动作参数包括文本字符串。

8.根据权利要求1所述的方法，其中识别所述动作参数进一步包括分析在所述视频中记录的用户动作。

9.一种用于生成脚本的装置，包括：

动作识别器，用于确定视频的第一帧中的用户动作，该视频包括软件的所记录的测试，所述动作识别器用于识别与所述用户动作相对应的动作参数；

帧抓取器，用于基于所述第一帧的帧位置捕获第二帧；和

脚本生成器，用于基于所述用户动作、所述动作参数和所述第二帧在没有用户干预的情况下生成脚本，以在所述软件上执行。

10.根据权利要求9所述的装置，其中所述动作识别器进一步包括识别所述第一帧中的视觉指示器，所述视觉指示器表示所述用户动作。

11.根据权利要求10所述的装置，其中所述帧抓取器用于捕获所述第二帧的包括所述视觉指示器的位置的一部分。

12.根据权利要求9所述的装置，进一步包括：

元数据分析器，用于分析在所述视频中记录的用户动作。

13.一种有形计算机可读存储介质，所述介质包括指令，该指令在执行时使机器至少：

确定视频的第一帧中的用户动作，该视频包括软件的所记录的测试；

识别与所述用户动作相对应的动作参数；以及

基于所述用户动作和所述动作参数，在没有用户干预的情况下生成脚本以在所述软件上执行。

14.根据权利要求13所述的有形计算机可读存储介质，其中所述指令进一步使所述机器识别所述第一帧中的视觉指示器，所述视觉指示器表示所述用户动作。

15.根据权利要求13所述的有形计算机可读存储介质，其中所述指令进一步使所述机器分析在所述视频中记录的用户动作，以确定所述用户动作。