CN110603525A - Web应用程序的测试方法和系统 - Google Patents

Web应用程序的测试方法和系统 Download PDF

Info

Publication number
CN110603525A
CN110603525A CN201880022953.4A CN201880022953A CN110603525A CN 110603525 A CN110603525 A CN 110603525A CN 201880022953 A CN201880022953 A CN 201880022953A CN 110603525 A CN110603525 A CN 110603525A
Authority
CN
China
Prior art keywords
server
application
data
test
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880022953.4A
Other languages
English (en)
Inventor
特莱维斯·塔特勒
J·韦特
平豪·甄
布培德拉·加哈德
晨风·杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volasti Technology Solutions
Velocity Technology Solutions Inc
Original Assignee
Volasti Technology Solutions
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volasti Technology Solutions filed Critical Volasti Technology Solutions
Publication of CN110603525A publication Critical patent/CN110603525A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3664—Environments for testing or debugging software
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3414—Workload generation, e.g. scripts, playback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3684—Test management for test design, e.g. generating new test cases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • H04L47/82—Miscellaneous aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/865—Monitoring of software
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/87—Monitoring of transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Debugging And Monitoring (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Peptides Or Proteins (AREA)

Abstract

公开了一种用于在由主机实体托管的企业系统中(诸如在用于测试软件操作的云环境中)以交易和/或软件操作(例如，动作)的形式利用客户端计算机的元数据的系统和方法。该主机实体将关于交易的元数据(例如，响应时间、延迟、处理时间、使用情况)存储在用于客户端计算机系统的动作的数据库中。然后，该主机实体基于与用于特定的数据范围和环境的企业资源规划系统的软件操作的实际用户交互，使用所存储的元数据自动生成测试脚本，以便对由客户端计算机的用户操作的企业资源规划系统中的多个软件操作的功能进行测试。

Description

Web应用程序的测试方法和系统
技术领域
本申请一般涉及用于软件和web应用程序测试的系统、装置和方法，并且更具体地涉及用于企业资源规划(ERP)软件系统的测试工具。
背景技术
ERP软件系统在许多现代企业的运营中起到了关键性的作用，并且包括各种复杂的软件系统。这种ERP系统可以包括数百或数千个相互关联的模块。实现复杂的软件系统通常需要对诸多软件模块进行定制编程，以将来自供应商的软件与公司或其他实体的现有系统相结合。一些公司可能会运行、管理并维护其自己的ERP软件系统，诸如来自或Infor 的系统。其他公司可能会将服务外包给第三方，由第三方对硬件和软件进行托管并为这些公司管理这些ERP系统。
第三方可以测试ERP系统中的软件应用程序以识别软件应用程序内的软件错误、故障和问题。该测试可以在应用程序构建或升级之后进行，并且该测试可以识别没有根据预期规范执行的特征或功能。可以采用诸如压力测试之类的常规测试技术，通过模拟多个用户同时利用ERP系统软件的情况，对ERP系统中的应用程序进行测试。压力测试提供关于被测应用程序的稳定性的分析信息。因此，非常需要对一般由多个用户(例如，数据库、网络服务器等)使用的应用程序进行压力测试。如果这些应用程序未进行压力测试，那么可能会在关键点出现故障，例如，如果过多用户试图使用该应用程序，那么故障可能会导致应用程序发生无法挽回的停机时间。为了执行压力测试，管理员可以访问应用程序的用户以确定常见使用情况，然后依据这些用户传达的使用情况和基于这些访问的假设来手动生成测试脚本。但是，由于用户可能会过分强调或淡化某些动作，这一过程通常会导致测试脚本无法准确捕获用户交互。另外，这种手动生成测试脚本的过程可能非常艰难和缓慢，使项目管理团队被每个应用程序补丁、升级或迁移所困扰。
发明内容
本文公开了能够解决上述缺点的系统和方法，并且还可以提供任何数量的附加或替代的好处和优点。如本文所述，系统和方法包括企业资源规划测试工具，用于复制企业资源规划系统内的实际用户交互，并通过消除对正在使用的应用程序和功能的猜测来在目标环境上应用测试脚本。通过一键式测试脚本生成器，系统和方法可以识别在任何源生产环境中使用的完整的应用程序功能，从而消除确定关键应用程序的漫长发现阶段、手动创建测试脚本的缓慢过程以及对假设用例的记录，因此让规划、识别和测试脚本创建更简单且更有效率。
本公开的系统、装置、方法和计算机程序产品通过利用由多个客户公司操作的企业资源规划系统中的多个web应用程序/软件操作的主机实体收集的数据集(诸如字段级数据记录)，进行web应用程序的测试。当web应用程序与主机实体集成并且启用了关键字段数据收集时，主机实体收集在web应用程序中执行的字段级数据以及用于雇员的一个或多个表单和/或记录的关键字段值。然后，系统和方法能够使用由主机实体收集的字段级数据，并基于与企业资源规划系统的实际用户交互自动生成测试脚本。自动生成测试脚本通过使用自动化的数据支持的测试脚本替换劳动密集型应用程序功能确认来转换功能和压力测试过程，这些自动化的数据支持的测试脚本在对web应用程序环境进行更改时，为主机实体和客户公司节省时间并减少资源消耗。
在一个实施例中，一种系统和方法以由主机实体托管的企业系统中(诸如在云环境中)的交易和/或软件操作(例如，动作)的形式利用客户公司执行的社区信息。主机实体存储数据集，该数据集可以包括关于该客户公司的动作和其他客户公司的动作的数据库中的交易的字段级数据(诸如在客户端计算机系统软件操作和/或web应用程序的模块上操作的雇员的个人可识别数据)以及元数据(例如，响应时间、延迟、处理时间、使用情况)。然后，主机实体使用包括现场级数据的存储的数据集，基于与用于特定的数据范围和环境的ERP系统的实际用户交互来自动生成测试脚本，以便测试由多个客户公司的用户操作的ERP系统中的多个软件操作的功能。在一些实例中，主机实体可以使用字段级数据以及元数据，基于与用于特定的数据范围和环境的ERP系统的实际用户交互来自动生成测试脚本，以便测试由多个客户公司的用户操作的ERP系统中的多个软件操作的功能。
主机实体的系统包括至少两个部分：web界面和测试代理。在一些实施例中，通过使用用于测试脚本的web界面选择作为源环境的环境和日期范围，主机实体的用户使用web界面生成测试脚本。除了生成测试脚本之外，主机实体的用户还可以在web界面上查看先前测试运行的结果，并修改用于后续运行的字段值。在一些实施例中，测试服务器然后通过使用来自测试脚本和表单定义的信息来生成交易请求。测试服务器一旦生成交易请求，测试服务器即可通过将交易请求提交给目标系统来执行功能测试，并将用于每个请求的响应发送回主机实体。在一些实施例中，测试代理从源环境中复制每个目标系统上的压力和交互，通过重放实际用户活动并提供准确的数据比较来启用全面演练，以便验证和确认所有必要应用程序功能的性能。例如，测试代理能够利用压力测试工具JMeter，通过在特定时间段内增加交易请求数来模拟目标客户端系统上的压力。利用如本文所述的主机实体的功能和压力测试能力，主机实体能够测试两个应用程序功能以及确保基础设施被配置成在最关键的处理时段期间处理压力。
在一个实施例中，一种计算机实现的方法可以包括由服务器在通信网络上从客户端计算机系统接收包括数据集的第一传输，该数据集对应于由客户端计算机系统操作的企业资源规划系统中的第一应用程序的至少多个软件操作，其中，每个软件操作链接到至少一个数据集。该服务器进一步配置成将与每个软件操作相关的数据分类到多个类别中的一个。该计算机实现的方法可以进一步包括由服务器使用从数据集中选择的用于第二应用程序的一个或多个数据字段，针对定义的时间段生成测试脚本，其中，在测试脚本中定义一个或多个指令，并且将该一个或多个指令加载到计算机可读存储器中。该计算机实现的方法可以进一步包括由服务器执行测试脚本，以根据测试脚本中定义的指令对第二应用程序进行测试。执行测试脚本包括：在定义的时间段期间，针对一个或多个所选数据字段，由服务器检索第一应用程序的多个软件操作；并且在定义的时间段期间，针对一个或多个所选数据字段，由服务器执行第一应用程序的多个软件操作。该计算机实现的方法可以进一步包括：由服务器在通信网络上向客户端计算机系统传输第二传输，该第二传输包括用于基于与企业资源规划系统中的第一应用程序相对应的数据集，显示第二应用程序的多个软件操作的测试性能的信息。
在另一个实施例中，一种系统可以包括经由通信网络彼此联接的客户端计算机系统和服务器。该服务器配置成在通信网络上从客户端计算机系统接收包括数据集的第一传输，该数据集对应于由客户端计算机系统操作的企业资源规划系统中的第一应用程序的至少多个软件操作，其中，每个软件操作链接到至少一个数据集。该服务器进一步配置成将与每个软件操作相关的数据分类到多个类别中的一个。该服务器进一步配置成使用从数据集中选择的用于第二应用程序的一个或多个数据字段，针对定义的时间段生成测试脚本，其中，在测试脚本中定义一个或多个指令，并且将该一个或多个指令加载到计算机可读存储器中。该服务器进一步配置成执行测试脚本，以根据测试脚本中定义的指令对第二应用程序进行测试。由服务器执行测试脚本包括：在定义的时间段期间，针对一个或多个所选数据字段，检索第一应用程序的多个软件操作；并且在定义的时间段期间，针对一个或多个所选数据字段，执行第一应用程序的多个软件操作。该服务器进一步配置成在通信网络上向客户端计算机系统传输第二传输，该第二传输包括用于基于与企业资源规划系统中的第一应用程序相对应的数据集，显示第二应用程序的多个软件操作的测试性能的信息。
实施例的附加特征和优点将在以下描述中阐述，并且将从描述中变得部分显而易见。本发明的目的和其他优点将通过书面描述及其权利要求以及附图中的示例性实施例中特别指出的结构来实现和获得。
应当理解，前面的一般性描述和以下的详细描述均为示例性和说明性的，旨在对所要求保护的本发明提供进一步的说明。
附图说明
附图构成了本说明书的一部分，并且图示了本发明的实施例，并与说明书一起对本发明进行说明。
图1示出了根据示例性实施例的用于测试web应用程序的系统的组件。
图2示出了根据示例性实施例的用于测试web应用程序的方法的执行。
图3示出了根据示例性实施例的示出仪表板的图形用户界面。
图4示出了根据示例性实施例的示出仪表板的图形用户界面。
图5示出了根据示例性实施例的用于显示测试结果的图形用户界面。
图6示出了根据示例性实施例的示出仪表板的图形用户界面。
图7示出了根据示例性实施例的示出热图的图形用户界面。
图8示出了根据示例性实施例的用于比较社区信息的图形用户界面。
图9示出了根据示例性实施例的用于显示随时间性能的图形用户界面。
图10示出了根据示例性实施例的显示开放请求的图形用户界面。
图11示出了根据示例性实施例的用于显示中断的图形用户界面。
图12示出了根据示例性实施例的显示客户公司的一个或多个生产线的图形用户界面。
具体实施方式
现在将参考图中所示的说明性实施例，并且将在此处使用特定语言对该实施例进行描述。然而，将理解的是，并非因此意图对权利要求或本公开的范围进行限制。对本文所示发明特征的更改和进一步的修改，以及相关领域的技术人员和拥有本公开的人员将想到的对本文所示主题的原理的其他应用，均被视为处于本文所公开的主题的范围内。
这里参照图中所示的构成这里一部分的实施例，对本公开进行详细描述。在不脱离本公开的精神或范围的情况下，可以使用其他实施例和/或可以进行其他变更。具体说明中描述的说明性实施例并不意味着对这里呈现的主题进行限制。
在针对新的应用程序、增强的或更新的应用程序、操作系统或计算机系统进行压力测试时，本文的系统和方法能够利用企业资源规划系统，捕获包括每次交易的字段级数据和元数据的数据集，以便生成基于实际交易而不是使用假设的脚本。自动生成测试脚本通过使用自动化的数据支持的测试脚本替换劳动密集型应用程序功能确认来转换功能和压力测试过程，这些自动化的数据支持的测试脚本在对web应用程序环境进行更改时，为主机实体和客户公司节省时间并减少资源消耗。如本文所公开的，系统和方法可以在由主机实体托管的企业资源规划系统中(诸如在用于测试软件操作的云环境中)以字段级数据、交易、和/或软件操作(例如，动作)的形式使用客户端计算机的数据集。主机实体存储数据集，该数据集可以进一步包括关于客户端计算机系统的动作的数据库中的交易的字段级数据(包括在客户端计算机系统软件操作和/或web应用程序的一个或多个模块上操作的客户端计算机系统的雇员的个人可识别)以及元数据(例如，响应时间、延迟、处理时间、使用情况)。然后，该主机实体基于与用于特定的数据范围和环境的企业资源规划系统的软件操作的实际用户交互，使用所存储的数据集自动生成测试脚本，以便对由客户端计算机的用户操作的企业资源规划系统中的多个软件操作的功能进行测试。
图1示出了根据示例性实施例的用于测试web应用程序的系统100的组件。系统100可以包括主机实体102、客户端计算机系统104和客户端计算机系统106。主机实体102、客户端计算机系统104和客户端计算机系统106及其组件通过网络108彼此连接。网络108的示例可以包括，但不限于，私有或公共LAN、WLAN、MAN、WAN和互联网。网络108可以包括根据一个或多个标准和/或经由一个或多个传输介质的有线和无线通信。可以根据诸如传输控制协议和互联网协议(TCP/IP)、用户数据报协议(HDP)、和IEEE通信协议之类的各种通信协议，在网络108上进行通信。在一个示例中，网络108可以包括根据蓝牙规范集或另一个标准或专有无线通信协议的无线通信。在另一个示例中，网络108还可以包括在蜂窝网络上的通信，该蜂窝网络包括，例如，GSM(全球移动通信系统)、CDMA(码分多址)、EDGE(增强型全球演进数据)网络。
主机实体102可以为各种客户公司(统称为社区)托管企业系统110。主机实体102可以在云平台上托管企业系统110。主机实体102可以提供客户端计算机系统104、106无法自己获得的服务水平协议(SLA)。主机实体102可以在仪表板上提供关于企业系统110的操作的实时信息，包括多个票证、响应时间、登录人员等。客户端计算机系统104、106可以使用企业系统110来执行多次交易和/或软件操作，其中，每次交易和/或软件操作均由客户端计算机系统104、106代表使用由主机实体102托管的硬件和/或软件进行。每次交易和/或软件操作(例如，添加发票、提交时间记录、提交成批作业)并不意味着限于金融交易和/或软件操作，而是企业系统110中的可测量的或离散的任务、项目、和/或动作。因为主机实体102使用企业系统110从客户公司104、106收集数据，所以主机实体102还可以向客户端计算机系统104、106提供关于客户端计算机系统的web应用程序的性能的信息。例如，主机实体102可以进行关于客户公司104、106的软件操作和/或web应用程序的一个或多个测试，并且向客户公司104、106提供关于测试结果的反馈。然后，客户端计算机系统104、106可以基于主机实体102提供的测试结果反馈，调整其过程或其软件。
主机实体102托管用于多家客户公司104、106的企业系统110。企业系统110可以是任何计算设备，其包括处理器和非暂时性机器可读存储介质并且能够在执行期间进行本文描述的各个任务和过程。企业系统110的非限制性示例可以包括台式计算机、服务器计算机、膝上型计算机、平板计算机等。为了便于说明，图1示出了用作企业系统110的单个服务器，但是该企业系统110可以包括一个或多个服务器、数据库和/或云环境，用于代表客户端计算机系统104、106托管系统。
主机实体102可以具有以通信的方式联接到企业系统110的仪表板服务器112，用于获取数据并将数据呈现给通信服务器以显示给客户端计算机系统104、106。在一些实施例中，仪表板服务器112可以以通信的方式联接到企业系统110，用于获取数据并将数据呈现给测试服务器126，该测试服务器126配置成使用数据进行一个或多个测试，以便对由客户端计算机系统104、106的用户操作的多个软件操作和web应用程序的功能进行测试。
仪表板服务器112的非限制性示例可以包括台式计算机、服务器计算机、膝上型计算机、平板计算机等。在一些实施例中，仪表板服务器112可以包括从以太网板运行网页的Web界面，并且包括HTTP协议解释器、PLC背板驱动器、TCP/IP堆栈和以太网板内核。Web界面提供对主机实体102的访问。使用仪表板服务器112的该界面，主机实体102的管理员可以检索关于客户端计算机系统104、106的操作的所有相关数据，以使用该数据进行一个或多个测试，以便对由客户端计算机系统104、106的用户操作的多个软件操作和web应用程序的功能进行测试。
尽管显示了用于仪表板服务器112的一个服务器，但是该功能可以由一个或多个服务器和数据库来执行。仪表板服务器112可以包括多个监视工具或应用程序，以辅助管理客户端计算机系统的信息。仪表板服务器112还可以以通信方式联接到数据库114。数据库114可以存储具有由仪表板服务器112和/或主机实体102的其他组件采集的数据集的记录。在一些实施例中，测试服务器126可以以通信的方式联接到数据库114，用于获取数据以进行一个或多个测试，以便对由客户端计算机系统104、106的用户操作的多个软件操作和web应用程序的功能进行测试。
数据库114存储包括字段级数据的数据集。在一些实施例中，从与客户端计算机系统104、106相关联的所有操作数据和个人可识别数据中获得字段级数据。在一些实施例中，从与客户端计算机系统104、106相关联的数据中获得字段级数据，其可以包括元数据。元数据可以包括关于客户端计算机系统104、106交易和/或软件操作的信息以及关于基础交易和/或软件操作的数据。元数据可以包括关于一个或多个雇员(如果是客户端计算机系统104、106)的数据、关于客户端计算机系统104、106的一个或多个软件和web应用程序的数据以及客户端计算机系统104、106的用户和/雇员正在访问的一个或多个表单。在一个示例中，数据库114可以存储与雇员记录相对应的一个或多个表单，该雇员记录含有诸如名字、姓氏、雇员ID、开始日期、职位等数据字段。在另一个示例中，数据库114可以存储与客户端计算机系统104、106的用户和/或雇员访问的福利模块(BN)、人力资源模块(HR)、人员动作模块(PA)、工资单模块(PR)相对应的一个或多个表单。在操作期间，可以向数据库114发出请求，以从数据库114获得含有表单和雇员详细信息的记录。
在一些实施例中，数据库114存储数据集，该数据集可以包括关于基础交易和/或软件操作的数据。例如，医疗保健行业中的客户端计算机系统(诸如医院)可以订购缝线托盘以及向患者提供缝合所需的所有工具和物品。数据库114可以进一步存储关于订购多少缝线托盘的信息，以便与其他医院进行订购趋势比较。数据库114可以进一步存储关于需要缝合的特定患者的信息或者应用缝合的原因。在示例性实施例中，数据库114可以存储任何敏感信息。
数据库114可以是非暂时性机器可读存储介质，用于存储如上所讨论的数据集记录。本文所使用的术语“计算机可读介质”或“计算机可用介质”是指参与向处理器提供指令以供执行的任何介质。这种介质可以采用多种形式，包括但不限于，非易失性介质、易失性介质和传输介质。非易失性介质包括，例如，光盘或磁盘，诸如磁盘驱动器。易失性介质包括动态存储器，诸如系统存储器。常见形式的计算机可读介质包括：例如，软盘、可折叠磁盘、硬盘、磁带、任何其他磁介质、CD-ROM、任何其他光学介质、穿孔卡、纸带、具有孔图案的任何其他物理介质、RAM、PROM、EPROM、FLASH-EPROM、任何其他存储芯片或存储匣或者计算机可以从中读取的任何其他介质。
主机实体102还具有通信服务器116(例如，web服务器)，以向客户公司104、106传输数据并从客户公司104、106传输数据。通信服务器116的非限制性示例可以包括台式计算机、服务器计算机、膝上型计算机、平板计算机等。主机实体的通信服务器116可以将网页呈现给客户端计算机系统/设备104、106的通信服务器118、120(例如，web服务器)。主机实体的通信服务器116可以使用从以通信方式联接的仪表板服务器112获得的数据填充网页，并且主机实体的通信服务器116可以传输网页，以在客户端计算机系统104、106处显示。
尽管显示了两个客户公司104、106，但是主机实体102可以托管任意数量的客户公司104、106的社区。而且，尽管示例性实施例叙述了企业系统110的使用，但是可以使用与本公开的范围一致的任何平台或软件。在该示例性实施例中，每个客户端计算机系统104、106都可以具有企业资源规划(ERP)服务器122、124。尽管显示了用于每个客户端计算机系统/设备104、106的一个ERP服务器122、124，但是功能可以由一个或多个服务器和数据库执行。ERP服务器122、124可以以通信的方式联接到客户端计算机系统/设备104、106的通信服务器118、120，以向主机实体102的通信服务器116传输数据并从主机实体102的通信服务器116传输数据，该通信服务器116联接到主机实体的企业系统110。这些服务器可以在网络108(诸如互联网)上进行通信。
客户端计算机系统104、106具有工作站126、128和/或其他计算/计算机设备(例如，台式计算机、膝上型计算机、平板计算机、移动设备、蜂窝电话、智能电话、个人数据助理)，其可以通过客户端计算机系统的通信服务器118、120与主机实体102通信。主机实体102可以使用仪表板服务器112和来自数据库114的数据生成网页，以将社区信息提供给客户端实体处的工作站126、128。该信息由主机实体102生成，并且配置成在客户端计算机系统104、106的工作站126、128的图形用户界面(例如，web浏览器)上显示。
在操作期间，仪表板服务器112可以与存储有包括字段级数据的数据集的数据库114通信。字段级数据可以包括在客户端计算机系统软件操作和/或web应用程序的一个或多个模块上操作的客户端计算机系统104、106的雇员的个人识别数据。数据集可以进一步包括元数据，该元数据可以包括客户端计算机系统104、106的雇员在客户端计算机系统软件操作和/或web应用程序的一个或多个模块上访问的一个或多个雇员记录和表单。仪表板服务器112可以向数据库114发送请求，以获得包括与一个或多个雇员记录和表单详细信息相对应的数据的数据集。在一些实施例中，仪表板服务器112可以向数据库114发送特定请求，以从一个或多个雇员记录和表单中的多个字段值获得一个或多个字段值。仪表板服务器112可以基于一组或多组规则，从一个或多个雇员记录和表单中的多个字段值中选择一个或多个字段值。该一组或多组规则可以基于表单定义进行定义。例如，在Google电子邮件表单中，可能有两个字段：用户名字段和密码字段。仪表板服务器112将确定存储在数据库114中的Google电子邮件的登录表单的定义，并且基于Google电子邮件的登录表单的定义，仪表板服务器112将从Google电子邮件表单的两个字段中选择一个或多个字段值。表单定义可以由客户端计算机系统104、106和/或主机实体102的管理员定义。
在一些实施例中，仪表板服务器112然后基于雇员访问的一个或多个雇员记录和表单中的一个或多个字段值，重建模拟客户端计算机系统雇员与客户端计算机系统104、106的ERP服务器122、124的web应用程序交互所需的数据集(例如，第一数据集)。然后，仪表板服务器112将基于重建的和/或从数据库114获得的数据集和/或元数据生成测试脚本。测试脚本可以是编程代码，其通过调用由测试自动化框架(TAF)导出的子例程或应用程序编程接口(API)，使通过重建元数据内的所选数据集的一个或多个字段而生成的测试用例自动化。TAF可以为执行测试脚本提供后端支持，包括用于创建进程以及跟踪和控制远程测试设置的基础设施。在示例中，测试用例可以包括复杂逻辑，在该复杂逻辑中，客户端计算机系统104、106的用户使用多个进程、工具和ERP系统。测试用例可以包括并行进程和顺序进程，每个进程执行一个或多个测试功能。
在一些实施例中，仪表板服务器112将选择必须为其执行测试的产品/应用程序软件类别。除了产品/应用程序类别之外，在一些实施例中，仪表板服务器112还将选择环境和日期范围作为所选产品/应用程序软件类别的源环境，以便获得具有定义的时间段的用于所选环境的选定数据集，从而生成用于测试所选产品/应用程序软件类别的测试脚本。例如，ERP服务器122、124可以具有多个环境，诸如配置成执行生产请求的生产环境和配置成执行其他请求的任务环境。在另一个示例中，必须进行测试的单个软件产品/应用程序(诸如People Soft)，可以由不同国家的客户端计算机系统104、106操作。然后，每个国家将代表软件应用程序的不同环境。在这种情况下，仪表板服务器112在选择People Soft作为产品/应用程序类别之后，仪表板服务器112然后将选择，例如，美国区作为所选产品/应用程序类别的环境，并为所选产品/应用程序类别选择任何日期范围，从而生成测试脚本。
然后，以通信的方式联接到仪表板服务器112的测试服务器126可以从仪表板服务器112接收测试脚本。在一些实施例中，仪表板服务器112可以在生成测试脚本时，将测试脚本自动传输到测试服务器126。在一些实施例中，仪表板服务器112可以在接收到来自测试服务器126的请求时，将测试脚本传输到测试服务器126。在一些实施例中，仪表板服务器112可以在接收到来自主机实体126的管理员的请求时，将测试脚本传输到测试服务器126。然后，测试服务器126通过使用来自测试脚本的数据和/或表单定义来生成交易请求。在生成交易请求时，测试服务器126通过提交交易请求来进行功能测试，以对客户端计算机系统104、106的web应用程序进行测试。
在一些实施例中，测试服务器126还能够利用性能测试工具或系统(或软件)，使得能够模拟使用客户端计算机系统104、106的web应用程序的各种场景，以便从中推断出反映其性能的统计数据。在这些工具中，可以提到JMeter工具，这是一款由阿帕奇基金会(Foundation Apache)(错误！超链接引用无效。)制作的软件。JMeter工具使得能够根据诸如HTTP/HTTPS、SMTP之类的不同协议，对客户端计算机系统104、106的ERP计算web应用程序进行性能测试。为此，JMeter工具模拟客户端计算机系统104、106的目标ERP计算应用程序的多个用户的负载，并且随后测量描述ERP计算web应用程序对该负载的响应的行为的多个性能指标，尤其是代表客户端计算机系统雇员体验的响应时间。完成测试后，测试服务器126然后可以在通信网络108上将测试结果呈现给客户端计算机系统104。
在本公开的备选实施例中，主机实体102可以从客户端计算机系统104、106获得信息以深入了解。系统100可以配置成使得ERP服务器122、124可以提取信息并将该信息提供给仪表板服务器112，从而使主机实体102可以提供关于趋势、效率和性能的信息。
通过采集至少包括来自企业系统110客户公司104、106的社区的元数据的交易数据集，系统100可以提供对系统100的比较分析和用户效率。此外，通过采集关于社区系统本身的元数据(例如，版本、补丁)，可以跨不同版本提供对系统和用户性能的附加比较分析。进一步地，通过添加关于系统变更和系统事件(即，监视器)的附加元数据，可以提供附加的比较分析。
主机实体102可以如何使用数据集来将客户端计算机系统104、106与社区中的其他系统进行比较的示例包括，但不限于，以下能力：(1)按系统/交易/功能针对模式/比较对在线交易使用情况进行分析；(2)按系统/交易/功能针对模式/比较对成批系统使用情况进行分析；(3)按系统/交易/功能针对模式/比较对系统性能指标进行分析；(4)按系统/交易/功能针对模式/比较对系统级别(版本/升级/循环/补丁)进行分析；(5)分析即席查询的使用情况/效率(以及对整体系统性能的影响)；(6)按系统/交易/功能针对模式/比较进行用户登录分析；(7)按系统/交易/功能针对模式/比较对用户会话时长/习惯进行分析；(8)按系统/交易/功能针对模式/比较对用户效率进行分析；(9)识别反常用户行为(即，用户从家中在早上2:30登录)；以及(10)识别反常交易和/或软件操作行为(即，在计划的检查运行之前更新应付账款供应商条款并在检查运行之后更改回来的守护进程)。
在一个实施例中，内部控制系统可以获取关于实际系统本身的元数据，该元数据包括所有源代码、对象、屏幕、配置、数据库等。该系统将允许：(1)变更控制分析；(2)与社区进行的配置比较；(3)通过对系统的任何变更切分的以上所有性能指标；以及(4)来自交付的“黄金代码”的系统增量。
图2示出了根据示例性实施例的用于测试web应用程序的方法200的执行。图2中示出的示例性方法200包括执行步骤202、204、206和208。然而，应当理解，其他实施例可以包括附加的或备选的执行步骤，或者可以完全省略一个步骤或一起省略多个步骤。还应该理解，其他实施例可以以不同的顺序执行某些执行步骤；步骤也可以彼此同时或几乎同时进行。另外，图2的示例性方法200被描述为由单个服务器计算机执行。然而，本领域技术人员将理解，在一些实施例中，步骤可以由在分布式计算环境中操作的任何数量的计算设备执行。在一些情况下，执行一个或多个步骤的计算机可以编程为执行各种其他、不相关的特征，其中，这种计算机不需要严格地如本文所述的安全服务器一样操作。
在步骤202中，服务器可以在通信网络上从客户端计算机系统接收传输的数据集，该数据集至少包括字段级数据以及在由客户端计算机系统操作的企业资源规划系统中的第一应用程序(例如，工资单web应用程序版本1)的多个软件操作的元数据。每个软件操作可以链接到至少一个数据集，该数据集允许服务器将与每个软件操作相关的数据分类到多个类别中的一个。
在一些实现方式中，多个软件操作的数据集可以进一步包括操作客户端计算系统的公司的雇员的个人识别信息。在一些实现方式中，多个软件操作的数据集可以进一步包括操作客户端计算系统的公司的雇员的个人识别信息，以及与操作客户端计算系统的公司的雇员执行的每个软件操作有关的动作所对应的细节。在一些实现方式中，由客户端计算机系统操作的企业资源规划系统中的第一应用程序的多个软件操作的数据集包括由客户端计算机系统的一个或多个企业资源规划系统服务器生成的字段级数据。
在步骤204中，服务器可以使用用于要测试的第二应用程序(例如，工资单web应用程序的新版本或发布或全新的应用程序)的数据集来生成测试脚本。服务器可以通过从与企业资源规划系统中的第一应用程序相对应的数据集中的多个数据字段中选择一个或多个数据字段，生成用于测试第二应用程序的测试脚本。在选择一个或多个数据字段时，服务器可以检索与一个或多个数据字段中的每一个相对应的值。然后，服务器可以使用一个或多个数据字段及其对应的值，以便生成用于测试第二应用程序的测试脚本。
在一些实施例中，服务器可以针对定义的时间段，通过在与第一应用程序相对应的数据集中选择一个或多个数据字段，生成用于测试第二应用程序的测试脚本。在一些实施例中，服务器可以在定义的时间段内，针对特定的环境，通过选择与第一应用程序相对应的数据集中的一个或多个数据字段，生成用于测试第二应用程序的测试脚本。例如，应用程序可以在多个国家中运行，并且每个国家可以代表应用程序的不同的操作环境。在一些实施例中，在生成测试脚本时，服务器在测试脚本中定义一个或多个指令。然后，服务器将该一个或多个指令加载到计算机可读存储器中。服务器还可以将测试脚本下载到数据库的易失性存储器中。
服务器可以出于各种目的生成测试脚本。例如，生成的测试脚本可以由服务器在软件测试环境(例如，由软件测试服务器支持)中使用，以使用测试脚本对客户端计算系统进行功能测试，和/或使用测试脚本对客户端计算系统进行回归测试。测试脚本可以包括和使用与要在客户端计算系统上执行的第一应用程序相对应的元数据的各种不同的测试用例相关联的部分。
在步骤206中，服务器执行测试脚本，以根据测试脚本中定义的指令对第二应用程序进行测试。在执行测试脚本期间，服务器可以生成请求，并将该请求传输到数据库，以便在定义的时间段期间，针对该一个或多个所选数据字段，检索第一应用程序的多个软件操作。从服务器接收请求的数据库可以在定义的时间段期间，针对一个或多个所选数据字段，检索第一应用程序的多个软件操作，并且稍后在定义的时间段期间，针对该一个或多个所选数据字段，将第一应用程序的多个软件操作传输到服务器。在定义的时间段期间针对该一个或多个所选数据字段从数据库接收第一应用程序的多个软件操作后，服务器在定义的时间段期间，针对该一个或多个所选数据字段执行第一应用程序的多个软件操作。
在一些实施例中，在执行测试脚本期间，服务器可以使用与测试脚本相关联的信息和/或数据来生成交易请求。交易请求可以包括在定义的时间段内针对特定环境，基于与第一应用程序相对应的元数据中的一个或多个所选数据字段，重新创建客户端计算机系统的雇员的一个或多个请求。在生成交易请求时，服务器通过执行交易请求对第二应用程序进行功能测试。
在一些实施例中，服务器还能够利用JMeter(压力测试工具)，通过增加特定时间段内的交易请求数量，模拟客户端计算机系统雇员对要测试的客户端计算机的第二应用程序的压力；然后，通过执行全部数量的交易请求，由第二应用程序的服务器进行功能测试。
在步骤208中，服务器在通信网络上向客户端计算机系统传输第二传输。第二传输可以包括用于基于与企业资源规划系统中的第一应用程序相对应的数据集，显示第二应用程序的多个软件操作的测试性能的信息。然后，客户端计算机系统的用户可以在客户端计算机系统的图形用户界面(GUI)上查看第二应用程序的多个软件操作的测试性能结果，并基于测试结果，修改一个或多个软件操作以用于第二应用程序的后续操作。客户端计算机系统的用户还可以将第二应用程序的多个软件操作的测试性能结果与先前测试运行的结果进行比较，并基于比较结果，修改一个或多个软件操作以用于第二应用程序的后续操作。
图3示出了根据示例性实施例的示出了主机实体的仪表板的图形用户界面300。面板302、304、306和308中的每一个可以重新布置到图形用户界面上的不同位置，并且可以根据需要添加或移除面板302、304、306和308。每个面板呈现关于企业系统的一个方面的信息，该信息可以由用户选择来生成测试脚本，以便使用测试脚本对客户公司的应用程序和/或软件操作进行测试。例如，用户将选择生产线302、环境304和日期范围306来生成测试脚本。在选择生产线302、环境304和日期范围306时，用户然后将点击“获取令牌”面板308。在选择“获取令牌”面板308时，可以在图形用户界面300上向用户呈现令牌结果310，如图3所示。然后，使用令牌结果310生成测试脚本，该测试脚本包括所选日期范围内的所选生产线的数据集的交易信息。例如，令牌结果310可以包括福利模块(BN)、人力资源模块(HR)、人员动作模块(PA)、工资单模块(PR)等的表单列表，雇员在所选日期范围内在所选数据集内对其进行访问。然后，由托管系统的管理员使用如图4所示的图形用户界面400上显示的下载面板402，在管理员工作站下载测试脚本。然后，托管系统的管理员可以触发测试服务器，以使用测试脚本进行测试。然后，将测试结果502显示在图形用户界面500上，如图5所示。
用于利用社区信息的示例性方法如下。客户端计算机系统在由主机实体托管的企业系统中(诸如，在云环境中)进行交易和/或软件操作(例如，动作)。主机实体存储包括关于客户端计算机系统的动作和其他客户公司的动作的数据库中的交易和/或软件操作的字段级数据和元数据(例如，响应时间、延迟、处理时间、使用情况)的数据集。主机实体使用存储的数据集自动生成测试脚本，并使用该测试脚本对客户公司的软件操作进行测试。然后，将关于客户端计算机系统的软件操作的性能的测试结果呈现给客户端计算机系统。主机实体可以向客户端计算机系统呈现网页，该网页基于特定的数据集示出客户端计算机系统软件操作的性能。
在一些实施例中，可以使用交易数据集提供对系统和用户效率的比较分析。此外，通过采集关于社区系统本身的数据集(例如，版本、补丁)，可以跨不同版本提供对系统和用户性能的附加比较分析。进一步地，通过添加关于系统变更和系统事件(即，监视器)的附加数据集，可以提供附加的比较分析。主机实体可以如何使用数据集来将客户公司与社区中的其他公司进行比较的示例包括，但不限于，以下能力：(1)按系统/交易/功能针对模式/比较对在线交易使用情况进行分析；(2)按系统/交易/功能针对模式/比较对成批系统使用情况进行分析；(3)按系统/交易/功能针对模式/比较对系统性能指标进行分析；(4)按系统/交易/功能针对模式/比较对系统级别(版本/升级/循环/补丁)进行分析；(5)分析即席查询的使用情况/效率(以及对整体系统性能的影响)；(6)按系统/交易/功能针对模式/比较进行用户登录分析；(7)按系统/交易/功能针对模式/比较对用户会话时长/习惯进行分析；(8)按系统/交易/功能针对模式/比较对用户效率进行分析；(9)识别反常用户行为(即，用户从家中在早上2:30登录)；以及(10)识别反常交易和/或软件操作行为(即，在计划的检查运行之前更新应付账款供应商条款并在检查运行之后更改回来的守护进程)。
呈现比较性能信息的类型的非限制性示例在以下图6-12中进一步描述。参照图6，示出了根据示例性实施例的示出仪表板的图形用户界面600。每个面板602都可以重新布置到图形用户界面上的不同位置，并且可以根据需要添加或移除面板602。通过激活左上角的按钮，用户可以公开其他选项或面板。每个面板都可以向客户公司提供有关企业系统的一个方面的信息。例如，一个面板名为“交易”，并且包括社区信息。交易面板604示出了过去三天中运行最慢的交易和/或软件操作，其可以是需要最多关注的交易和/或软件操作。一些企业系统可以一次运行数千个应用程序，因此查看哪些类型的交易和/或软件操作花费最多的时间来完成是很有用的。
参照图7，示出了用于企业系统的示出使用情况热图的图形用户界面700。该热图可以通过单击仪表板上的面板中的“交易分析”的链接来生成。热图显示了交易和/或软件操作计数和响应时间的使用情况。左轴702表示一天中的时间，上轴704表示月份时间，右轴表示总小时数，下轴表示总天数。热图上的数字表示许多交易和/或软件操作。在该示例性实施例中，筛选程序为HR而不是HR11.1，指的是Infor 人力资源应用程序。尽管示例性实施例可以叙述Oracle或Infor Lawson企业系统的使用，但是任何企业系统都可以和本文所描述的方法和系统一起使用。如该示例性热图所示，该月份的第16天、第17天和第30天是最忙碌的，并且这些天恰好与工资单时间重合。可能有用的是，客户公司可以看到在这些时段期间其他类似业务如何执行，例如，交易和/或软件操作数量是否已经展开或移动到该月的不同部分。
参照图8，示出了根据示例性实施例的用于比较社区信息的图形用户界面800。在选择“交易”面板时，可以向用户呈现该图形用户界面，如图6所示。如第一行802中所示，名称AP230指的是特定应用程序。“社区大小”下列出的每一行都包括版本号和补丁级别以及相应的量。在一些实例中，客户公司内的不同部门可以使用同一应用程序的不同版本或补丁级别。在该示例中，客户公司可以观察到其运行应用程序的速度比使用相同版本的其他公司要慢24.29倍。在另一个示例中，对于GL291，社区中运行了五种不同的版本，并且版本174比版本153更快。该客户公司正在运行应用程序，平均响应时间为4.03秒，这比最慢的应用程序版本还要慢。因此，客户公司可能在该版本中效率低下，并且可能会考虑升级到不同版本。该社区比较可以提供允许客户公司对其效率和延迟进行评估的数据。
参照图9，示出了根据示例性实施例的用于显示随时间性能的图形用户界面900。该图显示了交易和/或软件操作、演习和查询随时间的响应时间。如果对系统进行了修改或更改，该图表则可以显示修改或更改是如何影响性能的。可以使用筛选程序(例如，限于某个应用程序)查看哪些作业正在运行。“演习”可以表示应用程序的特征，其中用户深入探讨数据以查看关于交易和/或软件操作的更多信息。“查询”可以表示用户的许多查询，其中一些用户可能会写出耗费系统的不合适的查询。在该示例中，点“A”表示客户公司要求回收Lawson Business Intelligence(LBI)的时间。点A显示在图表上，以查看性能是如何受到影响的。
参照图10，示出了根据示例性实施例的显示开放请求的图形用户界面1000。通过选择“事件和请求”面板，如图3所示，用户可以查看未决事件、未决请求和过去30天内关闭的事件和请求的列表。
参照图11，示出了根据示例性实施例的用于显示中断的图形用户界面1100。在该示例性实施例中，示出了自系统安装以来随着停机的持续时间的停机次数。在一些实施例中，还可以描述停机的原因。
参照图12，示出了根据示例性实施例的显示客户公司的一个或多个生产线的图形用户界面1200。图形用户界面可以显示关于开发、测试、生产或培训的信息。该图形用户界面可以向客户公司提供关于由主机实体托管的系统的状态的信息。
本文描述的功能可以由可以执行一个或多个功能的多个模块或组件来实现。每个模块或组件可以由具有非暂时性计算机可读介质和处理器的计算机(诸如，服务器)来执行。在一个备选方案中，可能需要多台计算机来实现一个模块或组件的功能。
除非从以下讨论中明确指出，否则应当理解，在整个描述中，利用诸如“处理”或“计算”或“运算”或“确定”或“测量”或“选择”或“显示”或“识别”或“检测”之类的术语进行的讨论，可以指数据处理系统或类似电子设备的动作和进程，该动作和进程将表示为系统存储器和寄存器内的物理(电子)量的数据操纵和转换成类似地表示为系统存储器或寄存器或其他此类信息存储、传输或显示设备中的物理量的其他数据。
示例性实施例可以涉及用于执行本文描述的一个或多个功能的装置。该装置可以为所需目的而专门构造，或者可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算机。这种计算机程序可以存储在机器(例如，计算机)可读存储介质中，诸如但不限于任何类型的盘，包括软盘、光盘、CD-ROM和磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、磁卡或光卡或者适用于存储电子指令的任何类型的介质，并且每一个均联接到总线。
本文所述的示例性实施例被描述为在至少一个服务器上执行的软件，然而应当理解，可以以其他方式对实施例进行配置并保留功能。这些实施例可以在已知的设备上实现，诸如个人计算机、专用计算机、蜂窝电话、个人数字助理(“PDA”)、数字相机、数字平板电脑、电子游戏系统、编程的微处理器或微控制器和外围集成电路元件、ASIC或其他集成电路、数字信号处理器、硬连线电子或逻辑电路(诸如分立元件电路)、可编程逻辑器件(诸如PLD、PLA、FPGA、PAL)等等。一般而言，可以使用能够实现本文所描述的过程的任何设备来实现根据本发明的系统和技术。
应当理解，该技术的各个组件可以位于分布式网络和/或互联网的远端部分，或者位于专用的安全、不安全和/或加密的系统内。因此，应当理解，系统的组件可以组合成一个或多个设备，或者共同位于分布式网络(诸如电信网络)的特定节点上。从描述中可以理解，并且出于计算效率的原因，系统的组件可以布置在分布式网络内的任何位置，而不会影响系统的操作。而且，组件可以嵌入专用机器中。
此外，应当理解，连接元件的各个链路可以是有线链路或无线链路，或者其任何组合，或者能够将数据往来提供和/或传送到已连接的元件的任何其他已知或之后开发的元件。本文所使用的术语模块可以指能够执行与该元件相关联的功能的任何已知的或之后开发的硬件、软件、固件或其组合。如本文所使用的，术语确定、运算和计算及其变体可互换使用，并且包括任何类型的方法、过程、数学运算或技术。
上述实施例为示例性的。本领域技术人员认识到，存在许多可以替代的或者包括在本文所述的特定示例中的备选组件和实施例，并且这些添加或替代仍然处于本发明的范围内。

Claims (20)

1.一种系统，包括：
通信网络；
客户端计算机设备，其配置成操作企业资源规划系统；
通信服务器，其配置成：
在所述通信网络上，从所述客户端计算机设备接收包括数据集的第一传输，所述数据集对应于由所述客户端计算机设备操作的所述企业资源规划系统中的第一应用程序的至少多个软件操作，其中，每个所述软件操作链接到至少一个数据集；并且
将与每个软件操作相关的所述数据集分类到多个类别中的一个；和
仪表板服务器，其配置成：
使用从所述数据集中选择的一个或多个数据字段，针对定义的时间段，生成用于第二应用程序的测试脚本，其中，在所述测试脚本中定义一个或多个指令，并且将所述一个或多个指令加载到计算机可读存储器中；以及
测试服务器，其配置成：
执行所述测试脚本，以根据所述测试脚本中定义的所述一个或多个指令对所述第二应用程序进行测试，其中，执行所述测试脚本包括：在所述定义的时间段期间，针对所述一个或多个所选数据字段，检索与所述第一应用程序的所述多个类别相对应的所述多个软件操作；并且在所述定义的时间段期间，针对所述一个或多个所选数据字段，执行所述第一应用程序的所述多个软件操作。
2.根据权利要求1所述的系统，其中，所述通信服务器进一步配置成在所述通信网络上向所述客户端计算机设备传输第二传输，所述第二传输包括用于基于与所述企业资源规划系统中的所述第一应用程序相对应的所述数据集，显示所述第二应用程序的所述多个软件操作的测试性能的信息。
3.根据权利要求1所述的系统，其中，所述数据集包括从响应时间、延迟时间、处理时间和使用情况组成的组中选择的元数据。
4.根据权利要求1所述的系统，进一步包括在所述通信网络上联接到所述仪表板服务器的数据库，并且其中，所述数据库配置成存储与对所述多个类别中的一个的每个软件操作相关的所述数据集。
5.根据权利要求1所述的系统，其中，所述数据集包括字段级数据，并且其中，所述字段级数据进一步包括个人识别信息。
6.根据权利要求1所述的系统，其中，所述仪表板服务器进一步配置成基于一个或多个规则，选择从所述数据集中选择的所述一个或多个数据字段的字段值。
7.根据权利要求6所述的系统，其中，所述一个或多个规则基于所述数据集内的表单的定义进行定义，并且存储在数据库中。
8.根据权利要求7所述的系统，其中，所述仪表板服务器进一步配置成基于所述一个或多个数据字段的所述字段值，重建模拟操作所述客户端计算机设备的雇员与在所述企业资源规划系统中的所述第一应用程序的交互所需的第一数据集。
9.根据权利要求8所述的系统，其中，所述仪表板服务器进一步配置成使用所述第一数据集生成用于第二应用程序的测试脚本。
10.根据权利要求9所述的系统，其中，所述测试脚本包括编程代码，所述编程代码通过调用由测试自动化框架导出的子例程或应用程序编程接口，使通过在所述数据集内重建所述第一数据集而生成的测试用例自动化。
11.一种计算机实现的方法，包括：
由服务器在通信网络上从客户端计算机设备接收第一传输，所述第一传输包括与由所述客户端计算机设备操作的企业资源规划系统中的第一应用程序的多个软件操作相对应的数据集，其中，每个所述软件操作链接到至少一个数据集；
由所述服务器将与每个软件操作相关的所述数据集分类到多个类别中的一个；
由所述服务器使用从所述数据集中选择的一个或多个数据字段，针对所定义的时间段生成用于第二应用程序的测试脚本，其中，在所述测试脚本中定义一个或多个指令，并且将所述一个或多个指令加载到计算机可读存储器；以及
由所述服务器执行所述测试脚本，以根据所述测试脚本中定义的所述一个或多个指令对所述第二应用程序进行测试，其中，执行所述测试脚本包括：在所述定义的时间段期间，针对所述一个或多个所选数据字段，由所述服务器检索与所述第一应用程序的所述多个类别相对应的所述多个软件操作；并且在所述定义的时间段期间，针对所述一个或多个所选数据字段，由所述服务器执行所述第一应用程序的所述多个软件操作。
12.根据权利要求11所述的计算机实现的方法，进一步包括：
由所述服务器在所述通信网络上向所述客户端计算机设备传输第二传输，所述第二传输包括用于基于与所述企业资源规划系统中的所述第一应用程序相对应的所述数据集，显示所述第二应用程序的所述多个软件操作的测试性能的信息。
13.根据权利要求11所述的计算机实现的方法，其中，所述数据集包括从响应时间、延迟时间、处理时间和使用情况组成的组中选择的元数据。
14.根据权利要求11所述的计算机实现的方法，其中，与对所述多个类别中的一个的每个软件操作相关的所述数据集存储在数据库中。
15.根据权利要求11所述的计算机实现的方法，其中，所述数据集包括字段级数据，并且其中，所述字段级数据进一步包括个人识别信息。
16.根据权利要求11所述的计算机实现的方法，进一步包括基于一个或多个规则，由所述服务器选择从所述数据集中选择的所述一个或多个数据字段的字段值。
17.根据权利要求16所述的计算机实现的方法，其中，所述一个或多个规则基于所述数据集内的表单的定义进行定义，并且存储在数据库中。
18.根据权利要求17所述的计算机实现的方法，进一步包括基于所述一个或多个数据字段的所述字段值，由所述服务器重建模拟操作所述客户端计算机设备的雇员与在所述企业资源规划系统中的所述第一应用程序的交互所需的第一数据集。
19.根据权利要求18所述的计算机实现的方法，进一步包括由所述服务器使用所述第一数据集生成用于第二应用程序的所述测试脚本。
20.根据权利要求19所述的计算机实现的方法，其中，所述测试脚本包括编程代码，所述编程代码通过调用由测试自动化框架导出的子例程或应用程序编程接口，使通过在所述数据集内重建所述第一数据集而生成的测试用例自动化。
CN201880022953.4A 2017-03-31 2018-03-29 Web应用程序的测试方法和系统 Pending CN110603525A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762479911P 2017-03-31 2017-03-31
US62/479,911 2017-03-31
PCT/US2018/025053 WO2018183620A1 (en) 2017-03-31 2018-03-29 Methods and systems for testing web applications

Publications (1)

Publication Number Publication Date
CN110603525A true CN110603525A (zh) 2019-12-20

Family

ID=63669391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880022953.4A Pending CN110603525A (zh) 2017-03-31 2018-03-29 Web应用程序的测试方法和系统

Country Status (9)

Country Link
US (2) US10719426B2 (zh)
EP (1) EP3602282A4 (zh)
JP (1) JP2020515985A (zh)
CN (1) CN110603525A (zh)
AU (1) AU2018244771A1 (zh)
BR (1) BR112019020226A2 (zh)
MX (1) MX2019011590A (zh)
SG (1) SG11201908755XA (zh)
WO (1) WO2018183620A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111752849A (zh) * 2020-07-06 2020-10-09 中国工商银行股份有限公司 针对应用程序的验证方法和装置
CN112181537A (zh) * 2020-09-27 2021-01-05 朱领军 一种在计算机程序中调用api的方法及系统
CN113515452A (zh) * 2021-06-18 2021-10-19 深圳奥哲网络科技有限公司 应用的自动测试方法、系统、电子设备及存储介质
CN114490315A (zh) * 2021-12-16 2022-05-13 北京志凌海纳科技有限公司 Web应用程序自动化测试方法和装置
CN116303101A (zh) * 2023-05-19 2023-06-23 建信金融科技有限责任公司 测试案例生成方法、装置和设备

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10440153B1 (en) 2016-02-08 2019-10-08 Microstrategy Incorporated Enterprise health score and data migration
US11283900B2 (en) 2016-02-08 2022-03-22 Microstrategy Incorporated Enterprise performance and capacity testing
US11182056B2 (en) * 2018-01-31 2021-11-23 Salesforce.Com, Inc. Application navigation
US10417115B1 (en) * 2018-04-27 2019-09-17 Amdocs Development Limited System, method, and computer program for performing production driven testing
CN109446047B (zh) * 2018-10-30 2022-03-25 武汉斗鱼网络科技有限公司 性能测试平台脚本存储方法、装置、设备及存储介质
CN109753438A (zh) * 2019-01-14 2019-05-14 上海挚极信息科技有限公司 基于jmeter的性能测试平台及方法
US10769058B1 (en) 2019-05-30 2020-09-08 Capital One Services, Llc Generic serverless performance testing framework
US11637748B2 (en) 2019-08-28 2023-04-25 Microstrategy Incorporated Self-optimization of computing environments
US11210189B2 (en) 2019-08-30 2021-12-28 Microstrategy Incorporated Monitoring performance of computing systems
US11354216B2 (en) 2019-09-18 2022-06-07 Microstrategy Incorporated Monitoring performance deviations
US11360881B2 (en) 2019-09-23 2022-06-14 Microstrategy Incorporated Customizing computer performance tests
US11030080B2 (en) * 2019-09-23 2021-06-08 Bank Of America Corporation System for optimization of data loading in a software code development platform
US11138097B2 (en) * 2019-09-24 2021-10-05 Aetna Inc. Automated web testing framework for generating and maintaining test scripts
US11438231B2 (en) 2019-09-25 2022-09-06 Microstrategy Incorporated Centralized platform management for computing environments
CN110825607A (zh) * 2019-11-13 2020-02-21 郑州西亚斯学院 一种基于大数据的计算机网络测试系统
US10936462B1 (en) * 2020-04-29 2021-03-02 Split Software, Inc. Systems and methods for real-time application anomaly detection and configuration
US10901882B1 (en) * 2020-05-22 2021-01-26 Saibalesh Mukhopadhyay Automated determination of software testing resources
US11249828B1 (en) * 2020-12-04 2022-02-15 Sap Se Simulation service providing a generic API endpoint
CN112486791A (zh) * 2020-12-14 2021-03-12 政采云有限公司 一种服务器集群的性能测试方法、装置及设备
US11736578B2 (en) * 2021-04-12 2023-08-22 Rakuten Mobile, Inc. Managing a software application
CN113556269B (zh) * 2021-07-29 2023-04-28 中国电力科学研究院有限公司 Sap客户端性能测试方法、系统、电子设备及存储介质
US11645190B1 (en) * 2022-04-13 2023-05-09 Dell Products, L.P. Compliance check code generation for implemented product code from a codified user experience design

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040073662A1 (en) * 2001-01-26 2004-04-15 Falkenthros Henrik Bo System for providing services and virtual programming interface
US20050160104A1 (en) * 2004-01-20 2005-07-21 Datasource, Inc. System and method for generating and deploying a software application
US20130305223A1 (en) * 2012-05-08 2013-11-14 Siemens Industry, Inc. Dashboard for Architectural Governance
US20140040667A1 (en) * 2012-07-31 2014-02-06 Meidan Zemer Enhancing test scripts
CN105793874A (zh) * 2013-10-02 2016-07-20 沃拉斯堤技术解决方案公司 用于管理团体信息的方法和系统
JP2016134020A (ja) * 2015-01-20 2016-07-25 株式会社日立製作所 テストシナリオを用いたテスト装置および方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7178106B2 (en) * 1999-04-21 2007-02-13 Sonic Solutions, A California Corporation Presentation of media content from multiple media sources
US6907546B1 (en) * 2000-03-27 2005-06-14 Accenture Llp Language-driven interface for an automated testing framework
US7231606B2 (en) * 2000-10-31 2007-06-12 Software Research, Inc. Method and system for testing websites
US20020194329A1 (en) * 2001-05-02 2002-12-19 Shipley Company, L.L.C. Method and system for facilitating multi-enterprise benchmarking activities and performance analysis
US7017162B2 (en) * 2001-07-10 2006-03-21 Microsoft Corporation Application program interface for network software platform
US7028225B2 (en) * 2001-09-25 2006-04-11 Path Communications, Inc. Application manager for monitoring and recovery of software based application processes
DE60218013T2 (de) 2001-12-13 2007-11-22 Sony Corp. System und Verfahren zur Zugriffsteuerung bei Speichernetzen
US7272822B1 (en) * 2002-09-17 2007-09-18 Cisco Technology, Inc. Automatically generating software tests based on metadata
US20070168971A1 (en) * 2005-11-22 2007-07-19 Epiphany, Inc. Multi-tiered model-based application testing
US20070150599A1 (en) 2005-12-22 2007-06-28 International Business Machines Corporation Generation of resource-usage profiles for application sessions of a number of client computing devices
US7681079B2 (en) * 2007-02-26 2010-03-16 Oracle International Corporation Diagnostic test sets
US8260603B2 (en) * 2008-09-30 2012-09-04 Hewlett-Packard Development Company, L.P. Scaling a prediction model of resource usage of an application in a virtual environment
JP4903279B2 (ja) * 2010-02-05 2012-03-28 株式会社野村総合研究所 動作検証装置、動作検証方法、および動作検証プログラム
US8869161B2 (en) 2010-11-18 2014-10-21 Fujitsu Limited Characterization and assignment of workload requirements to resources based on predefined categories of resource utilization and resource availability
US9419884B1 (en) * 2012-12-28 2016-08-16 Emc Corporation Intelligent automated testing method for restful web services
JP6439309B2 (ja) * 2014-07-31 2018-12-19 日本電気株式会社 データ処理システム、データ処理方法およびデータ処理プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040073662A1 (en) * 2001-01-26 2004-04-15 Falkenthros Henrik Bo System for providing services and virtual programming interface
US20050160104A1 (en) * 2004-01-20 2005-07-21 Datasource, Inc. System and method for generating and deploying a software application
US20130305223A1 (en) * 2012-05-08 2013-11-14 Siemens Industry, Inc. Dashboard for Architectural Governance
US20140040667A1 (en) * 2012-07-31 2014-02-06 Meidan Zemer Enhancing test scripts
CN105793874A (zh) * 2013-10-02 2016-07-20 沃拉斯堤技术解决方案公司 用于管理团体信息的方法和系统
JP2016134020A (ja) * 2015-01-20 2016-07-25 株式会社日立製作所 テストシナリオを用いたテスト装置および方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111752849A (zh) * 2020-07-06 2020-10-09 中国工商银行股份有限公司 针对应用程序的验证方法和装置
CN111752849B (zh) * 2020-07-06 2023-09-05 中国工商银行股份有限公司 针对应用程序的验证方法和装置
CN112181537A (zh) * 2020-09-27 2021-01-05 朱领军 一种在计算机程序中调用api的方法及系统
CN112181537B (zh) * 2020-09-27 2021-11-19 深圳市集站科技有限公司 一种在计算机程序中调用api的方法及系统
CN113515452A (zh) * 2021-06-18 2021-10-19 深圳奥哲网络科技有限公司 应用的自动测试方法、系统、电子设备及存储介质
CN114490315A (zh) * 2021-12-16 2022-05-13 北京志凌海纳科技有限公司 Web应用程序自动化测试方法和装置
CN114490315B (zh) * 2021-12-16 2022-09-13 北京志凌海纳科技有限公司 Web应用程序自动化测试方法和装置
CN116303101A (zh) * 2023-05-19 2023-06-23 建信金融科技有限责任公司 测试案例生成方法、装置和设备
CN116303101B (zh) * 2023-05-19 2023-08-15 建信金融科技有限责任公司 测试案例生成方法、装置和设备

Also Published As

Publication number Publication date
MX2019011590A (es) 2019-11-08
SG11201908755XA (en) 2019-10-30
US20180285246A1 (en) 2018-10-04
US20200349058A1 (en) 2020-11-05
WO2018183620A1 (en) 2018-10-04
AU2018244771A1 (en) 2019-10-17
BR112019020226A2 (pt) 2020-04-22
US10719426B2 (en) 2020-07-21
EP3602282A1 (en) 2020-02-05
EP3602282A4 (en) 2021-01-13
JP2020515985A (ja) 2020-05-28

Similar Documents

Publication Publication Date Title
US10719426B2 (en) Methods and systems for testing web applications
US8938719B2 (en) System and method for performance assurance of applications
US8645326B2 (en) System to plan, execute, store and query automation tests
CN105308577B (zh) 用于提供负载测试服务的方法、系统和计算机可读存储器
US10540053B2 (en) Methods and systems for managing community information
EP2572294B1 (en) System and method for sql performance assurance services
US20070282876A1 (en) Method for service offering comparitive it management activity complexity benchmarking
US20180018680A1 (en) Product test orchestration
US20130159326A1 (en) Solution monitoring system
GB2604007A (en) Software upgrade stability recommendations
US9195374B1 (en) Automated statistical graphing tool
AU2004217337A1 (en) E-business operations measurements reporting
US8527620B2 (en) E-business competitive measurements
Wang et al. Application Monitoring for bug reproduction in web-based applications
CA2524835C (en) Method and apparatus for a database workload simulator
US9128640B2 (en) Software product consistency assessment
US20080066005A1 (en) Systems and Methods of Interfacing with Enterprise Resource Planning Systems
DE SILVA Sales and inventory management system for imperial auto care
Ayangbekun Oluwafemi et al. Design and Development of an Online Assets Inventory Management System (AIMS)
Phung et al. A Method for Performance Change Assessment Before a DBMS Upgrade

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191220