JP2017539031A - テスト実行からのテスト検証の分離 - Google Patents
テスト実行からのテスト検証の分離 Download PDFInfo
- Publication number
- JP2017539031A JP2017539031A JP2017530755A JP2017530755A JP2017539031A JP 2017539031 A JP2017539031 A JP 2017539031A JP 2017530755 A JP2017530755 A JP 2017530755A JP 2017530755 A JP2017530755 A JP 2017530755A JP 2017539031 A JP2017539031 A JP 2017539031A
- Authority
- JP
- Japan
- Prior art keywords
- test
- data
- verification
- data points
- test execution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3692—Test management for test results analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3604—Software analysis for verifying properties of programs
- G06F11/3612—Software analysis for verifying properties of programs by runtime analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3604—Software analysis for verifying properties of programs
- G06F11/3608—Software analysis for verifying properties of programs using formal methods, e.g. model checking, abstract interpretation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Debugging And Monitoring (AREA)
Abstract
Description
アプリケーションテストは、テスト対象アプリケーション(「AUT」: Application Under Test)に関する情報を得るために実施されることがある。例えば、アプリケーションテストは、AUTが何らかのエラーその他の欠陥を含むか否かを判断するために実施されることがある。アプリケーションテストには、様々な技術を使用可能であるが、基本的アプリケーションテスト手順は、2つの主要なタイプのテストステップを含み得る。すなわち、(1)テスト対象アプリケーション(「AUT」)を操作し、駆動し、または照会する動作ステップ、及び(2)動作ステップに関連する期待される結果を検証する検証ステップである。
下記の詳細な説明では、添付の図面が参照される。図面、及び下記の説明では、同じ部品または類似の部品を指し示すために、出来る限り、同じ参照符号が使用される。本文書では、複数の例が説明されるが、種々の修正、変更、及び他の実施形態が可能である。したがって、下記の詳細な説明は、開示例を制限しない。むしろ、開示例の適切な範囲は、添付の特許請求の範囲により規定されることがある。
Claims (15)
- テスト実行からテスト検証を分離するためのシステムであって、
テスト対象アプリケーションのテスト実行中にデータ点を取り込むデータ取込みエンジンであって、前記データ点が、アプリケーションデータ、テストデータ、及び環境データを含む、データ取込みエンジンと、
前記データ点の各々を前記テスト対象アプリケーションの特定のテスト実行状態と相関付けるデータ相関付けエンジンであって、前記データ点の各々が、前記特定のテスト実行状態の間に発生した一連のイベントに基づいて相関付けられる、データ相関付けエンジンと、
前記データ点の相関性に基づいて、前記テスト対象アプリケーションの実際の挙動を前記特定のテスト実行状態から分離して検証するテスト検証エンジンと
を含むシステム。 - 前記アプリケーションデータは、前記テスト対象アプリケーションの様々なレベルに関連するデータを含み、前記レベルは、ユーザインタフェースレベル、コードレベル、ネットワーク通信レベル、及びデータベースレベルのうちの少なくとも1つを含み、
前記テストデータは、前記特定のテスト実行状態に関連するデータを含み、前記テストデータは、前記テスト対象アプリケーション、前記特定のテスト実行状態、及び、前記特定のテスト実行状態の間に実施されたテスト動作に関連するメタデータを含み、
前記環境データは、前記テスト対象アプリケーションの環境に関連するデータを含み、前記環境データは、前記テスト対象アプリケーションを実行するハードウェア、及びプログラムに関連するメタデータを含む、請求項1に記載のシステム。 - 前記データ相関付けエンジンは、
テスト実行の種々のテストステップをデータ構造のバックボーンとして割り当て、
割り当てられたテストステップのうちの第1のテストステップから、有向エッジにより前記データ点を接続し、前記データ点が、特定のデータ点に関連するタイムスタンプと前記第1のテストステップに関連するタイムスタンプとの間の時間の長さに基づいて接続され、
前記アプリケーションデータ、前記テストデータ、及び前記環境データを、前記バックボーンに接続された頂点として割り当て、
前記頂点間の関係のタイプを識別するためのタグを前記有向エッジに割り当てること
によって、前記データ点の各々を相関付ける、請求項2に記載のシステム。 - 前記テスト検証エンジンは、前記特定のテスト実行状態の後に受信した検証入力に基づいて、前記実際の挙動を検証する、請求項1に記載のシステム。
- 前記データ相関付けエンジンは、有効非巡回グラフを生成することによって前記データ点の各々を相関付け、前記有効非巡回グラフは、前記データ点に関連するタイムスタンプに基づいて生成され、
前記テスト検証エンジンは、前記検証入力を有向非巡回グラフ検証クエリーに変換し、前記有向非巡回グラフ検証クエリーは、ドメイン固有言語を使用して変換され、
前記テスト検証エンジンは、前記有向非巡回グラフ検証クエリーを使用して、前記有向非巡回グラフを照会する、請求項4に記載のシステム。 - 前記特定のテスト実行状態は、第1の特定のテスト実行状態であり、
前記有向非巡回グラフ検証クエリーは、第2の特定のテスト実行状態よりも前に記憶装置に記憶され、
前記第2の特定のテスト実行状態により、前記クエリーの結果が変化する場合、警告が生成される、請求項5に記載のシステム。 - 検証が記憶された検証レポジトリをさらに含み、
前記テスト検証エンジンは、特定の時点で前記検証を自動的に実行することにより、前記テスト対象アプリケーションの前記実際の挙動を検証する、請求項1に記載のシステム。 - 前記テスト検証エンジンは、前記検証の実行に関する報告を自動的に行い、
前記特定の時点が、スケジュールに基づいている、請求項7に記載のシステム。 - 前記特定のテスト実行状態に対応するテスト実行に際し、前記記憶された検証の各々は、前記テスト実行よりも前、または前記テスト実行よりも後の何れかにおいて定義される、請求項7に記載のシステム。
- コンピュータで実施される方法であって、
プロセッサにより、テスト対象アプリケーションのテスト実行中にデータ点を取り込み、前記データ点が、前記テスト実行、前記テスト対象アプリケーション、及び前記テスト対象アプリケーションの環境に関連するメタデータを含み、
前記プロセッサにより、コードの第1の部分から、前記データ点の各々を複数のタイプのうちの少なくとも1つに分類するための第1の要求を受信し、
前記第1の要求の受信に応答し、前記プロセッサにより、前記データ点の各々を複数のタイプのうちの少なくとも1つに分類し、
前記プロセッサにより、コードの第2の部分から、前記取り込まれたデータ点の各々を前記テスト対象アプリケーションの前記テスト実行と相関付けるための第2の要求を受信し、
前記第2の要求の受信に応答し、前記プロセッサにより、前記取り込まれたデータ点の各々を前記テスト対象アプリケーションの前記テスト実行と相関付けることを含み、
前記取り込まれたデータ点の各々を相関付けることは、
前記プロセッサにより、バックボーンを含むデータ構造を生成し、前記バックボーンが、前記複数のタイプのうちの第1のタイプとして分類されたデータ点を含み、
前記プロセッサにより、残りのデータ点に関連するタイムスタンプに基づいて、前記残りのデータ点を有向エッジにより接続し、前記残りのデータ点が、前記第1のタイプとして分類されなかったデータ点であり、
頂点間の関係のタイプを識別するためのタグを前記有向エッジに割り当てること
を含む、コンピュータで実施される方法。 - 前記プロセッサにより、コードの第3の部分から、前記テスト対象アプリケーションの実際の挙動を検証するための第3の要求を受信し、前記第3の要求が、前記テスト実行を実施するテスト構成要素とは異なる検証構成要素から受信され、
前記第3の要求の受信に応答し、検証レポジトリに対してクエリーを行い、前記クエリーに対応する前記相関付けられた取り込まれたデータ点の少なくとも一部を取得すること
を含む、請求項10に記載のコンピュータで実施される方法。 - 前記クエリーに対応する前記相関付けられた取り込まれたデータ点の少なくとも一部を受信し、
前記クエリーに対応する前記相関付けられた取り込まれたデータ点の少なくとも一部の表示を表示装置上に生成すること
を含む、請求項11に記載のコンピュータで実施される方法。 - 前記取り込まれたデータ点の各々を相関付けることは、有向非巡回グラフを生成することを含む、請求項11に記載のコンピュータで実施される方法。
- 命令を含む非一時的コンピュータ読み取り可能な記憶媒体であって、前記命令が、プロセッサによって実行されたときに、前記プロセッサに、
記憶装置に記憶されたデータ構造を管理させ、前記データ構造が、
テスト対象アプリケーションの第1のテスト実行に関するテストステップを含むバックボーンであって、前記バックボーンの各テストステップが、有向エッジにより、前記テスト実行の間に取り込まれたデータ点に接続され、前記バックボーンの各テストステップが、前記データ点に関連する一連のイベントに基づいて接続されている、バックボーンと、
前記バックボーンに接続された頂点であって、前記頂点が、前記テスト実行に関連するメタデータによりモデル化されている、頂点と、
前記有向エッジに関連するタグであって、前記タグが、前記頂点間の関係のタイプを識別する、タグと
を含み、
前記データ構造を第2のテスト実行に基づいて更新させる、非一時的コンピュータ読み取り可能な記憶媒体。 - 前記データ構造の管理は、
前記データ構造をアクセスするためのクエリーを受信し、
前記クエリーに対応する前記データ構造からの情報を送信すること
を含み、前記クエリーは、前記テスト対象アプリケーションの実際の挙動を検証するための検証情報を含む、請求項9に記載の非一時的コンピュータ読み取り可能な記憶媒体。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2014/069290 WO2016093803A1 (en) | 2014-12-09 | 2014-12-09 | Separating test verifications from test executions |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017539031A true JP2017539031A (ja) | 2017-12-28 |
Family
ID=56107824
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017530755A Pending JP2017539031A (ja) | 2014-12-09 | 2014-12-09 | テスト実行からのテスト検証の分離 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10534700B2 (ja) |
EP (1) | EP3230869A4 (ja) |
JP (1) | JP2017539031A (ja) |
CN (1) | CN107003931B (ja) |
WO (1) | WO2016093803A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10528456B2 (en) * | 2015-05-04 | 2020-01-07 | Micro Focus Llc | Determining idle testing periods |
US10365995B2 (en) | 2015-08-04 | 2019-07-30 | Entit Software Llc | Composing future application tests including test action data |
US10509719B2 (en) | 2015-09-08 | 2019-12-17 | Micro Focus Llc | Automatic regression identification |
US10545857B2 (en) | 2017-08-24 | 2020-01-28 | Salesforce.Com, Inc. | Controlling executions of synchronous and/or non-synchronous operations with asynchronous messages |
CN109254909B (zh) * | 2018-08-06 | 2021-11-23 | 四川蜀天梦图数据科技有限公司 | 一种测试用大图生成方法和系统 |
US10942837B2 (en) | 2019-05-13 | 2021-03-09 | Sauce Labs Inc. | Analyzing time-series data in an automated application testing system |
US11675689B2 (en) * | 2021-03-17 | 2023-06-13 | Micro Focus Llc | Hybrid test scripts for transitioning between traffic events and user interface events |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04336629A (ja) * | 1991-05-14 | 1992-11-24 | Shikoku Nippon Denki Software Kk | トラップレポート解析ツール |
JPH0883197A (ja) * | 1994-06-30 | 1996-03-26 | Tandem Comput Inc | ソフトウエアプログラムをデバッグする方法およびコンピュータシステム |
JP2008203964A (ja) * | 2007-02-16 | 2008-09-04 | Nec Corp | 因果関係分析装置、因果関係分析方法及びプログラム |
JP2008537222A (ja) * | 2005-04-15 | 2008-09-11 | マイクロソフト コーポレーション | ソフトウェアプログラムに関するパフォーマンス分析の方法と装置 |
JP2009134673A (ja) * | 2007-12-03 | 2009-06-18 | Nec Corp | Gui画面操作シーケンス検証装置、方法、及び、プログラム |
JP2010218452A (ja) * | 2009-03-18 | 2010-09-30 | Toshiba Corp | アプリケーションのテストを行う端末装置、及びアプリケーションのテスト方法 |
JP2013045326A (ja) * | 2011-08-25 | 2013-03-04 | Kyoto Univ | 関係性グラフデータベースシステム |
US20140282425A1 (en) * | 2013-03-18 | 2014-09-18 | Microsoft Corporation | Application testing and analysis |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7917895B2 (en) * | 2001-07-27 | 2011-03-29 | Smartesoft, Inc. | Automated software testing and validation system |
US7398469B2 (en) * | 2004-03-12 | 2008-07-08 | United Parcel Of America, Inc. | Automated test system for testing an application running in a windows-based environment and related methods |
US7275231B2 (en) * | 2004-09-15 | 2007-09-25 | Fujitsu Limited | High level validation of designs and products |
US7996814B1 (en) * | 2004-12-21 | 2011-08-09 | Zenprise, Inc. | Application model for automated management of software application deployments |
US20060248405A1 (en) * | 2005-03-21 | 2006-11-02 | Ponczak Joseph M | Method for automating unit test development |
US20070101196A1 (en) * | 2005-11-01 | 2007-05-03 | Rogers William A | Functional testing and verification of software application |
US8024299B2 (en) * | 2006-10-20 | 2011-09-20 | Oracle International Corporation | Client-driven functionally equivalent database replay |
US20090083325A1 (en) * | 2007-09-24 | 2009-03-26 | Infosys Technologies, Ltd. | System and method for end to end testing solution for middleware based applications |
WO2010044797A1 (en) | 2008-10-16 | 2010-04-22 | Hewlett-Packard Development Company, L.P. | Performance analysis of applications |
US8615739B2 (en) * | 2009-04-23 | 2013-12-24 | Hewlett-Packard Development Company, L.P. | Resource monitoring |
US8423962B2 (en) * | 2009-10-08 | 2013-04-16 | International Business Machines Corporation | Automated test execution plan generation |
US8756586B2 (en) * | 2009-12-10 | 2014-06-17 | Tata Consultancy Services Limited | System and method for automated performance testing in a dynamic production environment |
US8370809B2 (en) * | 2010-03-18 | 2013-02-05 | Salesforce.Com, Inc. | System, method and computer program product for automated test case generation and scheduling |
US8490055B2 (en) * | 2010-09-17 | 2013-07-16 | Ca, Inc. | Generating dependency maps from dependency data |
US8997056B2 (en) * | 2010-12-15 | 2015-03-31 | Hewlett-Packard Development Company, L. P. | Directed graphs pertaining to read/write operations |
US8473916B2 (en) * | 2011-01-25 | 2013-06-25 | Verizon Patent And Licensing Inc. | Method and system for providing a testing framework |
US8826084B1 (en) * | 2011-09-07 | 2014-09-02 | Innovative Defense Technologies, LLC | Method and system for implementing automated test and retest procedures |
US8418000B1 (en) * | 2012-03-13 | 2013-04-09 | True Metrics LLC | System and methods for automated testing of functionally complex systems |
US8949795B2 (en) * | 2012-08-23 | 2015-02-03 | International Business Machines Corporation | Generating test cases for covering enterprise rules and predicates |
US8839201B2 (en) * | 2012-10-12 | 2014-09-16 | Vmware, Inc. | Capturing test data associated with error conditions in software item testing |
US9645916B2 (en) * | 2014-05-30 | 2017-05-09 | Apple Inc. | Performance testing for blocks of code |
US9727447B1 (en) * | 2015-01-16 | 2017-08-08 | Amdocs Software Systems Limited | System, method, and computer program for automated exploratory testing |
-
2014
- 2014-12-09 WO PCT/US2014/069290 patent/WO2016093803A1/en active Application Filing
- 2014-12-09 JP JP2017530755A patent/JP2017539031A/ja active Pending
- 2014-12-09 CN CN201480083887.3A patent/CN107003931B/zh active Active
- 2014-12-09 EP EP14907997.2A patent/EP3230869A4/en not_active Withdrawn
- 2014-12-09 US US15/508,710 patent/US10534700B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04336629A (ja) * | 1991-05-14 | 1992-11-24 | Shikoku Nippon Denki Software Kk | トラップレポート解析ツール |
JPH0883197A (ja) * | 1994-06-30 | 1996-03-26 | Tandem Comput Inc | ソフトウエアプログラムをデバッグする方法およびコンピュータシステム |
JP2008537222A (ja) * | 2005-04-15 | 2008-09-11 | マイクロソフト コーポレーション | ソフトウェアプログラムに関するパフォーマンス分析の方法と装置 |
JP2008203964A (ja) * | 2007-02-16 | 2008-09-04 | Nec Corp | 因果関係分析装置、因果関係分析方法及びプログラム |
JP2009134673A (ja) * | 2007-12-03 | 2009-06-18 | Nec Corp | Gui画面操作シーケンス検証装置、方法、及び、プログラム |
JP2010218452A (ja) * | 2009-03-18 | 2010-09-30 | Toshiba Corp | アプリケーションのテストを行う端末装置、及びアプリケーションのテスト方法 |
JP2013045326A (ja) * | 2011-08-25 | 2013-03-04 | Kyoto Univ | 関係性グラフデータベースシステム |
US20140282425A1 (en) * | 2013-03-18 | 2014-09-18 | Microsoft Corporation | Application testing and analysis |
Also Published As
Publication number | Publication date |
---|---|
US10534700B2 (en) | 2020-01-14 |
US20170293551A1 (en) | 2017-10-12 |
WO2016093803A1 (en) | 2016-06-16 |
EP3230869A1 (en) | 2017-10-18 |
CN107003931A (zh) | 2017-08-01 |
CN107003931B (zh) | 2021-07-02 |
EP3230869A4 (en) | 2018-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110928772B (zh) | 一种测试方法及装置 | |
Tomassi et al. | Bugswarm: Mining and continuously growing a dataset of reproducible failures and fixes | |
US10552301B2 (en) | Completing functional testing | |
US9753826B2 (en) | Providing fault injection to cloud-provisioned machines | |
Chen | Path-based failure and evolution management | |
CN107003931B (zh) | 将测试验证从测试执行分离 | |
US8719784B2 (en) | Assigning runtime artifacts to software components | |
US11263071B2 (en) | Enabling symptom verification | |
US10509719B2 (en) | Automatic regression identification | |
US11436133B2 (en) | Comparable user interface object identifications | |
US10528456B2 (en) | Determining idle testing periods | |
Qin et al. | Testmig: Migrating gui test cases from ios to android | |
US10365995B2 (en) | Composing future application tests including test action data | |
KR20170052668A (ko) | 데이터 구동 테스트 프레임워크 | |
US11119899B2 (en) | Determining potential test actions | |
US20150020046A1 (en) | Logging and profiling content space data and coverage metric self-reporting | |
WO2024118188A1 (en) | Computer application error root cause diagnostic tool | |
US20220244975A1 (en) | Method and system for generating natural language content from recordings of actions performed to execute workflows in an application | |
Marra | A live debugging approach for big data processing applications | |
CN114064510A (zh) | 功能测试方法、装置、电子设备和存储介质 | |
WO2017105473A1 (en) | Test execution comparisons | |
CN113360138A (zh) | 操作日志处理方法、装置、电子设备和存储介质 | |
KR102202923B1 (ko) | 공유 모듈 환경 내의 모듈 특정 트레이싱 기법 | |
WO2024045128A1 (zh) | 人工智能模型的展示方法、装置、电子设备及存储介质 | |
JP2024005179A (ja) | インフラ要件テンプレート管理装置、インフラ要件テンプレート管理システム及びインフラ要件テンプレート管理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180814 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180821 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20181107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190111 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190618 |