JP2007133870A - コンピューティング・システムのオートノミック能力を測定するための方法、システム及びコンピュータ・プログラム - Google Patents
コンピューティング・システムのオートノミック能力を測定するための方法、システム及びコンピュータ・プログラム Download PDFInfo
- Publication number
- JP2007133870A JP2007133870A JP2006299658A JP2006299658A JP2007133870A JP 2007133870 A JP2007133870 A JP 2007133870A JP 2006299658 A JP2006299658 A JP 2006299658A JP 2006299658 A JP2006299658 A JP 2006299658A JP 2007133870 A JP2007133870 A JP 2007133870A
- Authority
- JP
- Japan
- Prior art keywords
- recovery
- computing system
- period
- autonomic
- disturbance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
- G06F11/3419—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment by assessing time
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
- G06F11/3428—Benchmarking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3692—Test management for test results analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Debugging And Monitoring (AREA)
- Test And Diagnosis Of Digital Computers (AREA)
Abstract
本発明はコンピューティング・システムのオートノミック能力を定量的に測定することに関する。
【解決手段】
本発明の実施例に従う方法は、コンピューティング・システムにワークロードをかけるステップと、コンピューティング・システムに外乱を注入するステップと、その注入された外乱に応答してコンピューティング・システムが問題を検出したことを通知するステップと、その検出された問題に対処する復旧手続きを開始するのに必要な時間量を決定するステップと、その復旧手続きを実行するのに必要な時間量を決定するステップとを含む。
【選択図】図3
Description
1.非オートノミック ― 手動障害検出及び手動復旧開始。例えば、データベース・システムのオペレータが、特定のプロセスに関する多くの苦情を受取ったことをヘルプ・デスクから知らされる。オペレータは、応答の際、そのデータベースに於ける望ましくないプロセスを終了させる。
2.完全オートノミック ― オートノミック障害検出及びオートノミック復旧開始。例えば、オートノミック・マネジャはシステム中に望ましくないプロセスがあることを調べ、人手の介入なしにそのプロセスを自動的に終了させる。
3.部分的オートノミック ― オートノミック障害検出及び手動復旧開始。例えば、オートノミック・マネジャシステム中に望ましくないプロセスがあることを調べ、警告やメッセージを送り出す。人間のオペレータはコンソール上または紙上の警告やメッセージを受取ることによりその問題を検出する。これに応答して、そのオペレータはその警告やメッセージで提供される情報に基づいてその望ましくないプロセスを突き止め、そのプロセスを終了させる。
問題1: 検出された問題に関しオペレータに警告やメッセージを提供し、その検出された問題をどのように直すかについての情報を提供する部分的オートノミック・システムを扱うには柔軟性がある。このタイプの部分的オートノミック・システムは、例えば、警告やメッセージが紙や他のコミュニケーション装置を介しデータベース管理者に知らされるような多くのデータベース・システムに於いて優位を占めている。一定の検出期間32(例えば、復旧平均時間(MTTR)―― 障害を修復するのにかかった平均時間から導き出される)を使用するというのは、警告やメッセージを自動的に提供することが、問題を検出するための時間の長さを大きくカットするから、このタイプの状況には働かない。この点で、部分的オートノミック機能が存在する中で一定の検出期間32を使用すると、AC性能の、正確な若しくは反復可能な、あるいはその両方の測定を提供しない。
問題2: もしシステムが完全オートノミック自己修復システムであれば、ベンチマーク・ドライバ12は、問題の検出及び復旧のタイミングを制御することはない。一例を挙げればデータベース・システムに於けるRAID5ディスクの耐障害性である。こそのディスク・サブシステムはディスク故障を自動的に検出しその故障したディスクを自動的に迂回する。
前記コンピューティング・システムに外乱を注入するステップと、前記注入された外乱に応答して前記コンピューティング・システムが問題を検出したことを通知するステップと、前記検出された問題に対処する復旧手続きを開始するのに必要な時間量を決定するステップと、前記復旧手続きを実行するのに必要な時間量を決定するステップとを含む方法を指向する。
102 ベンチマーク・ドライバ
104 テスト下のシステム(SUT)
106 ワークロード
108 応答
110 ベンチマーク結果
112 外乱
114 コールバック・システム
118 警告又はメッセージ
120 外乱注入方法
122 注入スロット
124 始動期間
126 注入期間
128 検出期間
130 復旧開始期間
132 復旧期間
Claims (20)
- コンピューティング・システムのオートノミック能力を測定する方法にして、
前記コンピューティング・システムにワークロードをかけるステップと、
前記コンピューティング・システムに外乱を注入するステップと、
前記注入された外乱(disturbance)に応答して前記コンピューティング・システムが問題を検出したことを通知するステップと、
前記検出された問題に対処する復旧手続きを開始するのに必要な時間量を決定するステップと、
前記復旧手続きを実行するのに必要な時間量を決定するステップと
を含む方法。 - 前記外乱の注入から前記通知までの時間が検出期間を含む、請求項1記載の方法。
- 前記通知をするステップが更に
前記注入された外乱に応答して生じる問題を示すために前記コンピューティング・システムの出力をモニターするステップを含む、請求項2に記載の方法。 - 前記検出された問題に対処するための復旧手続きを開始するのに必要な時間が復旧開始期間を含む、請求項1に記載の方法。
- 前記復旧開始期間が、前記コンピューティング・システムに注入される外乱に依存する、請求項4に記載の方法。
- 前記復旧手続きを実行するのに必要な時間量が、復旧期間を含む請求項4に記載の方法。
- 前記復旧開始期間が、前記通知に応答しての人手による介在をシミュレートする予め定義した時間遅延を表す、請求項4に記載の方法。
- 前記検出された問題に対処するために前記復旧手続きを人間が開始するのに必要な時間量を分析することによって前記復旧開始期間を引き出すステップを更に含む、請求項7に記載の方法。
- 前記外乱の注入から前記通知の受け取りまでの時間が検出期間を含み、
前記検出された問題に対処するための復旧手続きを開始するのに必要な時間量が復旧開始期間を含み、
前記開始された復旧手続きを実行するのに必要な時間量が復旧期間を含み、且つ
前記検出期間、前記復旧開始期間及び前記復旧期間が前記コンピューティング・システムのオートノミック能力の測定を提供する、請求項1に記載の方法。 - 少なくとも前記検出期間、前記復旧開始期間、及び前記復旧期間を後の分析のため記録するステップを更に含む請求項9に記載の方法。
- 前記コンピューティング・システムは非オートノミック・コンピューティング・システム、完全オートノミック・コンピューティング・システム、及び部分的オートノミック・コンピューティング・システムの群から選択される、請求項1の方法。
- 請求項1の方法を実行するよう動作可能なコンピュータ・インフラストラクチャを提供するステップを含み、コンピューティング・システムのオートノミック能力を測定するためのアプリケーションを展開する方法。
- 請求項1乃至12のいずれか1項に記載の方法の各ステップをコンピュータに実行させるためのコンピュータ・プログラム。
- コンピューティング・システムのオートノミック能力を測定するシステムにして、
前記コンピューティング・システムにワークロードにかけるシステムと、
前記コンピューティング・システムに外乱を注入するシステムと、
前記注入された外乱(disturbance)に応答して前記コンピューティング・システムが問題を検出したことを通知するシステムと、
前記検出された問題に対処する復旧手続きを開始するのに必要な時間量を決定するシステムと、
前記復旧手続きを実行するのに必要な時間量を決定するシステムと
を含むシステム。 - 前記外乱の注入から前記通知までの時間が検出期間を含み、
前記検出された問題に対処する復旧手続きを開始するのに必要な時間量が復旧開始期間を含み、且つ
前記復旧手続きを実行するのに必要な時間量が復旧期間を含む、請求項14に記載のシステム。 - 前記通知するシステムが、
前記注入された外乱に応答して生じた問題を示すため前記コンピューティング・システムの出力をモニターするシステムを更に含む、請求項15に記載のシステム。 - 前記復旧開始期間が、前記通知に応答して人手の介入をシミュレートする予め定義した時間遅延を示す、請求項15に記載のシステム。
- 前記検出された問題に対処する復旧手続きを人間が開始するために必要な時間量を分析することにより前記開始期間を引き出すシステムを更に含む、請求項17に記載のシステム。
- 前記検出期間、前記復旧開始期間及び前記復旧期間が、前記コンピューティング・システムのオートノミック能力の測定を提供する、請求項15に記載のシステム。
- 前記コンピューティング・システムは非オートノミック・コンピューティング・システム、完全オートノミック・コンピューティング・システム、及び部分的オートノミック・コンピューティング・システムの群から選択される、請求項14に記載のシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/268,221 US7539904B2 (en) | 2005-11-07 | 2005-11-07 | Quantitative measurement of the autonomic capabilities of computing systems |
US11/268,221 | 2005-11-07 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007133870A true JP2007133870A (ja) | 2007-05-31 |
JP5147216B2 JP5147216B2 (ja) | 2013-02-20 |
Family
ID=38082844
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006299658A Active JP5147216B2 (ja) | 2005-11-07 | 2006-11-02 | コンピューティング・システムのオートノミック能力を測定するための方法、システム及びコンピュータ・プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US7539904B2 (ja) |
JP (1) | JP5147216B2 (ja) |
KR (1) | KR100985959B1 (ja) |
CN (1) | CN100478905C (ja) |
TW (1) | TWI393001B (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009075855A (ja) * | 2007-09-20 | 2009-04-09 | Dainippon Printing Co Ltd | リソース使用量取得装置、リソース使用量取得方法、及びリソース使用量取得処理プログラム |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8949674B2 (en) | 2010-01-28 | 2015-02-03 | Drexel University | Detection, diagnosis, and mitigation of software faults |
US11204861B2 (en) * | 2019-03-05 | 2021-12-21 | Honeywell International Inc. | Systems and methods for fault injection and ensuring failsafe FMS SaaS platforms |
US11216347B1 (en) | 2020-08-26 | 2022-01-04 | Spirent Communications, Inc. | Automatically locating resources using alternative locator expressions during heterogeneous component-based testing in a portable automation framework |
US11449414B2 (en) | 2020-08-26 | 2022-09-20 | Spirent Communications, Inc. | Mapping test parameter data elements during heterogeneous component-based testing in a portable automation framework in both API mode and UI mode |
US11269712B1 (en) * | 2020-08-26 | 2022-03-08 | Spirent Communications, Inc. | Customized categorial error handling framework for heterogeneous component-based testing in a portable automation framework |
US11310680B2 (en) | 2020-08-26 | 2022-04-19 | Spirent Communications, Inc. | Reusing provisioned resources during heterogeneous component-based testing in a portable automation framework |
US11748242B2 (en) * | 2021-02-17 | 2023-09-05 | Atlassian Pty Ltd. | Proactive monitoring of a software application framework |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005004699A (ja) * | 2003-06-16 | 2005-01-06 | Trecenti Technologies Inc | コンピュータシステム異常検出システム、コンピュータシステム異常検出方法およびコンピュータシステム |
JP2005050084A (ja) * | 2003-07-28 | 2005-02-24 | Ns Solutions Corp | 障害時動作検証装置及び障害時動作検証方法 |
JP2006500654A (ja) * | 2002-09-20 | 2006-01-05 | インターナショナル・ビジネス・マシーンズ・コーポレーション | コンピュータ・システムにおける適応型問題判別及びリカバリー |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6442694B1 (en) * | 1998-02-27 | 2002-08-27 | Massachusetts Institute Of Technology | Fault isolation for communication networks for isolating the source of faults comprising attacks, failures, and other network propagating errors |
US6971048B1 (en) * | 1998-06-15 | 2005-11-29 | Sun Microsystems, Inc. | Testing device driver hardening |
US6484276B1 (en) * | 1999-10-25 | 2002-11-19 | Lucent Technologies Inc. | Method and apparatus for providing extensible object-oriented fault injection |
US6442494B1 (en) * | 2000-02-23 | 2002-08-27 | Autoliv Asp, Inc. | Method and circuit for detecting batteries in a distributed battery network |
US6418068B1 (en) * | 2001-01-19 | 2002-07-09 | Hewlett-Packard Co. | Self-healing memory |
US7467333B2 (en) * | 2005-09-01 | 2008-12-16 | Hewlett-Packard Development Company, L.P. | System and method for interposition-based selective simulation of faults for access requests to a data storage system |
-
2005
- 2005-11-07 US US11/268,221 patent/US7539904B2/en active Active
-
2006
- 2006-10-30 KR KR1020060105486A patent/KR100985959B1/ko not_active IP Right Cessation
- 2006-11-02 JP JP2006299658A patent/JP5147216B2/ja active Active
- 2006-11-03 TW TW095140908A patent/TWI393001B/zh not_active IP Right Cessation
- 2006-11-07 CN CNB2006101447130A patent/CN100478905C/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006500654A (ja) * | 2002-09-20 | 2006-01-05 | インターナショナル・ビジネス・マシーンズ・コーポレーション | コンピュータ・システムにおける適応型問題判別及びリカバリー |
JP2005004699A (ja) * | 2003-06-16 | 2005-01-06 | Trecenti Technologies Inc | コンピュータシステム異常検出システム、コンピュータシステム異常検出方法およびコンピュータシステム |
JP2005050084A (ja) * | 2003-07-28 | 2005-02-24 | Ns Solutions Corp | 障害時動作検証装置及び障害時動作検証方法 |
Non-Patent Citations (1)
Title |
---|
JPN6012035990; Marco Vieira, Henrique Madeira: 'A Dependability Benchmark for OLTP Application Environments' VLDB '03 Proceedings of the 29th international conference on Very large data bases - Volume 29 , 2003, Pages 742 - 753, VLDB Endowment Inc. * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009075855A (ja) * | 2007-09-20 | 2009-04-09 | Dainippon Printing Co Ltd | リソース使用量取得装置、リソース使用量取得方法、及びリソース使用量取得処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
TWI393001B (zh) | 2013-04-11 |
TW200805049A (en) | 2008-01-16 |
US20070168751A1 (en) | 2007-07-19 |
KR20070049064A (ko) | 2007-05-10 |
CN100478905C (zh) | 2009-04-15 |
KR100985959B1 (ko) | 2010-10-06 |
US7539904B2 (en) | 2009-05-26 |
JP5147216B2 (ja) | 2013-02-20 |
CN1963779A (zh) | 2007-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5147216B2 (ja) | コンピューティング・システムのオートノミック能力を測定するための方法、システム及びコンピュータ・プログラム | |
US6694288B2 (en) | System and method for automated analysis of load testing results | |
KR101036702B1 (ko) | 프로그램 실행 불안정성의 상태들에 기초하여 소프트웨어프로그램에 대한 커스텀 제품 지원을 제공하기 위한 방법,시스템 및 장치 | |
US9405666B2 (en) | Health monitoring using snapshot backups through test vectors | |
US7496795B2 (en) | Method, system, and computer program product for light weight memory leak detection | |
US7747986B2 (en) | Generating static performance modeling factors in a deployed system | |
US20120084605A1 (en) | Replaying captured network traffic | |
US20070203973A1 (en) | Fuzzing Requests And Responses Using A Proxy | |
US20130080634A1 (en) | End User Performance Monitoring For Mobile Applications | |
US8024713B2 (en) | Using ghost agents in an environment supported by customer service providers | |
US20070086350A1 (en) | Method, system, and computer program product for providing failure detection with minimal bandwidth usage | |
US9195562B2 (en) | Recording external processes | |
US20070038895A1 (en) | Configuring an application monitor utilizing discovered structural information for an application under test | |
KR20140102113A (ko) | 커미트 민감도 테스트들 | |
JP2011113122A (ja) | 障害影響分析装置及び業務システム及び障害影響分析方法 | |
CN116405412B (zh) | 基于混沌工程故障模拟服务端集群有效性验证方法和系统 | |
Jalote et al. | Measuring reliability of software products | |
JP2014137635A (ja) | 応答時間監視プログラム、方法および応答時間監視装置 | |
Lo et al. | An architecture for cloud service testing and real time management | |
CN111176916B (zh) | 数据存储故障诊断方法及系统 | |
CN112272126A (zh) | 业务应用的失效监测方法、计算机设备和存储介质 | |
US7380244B1 (en) | Status display tool | |
CN117931622A (zh) | 设备的测试方法、装置、电子设备及存储介质 | |
CN116467101A (zh) | 座舱软件稳定性评估方法、装置、电子设备及存储介质 | |
CN116560921A (zh) | Raid卡测试方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090828 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120622 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120717 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120918 |
|
RD12 | Notification of acceptance of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7432 Effective date: 20120918 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20120918 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121106 |
|
RD14 | Notification of resignation of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7434 Effective date: 20121106 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121127 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5147216 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151207 Year of fee payment: 3 |