JP2005031771A - ジョブスケジューリング管理方法及びシステム並びにプログラム - Google Patents

ジョブスケジューリング管理方法及びシステム並びにプログラム Download PDF

Info

Publication number
JP2005031771A
JP2005031771A JP2003193259A JP2003193259A JP2005031771A JP 2005031771 A JP2005031771 A JP 2005031771A JP 2003193259 A JP2003193259 A JP 2003193259A JP 2003193259 A JP2003193259 A JP 2003193259A JP 2005031771 A JP2005031771 A JP 2005031771A
Authority
JP
Japan
Prior art keywords
job
computer
execution
assigned
extracted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003193259A
Other languages
English (en)
Other versions
JP2005031771A5 (ja
Inventor
Shigeru Horikawa
茂 堀川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2003193259A priority Critical patent/JP2005031771A/ja
Priority to US10/714,597 priority patent/US7721290B2/en
Publication of JP2005031771A publication Critical patent/JP2005031771A/ja
Publication of JP2005031771A5 publication Critical patent/JP2005031771A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • G06F9/4843Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/485Task life-cycle, e.g. stopping, restarting, resuming execution
    • G06F9/4856Task life-cycle, e.g. stopping, restarting, resuming execution resumption being on a different machine, e.g. task migration, virtual machine migration
    • G06F9/4862Task life-cycle, e.g. stopping, restarting, resuming execution resumption being on a different machine, e.g. task migration, virtual machine migration the task being a mobile agent, i.e. specifically designed to migrate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3433Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment for load management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466Performance evaluation by tracing or monitoring
    • G06F11/3495Performance evaluation by tracing or monitoring for systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/81Threshold
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/88Monitoring involving counting

Abstract

【課題】ジョブを実行する実行サーバで障害や性能の劣化が発生した場合にジョブのスケジュールを再構成する技術を提供する。
【解決手段】ジョブのスケジュールを管理するジョブスケジュール管理方法であって、ジョブが割り当てられた計算機の稼動状況を監視し、稼動状況が所定の条件を満たすか否か判断し、稼動状況が所定の条件を満たす場合、計算機に割り当てられたジョブのうち、所定の条件を満たした時点で未完了のジョブを検出し、検出した未完了のジョブの実行に必要なリソース情報に基づいて、検出した未完了のジョブを実行可能な他の計算機を抽出し、検出した未完了のジョブを抽出した他の計算機に割り当てる。
【選択図】 図1

Description

【0001】
【発明の属する技術分野】
本発明は、ジョブの運用管理を行なうためのジョブ運用管理システムに関するものであり、特にジョブスケジュール管理方法及びシステム並びにプログラムに関する。
【0002】
【従来の技術】
コンピュータが行う複数の処理のうち、関連する一連の処理を纏めて1つのジョブとみたて、複数のジョブをスケジュールに従って実行させる技術がある。このような技術において障害が発生した場合、できるだけ早急にジョブを復帰させる必要がある。このような場合、同一ジョブが実行可能な複数の計算機を予め特定しておき、ジョブを再実行させる際には、前記予め特定された計算機のうち障害回復に最適な計算機を用いる技術がある(例えば、特許文献1参照)。
【0003】
また、複数のジョブステップからなり、ジョブステップ間で依存関係があるジョブに対して、当該複数のジョブステップ全てを実行可能な複数の計算機を予め特定しておき、複数のジョブステップを実行する際、単一の計算機により実行するのではなく、ジョブステップ実行中に後続のジョブステップを実行するに最適な計算機を前記予め特定された複数の計算機の中から選定し、実行する技術がある(例えば、特許文献2参照)。
【0004】
また、予め各計算機と固定的に対応付けて登録された各ジョブに対して、障害発生前に実行済みでないジョブの処理終了予定時刻を算出し、この処理終了予定時刻が、各ジョブの終了すべき時刻より前であるジョブについてのみを対象として、各ジョブの優先度に従って抽出された順に実行順序を付与してスケジュールを再構成し、再構成されたスケジュールによりジョブを実行する技術がある(例えば、特許文献3参照)。
【0005】
【特許文献1】
特開平11−353284号公報
【特許文献2】
特開2001−166956号公報
【特許文献3】
特開2001−350673号公報
【0006】
【発明が解決しようとする課題】
上記従来技術は、障害発生時や処理負荷集中時、特定のジョブを実行可能な計算機として、特定のジョブと予め固定的に対応付けて認識されている特定の計算機を用いて代替処理を行うもので、予め特定のジョブを実行可能な計算機として対応付けられている特定の計算機の中でジョブスケジュールを再構成するものであり、ジョブの性質等(例えば、ジョブに応じて異なる実行に必要なリソース)とその稼動状況に応じて、スケジューリングの際に適宜代替となる計算機を抽出・選択するものではない。そのため、スケジュールを再構築する際に対象となるジョブは、障害ジョブやそれと依存関係があるジョブのみである。
【0007】
また、障害ジョブやそれと依存関係があるジョブのみを考慮してスケジュールを再構築しているため、代替となる計算機のジョブ割り当て状態(例えば、既に割り当てられている依存関係のないジョブ)を考慮して、スケジュールを再構成することについては開示されていない。
【0008】
本発明は、上記課題を考慮したジョブ運用管理技術を提供することを目的とする。
【0009】
本発明は、ジョブを実行する計算機で障害や性能の劣化が発生した場合に他の計算機や他のジョブのスケジュールを考慮したジョブのスケジュールを再構成する技術を提供することを目的とする。
【0010】
【課題を解決するための手段】
本発明は、ネットワークを介して接続される計算機(例えば、実行サーバ)や、計算機で実行されるエージェントプログラムに割り当てるジョブのスケジュールを管理する管理計算機(管理専用サーバであっても、実行サーバと兼用であっても良い)におけるジョブスケジュール管理方法であって、前記ジョブが割り当てられた計算機や当該計算機が利用できるリソースの稼動状況を監視したり異常を検知したりし、前記稼動状況が所定の条件を満たすか否か判断し(例えば、CPU使用率、使用メモリ量、空きディスク容量が十分か否かの判断や、障害発生を検知したかどうかの判断等)、稼動状況が所定の条件を満たす場合、前記計算機に割り当てられたジョブのうち未完了のジョブ(ジョブが未着手のもの、ジョブが終了していないもの、ジョブの実行が失敗したもの等)を検出し、当該検出した未完了のジョブの実行に必要なリソース情報(CPU、メモリ、ディスク、データベース等)に基づいて、当該検出した未完了のジョブを実行可能な他の計算機を抽出し、当該検出した未完了のジョブを前記抽出した他の計算機に割り当てることを特徴とする。
【0011】
また、ジョブと当該ジョブを割り当てた計算機との対応付けを示す第1の情報と、前記ジョブの実行に必要なリソースを示す第2の情報と、各計算機で使用可能なリソースを示す第3の情報とを管理し、前記ジョブを割り当てた計算機の稼動状況を監視し、前記稼動状況が所定の条件を満たすか否か判断し、当該判断結果に応じて、前記計算機に割り当てたジョブのうち未完了のジョブを前記第1の情報を用いて検出し、当該検出した未完了のジョブの実行に必要なリソースを前記第2の情報を用いて抽出し、当該抽出されたリソースを使用可能な他の計算機を前記第3の情報を用いて抽出し、前記検出した未完了のジョブを前記抽出した他の計算機に割り当てることを特徴とする。
【0012】
ここで、前記検出した未完了のジョブを前記抽出した他の計算機に割り当てる際に、前記他の計算機に既に割り当てているジョブを含めて再スケジューリングを行っても良い。
【0013】
また、前記検出した未完了のジョブを前記抽出した他の計算機に割り当てる際に、前記抽出した他の計算機に既に割り当てているジョブのうち未完了のジョブを前記第1の情報を用いて検出し、当該検出した未完了のジョブの実行に必要なリソースを前記第2の情報を用いて抽出し、当該抽出されたリソースを使用可能な更に他の計算機を前記第3の情報を用いて抽出し、前記検出した未完了のジョブを前記抽出した更に他の計算機に割り当てても良い。
【0014】
また、前記管理計算機は、前記ジョブと当該ジョブの終了が必要な時間との対応付けを示す情報と、前記ジョブの実行に有する時間を示す情報とをさらに管理し、前記ジョブが予め定められた前記ジョブの終了が必要な時間に終了しないことを、前記ジョブを実行する計算機の稼動状況と前記ジョブの実行に有する時間から予測した場合は、前記所定の条件を満たさないとして、前記計算機に割り当てたジョブのうち未完了のジョブを他の計算機に割り当てても良い。
【0015】
また、前記検出した未完了のジョブを前記抽出した他の計算機に割り当てる際、前記検出した未完了のジョブを、当該ジョブの実行に必要なリソースに応じて、複数の他の計算機に割り当てても良い。
【0016】
尚、上記目的を達成するためには、上述した機能を実現するシステム、プログラム若しくはプログラムを格納した記録媒体であっても良い。
【0017】
【発明の実施の形態】
以下本発明の実施の形態を、図面を参照しながら詳細に説明する。図1は、ジョブを実行するシステム構成の一実施形態を示す全体構成図である。
【0018】
本システムは、ネットワーク130を介してジョブの運用管理を行う管理計算機(本実施例では、サーバ)100、ジョブの実行をする実行計算機(本実施例では、サーバ1、サーバ2、サーバ3;101)が接続されている。実行サーバ101は1台であっても、複数であってもよいが、実行サーバで実行されるジョブに依存関係がない場合は、システム全体として複数のエージェントを有することとなる。
【0019】
管理計算機(サーバ)100は、専用計算機(サーバ)であっても、実行計算機(サーバ)101と併用であっても良い。本実施形態では、管理計算機(サーバ)100を専用計算機(サーバ)とし、情報を表示する表示部やキーボード・マウス等の入力部等からなる入出力部を有し、ジョブ処理システムの操作を行うコンソール103が接続されている。実行計算機(サーバ)101には、各実行サーバで利用可能なリソース1、リソース2(102)が接続されている。
【0020】
ここで、リソースとは、CPU、メモリ、データベース、ディスク装置、ストレージなどのジョブ実行に利用されるものであり、稼動性能を取得できるものであれば良く、本実施例では、リソース1、リソース2(102)が実行計算機(サーバ)101に対して外付けで表示されているが、実行計算機(サーバ)101内にあるものでも良い。また、リソース1、リソース2(102)と実行計算機101との間をSAN(Storage Area Network)環境で構築可能である。本発明はフェイルオーバやディザスタリカバリの際のスケジュール管理に適用可能である。
【0021】
管理計算機(サーバ)100と実行計算機(サーバ)101は、大型コンピュータやサーバシステムなどで、汎用のコンピュータであっても、専用のハードウェアにより構成されているものであってもよく、システム全体の制御及びプログラム処理を行うマイクロチップなどの処理部(制御部)(111、122)と、プログラムやデータを保持する記憶部(記憶装置)(112、123)とを含んで構成されている。
【0022】
記憶部(112、123)はメモリ等の主記憶装置やハードディスク等の補助記憶装置、データベース等から構成され、記憶部112にはマネージャプログラムの他、管理サーバ100の処理上保持すべきデータやプログラムが記憶されている。記憶部123にはエージェントプログラム、アプリケーションプログラムの他、実行サーバ101の処理上保持すべきデータやプログラムが記憶されている。
【0023】
管理サーバ100の機能と実行サーバ101の機能とは、その用途に応じて、別個独立のシステムとして管理されても、一体化されたシステムとして提供されても良い。また、記憶部112、123の機能の一部を、管理サーバ100や実行サーバ101の外部に存在する固有データベースや共通データベース等として管理しても良い。
【0024】
記憶部(112、123)に格納されたプログラム等と処理部(111、122)とが連動して、管理サーバ100では、ジョブ自身やジョブを管理するジョブ処理システムのマネージャ110、実行サーバ101では、ジョブ自身や、ジョブを実行するリソースや実行サーバで動作しているアプリケーション121の稼動性能を収集するジョブ処理システムのエージェント120を実行する。アプリケーション121は、データベースアプリケーションなどの一般のアプリケーションである。
【0025】
各実行サーバの稼動性能や利用できるリソース、アプリケーションの種類は異なる場合がある。
【0026】
図2は、マネージャ110の主要機能の一実施形態を示す機能ブロック図である。
【0027】
マネージャ110は、実行サーバ101やエージェント120に割り当てるジョブのスケジュールを管理するスケジュール管理部200、管理サーバ100が管理している実行サーバ101上のエージェント120を管理するエージェント管理部201、各実行サーバから利用できるリソース102や各実行サーバ上のアプリケーション121や処理部122を管理するリソース管理部202、現在ジョブを実行しているエージェント120を管理するジョブ実行中エージェント管理部203、実行サーバ101で障害が発生したり、性能が劣化した場合にジョブのスケジュールの再構成を行う再スケジューリング部204、ジョブの実行に必要なリソースを有する実行サーバ101や当該実行サーバに存在するエージェントを検索する代替エージェント検索部205、マネージャ110や他のエージェント120と通信するための通信部206とを有する。
【0028】
マネージャ110は、管理サーバ100の記憶部112に、ジョブの実行される時間や実行される実行サーバの情報を管理しているスケジュールテーブル300(後述)、実行サーバ101で実行されるジョブを管理したジョブテーブル400(後述)、マネージャの管理しているエージェントの情報を管理したエージェント管理テーブル500(後述)、またジョブ処理システム内で利用可能な全てのリソースとそれを使用できる実行ノードの関連を管理しているリソース間距離テーブル600(後述)を適宜格納したり、前記テーブルに格納されるデータを参照することによって本実施形態を実現する。
【0029】
図3は、スケジュールテーブル300のデータ構成の一例を示す図である。
【0030】
このスケジュールテーブル300は、管理者によって設定され、再スケジュールの際にはマネージャ110によって変更される。マネージャ110のスケジュール管理部200は、スケジュールテーブル300を常に監視し,このテーブルに従って通信部206を介してジョブの実行命令を実行サーバ101に伝える。ジョブの実行命令を伝えた後,ジョブ実行中エージェント管理部203が実行サーバ101上のエージェントの監視を開始する。
【0031】
スケジュールテーブル300は,ジョブの運用を管理するための情報である。具体的には、実行開始日時301、最終終了日時302、最大実行時間303、ジョブを実行する実行エージェント304、実行ジョブ305に関する情報が含まれる。実行開始日時301は、ジョブを開始する日時を示し、実行を行う日、時間を含む。定期的に実行するジョブであるならば、その起動時刻を示す。最終終了日時302は、ジョブが最終的に終了していなければいけない時間や最終的に終了していて欲しい時間を示す。特に制限がない等の場合は、必ずしも設定される必要はない。最大実行時間303は、ジョブの最大実行時間や期間を示し、ジョブの実行時間がこの値を超える場合を、マネージャ110によるスケジュールの再構成のきっかけとすることができる。実行エージェント304は、ジョブを実行するために実行サーバ101に存在するエージェントを示す。実行ジョブ305は、実行されるジョブを示す。
【0032】
図4は、ジョブテーブル400のデータ構成の一例を示す図である。
【0033】
ジョブテーブル400は、管理者が設定するテーブルで、ジョブの実行内容を管理するテーブルであり、実行に必要な情報を含む。マネージャ110のスケジュール管理部200は、スケジュールテーブル300から実行するジョブを選択し、そのジョブの内容をこのテーブルから取得する。
【0034】
具体的には、ジョブ名401、実行内容402、実行必要リソース403、最大許容コスト404、優先度405に関する情報を含む。ジョブ名401は、ジョブの名称を示す。実行内容402は、そのジョブが実行する処理内容を示す。実行必要リソース403は、そのジョブを実行するために必要なリソース(CPU、メモリ、ディスク、データベースソフト、その他のリソース1、その他のリソース2等)を表す。例えば、データベースアプリケーションソフトとディスク装置が必要なジョブならば、それらの必要なリソースの条件が設定される。最大許容コスト404は、ジョブを1度実行する時に消費して良い最大のコストを示す。
【0035】
ここで、コストとは、リソースを使用する場合の効率を表す値である。この値が小さいほどジョブの実行を効率良く行う事ができることを示す。コストの値は、例えば、ジョブを実行するために必要なリソースの使用単位コストの和から算出する。優先度405は、各ジョブの優先度を示す。本実施形態では、優先度の高いものをA、低いものをCとしている。
【0036】
図5は、エージェント管理テーブル500のデータ構成の一例を示す図である。
【0037】
エージェント管理テーブル500は、マネージャ110が管理するエージェント120に関する情報を管理するテーブルであり、エージェントが実行されている実行サーバ101との関連を示す。
【0038】
具体的には、エージェント名501は、エージェントの名称を示す。マネージャ110のスケジュール管理部200は、スケジュールテーブル300から実行するエージェント120を取得し、そのエージェント120が動作している実行サーバ101を取得する。例えば、エージェント2とエージェント4とが実行サーバ2に対応付けられているように、1台の実行サーバ101に複数のエージェント120を設定することができる。複数のエージェントが存在する実行サーバは、複数のジョブ(特に依存関係のない複数のジョブ)を並行して処理したりする場合にも対応可能である。
【0039】
図6は、リソース間距離テーブル600のデータ構成の一例を示す図である。
【0040】
リソース間距離とは、実行サーバ101からリソースを使用するときにかかる単位コストを示す。この値は、マネージャ110がエージェントから取得した稼働性能を元にリソース管理部202を介して随時変更される。本実施形態では、リソースが使用できない場合(リソースが割り当てられていない場合、障害等で一時的に使用できない場合など)、単位コストは表示されていない。
【0041】
リソースが使用できない場合に、そもそもリソースが割り当てられていないのか、障害等で一時的に使用できないのか(どの程度で回復見込みか、使用可能となった場合の単位コストはどの程度か)といった状態が判断可能な情報も保持することによって、スケジュール再構築の際の一判断材料とすることも可能である。
【0042】
具体的には、使用可能リソース601は、マネージャ110が管理するエージェント120が使用可能な全てのリソースを示す。使用実行サーバ602は、使用可能リソース601を使用できる実行サーバ101を示す。例えば、実行サーバ1のCPUを使用できる実行サーバは、実行サーバ1でその使用単位コストは5であることを示し(603)、逆に実行サーバ2、実行サーバ3では、使用できないことを示す。また、リソース1のディスクは,実行サーバ1と実行サーバ3で使用可能であることを示す(604、605)。
【0043】
またリソースの使用単位コストは、各実行サーバ101上のエージェント120が収集したリソースの稼動性能情報により算出される。例えば、ディスクの単位コストは,実行サーバ101から使用した場合の平均使用時間やI/Oオペレーションの平均実行時間などから算出する。そのため同じリソースを使用した場合でも、使用する実行サーバ101により異なる。単位コストの値が小さいほど実行サーバ101からのリソースの性能が良い事を示す。
【0044】
尚、上述した実施形態ではスケジュールテーブル300とジョブテーブル400とエージェント管理テーブル500とリソース間距離テーブル600とを分けて管理しているが、適宜、一連のデータとして管理しても、データ項目の組み合わせを変更しても良い。
【0045】
図7は、マネージャ110の基本シーケンスの一例を説明するフローチャートである。
【0046】
マネージャ110のエージェント管理部201は、新規のエージェント120からの新規登録要求を受信した場合(S700)、その新規エージェント120を実行サーバと対応付けてエージェント管理テーブル500に登録する(S701)。マネージャ110のジョブ実行中エージェント管理部203は、実行サーバやリソースの稼動状況を監視する手法として、例えば、定期的にエージェントへの問合せを行ったり、障害発生に応じてエージェントから報告を受けたりする。
【0047】
定期的に各エージェント120から稼動性能情報を収集する場合は、パフォーマンス収集時間がきたかどうか判断し(S702)、パフォーマンス収集時間がきた場合は、管理する全てのエージェント120に現在の稼動性能情報を送信するよう要求する(S703)。送信された稼動性能情報を元にリソース管理部202を介してリソース間距離テーブルを更新する(S704)。
【0048】
マネージャ110のスケジュール管理部200は、スケジュールテーブル300を検索し、実行時間になったジョブがあった場合(S705)、ジョブの実行命令を送信する(S706)。ジョブ実行命令を送信すると、マネージャ110のジョブ実行中エージェント管理部203は、ジョブの実行状態とそれを実行しているエージェント120の状態を監視することとなる。
【0049】
図8は、エージェント120の主要機能の一実施形態を示す機能ブロック図である。
【0050】
エージェント120は、マネージャ110から割り当てられたジョブの実行処理を行うジョブ実行部800、稼動性能情報の収集を行うパフォーマンス収集部801、収集した稼動情報から現在の実行サーバ101の状態を分析し、ジョブの実行に最適なリソースの使用状態を計算するリソース使用状況管理部802、マネージャ110や他のエージェント120と通信を行う通信部803とを有する。
【0051】
エージェント120は、実行サーバ101の記憶部123に、収集した稼動性能情報を蓄積するための履歴パフォーマンステーブル900(後述)、リソース異常状態を示す条件を保存するリソース使用制限テーブル1000(後述)を適宜格納したり、前記テーブルに格納されるデータを参照することによって本実施形態を実現する。
【0052】
エージェント120は,マネージャ110からジョブの実行命令を受け付けるとジョブ実行部800でジョブを実行する。
【0053】
図9は、履歴パフォーマンステーブル900のデータ構成の一例を示す図である。
【0054】
履歴パフォーマンステーブル900は、エージェント120のパフォーマンス収集部801が定期的・不定期に収集した稼動性能を蓄積する度に更新する。具体的には、収集時刻901、収集項目902から構成される。収集時刻901は、エージェント120が稼動性能を収集した時刻が格納される。収集項目902は、収集した稼動性能を項目毎に格納する。例えば、CPU使用率903の稼動性能が格納される。他にも、使用メモリ量や空きディスク容量、ディスク(平均ディスク処理時間904)やデータベースアプリケーション(平均クエリ処理時間905)などの稼動性能が格納される。
【0055】
図10は、リソース使用制限テーブル1000のデータ構成の一例を示す図である。
【0056】
リソース使用制限テーブル805は、管理者が設定、もしくはエージェント120のリソース使用状況管理部802が更新するテーブルであり、エージェント120のパフォーマンス収集部801が収集した稼動性能から現在のリソースの状態を判定する条件を示す。エージェント120のパフォーマンス収集部801がジョブ実行中に稼動性能を収集する度に判定される。
【0057】
具体的には、ジョブ1001、しきい値1002、しきい値超え回数1003を含んで構成される。ジョブ1001は、適用されるジョブの名称を示す。しきい値1002は、収集した稼動性能からリソースの異常状態かどうかを判断する条件を示す。しきい値1002に指定される条件は、収集する稼動性能の一部を指定する。例えば、ジョブ1は、空きディスク容量が200MB以下である場合にしきい値超えとして認識され、カウントされる。しきい値は1つのジョブ1001に対して複数指定できる。しきい値超え回数1003は、しきい値1002を超えた回数を指定する。例えば、ジョブ1は、稼動性能を3回収集したうちの2回,しきい値1002の条件を超えた場合に、異常状態として認識される。
【0058】
図11は、エージェント120の基本シーケンスの一例について説明するフローチャートである。
【0059】
エージェント120のパフォーマンス収集部801は、稼動性能収集時間がきたかどうか判断し(S1100)、定期的に実行サーバ101とそれから使用できるリソース102の稼動性能を収集し(S1101)、履歴パフォーマンステーブル900を更新する。マネージャ110からのジョブ実行命令を受信した場合(S1102)、ジョブ実行部800を介してジョブを実行する(S1103)。ジョブの実行中は,常に稼動性能を収集し(S1104)、リソース使用状況管理部802を介してリソース使用制限テーブル1000の条件を照らし合わせ、実行サーバ101もしくはリソース120の状態を監視し(S1105)、リソースの状態が異常状態になった場合は、通信部803を介してマネージャに異常が発生した事を通知する(S1106)。ステップ1104からステップ1106の処理をジョブが終了するまで繰り返し、ジョブが終了した場合(S1107)は、ジョブの使用したリソースとその状態やジョブの最大実行時間303とジョブの実際の実行時間から、リソース使用状況管理部802を介して次回のリソース使用制限を設定する(S1108)。
【0060】
図12は、リソース使用制限の設定(S1108)の一例を示すフローチャートである。リソース使用制限テーブル1000に実行したジョブの条件が設定されていない場合(S1200)と、ジョブが最大終了時間303で終了した場合(S1201)は、最新のジョブが使用したリソースの稼動性能を条件として設定する。それ以外は、リソース使用制限テーブル1000の更新は行わない。
【0061】
図13は、マネージャ110における、実行中のジョブとそれを実行しているエージェント120の監視処理のフローチャートである。
【0062】
マネージャ110のジョブ実行中エージェント管理部203は、ジョブが終了するまでエージェント120を監視する(S1300〜S1306)。
【0063】
ジョブの実行命令を送信した時やジョブの実行中にエージェントからの応答がない場合等、エージェントで異常が発生した場合(S1300)、エージェント120が使用しているリソースが異常状態(リソースの使用制限の超過やリソース自体の故障)になった場合(S1301)は、実行中のジョブの実行が失敗した(未完了である)ものと判断し、再スケジューリング部204にて実行中のジョブの再スケジューリングを行い,ジョブの再実行を行う(S1302)。ジョブの最大実行時間を経過してもジョブが終了していない場合(S1303)は、実行中のジョブの次に予定されているジョブをスケジュール管理部200を介してスケジュールテーブル300から検索し(S1304)、そのジョブに対してスケジュールの再設定を行う(S1305)。ジョブが終了し(S1306)、ジョブの実行時間が最終終了日時303を超過した場合(S1307)は、ワーニングメッセージをコンソール103に出力し,管理者に伝える(S1308)。
【0064】
図14は、マネージャ110の再スケジューリング部204における処理を示すフローチャートである。
【0065】
再スケジューリングを行う際、マネージャ110の代替エージェント検索部205にて同じジョブを実行できるエージェント120の検索を、ジョブテーブル400やエージェント管理テーブル500やリソース間距離テーブル600を用いて、エージェントが存在する実行サーバから使用可能なリソースに基づいて行う(S1400)。随時リソースの稼動性能情報が反映されるリソース間距離テーブル600を用いて、再スケジュールの際に代替エージェントを検索するので、リソースの稼動状況に応じたジョブの割り当てが可能となる。
【0066】
ここで代替となるエージェント120が1つ以上見つかった場合(S1401)、そのエージェント120の中にジョブの実行する時間帯のスケジュールが空いているエージェントをスケジュールテーブル300を用いて検索する(S1402)。スケジュールの空いたエージェントがあった場合(S1402で「Yes」)、スケジュールテーブル300の実行エージェント304を変更する(S1411)。
【0067】
スケジュールの空いたエージェント120が存在しない場合(S1402で「No」)は、ステップ1401で検索した結果のエージェントに対して同時間帯のスケジュールの再設定を行う。再設定では、同時間帯にスケジュールされたジョブを、ジョブテーブル400の優先度405に基づいて、優先度順に並び替える(S1403)。次に、遅延が発生するジョブより優先度が低い、若しくは同じジョブがある場合(S1404で「Yes」)は、低優先度に対するジョブの再スケジューリングを行う(S1405)。ここで遅延が発生しないジョブの再スケジューリングが行えた場合(S1406で「Yes」)は、スケジュールテーブル300を変更し、ジョブの実行エージェントを変更する(S1411)。
【0068】
再スケジューリングにより遅延が発生する、若しくはジョブの再スケジューリングを行う事ができない場合は、遅延が発生するジョブより高い優先度をもつジョブに対して,再スケジューリングの検索を行う。最初に遅延が発生するジョブより高い優先度をもつジョブが存在するかを確認し、存在する場合(S1407で「Yes」)は、検索処理を行う(S1408)。検索処理の結果、遅延が発生しないスケジュールが検索できた場合(S1409で「Yes」)ジョブを置き換えるため、スケジュールテーブル300を変更し、ジョブの実行エージェントを変更する(S1411)。遅延が発生しないスケジュールが検索できない場合(S1409で「No」)は、低優先度検索処理1405の結果から遅延の最小となるジョブの置き換えを採用し、スケジュールテーブル300を再設定し(S1410)、コンソール103にワーニングメッセージを出力する(S1412)。
【0069】
また代替となるエージェント120が1つもない場合は,エラーメッセージをコンソール103に出力する(S1413)。
【0070】
再スケジューリング部の処理は、ステップ1400やステップ1401で検索した結果のエージェントに対して再スケジューリング部の処理を行うため、最初の呼び出し以外は再スケジューリング部内部から再起的に呼び出されるようにすることによって、再スケジュールに関連するエージェントに対し、順次再スケジュールを行うことが可能となる。
【0071】
尚、本フローは適宜順序を改変可能であり、実施形態に応じては、ジョブに優先度を設けず、優先度検索処理を省略することも可能である。
【0072】
図15は低優先度検索処理1405の一実施形態を示すフローチャートである。
【0073】
低優先度検索処理では、置き換えの対象となるジョブをJob1とし(S1501)、Job1と優先度が同じ、若しくは低いジョブそれぞれに対して検索処理を行う(S1502〜S1512)。最初に、優先度の同じ、若しくは低いジョブの1つをJob2に設定する(S1503)。Job1とJob2を置き換えた場合に、Job2の開始時間に遅れる事なく再スケジュールができる場合は(S1505で「Yes」)、この組み合わせを採用し,検索処理を終了する(S1513)。
【0074】
遅延が発生する場合(S1505で「No」)は、遅延時間を計算する(S1506)。遅延時間の計算は、置き換え後の実行開始日時301を求め、その時点から最大実行時間303を足すことで、最終終了日時302からどのくらい遅延するかで行う。
【0075】
次に、Job2に対して、再度低優先度検索処理(高優先度検索処理)を呼び出す(S1507)。これにより再度ステップ1500からの処理を再帰的に呼び出す事で置き換えの対象となるジョブの組み合わせを検索する。
【0076】
ステップ1507の結果、Job2が遅延なしで再スケジューリングができる場合(S1508で「Yes」)は検索を終了し、検索結果を再スケジューリングの結果として採用する(S1513)。
【0077】
遅延なしの組み合わせが検索できない場合(S1508で「No」)は、先ほど計算した遅延時間がこれまでの検索結果より小さいかを判定し(S1509)、小さい場合はジョブ置き換えの組み合わせとその遅延時間を保存する(S1511、S1512)。
【0078】
図16は高優先度検索処理1408の一実施形態を示すフローチャートである。
【0079】
高優先度検索処理では、置き換えの対象となるジョブをJob1とし(S1601)、Job1と優先度が高いジョブそれぞれに対して検索処理を行う(S1602〜S1609)。最初に、優先度の高いジョブの1つをJob2に設定する(S1603)。Job1とJob2を置き換えた場合に、Job2の開始時間に遅れる事なく再スケジュールができる場合は(S1605で「Yes」)、この組み合わせを採用し,検索処理を終了する(S1608)。
【0080】
遅延が発生する場合(S1605で「No」)は、Job2に対して、再度高優先度検索処理(低優先度検索処理)を呼び出す(S1606)。これにより再度ステップ1600からの処理を再帰的に呼び出す事で置き換えの対象となるジョブの組み合わせを検索する。
【0081】
ステップ1606の結果、Job2が遅延なしで再スケジューリングができる場合(S1607で「Yes」)は検索を終了し、検索結果を再スケジューリングの結果として採用する(S1608)。遅延なしの組み合わせが検索できない場合(S1607で「No」)は、採用せずに終了する。
【0082】
図17は、マネージャ110における代替エージェント検索部205の処理(図14のステップ1400における処理)の一例を示すフローチャートである。
【0083】
スケジュールの置き換えを行うジョブの利用するリソースをジョブテーブル400から取得する(S1700)。次にリソース間距離テーブル600から必要な全てのリソースを使用できる実行サーバ101を検索する(S1701)。ここでリソースを使用できる実行サーバ101が存在した場合(S1702)、実行コストを計算する(S1703)。実行コストは,ジョブテーブル400内の最大許容コスト以下になるようにし(S1704)、そのようなリソースの組み合わせがある実行サーバ101とそこで動作するエージェント120を選択する(S1705)。
【0084】
尚、ステップ1701でリソース間距離テーブルから必要な全てのリソースを使用できる実行サーバを検索する際、複数の実行サーバで使用可能なリソースを組み合わせることにより、複数の実行サーバとそこで動作するエージェントを特定しても良い。
【0085】
図18はジョブのスケジュール再設定の具体例を示す。
【0086】
図18(a)のようにジョブがスケジュールされていた場合を考える。またこのときのジョブテーブル400とリソース間距離テーブル600はそれぞれ図4と図6であるとする。
【0087】
ジョブ1が終了予定時刻より遅延する(1800)。マネージャ110のジョブ実行中エージェント管理部203は、ジョブ1の遅延を検知し、他のジョブに影響があるかを検索し、次に実行される予定であるジョブ2へ影響がある事を検知する(1801)。
【0088】
ここでマネージャ110は、図14で述べた方法を用いて、ジョブ2の再スケジューリングを行う。ジョブ2を実行するためには、CPUとメモリとディスクを必要とする(図4)。ジョブ2を実行サーバ2と実行サーバ3で実行可能であるが(図6)、最大許容コストを計算すると実行サーバ2は15、実行サーバ3は25であるため実行サーバ2のみ代替可能である(図4と図6)。そこで、ジョブ2を実行サーバ2で実行するように再スケジューリングする(1802、1803)。しかし同時刻に実行サーバ2では,ジョブ3がスケジュールされている(1804)。そこでジョブ3のスケジュールの再構成を行う。ジョブ3を実行できる実行サーバは、実行サーバ3のみ(図6)であるため,ジョブ3を実行サーバ3で実行するようにする(1805、1806)。しかしジョブ4が同時刻にスケジュールされているため(1807)、ジョブ4の再スケジューリングが必要となる。ジョブ4を実行できる実行サーバは実行サーバ1のみ(図6)である。実行サーバ1は、本来ならばジョブ2の実行がスケジュールされていたが、これまでのスケジュールの再構成により,スケジュールの空きができている(1802)。これによりジョブ4の再スケジュールが終了する(1807、1808)。
【0089】
以上より全てのジョブに対してスケジュールの再構成を行う事ができ,ジョブ1の遅延による影響を最小限に留める事ができる。
【0090】
図19は、優先度を加味した場合のジョブのスケジュール再設定の具体例を示す。
【0091】
図19(a)のようにジョブがスケジュールされていた場合を考える。またこのときのジョブ2は、実行サーバ1と実行サーバ2と実行サーバ3のいずれでも実行可能とし、ジョブ3は、実行サーバ1と実行サーバ2で実行可能、ジョブ4は、実行サーバ1と実行サーバ3で実行可能であるとする。ジョブの優先度は、それぞれジョブ2が優先度B、ジョブ3が優先度A、ジョブ4が優先度Cとし、ジョブ3が最も優先度が高いものとする。
【0092】
ジョブ1が終了予定時刻より遅延する(1900)。マネージャ110は、ジョブ1の遅延を検知し、他のジョブに影響があるかを検索し,次に実行される予定であるジョブ2へ影響がある事を検知する(1901)。
【0093】
ここでマネージャ110は,図14で述べた方法を用いて,ジョブ2の再スケジューリングを行う。再スケジューリングを行う実行サーバとしては、実行サーバ2、実行サーバ3の二つがあるが、それぞれ同時間帯にジョブ3とジョブ4がスケジュールされている(1902、1903)。ここでジョブ3と置き換えを考えた場合、ジョブ3が実行サーバ1に移動するが,遅延が発生する(1904)。しかしジョブ3はジョブ2より優先度が高いため、この置き換えを行う事ができない(1905)。
【0094】
ジョブ4との置き換えを行う場合(1906)、ジョブ3同様にジョブ4も遅延するが、ジョブ4の優先度がジョブ2より低いため遅延する場合でも、再スケジューリングを行う(1907)。
【0095】
またこの際コンソール103にワーニングメッセージを出力し,遅延が発生する事を管理者に知らせる(1908)。
【0096】
以上説明したように、本実施形態によれば、ジョブを実行する計算機で障害や性能の劣化が発生した場合に他の計算機や他のジョブのスケジュールを考慮したジョブのスケジュールを再構成する技術を提供可能となる。また、利用可能なリソースの追加や削除に柔軟に対応でき、管理者がジョブ実行のスケジュールの設定を変更せずとも,常にリソースを有効に利用したジョブ処理と運用管理を行うことが可能となる。
【0097】
上述した実施形態は、本発明の主旨を逸脱しない範囲で適宜変更や組み合わせ可能である。
【0098】
【発明の効果】
本発明によれば、リソースの稼動状況に応じたジョブスケジュールを適宜柔軟に提供可能となる。
【図面の簡単な説明】
【図1】ジョブを実行するシステム構成の一実施形態を示す全体構成図
【図2】マネージャの主要機能の一実施形態を示す機能ブロック図
【図3】スケジュールテーブルのデータ構成の一例を示す図
【図4】ジョブテーブルのデータ構成の一例を示す図
【図5】エージェント管理テーブルのデータ構成の一例を示す図
【図6】リソース間距離テーブルのデータ構成の一例を示す図
【図7】マネージャの基本処理の一例を示すフローチャート
【図8】エージェントの主要機能の一実施形態を示す機能ブロック図
【図9】履歴パフォーマンステーブルのデータ構成の一例を示す図
【図10】リソース使用制限テーブルのデータ構成の一例を示す図
【図11】エージェントの基本処理の一例を示すフローチャート
【図12】リソース使用制限テーブルの更新処理の一例を示すフローチャート
【図13】マネージャのジョブ実行中エージェント管理部における処理の一例を示すフローチャート
【図14】マネージャの再スケジューリング部における処理の一例を示すフローチャート
【図15】低優先度検索処理の一実施形態を示すフローチャート
【図16】高優先度検索処理の一実施形態を示すフローチャート
【図17】マネージャの代替エージェント検索部の処理の一例を示すフローチャート
【図18】ジョブ実行のスケジュールの再構成の一実施形態
【図19】ジョブ実行のスケジュールの再構成の他の実施形態
【符号の説明】
100 管理サーバ
101 実行サーバ
102 リソース
103 コンソール
110 マネージャ
111 処理部
112 記憶装置(記憶部)
120 エージェント
121 アプリケーション
122 処理部
123 記憶装置(記憶部)

Claims (10)

  1. ネットワークを介して接続される計算機に割り当てるジョブのスケジュールを管理するジョブスケジュール管理方法であって、前記ジョブが割り当てられた計算機の稼動状況を監視し、前記稼動状況が所定の条件を満たすか否か判断し、稼動状況が所定の条件を満たす場合、前記計算機に割り当てられたジョブのうち、前記所定の条件を満たした時点で未完了のジョブを検出し、当該検出した未完了のジョブの実行に必要なリソース情報に基づいて、当該検出した未完了のジョブを実行可能な他の計算機を抽出し、当該検出した未完了のジョブを前記抽出した他の計算機に割り当てることを特徴とするジョブスケジュール管理方法。
  2. 前記所定の条件を満たすか否かの判断は、CPU使用率が所定の使用率を超えた回数により行うことを特徴とする請求項1記載のジョブスケジュール管理方法。
  3. ネットワークを介して接続される複数の計算機にジョブを割り当て、当該ジョブのスケジュールを管理する管理計算機におけるジョブスケジュール管理方法であって、前記ジョブと当該ジョブを割り当てた計算機との対応付けを示す第1の情報と、前記ジョブの実行に必要なリソースを示す第2の情報と、各計算機で使用可能なリソースを示す第3の情報とを管理し、前記ジョブを割り当てた計算機の稼動状況を監視し、前記稼動状況が所定の条件を満たすか否か判断し、当該判断結果に応じて、前記計算機に割り当てたジョブのうち未完了のジョブを前記第1の情報を用いて検出し、当該検出した未完了のジョブの実行に必要なリソースを前記第2の情報を用いて抽出し、当該抽出されたリソースを使用可能な他の計算機を前記第3の情報を用いて抽出し、前記検出した未完了のジョブを前記抽出した他の計算機に割り当てることを特徴とするジョブスケジュール管理方法。
  4. 前記検出した未完了のジョブを前記抽出した他の計算機に割り当てる際に、前記他の計算機に既に割り当てているジョブを含めて再スケジューリングを行うことを特徴とする請求項3記載のジョブスケジュール管理方法。
  5. 前記検出した未完了のジョブを前記抽出した他の計算機に割り当てる際に、前記抽出した他の計算機に既に割り当てているジョブのうち未完了のジョブを前記第1の情報を用いて検出し、当該検出した未完了のジョブの実行に必要なリソースを前記第2の情報を用いて抽出し、当該抽出されたリソースを使用可能な更に他の計算機を前記第3の情報を用いて抽出し、前記検出した未完了のジョブを前記抽出した更に他の計算機に割り当てることを特徴とする請求項3記載のジョブスケジュール管理方法。
  6. 前記管理計算機は、自計算機に対してジョブを割り当てることを特徴とする請求項3記載のジョブスケジュール管理方法。
  7. 前記管理計算機は、前記ジョブと当該ジョブの終了が必要な時間との対応付けを示す情報と、前記ジョブの実行に有する時間を示す情報とをさらに管理し、前記ジョブが予め定められた前記ジョブの終了が必要な時間に終了しないことを、前記ジョブを実行する計算機の稼動状況と前記ジョブの実行に有する時間から予測した場合は、前記所定の条件を満たさないとして、前記計算機に割り当てたジョブのうち未完了のジョブを他の計算機に割り当てることを特徴とする請求項3記載のジョブスケジュール管理方法。
  8. 前記検出した未完了のジョブを前記抽出した他の計算機に割り当てる際、前記検出した未完了のジョブを、当該ジョブの実行に必要なリソースに応じて、複数の他の計算機に割り当てることを特徴とする請求項3記載のジョブスケジュール管理方法。
  9. ネットワークを介して接続される複数の計算機にジョブを割り当て、当該ジョブのスケジュールを管理する管理計算機であって、前記複数の計算機のうち第1の計算機に第1のジョブを割り当て、第2の計算機に第2のジョブを割り当てたことを示す情報を管理する管理手段と、前記第1の計算機の稼動状況を監視する監視手段と、当該監視手段からの指示に応じて、前記管理手段で管理する情報のうち前記第1の計算機に割り当てた第1のジョブを前記第2の計算機に割り当て直し、前記第2の計算機に割り当てた第2のジョブを第3の計算機に割り当て直す再スケジュール手段とを有することを特徴とするジョブスケジュール管理計算機。
  10. ネットワークを介して接続される複数の計算機にジョブを割り当て、当該ジョブのスケジュールを管理する管理計算機で用いられるジョブスケジュール管理プログラムであって、前記ジョブと当該ジョブを割り当てた計算機との対応付けを示す情報と、前記ジョブの実行に必要なリソースを示す情報と、各計算機で使用可能なリソースを示す情報とを管理する機能と、前記ジョブを割り当てた計算機の稼動状況を監視する機能と、前記稼動状況が所定の条件を満たすか否か判断する機能と、当該判断結果に応じて、前記計算機に割り当てたジョブのうち未完了のジョブを検出する機能と、当該検出した未完了のジョブの実行に必要なリソースを抽出する機能と、当該抽出されたリソースを使用可能な他の計算機を抽出する機能と、前記検出した未完了のジョブを前記抽出した他の計算機に割り当てる機能とを備えることを特徴とするジョブスケジュール管理プログラム。
JP2003193259A 2003-07-08 2003-07-08 ジョブスケジューリング管理方法及びシステム並びにプログラム Pending JP2005031771A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2003193259A JP2005031771A (ja) 2003-07-08 2003-07-08 ジョブスケジューリング管理方法及びシステム並びにプログラム
US10/714,597 US7721290B2 (en) 2003-07-08 2003-11-18 Job scheduling management method using system resources, and a system and recording medium for implementing the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003193259A JP2005031771A (ja) 2003-07-08 2003-07-08 ジョブスケジューリング管理方法及びシステム並びにプログラム

Publications (2)

Publication Number Publication Date
JP2005031771A true JP2005031771A (ja) 2005-02-03
JP2005031771A5 JP2005031771A5 (ja) 2005-11-04

Family

ID=33562448

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003193259A Pending JP2005031771A (ja) 2003-07-08 2003-07-08 ジョブスケジューリング管理方法及びシステム並びにプログラム

Country Status (2)

Country Link
US (1) US7721290B2 (ja)
JP (1) JP2005031771A (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006277696A (ja) * 2005-03-30 2006-10-12 Nec Corp ジョブ実行監視システム、ジョブ制御装置、ジョブ実行方法及びジョブ制御プログラム
JP2008152663A (ja) * 2006-12-19 2008-07-03 Hitachi Ltd ストレージネットワークの性能管理方法、並びに、その方法を用いた計算機システム及び管理計算機
JP2008268994A (ja) * 2007-04-16 2008-11-06 Hitachi Ltd 計算機システム、負荷分散方法及び管理計算機
US7756425B2 (en) 2005-08-25 2010-07-13 Konica Minolta Business Technologies, Inc. Error notification device notifying of occurrence of error
JP2010218208A (ja) * 2009-03-17 2010-09-30 Konica Minolta Business Technologies Inc 画像形成装置、ジョブ管理装置及びジョブ管理方法
US8219997B2 (en) 2006-11-10 2012-07-10 International Business Machines Corporation Execution the job that is divided into job tasks based on the estimated completion time
JP2013069075A (ja) * 2011-09-21 2013-04-18 Toshiba Tec Corp コンピュータシステム、及びジョブ制御方法
WO2013076775A1 (ja) * 2011-11-24 2013-05-30 株式会社日立製作所 計算機システム、分割ジョブ処理方法及びプログラム
US8881157B2 (en) 2009-09-11 2014-11-04 Empire Technology Development Llc Allocating threads to cores based on threads falling behind thread completion target deadline
US9112750B2 (en) 2011-05-31 2015-08-18 Hitachi, Ltd. Job management server and job management method
US9189282B2 (en) 2009-04-21 2015-11-17 Empire Technology Development Llc Thread-to-core mapping based on thread deadline, thread demand, and hardware characteristics data collected by a performance counter
US9569270B2 (en) 2009-04-21 2017-02-14 Empire Technology Development Llc Mapping thread phases onto heterogeneous cores based on execution characteristics and cache line eviction counts

Families Citing this family (102)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3537356B2 (ja) * 1998-12-09 2004-06-14 株式会社日立製作所 ジョブシステムにおける遅延要因解析方法
JP3862652B2 (ja) * 2002-12-10 2006-12-27 キヤノン株式会社 印刷制御方法及び情報処理装置
JP4597488B2 (ja) * 2003-03-31 2010-12-15 株式会社日立製作所 プログラム配置方法及びその実施システム並びにその処理プログラム
JP4485763B2 (ja) * 2003-07-10 2010-06-23 株式会社日立製作所 運用管理方法及び装置
US8166152B1 (en) * 2003-12-30 2012-04-24 Sap Ag Architecture and method for monitoring system resources within an enterprise network
US7725572B1 (en) * 2003-12-30 2010-05-25 Sap Ag Notification architecture and method employed within a clustered node configuration
US7756968B1 (en) 2003-12-30 2010-07-13 Sap Ag Method and system for employing a hierarchical monitor tree for monitoring system resources in a data processing environment
US7822826B1 (en) 2003-12-30 2010-10-26 Sap Ag Deployment of a web service
US7493624B1 (en) 2003-12-30 2009-02-17 Sap Ag Management architecture and method employed within a clustered node configuration
US7475401B1 (en) 2003-12-30 2009-01-06 Sap Ag Filtered unified logging service
US7739374B1 (en) 2003-12-30 2010-06-15 Sap Ag System and method for configuring tracing and logging functions
US7941521B1 (en) 2003-12-30 2011-05-10 Sap Ag Multi-service management architecture employed within a clustered node configuration
US7454404B2 (en) * 2004-02-26 2008-11-18 International Business Machines Corporation Method of addressing query scheduling and system resource requirements
US8782654B2 (en) 2004-03-13 2014-07-15 Adaptive Computing Enterprises, Inc. Co-allocating a reservation spanning different compute resources types
EP1738258A4 (en) 2004-03-13 2009-10-28 Cluster Resources Inc SYSTEM AND METHOD IMPLEMENTING OBJECT TRIGGERS
US7721266B2 (en) * 2004-03-26 2010-05-18 Sap Ag Unified logging service with a logging formatter
US7526550B2 (en) * 2004-03-26 2009-04-28 Sap Ag Unified logging service with a log viewer
JP2005334110A (ja) * 2004-05-25 2005-12-08 Ziosoft Inc ボリュームレンダリング等の画像処理システム
US20070266388A1 (en) * 2004-06-18 2007-11-15 Cluster Resources, Inc. System and method for providing advanced reservations in a compute environment
JP2006031358A (ja) * 2004-07-15 2006-02-02 Ziosoft Inc ボリュームレンダリング等の画像処理システム
US8176490B1 (en) 2004-08-20 2012-05-08 Adaptive Computing Enterprises, Inc. System and method of interfacing a workload manager and scheduler with an identity manager
JP4526337B2 (ja) * 2004-09-15 2010-08-18 株式会社日立製作所 データ管理システム及び方法
US8171474B2 (en) * 2004-10-01 2012-05-01 Serguei Mankovski System and method for managing, scheduling, controlling and monitoring execution of jobs by a job scheduler utilizing a publish/subscription interface
CA2586763C (en) 2004-11-08 2013-12-17 Cluster Resources, Inc. System and method of providing system jobs within a compute environment
US7788226B2 (en) * 2004-12-30 2010-08-31 Sap Ag Monitoring availability of applications
US8863143B2 (en) 2006-03-16 2014-10-14 Adaptive Computing Enterprises, Inc. System and method for managing a hybrid compute environment
US9231886B2 (en) 2005-03-16 2016-01-05 Adaptive Computing Enterprises, Inc. Simple integration of an on-demand compute environment
EP3203374B1 (en) 2005-04-07 2021-11-24 III Holdings 12, LLC On-demand access to compute resources
CN1859217A (zh) * 2005-06-30 2006-11-08 华为技术有限公司 一种设备管理中处理任务的方法、系统及装置
CN100421389C (zh) * 2005-11-10 2008-09-24 华为技术有限公司 一种设备管理中定制任务处理方法
CN100550766C (zh) * 2006-01-24 2009-10-14 华为技术有限公司 预定任务执行方法和管理任务执行方法、及其终端设备
JP2009539149A (ja) * 2006-04-17 2009-11-12 華為技術有限公司 装置管理におけるタスク処理の方法、システムおよび機器
JP2007287007A (ja) * 2006-04-19 2007-11-01 Orion Denki Kk 操作タスク予約機能を備えた情報処理装置及び操作タスク予約処理プログラム及び操作タスクの予約処理方法
JP2007299334A (ja) * 2006-05-02 2007-11-15 Sony Computer Entertainment Inc 情報処理システム及びコンピュータの制御方法
US20070288288A1 (en) * 2006-06-07 2007-12-13 Tetsuro Motoyama Use of schedule editors in a network-based project schedule management system
US8799043B2 (en) * 2006-06-07 2014-08-05 Ricoh Company, Ltd. Consolidation of member schedules with a project schedule in a network-based management system
US8050953B2 (en) * 2006-06-07 2011-11-01 Ricoh Company, Ltd. Use of a database in a network-based project schedule management system
GB0613275D0 (en) * 2006-07-04 2006-08-16 Codeplay Software Ltd Distributed computer system
US20090150872A1 (en) * 2006-07-04 2009-06-11 George Russell Dynamic code update
US8405662B2 (en) * 2006-07-04 2013-03-26 Iti Scotland Limited Generation of video
US20090144713A1 (en) * 2006-07-04 2009-06-04 George Russell Techniques for program performance analysis
JP5018133B2 (ja) * 2007-02-27 2012-09-05 富士通株式会社 ジョブ管理装置、クラスタシステム、およびジョブ管理プログラム
US9152433B2 (en) * 2007-03-15 2015-10-06 Ricoh Company Ltd. Class object wrappers for document object model (DOM) elements for project task management system for managing project schedules over a network
US8826282B2 (en) * 2007-03-15 2014-09-02 Ricoh Company, Ltd. Project task management system for managing project schedules over a network
JP4874140B2 (ja) * 2007-03-20 2012-02-15 京セラミタ株式会社 ジョブスケジューラ、ジョブスケジュール方法、及び、ジョブ制御プログラム
US20090025004A1 (en) * 2007-07-16 2009-01-22 Microsoft Corporation Scheduling by Growing and Shrinking Resource Allocation
US8041773B2 (en) 2007-09-24 2011-10-18 The Research Foundation Of State University Of New York Automatic clustering for self-organizing grids
EP2071465A1 (en) 2007-12-14 2009-06-17 ITI Scotland Limited Techniques for program performance analysis
US20090217240A1 (en) * 2008-02-22 2009-08-27 Tetsuro Motoyama Script generation for graceful termination of a web enabled client by a web server
US20090217241A1 (en) * 2008-02-22 2009-08-27 Tetsuro Motoyama Graceful termination of a web enabled client
US20090287522A1 (en) * 2008-05-16 2009-11-19 Tetsuro Motoyama To-Do List Representation In The Database Of A Project Management System
US8352498B2 (en) * 2008-05-16 2013-01-08 Ricoh Company, Ltd. Managing to-do lists in a schedule editor in a project management system
US8321257B2 (en) * 2008-05-16 2012-11-27 Ricoh Company, Ltd. Managing project schedule data using separate current and historical task schedule data
US7941445B2 (en) 2008-05-16 2011-05-10 Ricoh Company, Ltd. Managing project schedule data using separate current and historical task schedule data and revision numbers
US8706768B2 (en) * 2008-05-16 2014-04-22 Ricoh Company, Ltd. Managing to-do lists in task schedules in a project management system
US8364751B2 (en) * 2008-06-25 2013-01-29 Microsoft Corporation Automated client/server operation partitioning
US20100070328A1 (en) * 2008-09-16 2010-03-18 Tetsuro Motoyama Managing Project Schedule Data Using Project Task State Data
US8862489B2 (en) * 2008-09-16 2014-10-14 Ricoh Company, Ltd. Project management system with inspection functionality
US8266477B2 (en) * 2009-01-09 2012-09-11 Ca, Inc. System and method for modifying execution of scripts for a job scheduler using deontic logic
JP5347648B2 (ja) * 2009-03-30 2013-11-20 富士通株式会社 プログラム、情報処理装置及び状態出力方法
US9607275B2 (en) * 2009-04-28 2017-03-28 Ca, Inc. Method and system for integration of systems management with project and portfolio management
US8219537B1 (en) * 2009-07-29 2012-07-10 Bank Of America Corporation Identifying skewed queries in an MMP system
US11720290B2 (en) 2009-10-30 2023-08-08 Iii Holdings 2, Llc Memcached server functionality in a cluster of data processing nodes
US10877695B2 (en) 2009-10-30 2020-12-29 Iii Holdings 2, Llc Memcached server functionality in a cluster of data processing nodes
US20110119680A1 (en) * 2009-11-16 2011-05-19 Yahoo! Inc. Policy-driven schema and system for managing data system pipelines in multi-tenant model
US8706854B2 (en) * 2010-06-30 2014-04-22 Raytheon Company System and method for organizing, managing and running enterprise-wide scans
US9069610B2 (en) 2010-10-13 2015-06-30 Microsoft Technology Licensing, Llc Compute cluster with balanced resources
WO2012063339A1 (ja) * 2010-11-10 2012-05-18 株式会社日立製作所 計算機システム、ジョブ実行管理方法、及びプログラム
US8607233B2 (en) * 2011-04-20 2013-12-10 International Business Machines Corporation Web service management
US8612785B2 (en) * 2011-05-13 2013-12-17 International Business Machines Corporation Optimizing energy consumption utilized for workload processing in a networked computing environment
US8683480B2 (en) * 2011-06-01 2014-03-25 International Business Machines Corporation Resource allocation for a plurality of resources for a dual activity system
WO2013015792A1 (en) * 2011-07-26 2013-01-31 Hewlett-Packard Development Company, L.P. Job plan verification
US8887164B2 (en) 2011-09-23 2014-11-11 International Business Machines Corporation Manufacturing process prioritization based on applying rules to task-based data
EP2755133B1 (en) * 2013-01-10 2015-05-27 Fujitsu Limited Application execution controller and application execution method
JP5738336B2 (ja) * 2013-02-21 2015-06-24 株式会社東芝 文書優先度決定装置及び文書優先度決定プログラム
US8621062B1 (en) * 2013-03-15 2013-12-31 Opscode, Inc. Push signaling to run jobs on available servers
US9379954B2 (en) 2013-03-15 2016-06-28 Chef Software Inc. Configuration management for a resource with prerequisites
US9588813B1 (en) * 2013-06-07 2017-03-07 Amazon Technologies, Inc. Determining cost of service call
US10360064B1 (en) 2013-08-19 2019-07-23 Amazon Technologies, Inc. Task scheduling, execution and monitoring
EP2843548B1 (en) * 2013-09-03 2018-04-04 Fujitsu Limited Method, system, and program for scheduling jobs in a computing system
US20150081400A1 (en) * 2013-09-19 2015-03-19 Infosys Limited Watching ARM
US9501321B1 (en) * 2014-01-24 2016-11-22 Amazon Technologies, Inc. Weighted service requests throttling
JP6241300B2 (ja) * 2014-02-04 2017-12-06 富士通株式会社 ジョブスケジューリング装置、ジョブスケジューリング方法、およびジョブスケジューリングプログラム
US20160147561A1 (en) * 2014-03-05 2016-05-26 Hitachi, Ltd. Information processing method and information processing system
US9870295B2 (en) * 2014-07-18 2018-01-16 General Electric Company Automation of workflow creation and failure recovery
JP6445718B2 (ja) * 2015-04-14 2018-12-26 華為技術有限公司Huawei Technologies Co.,Ltd. プロセス管理方法、装置、およびデバイス
US9886311B2 (en) * 2015-04-24 2018-02-06 International Business Machines Corporation Job scheduling management
US10021066B2 (en) * 2015-05-18 2018-07-10 Morgan Stanley Clustered server sharing
US9948746B2 (en) * 2015-06-15 2018-04-17 International Business Machines Corporation Request processing according to degradation monitoring
US10216543B2 (en) * 2015-08-14 2019-02-26 MityLytics Inc. Real-time analytics based monitoring and classification of jobs for a data processing platform
US20170220383A1 (en) * 2016-01-28 2017-08-03 Ca, Inc. Workload control in a workload scheduling system
US10521272B1 (en) * 2016-03-30 2019-12-31 Amazon Technologies, Inc. Testing in grid computing systems
US10459894B2 (en) 2016-09-22 2019-10-29 Bank Of America Corporation Database shutdown and restart stability optimizer
US11243807B2 (en) * 2017-05-04 2022-02-08 Salesforce.Com, Inc. Systems, methods, and apparatuses for implementing a scheduler and workload manager with workload re-execution functionality for bad execution runs
US11573831B2 (en) * 2017-06-20 2023-02-07 International Business Machines Corporation Optimizing resource usage in distributed computing environments by dynamically adjusting resource unit size
US10261837B2 (en) 2017-06-30 2019-04-16 Sas Institute Inc. Two-part job scheduling with capacity constraints and preferences
US10681187B2 (en) * 2017-07-28 2020-06-09 Silicon Laboratories, Inc. Dynamic scheduling of a single radio executing multiple wireless protocols
US11616686B1 (en) * 2017-11-21 2023-03-28 Amazon Technologies, Inc. Cluster management
US10997538B1 (en) 2017-11-21 2021-05-04 Amazon Technologies, Inc. Resource management
US11093293B2 (en) * 2018-01-09 2021-08-17 George P. MATUS Configuring nodes for distributed compute tasks
US10310896B1 (en) 2018-03-15 2019-06-04 Sas Institute Inc. Techniques for job flow processing
CN110633914A (zh) * 2019-09-20 2019-12-31 中国银行股份有限公司 批量作业调度处理方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61114363A (ja) * 1984-11-07 1986-06-02 Hitachi Ltd 計算機システム間ジヨブ転送方式
JPH0793262A (ja) * 1993-09-27 1995-04-07 Nec Corp アプリケーションツール実行管理システム
JPH0830471A (ja) * 1994-07-14 1996-02-02 Hitachi Ltd ジョブの実行プロセサ変更方式
JPH09120389A (ja) * 1995-10-26 1997-05-06 Nec Corp クラスタ型コンピュータのジョブスケジュール方法及び装置
JPH09282288A (ja) * 1996-04-09 1997-10-31 Fujitsu Ltd 複数計算機運用システム
JPH11312149A (ja) * 1998-04-28 1999-11-09 Hitachi Ltd 負荷分散制御方式及び装置
JP2000137692A (ja) * 1998-10-30 2000-05-16 Toshiba Corp 分散ノード間負荷分散方式
JP2002007364A (ja) * 2000-06-22 2002-01-11 Fujitsu Ltd 並列計算機システムのジョブスケジューリングを行うスケジューリング装置
JP2003178040A (ja) * 2001-12-10 2003-06-27 Hitachi Information Systems Ltd ウェブサイトの構成決定支援方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2272085A (en) * 1992-10-30 1994-05-04 Tao Systems Ltd Data processing system and operating system.
US5513354A (en) * 1992-12-18 1996-04-30 International Business Machines Corporation Fault tolerant load management system and method
JPH08297643A (ja) * 1995-04-26 1996-11-12 Hitachi Ltd 複数cpuでの処理分散方式
JPH09237256A (ja) * 1996-02-29 1997-09-09 Mitsubishi Electric Corp 並列計算機における動的負荷分散方法
US6938256B2 (en) * 2000-01-18 2005-08-30 Galactic Computing Corporation System for balance distribution of requests across multiple servers using dynamic metrics
CA2403763A1 (en) * 2000-03-31 2001-10-11 British Telecommunications Public Limited Company Handling unscheduled tasks in a scheduling process
JP2002108839A (ja) * 2000-09-28 2002-04-12 Mitsubishi Electric Corp 通信ネットワークシステム、ジョブ割当方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
US7035928B2 (en) * 2001-04-25 2006-04-25 Hewlett-Packard Development Company, L.P. Allocating computer resources for efficient use by a program
US6782350B1 (en) * 2001-04-27 2004-08-24 Blazent, Inc. Method and apparatus for managing resources
JP3806609B2 (ja) 2001-04-27 2006-08-09 株式会社日立製作所 並列データベースシステムおよび分散ファイルシステム
JP2003091424A (ja) * 2001-09-18 2003-03-28 Matsushita Electric Ind Co Ltd 分散処理システムおよびジョブ分散処理方法
JP3951835B2 (ja) * 2002-07-03 2007-08-01 株式会社日立製作所 業務管理方法及び業務処理システム
US20040158568A1 (en) * 2002-12-12 2004-08-12 Renzo Colle Scheduling resources for performing a service
US7124119B2 (en) * 2003-03-31 2006-10-17 International Business Machines Corporation Communication between intelligent agents and humans in a distributed system environment

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61114363A (ja) * 1984-11-07 1986-06-02 Hitachi Ltd 計算機システム間ジヨブ転送方式
JPH0793262A (ja) * 1993-09-27 1995-04-07 Nec Corp アプリケーションツール実行管理システム
JPH0830471A (ja) * 1994-07-14 1996-02-02 Hitachi Ltd ジョブの実行プロセサ変更方式
JPH09120389A (ja) * 1995-10-26 1997-05-06 Nec Corp クラスタ型コンピュータのジョブスケジュール方法及び装置
JPH09282288A (ja) * 1996-04-09 1997-10-31 Fujitsu Ltd 複数計算機運用システム
JPH11312149A (ja) * 1998-04-28 1999-11-09 Hitachi Ltd 負荷分散制御方式及び装置
JP2000137692A (ja) * 1998-10-30 2000-05-16 Toshiba Corp 分散ノード間負荷分散方式
JP2002007364A (ja) * 2000-06-22 2002-01-11 Fujitsu Ltd 並列計算機システムのジョブスケジューリングを行うスケジューリング装置
JP2003178040A (ja) * 2001-12-10 2003-06-27 Hitachi Information Systems Ltd ウェブサイトの構成決定支援方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SXシステムソフトウェア SUPER-UX MASTERSCOPE/SX 利用の手引, vol. 第4版, JPN6007005552, July 2002 (2002-07-01), JP, pages 97 - 101, ISSN: 0000919531 *
浅見城輝、▲濱▼崎康孝: "Oracleチューニング&監視ツール「Aqua Systems Performance Analyzer 4」", DB MAGAZINE, vol. 第13巻,第4号, JPN6007005551, 1 July 2003 (2003-07-01), JP, pages 202 - 207, ISSN: 0000919532 *
竹房あつ子、松岡聡: "Grid計算環境におけるデッドラインスケジューリング手法の性能", 並列処理シンポジウム論文集, vol. 第2001巻,第6号, JPN6007005550, 5 June 2001 (2001-06-05), JP, pages 263 - 270, ISSN: 0000919533 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006277696A (ja) * 2005-03-30 2006-10-12 Nec Corp ジョブ実行監視システム、ジョブ制御装置、ジョブ実行方法及びジョブ制御プログラム
JP4538736B2 (ja) * 2005-03-30 2010-09-08 日本電気株式会社 ジョブ実行監視システム、ジョブ制御装置、ジョブ実行方法及びジョブ制御プログラム
US7756425B2 (en) 2005-08-25 2010-07-13 Konica Minolta Business Technologies, Inc. Error notification device notifying of occurrence of error
US8219997B2 (en) 2006-11-10 2012-07-10 International Business Machines Corporation Execution the job that is divided into job tasks based on the estimated completion time
JP2008152663A (ja) * 2006-12-19 2008-07-03 Hitachi Ltd ストレージネットワークの性能管理方法、並びに、その方法を用いた計算機システム及び管理計算機
US8489739B2 (en) 2006-12-19 2013-07-16 Hitachi, Ltd. Method, computer system and management computer for managing performance of a storage network
JP2008268994A (ja) * 2007-04-16 2008-11-06 Hitachi Ltd 計算機システム、負荷分散方法及び管理計算機
JP2010218208A (ja) * 2009-03-17 2010-09-30 Konica Minolta Business Technologies Inc 画像形成装置、ジョブ管理装置及びジョブ管理方法
US9569270B2 (en) 2009-04-21 2017-02-14 Empire Technology Development Llc Mapping thread phases onto heterogeneous cores based on execution characteristics and cache line eviction counts
US9189282B2 (en) 2009-04-21 2015-11-17 Empire Technology Development Llc Thread-to-core mapping based on thread deadline, thread demand, and hardware characteristics data collected by a performance counter
US8881157B2 (en) 2009-09-11 2014-11-04 Empire Technology Development Llc Allocating threads to cores based on threads falling behind thread completion target deadline
US9112750B2 (en) 2011-05-31 2015-08-18 Hitachi, Ltd. Job management server and job management method
JP2013069075A (ja) * 2011-09-21 2013-04-18 Toshiba Tec Corp コンピュータシステム、及びジョブ制御方法
JPWO2013076775A1 (ja) * 2011-11-24 2015-04-27 株式会社日立製作所 計算機システム、分割ジョブ処理方法及びプログラム
WO2013076775A1 (ja) * 2011-11-24 2013-05-30 株式会社日立製作所 計算機システム、分割ジョブ処理方法及びプログラム
US9244721B2 (en) 2011-11-24 2016-01-26 Hitachi, Ltd. Computer system and divided job processing method and program

Also Published As

Publication number Publication date
US20050010608A1 (en) 2005-01-13
US7721290B2 (en) 2010-05-18

Similar Documents

Publication Publication Date Title
JP2005031771A (ja) ジョブスケジューリング管理方法及びシステム並びにプログラム
US6618820B1 (en) Method for configuring an application server system
US8074222B2 (en) Job management device, cluster system, and computer-readable medium storing job management program
US8856793B2 (en) System, method and program for scheduling computer program jobs
US9319281B2 (en) Resource management method, resource management device, and program product
JP5334226B2 (ja) スケジュール管理方法及びスケジュール管理サーバ
JP5651772B2 (ja) ジョブ管理サーバ及びジョブ管理方法
JP2004206495A (ja) 管理システム、管理計算機、管理方法及びプログラム
JP2004302937A (ja) プログラム配置方法及びその実施システム並びにその処理プログラム
JPWO2007072544A1 (ja) 情報処理装置、計算機、リソース割り当て方法及びリソース割り当てプログラム
US20210240575A1 (en) Dynamic backup management
CN111459642B (zh) 一种分布式系统中故障处理和任务处理方法及装置
WO2014080492A1 (ja) 計算機システム、クラスタ管理方法、及び管理計算機
JP2004038516A (ja) 業務処理システム、運用管理方法及び運用管理を行うためのプログラム
JP5740338B2 (ja) 仮想環境運用支援システム
JP2005309838A (ja) 情報管理システムと情報管理方法、及び、そのための情報管理サブシステム
JPH11259326A (ja) ホットスタンバイシステムおよびホットスタンバイシステムにおける自動再実行方法およびその記録媒体
CN112698929A (zh) 一种信息采集方法及装置
US8984522B2 (en) Relay apparatus and relay management apparatus
US20140165058A1 (en) System resource management method for virtual system
JP6273732B2 (ja) 情報処理引き継ぎ制御装置、情報処理引き継ぎ制御方法、及び、情報処理引き継ぎ制御プログラム
US7469290B1 (en) Automatic system resource management
JP4099115B2 (ja) ジョブ実行システム及び実行制御方法
JP3984948B2 (ja) 計算機システムの運用管理方法
CN112328359B (zh) 避免容器集群启动拥塞的调度方法和容器集群管理平台

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050909

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050909

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20060420

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071225

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080304