JP2013171301A - ジョブ継続管理装置、ジョブ継続管理方法、及び、ジョブ継続管理プログラム - Google Patents

ジョブ継続管理装置、ジョブ継続管理方法、及び、ジョブ継続管理プログラム Download PDF

Info

Publication number
JP2013171301A
JP2013171301A JP2012032771A JP2012032771A JP2013171301A JP 2013171301 A JP2013171301 A JP 2013171301A JP 2012032771 A JP2012032771 A JP 2012032771A JP 2012032771 A JP2012032771 A JP 2012032771A JP 2013171301 A JP2013171301 A JP 2013171301A
Authority
JP
Japan
Prior art keywords
job
execution
continuation
information
management
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012032771A
Other languages
English (en)
Other versions
JP5948933B2 (ja
Inventor
Haruki Kato
晴輝 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2012032771A priority Critical patent/JP5948933B2/ja
Priority to US13/764,371 priority patent/US9152491B2/en
Publication of JP2013171301A publication Critical patent/JP2013171301A/ja
Application granted granted Critical
Publication of JP5948933B2 publication Critical patent/JP5948933B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/079Root cause analysis, i.e. error or fault diagnosis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1479Generic software techniques for error detection or fault masking
    • G06F11/1482Generic software techniques for error detection or fault masking by means of middleware or OS functionality
    • G06F11/1484Generic software techniques for error detection or fault masking by means of middleware or OS functionality involving virtual machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Hardware Redundancy (AREA)

Abstract

【課題】コンピュータシステムの障害により中断したジョブを、効率的に継続させるためのジョブ継続管理装置を提供する。
【解決手段】本願発明のジョブ継続管理装置は、ジョブを実行する複数のジョブ実行手段と、ジョブ単位で、ジョブ識別情報と、実行元のジョブ実行手段の識別情報と、ジョブ実行情報と、ジョブ継続実行優先度とを対応付けて記憶するジョブ管理情報記憶手段と、ジョブ実行手段の何れかで障害が発生した場合に、ジョブ管理情報記憶手段を参照し、ジョブ実行手段の識別情報が障害発生元のジョブ実行手段の識別情報と一致するレコードについて、ジョブ継続実行優先度が高いジョブから順番に、ジョブ識別情報とジョブ実行情報を、障害発生元のジョブ実行手段を除く何れかのジョブ実行手段に送付して、送付先のジョブ実行手段に当該ジョブを継続実行させるジョブ継続管理手段と、を備える。
【選択図】 図1

Description

本願発明は、システム障害発生時に実行中のジョブを効率的に継続実行するためのジョブ継続管理装置、ジョブ継続管理方法、及び、ジョブ継続管理プログラムに関する。
IT環境が高度に発達し日常生活におけるITへの依存度が高まっている現代社会においては、コンピュータシステムの障害による社会への影響が非常に大きく、コンピュータシステムに対する高可用性への要求が益々高まってきている。このような高可用システムにおいては、障害が発生した場合の復旧をいかに効率的に行うかが、大きな課題の一つである。
高可用性システムを構築するための方式の一つとして、例えば通常の運用で使用する現用系のサーバの他に、予備のサーバを待機系のサーバとして準備しておき、現用系サーバで障害が発生した時に、待機系のサーバに切り替えてシステムを継続するようなことが行われている。また近年では、ハードディスク、メモリの大容量化・低価格化の進行や、1台のサーバを仮想的に複数のサーバに分割する仮想化技術の進歩により、1台のサーバの中に現用系の仮想サーバ、待機系の仮想サーバを構築することも可能となり、高可用性システムを比較的安価に構築する技術環境も整ってきている。
このような仮想化技術を活用した高可用システムの例として、特許文献1には仮想計算機システムにより生成される子OSの一部を待機系として存在させ、現用系の子OSがシステム異常により処理できなくなった場合、その処理を待機系の子OSに引き継がせることで、システムの無停止運用を実現するためのシステムが公開されている。
また、障害発生時の復旧処理を効率的に行うシステムの他の例として、特許文献2には、分散処理システム上の分散ノードで障害が発生した時に、その障害によって喪失されるアプリケーションタスクについて、その引き継ぎ先を決定するためのノードの優先度に従い、正常な分散ノード間で喪失機能代替を行うようにしたシステムが公開されている。
特開平9-288590 特開平8-314875
前述の特許文献1に記載された技術では、障害が発生した現用系の子OS、あるいは分散ノードが実行していた全ての処理を、待機系の子OS、あるいは正常な分散ノードが同時に引き継ぐことになる。したがって、障害発生元で実行していた処理の引継ぎ先での再スタートは、障害発生元の実行環境に関する全てのデータが引継ぎ先に引き渡された後になり、復旧に時間を要するという問題がある。
また、特許文献2に記載された技術は、障害により実行が中断したアプリケーションタスクを、どのノードが引き継ぐかの優先度に従って引継ぐものであり、アプリケーションタスク自体の処理優先度に従うものではない。したがって、本来処理優先度が高いアプリケーションタスクが最初に継続実行されるとは限らないという問題がある。
本願発明の目的は、これらの問題点を解決したジョブ継続管理装置、ジョブ継続管理システム、ジョブ継続管理方法、及び、ジョブ継続管理プログラムを提供することである。
本願発明の一実施形態のジョブ継続管理装置は、ジョブを実行する複数のジョブ実行手段と、前記ジョブ単位で、ジョブ識別情報と、実行元の前記ジョブ実行手段の識別情報と、ジョブ実行情報と、ジョブ継続実行優先度とを対応付けて記憶するジョブ管理情報記憶手段と、前記ジョブ実行手段の何れかで障害が発生した場合に、前記ジョブ管理情報記憶手段を参照し、前記ジョブ実行手段の識別情報が障害発生元の前記ジョブ実行手段の識別情報と一致するレコードについて、前記ジョブ継続実行優先度が高いジョブから順番に、前記ジョブ識別情報と前記ジョブ実行情報を、前記障害発生元のジョブ実行手段を除く何れかの前記ジョブ実行手段に送付して、送付先の前記ジョブ実行手段に当該ジョブを継続実行させるジョブ継続管理手段と、を備える
本願発明の一実施形態のジョブ継続管理方法は、複数のジョブ実行手段によりジョブを実行し、前記ジョブ単位で、ジョブ識別情報と、実行元の前記ジョブ実行手段の識別情報と、ジョブ実行情報と、ジョブ継続実行優先度とを対応付けて記憶域に記憶し、前記ジョブ実行手段の何れかで障害が発生した場合に、前記記憶域を参照し、前記ジョブの実行手段の識別情報が障害発生元の前記ジョブ実行手段の識別情報と一致するレコードについて、前記ジョブ継続実行優先度が高いものから順番に、前記ジョブ識別情報と前記ジョブ実行情報を、前記障害発生元のジョブ実行手段を除く何れかの前記ジョブ実行手段に送付して、送付先の前記ジョブ実行手段に当該ジョブを継続実行させる。
本願発明の一実施形態のジョブ継続管理プログラムは、ジョブを実行する複数のジョブ実行手段と記憶域を備えるコンピュータに、前記ジョブ単位で、ジョブ識別情報と、実行元の前記ジョブ実行手段の識別情報と、ジョブ実行情報と、ジョブ継続実行優先度とを対応付けて前記記憶域に記憶するジョブ管理情報記憶処理と、前記ジョブ実行手段の何れかで障害が発生した場合に、前記記憶域を参照し、前記ジョブ実行手段の識別情報が障害発生元の前記ジョブ実行手段の識別情報と一致するレコードについて、前記ジョブ継続実行優先度が高いジョブから順番に、前記ジョブ識別情報と前記ジョブ実行情報を、前記障害発生元の前記ジョブ実行手段を除く何れかの前記ジョブ実行手段に送付して、送付先の前記ジョブ実行手段に当該ジョブを継続実行させるジョブ継続管理処理と、を実行させる。
本願発明は、コンピュータシステムの障害により中断したジョブを、効率的に継続させることを実現する。
本願発明の第1の実施形態の構成を示すブロック図である。 本願発明の第1の実施形態の動作を示すフローチャートである。 本願発明の第1の実施形態におけるジョブ管理情報の構成例である。 本願発明の第1の実施形態におけるマシン管理情報の構成例である。 本願発明の第1の実施形態のバリエーションの構成を示すブロック図である。 本願発明の第2の実施形態の構成を示すブロック図である。 本願発明の第2の実施形態におけるジョブ管理情報の構成例である。 本願発明の第3の実施形態の構成を示すブロック図である。
本願発明の第一の実施の形態について図面を参照して詳細に説明する。
図1は、本実施形態の構成を示すブロック図である。
本実施形態のジョブ継続管理システムは、ホストサーバ1と、クライアント端末16と、入出力データ格納部17とを包含している。
ホストサーバ1は、仮想サーバシステムを構築しており、現用系仮想サーバ10乃至11と、待機系仮想サーバ12と、仮想サーバ監視部13と、共有メモリ14と、ジョブ継続管理部15とを包含している。
現用系仮想サーバ10乃至11は、ホストサーバ1によって構築された仮想サーバであり、それぞれ、サーバ1、サーバ2の名称がホストサーバ1により付与されている。現用系仮想サーバ10乃至11は、通常運用時にジョブを実行する仮想サーバであり、それぞれ、ジョブ実行部100と110、および、ローカルメモリ101と111を包含している。ローカルメモリ101と111は、それぞれ、ジョブ実行部100と110が実行するジョブのプログラムやデータを格納している。
待機系仮想サーバ12も同様に、ホストサーバ1によって構築された仮想サーバであり、サーバ3の名称がホストサーバ1により付与されている。待機系仮想サーバ12は、通常運用時にはジョブを実行せず、現用系仮想サーバ10乃至11の何れかで障害が発生し、障害サーバでジョブを実行できなくなった場合に、障害サーバからジョブを引き継いで、中断したジョブを継続実行する。待機系仮想サーバ12はジョブ実行部120とローカルメモリ121を包含している。ローカルメモリ121は、ジョブ実行部120が実行するジョブのプログラムやデータを格納している。
仮想サーバ監視部13は、現用系仮想サーバ10乃至11における障害発生を監視しており、何れかの仮想サーバで障害が発生した場合、障害の発生した仮想サーバから障害メッセージを受信し、そのサーバのサーバ名称をジョブ継続管理部15へ送信する。
共有メモリ14は、ホストサーバ1が直接管理しているメモリであり、現用系仮想サーバ10乃至11、および、待機系仮想サーバ12からもアクセス可能である。共有メモリ14は、現用系仮想サーバ10乃至11、待機系仮想サーバ12が実行するジョブのプログラムやデータの写しを格納している。
共有メモリ14は、ジョブ管理情報記憶部140を包含している。ジョブ管理情報記憶部140は、現用系仮想サーバ10乃至11が実行している各々のジョブに関する管理情報であるジョブ管理情報141を格納している。
ジョブ管理情報141の構成例を図3に示す。ジョブ管理情報141は、ジョブ名と、ジョブ実行サーバと、ジョブ処理エンジンと、結果通知先と、処理中の入力データと、継続優先度を対応付けている。「ジョブ名」は、ホストサーバ1の中で実行されている全てのジョブを識別できるよう、ホストサーバ1によってユニークに付与されている。「ジョブ実行サーバ」は、当該ジョブを実行しているサーバを示すものであり、例えば、ジョブ1とジョブ2は現用系仮想サーバ10(サーバ1)で実行され、ジョブ2とジョブ3は現用系仮想サーバ11(サーバ2)で実行されていることを示している。「ジョブ処理エンジン」は、ジョブが実行するプログラムの名称を示すものであり、例えば、ジョブ1はaddition(入力データの加算)、ジョブ2はmultiplication(入力データの乗算)のプログラムを実行することを示している。「結果通知先」はジョブ実行結果の出力先を示すものであり、本構成例では、ジョブ1乃至4ともクライアント端末16に出力することを示している。「処理中の入力データ」は、ジョブが現在処理している入力データを示すものであり、例えば、ジョブ1は入力データNUM1(5)とNUM2(5)を処理中であり、ジョブ2はNUM1(3)とNUM2(3)を処理中であることを示している。「継続優先度」はホストサーバ1により設定された、障害発生時にジョブを継続実行するときの実行優先度を示すものであり、値の小さい方の優先順位が高く、本構成例では、ジョブ1、ジョブ3、ジョブ2、ジョブ4の優先順位であることを示している。
共有メモリ14は、システムの管理情報であるマシン管理情報142も格納している。
マシン管理情報142の構成例を図4に示す。マシン管理情報142は、サーバ名と、IPアドレスと、最大同時実行ジョブ数を対応付けている。「IPアドレス」は本実施形態のシステム管理者により付与された、各サーバやクライアント端末のIPアドレスである。「最大同時実行ジョブ数」は、現用系仮想サーバ10(サーバ1)乃至11(サーバ2)や待機系仮想サーバ12(サーバ3)が同時に実行可能な最大ジョブ数を示しており、現用系仮想サーバ10乃至11の最大ジョブ数は2、待機系仮想サーバ12の最大ジョブ数は1であることを示している。待機系仮想サーバ12の最大ジョブ数が、現用系仮想サーバ10乃至11の最大ジョブ数と比較して小さいのは、ハードウェアリソースの有効活用のため、通常運用時には使用しない待機系仮想サーバ12へ割り当てるハードウェアリソースを小さくしているからである。
ジョブ継続管理部15は、現用系仮想サーバ10乃至11の何れかで障害が発生した場合に、障害が発生した仮想サーバで実行していたジョブを、待機系仮想サーバ12に引き継がせて実行させる。
例えば現用系仮想サーバ10(サーバ1)で障害が発生した場合、仮想サーバ監視部13は、現用系仮想サーバ10から発信された障害発生情報を受信して、現用系仮想サーバ10で障害が発生したことをジョブ継続管理部15へ報告する。
ジョブ継続管理部15は障害発生の報告を受けて、ジョブ管理情報記憶部140におけるジョブ管理情報141の中から、ジョブ実行サーバがサーバ1であるレコードを検索し、サーバ1が実行していたジョブ1とジョブ2に関するレコードを抽出する。
ジョブ継続管理部15は、ジョブ管理情報141から現時点で待機系仮想サーバ12が実行しているジョブ数が0であり、マシン管理情報142から待機系仮想サーバ12の最大同時実行ジョブ数が1であることから、待機系仮想サーバ12がジョブ実行可能な状態であることを確認する。
ジョブ実行管理部15は、上述で抽出したジョブ1とジョブ2に関するレコードにおける継続優先度の比較を行い、継続優先度が高いジョブ1のレコードにおけるジョブ名と、ジョブ処理エンジンと、結果通知先と、処理中の入力データの情報を、待機系仮想サーバ12のジョブ実行部120に送信して、ジョブ1の継続実行を指示する。ジョブ継続管理部15は同時に、ジョブ管理情報141におけるジョブ1のレコードのジョブ実行サーバのデータを、サーバ1からサーバ3に書き換える。
待機系仮想サーバ12のジョブ実行部120は、ジョブ継続管理部15からのジョブ1継続実行の指示を受けて、ジョブ処理エンジンのadditionのプログラムと、入力データのNUM1(I)とNUM2(I)を共有メモリ14からローカルメモリ121にロードして、I=5からジョブの継続実行を開始する。
ジョブ継続管理部15は、ジョブ1に引き続いて、ジョブ2についても同様に、待機系仮想サーバ12のジョブ実行部120にジョブ継続実行を指示する準備をする。待機系仮想サーバ12におけるジョブ1の継続実行が完了していない時点では、待機系仮想サーバ12が実行しているジョブ数は1である。また、マシン管理情報142から待機系仮想サーバ12の最大同時実行ジョブ数は1である。したがって、ジョブ継続管理部15は、待機系仮想サーバ12にジョブを追加実行させることができない状態であることを確認する。この場合、ジョブ継続管理部15は、待機系仮想サーバ12におけるジョブ1の継続実行が完了するまで、待機系仮想サーバ12に対するジョブ2の継続実行の指示を保留する。
ジョブ実行部120は、ジョブ1の継続実行を完了すると、ジョブ継続管理部15に対してジョブ1の実行完了を報告する。ジョブ継続管理部15は、ジョブ1の実行完了報告を受けて、ジョブ管理情報141におけるジョブ1のレコードを削除する。この時点で、ジョブ管理情報141における待機系仮想サーバ12が実行しているジョブ数が0となる。したがって、ジョブ継続実行管理部15は、待機系仮想サーバ12がジョブ実行可能な状態であることを確認して、保留していた待機系仮想サーバ12に対するジョブ2の継続実行の指示を、ジョブ実行部120に出力する。ジョブ継続管理部15は同時に、ジョブ管理情報141におけるジョブ2のレコードのジョブ実行サーバのデータを、サーバ1からサーバ3に書き換える。
ジョブ実行部120は、ジョブ継続管理部15からのジョブ2継続実行の指示を受けて、ジョブ処理エンジンのmultiplicationのプログラムと、入力データのNUM1(I)とNUM2(I)を共有メモリ14からローカルメモリ121にロードして、I=3からジョブの継続実行を開始する。
この時点で、現用系仮想サーバ10で実行していたジョブで、継続実行されていないジョブが無くなり、ホストサーバ1は、待機系仮想サーバ120を現用系サーバに昇格させる。
クライアント端末16は、本実施形態のシステムの利用者が、ジョブ実行を指示し、ジョブの実行結果を確認する端末である。
入出力データ格納部17は、本実施形態のシステムが実行するジョブが使用するプログラムや入力データ、あるいはジョブの実行結果の出力データを格納するディスク装置である。
次に図2のフローチャートを参照して、本実施形態の動作について詳細に説明する。
仮想サーバ監視部13は、現用系仮想サーバ10乃至11の何れかから障害発生情報を受信し、障害発生情報をジョブ継続管理部15へ送付する(S101)。ジョブ継続管理部15は、ジョブ管理情報141を参照し、障害の発生した仮想サーバで実行中のジョブが存在するか確認する(S102)。障害の発生した仮想サーバで実行中のジョブが存在しない場合(S103でNo)、ホストサーバ1は、待機系仮想サーバ12を現用系仮想サーバに昇格させ(S110)、全体の処理は終了する。
障害の発生した仮想サーバで実行中のジョブが存在する場合(S103でYes)、ジョブ継続管理部15は、マシン管理情報142における待機系仮想サーバ12の最大同時実行ジョブ数と、ジョブ管理情報141におけるジョブ実行サーバの情報から算出した待機系仮想サーバ12で実行中のジョブ数との差分を算出する(S104)。差分が1以上でない場合(S105でNo)、ジョブ継続管理部15は、この状態で待機する。
差分が1以上である場合(S105でYes)、ジョブ継続管理部15はジョブ管理情報記憶部140におけるジョブ管理情報141を参照し、ジョブ実行サーバが障害発生元のサーバと一致するレコードの中から、継続優先度が一番高いレコードのデータを読み出す(S106)。ジョブ継続管理部15は、読み出した継続優先度が一番高いレコードの情報を待機系仮想サーバ12におけるジョブ実行部120に送付し、そのレコードのジョブの継続実行を指示する。そして、ジョブ継続管理部15は、ジョブ管理情報141における当該ジョブに関するレコードのジョブ実行サーバの情報を、待機系仮想サーバの「サーバ3」に書き換える(S107)。
ジョブ実行部120は、ジョブ継続管理部15から指示されたジョブの継続実行に必要なデータを、共有メモリ14からローカルメモリ121にロードして当該ジョブの継続実行を開始し、ジョブ実行が完了したらジョブ継続管理部15へ報告する(S108)。ジョブ継続管理部15は、ジョブ管理情報141から、実行完了の報告を受けたジョブに関するレコードを削除し、S102に戻る(S109)。
本実施形態には、システム障害の発生により実行が中断されたジョブを、短時間で効率的に継続実行を開始するという効果がある。第一の理由は、ジョブ継続管理部15が、ジョブ管理情報記憶部140に格納されたジョブの継続優先度の情報に従い、継続優先度の高いジョブから順次、ジョブの継続実行に必要な情報を待機系仮想サーバ12に引き渡して、ジョブの継続実行を指示するからである。待機系仮想サーバ12は、優先順位の高いジョブの継続実行に必要な情報を入手できた時点で、そのジョブの継続実行を開始することが可能となり、障害発生元のサーバで実行していた全てのジョブの継続実行のための情報を入手してから継続実行を開始する方式と比較して、短時間でジョブの継続実行を開始することが可能となる。
また、第二の理由は、ジョブ継続管理部15による待機系仮想サーバ12へのジョブ継続実行情報の引渡しが、仮想サーバシステムを構築しているホストサーバ1内のメモリコピーで行われるからである。ジョブ引継ぎ先へのジョブ継続情報の引渡しが、異なる物理サーバ間で行われる場合と比較して、データ転送に要する時間が短いため、短時間でジョブの継続実行を開始することが可能となる。
以上、ジョブ継続管理装置が、2台の現用系仮想サーバと1台の待機系仮想サーバを包含するシステムを例に本実施形態を説明したが、本実施形態は、この構成に限定されるものではない。仮想サーバは実プロセッサなどでもよい。また、現用系サーバが待機系サーバの機能を兼ね備えてもよい。
本実施形態のバリエーションの構成のブロック図を図5に示す。本構成例では、ジョブ継続管理装置1は、上述の構成例における現用系仮想サーバ10乃至11、待機系仮想サーバ12の代わりに、ジョブ実行ユニット20乃至22を包含している。ジョブ実行ユニット20乃至22は、それぞれ、ジョブ実行部100、110、120と、ローカルメモリ101、111、121を包含している。ジョブ実行部100、110、120は、それぞれ1つのプロセッサである。ジョブ実行ユニット20乃至22は運用系であるとともに待機系の機能も兼ねており、ジョブ実行ユニット20乃至22の何れかで障害が発生した場合は、ジョブ継続管理部15の指示により、障害が発生していない2台のジョブ実行ユニットが中断したジョブを引き継ぐ。
<第二の実施形態>
次に、本願発明の第二の実施形態について図面を参照して詳細に説明する。
図6は、本実施形態の構成を示すブロック図である。
本実施形態のジョブ継続管理システムの構成は、ジョブ継続管理部15の中に例外タイミング継続優先度設定部150を追加したことを除いては、図1に示す第一の実施形態の構成と同様である。
また、本実施形態では、ジョブ管理情報記憶部140が記憶するジョブ管理情報241が、第一の実施形態におけるジョブ管理情報141とは異なる。ジョブ管理情報241の構成例を図7に示す。
ジョブ管理情報241は、第一の実施形態におけるジョブ管理情報141に対して、例外タイミングと、例外タイミング継続優先度の情報を追加している。これらは、「例外タイミング」に示す月末や期末等のある特定の時期においては、通常の時期とは異なり、ジョブ継続管理部15が「例外タイミング継続優先度」に示す値を継続優先度として使用するための情報である。
例外タイミング継続優先度設定部150は、ホストサーバ1が保持している現在日時情報と、ジョブ管理情報241における例外タイミングの情報を照らし合わせる。例外タイミング継続優先度設定部150は、現在日時が例外タイミングに記載された時期であるレコードが存在する場合、当該レコードのジョブについて、当該レコードにおける継続優先度の値を、例外タイミング継続優先度の値に置き換えてジョブ継続の動作を行うよう、ジョブ継続管理部15に指示する。
例えば、5月末日(月末)に現用系仮想サーバ10(サーバ1)で障害が発生した場合、例外タイミング継続優先度設定部150は、ジョブ管理情報241においてジョブ1の例外タイミングが月末であることから、ジョブ1の継続優先度の値を4から2に置き換えてジョブ継続の動作を行うよう、ジョブ継続管理部15に指示する。
ジョブ継続管理部15は、ジョブ1の継続優先度を4から2に置き換えた上で、第一の実施形態と同様の動作を行う。この場合、ジョブ1、ジョブ2の継続優先度はそれぞれ2と5になり、ジョブ継続管理部15は、ジョブ1、ジョブ2の順番でジョブ継続動作を行う。
また、9月末日(期末)に現用系仮想サーバ10(サーバ1)で障害が発生した場合は、9月末日は月末でもあり期末でもあることから、ジョブ1、ジョブ2の継続優先度は、それぞれ2と0になり、ジョブ継続管理部15は、ジョブ2、ジョブ1の順番でジョブ継続動作を行う。
本実施形態には、ある特定の時期に限定してジョブの継続優先度の設定を変更したい場合に、その設定変更を自動で行う効果がある。その理由は、例外タイミング継続優先度設定部150が、ジョブ管理情報241に記載された例外タイミングの時期とその時期に適用する例外タイミング継続優先度の値を参照し、例外タイミングの時期であれば、例外タイミング継続優先度の値を継続優先度として使用するようにジョブ継続管理部15に指示するからである。
通常時期における優先度はそれほど高くないが、月末や期末などの特定の時期における優先度が高いジョブについて、人手で優先度の設定変更を行う場合は、設定漏れによる最優先ジョブの処理の遅れが発生する可能性がある。本実施形態では、優先度の設定変更を例外タイミング継続優先度設定部150が自動で行うため、上述の問題は解消される。
<第三の実施形態>
次に、本願発明の第三の実施形態について図面を参照して詳細に説明する。
図7は、本実施形態の構成を示すブロック図である。
本実施形態のジョブ継続管理装置1は、複数、例えば2個のジョブ実行部301乃至302と、ジョブ管理情報記憶部340と、ジョブ継続管理部35とを包含している。
ジョブ実行部301乃至302はジョブを実行する装置である。これらは通常プロセッサの場合もあれば、第一の実施形態における現用系仮想サーバ10乃至11のような仮想サーバの場合もある。
ジョブ管理情報記憶部340は、ジョブ実行部301乃至302が実行する各ジョブに対して、ジョブの識別情報と、実行元のジョブ実行部の識別情報と、ジョブ実行情報と、ジョブ継続実行優先度とを対応付けて記憶している。その詳細構成は、図3に示す第一の実施形態のジョブ管理情報141と同様である。
ジョブの識別情報は、全てのジョブを識別できるように、システム管理部(図示せず)が付与したユニークな名称である。実行元のジョブ実行部の識別情報は、ジョブ実行部301、もしくはジョブ実行部302のいずれかの名称となる。
ジョブ実行情報は、図3に示すとおり、ジョブ処理エンジンと結果通知先と処理中の入力データとを包含しており、それらの詳細は、第一の実施形態で記載した通りである。ジョブ継続実行優先度は、システム管理部により設定された、障害発生時にジョブを継続実行するときの実行優先度を示すものであり、その詳細は、第一の実施形態で記載した通りである。
ジョブ継続管理部35は、例えば、ジョブ実行部301で障害が発生した場合に、ジョブ管理情報記憶部340を参照する。そして、ジョブ継続管理部35は、実行元のジョブ実行部の識別情報が、ジョブ実行部301であるレコードについて、ジョブ継続実行優先度が高いジョブから順番に、当該ジョブの識別情報と当該ジョブの実行情報を、ジョブ実行部302に送付して、ジョブ実行部302に当該ジョブを継続実行させる。
本実施形態には、第一の実施形態と同様に、ジョブ実行部301乃至302の何れかにおける障害の発生により実行が中断されたジョブを、短時間で効率的に継続実行を開始するという効果がある。その理由は、ジョブ継続管理部35が、ジョブ管理情報記憶部340に格納されたジョブの継続優先度の情報に従い、継続優先度の高いジョブから順次、ジョブの継続実行に必要な情報を、障害が発生していない方のジョブ実行部に引き渡して、ジョブの継続実行を指示するからである。
本実施形態は、第一、第二の実施形態のような待機系のサーバを備えていないが、上述の効果を実現している。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されたものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
1 ホストサーバ(ジョブ継続管理装置)
10乃至11 現用系仮想サーバ
12 待機系仮想サーバ
100、110、120 ジョブ実行部
101、111、121 ローカルメモリ
13 仮想サーバ監視部
14 共有メモリ
140、340 ジョブ管理情報記憶部
141、241 ジョブ管理情報
142 マシン管理情報
15、35 ジョブ継続管理部
16 クライアント端末
17 入出力データ格納部
20乃至22 ジョブ実行ユニット
301乃至302 ジョブ実行部

Claims (9)

  1. ジョブを実行する複数のジョブ実行手段と、
    前記ジョブ単位で、ジョブ識別情報と、実行元の前記ジョブ実行手段の識別情報と、ジョブ実行情報と、ジョブ継続実行優先度とを対応付けて記憶するジョブ管理情報記憶手段と、
    前記ジョブ実行手段の何れかで障害が発生した場合に、前記ジョブ管理情報記憶手段を参照し、前記ジョブ実行手段の識別情報が障害発生元の前記ジョブ実行手段の識別情報と一致するレコードについて、前記ジョブ継続実行優先度が高いジョブから順番に、前記ジョブ識別情報と前記ジョブ実行情報を、前記障害発生元のジョブ実行手段を除く何れかの前記ジョブ実行手段に送付して、送付先の前記ジョブ実行手段に当該ジョブを継続実行させるジョブ継続管理手段と、
    を備えるジョブ継続管理装置。
  2. 前記複数のジョブ実行手段は、前記ジョブ管理情報記憶手段を備える1台のサーバ内に構築された複数の仮想サーバの上で動作し、
    前記ジョブ継続管理手段は、前記ジョブ管理情報記憶手段における前記ジョブ識別情報と前記ジョブ実行情報を、前記サーバ内のメモリコピーにより、送付先の前記ジョブ実行手段に送付する
    請求項1のジョブ継続管理装置。
  3. 前記ジョブ管理情報記憶手段は、前記ジョブを実行する特定の時期と、前記特定の時期に限定して当該ジョブの前記継続実行優先度として適用する例外タイミング継続実行優先度とを対応付けて格納し、
    前記ジョブ継続管理手段は、システムの現在日時情報と前記ジョブ継続管理手段に格納された前記特定の時期の情報が一致するレコードが存在する場合、当該レコードにおける前記継続実行優先度を前記例外タイミング継続実行優先度に置き換える
    請求項1乃至2の何れかのジョブ継続管理装置。
  4. 複数のジョブ実行手段によりジョブを実行し、
    前記ジョブ単位で、ジョブ識別情報と、実行元の前記ジョブ実行手段の識別情報と、ジョブ実行情報と、ジョブ継続実行優先度とを対応付けて記憶域に記憶し、
    前記ジョブ実行手段の何れかで障害が発生した場合に、前記記憶域を参照し、前記ジョブの実行手段の識別情報が障害発生元の前記ジョブ実行手段の識別情報と一致するレコードについて、前記ジョブ継続実行優先度が高いものから順番に、前記ジョブ識別情報と前記ジョブ実行情報を、前記障害発生元のジョブ実行手段を除く何れかの前記ジョブ実行手段に送付して、送付先の前記ジョブ実行手段に当該ジョブを継続実行させる
    ジョブ継続管理装置方法。
  5. 前記複数のジョブ実行手段は、前記記憶域を備える1台のサーバ内に構築された複数の仮想サーバの上で動作し、
    前記ジョブ実行手段の何れかで障害が発生した場合、前記記憶域に記憶された前記ジョブ識別情報と前記ジョブ実行情報を、送付先の前記ジョブ実行手段に、前記サーバ内のメモリコピーにより送付する
    請求項4のジョブ継続管理方法。
  6. 前記ジョブを実行する特定の時期と、前記特定の時期に限定して当該ジョブの前記継続実行優先度として適用する例外タイミング継続実行優先度とを対応付けて前記記憶域に格納し、
    システムの現在日時情報と前記記憶域に格納された前記特定の時期の情報が一致するレコードが存在する場合、当該レコードにおける前記継続実行優先度を前記例外タイミング継続実行優先度に置き換える
    請求項4乃至5の何れかのジョブ継続管理方法。
  7. ジョブを実行する複数のジョブ実行手段と記憶域を備えるコンピュータに、
    前記ジョブ単位で、ジョブ識別情報と、実行元の前記ジョブ実行手段の識別情報と、ジョブ実行情報と、ジョブ継続実行優先度とを対応付けて前記記憶域に記憶するジョブ管理情報記憶処理と、
    前記ジョブ実行手段の何れかで障害が発生した場合に、前記記憶域を参照し、前記ジョブ実行手段の識別情報が障害発生元の前記ジョブ実行手段の識別情報と一致するレコードについて、前記ジョブ継続実行優先度が高いジョブから順番に、前記ジョブ識別情報と前記ジョブ実行情報を、前記障害発生元の前記ジョブ実行手段を除く何れかの前記ジョブ実行手段に送付して、送付先の前記ジョブ実行手段に当該ジョブを継続実行させるジョブ継続管理処理と、
    を実行させるジョブ継続管理プログラム。
  8. 前記複数のジョブ実行手段は、前記コンピュータ内に構築された複数の仮想サーバの上で動作し、
    前記コンピュータに、前記記憶域に記憶された前記ジョブ識別情報と前記ジョブ実行情報を、前記コンピュータ内のメモリコピーにより、送付先の前記ジョブ実行手段に送付する前記ジョブ継続管理処理を実行させる
    請求項7のジョブ継続管理プログラム。
  9. 前記ジョブ管理情報記憶処理は、前記ジョブを実行する特定の時期と、前記特定の時期に限定して当該ジョブの前記継続実行優先度として適用する例外タイミング継続実行優先度とを対応付けて記憶域に格納し、
    前記コンピュータに、システムの現在日時情報と前記記憶域に格納された前記特定の時期の情報が一致するレコードが存在する場合、当該レコードにおける前記継続実行優先度を前記例外タイミング継続実行優先度に置き換える前記ジョブ継続管理処理を実行させる
    請求項7乃至8の何れかのジョブ継続管理プログラム。
JP2012032771A 2012-02-17 2012-02-17 ジョブ継続管理装置、ジョブ継続管理方法、及び、ジョブ継続管理プログラム Expired - Fee Related JP5948933B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012032771A JP5948933B2 (ja) 2012-02-17 2012-02-17 ジョブ継続管理装置、ジョブ継続管理方法、及び、ジョブ継続管理プログラム
US13/764,371 US9152491B2 (en) 2012-02-17 2013-02-11 Job continuation management apparatus, job continuation management method and job continuation management program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012032771A JP5948933B2 (ja) 2012-02-17 2012-02-17 ジョブ継続管理装置、ジョブ継続管理方法、及び、ジョブ継続管理プログラム

Publications (2)

Publication Number Publication Date
JP2013171301A true JP2013171301A (ja) 2013-09-02
JP5948933B2 JP5948933B2 (ja) 2016-07-06

Family

ID=48983288

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012032771A Expired - Fee Related JP5948933B2 (ja) 2012-02-17 2012-02-17 ジョブ継続管理装置、ジョブ継続管理方法、及び、ジョブ継続管理プログラム

Country Status (2)

Country Link
US (1) US9152491B2 (ja)
JP (1) JP5948933B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015201031A (ja) * 2014-04-08 2015-11-12 日本電信電話株式会社 冗長システムとアラーム管理方法
US10545831B2 (en) 2014-08-07 2020-01-28 Microsoft Technology Licensing, Llc Safe data access following storage failure
US11228510B2 (en) 2014-08-12 2022-01-18 Microsoft Technology Licensing, Llc Distributed workload reassignment following communication failure

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2804231B1 (fr) 2000-01-25 2002-11-08 Vistaprint Usa Inc Impression centralisee de documents commerciaux en faibles volumes sur des machines auparavant limitees a des tres gros tirages
US9846618B2 (en) 2013-12-27 2017-12-19 Oracle International Corporation System and method for supporting flow control in a distributed data grid
US10235406B2 (en) 2015-12-15 2019-03-19 Microsoft Technology Licensing, Llc Reminder processing of structured data records among partitioned data storage spaces
US11226985B2 (en) 2015-12-15 2022-01-18 Microsoft Technology Licensing, Llc Replication of structured data records among partitioned data storage spaces
US10599676B2 (en) 2015-12-15 2020-03-24 Microsoft Technology Licensing, Llc Replication control among redundant data centers
US10248709B2 (en) 2015-12-15 2019-04-02 Microsoft Technology Licensing, Llc Promoted properties in relational structured data
CN110673936B (zh) * 2019-09-18 2022-05-17 平安科技(深圳)有限公司 编排业务的断点续作方法、装置、存储介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08263454A (ja) * 1995-03-23 1996-10-11 Hitachi Ltd 障害回復処理方法
JP2009252204A (ja) * 2008-04-11 2009-10-29 Hitachi Ltd 計算機の運用管理システム及び運用管理方法
JP2009282714A (ja) * 2008-05-21 2009-12-03 Hitachi Information Systems Ltd 仮想マシンコンピュータシステム及び仮想マシンコンピュータシステムのフェールセーフ方法
JP2011128967A (ja) * 2009-12-18 2011-06-30 Hitachi Ltd 仮想計算機の移動方法、仮想計算機システム及びプログラム
JP2011203937A (ja) * 2010-03-25 2011-10-13 Nec Corp Dmaセキュリティチェック回路及びdmaセキュリティチェック方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4521847A (en) * 1982-09-21 1985-06-04 Xerox Corporation Control system job recovery after a malfunction
US4674038A (en) * 1984-12-28 1987-06-16 International Business Machines Corporation Recovery of guest virtual machines after failure of a host real machine
US4947397A (en) * 1988-11-02 1990-08-07 Xerox Corporation Job scheduler diagnostics
US5245368A (en) * 1990-09-28 1993-09-14 Xerox Corporation Method and apparatus of utilizing stored job information in an electronic reprographic printing system
JPH08314875A (ja) 1995-03-14 1996-11-29 Mitsubishi Electric Corp 協調分散処理方法、および分散共有メモリ監視装置、分散共有メモリネットワーク追跡装置、分散共有メモリネットワーク設定支援装置
JP3022768B2 (ja) 1996-04-24 2000-03-21 日本電気ソフトウェア株式会社 仮想計算機システム
JP3559713B2 (ja) * 1997-10-27 2004-09-02 キヤノン株式会社 印刷処理装置、及び、印刷処理方法、並びに、処理プログラムが格納された記憶媒体
DE19801992C2 (de) * 1998-01-20 2000-07-06 Siemens Ag Verfahren zur Verbesserung der Systemverfügbarkeit nach dem Ausfall von Prozessoren einer Prozessorplattform
JP2000222338A (ja) * 1998-11-25 2000-08-11 Canon Inc 周辺機器及び周辺機器制御方法及び周辺機器制御システム及び周辺機器制御プログラムを記憶した記憶媒体及び周辺機器制御プログラムを送出する送出装置及び周辺機器制御プログラム製品及び情報処理装置及び情報処理方法及び情報処理プログラムを記憶した記憶媒体及び情報処理プログラムを送出する送出装置及び情報処理プログラム製品
JP2000174948A (ja) * 1998-12-04 2000-06-23 Canon Inc 画像入出力装置、画像入出力方法および画像処理システム
JP2000305421A (ja) * 1999-04-21 2000-11-02 Konica Corp 画像形成装置
US6718486B1 (en) * 2000-01-26 2004-04-06 David E. Lovejoy Fault monitor for restarting failed instances of the fault monitor
JP2001175440A (ja) * 1999-12-20 2001-06-29 Canon Inc データ処理装置並びに画像記録装置並びにデータ処理装置の制御方法並びに画像記録装置の制御方法および記憶媒体
GB2374953B (en) * 2001-04-26 2005-11-16 Hewlett Packard Co Method and apparatus for embodying documents
US7093004B2 (en) * 2002-02-04 2006-08-15 Datasynapse, Inc. Using execution statistics to select tasks for redundant assignment in a distributed computing platform
EP1517261A3 (en) * 2003-09-18 2005-10-05 Matsushita Electric Industrial Co., Ltd. Work-flow system and work-flow system management method
US8156493B2 (en) * 2006-04-12 2012-04-10 The Mathworks, Inc. Exception handling in a concurrent computing process
US7613742B2 (en) * 2006-05-02 2009-11-03 Mypoints.Com Inc. System and method for providing three-way failover for a transactional database
US8239869B2 (en) * 2006-06-19 2012-08-07 Condusiv Technologies Corporation Method, system and apparatus for scheduling computer micro-jobs to execute at non-disruptive times and modifying a minimum wait time between the utilization windows for monitoring the resources
US8417762B2 (en) * 2007-04-10 2013-04-09 International Business Machines Corporation Mechanism for execution of multi-site jobs in a data stream processing system
US8310696B2 (en) * 2008-01-23 2012-11-13 Reischling Press, Inc. Multiproduct printing workflow system with dynamic scheduling
JP2009230610A (ja) * 2008-03-25 2009-10-08 Kawai Musical Instr Mfg Co Ltd 命令処理装置及び命令処理方法。
JP5147505B2 (ja) * 2008-04-09 2013-02-20 キヤノン株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
US20100287553A1 (en) * 2009-05-05 2010-11-11 Sap Ag System, method, and software for controlled interruption of batch job processing
US8635493B2 (en) * 2011-05-17 2014-01-21 Vmware, Inc. High availability system allowing conditionally reserved computing resource use and reclamation upon a failover
US8850261B2 (en) * 2011-06-01 2014-09-30 Microsoft Corporation Replaying jobs at a secondary location of a service
US8938638B2 (en) * 2011-06-06 2015-01-20 Microsoft Corporation Recovery service location for a service
JP5803328B2 (ja) * 2011-06-27 2015-11-04 セイコーエプソン株式会社 印刷装置、及び印刷方法
JP2014061638A (ja) * 2012-09-20 2014-04-10 Canon Inc 印刷装置及びその制御方法、並びにプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08263454A (ja) * 1995-03-23 1996-10-11 Hitachi Ltd 障害回復処理方法
JP2009252204A (ja) * 2008-04-11 2009-10-29 Hitachi Ltd 計算機の運用管理システム及び運用管理方法
JP2009282714A (ja) * 2008-05-21 2009-12-03 Hitachi Information Systems Ltd 仮想マシンコンピュータシステム及び仮想マシンコンピュータシステムのフェールセーフ方法
JP2011128967A (ja) * 2009-12-18 2011-06-30 Hitachi Ltd 仮想計算機の移動方法、仮想計算機システム及びプログラム
JP2011203937A (ja) * 2010-03-25 2011-10-13 Nec Corp Dmaセキュリティチェック回路及びdmaセキュリティチェック方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015201031A (ja) * 2014-04-08 2015-11-12 日本電信電話株式会社 冗長システムとアラーム管理方法
US10545831B2 (en) 2014-08-07 2020-01-28 Microsoft Technology Licensing, Llc Safe data access following storage failure
US11228510B2 (en) 2014-08-12 2022-01-18 Microsoft Technology Licensing, Llc Distributed workload reassignment following communication failure

Also Published As

Publication number Publication date
US20130219224A1 (en) 2013-08-22
US9152491B2 (en) 2015-10-06
JP5948933B2 (ja) 2016-07-06

Similar Documents

Publication Publication Date Title
JP5948933B2 (ja) ジョブ継続管理装置、ジョブ継続管理方法、及び、ジョブ継続管理プログラム
US10020980B2 (en) Arbitration processing method after cluster brain split, quorum storage apparatus, and system
JP5714571B2 (ja) キャッシュクラスタを構成可能モードで用いるキャッシュデータ処理
JP4572250B2 (ja) 計算機切り替え方法、計算機切り替えプログラム及び計算機システム
US9275060B1 (en) Method and system for using high availability attributes to define data protection plans
JP2009288836A (ja) 仮想サーバのシステム障害回復方法及びそのシステム
JP2019008417A (ja) 情報処理装置、メモリ制御方法およびメモリ制御プログラム
US9367261B2 (en) Computer system, data management method and data management program
CN105493474B (zh) 用于支持用于同步分布式数据网格中的数据的分区级别日志的系统及方法
KR20140025503A (ko) 서비스의 2차 위치에서의 작업의 재생 기법
US8533525B2 (en) Data management apparatus, monitoring apparatus, replica apparatus, cluster system, control method and computer-readable medium
US11604806B2 (en) System and method for highly available database service
JP6123626B2 (ja) 処理再開方法、処理再開プログラムおよび情報処理システム
US20170289044A1 (en) Highly available servers
WO2014080492A1 (ja) 計算機システム、クラスタ管理方法、及び管理計算機
US20140059312A1 (en) Recording medium, computer, and information processing system
WO2020134199A1 (zh) 实现数据一致性的方法和装置、服务器和终端
US11500812B2 (en) Intermediate file processing method, client, server, and system
CN110196749B (zh) 虚拟机的恢复方法及装置、存储介质及电子装置
JP2012190175A (ja) フォールトトレラントシステム、サーバ、フォールトトレラント化方法およびプログラム
JP2009080705A (ja) 仮想計算機システム及び同システムにおける仮想計算機復元方法
US20240054054A1 (en) Data Backup Method and System, and Related Device
JP2005301436A (ja) クラスタシステムおよびクラスタシステムにおける障害回復方法
US8036105B2 (en) Monitoring a problem condition in a communications system
US20240028611A1 (en) Granular Replica Healing for Distributed Databases

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160523

R150 Certificate of patent or registration of utility model

Ref document number: 5948933

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees