JP2012003476A - 情報処理システム、管理装置、処理要求装置及びプログラム - Google Patents

情報処理システム、管理装置、処理要求装置及びプログラム Download PDF

Info

Publication number
JP2012003476A
JP2012003476A JP2010137300A JP2010137300A JP2012003476A JP 2012003476 A JP2012003476 A JP 2012003476A JP 2010137300 A JP2010137300 A JP 2010137300A JP 2010137300 A JP2010137300 A JP 2010137300A JP 2012003476 A JP2012003476 A JP 2012003476A
Authority
JP
Japan
Prior art keywords
data
processing
unit
virtual machine
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010137300A
Other languages
English (en)
Other versions
JP5533315B2 (ja
Inventor
Shinichi Saito
信一 齊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2010137300A priority Critical patent/JP5533315B2/ja
Priority to US12/917,164 priority patent/US20110314157A1/en
Priority to CN2010105900465A priority patent/CN102289385A/zh
Publication of JP2012003476A publication Critical patent/JP2012003476A/ja
Application granted granted Critical
Publication of JP5533315B2 publication Critical patent/JP5533315B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5044Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering hardware capabilities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061Partitioning or combining of resources
    • G06F9/5077Logical partitioning of resources; Management or configuration of virtualized resources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • G06F2009/45562Creating, deleting, cloning virtual machine instances

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】コンピュータ群の中から少なくとも一部のコンピュータ資源を割り当ててデータを処理するシステムにおいて、データ転送による遅延を抑える。
【解決手段】情報処理システム10は、データを処理するコンピュータ資源の割当要求と、データ処理を識別する識別情報を受け付け、受け付けた割当要求に応じて、1又は複数のコンピュータ300の1つに含まれるコンピュータ資源の少なくとも一部を割り当て、割り当てられたコンピュータ資源におけるデータの格納先を示す格納先情報を、割り当てられたコンピュータ資源に基づき特定し、特定された格納先情報に示される格納先に、割り当てられるコンピュータ資源により処理される処理対象データを転送し、処理対象データが格納先に転送された後に、受け付けた識別情報により識別されるデータ処理を構成する1又は複数のプログラムを、割り当てられたコンピュータ資源を用いて実行されるよう、割り当てられたコンピュータ資源に配置する。
【選択図】図1

Description

本発明は、情報処理システム、管理装置、処理要求装置及びプログラムに関する。
1又は複数のコンピュータを含むコンピュータ群の中から少なくとも一部のコンピュータ資源を割り当てて仮想マシンを構成し、当該構成した仮想マシンをユーザーに利用させるサービスが行われてきている(例えば、下記特許文献1を参照)。
こうしたサービスにおいて、処理データを格納するレポジトリとして機能する仮想マシンと、レポジトリから処理データを取得して処理する仮想マシンとの間では、処理データのデータ転送が発生する。
特表2009−532944号公報
本発明の目的の一つは、コンピュータ群の中から少なくとも一部のコンピュータ資源を割り当ててデータを処理するシステムにおいて、データ転送による遅延を抑えることができる情報処理システム、管理装置、処理要求装置及びプログラムを提供することにある。
上記目的を達成するために、請求項1に記載の発明は、データを処理するコンピュータ資源の割当要求と、前記データを処理するデータ処理を識別する識別情報を受け付ける受付手段と、前記受付手段により受け付けた割当要求に応じて、1又は複数のコンピュータの1つに含まれるコンピュータ資源の少なくとも一部を割り当てる割当手段と、前記割当手段により割り当てられたコンピュータ資源における前記データの格納先を示す格納先情報を、前記割当手段により割り当てられたコンピュータ資源に基づき特定する特定手段と、前記特定手段により特定された格納先情報に示される格納先に、前記割当手段により割り当てられるコンピュータ資源により処理される処理対象データを転送する転送手段と、前記転送手段により前記処理対象データが前記格納先に転送された後に、前記受付手段により受け付けた識別情報により識別されるデータ処理を構成する1又は複数のプログラムを、前記割当手段により割り当てられたコンピュータ資源を用いて実行されるよう、前記割当手段により割り当てられたコンピュータ資源に配置する配置手段と、を含むことを特徴とする情報処理システムである。
また、請求項2に記載の発明は、データを処理するコンピュータ資源の割当要求と、前記データを処理するデータ処理を識別する識別情報を受け付ける受付手段と、前記受付手段により受け付けた割当要求に応じて、1又は複数のコンピュータの1つに含まれるコンピュータ資源の少なくとも一部を割り当てる割当手段と、前記割当手段により割り当てられたコンピュータ資源における前記データの格納先を示す格納先情報を、前記割当手段により割り当てられたコンピュータ資源に基づき特定する特定手段と、前記特定手段により特定された格納先情報に示される格納先に、前記割当手段により割り当てられるコンピュータ資源により処理される処理対象データを転送させる手段と、前記処理対象データが前記格納先に転送された後に、前記受付手段により受け付けた識別情報により識別されるデータ処理を構成する1又は複数のプログラムを、前記割当手段により割り当てられたコンピュータ資源を用いて実行されるよう、前記割当手段により割り当てられたコンピュータ資源に配置する配置手段と、を含むことを特徴とする管理装置である。
また、請求項3に記載の発明は、データを処理するコンピュータ資源の割当要求と、前記データを処理するデータ処理を識別する識別情報を送信する割当要求送信手段と、前記割当要求送信手段による要求に応じて割り当てられた、1又は複数のコンピュータの1つに含まれるコンピュータ資源の少なくとも一部における前記データの格納先を示す格納先情報を取得する取得手段と、前記取得手段により取得された格納先情報に示される格納先に、前記割り当てられたコンピュータ資源により処理される処理対象データを転送する転送手段と、前記転送手段により前記処理対象データが転送された後に、前記割当要求送信手段により送信された識別情報により識別されるデータ処理を構成する1又は複数のプログラムを、前記割り当てられたコンピュータ資源を用いて実行されるよう、前記割り当てられたコンピュータ資源に配置させる手段と、を含むことを特徴とする処理要求装置である。
また、請求項4に記載の発明は、データを処理するコンピュータ資源の割当要求と、前記データを処理するデータ処理を識別する識別情報を受け付ける受付手段と、前記受付手段により受け付けた割当要求に応じて、1又は複数のコンピュータの1つに含まれるコンピュータ資源の少なくとも一部を割り当てる割当手段と、前記割当手段により割り当てられたコンピュータ資源における前記データの格納先を示す格納先情報を、前記割当手段により割り当てられたコンピュータ資源に基づき特定する特定手段と、前記特定手段により特定された格納先情報に示される格納先に、前記割当手段により割り当てられるコンピュータ資源により処理される処理対象データを転送させる手段と、前記処理対象データが前記格納先に転送された後に、前記受付手段により受け付けた識別情報により識別されるデータ処理を構成する1又は複数のプログラムを、前記割当手段により割り当てられたコンピュータ資源を用いて実行されるよう、前記割当手段により割り当てられたコンピュータ資源に配置する配置手段としてコンピュータを機能させるためのプログラムである。
また、請求項5に記載の発明は、データを処理するコンピュータ資源の割当要求と、前記データを処理するデータ処理を識別する識別情報を送信する割当要求送信手段と、前記割当要求送信手段による要求に応じて割り当てられた、1又は複数のコンピュータの1つに含まれるコンピュータ資源の少なくとも一部における前記データの格納先を示す格納先情報を取得する取得手段と、前記取得手段により取得された格納先情報に示される格納先に、前記割り当てられたコンピュータ資源により処理される処理対象データを転送する転送手段と、前記転送手段により前記処理対象データが転送された後に、前記割当要求送信手段により送信された識別情報により識別されるデータ処理を構成する1又は複数のプログラムを、前記割り当てられたコンピュータ資源を用いて実行されるよう、前記割り当てられたコンピュータ資源に配置させる手段としてコンピュータを機能させるためのプログラムである。
請求項1乃至5に記載の発明によれば、コンピュータ群の中から少なくとも一部のコンピュータ資源を割り当ててデータを処理するシステムにおいて、データ転送による遅延を、本構成によらない場合と比較して、抑えることができる。
情報処理システムのシステム構成図である。 情報処理システムに含まれる各装置の機能ブロック図である。 仮想マシン状態管理テーブルの一例を示す図である。 更新された仮想マシン状態管理テーブルの一例を示す図である。 サービス定義テーブルの一例を示す図である。 更新された仮想マシン状態管理テーブルの一例を示す図である。 情報処理システム及び仮想マシンにより行われる処理のシーケンス図である。 仮想マシン状態管理テーブルの一例を示す図である。 実行待ちキューの一例を示す図である。 サービス定義テーブルの一例を示す図である。 情報処理システム及び仮想マシンにより行われる処理のシーケンス図である。
以下、本発明を実施するための実施の形態(以下、実施形態という)を、図面に従って説明する。
図1には、本実施形態に係る情報処理システム10のシステム構成図を示した。図1に示されるように、情報処理システム10は、1又は複数のコンピュータ300を含むコンピュータ群30の少なくとも一部のコンピュータ資源の利用を要求するクライアント装置200と、当該クライアント装置200からの利用要求を受け付け、コンピュータ資源の割り当て等の各種制御処理を担当する管理装置100を含む。本実施形態においては、コンピュータ群30に含まれる各コンピュータ300、管理装置100、及びクライアント装置200は、インターネット等のネットワーク20を介して相互にデータ通信することとするが、上記各装置がデータ通信可能であれば各装置の接続態様は上記態様に限られない。
コンピュータ群30は、1又は複数のコンピュータ300を含み、各コンピュータ300はネットワーク302を介して相互にデータ通信可能に接続されている。コンピュータ群30に含まれる各コンピュータ300は、1又は複数のプロセッサ、メモリ、磁気ディスク装置等を含むコンピュータ資源(ハードウェアリソース)を備えており、コンピュータ群30に備えられたコンピュータ資源は1又は複数に分割されて、仮想マシンと呼ばれる論理コンピュータとして構成されることとしてよい。なお、仮想マシンは、全部又は一部のハードウェアの使用時間を分割してその少なくとも一部を割り当てて構成することとしてもよい。
管理装置100は、クライアント装置200からコンピュータ群30の利用要求を受け付け、当該クライアント装置200に仮想マシンを割り当てると共に、クライアント装置200から要求されたデータ処理を割り当てた仮想マシンに実行させるための制御を行うコンピュータである。この管理装置100に備えられた機能の詳細については後述する。
クライアント装置200は、ユーザーからの入力を受け付けるコンピュータであり、ユーザーからの入力に応じて、コンピュータ群30から仮想マシンの割当を要求すると共に、要求に応じて割り当てられた仮想マシンを利用したデータ処理の実行を要求する。このクライアント装置200に備えられた機能の詳細についても後述する。
図2には、情報処理システム10に含まれる各装置の機能ブロック図を示した。以下、図2に示された機能ブロック図を参照しながら、情報処理システム10に含まれる管理装置100及びクライアント装置200に備えられた機能の詳細について説明する。
コンピュータ群30に含まれるコンピュータ資源は、複数に分割されて仮想マシンが複数構成される。図2に示した例において、VM1〜VM4は、コンピュータ300のコンピュータ資源を4つに分割して構成した仮想マシンである。本実施形態においては、仮想マシンは予め構成されていることとしてよく、構成される仮想マシンの中には、一台のコンピュータ300を1又は複数に分割して構成した仮想マシンが少なくとも1つは含まれることとする。
図2に示されるように、管理装置100は、仮想マシン情報送受信部102、仮想マシン情報保持部104、仮想マシン割当要求受付部106、仮想マシン割当部108、処理データ格納先情報生成部110、処理データ格納先情報送信部112、サービス要求受付部114、サービス情報保持部116、及びサービス配置部118を備える。上記の各部の機能は、CPU等の制御手段、メモリ、磁気ディスク装置等の記憶手段、外部デバイスとデータを送受信する通信手段等を備えたコンピュータが、コンピュータ読み取り可能な情報記憶媒体に格納されたプログラムを読み込み実行することで実現されるものとしてよい。なお、プログラムは情報記憶媒体によって管理装置100として機能するコンピュータに供給されることとしてもよいし、インターネット等のデータ通信手段を介して当該コンピュータに供給されることとしてもよい。
仮想マシン情報送受信部102は、コンピュータ群30に含まれ仮想マシンの情報を管理する管理コンピュータとの間で、コンピュータ群30において構成された仮想マシンの情報を送受信するものである。仮想マシンの情報は、管理装置100とコンピュータ群30との間で定期的に送受信されることとしてもよいし、情報に変更があった場合に送受信されることとしてもよい。例えば、仮想マシンの情報には、仮想マシンの状態を示す状態情報や、仮想マシンを構成するハードウェアリソースを示すリソース情報等を含むこととしてよい。例えば、状態情報には、仮想マシン毎に、割り当てられたクライアント装置200の識別情報(クライアント名等)と、実行しているサービス名(データ処理名等)を含むこととしてよく、リソース情報には、仮想マシン毎に、コンピュータ群30のうちのどのコンピュータ300のどのハードウェアを含み構成されているかを示す情報を含むこととしてよい。
仮想マシン情報保持部104は、仮想マシン情報送受信部102により受信された仮想マシンの情報を保持するものである。
図3には、仮想マシン情報保持部104に保持される仮想マシン状態管理テーブル(状態情報)の一例を示した。図3に示されるように、仮想マシン状態管理テーブルには、仮想マシンを識別する仮想マシンIDに対応付けて、当該仮想マシンが割り当てられているクライアント装置200を識別するクライアント名と、当該仮想マシンにおいて実行しているデータ処理を示すサービス名とが格納される。仮想マシン状態管理テーブルにおいて、クライアント名が空欄の場合には、その仮想マシンは、どのクライアント装置200にも割り当てられていない(すなわち空いている)ことを示している。
仮想マシン割当要求受付部106は、クライアント装置200から仮想マシンの割当要求を受け付けるものである。仮想マシンの割当要求には、クライアント装置200を識別するクライアント名と共に、クライアント装置200が要求するコンピュータ資源を示す情報(例えばプロセッサ数、メモリ容量、ディスク容量等)を含むこととしてもよい。
仮想マシン割当部108は、仮想マシン割当要求受付部106により受け付けた割当要求に応じて、クライアント装置200に仮想マシンを割り当てるものである。例えば、仮想マシン割当部108は、仮想マシン情報保持部104に保持される仮想マシン状態管理テーブルを参照し、クライアント名が格納されていない仮想マシンを選択して、クライアント装置200に割り当てることとしてよい。この際に、仮想マシン割当部108は、仮想マシンが1つのコンピュータのコンピュータ資源から構成されているものを検索し、その中から仮想マシンを選択することとしてもよいし、クライアント装置200からの割当要求にコンピュータ資源を示す情報が含まれる場合には、そのコンピュータ資源を満足する仮想マシンを選択するようにしてもよい。もし、空いている(又は指定された条件に合致する)仮想マシンが存在しない場合には、仮想マシン割当部108はクライアント装置200に割当不可の情報を送信するように制御することとしてよい。
図4には、仮想マシン割当部108により仮想マシンを割り当てた後に更新された仮想マシン状態管理テーブルの一例を示した。図4に示されるように、仮想マシン「VM1」がクライアント「CL1」に割り当てられた場合には、仮想マシン状態管理テーブルにおける「VM1」に対応付けられたクライアント名の欄に「CL1」が格納される。
処理データ格納先情報生成部110は、仮想マシン割当部108により割り当てられた仮想マシンの情報に基づいて、仮想マシンが処理する処理データの格納先を示す格納先情報を生成(特定)するものである。例えば、処理データ格納先情報生成部110は、仮想マシン割当部108により割り当てられた仮想マシンに含まれるストレージ(データ格納装置)内に格納されるファイル名を格納先情報として生成することとしてよい。格納先情報は、仮想マシンにおいてデータが一意に識別されるものであれば如何なる生成規則に基づいて生成されてもよい。本実施形態では、例えば処理データ格納先情報生成部110は、仮想マシン(VM1)、仮想マシンのストレージ(S1)、ストレージに格納されるファイル名(File1)からなるパス(/VM1/S1/File1)を格納先情報として生成することとしてよい。
処理データ格納先情報送信部112は、処理データ格納先情報生成部110により生成された格納先情報を、仮想マシンの割当要求を行ったクライアント装置200に送信するものである。
サービス要求受付部114は、クライアント装置200から、当該クライアント装置200に割り当てられた仮想マシンにおいてデータ処理(サービス)の実行要求を受け付けるものである。例えば、サービス要求受付部114は、クライアント装置200から、クライアント名と共に、実行するデータ処理を識別するサービス識別情報(サービス名等)を受け付けることとしてよい。
サービス情報保持部116は、サービス識別情報によりそれぞれ識別されるサービスを構成するデータ処理の情報を保持するものである。サービス情報保持部116は更に、各データ処理を構成するプログラムの実体データを保持しておくこととしてよい。
図5には、サービス情報保持部116により保持されるサービス定義テーブルの一例を示した。図5に示されるように、サービス定義テーブルは、サービス名に対応付けて、当該サービスを構成するプログラム(データ処理要素、プリミティブサービス)の情報を示す構成プログラムを格納して構成されている。構成プログラムの情報において、A,B,Cと格納されている場合には、A,B,Cの処理を当該順序で実行することを示す。
サービス配置部118は、サービス要求受付部114で受け付けたサービスを構成するプログラムを、サービス情報保持部116を参照して取得し、当該取得したプログラムを、仮想マシン割当部108により割り当てた仮想マシンに配置(デプロイ)するものである。例えば、サービス配置部118は、サービスを構成するプログラム、プログラムの実行順序、処理対象のデータが格納された格納先の情報を含むデプロイ情報を生成し、当該生成したデプロイ情報を仮想マシンに転送することによりサービスの配置を行うこととしてよい。また、サービス配置部118により仮想マシンに配置されたプログラムに基づいて、仮想マシンは処理データ格納先情報生成部110により生成された格納先に格納された処理データを実行する。
図6には、サービス配置部118によりサービス(プログラム)が配置された場合に更新された仮想マシン状態管理テーブルの一例を示した。図6に示されるように、サービス配置部118により仮想マシンへのプログラムの配置(デプロイ)が完了した後、もしくは配置するプログラムを特定した後には、割り当てられた仮想マシンのサービス名の欄に配置されたサービスを示す情報が格納される。
仮想マシンは、サービス配置部118によるプログラムが配置された後に、クライアント装置200から転送された処理データを対象として、配置されたプログラムを指定された実行順序で実行する。仮想マシンは、上記処理の結果得られた処理結果データを、クライアント装置200に送信すると共に、管理装置100にはサービス配置部118により配置されたプログラムの実行が完了したことを通知する。管理装置100は、仮想マシンからプログラムの実行完了の通知を受けると、仮想マシン状態管理テーブルに格納された当該仮想マシンのレコードを更新する。具体的には、管理装置100は、仮想マシンに対応付けられたクライアント名及びサービス名の項目のデータを消去して、仮想マシン状態管理テーブルを更新することとしてよい。また、仮想マシンは、配置されたプログラムの実行を完了した後に、当該配置されたプログラム及びクライアント装置200から転送された処理データの両者を削除することとしてよい。この際、仮想マシンは、クライアント装置200からの要求に応じて上記データを削除することとしてもよいし、処理が終了してから一定の期間が経過した後に上記データを削除するようにしてもよい。
次に、クライアント装置200に備えられる機能について説明する。図2に示されるように、クライアント装置200は、仮想マシン割当要求部202、処理データ格納先情報受信部204、処理データ転送部206、サービス要求部208、及び処理結果取得部210を備える。上記の各部の機能は、CPU等の制御手段、メモリ等の記憶手段、外部デバイスとデータを送受信する通信手段等を備えたコンピュータが、コンピュータ読み取り可能な情報記憶媒体に格納されたプログラムを読み込み実行することで実現されるものとしてよい。なお、プログラムは情報記憶媒体によってクライアント装置200として機能するコンピュータに供給されることとしてもよいし、インターネット等のデータ通信手段を介して当該コンピュータに供給されることとしてもよい。
仮想マシン割当要求部202は、管理装置100にコンピュータ群30からの仮想マシンの割当を要求するものである。仮想マシン割当要求部202は、仮想マシンの割当要求時に、クライアント装置200を識別するクライアント名と共に、必要なコンピュータ資源を示す情報を併せて管理装置100に送信することとしてもよい。
処理データ格納先情報受信部204は、仮想マシン割当要求部202による割当要求に応じて仮想マシンが割り当てられた場合に、当該割り当てられた仮想マシンによる処理の対象となる処理データの格納先を示す格納先情報を、管理装置100から受信するものである。本実施形態では、処理データ格納先情報受信部204は、管理装置100の処理データ格納先情報送信部112により送信された格納先情報を受信することとする。
処理データ転送部206は、処理データ格納先情報受信部204により受信された格納先情報により示される格納先に、処理データを転送するものである。処理データ転送部206は、格納先情報に示されるファイル名に処理データのファイル名を変更した後に、仮想マシンにアクセスしてデータ転送を行い、その際に処理データの格納先のパスを格納先情報に示されるパスに基づいて定めることとしてよい。
サービス要求部208は、処理データ転送部206により転送される処理データを処理するサービス(データ処理)を識別する情報を管理装置100に送信し、処理データに対するサービスの実行を要求するものである。本実施形態では、サービス要求部208により管理装置100に送信されたサービス要求は、管理装置100のサービス要求受付部114により受け付けられることとする。
処理結果取得部210は、サービス要求部208により要求した処理データに対して指定したサービス(データ処理)が実行された場合に、当該サービスの処理結果を取得するものである。なお、処理結果取得部210は、仮想マシンから送信された処理結果を受信して取得することとしてよい。
次に、図7に示されたシーケンス図を参照しながら、本実施形態に係る情報処理システム10及びクライアント装置200に割り当てられた仮想マシンにより行われる処理の流れを説明する。
まず、クライアント装置200は、管理装置100に仮想マシンの割当要求を送信する(S1001)。管理装置100は、クライアント装置200から受信した割当要求に応じて、仮想マシン状態管理テーブルを参照し、未だ割り当てられていない仮想マシンがあるか否かを判断し(S1002)、「ない」と判断する場合には(S1002:N)、割当不可の情報をクライアント装置200に送信し(S1003)、「ある」と判断する場合には(S1002:Y)、仮想マシンをクライアント装置200に割り当てる(S1004)。そして、管理装置100は、上記割り当てた仮想マシンにおけるデータの格納先を示す格納先情報を生成すると共に(S1005)、当該生成した格納先情報をクライアント装置200に送信する(S1006)。
クライアント装置200は、管理装置100から受信した格納先情報に示される仮想マシンにおける格納先に処理データを転送し(S1007)、さらに管理装置100に処理データを処理するサービス(データ処理)を識別するサービス識別情報を送信する(S1008)。管理装置100は、クライアント装置200から受信したサービス識別情報に基づいて、サービスを構成するプログラムを特定すると共に、当該特定した各プログラム、各プログラムの実行順序及び実行対象に基づくデプロイ情報を生成し(S1009)、当該生成したデプロイ情報を仮想マシンに転送する(S1010)。
仮想マシンでは、管理装置100から受信したデプロイ情報に基づいてプログラムを配置した後に処理データに対するデータ処理を実行し(S1011)、その処理結果をクライアント装置200に送信する(S1012)。そして、仮想マシンは、管理装置100にサービスの完了通知を送信する(S1013)と共に、配置されたサービス及び処理データを削除する(S1014)。また、管理装置100は、仮想マシンからの完了通知を受けると、仮想マシン状態管理テーブルにおける仮想マシンに関するレコードを特定し、当該特定したレコードにおけるクライアント名及びサービス名の欄を削除し更新する(S1015)。以上によりクライアント装置200から要求されるデータ処理に関する一連の処理を終了する。
本実施形態に係る情報処理システム10では、クライアント装置200に割り当てられる仮想マシンのハードウェアリソースに含まれるストレージに処理データを格納し、仮想マシンに処理データを処理させることで、処理データをデータ転送することに起因する処理の遅延が発生しない。
次に、本発明に係る第2の実施形態について説明する。第2の実施形態に係る情報処理システム10は、仮想マシン毎に実行待ちキューを保持し、仮想マシンにより今後実行されるデータ処理に係るデータ量に基づいてクライアント装置200に割り当てる仮想マシンを選択している点で第1の実施形態に係る情報処理システム10とは異なっており、仮想マシンを割り当てた後の処理は共通している。以下、第1の実施形態に係る情報処理システム10との相違点について説明する。
第2の実施形態に係る仮想マシン情報保持部104は、仮想マシン毎の状態を示す仮想マシン状態管理テーブルと、仮想マシン毎に割り当てられた実行待ち状態にある処理を示す処理情報を格納した実行待ちキューを保持している。
図8には、仮想マシン状態管理テーブルの一例を示した。図8に示されるように、仮想マシン情報管理テーブルは、仮想マシンの識別情報(仮想マシンID)毎に、割り当てられたクライアント装置200を示すクライアント名、実行しているサービスを示すサービス名、実行しているサービスによる処理対象とする処理データ名、処理データのデータサイズを関連付けて格納している。
図9には、実行待ちキューの一例を示した。実行待ちキューは、仮想マシン毎に設けられ、仮想マシン割当部108により割り当てられた処理を示す処理情報が、割り当てられた順に待ち行列の最後部に格納される。例えば、処理情報は、仮想マシン情報管理テーブルのレコードに対応する情報としてよく、クライアント名、サービス名、処理データ名、データサイズの各項目を含むこととしてよい。
仮想マシン割当要求受付部106は、クライアント装置200から仮想マシンの割当要求を受け付ける。この割当要求には、クライアント装置200を識別するクライアント名、実行を要求するサービス名、処理データのデータサイズの各情報が含まれる。
仮想マシン割当部108は、クライアント装置200から仮想マシンの割当要求を受け付けると、仮想マシン情報保持部104に保持される仮想マシン状態管理テーブル及び実行待ちキューを参照し、仮想マシン毎に、現在実行しているサービス及び今後実行するサービスにより処理されるデータサイズの合計値を算出する。そして、仮想マシン割当部108は、上記算出したデータサイズの合計値が最小の仮想マシンをクライアント装置200に割り当てる。仮想マシン割当部108により仮想マシンが割り当てられると、当該割り当てられた仮想マシンの実行待ちキューに、クライアント装置200から受け付けた割当要求に含まれる処理情報が追加される。クライアント装置200に仮想マシンが割り当てられた後は、第1の実施形態と同様の処理が実行されるが、サービス配置部118が実行待ちキューを参照して次に実行するサービスを配置する点で第1の実施形態と異なるためその点を以下説明する。
サービス配置部118は、仮想マシンから処理の完了通知を受けると、当該仮想マシンの実行待ちキューを参照し、実行待ちキューにおける第1順位の処理情報を取得する。サービス配置部118は、上記取得した処理情報に基づいてデプロイ情報を生成し、生成したデプロイ情報を仮想マシンに転送する。サービス配置部118は、サービスの配置を完了すると、当該サービスの配置を行った仮想マシンに関する仮想マシン状態管理テーブルの該当項目(クライアント名、サービス名、処理データ名、データサイズ等)を更新すると共に、実行待ちキューにおいて処理を実行した処理情報を削除すると共に他の処理情報の処理順位を1つずつ繰り上げて更新する。
第2の実施形態に係る情報処理システム10では、仮想マシンに空き状態がなくともクライアント装置200からのサービス要求に応じる際に、クライアント装置200に処理するデータ量が少ない仮想マシンを割り当てることで、クライアント装置200へのサービスの提供までの時間が短縮される。
次に、本発明に係る第3の実施形態について説明する。第3の実施形態に係る情報処理システム10は、仮想マシンにより今後実行されるデータ処理に係る処理時間に基づいてクライアント装置200に割り当てる仮想マシンを選択している点で第2の実施形態に係る情報処理システム10とは異なっており、他の点は共通している。以下、第2の実施形態に係る情報処理システム10との相違点について説明する。
第3の実施形態に係るサービス情報保持部116は、仮想マシンにおいて実行されるサービス毎に、単位データ当たりの処理速度情報を保持する。
図10には、サービス情報保持部116により保持されるサービス定義テーブルの一例を示した。図10に示されるように、サービス定義テーブルには、サービスを識別する識別情報(サービス名)に対応付けて、当該サービスを構成するプログラム(データ処理要素)の情報を示す構成プログラムと、単位データ当たりの処理速度を示す処理速度情報が格納される。処理速度情報は、基本構成(1単位当たり)の仮想マシンが1秒当たりに処理するデータ量を示しており、図10の例であれば、サービス1であれば仮想マシンが1秒間に1Mバイトのデータ量を処理することを示している。処理速度情報は、事前に処理時間を計測し保持しておくこととしてよい。
仮想マシン情報保持部104は、仮想マシン毎の処理性能を保持しておくこととしてよく、例えば基本構成の仮想マシンを基準とした処理速度の比を性能情報として保持しておくこととしてよい。
仮想マシン割当部108は、クライアント装置200から仮想マシンの割当要求を受け付けると、仮想マシン情報保持部104に保持される仮想マシン状態管理テーブル及び実行待ちキューを参照し、仮想マシン毎に、現在実行しているサービス及び今後実行するサービスの完了に要する処理時間の合計値を算出する。具体的には、仮想マシン割当部108は、処理情報に含まれるデータサイズを、サービスに対応付けられた処理速度に仮想マシンの性能情報を乗じて得た仮想マシン処理速度で除して処理時間を算出することとしてよい。そして、仮想マシン割当部108は、仮想マシン毎に上記算出した処理時間を合計し、その合計値が最小の仮想マシンをクライアント装置200に割り当てる。仮想マシン割当部108により仮想マシンが割り当てられると、当該割り当てられた仮想マシンの実行待ちキューに、クライアント装置200から受け付けた割当要求に含まれる処理情報が追加される。クライアント装置200に仮想マシンが割り当てられた後の処理は第2の実施形態と同じであるため説明を省略する。
第3の実施形態に係る情報処理システム10では、仮想マシンに空き状態がなくともクライアント装置200からのサービス要求に応じる際に、割り当てられたサービスを完了するまでの処理時間が短い仮想マシンをクライアント装置200に割り当てることで、クライアント装置200へのサービスの提供までの時間が短縮される。
次に、本発明に係る第4の実施形態について説明する。第4の実施形態に係る情報処理システム10は、管理装置100が処理データを仮想マシンに転送するようにした点で第1の実施形態に係る情報処理システム10とは異なっており、他の点は共通している。以下、第4の実施形態に係る情報処理システム10における処理の流れを、図11に示したシーケンス図を参照しながら説明する。
まず、クライアント装置200は、管理装置100に仮想マシンの割当要求を送信する(S2001)。管理装置100は、クライアント装置200から受信した割当要求に応じて、仮想マシン状態管理テーブルを参照し、未だ割り当てられていない仮想マシンがあるか否かを判断し(S2002)、「ない」と判断する場合には(S2002:N)、割当不可の情報をクライアント装置200に送信し(S2003)、「ある」と判断する場合には(S2002:Y)、仮想マシンをクライアント装置200に割り当てる(S2004)。そして、管理装置100は、上記割り当てた仮想マシンにおけるデータの格納先を示す格納先情報を生成し(S2005)、クライアント装置200に処理データの転送及びサービスの指定を要求する(S2006)。
クライアント装置200は、管理装置100に処理データと、処理データを処理するサービス(データ処理)を識別するサービス識別情報を送信する(S2007)。管理装置100は、上記生成した格納先情報にクライアント装置200から受信した処理データを仮想マシンに転送する(S2008)。そして、管理装置100は、クライアント装置200から受信したサービス識別情報に基づいて、サービスを構成するプログラムを特定すると共に、当該特定した各プログラム、各プログラムの実行順序及び実行対象に基づくデプロイ情報を生成し(S2009)、当該生成したデプロイ情報を仮想マシンに転送する(S2010)。
仮想マシンでは、管理装置100から受信したデプロイ情報に基づいて処理データに対するデータ処理を実行する(S2011)。仮想マシンは、上記データ処理の処理結果をクライアント装置200に送信する(S2012)と共に、管理装置100にサービスの完了通知を送信し(S2013)、その後、配置されたサービス及び処理データを削除する(S2014)。また、管理装置100は、仮想マシンからの完了通知を受けると、処理データを削除する(S2015)と共に、仮想マシン状態管理テーブルにおける仮想マシンに関するレコードを特定し、当該特定したレコードにおけるクライアント名及びサービス名の欄を削除し更新する(S2016)。以上によりクライアント装置200から要求されるデータ処理に関する一連の処理を終了する。
なお、第4の実施形態において、仮想マシン割当要求時に処理データを管理装置100に送信することとしてもよいし、仮想マシンの割当を、第2又は第3の実施形態に示した態様で行うこととしてもよいのはもちろんである。
また、本発明は以上説明した実施形態に限定されるものではなく、例えば管理装置100がコンピュータ群30に含まれるコンピュータ300の1つとして構成されていてもよい。
10 情報処理システム、20 ネットワーク、30 コンピュータ群、100 管理装置、102 仮想マシン情報送受信部、104 仮想マシン情報保持部、106 仮想マシン割当要求受付部、108 仮想マシン割当部、110 処理データ格納先情報生成部、112 処理データ格納先情報送信部、114 サービス要求受付部、116 サービス情報保持部、118 サービス配置部、200 クライアント装置、202 仮想マシン割当要求部、204 処理データ格納先情報受信部、206 処理データ転送部、208 サービス要求部、210 処理結果取得部、300 コンピュータ、302 ネットワーク。

Claims (5)

  1. データを処理するコンピュータ資源の割当要求と、前記データを処理するデータ処理を識別する識別情報を受け付ける受付手段と、
    前記受付手段により受け付けた割当要求に応じて、1又は複数のコンピュータの1つに含まれるコンピュータ資源の少なくとも一部を割り当てる割当手段と、
    前記割当手段により割り当てられたコンピュータ資源における前記データの格納先を示す格納先情報を、前記割当手段により割り当てられたコンピュータ資源に基づき特定する特定手段と、
    前記特定手段により特定された格納先情報に示される格納先に、前記割当手段により割り当てられるコンピュータ資源により処理される処理対象データを転送する転送手段と、
    前記転送手段により前記処理対象データが前記格納先に転送された後に、前記受付手段により受け付けた識別情報により識別されるデータ処理を構成する1又は複数のプログラムを、前記割当手段により割り当てられたコンピュータ資源を用いて実行されるよう、前記割当手段により割り当てられたコンピュータ資源に配置する配置手段と、を含む
    ことを特徴とする情報処理システム。
  2. データを処理するコンピュータ資源の割当要求と、前記データを処理するデータ処理を識別する識別情報を受け付ける受付手段と、
    前記受付手段により受け付けた割当要求に応じて、1又は複数のコンピュータの1つに含まれるコンピュータ資源の少なくとも一部を割り当てる割当手段と、
    前記割当手段により割り当てられたコンピュータ資源における前記データの格納先を示す格納先情報を、前記割当手段により割り当てられたコンピュータ資源に基づき特定する特定手段と、
    前記特定手段により特定された格納先情報に示される格納先に、前記割当手段により割り当てられるコンピュータ資源により処理される処理対象データを転送させる手段と、
    前記処理対象データが前記格納先に転送された後に、前記受付手段により受け付けた識別情報により識別されるデータ処理を構成する1又は複数のプログラムを、前記割当手段により割り当てられたコンピュータ資源を用いて実行されるよう、前記割当手段により割り当てられたコンピュータ資源に配置する配置手段と、を含む
    ことを特徴とする管理装置。
  3. データを処理するコンピュータ資源の割当要求と、前記データを処理するデータ処理を識別する識別情報を送信する割当要求送信手段と、
    前記割当要求送信手段による要求に応じて割り当てられた、1又は複数のコンピュータの1つに含まれるコンピュータ資源の少なくとも一部における前記データの格納先を示す格納先情報を取得する取得手段と、
    前記取得手段により取得された格納先情報に示される格納先に、前記割り当てられたコンピュータ資源により処理される処理対象データを転送する転送手段と、
    前記転送手段により前記処理対象データが転送された後に、前記割当要求送信手段により送信された識別情報により識別されるデータ処理を構成する1又は複数のプログラムを、前記割り当てられたコンピュータ資源を用いて実行されるよう、前記割り当てられたコンピュータ資源に配置させる手段と、を含む
    ことを特徴とする処理要求装置。
  4. データを処理するコンピュータ資源の割当要求と、前記データを処理するデータ処理を識別する識別情報を受け付ける受付手段と、
    前記受付手段により受け付けた割当要求に応じて、1又は複数のコンピュータの1つに含まれるコンピュータ資源の少なくとも一部を割り当てる割当手段と、
    前記割当手段により割り当てられたコンピュータ資源における前記データの格納先を示す格納先情報を、前記割当手段により割り当てられたコンピュータ資源に基づき特定する特定手段と、
    前記特定手段により特定された格納先情報に示される格納先に、前記割当手段により割り当てられるコンピュータ資源により処理される処理対象データを転送させる手段と、
    前記処理対象データが前記格納先に転送された後に、前記受付手段により受け付けた識別情報により識別されるデータ処理を構成する1又は複数のプログラムを、前記割当手段により割り当てられたコンピュータ資源を用いて実行されるよう、前記割当手段により割り当てられたコンピュータ資源に配置する配置手段
    としてコンピュータを機能させるためのプログラム。
  5. データを処理するコンピュータ資源の割当要求と、前記データを処理するデータ処理を識別する識別情報を送信する割当要求送信手段と、
    前記割当要求送信手段による要求に応じて割り当てられた、1又は複数のコンピュータの1つに含まれるコンピュータ資源の少なくとも一部における前記データの格納先を示す格納先情報を取得する取得手段と、
    前記取得手段により取得された格納先情報に示される格納先に、前記割り当てられたコンピュータ資源により処理される処理対象データを転送する転送手段と、
    前記転送手段により前記処理対象データが転送された後に、前記割当要求送信手段により送信された識別情報により識別されるデータ処理を構成する1又は複数のプログラムを、前記割り当てられたコンピュータ資源を用いて実行されるよう、前記割り当てられたコンピュータ資源に配置させる手段
    としてコンピュータを機能させるためのプログラム。
JP2010137300A 2010-06-16 2010-06-16 情報処理システム、管理装置、処理要求装置及びプログラム Expired - Fee Related JP5533315B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010137300A JP5533315B2 (ja) 2010-06-16 2010-06-16 情報処理システム、管理装置、処理要求装置及びプログラム
US12/917,164 US20110314157A1 (en) 2010-06-16 2010-11-01 Information processing system, management apparatus, processing requesting apparatus, information processing method, and computer readable medium storing program
CN2010105900465A CN102289385A (zh) 2010-06-16 2010-12-09 信息处理系统、管理设备、处理请求设备和信息处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010137300A JP5533315B2 (ja) 2010-06-16 2010-06-16 情報処理システム、管理装置、処理要求装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2012003476A true JP2012003476A (ja) 2012-01-05
JP5533315B2 JP5533315B2 (ja) 2014-06-25

Family

ID=45329668

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010137300A Expired - Fee Related JP5533315B2 (ja) 2010-06-16 2010-06-16 情報処理システム、管理装置、処理要求装置及びプログラム

Country Status (3)

Country Link
US (1) US20110314157A1 (ja)
JP (1) JP5533315B2 (ja)
CN (1) CN102289385A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017142824A (ja) * 2012-09-28 2017-08-17 サイクルコンピューティング エルエルシー 仮想環境における演算インフラストラクチャのリアルタイム最適化
KR101784900B1 (ko) 2014-04-30 2017-10-12 후아웨이 테크놀러지 컴퍼니 리미티드 컴퓨터, 제어 장치 그리고 데이터 처리 방법

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8839447B2 (en) * 2012-02-27 2014-09-16 Ca, Inc. System and method for virtual image security in a cloud environment
US10754699B2 (en) * 2012-08-05 2020-08-25 International Business Machines Corporation Remote provisioning of virtual appliances for access to virtualized storage
CN102868723A (zh) * 2012-08-22 2013-01-09 上海金图信息科技有限公司 管理零终端机和桌面虚拟机的控制台及管理方法
JP6089783B2 (ja) * 2013-02-27 2017-03-08 富士通株式会社 制御装置、リソース制御プログラムおよびリソース制御方法
US20150199206A1 (en) * 2014-01-13 2015-07-16 Bigtera Limited Data distribution device and data distribution method thereof for use in storage system
US20150262135A1 (en) * 2014-03-14 2015-09-17 Visa International Service Association Communication protocols to allocate and apply resources in a computing system having multiple computers connected via communication networks
US9929945B2 (en) 2015-07-14 2018-03-27 Microsoft Technology Licensing, Llc Highly available service chains for network services
CN110674103B (zh) * 2018-06-15 2022-04-29 华为技术有限公司 数据管理方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06149756A (ja) * 1992-11-16 1994-05-31 Hitachi Ltd 分散型情報処理方法およびその装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1074159A (ja) * 1996-08-30 1998-03-17 Hitachi Ltd 計算機システムの制御方法
US7748002B1 (en) * 2001-10-31 2010-06-29 Juniper Networks, Inc. Systems and methods for scheduling applications
US7299468B2 (en) * 2003-04-29 2007-11-20 International Business Machines Corporation Management of virtual machines to utilize shared resources
US20050060704A1 (en) * 2003-09-17 2005-03-17 International Business Machines Corporation Managing processing within computing environments including initiation of virtual machines
CN101334825B (zh) * 2007-06-29 2011-08-24 联想(北京)有限公司 应用程序管理和运行系统及方法
JP5315128B2 (ja) * 2009-05-25 2013-10-16 株式会社日立製作所 処理依頼先管理装置、処理依頼先管理プログラムおよび処理依頼先管理方法
US20110078014A1 (en) * 2009-09-30 2011-03-31 Google Inc. Online resource assignment
US8250213B2 (en) * 2009-11-16 2012-08-21 At&T Intellectual Property I, L.P. Methods and apparatus to allocate resources associated with a distributive computing network

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06149756A (ja) * 1992-11-16 1994-05-31 Hitachi Ltd 分散型情報処理方法およびその装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017142824A (ja) * 2012-09-28 2017-08-17 サイクルコンピューティング エルエルシー 仮想環境における演算インフラストラクチャのリアルタイム最適化
KR101784900B1 (ko) 2014-04-30 2017-10-12 후아웨이 테크놀러지 컴퍼니 리미티드 컴퓨터, 제어 장치 그리고 데이터 처리 방법

Also Published As

Publication number Publication date
CN102289385A (zh) 2011-12-21
US20110314157A1 (en) 2011-12-22
JP5533315B2 (ja) 2014-06-25

Similar Documents

Publication Publication Date Title
JP5533315B2 (ja) 情報処理システム、管理装置、処理要求装置及びプログラム
Viswanathan et al. {CLARINET}:{WAN-Aware} Optimization for Analytics Queries
US9092266B2 (en) Scalable scheduling for distributed data processing
Zhang et al. Mrapid: An efficient short job optimizer on hadoop
JP6519111B2 (ja) データ処理制御方法、データ処理制御プログラムおよびデータ処理制御装置
JP2014191594A (ja) 分散処理システム
US20190266019A1 (en) Task Scheduling Using Improved Weighted Round Robin Techniques
US20220329651A1 (en) Apparatus for container orchestration in geographically distributed multi-cloud environment and method using the same
Li et al. MapReduce delay scheduling with deadline constraint
WO2013123650A1 (zh) 虚拟机分配方法和虚拟机分配装置
US8028291B2 (en) Method and computer program product for job selection and resource allocation of a massively parallel processor
US10164904B2 (en) Network bandwidth sharing in a distributed computing system
KR101644958B1 (ko) 다중 사용자 맞춤형 컴퓨팅 자원 제공을 위한 클러스터 구축 방법 및 클러스터 구축 장치
CN113849260A (zh) 一种实例的处理核分配方法及装置
Czarnul A model, design, and implementation of an efficient multithreaded workflow execution engine with data streaming, caching, and storage constraints
Sinha et al. Enhanced weighted round robin algorithm to balance the load for effective utilization of resource in cloud environment
KR101661475B1 (ko) 이기종 클러스터 상에서 하둡 부하 분산 방법, 이를 수행하기 위한 기록 매체 및 하둡 맵리듀스 시스템
JP7037059B2 (ja) リソース管理システム、および、リソース割当プログラム
US11263130B2 (en) Data processing for allocating memory to application containers
US10824640B1 (en) Framework for scheduling concurrent replication cycles
JP2020190867A (ja) 構成変更型集積回路の割当システム、構成変更型集積回路の割当方法およびコンピュータプログラム
Jeyaraj et al. Multi-level per node combiner (MLPNC) to minimize mapreduce job latency on virtualized environment
Kshama et al. A novel load balancing algorithm based on the capacity of the virtual machines
JP6020014B2 (ja) 分散データストア管理装置、分散並列処理実行装置、分散並列処理システム、分散データストア管理方法、分散並列処理実行方法、および、コンピュータ・プログラム
JP6339978B2 (ja) リソース割当管理装置およびリソース割当管理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130522

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140401

R150 Certificate of patent or registration of utility model

Ref document number: 5533315

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140414

LAPS Cancellation because of no payment of annual fees