JP2013020504A - Disk array device, logical disk control method, and control program - Google Patents
Disk array device, logical disk control method, and control program Download PDFInfo
- Publication number
- JP2013020504A JP2013020504A JP2011154279A JP2011154279A JP2013020504A JP 2013020504 A JP2013020504 A JP 2013020504A JP 2011154279 A JP2011154279 A JP 2011154279A JP 2011154279 A JP2011154279 A JP 2011154279A JP 2013020504 A JP2013020504 A JP 2013020504A
- Authority
- JP
- Japan
- Prior art keywords
- data
- disk
- host
- logical disk
- logical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明はディスクアレイ装置、論理ディスク制御方法および制御プログラムに関し、特に短い処理時間かつ少ない計算処理で動作しうるディスクアレイ装置等に関する。 The present invention relates to a disk array device, a logical disk control method, and a control program, and more particularly to a disk array device that can operate with a short processing time and a small calculation process.
近年、IT(Information Technology)への依存度が増すにつれて各種データの重要性はますます増大し、特にデータ配信、データベース、バックアップなどの種々の用途でデータの大容量保存に対する需要が増大している。そこで、コンピュータシステムにおける大容量記憶装置の役割はますます大きくなり、大容量記憶装置に対しては高信頼性化、高性能化などの要求も高まる一方である。 In recent years, the importance of various types of data has increased as the degree of dependence on IT (Information Technology) has increased, and in particular, there has been an increasing demand for large-capacity storage of data for various purposes such as data distribution, databases, and backups. . Therefore, the role of mass storage devices in computer systems is increasing, and demands for higher reliability and higher performance are increasing for mass storage devices.
そこで、複数台の物理ディスクを仮想的に1台の物理ディスクに相当する論理ディスクとして使用するディスクアレイ装置が、そのような要求を満たす大容量記憶装置として使用されることが多い。また、それらのディスクアレイ装置は、冗長化された構成によって、同一の記録内容を何重にも書き込む構造になっていることが多い。 Therefore, a disk array device that uses a plurality of physical disks as a logical disk that virtually corresponds to one physical disk is often used as a mass storage device that satisfies such requirements. In many cases, these disk array devices have a structure in which the same recorded contents are written in multiple layers due to a redundant configuration.
さらに、記録内容の破壊に備えて、パリティコードもしくはECC(Error Correcting Code)などの誤り訂正符号を専用のドライブ(物理ディスク)に記録するなどのような構造になっている場合も多い。これらの技術は、RAID(Redundant Arrays of Inexpensive Disks、またはRedundant Arrays of Independent Disks)1〜6として規格化され、広く普及している。 Further, in order to prepare for destruction of recorded contents, the structure is often such that an error correcting code such as a parity code or ECC (Error Correcting Code) is recorded on a dedicated drive (physical disk). These technologies are standardized as RAID (Redundant Arrays of Independent Disks) 1 to 6 and are widely spread.
これに関連して、次の各々の技術文献がある。その中でも特許文献1には、書き込みデータをRAIDブースターカード内のログメモリに蓄積して、1パリティブロック分のデータが揃った時に一括してディスクアレイに書き込むというディスク制御システムが記載されている。特許文献2には、ストレージサブシステム側がデータベースを備え、ホストサーバのハードウェア資源を利用せずに論理ボリュームを構築するというデータ処理システムが記載されている。 In this connection, there are the following technical documents. Among them, Patent Document 1 describes a disk control system in which write data is stored in a log memory in a RAID booster card and written to a disk array all at once when data for one parity block is prepared. Patent Document 2 describes a data processing system in which a storage subsystem is equipped with a database and a logical volume is constructed without using hardware resources of a host server.
特許文献3には、ディスクの回転を停止可能な論理ボリュームと停止不可能な論理ボリュームにデータを分けて記録することにより、消費電力を低減するというディスク制御システムが記載されている。特許文献4には、書き込みデータのI/O(入出力)パターンを判別して、そのパターンに応じてディスクの割り当てパターンを変更するというストレージ装置が記載されている。 Patent Document 3 describes a disk control system that reduces power consumption by separately recording data in a logical volume that can stop the rotation of a disk and a logical volume that cannot be stopped. Patent Document 4 describes a storage apparatus that determines an I / O (input / output) pattern of write data and changes a disk allocation pattern according to the pattern.
前述のように、ディスクアレイ装置はデータ配信、データベース、バックアップなどの種々の用途で利用されており、該ディスクアレイ装置単位では各々の用途に適した制御パターンでの制御は従来から実施されていた。しかしながら、ディスクアレイ装置は論理ディスクを構成して利用されることが大部分であるにもかかわらず、論理ディスク単位で各々の用途に適した制御パターンでの制御を実施することは不可能であった。 As described above, the disk array device is used in various applications such as data distribution, database, backup, etc., and control with a control pattern suitable for each application has been conventionally performed in the disk array device unit. . However, even though the disk array device is mostly used by configuring logical disks, it is impossible to perform control with a control pattern suitable for each application in units of logical disks. It was.
このため、特に、複数の上位ホストで1つのディスクアレイ装置を共有する構成で、各上位ホストごとに用途が異なる場合には、各上位ホストごとに最適な制御パターンを取ることができず、実際の用途には適していない制御パターンで制御を行うこととなる。これでは、余計な処理時間および計算処理がかかり、上位ホストとの間の性能の低下や装置内部の過負荷などが発生するという問題がある。 For this reason, in particular, in a configuration in which a plurality of upper hosts share a single disk array device and the usage is different for each upper host, an optimum control pattern cannot be taken for each upper host. Therefore, the control is performed with a control pattern that is not suitable for the application. In this case, extra processing time and calculation processing are required, and there is a problem that the performance between the host and the host is deteriorated or the apparatus is overloaded.
この問題を解決しうる技術は、前述の特許文献1〜4には記載されていない。特許文献1の技術は、RAIDブースターカードという特殊なハードウェアを必要とし、また上位ホストごとに最適な制御パターンを取ることができない。特許文献2の技術は、上位ホストの側には特殊な構成を必要としないが、複数の上位ホストごとに異なる制御パターンを取ることはできない。 Techniques that can solve this problem are not described in the aforementioned Patent Documents 1 to 4. The technique of Patent Document 1 requires special hardware called a RAID booster card and cannot take an optimal control pattern for each host. The technique of Patent Document 2 does not require a special configuration on the host side, but cannot take a different control pattern for each of a plurality of host hosts.
特許文献3の技術は、消費電力節減を目的とするものであるので、そもそも解決しようとする問題が本発明と異なり、また問題解決のための構成も異なる。特許文献4の技術は、データの種類に応じてディスクの割り当てパターンを変更するものである。即ち、特許文献1〜4のいずれも、複数の上位ホストごとに制御パターンを変更することを可能とするものではない。 Since the technique of Patent Document 3 is intended to reduce power consumption, the problem to be solved is different from the present invention, and the configuration for solving the problem is also different. The technique of Patent Document 4 changes the disk allocation pattern in accordance with the type of data. That is, none of Patent Documents 1 to 4 makes it possible to change the control pattern for each of a plurality of upper hosts.
本発明の目的は、複数の用途や上位ホストごとに最適な制御パターンで動作して、短い処理時間かつ少ない計算処理で動作しうるディスクアレイ装置、論理ディスク制御方法および制御プログラムを提供することにある。 An object of the present invention is to provide a disk array device, a logical disk control method, and a control program that operate with a control pattern that is optimal for each of a plurality of uses and upper hosts, and that can operate with a short processing time and a small amount of calculation processing. is there.
上記目的を達成するため、本発明に係るディスクアレイ装置は、2台以上の上位ホストに接続されて動作し、上位ホストからの動作命令に応じてデータの読み書きを行うディスクアレイ装置であって、複数台の物理ディスクと、物理ディスクを論理ディスクとして構成して上位ホストからの動作命令に応じて論理ディスクにデータを読み書きするコントローラとを備え、コントローラは、上位ホストから動作命令を受信してこれに対する応答を上位ホストに送信する入出力制御部と、上位ホストから受信した書き込み対象のデータを論理ディスクに書き込む論理ディスク制御部とを備え、書き込み対象データを一時的に記憶するバッファメモリ部を併設すると共に、上位ホストによって特定される用途に応じた物理ディスクの論理ディスクとしての構成を複数種類予め記憶している設定記憶部を併設し、論理ディスク制御部が、この構成に従って書き込み対象のデータを論理ディスクに書き込むことを特徴とする。 In order to achieve the above object, a disk array device according to the present invention is a disk array device that operates by being connected to two or more upper hosts, and reads and writes data in accordance with operation commands from the upper hosts, A plurality of physical disks and a controller that configures the physical disks as logical disks and reads / writes data to / from the logical disk in response to an operation command from the host, and the controller receives the operation commands from the host An I / O controller that sends responses to the host to the host and a logical disk controller that writes the data to be written received from the host to the logical disk, and a buffer memory that temporarily stores the data to be written And logical disks of physical disks according to the usage specified by the host. Configuration of Te and features a plurality of types stored in advance in that setting storage unit, a logical disk control unit, and writes the write target data in accordance with this configuration into logical disks.
上記目的を達成するため、本発明に係る論理ディスク制御方法は、複数台の物理ディスクと、物理ディスクを論理ディスクとして構成して上位ホストからの動作命令に応じて論理ディスクにデータを読み書きするコントローラとを備え、2台以上の上位ホストに接続されて動作し、上位ホストからの動作命令に応じてデータの読み書きを行うディスクアレイ装置にあって、上位ホストによって特定される用途に応じた物理ディスクの論理ディスクとしての複数種類の構成を備えられた設定記憶部に予め記憶し、上位ホストからの動作命令を入出力制御部が受信し、上位ホストから受信した書き込み対象データを備えられたバッファメモリ部に一時的に記憶し、構成に従って書き込み対象のデータを論理ディスク制御部が論理ディスクに書き込み、動作命令に対する応答を入出力制御部が上位ホストに送信することを特徴とする。 In order to achieve the above object, a logical disk control method according to the present invention includes a plurality of physical disks, a controller configured to read / write data from / to a logical disk according to an operation command from an upper host by configuring the physical disk as a logical disk. A disk array device that operates by being connected to two or more upper hosts and reads / writes data in accordance with an operation command from the upper hosts, and is a physical disk according to an application specified by the upper host A buffer memory that is stored in advance in a setting storage unit having a plurality of types of configurations as a logical disk, receives an operation command from the host, and receives data to be written received from the host The data to be written is written to the logical disk by the logical disk controller according to the configuration. , Input-output control unit a response to operation command and transmits to the host apparatus.
上記目的を達成するため、本発明に係る論理ディスクプログラムは、複数台の物理ディスクと、物理ディスクを論理ディスクとして構成して上位ホストからの動作命令に応じて論理ディスクにデータを読み書きするコントローラとを備え、2台以上の上位ホストに接続されて動作し、上位ホストからの動作命令に応じてデータの読み書きを行うディスクアレイ装置にあって、ディスクアレイ装置が備えるコンピュータに、上位ホストによって特定される用途に応じた物理ディスクの論理ディスクとしての複数種類の構成を備えられた設定記憶部から読み出す手順、上位ホストからの動作命令を受信する手順、上位ホストから受信した書き込み対象データを備えられたバッファメモリ部に一時的に記憶する手順、構成に従って書き込み対象のデータを論理ディスクに書き込む手順、および動作命令に対する応答を上位ホストに送信する手順を実行させることを特徴とする。 In order to achieve the above object, a logical disk program according to the present invention includes a plurality of physical disks, a controller that configures the physical disks as logical disks, and reads / writes data from / to the logical disks in accordance with operation instructions from a host. The disk array device operates by being connected to two or more upper hosts, and reads / writes data in accordance with an operation command from the upper host, and is specified by the upper host in a computer included in the disk array device. A procedure for reading from a setting storage unit provided with a plurality of types of configurations as a logical disk of a physical disk according to the intended use, a procedure for receiving an operation command from a host, and data to be written received from the host The data to be written is stored according to the procedure and configuration for temporary storage in the buffer memory. And characterized in that the procedure for writing data to the logical disk, and a response to the operation instruction to execute a step of transmitting to the host apparatus.
本発明は、上述したように、設定記憶部に記憶された物理ディスクの論理ディスクとしての複数種類の構成に従ってデータを読み書きするように構成したので、用途や上位ホスト種類などに適した複数種類の構成で動作することができる。これによって、複数の用途や上位ホストごとに最適な制御パターンで動作して、短い処理時間かつ少ない計算処理で動作できるという優れた特徴を持つディスクアレイ装置、論理ディスク制御方法および制御プログラムを提供することができる。 Since the present invention is configured to read and write data according to a plurality of types of configurations as logical disks of physical disks stored in the setting storage unit as described above, a plurality of types suitable for applications and host types are used. Can operate in configuration. As a result, a disk array device, a logical disk control method, and a control program having an excellent feature of being able to operate with an optimal control pattern for a plurality of uses and upper hosts and to be able to operate with a short processing time and a small calculation process are provided. be able to.
(実施形態)
以下、本発明の実施形態の構成について添付図1に基づいて説明する。
最初に、本実施形態の基本的な内容について説明し、その後でより具体的な内容について説明する。
本実施形態に係るディスクアレイ装置10は、2台以上の上位ホスト20に接続されて動作し、上位ホストからの動作命令に応じてデータの読み書きを行うディスクアレイ装置であり、複数台の物理ディスク12a、12b、…と、物理ディスクを論理ディスクとして構成して上位ホストからの動作命令に応じて論理ディスクにデータを読み書きするコントローラ11とを備える。コントローラ11は、上位ホストから動作命令を受信してこれに対する応答を上位ホストに送信する入出力制御部111aと、上位ホストから受信した書き込み対象のデータを論理ディスクに書き込む論理ディスク制御部111bとを備え、書き込み対象データを一時的に記憶するバッファメモリ部112aを併設すると共に、上位ホストによって特定される用途に応じた物理ディスクの論理ディスクとしての構成を複数種類予め記憶している設定記憶部112bを併設し、論理ディスク制御部111bが、この構成に従って書き込み対象のデータを論理ディスクに書き込む。
(Embodiment)
Hereinafter, the configuration of an embodiment of the present invention will be described with reference to FIG.
First, the basic content of the present embodiment will be described, and then more specific content will be described.
The
また、論理ディスク制御部111bは、書き込み対象のデータからデータ復元用のパリティデータを作成し、このパリティデータを書き込み対象のデータと共に論理ディスクに書き込む機能を有する。そして、設定記憶部112bは、上位ホストごとに複数種類の構成を記憶している。
The logical
さらに、論理ディスク制御部111bは、受信した書き込み対象データをバッファメモリ部に保存し、このバッファメモリ部に保存されたデータの容量が予め与えられたブロック単位の容量を超えた場合に当該データを一括して論理ディスクに書き込む機能を有する。
Further, the logical
以上の構成を備えることにより、ディスクアレイ装置10は、複数の上位ホストごとに最適な制御パターンで動作することが可能となる。
以下、これをより詳細に説明する。
With the above configuration, the
Hereinafter, this will be described in more detail.
図1は、本発明の実施形態に係るディスクアレイ装置10の構成について示す説明図である。ディスクアレイ装置10は、複数台の上位ホスト20a,20b,…(以後、総称して上位ホスト20という)からの動作命令に応じて、データの書き込みおよび読み出しを行う大容量記憶装置である。
FIG. 1 is an explanatory diagram showing the configuration of a
ディスクアレイ装置10は、制御用のプロセッサを含むコントローラ11と、物理的なハードディスク装置である物理ディスク12a〜eとが接続されて構成されている。図1には、5台の物理ディスク12a〜eが示されているが、この台数は任意である。この物理ディスク12a〜eによって、後述の論理ディスク120が構成される。また、上位ホスト20の台数も任意である。
The
コントローラ11は、基本的なコンピュータとしての構成を備えている。即ち、コントローラ11は、コンピュータプログラムの実行主体であるプロセッサ111を備え、また処理に使用するデータなどを記憶するROM(Read Only Memory)、RAM(Random Access Memory)などによる記憶手段112を併設している。なお、上位ホスト20、あるいは物理ディスク12a〜eとの接続に必要な通信手段やインターフェースなどについては、本発明を説明するためには特に必要ではないので記載していない。
The
プロセッサ111は、制御プログラムが動作することにより、入出力制御部111a、および論理ディスク制御部111bとして動作する。これらの各々の詳しい動作については後述する。また、記憶手段112には、データを物理ディスク12a〜eに読み書きする際に当該データの一時記憶域として使用されるバッファメモリ部112aと、後述の論理ディスクの設定について記憶する設定記憶部112bという各々の記憶領域がある。
The
入出力制御部111aは、上位ホスト20から論理ディスク120に対する動作命令(データ書き込み要求またはデータ読み込み要求)に対して、上位ホストへ送信する応答を制御する。
The input /
論理ディスク制御部111bは、設定記憶部112bに記憶されている制御パターンに基づいて、入出力制御部111aから受け取った書き込みデータを物理ディスク12a〜eによって構成された論理ディスク120に書き込む。また、論理ディスク120から読み出しデータを読み出す。その際、これらの書き込みデータおよび読み出しデータをバッファメモリ部112aに一時的に格納する。
Based on the control pattern stored in the setting
図2は、図1で示した物理ディスク12a〜eの各々に記憶される内容について示す説明図である。物理ディスク12a〜eは、論理ディスク120を構成するよう設定されている。論理ディスク120は、物理ディスク12a〜eのうちの少なくとも2台以上を使用する設定である。
FIG. 2 is an explanatory diagram showing the contents stored in each of the
論理ディスク制御部111bは、書き込み対象であるデータ130をデータブロックA〜D(130a〜130d)の4ブロックに分割し、冗長性を保つためのパリティデータであるパリティブロックP130eをデータブロックA〜Dから作成し、これらを1つのRAIDブロック130fとして論理ディスク120に記録する。論理ディスク制御部111bは、このデータ130に続くデータ131,132…に対しても、同様の処理を継続する。ただし、パリティブロックPの位置は順次シフトしていく。
The logical
図3は、図1で示した設定記憶部112bに記憶されている論理ディスク120の制御パターンについて示す説明図である。論理ディスク120の制御パターンには、「標準モード」「データ配信用途モード」「バックアップ用途モード」「データベース用途モード」「データベース用LOG用途モード」「指定モード」という6通りの制御パターンが存在する。この中から、上位ホストの用途に合わせて選択された制御パターンを、論理ディスク120の制御設定として設定記憶部112bに記憶する。
FIG. 3 is an explanatory diagram showing a control pattern of the
このうち、「標準モード」は、後述する通常の論理ディスクの制御パターンである。「データ配信用途モード」は、映像データなどの配信に適した動作であり、論理ディスク120から先読みするデータを記憶するバッファメモリ部112aの容量を通常より多く確保し、より多くのデータを先読みするように動作する。
Among these, the “standard mode” is a normal logical disk control pattern described later. The “data distribution usage mode” is an operation suitable for distribution of video data and the like, and reserves a larger capacity of the
「バックアップ用途モード」は、大量のデータのバックアップに適した動作であり、論理ディスク120に書き込むよう上位ホスト20から受信したデータを記憶するバッファメモリ部112aの容量を通常より多く確保して、後述するデータ一括書き込みの動作を行う。
The “backup usage mode” is an operation suitable for backing up a large amount of data. The
「データベース用途モード」は、データの先読みを禁止し、論理ディスク120に読み書きするデータのブロック量を小さくする。「データベース用LOG用途モード」は、論理ディスク120から先読みするデータを記憶するバッファメモリ部112aの容量を少なくして先読みするデータの分量を小さくし、かつ論理ディスク120に読み書きするデータのブロック量を小さくすると共に、複数ファイルを一度に開くマルチオープン機能を有効にする。
In the “database usage mode”, prefetching of data is prohibited, and the block amount of data to be read from and written to the
「指定モード」は、ここまでで述べたバッファメモリ部112aの容量、データのブロック量、先読みの有効/無効、先読みするデータの分量、マルチオープン機能の有効/無効などを、ユーザが個別に設定できる動作モードである。
In the “designation mode”, the user individually sets the capacity of the
ここで、これらの動作モードは、各々の上位ホスト20ごとに設定可能なものである。例えば、上位ホスト20aからの動作命令に対してはディスクアレイ装置10は「バックアップ用途モード」で動作し、上位ホスト20bからの動作命令に対してはディスクアレイ装置10は「データベース用途モード」で動作する、などのように設定することが可能である。その際、各々の動作モードに対して設定される論理ドライブを、別々の物理ドライブ上に設定することも可能である。
Here, these operation modes can be set for each host 20. For example, the
図4は、図1で示したコントローラ11が行う論理ディスク120の制御の動作について示すフローチャートである。上位ホスト20から入出力命令を受信した(ステップS201)コントローラ11は、これに対応する入出力処理を開始する。
FIG. 4 is a flowchart showing the control operation of the
まず、入出力制御部111aが、受信した入出力命令が書き込み処理であるか否かを判断し(ステップS202)、書き込み処理であれば(ステップS202がイエス)、受信した書き込みデータを論理ディスク制御部111bがバッファメモリ部112aに格納して、入出力制御部111aが上位ホスト20に書き込み処理終了を報告して(ステップS203)ステップS204に進む。受信した入出力命令が読み込み処理であれば(ステップS202がノー)、そのままステップS204に進む。
First, the input /
続いて論理ディスク制御部111bは、設定記憶部112bに記憶された論理ディスク120の動作モードの設定を読み取り、これに応じて論理ディスク120の制御方法を指定する(ステップS204)。そして論理ディスク制御部111bは、この指定された制御方法に基づいて論理ディスク120に対する書き込みもしくは読み込みの動作を実行する(ステップS205)。
Subsequently, the logical
続いて入出力制御部111aが、前述の入出力命令が読み込み処理であるか否かを判断し(ステップS206)、読み込み処理であれば(ステップS206がイエス)、論理ディスク制御部111bが読み込んだデータをバッファメモリ部112aに格納して(ステップS207)、そのデータを入出力制御部111aが読み込んで上位ホスト20に転送して(ステップS208)処理を終了する。前述の入出力命令が書き込み処理であれば(ステップS206がノー)、そのまま処理を終了する。
Subsequently, the input /
(標準モードのデータの書き込みの動作)
図5は、図4のステップS205として示した動作モードごとの書き込みもしくは読み込みの動作で、動作モードが「標準モード」である場合のデータの書き込みの動作について説明するフローチャートである。
(Standard mode data write operation)
FIG. 5 is a flowchart for explaining the data writing operation when the operation mode is the “standard mode” in the writing or reading operation for each operation mode shown as step S <b> 205 in FIG. 4.
論理ディスク制御部111bが論理ディスク120へのデータ書き込み処理の依頼を受けると(ステップS301)、まず書き込み処理の対象となるデータブロックが属するRAIDブロックで、書き込み対象以外のデータブロックのデータを読み込み(ステップS302)、読み込んだそれらのデータを基にパリティデータを再作成し、(ステップS303)、書き込みデータと再作成したパリティとを各々対象データブロックとパリティブロックに書き込む(ステップS304)。
When the logical
その後で論理ディスク制御部111bは、対象データブロックへのデータの書き込みを全て完了したか否かを判断し(ステップS305)、完了していなければステップS302〜304の処理を繰り返す。完了すればそのまま終了する。
Thereafter, the logical
図6は、図5のデータの書き込みの動作の実際の動作例について示す説明図である。図6では、図2に示した論理ディスク120上のデータブロックA,B,C,Dに対するデータ書き込み処理が順番に発生したという例を示している。
FIG. 6 is an explanatory diagram showing an actual operation example of the data write operation of FIG. FIG. 6 shows an example in which data write processing for the data blocks A, B, C, and D on the
まずデータブロックAに対するデータ書き込み処理が発生すると(ステップA01)、論理ディスク制御部111bはデータブロックAに対する書き込みデータをバッファメモリ部112aに記憶する(ステップA02,図4のステップS203)。続いてデータブロックB,C,Dに対するデータ書き込み処理が発生する(ステップA03,05,07)たびに、それらのデータブロックに対する書き込みデータをバッファメモリ部112aに記憶する(ステップA04,06,08,図4のステップS203)。
First, when data write processing for the data block A occurs (step A01), the logical
データブロックA,B,C,Dの書き込みデータが一通り揃った時点で、論理ディスク制御部111bは、データブロックAのデータを除くデータブロックB,C,Dのデータを読み出して(ステップA09,図5のステップS302)それらのデータを使用してパリティデータを作成し(ステップA10,図5のステップS303)、データブロックAに対する書き込みデータとパリティデータとを論理ディスク120に書き込む(ステップA11,図5のステップS304)。
When the write data of the data blocks A, B, C, and D are completed, the logical
以後、データブロックB,C,Dのデータに対しても上記と同様に、当該データブロックを除く他ブロックのデータを読み出して(ステップA12,15,18,図5のステップS302)それらのデータを使用してパリティデータを作成し(ステップA13,16,19,図5のステップS303)、当該データブロックに対する書き込みデータとパリティデータとを論理ディスク120に書き込む(ステップA14,17,20,図5のステップS304)。 Thereafter, the data of the data blocks B, C, and D are read out in the same manner as described above, except for the data of other blocks (steps A12, 15, 18 and step S302 in FIG. 5). Parity data is created by using (steps A13, 16, 19 and step S303 in FIG. 5), and write data and parity data for the data block are written to the logical disk 120 (steps A14, 17, 20 and FIG. 5). Step S304).
即ち、1つのデータブロックのデータを書き込むたびにパリティデータの再作成を行っては同一のパリティブロックに書き込んでいる。これでは、パリティデータの再作成が何度も発生するので、効率的とはいえない。 That is, every time data of one data block is written, parity data is recreated and written to the same parity block. This is not efficient because re-creation of parity data occurs many times.
(バックアップ用途モードのデータの書き込みの動作)
図7は、図4のステップS205として示した動作モードごとの書き込みもしくは読み込みの動作で、動作モードが「バックアップ用途モード」である場合のデータの書き込みの動作について説明するフローチャートである。
(Operation of writing data in backup usage mode)
FIG. 7 is a flowchart for explaining the data write operation when the operation mode is the “backup application mode” in the write or read operation for each operation mode shown as step S205 in FIG.
論理ディスク制御部111bが論理ディスク120へのデータ書き込み処理の依頼を受けると(ステップS401)、まずデータ書き込み処理の対象となるデータ量がRAIDブロック単位(データA〜D)の分量を超えているか否かを判断して(ステップS402)、越えていなければ(ステップS402がノー)ステップS406に処理が進んで、そのデータに対して通常の書き込み処理を行って(ステップS406)処理を終了する。
When the logical
バッファメモリ部112aに記憶されている、書き込み対象となるデータ量がRAIDブロック単位(データA〜D)の分量を超えていれば(ステップS402がイエス)、RAIDブロック単位のデータでパリティデータを作成し(ステップS403)、RAIDブロック単位の各データとステップS404で作成したパリティデータを論理ディスク120に書き込む(ステップS404)。
If the amount of data to be written, which is stored in the
その上で、RAIDブロック単位で処理できなかったデータがバッファメモリ部112aに残っているか否かを判断し(ステップS405)、残っていなければ(ステップS405がノー)そのまま処理を終了し、残っていれば(ステップS405がイエス)ステップS406に処理が進んで、そのデータに対して通常の書き込み処理を行って(ステップS406)処理を終了する。
Then, it is determined whether or not data that could not be processed in units of RAID blocks remains in the
図8は、図7のデータの書き込みの動作の実際の動作例について示す説明図である。図6と同様に、図8でも、図2に示した論理ディスク120上のデータブロックA,B,C,Dに対するデータ書き込み処理が順番に発生したという例を示している。
FIG. 8 is an explanatory diagram showing an actual operation example of the data write operation of FIG. Similar to FIG. 6, FIG. 8 also shows an example in which data write processing for data blocks A, B, C, and D on the
まずデータブロックAに対するデータ書き込み処理が発生すると(ステップB01)、図7のステップS402はノーなので、論理ディスク制御部111bはデータブロックAに対する書き込みデータをバッファメモリ部112aに記憶する(ステップB02、図7のステップS406)。
First, when data write processing for the data block A occurs (step B01), since step S402 in FIG. 7 is no, the logical
続いてデータブロックB,C,Dに対するデータ書き込み処理が発生する(ステップB03,05,07)たびに、同じようにそれらのデータブロックに対する書き込みデータをバッファメモリ部112aに記憶する(ステップB04,06,08、図7のステップS406)。
Subsequently, whenever data write processing for the data blocks B, C, D occurs (steps B03, 05, 07), the write data for these data blocks is stored in the
データブロックA,B,C,Dの書き込みデータが一通りバッファメモリ部112aに記憶された時点で、バッファメモリ部112aに記憶されたデータの容量がRAIDブロック単位の分量を超えて、ステップS402がイエスとなる。即ち、RAIDブロック単位のデータが揃ったことになる。
When the write data of the data blocks A, B, C, and D are stored in the
論理ディスク制御部111bは、バッファメモリ部112aからデータブロックA,B,C,Dの書き込みデータを読み出して、それらのデータを使用してパリティデータを作成し(ステップB09、図7のステップS403)、これらの書き込みデータを各々論理ディスク120の対応するブロックに書き込む(ステップB10、図7のステップS404)。これでバッファメモリ部112aは空になるので(ステップS405がノー)、そのまま処理を終了する。
The logical
即ち、図6で説明した「標準モード」の動作では論理ディスク120へのデータブロックA,B,C,Dの書き込みの動作に20ステップを要し、論理ディスク120に対して読み込み12回・書き込み8回を行っていたが、同じ動作が図8で説明した「バックアップ用途モード」では10ステップで済み、かつ論理ディスク120に対してはデータブロックA,B,C,Dとパリティデータの書き込み、即ち5回の書き込みを行うだけで済む。
That is, in the operation of the “standard mode” described with reference to FIG. 6, the writing operation of the data blocks A, B, C, and D to the
以上、「標準モード」と「バックアップ用途モード」の間での動作の違いについて説明した。このように、本実施形態に係るディスクアレイ装置10は、設定記憶部112bに記憶されている制御パターンによって、用途に適した動作を行って処理時間や計算処理を節減することが可能となる。
The difference in operation between the “standard mode” and the “backup usage mode” has been described above. As described above, the
(第1の実施形態の全体的な動作)
次に、上記の実施形態の全体的な動作について説明する。
本実施形態に係る論理ディスク制御方法は、複数台の物理ディスクと、物理ディスクを論理ディスクとして構成して上位ホストからの動作命令に応じて論理ディスクにデータを読み書きするコントローラとを備え、2台以上の上位ホストに接続されて動作し、上位ホストからの動作命令に応じてデータの読み書きを行うディスクアレイ装置10にあって、物理ディスクの論理ディスクとしての複数種類の構成を備えられた設定記憶部に予め記憶し、上位ホストからの動作命令を入出力制御部が受信し、上位ホストから受信した書き込み対象データを備えられたバッファメモリ部に一時的に記憶し(図4・ステップS203,207)、構成に従って書き込み対象のデータを論理ディスク制御部が論理ディスクに書き込み(図4・ステップS205,207)、動作命令に対する応答を入出力制御部が上位ホストに送信する(図4・ステップS203,208)。
(Overall operation of the first embodiment)
Next, the overall operation of the above embodiment will be described.
The logical disk control method according to the present embodiment includes a plurality of physical disks, and a controller that configures the physical disks as logical disks and reads / writes data from / to the logical disks in accordance with operation commands from the host. The
ここで、上記各動作ステップについては、これをコンピュータで実行可能にプログラム化し、これらを前記各ステップを直接実行するコントローラ11に実行させるようにしてもよい。本プログラムは、非一時的な記録媒体、例えば、DVD、CD、フラッシュメモリ等に記録されてもよい。その場合、本プログラムは、記録媒体からコンピュータによって読み出され、実行される。
この動作により、本実施形態は以下のような効果を奏する。
Here, each of the above-described operation steps may be programmed to be executable by a computer, and may be executed by the
By this operation, this embodiment has the following effects.
本実施形態に係るディスクアレイ装置10は、設定記憶部112bに記憶されている制御パターンによって、用途に適した動作を行って処理時間や計算処理を節減することが可能となる。これによって、装置内部の負荷を軽減し、上位ホストとの間の性能を向上するなどのような具体的な効果を得ることができる。この制御パターンは、用途や上位ホストなどに応じて複数種類設定することができ、その設定に応じてディスクアレイ装置10に異なる動作をさせることが容易にできる。
The
なお、制御パターンは、複数の上位ホストに応じて切り替えるものであってもよいし、また同一の上位ホストであっても、ディスクアレイ装置を動作させるソフトウェア(たとえばデータベース、バックアップなど)によって切り替えるようにしてもよい。 Note that the control pattern may be switched according to a plurality of upper hosts, and even the same upper host is switched by software (for example, database, backup, etc.) that operates the disk array device. May be.
これまで本発明について図面に示した特定の実施形態をもって説明してきたが、本発明は図面に示した実施形態に限定されるものではなく、本発明の効果を奏する限り、これまで知られたいかなる構成であっても採用することができる。 The present invention has been described with reference to the specific embodiments shown in the drawings. However, the present invention is not limited to the embodiments shown in the drawings, and any known hitherto provided that the effects of the present invention are achieved. Even if it is a structure, it is employable.
上述した実施形態について、その新規な技術内容の要点をまとめると、以下のようになる。なお、上記実施形態の一部または全部は、新規な技術として以下のようにまとめられるが、本発明は必ずしもこれに限定されるものではない。 Regarding the embodiment described above, the main points of the new technical contents are summarized as follows. In addition, although part or all of the said embodiment is summarized as follows as a novel technique, this invention is not necessarily limited to this.
(付記1) 2台以上の上位ホストに接続されて動作し、前記上位ホストからの動作命令に応じてデータの読み書きを行うディスクアレイ装置であって、
複数台の物理ディスクと、前記物理ディスクを論理ディスクとして構成して前記上位ホストからの動作命令に応じて前記論理ディスクにデータを読み書きするコントローラとを備え、
前記コントローラは、
前記上位ホストから前記動作命令を受信してこれに対する応答を前記上位ホストに送信する入出力制御部と、前記上位ホストから受信した書き込み対象のデータを前記論理ディスクに書き込む論理ディスク制御部とを備え、前記書き込み対象データを一時的に記憶するバッファメモリ部を併設すると共に、
前記上位ホストによって特定される用途に応じた前記物理ディスクの前記論理ディスクとしての構成を複数種類予め記憶している設定記憶部を併設し、
前記論理ディスク制御部が、この構成に従って前記書き込み対象のデータを前記論理ディスクに書き込むことを特徴とするディスクアレイ装置。
(Appendix 1) A disk array device that operates while connected to two or more upper hosts, and reads / writes data in response to an operation command from the upper host,
A plurality of physical disks, and a controller configured to read and write data to and from the logical disk in response to an operation command from the upper host by configuring the physical disk as a logical disk,
The controller is
An input / output control unit that receives the operation command from the upper host and transmits a response to the operation command to the upper host; and a logical disk control unit that writes the write target data received from the upper host to the logical disk. And a buffer memory unit for temporarily storing the write target data,
A setting storage unit that stores in advance a plurality of types of configurations of the physical disk as the logical disk according to the application specified by the upper host is provided,
The disk array device, wherein the logical disk control unit writes the data to be written to the logical disk according to this configuration.
(付記2) 前記論理ディスク制御部が、前記書き込み対象のデータからデータ復元用のパリティデータを作成し、このパリティデータを前記書き込み対象のデータと共に前記論理ディスクに書き込む機能を有することを特徴とする、付記1に記載のディスクアレイ装置。 (Supplementary Note 2) The logical disk control unit has a function of creating parity data for data restoration from the write target data and writing the parity data to the logical disk together with the write target data. The disk array device according to appendix 1.
(付記3) 前記設定記憶部が、前記上位ホストごとに複数種類の前記構成を記憶していることを特徴とする、付記1に記載のディスクアレイ装置。 (Supplementary note 3) The disk array device according to supplementary note 1, wherein the setting storage unit stores a plurality of types of the configurations for each of the host hosts.
(付記4) 前記論理ディスク制御部は、
受信した前記書き込み対象データを前記バッファメモリ部に保存し、このバッファメモリ部に保存されたデータの容量が予め与えられたブロック単位の容量を超えた場合に当該データを一括して前記論理ディスクに書き込む機能を有することを特徴とする、付記1に記載のディスクアレイ装置。
(Supplementary Note 4) The logical disk control unit
The received data to be written is stored in the buffer memory unit, and when the capacity of the data stored in the buffer memory unit exceeds a predetermined block unit capacity, the data is collectively stored in the logical disk. 2. The disk array device according to appendix 1, which has a writing function.
(付記5) 複数台の物理ディスクと、前記物理ディスクを論理ディスクとして構成して前記上位ホストからの動作命令に応じて前記論理ディスクにデータを読み書きするコントローラとを備え、2台以上の上位ホストに接続されて動作し、前記上位ホストからの動作命令に応じてデータの読み書きを行うディスクアレイ装置にあって、
前記物理ディスクの前記論理ディスクとしての複数種類の構成を備えられた設定記憶部に予め記憶し、
前記上位ホストからの前記動作命令を入出力制御部が受信し、
前記上位ホストから受信した書き込み対象データを備えられたバッファメモリ部に一時的に記憶し、
前記構成に従って前記書き込み対象のデータを論理ディスク制御部が前記論理ディスクに書き込み、
前記動作命令に対する応答を前記入出力制御部が前記上位ホストに送信する
ことを特徴とする論理ディスク制御方法。
(Supplementary Note 5) Two or more upper hosts comprising a plurality of physical disks and a controller that configures the physical disks as logical disks and reads / writes data to / from the logical disks in accordance with operation commands from the upper hosts Connected to the disk array device, and reads and writes data in response to an operation command from the host,
Store in advance in a setting storage unit provided with a plurality of types of the physical disk as the logical disk,
The input / output control unit receives the operation command from the upper host,
Temporarily storing the data to be written received from the upper host in a buffer memory unit provided with,
The logical disk control unit writes the data to be written to the logical disk according to the configuration,
The logical disk control method, wherein the input / output control unit transmits a response to the operation command to the host.
(付記6) 複数台の物理ディスクと、前記物理ディスクを論理ディスクとして構成して前記上位ホストからの動作命令に応じて前記論理ディスクにデータを読み書きするコントローラとを備え、2台以上の上位ホストに接続されて動作し、前記上位ホストからの動作命令に応じてデータの読み書きを行うディスクアレイ装置にあって、
前記ディスクアレイ装置が備えるコンピュータに、
前記物理ディスクの前記論理ディスクとしての複数種類の構成を備えられた設定記憶部から読み出す手順、
前記上位ホストからの前記動作命令を受信する手順、
前記上位ホストから受信した書き込み対象データを備えられたバッファメモリ部に一時的に記憶する手順、
前記構成に従って前記書き込み対象のデータを前記論理ディスクに書き込む手順、
および前記動作命令に対する応答を前記上位ホストに送信する手順
を実行させることを特徴とする論理ディスク制御プログラム。
(Appendix 6) Two or more upper hosts comprising a plurality of physical disks and a controller that configures the physical disks as logical disks and reads / writes data to / from the logical disks in accordance with operation commands from the upper hosts Connected to the disk array device, and reads and writes data in response to an operation command from the host,
In the computer provided in the disk array device,
A procedure of reading from a setting storage unit having a plurality of types of configurations of the physical disk as the logical disk,
A procedure for receiving the operation command from the host;
A procedure for temporarily storing data to be written received from the host host in a buffer memory unit provided;
A procedure for writing the data to be written to the logical disk according to the configuration;
And a logical disk control program for executing a procedure for transmitting a response to the operation command to the host.
本発明は、パリティタイプのRAIDを有するディスクアレイ装置に幅広く適用可能である。特に、複数の上位ホストに共有されるディスクアレイ装置に適する。 The present invention is widely applicable to disk array devices having a parity type RAID. In particular, it is suitable for a disk array device shared by a plurality of upper hosts.
10 ディスクアレイ装置
11 コントローラ
12a〜e 物理ディスク
20、20a〜… 上位ホスト
111 プロセッサ
111a 入出力制御部
111b 論理ディスク制御部
112 記憶手段
112a バッファメモリ部
112b 設定記憶部
120 論理ディスク
DESCRIPTION OF
Claims (6)
複数台の物理ディスクと、前記物理ディスクを論理ディスクとして構成して前記上位ホストからの動作命令に応じて前記論理ディスクにデータを読み書きするコントローラとを備え、
前記コントローラは、
前記上位ホストから前記動作命令を受信してこれに対する応答を前記上位ホストに送信する入出力制御部と、前記上位ホストから受信した書き込み対象のデータを前記論理ディスクに書き込む論理ディスク制御部とを備え、前記書き込み対象データを一時的に記憶するバッファメモリ部を併設すると共に、
前記上位ホストによって特定される用途に応じた前記物理ディスクの前記論理ディスクとしての構成を複数種類予め記憶している設定記憶部を併設し、
前記論理ディスク制御部が、この構成に従って前記書き込み対象のデータを前記論理ディスクに書き込むことを特徴とするディスクアレイ装置。 A disk array device that operates by being connected to two or more upper hosts, and that reads and writes data in accordance with operation commands from the upper hosts,
A plurality of physical disks, and a controller configured to read and write data to and from the logical disk in response to an operation command from the upper host by configuring the physical disk as a logical disk,
The controller is
An input / output control unit that receives the operation command from the upper host and transmits a response to the operation command to the upper host; and a logical disk control unit that writes the write target data received from the upper host to the logical disk. And a buffer memory unit for temporarily storing the write target data,
A setting storage unit that stores in advance a plurality of types of configurations of the physical disk as the logical disk according to the application specified by the upper host is provided,
The disk array device, wherein the logical disk control unit writes the data to be written to the logical disk according to this configuration.
受信した前記書き込み対象データを前記バッファメモリ部に保存し、このバッファメモリ部に保存されたデータの容量が予め与えられたブロック単位の容量を超えた場合に当該データを一括して前記論理ディスクに書き込む機能を有することを特徴とする、請求項1に記載のディスクアレイ装置。 The logical disk controller is
The received data to be written is stored in the buffer memory unit, and when the capacity of the data stored in the buffer memory unit exceeds a predetermined block unit capacity, the data is collectively stored in the logical disk. 2. The disk array device according to claim 1, which has a writing function.
前記上位ホストによって特定される用途に応じた前記物理ディスクの前記論理ディスクとしての複数種類の構成を備えられた設定記憶部に予め記憶し、
前記上位ホストからの前記動作命令を入出力制御部が受信し、
前記上位ホストから受信した書き込み対象データを備えられたバッファメモリ部に一時的に記憶し、
前記構成に従って前記書き込み対象のデータを論理ディスク制御部が前記論理ディスクに書き込み、
前記動作命令に対する応答を前記入出力制御部が前記上位ホストに送信する
ことを特徴とする論理ディスク制御方法。 A plurality of physical disks and a controller that configures the physical disks as logical disks and reads / writes data to / from the logical disks in response to an operation command from the upper host, and is connected to two or more upper hosts In the disk array device that operates and reads / writes data according to an operation command from the host,
Store in advance in a setting storage unit provided with a plurality of types of configurations as the logical disk of the physical disk according to the application specified by the upper host,
The input / output control unit receives the operation command from the upper host,
Temporarily storing the data to be written received from the upper host in a buffer memory unit provided with,
The logical disk control unit writes the data to be written to the logical disk according to the configuration,
The logical disk control method, wherein the input / output control unit transmits a response to the operation command to the host.
前記ディスクアレイ装置が備えるコンピュータに、
前記上位ホストによって特定される用途に応じた前記物理ディスクの前記論理ディスクとしての複数種類の構成を備えられた設定記憶部から読み出す手順、
前記上位ホストからの前記動作命令を受信する手順、
前記上位ホストから受信した書き込み対象データを備えられたバッファメモリ部に一時的に記憶する手順、
前記構成に従って前記書き込み対象のデータを前記論理ディスクに書き込む手順、
および前記動作命令に対する応答を前記上位ホストに送信する手順
を実行させることを特徴とする論理ディスク制御プログラム。 A plurality of physical disks and a controller that configures the physical disks as logical disks and reads / writes data to / from the logical disks in response to an operation command from the upper host, and is connected to two or more upper hosts In the disk array device that operates and reads / writes data according to an operation command from the host,
In the computer provided in the disk array device,
A procedure of reading from a setting storage unit provided with a plurality of types of configurations as the logical disk of the physical disk according to the application specified by the upper host,
A procedure for receiving the operation command from the host;
A procedure for temporarily storing data to be written received from the host host in a buffer memory unit provided;
A procedure for writing the data to be written to the logical disk according to the configuration;
And a logical disk control program for executing a procedure for transmitting a response to the operation command to the host.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011154279A JP2013020504A (en) | 2011-07-12 | 2011-07-12 | Disk array device, logical disk control method, and control program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011154279A JP2013020504A (en) | 2011-07-12 | 2011-07-12 | Disk array device, logical disk control method, and control program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013020504A true JP2013020504A (en) | 2013-01-31 |
Family
ID=47691867
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011154279A Pending JP2013020504A (en) | 2011-07-12 | 2011-07-12 | Disk array device, logical disk control method, and control program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013020504A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016095553A (en) * | 2014-11-12 | 2016-05-26 | 日本電気株式会社 | Storage system, storage device, and staging method |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002207572A (en) * | 2001-01-09 | 2002-07-26 | Toshiba Corp | Disk control system and disk control method |
JP2008269015A (en) * | 2007-04-16 | 2008-11-06 | Hitachi Ltd | Storage system and its control method |
-
2011
- 2011-07-12 JP JP2011154279A patent/JP2013020504A/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002207572A (en) * | 2001-01-09 | 2002-07-26 | Toshiba Corp | Disk control system and disk control method |
JP2008269015A (en) * | 2007-04-16 | 2008-11-06 | Hitachi Ltd | Storage system and its control method |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016095553A (en) * | 2014-11-12 | 2016-05-26 | 日本電気株式会社 | Storage system, storage device, and staging method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7971013B2 (en) | Compensating for write speed differences between mirroring storage devices by striping | |
US8103825B2 (en) | System and method for providing performance-enhanced rebuild of a solid-state drive (SSD) in a solid-state drive hard disk drive (SSD HDD) redundant array of inexpensive disks 1 (RAID 1) pair | |
US9940201B2 (en) | Disk array having mirror configuration and rebuilding method therefor | |
US9026845B2 (en) | System and method for failure protection in a storage array | |
US8543761B2 (en) | Zero rebuild extensions for raid | |
US7587552B2 (en) | Computer system and performance tuning method | |
US20150293719A1 (en) | Storage Space Processing Method and Apparatus, and Non-Volatile Computer Readable Storage Medium | |
WO2014061067A1 (en) | Method for generating data in storage system having compression function | |
US10802958B2 (en) | Storage device, its controlling method, and storage system having the storage device | |
JP5027939B1 (en) | Host server with virtual storage for virtual machines | |
JP5285756B2 (en) | Computer system having multiple operation modes and switching method thereof | |
US20160034215A1 (en) | Indication of a destructive write via a notification from a disk drive that emulates blocks of a first block size within blocks of a second block size | |
JP6052288B2 (en) | Disk array control device, disk array control method, and disk array control program | |
US20180341554A1 (en) | Methods for handling storage element failures to reduce storage device failure rates and devices thereof | |
JP5505329B2 (en) | Disk array device and control method thereof | |
US20090138656A1 (en) | Method of skipping synchronization process for initialization of RAID1 device | |
JP2013020504A (en) | Disk array device, logical disk control method, and control program | |
US20150378622A1 (en) | Management of data operations | |
JP2015179419A (en) | Cache control apparatus, control method thereof, storage device, and computer program | |
JP6175771B2 (en) | Disk array device, bad sector repair method, and repair program | |
JP4714720B2 (en) | Storage device, control method therefor, and disk device | |
JP2000172570A5 (en) | Information recording device and data input / output method and reconstruction method in this device | |
JP2018063491A (en) | Control device, control method, and program | |
JPH09305330A (en) | Disk array system | |
JP2006178823A (en) | Disk array device, and computer system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20131008 |