JP2001154952A - Device for continuously gathering and keeping data and recording medium recording program therefor - Google Patents
Device for continuously gathering and keeping data and recording medium recording program thereforInfo
- Publication number
- JP2001154952A JP2001154952A JP33431699A JP33431699A JP2001154952A JP 2001154952 A JP2001154952 A JP 2001154952A JP 33431699 A JP33431699 A JP 33431699A JP 33431699 A JP33431699 A JP 33431699A JP 2001154952 A JP2001154952 A JP 2001154952A
- Authority
- JP
- Japan
- Prior art keywords
- data
- storage device
- capacity storage
- medium
- written
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Computer And Data Communications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、データを連続的に
収集し且つ保管する装置及びそのプログラムを記録した
記録媒体に関する。特に、インターネット・トラヒック
データの収集及び保管に適する。[0001] 1. Field of the Invention [0002] The present invention relates to an apparatus for continuously collecting and storing data and a recording medium on which a program is recorded. In particular, it is suitable for collecting and storing Internet traffic data.
【０００２】[0002]
【従来の技術】現在、インターネットにおいては、急激
な普及によってトラヒック量が増大し、更に画像データ
等によってデータ量も増大している。従って、インター
ネットのトラヒック・データを長時間連続して収集する
ためには、連続的に記録することができるデータ収集装
置と大容量のデータ保管装置とが必要である。2. Description of the Related Art At present, the amount of traffic on the Internet is increasing due to rapid spread, and the amount of data is also increasing due to image data and the like. Therefore, in order to continuously collect Internet traffic data for a long time, a data collection device capable of continuously recording and a large-capacity data storage device are required.
【０００３】記憶装置の容量には物理的な制限があるた
めに、１つの記憶装置に長時間連続してデータを記憶さ
せることはできない。従って、データを一度中容量記憶
装置に収集し、その後で大容量記憶装置に保管する方法
が、通常採られている。[0003] Due to physical limitations on the capacity of a storage device, data cannot be stored in one storage device continuously for a long time. Therefore, a method of once collecting data in a medium-capacity storage device and thereafter storing the data in a large-capacity storage device is usually adopted.
【０００４】しかし、実際問題として、中容量記憶装置
のデータを大容量記憶装置に書き込むためには、一旦、
中容量記憶装置へのデータの書き込みを中断する、即ち
データの収集を中止する必要がある。従って、連続的な
トラヒックデータを取りこぼす可能性がある。However, as a practical matter, in order to write the data of the medium capacity storage device to the large capacity storage device, once,
It is necessary to stop writing data to the medium capacity storage device, that is, stop collecting data. Therefore, continuous traffic data may be missed.
【０００５】そのために、複数の中容量記憶装置を用い
て、データ収集プロセスとデータ保管プロセスとを別々
に独立させることにより、連続的なデータの収集及び保
管を可能としている。これは、データ収集プロセスが１
つの中容量記憶装置にデータを書き込むと同時に、デー
タ保管プロセスが他の中容量記憶装置のデータを大容量
記憶装置へ書き込むことができる。For this purpose, continuous data collection and storage are made possible by using a plurality of medium-capacity storage devices to separate the data collection process and the data storage process separately. This means that the data collection process is one
At the same time data is written to one medium storage device, the data storage process can write data from another medium storage device to the mass storage device.
【０００６】図１は、インターネットのトラヒックデー
タの収集及び保管に適する、従来の装置の構成図であ
る。図２では、中容量記憶装置として磁気ディスク装置
５を用い、大容量記憶装置として磁気テープ装置６が用
いられている。FIG. 1 is a block diagram of a conventional device suitable for collecting and storing traffic data on the Internet. In FIG. 2, a magnetic disk device 5 is used as a medium capacity storage device, and a magnetic tape device 6 is used as a large capacity storage device.
【０００７】データ収集プロセス３は、次の手順で動作
する。 インターネット１のトラヒックデータを、ネットワー
ク・インタフェース装置２を介して連続的に収集する。 収集した１つのデータを１つの磁気ディスク装置に書
き込む。但し、データの容量が当該磁気ディスク装置の
空き容量よりも小さいならば、他の磁気ディスク装置に
データを書き込む。The data collection process 3 operates according to the following procedure. Traffic data of the Internet 1 is continuously collected via the network interface device 2. One collected data is written to one magnetic disk device. However, if the data capacity is smaller than the free space of the magnetic disk device, the data is written to another magnetic disk device.
【０００８】データ保管プロセス４は、次の手順で動作
する。 定期的に複数の磁気ディスク装置の空き容量を確認す
る。 過去の磁気ディスク装置の空き容量と現在のその空き
容量とが同じであるならば、該磁気ディスク装置は既に
空き容量が不足していると判定する。このとき、当該磁
気ディスク装置の全てのデータを、例えば磁気テープ装
置６へ書き込む。 当該磁気ディスク装置のデータを全て消去する。[0008] The data storage process 4 operates in the following procedure. Periodically check the free space of a plurality of magnetic disk devices. If the free space of the past magnetic disk device is the same as the current free space, the magnetic disk device determines that the free space is already insufficient. At this time, all data of the magnetic disk device is written to the magnetic tape device 6, for example. All data in the magnetic disk device is erased.
【０００９】[0009]
【発明が解決しようとする課題】しかし、前述した従来
の方法では、データ保管プロセスは、複数の磁気ディス
ク装置に対して定期的に空き容量を問い合わせる必要が
ある。従って、データ保管プロセスは、データ収集プロ
セスが現在書き込んでいる磁気ディスク装置に対してア
クセスすることが必要となる。これは、磁気ディスク装
置にとってはかなりの負荷となり、連続的なデータの一
部を取りこぼす可能性がある。However, in the above-mentioned conventional method, the data storage process needs to periodically inquire a plurality of magnetic disk devices about the free space. Therefore, the data storage process needs to access the magnetic disk device to which the data collection process is currently writing. This imposes a considerable load on the magnetic disk drive, and there is a possibility that part of continuous data may be missed.
【００１０】また、データ収集プロセスとデータ保管プ
ロセスが独立に動作するため、データ収集プロセスが書
き込み中のデータを、データ保管プロセスが大容量テー
プ装置に書き込んで消去する可能性もある。このような
場合にはデータが失われてしまう。In addition, since the data collection process and the data storage process operate independently, there is a possibility that data being written by the data collection process is erased by the data storage process by writing to the large-capacity tape device. In such a case, data is lost.
【００１１】そこで、本発明は、データを連続的に収集
し且つ保管することに適した装置及びそのプログラムを
記録した記録媒体を提供することを目的とする。特に、
インターネット・トラヒックデータの収集及び保管に用
途がある。It is therefore an object of the present invention to provide a device suitable for continuously collecting and storing data and a recording medium on which the program is recorded. In particular,
It is used for collecting and storing Internet traffic data.
【００１２】[0012]
【課題を解決するための手段】従って、本発明によるデ
ータを連続的に収集し且つ保管する装置は、データ収集
手段と、データ保管手段と、共有メモリと、複数の中容
量記憶装置と、１つの大容量記憶装置とを有しており、
データ収集手段は、収集したデータを書き込むことがで
きる空き容量を有した中容量記憶装置へ該データを書き
込み、書き込んだデータ量及び中容量記憶装置名を共有
メモリへ記録するものであり、データ保管手段は、共有
メモリ内のデータ量及び中容量記憶装置名から、空き容
量が不足した中容量記憶装置を確認し、該中容量記憶装
置の全てのデータを大容量記憶装置へ書き込むものであ
る。SUMMARY OF THE INVENTION Accordingly, an apparatus for continuously collecting and storing data according to the present invention comprises: a data collecting means; a data storing means; a shared memory; And two mass storage devices,
The data collection means writes the collected data to a medium capacity storage device having free space to which the collected data can be written, and records the written data amount and the name of the medium capacity storage device in the shared memory. The means checks the medium capacity storage device having insufficient free space based on the amount of data in the shared memory and the name of the medium capacity storage device, and writes all data in the medium capacity storage device to the large capacity storage device.
【００１３】また、本発明によるデータを連続的に収集
し且つ保管するプログラムを記録した記録媒体は、デー
タ収集プロセスと、データ保管プロセスとを有してお
り、データ収集プロセスは、収集したデータを書き込む
ことができる空き容量を有した中容量記憶装置へ該デー
タを書き込み、書き込んだデータ量及び中容量記憶装置
名を、プロセス間通信によりデータ保管プロセスへ通知
し、データ保管プロセスは、プロセス間通信により受信
したデータ量及び中容量記憶装置名から、空き容量が不
足した中容量記憶装置を確認し、該中容量記憶装置の全
てのデータを大容量記憶装置へ書き込むものである。According to the present invention, a recording medium recording a program for continuously collecting and storing data has a data collection process and a data storage process. The data is written to a medium-capacity storage device having a writable free space, and the amount of the written data and the name of the medium-capacity storage device are notified to the data storage process by inter-process communication. The medium capacity storage device having insufficient free space is confirmed from the data amount received and the medium capacity storage device name, and all data in the medium capacity storage device is written to the large capacity storage device.
【００１４】[0014]
【発明の実施の形態】以下では、図面を用いて、本発明
の実施形態を詳細に説明する。Embodiments of the present invention will be described below in detail with reference to the drawings.
【００１５】本発明は、一実施形態として、ＩＢＭ／Ｐ
Ｃ互換ハードウェア上にＢＳＤ／ＯＳであるＵＮＩＸを
搭載し、トラヒックデータ収集プロセスとトラヒックデ
ータ保管プロセスとをソフトウェアとして実装してい
る。データ収集プロセスとデータ保管プロセスとを通信
させるために、ＵＮＩＸの共有メモリ又はプロセス間通
信を用いる。[0015] The present invention relates to an IBM / P
UNIX, which is a BSD / OS, is mounted on C-compatible hardware, and a traffic data collection process and a traffic data storage process are implemented as software. To make the data collection process and the data storage process communicate, UNIX shared memory or inter-process communication is used.
【００１６】図２は、本発明によるデータを連続的に収
集し且つ保管する装置である。本発明は、従来の装置の
構成である図１と比較して、新たに共有メモリを有して
いる。FIG. 2 shows an apparatus for continuously collecting and storing data according to the present invention. The present invention has a new shared memory as compared with FIG. 1 which is a configuration of a conventional device.
【００１７】図２の装置のデータ収集プロセス３は、次
の手順で動作する。 インターネット１のトラヒックデータを、ネットワー
ク・インタフェース装置２を介して連続的に収集する。 収集した１つのデータを１つの磁気ディスク装置に書
き込む。但し、データの容量が当該磁気ディスク装置の
空き容量よりも小さいならば、他の磁気ディスク装置に
データを書き込む。 書き込んだデータ量及び中容量記憶装置名を共有メモ
リ７へ記録する。The data collection process 3 of the apparatus shown in FIG. 2 operates according to the following procedure. Traffic data of the Internet 1 is continuously collected via the network interface device 2. One collected data is written to one magnetic disk device. However, if the data capacity is smaller than the free space of the magnetic disk device, the data is written to another magnetic disk device. The written data amount and the name of the medium-capacity storage device are recorded in the shared memory 7.
【００１８】図２の装置のデータ保管プロセス４は、次
の手順で動作する。 共有メモリに記録された、複数の磁気ディスク装置の
空き容量を常時監視する。 一定の条件で、１つの磁気ディスク装置の空き容量が
不足していると判定したならば、当該磁気ディスク装置
の全てのデータを、磁気テープ装置６へ書き込む。 当該磁気ディスク装置のデータを全て消去する。The data storage process 4 of the apparatus shown in FIG. 2 operates according to the following procedure. The free space of the plurality of magnetic disk devices recorded in the shared memory is constantly monitored. If it is determined that the free space of one magnetic disk device is insufficient under certain conditions, all data of the magnetic disk device is written to the magnetic tape device 6. All data in the magnetic disk device is erased.
【００１９】図２では、共有メモリ７を用いているが、
プロセス間通信を用いることもできる。その場合は、デ
ータ収集プロセスが、データ保管プロセスへデータ量及
び中容量記憶装置名を通知することになる。In FIG. 2, the shared memory 7 is used.
Inter-process communication can also be used. In that case, the data collection process notifies the data storage process of the data amount and the name of the medium-capacity storage device.
【００２０】前述した実施形態では、インターネット・
トラヒックデータの収集及び保管について説明したが、
連続的なデータの収集及び保管に関する装置への適用に
おいて、本発明の技術思想及び見地の範囲の種々の変
更、修正及び省略は、当業者によれば容易に行うことが
できる。従って、前述した実施形態は、あくまで例であ
って制約しようとするものではなく、本発明は、特許請
求の範囲及びその均等物として限定されるものだけに制
約される。In the above-described embodiment, the Internet
We explained the collection and storage of traffic data.
Various changes, corrections, and omissions in the technical idea and scope of the present invention can be easily performed by those skilled in the art in application to an apparatus related to continuous data collection and storage. Accordingly, the above-described embodiments are merely examples, and are not intended to be limiting, and the present invention is limited only by the claims and the equivalents thereof.
【００２１】[0021]
【発明の効果】以上、詳細に説明したように、本発明に
よれば、データ保管プロセスが磁気ディスク装置に対し
て定期的に空き容量を問い合わせることがない。従っ
て、データ保管プロセスは、データ収集プロセスが現在
書き込んでいる磁気ディスク装置に対してアクセスする
ことがないので、磁気ディスクの負荷を軽減することが
できる。これは、磁気ディスク装置へのデータの書き込
み時のデータ抜けを回避できる。As described in detail above, according to the present invention, the data storage process does not periodically inquire of the magnetic disk device about the free space. Therefore, the data storage process does not access the magnetic disk device currently writing by the data collection process, so that the load on the magnetic disk can be reduced. This can avoid data loss when writing data to the magnetic disk device.
【図１】従来のインターネット・トラヒックデータの収
集及び保管装置である。FIG. 1 shows a conventional Internet traffic data collection and storage device.
【図２】本発明によるインターネット・トラヒックデー
タの収集及び保管装置である。FIG. 2 is an apparatus for collecting and storing Internet traffic data according to the present invention.
１ インターネット ２ ネットワーク・インタフェース ３ データ収集プロセス ４ データ保管プロセス ５ 磁気ディスク装置、中容量記憶装置 ６ 磁気テープ装置、大容量記憶装置 ７ 共有メモリ DESCRIPTION OF SYMBOLS 1 Internet 2 Network interface 3 Data collection process 4 Data storage process 5 Magnetic disk device, medium capacity storage device 6 Magnetic tape device, large capacity storage device 7 Shared memory
Claims (2)
共有メモリと、複数の中容量記憶装置と、１つの大容量
記憶装置とを有しており、 前記データ収集手段は、収集したデータを書き込むこと
ができる空き容量を有した前記中容量記憶装置へ該デー
タを書き込み、書き込んだデータ量及び中容量記憶装置
名を前記共有メモリへ記録するものであり、 前記データ保管手段は、前記共有メモリ内の前記データ
量及び前記中容量記憶装置名から、空き容量が不足した
前記中容量記憶装置を確認し、該中容量記憶装置の全て
のデータを前記大容量記憶装置へ書き込むものであるこ
とを特徴とするデータを連続的に収集し且つ保管する装
置。1. A data collection means, a data storage means,
A shared memory, a plurality of medium-capacity storage devices, and one large-capacity storage device, wherein the data collection unit is configured to transmit the collected data to the medium-capacity storage device having an available free space. The data is written, and the written data amount and the name of the medium-capacity storage device are recorded in the shared memory.The data storage unit is configured to determine whether the data amount and the medium-capacity storage device name in the shared memory are free. An apparatus for continuously collecting and storing data, wherein the medium capacity storage device having a shortage of capacity is identified, and all data of the medium capacity storage device is written to the large capacity storage device.
セスとを有しており、 前記データ収集プロセスは、収集したデータを書き込む
ことができる空き容量を有した中容量記憶装置へ該デー
タを書き込み、書き込んだデータ量及び中容量記憶装置
名を、プロセス間通信により前記データ保管プロセスへ
通知し、 前記データ保管プロセスは、前記プロセス間通信により
受信した前記データ量及び前記中容量記憶装置名から、
空き容量が不足した前記中容量記憶装置を確認し、該中
容量記憶装置の全てのデータを大容量記憶装置へ書き込
むことを特徴とするデータを連続的に収集し且つ保管す
るプログラムを記録した記録媒体。2. A data collection process and a data storage process, wherein the data collection process writes and writes the data to a medium-capacity storage device having a free space in which the collected data can be written. The data storage process name is notified to the data storage process by inter-process communication, and the data storage process is executed based on the data amount and the medium storage device name received by the inter-process communication.
A record for recording a program for continuously collecting and storing data, characterized in that the medium capacity storage device having insufficient free space is confirmed, and all data of the medium capacity storage device is written to the large capacity storage device. Medium.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33431699A JP2001154952A (en) | 1999-11-25 | 1999-11-25 | Device for continuously gathering and keeping data and recording medium recording program therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33431699A JP2001154952A (en) | 1999-11-25 | 1999-11-25 | Device for continuously gathering and keeping data and recording medium recording program therefor |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001154952A true JP2001154952A (en) | 2001-06-08 |
Family
ID=18275999
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP33431699A Pending JP2001154952A (en) | 1999-11-25 | 1999-11-25 | Device for continuously gathering and keeping data and recording medium recording program therefor |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001154952A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006178979A (en) * | 2004-12-20 | 2006-07-06 | Internatl Business Mach Corp <Ibm> | Dynamic remote storage system and method |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05250237A (en) * | 1992-03-09 | 1993-09-28 | Ricoh Co Ltd | Magneto-optical disk library device |
| JPH07281939A (en) * | 1994-04-15 | 1995-10-27 | Nec Corp | File transfer system |
| JPH08194665A (en) * | 1995-01-17 | 1996-07-30 | Fujitsu F I P Kk | Concentration file system |
-
1999
- 1999-11-25 JP JP33431699A patent/JP2001154952A/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05250237A (en) * | 1992-03-09 | 1993-09-28 | Ricoh Co Ltd | Magneto-optical disk library device |
| JPH07281939A (en) * | 1994-04-15 | 1995-10-27 | Nec Corp | File transfer system |
| JPH08194665A (en) * | 1995-01-17 | 1996-07-30 | Fujitsu F I P Kk | Concentration file system |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006178979A (en) * | 2004-12-20 | 2006-07-06 | Internatl Business Mach Corp <Ibm> | Dynamic remote storage system and method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6609187B1 (en) | Method and apparatus for supporting resizing of file system partitions | |
| JP4135747B2 (en) | Data processing apparatus and flash memory access method | |
| WO2005109169A1 (en) | Method for accessing data, apparatus and recording medium for performing that method | |
| US8086793B2 (en) | Optical disc recorder and buffer management method thereof | |
| JPH1063578A (en) | Information recording and reproducing device | |
| US20100228905A1 (en) | Memory controller, memory card, and nonvolatile memory system | |
| CN101174198B (en) | Data storage system and data access method thereof | |
| JP3736305B2 (en) | Disk cache system and disk cache control method | |
| JP2001154952A (en) | Device for continuously gathering and keeping data and recording medium recording program therefor | |
| KR20190089796A (en) | Video managing apparatus and method of surveillance systems | |
| US5761710A (en) | Information apparatus with cache memory for data and data management information | |
| JPH08101783A (en) | File system | |
| JP4095840B2 (en) | Cache memory management method | |
| JP2000148404A (en) | Computer system | |
| JP5206103B2 (en) | Storage device, storage device control system, storage device control method, and program | |
| JP2985385B2 (en) | Image data retrieval system | |
| JPH01303547A (en) | Control system for information memory | |
| CN100472422C (en) | Device with dual write-in functions and memory control device | |
| CN110825314A (en) | Data scheduling method and device | |
| JP2004126850A (en) | Disk array system | |
| JPH07152651A (en) | Method and device for information processing | |
| JPS6027014A (en) | Magnetic disk controller | |
| JP3190890B2 (en) | Magnetic tape effective use system | |
| JP3594202B2 (en) | External storage controller | |
| JPH02132516A (en) | System and method for write enable type optical disk controlling |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041019 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041215 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050118 |