JP2006092503A - Multi-instance in-memory database - Google Patents

Multi-instance in-memory database Download PDF

Info

Publication number
JP2006092503A
JP2006092503A JP2004308853A JP2004308853A JP2006092503A JP 2006092503 A JP2006092503 A JP 2006092503A JP 2004308853 A JP2004308853 A JP 2004308853A JP 2004308853 A JP2004308853 A JP 2004308853A JP 2006092503 A JP2006092503 A JP 2006092503A
Authority
JP
Japan
Prior art keywords
data
storage device
data set
location information
main storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004308853A
Other languages
Japanese (ja)
Other versions
JP2006092503A5 (en
JP4313845B2 (en
Inventor
Shuhei Nishiyama
修平 西山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nishiyama Shuhei
Original Assignee
Nishiyama Shuhei
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=36233384&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2006092503(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Nishiyama Shuhei filed Critical Nishiyama Shuhei
Priority to JP2004308853A priority Critical patent/JP4313845B2/en
Publication of JP2006092503A publication Critical patent/JP2006092503A/en
Publication of JP2006092503A5 publication Critical patent/JP2006092503A5/ja
Application granted granted Critical
Publication of JP4313845B2 publication Critical patent/JP4313845B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To divide single data into sizes that can be loaded into main storage devices and handle the divisions for search, processing and the like in the same manner as the single undivided data so that an in-memory database is applied to a large scale database. <P>SOLUTION: Data having many tuples are grouped into data sets sized for handling on the main storage devices and are allocated with storage location information assigned. In search, a data set in a storage location is specified, and a data storage device is identified by the location information. If the target data set is on the main storage device, it is accessed direct. If not, the data set is accessed after it is checked in from a secondary storage device or the storage device on another networked electronic computer. The location information about the data sets is set according to characteristics such as a bias at the storage start of stored data and, with time series changes in the characteristics of the data, the relation between the data sets and the data storage devices is coordinated accordingly. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、インメモリ・データベースおよびそれを用いたグリッド・コンピューティング・システムに関する。    The present invention relates to an in-memory database and a grid computing system using the same.

データベース管理システムの基本技術は、階層型にはじまり、ネットワーク型、リレーショナル型を経てオブジェクト指向型に至っているが、未だリレーショナル型が主流である。    The basic technology of the database management system has started from the hierarchical type, has reached the object-oriented type through the network type and the relational type, but the relational type is still mainstream.

加えて、その主流であるリレーショナル型データベース管理システムは、データ格納媒体として、格納容量が大きく、電力の供給が断たれても、その記憶内容が比較的安定している磁気ディスクを主要部品とするハードディスク装置を二次記憶装置として使用することを前提としてきた。    In addition, the mainstream relational database management system has as its main component a magnetic disk as a data storage medium that has a large storage capacity and whose stored contents are relatively stable even when power supply is cut off. It has been assumed that a hard disk device is used as a secondary storage device.

二次記憶装置としてのハードディスク装置は、停電に対しては安定しているが、機械的摺動部分を多く持つという理由から、半導体記憶装置に対して故障発生率は桁違いに高く、読出し書込みのアクセス時間は桁違いに遅い。また、周辺の磁場の影響を受けやすい磁気媒体を記憶媒体としているため、磁石の接近に対して記憶保持力は不安定である。さらに、読出し書込みのアクセスは磁気ヘッダの接触によっておこなわれるため、磁気ヘッダは磁気記憶媒体に非常に近い場所に常に置かれている。そのため、衝撃に対しても磁気記憶媒体の記憶保持力が脆弱であることは周知のことである。    Hard disk devices as secondary storage devices are stable against power outages, but because they have many mechanical sliding parts, the failure occurrence rate is much higher than that of semiconductor storage devices. Access time is orders of magnitude slower. Further, since the magnetic medium that is easily affected by the surrounding magnetic field is used as the storage medium, the memory retention force is unstable with respect to the approach of the magnet. Furthermore, since read / write access is performed by contact of the magnetic header, the magnetic header is always placed in a location very close to the magnetic storage medium. For this reason, it is well known that the memory retention force of a magnetic storage medium is vulnerable to impact.

二次記憶装置として不揮発性メモリ等の半導体記憶媒体を使用する動きもあるが、単位記憶容量あたりの価格が未だに高価であるため、経済的な理由から、その普及はデータベース管理システムに利用するほどには普及していない。    Although there is a movement to use a semiconductor storage medium such as a non-volatile memory as a secondary storage device, the price per unit storage capacity is still expensive, and for economic reasons, its spread is used as a database management system. Is not popular.

最近の工業生産技術の向上に伴い、揮発性半導体記憶媒体は低価格大容量化の傾向にあり、それに伴いギガビットオーダーの大容量揮発性半導体記憶装置を主記憶装置とするパーソナル・コンピュータ(以下PC)も登場してきている。また、32ビットCPUではアドレッシングの理由から2の32乗バイトすなわち42億9千4百96万7千2百96バイト(約4GB)以上のメモリを主記憶装置として搭載しても無意味であったが、64ビットCPUの登場で2の64乗バイトのメモリ空間を持つことが可能になり、理論上はテラ・バイト・オーダーのデータベースをインメモリで取扱うことも可能になってきている。実際には半導体メモリの現在の集積技術の制限から一個の64ビットCPUに搭載される主記憶装置としての半導体メモリはせいぜい数十GBレベルと推定される。    With the recent improvement of industrial production technology, volatile semiconductor storage media has been trending toward lower prices and larger capacities. Along with this, personal computers (hereinafter referred to as PCs) with large-capacity volatile semiconductor storage devices on the order of gigabits as main storage devices. ) Has also appeared. On the other hand, in a 32-bit CPU, it is meaningless to install a memory of 2 32 bytes, that is, 4,294,962,722,96 bytes (about 4 GB) or more as a main storage device for addressing reasons. However, with the advent of 64-bit CPUs, it is possible to have a memory space of 2 64 bytes, and it is theoretically possible to handle a terabyte order database in-memory. Actually, it is estimated that the semiconductor memory as the main storage device mounted on one 64-bit CPU is at most several tens GB level due to the limitation of the current integration technology of the semiconductor memory.

前記揮発性半導体記憶媒体は低価格大容量化の傾向は、データベース管理システムの在り方を根底から覆すこととなり、主記憶装置をメインのデータ格納装置とし、二次記憶装置を障害時のリカバリのための永続化(パーシステント)用記憶媒体と位置づけるインメモリ・データベース管理システムが商用プロダクトとして複数製品が市場に登場してきている。    The trend toward lower prices and larger capacities of the volatile semiconductor storage medium is to completely overturn the database management system, the main storage device is the main data storage device, and the secondary storage device is used for recovery in the event of a failure. In-memory database management system, which is positioned as a persistent storage medium, has appeared on the market as a commercial product.

現在市場に登場してきているインメモリ・データベース管理システムは、マルチューザによる複雑な更新処理をともなうトランザクション用データベース管理システムではなく、OLAPやデータマイニングを行うためのデータウェアハウス(以下DWH)用のデータベース管理システムとしての位置付けが妥当であり、数十GBレベルの大きさのデータベース管理システムのインメモリ化には成功しているといえる。    The in-memory database management system that has appeared on the market is not a database management system for transactions involving complicated update processing by a Maltuser, but a database management for a data warehouse (hereinafter referred to as DWH) for OLAP and data mining. Positioning as a system is reasonable, and it can be said that a database management system having a size of several tens of GB has been successfully implemented in memory.

特開2004−227169号(PCT/JP2003/014390)公報JP-A-2004-227169 (PCT / JP2003 / 014390) 特開2004−145640号公報JP 2004-145640 A 特開2000−339390号公報JP 2000-339390 A

EUの環境問題規制強化にからみ工業生産製品、農業生産物等の有害化学物質の不使用の証明や誤って使用された場合の消費者に対する使用禁止等のメッセージ通知や回収等のためのトレーサビリティの確保のために、数百テラ・バイト・オーダーの大容量超高速データベースの実用化が求められている。    In order to strengthen EU environmental problem regulations, traceability for proof of non-use of hazardous chemical substances such as industrial products and agricultural products, and notification and collection of messages such as prohibition of use to consumers when used incorrectly. In order to secure it, there is a demand for practical use of a large-capacity ultrahigh-speed database of the order of several hundred terabytes.

64ビットCPU搭載PCの登場により、大容量超高速データベースの実現に近づいたとはいえ、主記憶装置に用いられる半導体揮発性記憶装置の集積度は、一台のPCに数百テラ・バイト・オーダーの半導体揮発性記憶装置を搭載するほどには至っていない。従って、ネットワーク上に配置された複数個の電子計算機にデータベースを分散して処理ができることが求められている。そのため、同一属性を持つ大規模データの集合を、数ギガ・バイト・オーダーの主記憶装置しか持たない電子計算機上で主記憶装置のみで処理可能な大きさのデータ・セットに分割して、前記数ギガ・バイト・オーダーの主記憶装置しか持たない電子計算機を複数台ネットワークに接続することが考えられるが、データ処理を行うユーザの電子計算機からは前記分割された複数個のデータ・セットが、統合して仮想的に単一のデータ・セットとして取扱えるようにすることができないことが問題であった。    Although the introduction of a 64-bit CPU-equipped PC has made it close to the realization of a large-capacity ultra-high-speed database, the degree of integration of semiconductor volatile storage devices used in main storage devices is in the order of several hundred terabytes per PC. The semiconductor volatile memory device is not installed. Therefore, it is required that the database can be distributed to a plurality of electronic computers arranged on the network. Therefore, a set of large-scale data having the same attribute is divided into data sets of a size that can be processed only by the main storage device on an electronic computer having only a few gigabyte order main storage device, Although it is conceivable to connect a plurality of electronic computers having only a few gigabytes of main storage to a network, a plurality of divided data sets are obtained from a user's electronic computer that performs data processing. The problem was that they could not be integrated and handled virtually as a single data set.

また、全データ・セットがネットワーク上に配置された電子計算機上の主記憶装置上に展開されている状態が理想であるが、接続する電子計算機の台数の制限からハードディスク装置等の二次記憶媒体を効率的に利用することが求められる場合もあり、この二次記憶媒体を効率的に利用することができないことも問題であった。    In addition, it is ideal that all data sets are expanded on a main storage device on an electronic computer arranged on a network, but a secondary storage medium such as a hard disk device due to the limitation of the number of connected electronic computers. In some cases, it is required to efficiently use the secondary storage medium, and the secondary storage medium cannot be used efficiently.

また、ネットワーク上に接続される電子計算機は、CPUの性能が一様ではなく、搭載主記憶装置の容量も各様であり、時系列的にも、配置換えや新旧の入替えにより、ネットワーク上に接続される電子計算機の台数は変化し、前記電子計算機に搭載されるCPUの性能は変化し、前記電子計算機に搭載される主記憶装置の容量も変化していく。その多様性や変化に対応すべく前記分割されたデータ・セットのロケーション情報がダイナミックに変更可能ではなく、加えて最適配置も困難であったことも問題であった。    In addition, the computer connected to the network does not have uniform CPU performance, and the capacity of the mounted main storage device is also various. Even in time series, it can be placed on the network by rearranging or replacing old and new. The number of connected electronic computers changes, the performance of the CPU mounted on the electronic computer changes, and the capacity of the main storage device mounted on the electronic computer also changes. Another problem is that the location information of the divided data sets cannot be dynamically changed to cope with the diversity and changes, and in addition, the optimal arrangement is difficult.

さらに、単純に大規模データ・セットが適正規模の複数データ・セットに分割されても、生産管理システムにおけるBOM(部品構成表)の正展開、逆展開を表現するためのように複数データ・セットに跨るセルフ・ジョインを横断的に効率的に実現することも困難であった。    Furthermore, even if a large-scale data set is simply divided into a plurality of appropriately-sized data sets, a plurality of data sets are used to express forward and backward development of BOM (parts configuration table) in the production management system. It was also difficult to efficiently implement self-joining across the two.

そこで、本発明は、本データベース・システムにおいて大規模データ・セットが小規模データ・セットに分割されていても、仮想的に統合して単一の大規模データ・セットとして取扱えるようにし、前記データベース・システムを運用しながら、前記データベース・システムを構成するネットワーク上に配置された一個以上の電子計算機の台数ないし前記電子計算機に搭載されているCPUの性能ないし前記CPUの個数ないし前記電子計算機に搭載されている主記憶装置の容量等のリソースの変化に呼応して、前記分割されたデータ・セットのロケーションをダイナミックに最適配置していくことを目的とする。    Therefore, the present invention enables a large data set to be handled as a single large data set by virtually integrating even if a large data set is divided into small data sets in the database system. While operating the database system, the number of one or more electronic computers arranged on the network constituting the database system, the performance of the CPU mounted on the electronic computer, the number of CPUs, or the electronic computer The object is to dynamically and optimally arrange the locations of the divided data sets in response to changes in resources such as the capacity of the main storage device mounted.

上記の課題を解決するために、本発明においては、請求項1に示されるように、同一の属性を持つ大規模データの集合を、格納すべきデータの情報の一部または全部をハッシング等のアルゴリズムを特定のパラメータで用いて、ネットワーク上に配置された電子計算機の主記憶装置のみで処理可能な大きさに分割配置し、それぞれをデータ・セットとする。各データ・セットには識別記号とロケーション情報が与えられ、検索や加工の際には対象となるデータの情報の一部または全部を前記アルゴリズムと同一のアルゴリズムを同一のパラメータで用いて、格納先のデータ・セットを特定する。全データ・セットがネットワーク上に配置された電子計算機上の主記憶装置上に展開されている状態が理想であるが、データ・セットの、他の記憶媒体への待避(以下チェックアウト)、召還(以下チェックイン)機能を持つことによって、接続される電子計算機の台数の制限に対応する。    In order to solve the above-described problems, in the present invention, as shown in claim 1, a large-scale data set having the same attribute, a part or all of data information to be stored is hashed or the like. Using an algorithm with specific parameters, the data is divided and arranged in a size that can be processed only by the main storage device of the electronic computer arranged on the network, and each is used as a data set. Each data set is given an identification symbol and location information. When searching or processing, a part or all of the information of the target data is stored in the same parameter using the same algorithm as the above algorithm. Identify the data set. Ideally, all data sets are deployed on the main storage device on a computer located on the network, but the data sets can be saved to other storage media (hereinafter referred to as checkout) and summoned. By having a function (hereinafter referred to as “check-in”), it supports the limitation of the number of connected computers.

また、請求項2に示されるように、データ・セットのデータ・セット識別記号ロケーション情報変換部のロケーション情報を変更する機能を有することにより、各時点での各データ・セットの配置を再検討し、最適再配置を可能にする。    Further, as described in claim 2, by having a function of changing the location information of the data set identification symbol location information conversion unit of the data set, the arrangement of each data set at each time point is reviewed. Enable optimal relocation.

また、請求項3に示されるように、配置されたデータ・セットの大きさに対して、そのデータ・セットが配置されている電子計算機の主記憶装置の未使用記憶容量が、アクセス対象でチェックアウトされているデータ・セットを、現在チェックインしているデータ・セットをチェックアウトせずにチェックイン可能な場合、現在のデータ・セットのチェックアウトが行われずに、アクセス対象のデータ・セットがチェックインされる。これによって、二次記憶装置の使用を抑制し、性能向上を図る。    Further, as described in claim 3, for the size of the arranged data set, the unused storage capacity of the main storage device of the electronic computer in which the data set is arranged is checked in the access target. If a checked out data set can be checked in without checking out the currently checked in data set, the current data set is not checked out and the accessed data set is Check in. This suppresses the use of the secondary storage device and improves performance.

また、請求項4に示されるように、各データ・セットと前記ネットワーク上に配置された電子計算機のCPU稼働率や搭載主記憶装置の未使用記憶容量を常時ないし定期的に監視し、データ・セットのその時点での実際の大きさ、配置されていて使用可能な電子計算機のCPU稼働率や搭載主記憶装置の未使用記憶容量の変化に応じて、自動的にロケーション情報の変更、データ・セットの再配置を行うことにより、二次記憶装置の使用を抑制し、性能向上を図る。    Further, as shown in claim 4, the CPU utilization rate of each data set and the electronic computer arranged on the network and the unused storage capacity of the installed main storage device are constantly or regularly monitored, Depending on changes in the actual size of the set at that time, the CPU utilization rate of the computers that are installed and usable, and the unused storage capacity of the installed main storage, the location information is automatically changed, By rearranging the set, the use of the secondary storage device is suppressed and the performance is improved.

また、請求項5に示されるように、データ・セットが、自分自身のデータ・セットの他のタプルから参照されている時、参照しているタプルのアトリビュート・データを参照されているデータ・セットの前記データ・セット識別記号変換部への入力データとすることにより、セルフ・ジョインを再帰的におこない、各データ・セットの分割される前の元の大規模データ・セットに記述された親部品子部品構成表に基づく前記BOMの正展開、逆展開を行う。    Also, as set forth in claim 5, when a data set is referenced from another tuple of its own data set, the data set referenced by the attribute data of the referring tuple By using the data as input data to the data set identification symbol conversion unit, the self part is recursively performed and the parent part described in the original large-scale data set before each data set is divided The BOM is forwardly expanded and reversely expanded based on the child component configuration table.

これにより、数百テラ・バイト・オーダー・レベルの大規模データ・セットからの抽出ないしソートないしマージないしジョインないしプロジェクションも高速に実行することが可能となる。    As a result, extraction, sorting, merging, joining, and projection from a large-scale data set of several hundred terabyte order level can be executed at high speed.

また、数テラ件数オーダー・レベルの大規模BOMにおいても、その正展開、逆展開を高速で行うことが可能となる。    Further, even in a large-scale BOM of several tera number order level, it is possible to perform forward and reverse expansion at high speed.

使用開始時には数ギガ・バイト・オーダー・レベルの大きさの小規模データベースが、時間とともに大きくなり、数百テラ・バイト・オーダー・レベルの大規模データベースに成長しても、基本的構造を変更せずに、前記ネットワーク上に配置される電子計算機の台数の増加、若しくは前記ネットワーク上に配置された個々の電子計算機に搭載されたCPUの性能の向上ないし個数の増加、若しくは前記ネットワーク上に配置された個々の電子計算機に搭載された主記憶装置の容量の増加、だけでその成長の度合に応じて、その時点での最適規模のデータベースに拡張しながら構築することが可能となる。    Even if a small database with a size of several gigabytes at the start of use grows over time and grows into a large database with a few hundred terabytes, the basic structure can be changed. Without increasing the number of computers arranged on the network, or improving the performance or increasing the number of CPUs mounted on individual computers arranged on the network, or arranged on the network. It is possible to construct the database while expanding the database to the optimum scale at that time according to the degree of growth only by increasing the capacity of the main storage device mounted on each individual computer.

以下、本発明を実施するための最良の形態について、図を用いて説明する。なお、本発明は、これら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々たる態様で実施し得る。    The best mode for carrying out the present invention will be described below with reference to the drawings. Note that the present invention is not limited to these embodiments, and can be implemented in various modes without departing from the scope of the present invention.

(発明の概念)
図1は、請求項1に基づく本発明の概念を示す。
データ入力装置101、
データ格納部特定装置102、
データ格納装置103、104、105、
データ検索加工装置106、
データ出力装置107が、
本発明に係わるマルチインスタンス・インメモリ・データベースの構成要素である。
データ・セット識別記号変換部121、
データ・セット識別記号ロケーション情報変換部122は、
前記マルチインスタンス・インメモリ・データベースの構成要素の一部であるデータ格納部特定装置102の構成要素である。
データ格納部131、141、151、
リソース・マネジメント部132、142、152、
チェックアウト・データ待避スペース133、143、153、154は、
前記マルチインスタンス・インメモリ・データベースの構成要素の一部であるデータ格納装置103、104,105の構成要素である。
データ検索部161、
データ加工部162、
ワークスペース部163、
リソース・マネジメント部164は、
前記マルチインスタンス・インメモリ・データベースの構成要素の一部であるデータ検索加工装置106の構成要素である。
(Concept of invention)
FIG. 1 shows the concept of the invention according to claim 1.
Data input device 101,
Data storage specifying device 102,
Data storage devices 103, 104, 105,
Data search processing device 106,
The data output device 107 is
2 is a component of a multi-instance in-memory database according to the present invention.
Data set identification symbol converter 121,
The data set identification symbol location information conversion unit 122
It is a component of the data storage unit specifying device 102 that is a part of the components of the multi-instance in-memory database.
Data storage units 131, 141, 151,
Resource management unit 132, 142, 152,
Checkout / data saving spaces 133, 143, 153, 154
It is a component of the data storage devices 103, 104, 105 that are part of the components of the multi-instance in-memory database.
Data search unit 161,
Data processing unit 162,
Workspace part 163,
The resource management unit 164
It is a component of the data search processing device 106 that is a part of the components of the multi-instance in-memory database.

データ入力装置101は、ネットワーク上の他の電子計算機からデータをインポートしてもよい。    The data input device 101 may import data from other electronic computers on the network.

データ入力装置101は、ネットワーク上の電子計算機若しくはネットワークに接続されていない電子計算機がフロッピー・ディスク若しくはCD若しくはDVD若しくはメモリ・ディスク等の取外し可能な記憶媒体に作成したデータを前記記憶媒体からインポートしてもよい。    The data input device 101 imports data created on a removable storage medium such as a floppy disk, a CD, a DVD, or a memory disk by a network computer or a computer not connected to the network from the storage medium. May be.

データ入力装置101は、前記データ入力装置101が実装されている電子計算機上に接続されたキーボートやマウス等の入力機器から直接入力されたデータをインポートしてもよい。    The data input device 101 may import data directly input from an input device such as a keyboard or a mouse connected to the computer on which the data input device 101 is mounted.

データ・セット識別記号変換部121は、データ入力装置101がインポートしたデータをタプルごとに読出し、前記タプルを構成するアトリビュートに記録されている情報の全部または一部を入力情報として、前記タプルが格納されるべきデータ・セットの識別記号(すなわちID)に変換する。    The data set identification symbol conversion unit 121 reads the data imported by the data input device 101 for each tuple, and stores the tuple as input information using all or part of the information recorded in the attributes constituting the tuple. Convert to the identification (ie, ID) of the data set to be done.

前記タプルを構成するアトリビュートに記録されている情報の全部または一部である入力情報を前記タプルが格納されるべきデータ・セットの識別記号への変換には、適当なハッシュ・アルゴリズムに適当なパラメータ値を与えて実施してもよい。ただし、本発明に係わるデータベース・システムが稼働している最中は、前記ハッシュ・アルゴリズムおよびパラメータ値は変更しないものとする。    In order to convert the input information, which is all or part of the information recorded in the attribute constituting the tuple, into the identification symbol of the data set in which the tuple is to be stored, an appropriate parameter for an appropriate hash algorithm is used. You may carry out by giving a value. However, the hash algorithm and parameter values are not changed while the database system according to the present invention is operating.

データ・セット識別記号ロケーション情報変換部122は、前記データ・セット識別記号変換部121が変換して取得した前記前記タプルが格納されるべきデータ・セットの識別記号と実際に物理的に前記データ・セットが格納されるデータ格納装置103、104、105が実装されている前記ネットワーク上に配置された電子計算機のネットワーク上でのロケーション情報を対応付けるテーブルである。    The data set identification symbol location information conversion unit 122 and the data set identification symbol to be stored in the data set identification symbol conversion unit 121 obtained by the data set identification symbol conversion unit 121 and the physical data It is a table which matches the location information on the network of the electronic computer arrange | positioned on the said network in which the data storage apparatus 103, 104, 105 in which a set is stored is mounted.

図2は、前記データ・セットの識別記号と前記ロケーション情報を対応付けるテーブルの構成の一例である。この例では、
識別記号欄201は、ロケーション情報欄211と、
識別記号欄202は、ロケーション情報欄212と、
識別記号欄203は、ロケーション情報欄213と、
識別記号欄204は、ロケーション情報欄214と、
識別記号欄205は、ロケーション情報欄215と、
識別記号欄206は、ロケーション情報欄216と、
識別記号欄207は、ロケーション情報欄217と、
は対応付けられている。
したがって、識別記号欄201に在る識別記号1のデータセットは、ロケーション情報欄211にあるロケーション情報192.168.1.11で示されるネットワーク上の電子計算機上にデータ格納装置を持つことを意味している。他の識別記号欄202、203、204、205、206、207にある識別記号も他のロケーション情報欄212、213、214、215、216、217にあるロケーション情報と対応付けられる。複数の識別記号が同一のロケーション情報を持っていてもよい。前記複数の識別記号が同一のロケーション情報を持っている場合、請求項1に示すように前記データ格納装置の構成要素であるリソース・マネジメント部によって、データ・セットのチェックインないしチェックアウトが行われる。ただし、請求項3に示されるように、現在、前記データ格納部に格納中のデータセットをチェックアウトを要せずに、アクセス要求のあった別のデータセットをチェックインできる場合にはこの限りではない。
この図2の例を図1に適用してみると、103のデータ格納装置Aのロケーション情報を「192.168.1.11」、104のデータ格納装置Bのロケーション情報を「192.168.1.12」、105のデータ格納装置Cのロケーション情報を「192.168.1.13」としてもよい。
FIG. 2 shows an example of the configuration of a table that associates the identification symbol of the data set with the location information. In this example,
The identification symbol column 201 includes a location information column 211,
The identification symbol column 202 includes a location information column 212,
The identification symbol column 203 includes a location information column 213,
The identification symbol column 204 includes a location information column 214,
The identification symbol column 205 includes a location information column 215,
The identification symbol column 206 includes a location information column 216,
The identification symbol column 207 includes a location information column 217,
Are associated.
Therefore, the data set of the identification symbol 1 in the identification symbol column 201 means having a data storage device on the electronic computer on the network indicated by the location information 192.168.1.11 in the location information column 211. is doing. The identification symbols in the other identification symbol columns 202, 203, 204, 205, 206, and 207 are also associated with the location information in the other location information columns 212, 213, 214, 215, 216, and 217. A plurality of identification symbols may have the same location information. When the plurality of identification symbols have the same location information, a data management check-in or check-out is performed by a resource management unit that is a component of the data storage device as shown in claim 1. . However, as described in claim 3, this is not necessary when another data set requested to be accessed can be checked in without requiring the data set currently stored in the data storage unit to be checked out. is not.
When the example of FIG. 2 is applied to FIG. 1, the location information of the data storage device A 103 is “192.168.1.11”, and the location information of the data storage device B 104 is “192.168..11”. The location information of the data storage device C of “1.12” and 105 may be “192.168.1.13”.

図1のデータ格納装置103、104、105を構成する要素の一部であるリソース・マネジメント部132、142、152は、それぞれ対応する前記データ格納装置103、104、105を構成する要素の一部であるデータ格納部131、141、151の未使用主記憶容量と新たにアクセス要求が起っているデータ・セットの大きさに基づいて、現在データ格納部に格納されているデータ・セットを、前記データ格納装置103、104、105を構成する要素の一部であるチェックアウト・データ待避スペース133、143、153、154に待避させる必要の是非を評価し、待避させる必要があれば待避し、新たにアクセス要求が発生しているデータ・セットが、新規のデータ・セットであれば新規作成し、チェックアウト・データ待避スペース133、143、153、154に待避されているデータ・セットであればチェックインして召還する。前記データ・セット識別記号変換部の機能により、新たにアクセス要求が起っているデータ・セットは、既存のデータ・セットであれば必ず、アクセス要求が起っているデータ・セットが所属するデータ格納装置に接続されたチェックアウト・データ待避スペースに待避させられていることが保証される。    The resource management units 132, 142, and 152, which are part of the elements constituting the data storage apparatuses 103, 104, and 105 in FIG. 1, are part of the elements that constitute the corresponding data storage apparatuses 103, 104, and 105, respectively. Based on the unused main storage capacity of the data storage units 131, 141, and 151 and the size of the data set for which a new access request has occurred, the data set currently stored in the data storage unit is Evaluate whether or not the checkout / data saving spaces 133, 143, 153, and 154 that are part of the elements constituting the data storage devices 103, 104, and 105 need to be saved, and if necessary, save them. If the data set for which a new access request has occurred is a new data set, a new data set is created and checked out. To summon to check-in if the data sets that are saved in the chromatography data saved space 133,143,153,154. If the data set for which an access request has newly occurred is an existing data set by the function of the data set identifier conversion unit, the data to which the data set for which the access request has occurred belongs to It is guaranteed that it is saved in a checkout data saving space connected to the storage device.

前記チェックアウト・データ待避スペースは、図1のデータ格納装置C105に示されるチェックアウト・データ待避スペース153、154のように複数個あってもよい。    There may be a plurality of checkout / data saving spaces such as checkout / data saving spaces 153 and 154 shown in the data storage device C105 of FIG.

分割される前の元データ・セットが十分小さく、またはネットワーク上に接続された電子計算機の主記憶装置容量が十分大きく、またはネットワーク上に接続された電子計算機の台数が十分多い場合には、チェックアウト・データ待避スペースとしてのハードディスク装置等の二次記憶装置を使用せず、すべてのデータ・セットを主記憶装置上に格納してもよい。    Check if the original data set before being divided is sufficiently small, or the main storage capacity of the computer connected to the network is sufficiently large, or the number of computers connected to the network is sufficiently large All data sets may be stored on the main storage device without using a secondary storage device such as a hard disk device as an out data saving space.

図1によって示されるように、データ検索加工装置106の一部を構成するデータ検索部161は、検索キーを前記データ格納部特定装置122によって検索対象となるデータ・セットを特定した後、該当するデータ格納装置中のデータ・セットが検索される。特定されたデータ・セットが、データ格納装置103に存在するとすると、データ格納装置103内のデータ格納部131に存在するときにはそのまま、チェックアウト・データ待避スペース133に存在する場合には、その待避された当該データ・セットをデータ格納部131にチェックインして、検索を行い、加工する必要があれば、前記データ検索加工装置106中のデータ加工部162によって、検索結果を加工対象として加工する。前記データ検索加工装置106中のワークスペース163は、前記データ加工部162が作業領域として使用する。また、前記データ検索加工装置106中のリソース・マネジメント部164は、前記データ加工部162の加工作業に伴い必要量が増減する前記ワークスペース部の容量のマネジメントをおこなってもよい。    As shown in FIG. 1, the data search unit 161 constituting a part of the data search processing device 106 applies a search key after specifying a data set to be searched by the data storage unit specifying device 122. A data set in the data store is retrieved. If the specified data set exists in the data storage device 103, the data set is saved when it exists in the data storage unit 131 in the data storage device 103, and is saved when it exists in the checkout data save space 133. If it is necessary to check the data set into the data storage unit 131 for searching and processing, the data processing unit 162 in the data search processing unit 106 processes the search result as a processing target. The work space 163 in the data search processing device 106 is used as a work area by the data processing unit 162. Further, the resource management unit 164 in the data search processing device 106 may manage the capacity of the work space unit in which the required amount increases or decreases with the processing operation of the data processing unit 162.

データ出力装置107は、ネットワーク上の他の電子計算機へデータをエクスポートしてもよい。    The data output device 107 may export the data to other electronic computers on the network.

データ出力装置107は、ネットワーク上の電子計算機若しくはネットワークに接続されていない電子計算機によってフロッピー・ディスク若しくはCD若しくはDVD若しくはメモリ・ディスク等の取外し可能な記憶媒体に作成して、データを前記記憶媒体によってエクスポートしてもよい。    The data output device 107 creates a removable storage medium such as a floppy disk, a CD, a DVD, or a memory disk by using an electronic computer on the network or an electronic computer not connected to the network, and uses the storage medium to create data. You may export.

データ出力装置107は、前記データ出力装置107が実装されている電子計算機上に接続されたCRT装置やプリンタ装置等の出力機器へデータを直接エクスポートしてもよい。    The data output device 107 may directly export the data to an output device such as a CRT device or a printer device connected to the computer on which the data output device 107 is mounted.

請求項1に示される、データ入力装置およびデータ格納部特定装置およびデータ格納装置およびデータ検索加工装置およびデータ出力装置は、その全部ないし一部が同一の電子計算機上に在ってもよい。    The data input device, the data storage unit specifying device, the data storage device, the data search processing device, and the data output device shown in claim 1 may be wholly or partially on the same electronic computer.

図2は、識別記号が識別記号欄201、202、203、204、205、206、207に格納され、ロケーション情報がロケーション情報欄211、212、213、214、215、216、217に格納されている図であり、請求項2に示されるように、識別記号欄、ロケーション情報欄への記載内容を変更することによって、データ・セットの物理的な格納先を変更することが可能であることを示している。    In FIG. 2, the identification symbols are stored in the identification symbol columns 201, 202, 203, 204, 205, 206, and 207, and the location information is stored in the location information columns 211, 212, 213, 214, 215, 216, and 217. As shown in claim 2, it is possible to change the physical storage location of the data set by changing the contents described in the identification symbol field and the location information field. Show.

図3は、データ格納装置301において、現在データ格納部303内にはデータ・セット304が存在している状況で、データ格納装置301にアサインされていて、チェックアウト・データ待避スペース305内に待避されているデータ・セットに新たにアクセス要求が発生し、リソース・マネジメント部302によってデータ・セット304をチェックアウト・データ待避スペース305にチェックアウトする必要があると判断された場合を示しており、データ・セット304をチェックアウト・データ待避スペース305にチェックアウトして後、前記チェックアウト・データ待避スペース305から前記新たにアクセス要求が発生しているデータ・セットを、データ格納部303にチェックインしようとしている図である。これは、請求項1に示される、一個のデータ格納装置に複数のデータ・セットをアサインすることが可能であることを示している。    FIG. 3 shows a state in which the data set 304 exists in the data storage unit 303 in the data storage device 301 and is assigned to the data storage device 301 and saved in the checkout / data saving space 305. This shows a case where a new access request is generated for the data set that has been stored and the resource management unit 302 determines that the data set 304 needs to be checked out to the checkout data save space 305, After the data set 304 is checked out to the checkout data save space 305, the data set for which the access request is newly generated from the checkout data save space 305 is checked into the data storage unit 303. FIG. This indicates that it is possible to assign a plurality of data sets to one data storage device as shown in claim 1.

図4は、データ格納装置401において、現在データ格納部403内にはデータ・セット404が存在している状況で、データ格納装置401にアサインされていて、チェックアウト・データ待避スペース405内に待避されているデータ・セットに新たにアクセス要求が発生し、リソース・マネジメント部402によってデータ・セット404をチェックアウト・データ待避スペース405にチェックアウトする必要がないと判断された場合を示しており、データ・セット404をチェックアウト・データ待避スペース405にチェックアウトすることなく、前記チェックアウト・データ待避スペース405から前記新たにアクセス要求が発生しているデータ・セットを、データ格納部403にデータ・セット406として、チェックインしようとしている図である。これは、請求項3に示されている、新たにチェックインしようとするデータ・セットが十分小さいか、データ格納部が十分大きい場合若しくはその両方である場合、チェックアウト・データ待避スペースの様な二次記憶装置の使用を抑制し、一個のデータ格納装置のデータ格納部に複数のデータ・セットをアサインし高速にアクセスすることが可能であることを示している。    FIG. 4 shows that the data storage device 401 has a data set 404 currently in the data storage unit 403 and is assigned to the data storage device 401 and saved in the checkout data saving space 405. This shows a case where a new access request is generated for the data set that has been stored and the resource management unit 402 determines that the data set 404 does not need to be checked out to the checkout data save space 405. Without checking out the data set 404 to the checkout data save space 405, the data set for which the access request is newly generated from the checkout data save space 405 is transferred to the data storage unit 403. Check in as set 406 Diagrams are the cornerstone. This is the case when the data set to be newly checked in is sufficiently small and / or when the data storage is sufficiently large, or both, as shown in claim 3. This shows that the use of a secondary storage device can be suppressed, and a plurality of data sets can be assigned to the data storage unit of one data storage device and accessed at high speed.

図5は、データ格納装置501において、リソース・マネジメント部502内に所属データ・セット・リスト503とデータ格納部未使用主記憶装置容量レジスタ504を配置して、データ格納部に現在存在するデータ・セットのデータ量の増減を常時監視し、データ格納部未使用主記憶装置容量を計算し、前記データ格納部未使用主記憶装置容量レジスタ504に格納し、新たにアクセス要求が発生したデータ・セットの現在のデータ量を所属データ・セット・リスト503から取出し、前記データ格納部未使用主記憶装置容量レジスタ504に格納された前記データ格納部未使用主記憶装置容量と比較し、未使用主記憶装置容量がチェックインしようとするデータ・セットよりも大きい場合には、請求項3で示されたように、チェックアウトをしないでチェックインすることが可能であることを図4よりも詳しく示している。    FIG. 5 shows that in the data storage device 501, the belonging data set list 503 and the data storage unit unused main storage capacity register 504 are arranged in the resource management unit 502, and the data A data set for which an access request is newly generated is generated by constantly monitoring increase / decrease in the data amount of the set, calculating an unused main storage capacity of the data storage unit, storing it in the unused main storage capacity register 504 of the data storage unit Is retrieved from the belonging data set list 503, and is compared with the data storage unit unused main storage capacity stored in the data storage unit unused main storage capacity register 504, and used main memory If the device capacity is larger than the data set to be checked in, the check Shows detail than FIG. 4 that it is possible to check in without the door.

図6は、ネットワーク621に配置された電子計算機601と電子計算機611がデータ格納装置602、612をそれぞれ持ち、前記データ格納装置602、612の内部にリソース・マネジメント部603、613をそれぞれ持ち、前記リソース・マネジメント部603、613の内部に識別記号とデータ・サイズの対応表604、614と割当てられた主記憶装置容量をそれぞれ持ち、電子計算機601と電子計算機611との間で情報交換することにより、請求項4に示されている、所属データ・セットのデータ・サイズとデータ格納部主記憶装置容量との関係を自動的に最適化して、所属データ・セットの配置換えを行い、データ格納部606,616に格納されているデータ・セットおよびチェックアウト・データ待避スペース607、617に格納されているデータ・セットをそれぞれ配置換えして最適化することが可能であることを示している。ここで前記情報交換を行うネットワーク上に配置された電子計算機は2台以上であってもよい。    FIG. 6 shows that an electronic computer 601 and an electronic computer 611 arranged in a network 621 have data storage devices 602 and 612, respectively, and resource management units 603 and 613 inside the data storage devices 602 and 612, respectively. The resource management units 603 and 613 have identification symbols and data size correspondence tables 604 and 614 and allocated main storage capacity, respectively, and exchange information between the electronic computer 601 and the electronic computer 611. And automatically optimizing the relationship between the data size of the belonging data set and the capacity of the data storage unit main storage device, and relocating the belonging data set. Data set and checkout data saving space stored in 606,616 It indicates that the data set stored in 07,617 can be optimized relocated respectively. Here, two or more computers may be arranged on the network for exchanging information.

図7は、前記データ・セット識別記号変換部701において、生産管理システムにおける部品構成表(以下BOM)の製品番号にあたるトップ・レベル(以下L0)の部品番号を入力値として、前記入力値が3の剰余系で前記識別記号に変換され、前記データ・セット識別記号ロケーション情報変換部702においてロケーション情報に変換され、それぞれのロケーション情報の指し示すネットワーク上に配置された電子計算機の前記データ格納装置のデータ格納部703、704、705に分割された部品構成表のデータ・セットが配置されていることを示している。    FIG. 7 shows that in the data set identification symbol conversion unit 701, a top level (hereinafter referred to as L0) part number corresponding to a product number in a parts configuration table (hereinafter referred to as BOM) in the production management system is used as an input value. Of the data storage device of the electronic computer arranged on the network indicated by each location information, converted into location information by the data set identification symbol location information conversion unit 702 It shows that the data set of the parts configuration table divided in the storage units 703, 704, and 705 is arranged.

図8は、図7に示された分割された部品構成表のデータ・セットから親部品番号3、16、18の親部品を製品として、BOMの正展開表801を示したものである。図7において、親部品番号3を与えられた製品は、前記データ・セット識別記号変換部701によって3の剰余系として識別番号0を得る。識別番号0は、前記データ・セット識別記号ロケーション情報変換部702によってロケーション情報192.168.1.10を得る。192.168.1.10のロケーション情報を与えられた電子計算機上のデータ格納装置内のデータ格納部703に格納されたデータ・セット内の部品構成表の一部から部品番号8、10、12を子部品としていることを得る。部品番号8を親番号とする部品が前記データ格納部703に格納されたデータ・セット内の部品構成表の一部内には無いため、部品番号8を前記データ・セット識別記号変換部701の入力値として与えることにより識別記号2を得る。識別記号2から前記データ・セット識別記号ロケーション情報変換部702によってロケーション情報192.168.1.30を得る。192.168.1.30のロケーション情報を与えられた電子計算機上のデータ格納装置内のデータ格納部705に格納されたデータ・セット内の部品構成表の一部から部品番号11、13、20を子部品としていることを得る。部品番号11を親番号とする部品構成表のデータはデータ格納部705に格納されたデータ・セット内に存在するため、そのまま検索し、子部品を持たない最末端部品であることを確認する。部品番号13を親番号とする部品はデータ格納部705に格納されたデータ・セット内に存在しないため、再度、部品番号13を前記データ・セット識別記号変換部701の入力値として与えることにより識別記号1を得る。識別記号1から前記データ・セット識別記号ロケーション情報変換部702によってロケーション情報192.168.1.20を得る。192.168.1.20のロケーション情報を与えられた電子計算機上のデータ格納装置内のデータ格納部704に格納されたデータ・セット内の部品構成表の一部から子部品を持たない最末端部品であることを確認する。部品番号20を親番号とする部品構成表のデータはデータ格納部705に格納されたデータ・セット内に存在するため、そのまま検索し、部品番号17を子部品としていることを得る。部品番号17を親番号とする部品構成表のデータはデータ格納部705に格納されたデータ・セット内に存在するため、そのまま検索し、子部品を持たない最末端部品であることを確認する。同様のプロセスを部品番号10、12を持つものについて行い、請求項5で示されているように、図8で示されたBOMの正展開表801の中のレベル0(以下L0)の値が3のもの、すなわち部品番号3をトップ・レベルにもつ製品のBOMの正展開表をえることが可能であることを示している。    FIG. 8 shows a BOM forward development table 801 using the parent parts of the parent part numbers 3, 16, and 18 as products from the data set of the divided parts configuration table shown in FIG. In FIG. 7, the product given the parent part number 3 obtains the identification number 0 as the remainder system of 3 by the data set identification symbol conversion unit 701. For the identification number 0, the data set identification symbol location information conversion unit 702 obtains location information 192.168.1.10. Part numbers 8, 10, 12 from a part of the parts configuration table in the data set stored in the data storage unit 703 in the data storage device on the electronic computer given the location information of 192.168.1.10. Get the child parts. Since the part having the part number 8 as the parent number is not included in a part of the part configuration table in the data set stored in the data storage unit 703, the part number 8 is input to the data set identification symbol conversion unit 701. The identification symbol 2 is obtained by giving it as a value. The location information 192.168.1.30 is obtained from the identification symbol 2 by the data set identification symbol location information conversion unit 702. Part numbers 11, 13, 20 from a part of the parts configuration table in the data set stored in the data storage unit 705 in the data storage device on the electronic computer given the location information of 192.168.1.30 Get the child parts. Since the data of the part configuration table having the part number 11 as the parent number exists in the data set stored in the data storage unit 705, the data is searched as it is to confirm that it is the terminal part having no child parts. Since the part having the part number 13 as the parent number does not exist in the data set stored in the data storage unit 705, the part number 13 is identified by giving the part number 13 again as the input value of the data set identification symbol conversion unit 701. The symbol 1 is obtained. The location information 192.168.1.20 is obtained from the identification symbol 1 by the data set identification symbol location information conversion unit 702. A terminal that has no child parts from a part of the parts configuration table in the data set stored in the data storage unit 704 in the data storage device on the electronic computer given the location information of 192.168.1.20 Confirm that it is a part. Since the data of the part configuration table having the part number 20 as the parent number exists in the data set stored in the data storage unit 705, the data is searched as it is and the part number 17 is obtained as the child part. Since the data of the part configuration table having the part number 17 as the parent number exists in the data set stored in the data storage unit 705, the data is searched as it is to confirm that it is the terminal part having no child parts. The same process is performed for parts having part numbers 10 and 12, and as shown in claim 5, the value of level 0 (hereinafter referred to as L0) in the BOM regular expansion table 801 shown in FIG. 3, that is, it is possible to obtain a BOM positive development table of a product having a part number 3 at the top level.

図7におけるデータ格納部703、704、705には、市販されている若しくはシェアウェア化されている若しくはフリーウェア化されている若しくは独自開発されたインメモリ・データベース・エンジンを代りに充ててもよい。    The data storage units 703, 704, and 705 in FIG. 7 may be replaced with commercially available, shareware, freeware, or originally developed in-memory database engines. .

EUの環境問題規制強化にからみ工業生産製品、農業生産物等の有害化学物質の不使用の証明や誤って使用された場合の消費者に対する使用禁止等のメッセージ通知や回収等のためのトレーサビリティの確保のために、大容量超高速データベースの実用化が求められている。    In order to strengthen EU environmental problem regulations, traceability for proof of non-use of hazardous chemical substances such as industrial products and agricultural products, and notification and collection of messages such as prohibition of use to consumers when used incorrectly. In order to secure it, there is a demand for practical use of a large-capacity ultra high-speed database.

本発明により、超高速データベース・エンジンであるインメモリ・データベースを搭載するPCサーバー複数台をネットワークで接続し、小規模データベースの連携によるグリッド・コンピューティングとして、スケーラビリティをもって、大容量化することを可能にし、来るEUの環境問題規制強化に対処しようとしている。    With the present invention, it is possible to connect multiple PC servers equipped with an in-memory database, which is an ultra-high-speed database engine, via a network, and to scale up and scale up as grid computing by linking small databases. In the meantime, the EU is trying to cope with tightening regulations on environmental issues in the EU.

全体構成図 本発明の請求項1に基づく全体構成図Overall configuration diagram Overall configuration diagram according to claim 1 of the present invention データ・セット識別記号ロケーション情報変換部の一例図 本発明の請求項1および請求項2に基づくデータ・セット識別記号ロケーション情報変換部の一例図Example of Data Set Identification Symbol Location Information Conversion Unit Example of Data Set Identification Symbol Location Information Conversion Unit Based on Claims 1 and 2 of the Present Invention データ・セットのチェックアウト、チェックイン概念図 本発明の請求項1に基づく、一個のデータ格納装置に複数のデータ・セットをアサインすることが可能であることを示している概念図Conceptual diagram of check-out and check-in of data set Conceptual diagram showing that a plurality of data sets can be assigned to one data storage device according to claim 1 of the present invention. データ・セットのチェックアウトを伴わないチェックイン概念図 本発明の請求項3に基づく、チェックアウトをしないでチェックインすることが可能であることを示している概念図Check-in conceptual diagram without data set check-out Conceptual diagram showing that it is possible to check-in without checking out, according to claim 3 of the present invention. データ・セットのチェックアウトを伴わないチェックイン詳細概念図 本発明の請求項3に基づく、チェックアウトをしないでチェックインすることが可能であることを詳しく示している詳細説明図Detailed conceptual diagram of check-in without check-out of data set Detailed explanatory diagram showing in detail that it is possible to check-in without check-out according to claim 3 of the present invention データ・セットの格納ロケーションの自動最適化機構の構成図 本発明の請求項4に基づく、所属データ・セットのデータ・サイズとデータ格納部主記憶装置容量との関係を自動的に最適化計算、配置換えによる最適化を示している構成図Configuration diagram of automatic optimization mechanism of storage location of data set Based on claim 4 of the present invention, automatically optimizes the relationship between the data size of the affiliated data set and the capacity of the data storage main storage device, Configuration diagram showing optimization by relocation 分割後複数データ・セットの横断統合セルフ・ジョイン機構説明図 分割された部品構成表の正展開を例とした横断統合セルフ・ジョイン機構の説明図Cross-sectional integration self-join mechanism explanatory diagram of multiple data sets after splitting BOMの正展開の一例図 図7に示された例示の情報を、本発明の請求項5に基づき、分割された部品構成表の正展開をシミュレートした結果表FIG. 7 is a table showing a result of simulating the normal development of the divided parts configuration table based on claim 5 of the present invention.

Claims (5)

ネットワーク上に配置された、
外部からのデータを入力するための一個以上のデータ入力装置と、
前記入力されたデータの格納先を特定する一個以上のデータ格納部特定装置と、
前記入力されたデータを主記憶装置上に格納する一個以上のデータ格納装置と、
前記格納されたデータを検索加工する一個以上のデータ検索加工装置と、
前記検索加工されたデータを外部へ出力するための一個以上のデータ出力装置と、
を備えるマルチインスタンス・インメモリ・データベース・システムであって、
前記データ格納部特定装置は、
前記入力されたデータの一部ないし全部の情報を、前記入力されたデータの格納先であるデータ・セットを特定するためのデータ・セット識別記号に、ハッシング等のアルゴリズムを特定のパラメータで用いて、変換する前記入力されたデータのデータ・セット識別記号変換部と、
前記識別記号に対応する前記データ・セットのロケーションを特定するデータ・セット・ロケーション情報と前記データ・セット識別記号とを対応付けする前記データ・セットのデータ・セット識別記号ロケーション情報変換部と、
を有し、
前記データ格納装置は、
前記データ格納部ロケーション情報によって特定された前記データ格納装置において、当該データ格納装置上の主記憶装置上に存在するデータ・セットに前記入力されたデータを格納するデータ格納部と、
現在、当該データ格納装置上の主記憶装置上に存在する前記データ・セットと同一の前記データ・セット・ロケーション情報を有し、現在前記データ格納装置に接続されている二次記憶装置上ないしネットワーク上の他の電子計算機上の主記憶装置上若しくは二次記憶装置上に待避させられている別のデータ・セットに挿入ないし抽出等のアクセス要求が発生した場合、現在、前記当該データ格納装置上の主記憶装置上に存在する前記データ・セットを、前記データ格納装置に接続されている二次記憶装置上ないしネットワーク上の他の電子計算機上の主記憶装置上若しくは二次記憶装置上に待避させ、現在前記データ格納装置に接続された二次記憶装置上ないしネットワーク上の他の電子計算機上の主記憶装置上若しくは二次記憶装置上に待避されている前記アクセス要求が発生しているデータ・セットを召還するリソース・マネジメント部と、
を有し、
前記データ検索加工装置は、
前記アルゴリズムと同一のアルゴリズムを同一のパラメータで用いて、検索対象となる前記データ・セットを特定しながら、一個以上の前記データ格納装置上の一個以上のデータ・セットを横断的に検索するデータ検索部と、
前記データ検索部によって特定され抽出されたデータを、前記アルゴリズムと同一のアルゴリズムを同一のパラメータで用いて、加工対象となる前記データ・セットを特定しながら、変更ないし削除、若しくは一個以上の前記データ・セットに跨るデータ群のジョインないしプロジェクションないしソートないしマージ等のデータ加工を横断的におこなうデータ加工部と、
前記データ検索部ないし前記データ加工部の処理に供される主記憶空間であるワークスペース部と、
前記データ格納部および前記データ検索部および前記データ加工部および前記ワークスペース部に供される主記憶空間のリソースが不足した際、ハードディスク装置等の二次記憶装置やネットワーク上の他の電子計算機上の主記憶装置や二次記憶装置のリソースを利用することによってリソース・マネジメントをおこなうリソース・マネジメント部と、
を有する、
マルチインスタンス・インメモリ・データベース・システム。
Placed on the network,
One or more data input devices for inputting external data;
One or more data storage unit specifying devices for specifying the storage destination of the input data;
One or more data storage devices for storing the input data on a main storage device;
One or more data search processing devices for searching and processing the stored data;
One or more data output devices for outputting the searched and processed data to the outside;
A multi-instance in-memory database system comprising:
The data storage unit specifying device includes:
Using part or all of the information of the input data as a data set identification symbol for specifying the data set where the input data is stored, using an algorithm such as hashing with specific parameters A data set identifier conversion unit for the input data to be converted;
A data set identification symbol location information conversion unit of the data set that associates data set location information specifying the location of the data set corresponding to the identification symbol and the data set identification symbol;
Have
The data storage device includes:
In the data storage device specified by the data storage unit location information, a data storage unit for storing the input data in a data set existing on a main storage device on the data storage device;
A secondary storage device or network that currently has the same data set location information as the data set present on the main storage device on the data storage device and is currently connected to the data storage device When an access request such as insertion or extraction occurs in another data set saved on the main storage device or the secondary storage device on the other electronic computer above, the current data storage device The data set residing on the main storage device is saved on a secondary storage device connected to the data storage device, on a main storage device on another electronic computer on the network, or on a secondary storage device. On a secondary storage device currently connected to the data storage device or on a main storage device or a secondary storage device on another electronic computer on the network And resource management portion in which the access request has been avoided to summon a data set is generated,
Have
The data search processing device includes:
Data search in which one or more data sets on one or more data storage devices are traversed while specifying the data set to be searched using the same algorithm with the same parameters as the algorithm And
The data specified and extracted by the data search unit is changed or deleted while specifying the data set to be processed using the same algorithm as the algorithm with the same parameters, or one or more of the data A data processing unit that performs data processing across data sets such as joins, projections, sorts, and merges of data groups across sets;
A work space part which is a main storage space provided for the processing of the data search part or the data processing part;
When resources of the main storage space provided to the data storage unit, the data search unit, the data processing unit, and the work space unit are insufficient, a secondary storage device such as a hard disk device or another electronic computer on the network A resource management unit that performs resource management by using resources of main storage devices and secondary storage devices of
Having
Multi-instance in-memory database system.
前記データ格納部特定装置は、前記データ・セットのデータ・セット識別記号ロケーション情報変換部のロケーション情報を変更する機能を有し、前記データ格納装置の主記憶装置容量と格納データ・セットの大きさの関係を最適化して再配置することが可能な請求項1に記載のマルチインスタンス・インメモリ・データベース・システム。The data storage unit specifying device has a function of changing the location information of the data set identification symbol location information conversion unit of the data set, the main storage capacity of the data storage device and the size of the stored data set The multi-instance in-memory database system according to claim 1, wherein the relation can be optimized and rearranged. 前記データ格納装置は、前記現在当該データ格納装置上の主記憶装置上に格納されている前記データ・セットと同一のロケーション情報を持つ別のデータ・セットを新たに作成しようとしている時、若しくは現在前記データ格納装置に接続された二次記憶装置上ないしネットワーク上の他の電子計算機上の主記憶装置上若しくは二次記憶装置上に待避されているデータ・セットにアクセス要求が発生している時、当該データ格納装置上の主記憶装置上に現在格納されている前記データ・セットを、現在前記データ格納装置に接続されている二次記憶装置上ないしネットワーク上の他の電子計算機上の主記憶装置上若しくは二次記憶装置上に待避させることなく作成若しくは召還するのに十分な主記憶装置容量が当該データ格納装置に存在する場合、当該データ格納装置上の主記憶装置上に現在格納されている前記データ・セットを待避させることなく、一個以上のデータ・セットを当該データ格納装置上の主記憶装置上に格納することが可能な請求項1に記載のマルチインスタンス・インメモリ・データベース・システム。The data storage device is attempting to newly create another data set having the same location information as the data set currently stored on the main storage device on the data storage device, or When an access request is made to a data set saved on a secondary storage device connected to the data storage device, on a main storage device on another electronic computer on the network, or on a secondary storage device The data set currently stored on the main storage device on the data storage device is stored on the secondary storage device currently connected to the data storage device or on the other electronic computer on the network. There is enough main storage capacity in the data storage device to create or recall without saving on the device or secondary storage device In this case, one or more data sets can be stored on the main storage device on the data storage device without saving the data set currently stored on the main storage device on the data storage device. The multi-instance in-memory database system of claim 1, which is possible. ネットワーク上に配置された、一個以上のデータ格納装置上の各主記憶装置容量と前記各データ・セットの大きさを監視し、待避すなわちチェックアウト、召還すなわちチェックインの回数が極小となるように自動的にロケーション情報の再配置をおこなうことを特徴とする請求項1または請求項2または請求項3に記載のマルチインスタンス・インメモリ・データベース・システム。Monitor the capacity of each main storage device and the size of each data set on one or more data storage devices placed on the network so that the number of evacuation or checkout, summoning or checkin is minimized. 4. The multi-instance in-memory database system according to claim 1, wherein the location information is automatically rearranged. 前記データ・セットが、他のデータ・セット若しくは自分自身のデータ・セットの他のタプルから参照されている時、参照しているタプルのアトリビュート・データを参照されているデータ・セットの前記データ・セット識別記号変換部への入力データとすることにより、ジョインの結果を新たなデータ・セットとして作成することが可能であることを特徴とする請求項1または請求項2または請求項3または請求項4に記載のマルチインスタンス・インメモリ・データベース・システム。When the data set is referenced from another data set or another tuple of its own data set, the data set of the data set referenced by the attribute data of the referring tuple 4. The join result can be created as a new data set by using the input data to the set identification symbol conversion unit. 5. The multi-instance in-memory database system according to 4.
JP2004308853A 2004-09-27 2004-09-27 Multi-instance in-memory database Active JP4313845B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004308853A JP4313845B2 (en) 2004-09-27 2004-09-27 Multi-instance in-memory database

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004308853A JP4313845B2 (en) 2004-09-27 2004-09-27 Multi-instance in-memory database

Publications (3)

Publication Number Publication Date
JP2006092503A true JP2006092503A (en) 2006-04-06
JP2006092503A5 JP2006092503A5 (en) 2008-12-04
JP4313845B2 JP4313845B2 (en) 2009-08-12

Family

ID=36233384

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004308853A Active JP4313845B2 (en) 2004-09-27 2004-09-27 Multi-instance in-memory database

Country Status (1)

Country Link
JP (1) JP4313845B2 (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010134437A1 (en) * 2009-05-18 2010-11-25 Nishiyama Shuhei Meta-information sharing distributed database system in virtual single memory storage
WO2010150750A1 (en) * 2009-06-25 2010-12-29 Nishiyama Shuhei Database management device using key-value store with attributes, and key-value-store structure caching-device therefor
JP2011186532A (en) * 2010-03-04 2011-09-22 Nec Corp Information processing system and data management method thereof
JP2012053796A (en) * 2010-09-03 2012-03-15 Nec Corp Information processing system
JP2012053795A (en) * 2010-09-03 2012-03-15 Nec Corp Information processing system
US8468171B2 (en) 2009-07-02 2013-06-18 Shuhei Nishiyama Attributed key-value-store database system
CN106095528A (en) * 2016-06-07 2016-11-09 国云科技股份有限公司 A kind of method detecting virtual machine drive
JP2016539415A (en) * 2013-11-11 2016-12-15 中▲興▼通▲信▼股▲フン▼有限公司 Big data processing method and apparatus using table
JPWO2015118662A1 (en) * 2014-02-07 2017-03-23 株式会社東芝 Information processing apparatus and method

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010134437A1 (en) * 2009-05-18 2010-11-25 Nishiyama Shuhei Meta-information sharing distributed database system in virtual single memory storage
US8140498B2 (en) 2009-05-18 2012-03-20 Shuhei Nishiyama Distributed database system by sharing or replicating the meta information on memory caches
WO2010150750A1 (en) * 2009-06-25 2010-12-29 Nishiyama Shuhei Database management device using key-value store with attributes, and key-value-store structure caching-device therefor
CN102597969A (en) * 2009-06-25 2012-07-18 西山修平 Database management device using key-value store with attributes, and key-value-store structure caching-device therefor
US8468171B2 (en) 2009-07-02 2013-06-18 Shuhei Nishiyama Attributed key-value-store database system
JP2011186532A (en) * 2010-03-04 2011-09-22 Nec Corp Information processing system and data management method thereof
JP2012053796A (en) * 2010-09-03 2012-03-15 Nec Corp Information processing system
JP2012053795A (en) * 2010-09-03 2012-03-15 Nec Corp Information processing system
JP2016539415A (en) * 2013-11-11 2016-12-15 中▲興▼通▲信▼股▲フン▼有限公司 Big data processing method and apparatus using table
JPWO2015118662A1 (en) * 2014-02-07 2017-03-23 株式会社東芝 Information processing apparatus and method
US10303680B2 (en) 2014-02-07 2019-05-28 Kabushiki Kaisha Toshiba Data processing apparatus and data processing method
CN106095528A (en) * 2016-06-07 2016-11-09 国云科技股份有限公司 A kind of method detecting virtual machine drive

Also Published As

Publication number Publication date
JP4313845B2 (en) 2009-08-12

Similar Documents

Publication Publication Date Title
US8271462B2 (en) Method for creating a index of the data blocks
US20170083573A1 (en) Multi-query optimization
US20110173164A1 (en) Storing tables in a database system
CN106874348B (en) File storage and index method and device and file reading method
TW201530328A (en) Method and device for constructing NoSQL database index for semi-structured data
US20130013597A1 (en) Processing Repetitive Data
US20070124277A1 (en) Index and Method for Extending and Querying Index
US8195642B2 (en) Partial indexes for multi-node database
CN103425734A (en) Database, apparatus, and method for storing encoded triples
CN107368527B (en) Multi-attribute index method based on data stream
CN102362273A (en) Dynamic hash table for efficient data access in relational database system
Barmpis et al. Comparative analysis of data persistence technologies for large-scale models
JP2006114045A (en) Mapping of schema data into data structure
WO2018036549A1 (en) Distributed database query method and device, and management system
CN110888837B (en) Object storage small file merging method and device
WO2017028394A1 (en) Example-based distributed data recovery method and apparatus
CN106570113B (en) Mass vector slice data cloud storage method and system
US10685031B2 (en) Dynamic hash partitioning for large-scale database management systems
CN105117433A (en) Method and system for statistically querying HBase based on analysis performed by Hive on HFile
CN103810219A (en) Line storage database-based data processing method and device
CN102622434A (en) Data storage method, data searching method and device
CN102779138A (en) Hard disk access method of real time data
JP4313845B2 (en) Multi-instance in-memory database
CN110134335A (en) A kind of RDF data management method, device and storage medium based on key-value pair
CN102999637A (en) Method and system for automatically adding file tab to file according to file feature code

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070822

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20080813

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20080904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080813

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090428

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090516

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120522

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4313845

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120522

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313114

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120522

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120522

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120522

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120522

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120522

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120522

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120522

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130522

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130522

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

Free format text: JAPANESE INTERMEDIATE CODE: R313117

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130522

Year of fee payment: 4

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130522

Year of fee payment: 4

S803 Written request for registration of cancellation of provisional registration

Free format text: JAPANESE INTERMEDIATE CODE: R313803

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130522

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130522

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250