JP2021119437A - Data management system, data managing device, spontaneous movement condition determination device, spontaneous movement destination selection device, archive instruction device, and data management method, and program - Google Patents

Data management system, data managing device, spontaneous movement condition determination device, spontaneous movement destination selection device, archive instruction device, and data management method, and program Download PDF

Info

Publication number
JP2021119437A
JP2021119437A JP2020013204A JP2020013204A JP2021119437A JP 2021119437 A JP2021119437 A JP 2021119437A JP 2020013204 A JP2020013204 A JP 2020013204A JP 2020013204 A JP2020013204 A JP 2020013204A JP 2021119437 A JP2021119437 A JP 2021119437A
Authority
JP
Japan
Prior art keywords
data
node
spontaneous movement
data management
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020013204A
Other languages
Japanese (ja)
Other versions
JP7376894B2 (en
Inventor
博史 野口
Hiroshi Noguchi
博史 野口
操 片岡
Misao Kataoka
操 片岡
卓万 磯田
Takuma Isoda
卓万 磯田
勉 村瀬
Tsutomu Murase
勉 村瀬
智稀 伊藤
Tomoki Ito
智稀 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Tokai National Higher Education and Research System NUC
Original Assignee
Nippon Telegraph and Telephone Corp
Tokai National Higher Education and Research System NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, Tokai National Higher Education and Research System NUC filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2020013204A priority Critical patent/JP7376894B2/en
Publication of JP2021119437A publication Critical patent/JP2021119437A/en
Application granted granted Critical
Publication of JP7376894B2 publication Critical patent/JP7376894B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

To store data without deletion even if a storage capacity of a storage device is in shortage.SOLUTION: A data managing device 1 (1A) of a data management system 1000 (1000A) has a hot storage and a cold storage. The data managing device 1 moves spontaneous movement object data determined to satisfy a predetermined spontaneous movement condition regarding access of data by a spontaneous movement condition determination device 21 to a spontaneous movement destination node that is in a position in which communication costs of a user terminal are reduced and selected by a spontaneous movement destination selection device 22. The data managing device 1 receives instruction information for moving data having the minimum availability evaluation value from the hot storage to the cold storage from an archive instruction device 23 and executes it.SELECTED DRAWING: Figure 8

Description

本発明は、分散ストレージにおいてデータ配置制御を行う、データ管理システム、データ管理装置、自発移動条件判定装置、自発移動先選択装置、アーカイブ指示装置、および、データ管理方法、並びに、プログラムに関する。 The present invention relates to a data management system, a data management device, a spontaneous movement condition determination device, a spontaneous movement destination selection device, an archive instruction device, a data management method, and a program that control data arrangement in distributed storage.

従来、データにアクセスする端末またはアプリケーション(以下「ユーザ端末」という。)にとって便利な場所にあるデータ保存場所(ストレージ)にデータを配備する技術として、キャッシュ制御技術が知られている。データ保存場所として選択される場所(便利な場所)の特徴として、例えば遅延の有無などで定義されるQoS(Quality of Service)が良好な場所、物理的に近いなどデータ転送エネルギーが小さい場所などが挙げられる。 Conventionally, a cache control technology is known as a technology for deploying data to a data storage location (storage) in a location convenient for a terminal or application (hereinafter referred to as "user terminal") that accesses data. The characteristics of the location (convenient location) selected as the data storage location include, for example, a location with good Quality of Service (QoS) defined by the presence or absence of delay, and a location with low data transfer energy such as being physically close. Can be mentioned.

キャッシュ制御技術では、ユーザ端末のローカリティ(同じ場所からのアクセスが多い)という特性を想定して、ユーザ端末が利用したデータを一時的にそのユーザ端末の近くに保存する機能を提供する。この一時保存データはキャッシュデータと呼ばれ、オリジナルデータの一時的なコピーである。一方で、ストレージの容量は有限であり、不要と思われるキャッシュデータは消去される。不要と判断するアルゴリズムとして、置き換えアルゴリズムと呼ばれるLRU(Least Recent Used)およびTLRU(Time aware Least Recent Used)が知られている(非特許文献1,2参照)。 The cache control technology provides a function of temporarily storing data used by a user terminal near the user terminal, assuming the characteristic of the locality of the user terminal (mostly accessed from the same location). This temporarily stored data is called cached data and is a temporary copy of the original data. On the other hand, the storage capacity is finite, and cache data that seems unnecessary is deleted. LRU (Least Recent Used) and TLRU (Time aware Least Recent Used), which are called replacement algorithms, are known as algorithms to be determined to be unnecessary (see Non-Patent Documents 1 and 2).

LRUは、最近アクセスされたデータから順に並べたデータ列の最後部が削除対象となるアルゴリズムである。また、TLRUは、TTL(Time To Live)およびTTU(Time To Use)を考慮したLRUである。TTLは、データがキャッシュに存在できる時間の限界を示し、いわばデータの賞味期限である。キャッシュデータが生成されてから時間が経過するとオリジナルデータが変化する可能性があるため、TTLを設定することによりデータの正当性を保証する。また、TTUは、データが生成されたときから生存できる時間の限界を示し、いわばデータの消費期限である。 LRU is an algorithm in which the last part of a data string arranged in order from recently accessed data is deleted. Further, the TLRU is an LRU in consideration of TTL (Time To Live) and TTU (Time To Use). The TTL indicates the limit of time that the data can exist in the cache, so to speak, the expiration date of the data. Since the original data may change over time after the cache data is generated, the correctness of the data is guaranteed by setting the TTL. In addition, TTU indicates the limit of the time that the data can survive from the time when the data is generated, so to speak, the expiration date of the data.

Kai Cheng他、“LRU-SP: A Size-Adjusted and Popularity-Aware LRU Replacement Algorithm for Web Caching”、 Proceedings 24th Annual International Computer Software and Applications Conference. COMPSAC2000、IEEE、2000年10月Kai Cheng et al., “LRU-SP: A Size-Adjusted and Popularity-Aware LRU Replacement Algorithm for Web Caching”, Proceedings 24th Annual International Computer Software and Applications Conference. COMPSAC2000, IEEE, October 2000 Giovanni Neglia他、“Access-time aware cache algorithms”、 2016 28th International Teletraffic Congress (ITC 28)、IEEE、2016年9月Giovanni Neglia et al., “Access-time aware cache algorithms”, 2016 28th International Teletraffic Congress (ITC 28), IEEE, September 2016

上記のような従来技術では、例えば、ストレージデバイスにおいて入力された順にデータが記憶され、記憶容量が一杯になると、データ列のうち先頭にあるデータ(古いデータ)が削除され、新たに入力されたデータがデータ列の最後尾に記憶される。また、ストレージデバイス内のデータに対しアクセスがあった場合には、そのデータは最後尾に移動される。つまり、新しいデータや最後にアクセスがあった時刻が最近のデータを重要なデータとして取り扱っている。しかしながら、これらの指標は、データの重要性を測る指標として十分とは言えない。
また、上記した従来技術では、ストレージデバイスが一杯の場合、ストレージデバイスからデータを削除することしかできず、例えば古くなっても削除されては困るデータがある場合などに不都合が生じる。
In the above-mentioned conventional technique, for example, data is stored in the order of input in the storage device, and when the storage capacity is full, the data (old data) at the beginning of the data string is deleted and newly input. The data is stored at the end of the data string. When the data in the storage device is accessed, the data is moved to the end. In other words, new data and data with the latest access time are treated as important data. However, these indicators are not sufficient as indicators for measuring the importance of data.
Further, in the above-mentioned conventional technique, when the storage device is full, only data can be deleted from the storage device, and inconvenience occurs, for example, when there is data that should not be deleted even if it becomes old.

本発明は、このような事情に鑑みなされたものであり、ストレージデバイスの記憶容量が不足する場合であっても、データを削除せずに記憶しておくことを課題とする。 The present invention has been made in view of such circumstances, and an object of the present invention is to store data without deleting it even when the storage capacity of the storage device is insufficient.

本発明に係るデータ管理システムは、ストレージデバイスとして機能するノードが複数で構成されるストレージネットワークにおける、前記ノードであるデータ管理装置を含むデータ管理システムであって、前記データ管理システムは、データを記憶するためのホットストレージおよびコールドストレージを有する前記データ管理装置、並びに、当該データ管理装置を自ノードとし接続される、自発移動条件判定装置、自発移動先選択装置およびアーカイブ指示装置を備えており、前記自発移動条件判定装置は、前記ホットストレージに記憶されたデータが、当該データへのアクセスに関する所定の自発移動条件を満たす場合に、当該データを自発移動対象データと判定し、前記自発移動先選択装置は、前記データにアクセスする際のユーザ端末の通信コストが削減される位置にある、自ノード以外の他ノードを、前記自発移動対象データを保持するノードからの移動先となるノードを示す自発移動先ノードとして選択し、前記アーカイブ指示装置は、自ノードのホットストレージに記憶されたデータのうち、将来のアクセス数の予測が大きいほど高い値を示す有用性評価値が最小のデータを、自ノードのコールドストレージに移動させる指示情報を、前記データ管理装置に送信し、前記データ管理装置は、前記自発移動対象データを前記自発移動先ノードに移動し、前記指示情報を受け取ると、自ノードのホットストレージに記憶された前記有用性評価値が最小のデータ、自ノードのコールドストレージに移動させることを特徴とする。 The data management system according to the present invention is a data management system including a data management device which is the node in a storage network composed of a plurality of nodes functioning as storage devices, and the data management system stores data. It is provided with the data management device having hot storage and cold storage for the data, a spontaneous movement condition determination device, a spontaneous movement destination selection device, and an archive instruction device connected by using the data management device as its own node. The spontaneous movement condition determination device determines that the data is the spontaneous movement target data when the data stored in the hot storage satisfies a predetermined spontaneous movement condition regarding access to the data, and the spontaneous movement destination selection device. Indicates a node to move to a node other than the own node, which is located at a position where the communication cost of the user terminal when accessing the data is reduced, from the node holding the data to be spontaneously moved. The archive instruction device selects the data stored in the hot storage of the own node as the destination node, and the own node selects the data having the smallest usefulness evaluation value, which indicates a higher value as the prediction of the number of future accesses is larger. The instruction information to be moved to the cold storage is transmitted to the data management device, and the data management device moves the spontaneous movement target data to the spontaneous movement destination node, and when the instruction information is received, the hot of the own node is received. It is characterized in that the data having the minimum usefulness evaluation value stored in the storage is moved to the cold storage of the own node.

本発明によれば、ストレージデバイスの記憶容量が不足する場合であっても、データを削除せずに記憶しておくことができる。 According to the present invention, even when the storage capacity of the storage device is insufficient, the data can be stored without being deleted.

本実施形態に係るストレージネットワークの構成(ツリー構造)を示す図である。It is a figure which shows the structure (tree structure) of the storage network which concerns on this embodiment. 本実施形態に係るストレージネットワークの構成(線形接続)での自発移動の概要を説明するための図である。It is a figure for demonstrating the outline of spontaneous movement in the configuration (linear connection) of the storage network which concerns on this embodiment. 本実施形態に係るデータ管理システムを含むストレージネットワークの全体構成を示す図である。It is a figure which shows the whole structure of the storage network including the data management system which concerns on this embodiment. 本実施形態に係る自発移動処理部の機能と、自発移動に関する各装置が備える機能の詳細を説明するための図である。It is a figure for demonstrating the details of the function of the spontaneous movement processing unit which concerns on this Embodiment, and the function provided by each apparatus concerning spontaneous movement. 本実施形態におけるアクセス偏在性を説明するための図である。It is a figure for demonstrating the uneven distribution of access in this embodiment. 本実施形態に係る強制移動処理部の機能と、強制移動に関する各装置が備える機能の詳細を説明するための図である。It is a figure for demonstrating the details of the function of the forced displacement processing unit which concerns on this embodiment, and the function provided by each apparatus concerning forced displacement. 本実施形態における強制移動の処理を説明するための図である。It is a figure for demonstrating the process of forced movement in this embodiment. 本実施形態に係るデータ管理システムの変形例の全体構成を示す図である。It is a figure which shows the whole structure of the modification of the data management system which concerns on this embodiment. 本実施形態に係るデータ管理システムの変形例の全体構成を示す図である。It is a figure which shows the whole structure of the modification of the data management system which concerns on this embodiment. 本実施形態に係るデータ管理システムの自発移動によるデータ配置制御の流れを示すフローチャートである。It is a flowchart which shows the flow of the data arrangement control by the spontaneous movement of the data management system which concerns on this embodiment. 本実施形態に係るデータ管理システムの最適ノード選択処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the optimum node selection process of the data management system which concerns on this embodiment. 本実施形態に係るデータ管理システムの強制移動によるデータ配置制御の流れを示すフローチャートである。It is a flowchart which shows the flow of the data arrangement control by the forced movement of the data management system which concerns on this embodiment. 本実施形態に係るデータ管理システムのデータ生成間隔調整の流れを示すフローチャートである。It is a flowchart which shows the flow of the data generation interval adjustment of the data management system which concerns on this embodiment. 本実施形態に係るデータ管理装置および各装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。It is a hardware block diagram which shows an example of the data management apparatus which concerns on this Embodiment, and the computer which realizes the function of each apparatus. 本実施形態に係るデータ管理システムの変形例であるデータ管理装置の構成例を示す図である。It is a figure which shows the configuration example of the data management apparatus which is the modification of the data management system which concerns on this embodiment.

次に、本発明を実施するための形態(以下、「本実施形態」と称する。)について説明する。まず、本発明の概要を説明する。 Next, a mode for carrying out the present invention (hereinafter, referred to as "the present embodiment") will be described. First, an outline of the present invention will be described.

<概要>
今日、IoT(Internet of Things)が急速に拡大を続けており、多種多様かつ膨大な数のデバイスがネットワークに接続されつつある。そして、これらのデバイスが生成する膨大なデータの活用が期待されている。例えば、街頭や店舗には既に多くの監視カメラが設置されており、日々の映像を記録している。また、工場等の稼働データを、センサデバイス等を利用して収集している。これらの大量のデータは、ビックデータとして様々なサービスやデータ解析に利用される。
<Overview>
Today, the Internet of Things (IoT) continues to expand rapidly, and a wide variety of devices are being connected to networks. And it is expected that the huge amount of data generated by these devices will be utilized. For example, many surveillance cameras are already installed on the streets and stores to record daily images. In addition, operation data of factories and the like are collected using sensor devices and the like. These large amounts of data are used as big data for various services and data analysis.

この大量のデータ、特にリアルタイムなデータ(ライブデータ)の管理手法について、(1)データセンタでの管理、(2)ストレージネットワーク、つまり、ネットワーク内の分散ストレージによる管理、(3)データを生成(収集)するデバイス(Publisher)自身での管理、の3つの手法が考えられる。この中で(1)データセンタでの管理では、集約地点付近にトラヒックが集中し、ネットワークの輻輳を招くおそれがある。(3)デバイス自身での管理では、通常IoT機器でのデータ記憶容量が小さいため、ライブデータ以外の静的なデータ(デバイスに予め記憶させておくレガシーデータ)の管理は可能であっても、大量のライブデータを記憶することは難しい。これに対し、(2)ストレージネットワークでは、データの取得要求をするユーザ端末(Subscriber)に近い適度な地点にあるストレージ(分散ストレージとしての各ノード)等にデータを保持させることにより、効率的なデータ管理が実現できる。 Regarding the management method of this large amount of data, especially real-time data (live data), (1) management in the data center, (2) management by the storage network, that is, distributed storage in the network, (3) data generation (3) There are three possible methods: management by the device (Publisher) that collects the data. Among these, (1) in data center management, traffic may be concentrated near the aggregation point, causing network congestion. (3) In the management by the device itself, since the data storage capacity of the IoT device is usually small, even if it is possible to manage static data other than live data (legacy data stored in the device in advance), It is difficult to store a large amount of live data. On the other hand, (2) in a storage network, it is efficient to hold data in storage (each node as distributed storage) at an appropriate point near the user terminal (Subscriber) requesting data acquisition. Data management can be realized.

また、従来のライブデータの記憶手段であるストレージ(例えば、HDD(Hard Disk Drive)等)であるホットストレージでは容量やコストにより対応が困難な場合において、コールドストレージとホットストレージとを併用した利用が考えられる。ここで、「ホットストレージ」は、従来のHDDやSSD(Solid State Drive)等のリアルタイムな要求を満足できる常時稼働の記憶媒体である。このホットストレージは、応答速度が例えば10-8〜100(s)と速いが、容量が有限であり、コールドストレージと比べ高コストである。また、「コールドストレージ」は、例えば、DVD(Digital Versatile Disc:登録商標)やCD、BD(Blu-ray Disc:登録商標)等のリアルタイムな要求を満足できない記憶媒体である。このコールドストレージは、応答速度が例えば100〜104(s)と遅いが、容量は超大容量(記憶媒体を増やせば無限と仮定できる。)であり、ホットストレージと比べ低コストである。なお、このコールドストレージに記憶されたデータへのリクエストに対する応答は、例えば、ロボットアームが物理的に動き、棚に格納されたDVD等を取得して、データ読み取り/書き込みモジュール等にセットすることにより行われてもよいし、手動により、データ読み取り/書き込みモジュール等に、DVD等をセットことにより行われてもよい。 In addition, when hot storage, which is a conventional storage method for live data (for example, HDD (Hard Disk Drive)), is difficult to handle due to capacity and cost, cold storage and hot storage can be used together. Conceivable. Here, the "hot storage" is a constantly operating storage medium such as a conventional HDD or SSD (Solid State Drive) that can satisfy real-time requirements. The hot storage is faster response speed for example, 10 -8 ~10 0 (s), the capacity is limited, it is costly compared to cold storage. Further, the "cold storage" is a storage medium such as a DVD (Digital Versatile Disc: registered trademark), a CD, a BD (Blu-ray Disc: registered trademark), or the like that cannot satisfy real-time requirements. The cold storage is slow response speed, for example 10 0 to 10 4 (s), the capacitance is very large capacity (can be assumed infinite Increasing the storage medium.), A low-cost compared to hot storage. The response to the request for the data stored in the cold storage is, for example, by physically moving the robot arm, acquiring a DVD or the like stored on the shelf, and setting it in the data reading / writing module or the like. It may be performed by manually setting a DVD or the like in a data reading / writing module or the like.

このホットストレージとコールドストレージとを、ストレージネットワークの各ノードに備えさせることにより、アクセス時間が大きくても削除したくないデータについては、ホットストレージからコールドストレージに移動させて保存しておく。これにより、リアルタイムな要求に対応する必要がある有用性の高いデータについては、ホットストレージに記憶しておき、有用性の低いデータについては、コールドストレージに記憶しておくことによりデータを削除せずに記憶し続け、ユーザの利便性を高めることができる。 By equipping each node of the storage network with this hot storage and cold storage, data that is not desired to be deleted even if the access time is long is moved from the hot storage to the cold storage and saved. As a result, highly useful data that needs to respond to real-time requests is stored in hot storage, and less useful data is stored in cold storage without deleting the data. It is possible to keep the memory in the user and improve the convenience of the user.

このストレージネットワークは、例えば、図1に示すように、ストレージネットワークの各ノードがツリー構造として接続される。また、後記する図2等のように、各ノードがリンクで線形接続されてもよい。ノード(ストレージノード)間を接続するリンクが、複数のスイッチと複数の伝送路、あるいは、小規模なネットワーク(アンダーレイネットワークと呼ばれる)で構成されていてもよい。
そして、ホットストレージとコールドストレージとを備えた各ノードが接続されたストレージネットワークにおいて、適切なノードを選択してデータを配置するようにする。ここで、適切なノードとは、例えば、遅延の程度等で表されるQoS(Quality of Service)が良好な場所(遅延が少ない場所)や、データの取得要求を行うユーザ端末と物理的に近いなどのデータ転送エネルギーが小さい場所のノードのことをいう。
In this storage network, for example, as shown in FIG. 1, each node of the storage network is connected as a tree structure. Further, as shown in FIG. 2 and the like described later, each node may be linearly connected by a link. The link connecting the nodes (storage nodes) may be composed of a plurality of switches and a plurality of transmission lines, or a small network (called an underlay network).
Then, in the storage network to which each node having hot storage and cold storage is connected, an appropriate node is selected and data is arranged. Here, an appropriate node is, for example, a place where QoS (Quality of Service) expressed by the degree of delay is good (a place where there is little delay) or a user terminal which makes a data acquisition request is physically close. It refers to a node in a place where the data transfer energy is small.

このストレージネットワークによる従来のデータ配置制御では、ホットストレージの容量が溢れたときに、次に示す制御を実行することが想定される。
(制御1)有用性が低いデータを、ノード内のホットストレージからコールドストレージに移動する(以下、「アーカイブ」と称する。)。
(制御2)有用性の高いデータを、他ノードの適切なホットストレージに移動する。
In the conventional data allocation control by this storage network, it is assumed that the following control is executed when the capacity of the hot storage overflows.
(Control 1) Move less useful data from hot storage in a node to cold storage (hereinafter referred to as "archive").
(Control 2) Move highly useful data to an appropriate hot storage of another node.

本実施形態に係るデータ管理システム1000(後記する図3参照)においては、上記の(制御1)および(制御2)で想定される処理に更なる改良を加えた、「自発移動」、「強制移動」、「リアルタイム要求に応じたデータ生成間隔調整」によるデータ配置制御を行う。 In the data management system 1000 (see FIG. 3 described later) according to the present embodiment, "spontaneous movement" and "forced movement" are performed by further improving the processing assumed in (control 1) and (control 2) above. Data placement control is performed by "movement" and "adjustment of data generation interval according to real-time request".

〔自発移動〕
まず、自発移動について説明する。
本実施形態における自発移動とは、あるデータに関して、現状のデータ保持ノードより、データを取得要求するユーザ端末(Subscriber)にとって、より最適な場所にノードが存在するとき、通信コストの低減等のために、当該データを自発的に当該ノード(後記する「最適ノード」)に移動させる処理をいう。
上記の(制御2)の他ノードへの移動は、ホットストレージの容量が溢れたときに、保持するノードを変更して性能改善が可能なデータを移動させる処理である。この(制御2)は、容量溢れが生じたタイミングが契機となるが、本実施形態に係るデータ管理システム1000(図3)の自発移動では、より早期に性能改善を図るために、容量溢れが生じたタイミングに限らず、対象となるデータが、所定の条件(後記する「自発移動条件」)を満たした場合に、最適ノードを選択して移動させる。
[Spontaneous movement]
First, spontaneous movement will be described.
Spontaneous movement in this embodiment means to reduce communication costs when a node exists in a more optimal location for a user terminal (Subscriber) requesting data acquisition than the current data holding node for a certain data. In addition, it refers to a process of voluntarily moving the data to the node (“optimal node” described later).
The above-mentioned (control 2) movement to another node is a process of moving data whose performance can be improved by changing the node to be held when the capacity of the hot storage overflows. This (control 2) is triggered by the timing when the capacity overflow occurs, but in the spontaneous movement of the data management system 1000 (FIG. 3) according to the present embodiment, the capacity overflow occurs in order to improve the performance earlier. Not limited to the timing of occurrence, when the target data satisfies a predetermined condition (“spontaneous movement condition” described later), the optimum node is selected and moved.

あるデータが、自発移動の対象データとなるか否かの判定は、「有用性評価値」と「アクセス偏在性」に基づき決定する。
有用性評価値は、そのデータについて、現時点までのアクセス数に基づき予測される将来のアクセス数が、大きいものほど高い値となる評価値である。有用性評価値が高いほど、そのデータが将来、ユーザ端末からアクセスされる可能性が高い、つまり、そのデータが有用性の高いデータであることを示す。
また、アクセス偏在性は、ノードが保持するデータに対するアクセス元の隣接ノードからのアクセス数の偏りを示す。つまり、あるデータについて、隣接する複数のノードのうち、1つのノードのアクセス偏在性が高いほど、単一方向からそのデータがアクセスされていることを示し、現状ノード(現時点でそのデータを保持するノード)が需要地点ノードである確率が低いことを示している。なお、需要地点ノードとは、自身が収容するユーザ端末(Subscriber)からデータの取得要求を受け付けるノードである。仮に、需要地点ノードに目的とするデータが保持されていれば、他のノードにデータを要求して取得する場合に比べ、データ転送エネルギーが少なく済むとともに、遅延等が減りQoSが良好となる。
Whether or not a certain data is the target data for spontaneous movement is determined based on the "usefulness evaluation value" and the "access uneven distribution".
The usefulness evaluation value is an evaluation value in which the larger the number of future accesses predicted based on the number of accesses up to the present time, the higher the value of the data. The higher the usefulness evaluation value, the higher the possibility that the data will be accessed from the user terminal in the future, that is, the data is highly useful data.
In addition, the uneven distribution of access indicates the uneven distribution of the number of accesses from the adjacent node of the access source to the data held by the node. In other words, for a certain data, the higher the access unevenness of one node among the plurality of adjacent nodes, the more the data is accessed from a single direction, and the current node (holding the data at the present time). It shows that the probability that the node) is a demand point node is low. The demand point node is a node that receives a data acquisition request from a user terminal (Subscriber) accommodated by the user terminal (Subscriber). If the target data is held in the demand point node, the data transfer energy can be reduced, the delay and the like can be reduced, and the QoS can be improved as compared with the case where the data is requested and acquired from another node.

具体的には、図2に示すように、例えば、ストレージネットワークの各ノードが線形接続されている場合において、ノードN10(現状ノード)のホットストレージにデータ「A」が記憶され、そのデータ「A」が所定の自発移動条件を満たすとする。ここで、ユーザ端末Uからデータ「A」についての取得要求を受け付けるノードN50が需要地点ノードとなる。現状ノードに記憶されているデータ「A」は、需要地点ノードとなるノードN50側からのアクセスが多い場合、ノードN10に隣接する(ノードN50方向の)ノードN20のアクセス偏在性が高くなる。よって、アクセス偏在性が高いほど、つまり、単一方向からデータ「A」がアクセスされるほど、現状ノードが需要地点ノードである確率が低く、より最適な(需要地点ノードに近い)ノード(最適ノードN30)への移動する価値が高いことを示す。
図2においては、後記する最適ノード選択処理により、需要地点ノードN50により近いノードN30を最適ノードとして選択し、ノードN10に記憶されていたデータ「A」を、ノードN30に自発移動させた例を示している。
この最適ノード選択処理の詳細については、図11を参照して後記する。
Specifically, as shown in FIG. 2, for example, when each node of the storage network is linearly connected , data "A" is stored in the hot storage of node N 10 (current node), and the data "A" is stored. It is assumed that "A" satisfies a predetermined spontaneous movement condition. Here, the node N 50 that receives the acquisition request for the data “A” from the user terminal U becomes the demand point node. The data "A" stored in the current node has an uneven distribution of access to the node N 20 adjacent to the node N 10 (in the direction of the node N 50 ) when the access from the node N 50 side, which is the demand point node, is large. It gets higher. Therefore, the higher the uneven distribution of access, that is, the more the data "A" is accessed from a single direction, the lower the probability that the current node is the demand point node, and the more optimal (closer to the demand point node) node (optimal). Indicates that it is worth moving to node N 30).
In FIG. 2, the node N 30 closer to the demand point node N 50 is selected as the optimum node by the optimum node selection process described later, and the data “A” stored in the node N 10 is spontaneously moved to the node N 30. An example of making it is shown.
Details of this optimum node selection process will be described later with reference to FIG.

〔強制移動〕
次に、強制移動について説明する。
あるノードに新しいデータを記憶させようとしてデータ溢れが生じた際に、上記の(制御1)のように、そのノードに記憶されているデータのうち、有用性(有用性評価値)の低いデータをアーカイブ操作し、コールドストレージに記憶することができる。ただし、他ノードが、さらに有用性評価値の低いデータを保持していた場合、自ノードのホットストレージに、より有用性評価値の高いデータを保持しておくためには、容量溢れが生じたノードの有用性評価値が最小のデータをアーカイブする代わりに、他ノードにおいて有用性評価値がさらに低い最小のデータをアーカイブすべきである。
つまり、強制移動では、あるノードのホットストレージ容量が溢れたとき、そのノードの有用性評価値が最小のデータが、ストレージネットワークを構成するノード(後記する移動可能ノード)全体で有用性評価値が最小でない場合には、ノード(移動可能ノード)全体のうち、有用性評価値が最小のデータを持つノードを強制移動先ノードとして選択する。そして、選択した強制移動先ノードに、ホットストレージ容量が溢れたノードの有用性評価値が最小のデータを移動する。
この強制移動の詳細については、後記する。
[Forced movement]
Next, forced movement will be described.
When data overflow occurs when trying to store new data in a certain node, as in (Control 1) above, among the data stored in that node, the data with low usefulness (usefulness evaluation value) Can be archived and stored in cold storage. However, if another node holds data with a lower usefulness evaluation value, the capacity overflows in order to hold data with a higher usefulness evaluation value in the hot storage of the own node. Instead of archiving the data with the lowest utility rating on the node, the smallest data with even lower utility ratings on other nodes should be archived.
In other words, in forced movement, when the hot storage capacity of a node overflows, the data with the minimum usefulness evaluation value of that node has the usefulness evaluation value of all the nodes (movable nodes described later) that make up the storage network. If it is not the minimum, the node with the smallest usefulness evaluation value among all the nodes (movable nodes) is selected as the forced move destination node. Then, the data with the minimum usefulness evaluation value of the node whose hot storage capacity has overflowed is moved to the selected forced movement destination node.
Details of this forced displacement will be described later.

〔リアルタイム要求に応じたデータ生成間隔調整〕
つぎに、リアルタイム要求に応じたデータ生成間隔調整について説明する。
データを生成(収集)するデバイス(Publisher)は、所定の時間間隔ごとに、所定の時間内でリアルタイムに生成したデータの集合を、1つのデータ群として、ノードに送信している。このデータ群(広い意味での「データ」と称する。)を生成するデバイスに関して、リアルタイムな要求度(例えば、データ生成後、所定時間内のアクセス数に比例した値)が高い場合には、データ生成間隔を短くすることで、そのデバイスのAoI(Age of Information)を低減することができる。なお、AoIは、情報の鮮度(提供された最新のデータに関する、生成時刻からの経過時間を示す)を意味する。
また、このデータ(データ群)に関して、一定時間内のアクセス数が多いデータと少ないデータとが存在する。この記憶されるデータについて、AoIを考慮しないと、必要以上にストレージを無駄に消費してしまう可能性がある。例えば、アクセス数の少ないデータ(データ群)を生成するデバイスにおいて、AoIを大きくすると、データ容量の大きいデータを1つのデータとして生成し、ノードに送信してホットストレージに記憶することとなる。これに対し、例えば、あるデバイスの60分周期でのデータ群(データ)の生成を、10分周期での生成とすれば、1つのデータのデータ容量を小さくできる。よって、そのデータに関する移動のための転送エネルギー(ネットワーク負荷)を低減することができる。これにより、データ移動の利用から除外されるリンクを減らし、本実施形態におけるデータ配置先(最適ノード)の候補となる移動可能ノード(詳細は後記)を増やすことができる。
よって、リアルタイム要求度が高いデバイスの最新データは、AoIをより小さく、つまり、データ生成間隔を短くするように調整する。一方、リアルタイム要求度の低いデバイスの最新データは、AoIをより大きく、つまり、データ生成間隔を長くするように調整する。
[Adjusting the data generation interval according to real-time requests]
Next, the data generation interval adjustment according to the real-time request will be described.
A device (Publisher) that generates (collects) data transmits a set of data generated in real time within a predetermined time to a node as one data group at predetermined time intervals. With respect to the device that generates this data group (referred to as "data" in a broad sense), if the real-time demand (for example, a value proportional to the number of accesses within a predetermined time after data generation) is high, the data By shortening the generation interval, the AoI (Age of Information) of the device can be reduced. Note that AoI means the freshness of information (indicating the elapsed time from the generation time of the latest provided data).
Further, regarding this data (data group), there are data with a large number of accesses and data with a small number of accesses within a certain period of time. If AoI is not taken into consideration for this stored data, storage may be wasted more than necessary. For example, in a device that generates data (data group) with a small number of accesses, if AoI is increased, data having a large data capacity is generated as one data, transmitted to a node, and stored in hot storage. On the other hand, for example, if the generation of a data group (data) in a 60-minute cycle of a certain device is generated in a 10-minute cycle, the data capacity of one data can be reduced. Therefore, the transfer energy (network load) for moving the data can be reduced. As a result, it is possible to reduce the number of links excluded from the use of data movement and increase the number of movable nodes (details will be described later) that are candidates for the data placement destination (optimum node) in the present embodiment.
Therefore, the latest data of a device with high real-time demand adjusts AoI to be smaller, that is, to shorten the data generation interval. On the other hand, the latest data of devices with low real-time demand adjusts AoI to be larger, that is, to increase the data generation interval.

以下、本実施形態に係るデータ管理システム1000等について説明する。 Hereinafter, the data management system 1000 and the like according to the present embodiment will be described.

<本実施形態>
図3は、本実施形態に係るデータ管理システム1000を含むストレージネットワークの全体構成を示す図である。
図3に示すように、データ管理システム1000は、データ管理装置1と、上記した「自発移動」を実現するために用いられる装置群である、自発移動条件判定装置21、自発移動先選択装置22およびアーカイブ指示装置23と、上記した「強制移動」を実現するために用いられる装置群である、強制移動対象データ選択装置31および強制移動先選択装置32と、上記した「データ生成間隔調整」を実現するために用いられる生成間隔調整装置40とを備える。
データ管理装置1は、ストレージネットワークにおいてストレージデバイスとして機能する、上記した各ノードであり、ホットストレージで構成される有限容量蓄積部100と、コールドストレージで構成される無限容量蓄積部105とを備える。そして、複数の上記データ管理システム1000がネットワークを介して接続され、全体としてストレージネットワークを構築する。
<The present embodiment>
FIG. 3 is a diagram showing an overall configuration of a storage network including the data management system 1000 according to the present embodiment.
As shown in FIG. 3, the data management system 1000 includes a data management device 1, a spontaneous movement condition determination device 21, and a spontaneous movement destination selection device 22, which are a group of devices used to realize the above-mentioned “spontaneous movement”. The archive instruction device 23, the forced movement target data selection device 31 and the forced movement destination selection device 32, which are a group of devices used to realize the above-mentioned "forced movement", and the above-mentioned "data generation interval adjustment". It is provided with a generation interval adjusting device 40 used for realization.
The data management device 1 is each of the above-mentioned nodes that functions as a storage device in the storage network, and includes a finite capacity storage unit 100 composed of hot storage and an infinite capacity storage unit 105 composed of cold storage. Then, the plurality of data management systems 1000 are connected via the network to construct a storage network as a whole.

自発移動に関する装置群である、自発移動条件判定装置21、自発移動先選択装置22およびアーカイブ指示装置23は、1つのデータ管理装置1ごとに設けられ、これらの装置間および当該データ管理装置1に通信接続される。
強制移動に関する装置群である、強制移動対象データ選択装置31および強制移動先選択装置32は、1つのデータ管理装置1ごとに設けられ、これらの装置間および当該データ管理装置1に通信接続される。
また、データ生成間隔調整に関する装置である生成間隔調整装置40は、1つのデータ管理装置1ごとに設けられ、当該データ管理装置1およびデータを生成するデバイス(Publisher)に通信接続される。
The spontaneous movement condition determination device 21, the spontaneous movement destination selection device 22, and the archive instruction device 23, which are a group of devices related to spontaneous movement, are provided for each data management device 1, and are provided between these devices and in the data management device 1. Communication connection is made.
The forced movement target data selection device 31 and the forced movement destination selection device 32, which are a group of devices related to forced movement, are provided for each data management device 1, and communication connection is made between these devices and to the data management device 1. ..
Further, the generation interval adjustment device 40, which is a device related to data generation interval adjustment, is provided for each data management device 1, and is communicated and connected to the data management device 1 and a device (Publisher) that generates data.

これらの自発移動条件判定装置21、自発移動先選択装置22、アーカイブ指示装置23、強制移動対象データ選択装置31、強制移動先選択装置32、生成間隔調整装置40は、制御部、入出力部、記憶部(いずれも図示省略)を備えるコンピュータにより構成される。各装置は、自身が行う処理において各データ管理装置1の後記する状態情報が必要な場合には、自身と接続されるデータ管理装置1の記憶部12に記憶された状態情報を参照して処理を実行する。各装置が備える機能の詳細な説明は、データ管理装置1の詳細な説明の中で併せて記載する。 The spontaneous movement condition determination device 21, the spontaneous movement destination selection device 22, the archive instruction device 23, the forced movement target data selection device 31, the forced movement destination selection device 32, and the generation interval adjustment device 40 are a control unit, an input / output unit, and the like. It is composed of a computer equipped with a storage unit (all not shown). When each device needs the state information described later of each data management device 1 in the processing performed by itself, each device refers to the state information stored in the storage unit 12 of the data management device 1 connected to itself and processes the data. To execute. A detailed description of the functions provided by each device will be described in the detailed description of the data management device 1.

≪データ管理装置および各装置の説明≫
次に、図3等を参照して、データ管理装置1、および、「自発移動」「強制移動」「データ生成間隔調整」に関する各装置の詳細について説明する。
データ管理装置1は、通信接続されたデバイス(Publisher)Pからのデータを、ホットストレージ(有限容量蓄積部100)に記憶するとともに、必要に応じて、ホットストレージ(有限容量蓄積部100)からコールドストレージ(無限容量蓄積部105)へデータを移動するアーカイブを実行する。また、データ管理装置1は、上記した、「自発移動」「強制移動」「リアルタイム要求に応じたデータ生成間隔調整」を上記した各装置と連携して行うことにより、より適切なデータ配置制御を行う。
このデータ管理装置1は、制御部10と、入出力部11と、記憶部12とを備える。
≪Explanation of data management device and each device≫
Next, with reference to FIG. 3 and the like, the details of the data management device 1 and each device related to "spontaneous movement", "forced movement", and "data generation interval adjustment" will be described.
The data management device 1 stores the data from the communication-connected device (Publisher) P in the hot storage (finite capacity storage unit 100), and colds the data from the hot storage (finite capacity storage unit 100) as needed. An archive that moves data to the storage (infinite capacity storage unit 105) is executed. Further, the data management device 1 performs more appropriate data arrangement control by performing the above-mentioned "spontaneous movement", "forced movement", and "adjustment of data generation interval according to real-time request" in cooperation with each of the above-mentioned devices. conduct.
The data management device 1 includes a control unit 10, an input / output unit 11, and a storage unit 12.

入出力部11は、他のデータ管理装置1や、データを生成する各デバイス(Publisher)、自身が収容する複数のユーザ端末(Subscriber)等との間で情報の入出力を行う。また、入出力部11は、自身と通信接続される各装置(自発移動条件判定装置21、自発移動先選択装置22、アーカイブ指示装置23、強制移動対象データ選択装置31、強制移動先選択装置32、生成間隔調整装置40)との間で情報の入出力を行う。この入出力部11は、通信回線を介して情報の送受信を行う通信インタフェースと、不図示のキーボード等の入力装置やモニタ等の出力装置との間で情報の入出力を行う入出力インタフェースとから構成される。 The input / output unit 11 inputs / outputs information to / from another data management device 1, each device (Publisher) that generates data, a plurality of user terminals (Subscriber) that it accommodates, and the like. Further, the input / output unit 11 communicates with each device (spontaneous movement condition determination device 21, spontaneous movement destination selection device 22, archive instruction device 23, forced movement target data selection device 31, forced movement destination selection device 32). , Information is input and output to and from the generation interval adjusting device 40). The input / output unit 11 is composed of a communication interface for transmitting and receiving information via a communication line and an input / output interface for inputting and outputting information between an input device such as a keyboard (not shown) and an output device such as a monitor. It is composed.

記憶部12は、ハードディスクやフラッシュメモリ、RAM(Random Access Memory)、データ読み取り/書き込みモジュール等により構成される。
この記憶部12(記憶手段)は、上記したホットストレージで構成される有限容量蓄積部100と、上記したコールドストレージで構成される無限容量蓄積部105を含んで構成される。
また、記憶部12には、さらに、自身が記憶するデータに対するアクセス元(他のデータ管理装置1やユーザ端末)とそのアクセス数や、他のデータ管理装置1の記憶容量に関する情報(ホットストレージの空き容量等)、他のデータ管理装置1との接続状況(例えば、リンクの使用量)の情報(以下、これらの情報をまとめて「状態情報」と称する。)等が保存される。なお、上記したストレージネットワークの各ノードによるネットワーク構成において、リンクが用いられている場合、リンクの使用状況(状態情報)として、各リンクの使用量の合計や使用量の平均といった統計値を用いる。
そして、この記憶部12には、制御部10の各機能部を実行させるためのプログラムや、制御部10の処理に必要な情報(所定の閾値等)が記憶される。
The storage unit 12 is composed of a hard disk, a flash memory, a RAM (Random Access Memory), a data reading / writing module, and the like.
The storage unit 12 (storage means) includes a finite capacity storage unit 100 composed of the hot storage described above and an infinite capacity storage unit 105 composed of the cold storage described above.
Further, the storage unit 12 further contains information on an access source (other data management device 1 or user terminal) and the number of accesses to the data stored by itself, and information on the storage capacity of the other data management device 1 (hot storage). Information such as free space), connection status with another data management device 1 (for example, link usage) (hereinafter, these information are collectively referred to as "state information") and the like are stored. When links are used in the network configuration of each node of the storage network described above, statistical values such as the total usage of each link and the average usage of each link are used as the usage status (state information) of the links.
Then, the storage unit 12 stores a program for executing each functional unit of the control unit 10 and information (predetermined threshold value, etc.) required for processing of the control unit 10.

制御部10は、データ管理装置1が実行する処理の全般を司り、図3に示すように、状態監視部110と、取得要求処理部120と、自発移動処理部130と、データ蓄積部140と、強制移動処理部150とを含んで構成される。 The control unit 10 controls the overall processing executed by the data management device 1, and as shown in FIG. 3, includes a condition monitoring unit 110, an acquisition request processing unit 120, a spontaneous movement processing unit 130, and a data storage unit 140. , The forced movement processing unit 150 and the like.

状態監視部110は、各データ管理装置1のデータ毎のアクセス元およびその処理回数(後記するアクセス数「A」)や、各データ管理装置1間のリンクの使用状況(リンク使用量)、各データ管理装置1の有限容量蓄積部100(ホットストレージ)の空き容量や有用性評価値が最小のデータ等の情報(状態情報)を取得し、記憶部12に記憶しておく。
なお、状態監視部110において、ストレージネットワーク内のどのデータ管理装置1から状態情報等を取得できるかは、予め設定される。例えば、ストレージネットワークが線形接続で構成される場合において、隣接するNホップ(Nは正の整数)までのデータ管理装置1から状態情報等を取得できるものとして設定される(詳細は後記)。そして、状態監視部110は、隣接する各データ管理装置1の有限容量蓄積部100(ホットストレージ)に記憶されるデータのうち、有効性評価値が最小のデータの(最新の)情報を取得し記憶しておく。
また、状態監視部110は、自身が有限容量蓄積部100および無限容量蓄積部105に格納するデータについても同様にアクセス元およびアクセス数の情報を計測し、記憶部12に記憶しておく。
The status monitoring unit 110 includes an access source for each data of each data management device 1 and the number of times of processing thereof (the number of accesses "A" described later), a usage status of a link between the data management devices 1 (link usage amount), and each. Information (state information) such as free capacity of the finite capacity storage unit 100 (hot storage) of the data management device 1 and data having the minimum usefulness evaluation value is acquired and stored in the storage unit 12.
The state monitoring unit 110 presets from which data management device 1 in the storage network the state information or the like can be acquired. For example, when the storage network is composed of linear connections, it is set so that state information and the like can be acquired from the data management device 1 up to the adjacent N hops (N is a positive integer) (details will be described later). Then, the condition monitoring unit 110 acquires (latest) information of the data having the smallest effectiveness evaluation value among the data stored in the finite capacity storage unit 100 (hot storage) of each adjacent data management device 1. Remember.
Further, the condition monitoring unit 110 also measures the information of the access source and the number of accesses for the data stored in the finite capacity storage unit 100 and the infinite capacity storage unit 105, and stores the information in the storage unit 12.

取得要求処理部120は、自身のデータ管理装置1が収容するユーザ端末(図示省略)や他のデータ管理装置1から、データの取得要求(リクエスト)を受信し、記憶部12内の有限容量蓄積部100(ホットストレージ)または無限容量蓄積部105(コールドストレージ)に記憶されているデータを、応答情報として返信する。
また、取得要求処理部120は、その取得要求(リクエスト)が自身の記憶部12に記憶したデータではなく、他のデータ管理装置1が記憶するものである場合には、当該他のデータ管理装置1に向けて、取得要求を転送する。
取得要求処理部120は、取得要求を受け付けると、そのデータのアクセス元および取得要求があった回数(アクセス数「A」)を、状態監視部110に出力することにより記憶部12に記憶させる。
The acquisition request processing unit 120 receives a data acquisition request (request) from a user terminal (not shown) or another data management device 1 housed in its own data management device 1, and stores a finite capacity in the storage unit 12. The data stored in the unit 100 (hot storage) or the infinite capacity storage unit 105 (cold storage) is returned as response information.
Further, when the acquisition request (request) is not the data stored in its own storage unit 12 but is stored in the other data management device 1, the acquisition request processing unit 120 is the other data management device. Transfer the acquisition request toward 1.
When the acquisition request processing unit 120 receives the acquisition request, the acquisition request processing unit 120 outputs the access source of the data and the number of times the acquisition request has been made (access number “A”) to the condition monitoring unit 110, thereby storing the data in the storage unit 12.

自発移動処理部130は、あるデータについて、上記した有用性評価値とアクセス偏在性とを算出する。なお、この有用性評価値とアクセス偏在性とを算出する対象となるデータ(以下「対象データ」と称する。)は、例えば、あるデータが取得要求(リクエスト)を受けた際に、それを契機としてそのデータを算出対象としてもよいし、有限容量蓄積部100(ホットストレージ)に記憶された各データを、所定の時間間隔で抽出し、算出対象としてもよい。
そして、自発移動処理部130は、算出した有用性評価値とアクセス偏在性とを自発移動条件判定装置21に送信する。そして、自発移動処理部130は、自発移動条件判定装置21が、有用性評価値とアクセス偏在性とに基づく所定の自発移動条件を満たすと判定した場合に、その対象データを、自発移動の対象となるデータ(以下、「自発移動対象データ」と称する。)であるとする。
また、自発移動処理部130は、自発移動対象データについて、移動先となる最適ノードを選択した結果を自発移動先選択装置22から受け取り、そのデータ管理装置1に移動(自発移動)させる。
以下、自発移動処理部130の機能と、自発移動に関する各装置が備える機能の詳細を、図4等を参照して説明する。
The spontaneous movement processing unit 130 calculates the above-mentioned usefulness evaluation value and access uneven distribution for a certain data. The data to be calculated for the usefulness evaluation value and the uneven distribution of access (hereinafter referred to as "target data") is triggered by, for example, when a certain data receives an acquisition request (request). The data may be used as a calculation target, or each data stored in the finite capacity storage unit 100 (hot storage) may be extracted at predetermined time intervals and used as a calculation target.
Then, the spontaneous movement processing unit 130 transmits the calculated usefulness evaluation value and the access uneven distribution to the spontaneous movement condition determination device 21. Then, when the spontaneous movement condition determination device 21 determines that the spontaneous movement condition determination device 21 satisfies a predetermined spontaneous movement condition based on the usefulness evaluation value and the access uneven distribution, the spontaneous movement processing unit 130 sets the target data as the target of the spontaneous movement. (Hereinafter, referred to as "spontaneous movement target data").
Further, the spontaneous movement processing unit 130 receives the result of selecting the optimum node as the movement destination from the spontaneous movement destination selection device 22 for the spontaneous movement target data, and moves (spontaneously moves) the data to the data management device 1.
Hereinafter, the functions of the spontaneous movement processing unit 130 and the functions provided by each device related to the spontaneous movement will be described with reference to FIG. 4 and the like.

図4は、本実施形態に係る自発移動処理部130の機能と、自発移動に関する各装置が備える機能の詳細を説明するための図である。
図4に示すように、自発移動処理部130は、有用性評価部131、アクセス偏在性算出部132、自発移動実行部133およびアーカイブ実行部134を含んで構成される。
FIG. 4 is a diagram for explaining the details of the functions of the spontaneous movement processing unit 130 according to the present embodiment and the functions provided by each device related to the spontaneous movement.
As shown in FIG. 4, the spontaneous movement processing unit 130 includes a usefulness evaluation unit 131, an access uneven distribution calculation unit 132, a spontaneous movement execution unit 133, and an archive execution unit 134.

有用性評価部131は、各データ(対象データ)について、現時点までのアクセス数に基づく今後の(現時点から将来における)アクセス数の予測値が大きいものほど高い値となる評価値として、有用性評価値を算出する。
具体的には、有用性評価部131は、例えば、十分に時間が経過するとアクセスが無くなるという前提のもと、時間軸に対する累積アクセス数をある値に収束する関数で近似し、その収束値と時刻tにおける累積アクセス数の差を有用性評価値とする。
有用性評価部131は、各データ(対象データ)について有用性評価値を算出すると、その情報を、自発移動条件判定装置21に送信する。
The usefulness evaluation unit 131 evaluates the usefulness of each data (target data) as an evaluation value in which the larger the predicted value of the number of future accesses (from the present time to the future) based on the number of accesses up to the present time, the higher the value. Calculate the value.
Specifically, the usefulness evaluation unit 131 approximates the cumulative number of accesses to the time axis with a function that converges to a certain value on the premise that the access disappears after a sufficient time elapses, and the convergence value is used. The difference in the cumulative number of accesses at time t is used as the usefulness evaluation value.
When the usefulness evaluation unit 131 calculates the usefulness evaluation value for each data (target data), the usefulness evaluation unit 131 transmits the information to the spontaneous movement condition determination device 21.

アクセス偏在性算出部132は、あるデータを保持するノードに隣接する各ノードからの、当該データに対するアクセス数の偏りを示すものとしてアクセス偏在性を算出する。以下、具体的に説明する。
図5は、本実施形態におけるアクセス偏在性を説明するための図である。
ここでは、ストレージネットワークのトポロジが、ノードN1 ,N2 ,N3 ,…,N7の線形接続であるものとして説明する。前提として、各ノード(データ管理装置1)は、近接したノードやリンクの状態情報を収集する。また、図5に示すノードN4が保持するデータDxが、時刻tまでに計M回アクセスされたものとする。その内訳は、ノードNiが収容するユーザ端末からAi t回(Σ7 i=1i t = M)である。ここで、「Ai t」回は、時刻tにおけるノードiでのアクセス数である。ただし、ノードN4では2ホップより先は状態情報等を取得できないものとし、データDxに対して、ノードN2より先からは(A1 t+A2 t)回、ノードN6より先からは(A6 t+A7 t)回、アクセスがあったとする情報をノードN4が取得する。
The access uneven distribution unit 132 calculates the access uneven distribution as indicating the unevenness of the number of accesses to the data from each node adjacent to the node holding a certain data. Hereinafter, a specific description will be given.
FIG. 5 is a diagram for explaining the uneven distribution of access in the present embodiment.
Here, it is assumed that the topology of the storage network is a linear connection of nodes N 1 , N 2 , N 3 , ..., N 7. As a premise, each node (data management device 1) collects state information of adjacent nodes and links. Further, it is assumed that the data D x held by the node N 4 shown in FIG. 5 has been accessed M times in total by the time t. The breakdown is A i t times from the user terminal to the node N i is accommodated (Σ 7 i = 1 A i t = M). Here, "A i t " times is the number of accesses at the node i at time t. However, it is assumed that the state information etc. cannot be acquired after 2 hops at the node N 4 , and the data D x is (A 1 t + A 2 t ) times from the node N 2 and after, and from the node N 6 and after. (A 6 t + A 7 t ) times, node N 4 acquires the information that the access has been made.

図5に示す例において、例えば、
max(Σ3 i=1i t , A4 t , Σ7 i=5i t)= Σ3 i=1i t
のとき、データDxはノードN3の方向から、より多くのアクセスがある。このため、アクセス偏在性算出部132は、
Σ3 i=1i t/M
を、アクセス偏在性とする。
アクセス偏在性算出部132は、各データ(対象データ)についてアクセス偏在性を算出すると、その情報を、自発移動条件判定装置21に送信する。
In the example shown in FIG. 5, for example,
max (Σ 3 i = 1 A i t , A 4 t , Σ 7 i = 5 A i t ) = Σ 3 i = 1 A i t
At, the data D x has more access from the direction of node N 3. Therefore, the access uneven distribution calculation unit 132
Σ 3 i = 1 A i t / M
Is the access uneven distribution.
When the access uneven distribution calculation unit 132 calculates the access uneven distribution for each data (target data), the access uneven distribution calculation unit 132 transmits the information to the spontaneous movement condition determination device 21.

図4に戻り、自発移動条件判定装置21は、有用性評価部131が算出した有用性評価値と、アクセス偏在性算出部132が算出したアクセス偏在性とに基づき、所定の自発移動条件を満たす場合に、そのデータを、自発移動の対象となるデータ(自発移動対象データ)であると判定する。 Returning to FIG. 4, the spontaneous movement condition determination device 21 satisfies a predetermined spontaneous movement condition based on the usefulness evaluation value calculated by the usefulness evaluation unit 131 and the access uneven distribution calculated by the access uneven distribution calculation unit 132. In this case, it is determined that the data is the data that is the target of spontaneous movement (data that is the target of spontaneous movement).

この所定の自発移動条件は、例えば、有用性評価値およびアクセス偏在性の両方が十分に高いと評価される条件である。具体的には、有用性評価値が所定の閾値(所定の第1閾値)以上であり、かつ、アクセス偏在性が所定の確率(割合)(所定の第2閾値)以上である、という条件を満たすことが自発移動条件となる。この所定の閾値および所定の確率(割合)は、予め設定される。
自発移動条件判定装置21は、そのデータを、自発移動対象データであると判定した旨の情報を自発移動先選択装置22に送信する。
This predetermined spontaneous movement condition is, for example, a condition in which both the usefulness evaluation value and the access uneven distribution are evaluated to be sufficiently high. Specifically, the condition that the usefulness evaluation value is equal to or higher than a predetermined threshold value (predetermined first threshold value) and the access uneven distribution is equal to or higher than a predetermined probability (ratio) (predetermined second threshold value) is satisfied. Satisfaction is a condition for voluntary movement. The predetermined threshold value and the predetermined probability (ratio) are set in advance.
The spontaneous movement condition determination device 21 transmits information to the effect that the data is determined to be the spontaneous movement target data to the spontaneous movement destination selection device 22.

自発移動先選択装置22は、データにアクセスする際のユーザ端末の通信コストが削減される位置にある他ノードを、自発移動対象データを保持するノードからの移動先となるノードを示す最適ノード(自発移動先ノード)として選択する。
この最適ノード選択処理は、以下に示す所定手順で実行される。
なお、ここでは図5で示すように、ノードN4が保持するデータDxが、自発移動対象データであるものとして説明する。
The spontaneous movement destination selection device 22 indicates that another node at a position where the communication cost of the user terminal when accessing the data is reduced is an optimum node indicating a node to be moved from the node holding the spontaneous movement target data (the optimum node). Select as the spontaneous destination node).
This optimum node selection process is executed according to a predetermined procedure shown below.
Here, as shown in FIG. 5, the data D x held by the node N 4 will be described as being the data to be spontaneously moved.

(手順1)候補ノード(ノードN4が状態情報を取得可能なノード)から、アクセス偏在性が高い方向以外にあるノードを除く。なお、ここでは、例として2ホップ先のノードまでを、その自発移動対象データを保持するノード(データ管理装置1)が状態情報を取得可能なノード(候補ノード)として説明する。ここでは、ノードN4からみて候補ノードは、ノードN2, N3, N4, N5, N6となる。
よって、(手順1)では、例えば、ノードN4からみて、アクセス偏在性の高い方向がノードN3側である場合、候補ノードからノードN5, N6が除かれ、ノードN2, N3, N4に候補ノードが絞り込まれる。
これにより、ユーザ端末がデータにアクセスする際の通信コストが増加する位置にある候補ノードが除外される。つまり、通信コストが削減される位置にある候補ノードに絞り込まれる。
(Step 1) from the candidate node (node N 4 capable of acquiring the state information nodes), than the node that is not in the access ubiquitous high direction. Here, as an example, up to a node two hops ahead will be described as a node (candidate node) in which the node (data management device 1) holding the spontaneous movement target data can acquire the state information. Here, the candidate nodes from the viewpoint of node N 4 are nodes N 2 , N 3 , N 4 , N 5 , N 6 .
Therefore, in (Step 1), for example, when viewed from the node N 4, when high access ubiquitous direction is the node N 3 side, the node N 5, N 6 are removed from the candidate node, a node N 2, N 3 , the candidate node is narrowed down to N 4.
As a result, the candidate node at the position where the communication cost when the user terminal accesses the data increases is excluded. In other words, it is narrowed down to candidate nodes that are in a position where communication costs can be reduced.

(手順2)候補ノードまでのリンク使用状況に基づき、移動可能ノードを選択する。
例えば、各リンクに予め設定されている上限使用量に対して、時刻tにおけるリンク使用量とデータDxのサイズの和が小さい場合、当該リンクをデータ移動に用いることができると判断する。
具体的には、図5に示す、ノードN4が状態情報を取得可能なリンクのうち、リンクL23のみが、上記の和の値が上限使用量を超えて条件を満たさない場合に、候補ノード(ノードN2, N3, N4)のうち、リンクL23を移動時の通信経路に含まないノードN3, N4が移動可能ノードとして選択される。
(Procedure 2) Select a movable node based on the link usage status to the candidate node.
For example, it is determined that the relative upper limit amount that is set in advance to each link, if the sum of the size of the link usage and data D x at time t is small, it is possible to use the link to the data movement.
Specifically, among the links shown in FIG. 5 in which the node N 4 can acquire the state information, only the link L 23 is a candidate when the value of the above sum exceeds the upper limit usage amount and does not satisfy the condition. Of the nodes (nodes N 2 , N 3 , N 4 ), the nodes N 3 , N 4 that do not include the link L 23 in the communication path at the time of movement are selected as the movable nodes.

(手順3)移動可能ノードの保持するデータの有用性評価値の最小値に基づき、保持可能ノードを選択する。
例えば、データDxの有用性評価値がSxであり、ノードN3, N4の保持するデータの有用性評価値の最小値がそれぞれS3 min, S4 min(S3 min, S4 min < Sx)である場合、移動可能ノードのうち、保持可能ノードとしてノードN3, N4が選択される。
なお、データDxの有効性評価値SxがそのデータDxを保持するノード(ノードN4)における最小値であり、移動可能ノードの保持するデータの中でも最小値の場合、つまり、Sx=S4 min <S3 minである場合には、自発移動先選択装置22は、その旨の情報を、アーカイブ指示装置23に送信する。そして、アーカイブ指示装置23が、そのデータDxを保持するノード(ノードN4)において、当該データDxをアーカイブさせる指示情報を、自発移動処理部130(アーカイブ実行部134)に送信する。アーカイブ実行部134は、ホットストレージからコールドストレージへ移動するアーカイブを、そのデータDxについて実行する。
(Procedure 3) Select a retainable node based on the minimum value of the usefulness evaluation value of the data held by the movable node.
For example, the usefulness evaluation value of the data D x is S x , and the minimum value of the usefulness evaluation value of the data held by the nodes N 3 and N 4 is S 3 min and S 4 min (S 3 min , S 4 respectively). When min <S x ), nodes N 3 and N 4 are selected as the retainable nodes among the movable nodes.
Note that the minimum value at the node (node N 4) efficacy evaluation value S x data D x to hold the data D x, when the minimum value among the data held by the movable nodes, i.e., S x When = S 4 min <S 3 min , the spontaneous movement destination selection device 22 transmits information to that effect to the archive instruction device 23. Then, archive indication device 23 transmits the node (node N 4) that hold the data D x, the indication information to be archived the data D x, the spontaneous movement processing unit 130 (the archive execution unit 134). Archiving run section 134, the archive to move from the hot storage into a cold storage, to perform its data D x.

(手順4)データDxを保持可能ノードまで移動し保持した際の「移動のための転送エネルギー(通信コスト)」と、ユーザ端末による「データ取得の転送エネルギー(通信コスト)」との和が最小となる最適ノードを選択する。
例えば、簡易的なモデルとして、転送エネルギーの大きさは、データサイズと通信ホップ数に比例する値として計算する。具体的には、図5に示す例において、データDxを保持可能ノードであるノードN3に移動する場合、移動のための転送エネルギーは、移動通信ホップ数が「1」であり、データDxのサイズをDSxとしたとき、C×DSx×1(Cは比例定数)となる。
(Procedure 4) The sum of the "transfer energy for movement (communication cost)" when the data D x is moved to the holdable node and held, and the "transfer energy for data acquisition (communication cost)" by the user terminal is Select the smallest optimal node.
For example, as a simple model, the magnitude of transfer energy is calculated as a value proportional to the data size and the number of communication hops. Specifically, in the example shown in FIG. 5, when the data D x is moved to the node N 3 which is a node capable of holding the data D x, the transfer energy for the movement is that the number of mobile communication hops is “1” and the data D When the size of x is DS x, it becomes C × DS x × 1 (C is a proportional constant).

ユーザ端末によるデータ取得の転送エネルギーは、データDxを移動しない(データDxをノードN4で保持する)場合との差分を計算する。
[ノードN2より先]
ノードN2から先のノードが収容するユーザ端末からは、今後、Sx×(A1 t+A2 t)/M(回)のアクセスが予想され、ノードN3にデータDxを移動することで、1ホップ近づくため、C×DSx×1×(A1 t+A2 t)/Mの削減効果がある。
[ノードN3
ノードN3が収容するユーザ端末からは、今後、Sx×A3 t/M(回)のアクセスが予想され、ノードN3にデータDxを移動することで、1ホップ近づくため、C×DSx×1×A3 t/Mの削減効果がある。
[ノードN4
ノードN4が収容するユーザ端末からは、今後、Sx×A4 t/M(回)のアクセスが予想され、ノードN3にデータDxを移動することで、1ホップ遠ざかるため、C×DSx×1×A4 t/Mの増加効果がある。
[ノードN5
ノードN5が収容するユーザ端末からは、今後、Sx×A5 t/M(回)のアクセスが予想され、ノードN3にデータDxを移動することで、1ホップ遠ざかるため、C×DSx×1×A5 t/Mの増加効果がある。
[ノードN6より先]
ノードN6から先のノードが収容するユーザ端末からは、今後、Sx×(A6 t+A7 t)/M(回)のアクセスが予想され、ノードN3にデータDxを移動することで、1ホップ遠ざかるため、C×DSx×1×(A6 t+A7 t)/Mの増加効果がある。
Transfer energy data acquisition by the user terminals computes the difference between the case where no moving data D x (holding data D x at the node N 4).
[Before node N 2 ]
From the user terminal accommodated by the node beyond node N 2 , access of S x × (A 1 t + A 2 t ) / M (times) is expected in the future, and data D x is moved to node N 3. in order to approach one hop, there is reduction of the C × DS x × 1 × ( a 1 t + a 2 t) / M.
[Node N 3 ]
From the user terminal accommodated by node N 3 , access of S x × A 3 t / M (times) is expected in the future, and by moving data D x to node N 3 , one hop approaches, so C × It has the effect of reducing DS x x 1 x A 3 t / M.
[Node N 4 ]
From the user terminal accommodated by the node N 4 , S x × A 4 t / M (times) is expected to be accessed in the future, and by moving the data D x to the node N 3 , the data D x is moved away by one hop. It has the effect of increasing DS x × 1 × A 4 t / M.
[Node N 5 ]
Access of S x × A 5 t / M (times) is expected from the user terminal accommodated by node N 5, and moving data D x to node N 3 moves the data D x away by one hop, so C × It has the effect of increasing DS x × 1 × A 5 t / M.
[Before node N 6 ]
From the user terminal accommodated by the node beyond node N 6 , access of S x × (A 6 t + A 7 t ) / M (times) is expected in the future, and data D x is moved to node N 3. in order away one hop, there is an increase effect of C × DS x × 1 × ( a 6 t + a 7 t) / M.

なお、自発移動先選択装置22は、(手順3)において、保持可能ノードとしてノードN3, N4が選択されている場合には、(手順4)においては、ノードN3, N4が対象となる。
そして、自発移動先選択装置22は、(手順4)において、移動のための転送エネルギーと、ユーザ端末によるデータ取得の転送エネルギーとの和を、各保持可能ノード(ここでは、ノードN3, N4)について求め、和が最小となるノードを最適ノード(自発移動先ノード)として選択する。
また、自発移動先選択装置22は、上記した(手順1)〜(手順4)のすべてを実行する場合だけでなく、これらの手順のうちのいずれか1つまたは組み合わせを実行するようにしてもよい。
自発移動先選択装置22は、選択した最適ノード(自発移動先ノード:例えば、ノードN3)の情報を、自発移動処理部130(自発移動実行部133)に送信する。
Incidentally, spontaneous migration destination selection unit 22, in (Step 3), if the node N 3, N 4 is selected as the holdable node, in (Step 4), the node N 3, N 4 is subject It becomes.
The spontaneous movement destination selection unit 22, in (Step 4), and transfer energy for moving, the sum of the transfer energy of the data acquisition by the user terminals, each capable of holding node (here, node N 3, N 4 ) is calculated, and the node with the smallest sum is selected as the optimum node (spontaneous movement destination node).
Further, the spontaneous movement destination selection device 22 is not limited to the case where all of the above (procedure 1) to (procedure 4) are executed, but also when any one or combination of these procedures is executed. good.
Spontaneous migration destination selection unit 22 selects the optimum node (spontaneous destination nodes: for example, the node N 3) transmitting the information, the spontaneous movement processing unit 130 (spontaneous migration execution unit 133).

図4に戻り、自発移動実行部133は、自発移動条件判定装置21が自発移動対象データであると判定したデータ(ここでは、データDx)を、自発移動先選択装置22が選択した最適ノード(自発移動先ノード:例えば、ノードN3)に移動(自発移動)させる処理を実行する。 Returning to FIG. 4, the spontaneous movement execution unit 133 selects the data (here, data D x ) determined by the spontaneous movement condition determination device 21 to be the spontaneous movement target data, and the optimum node selected by the spontaneous movement destination selection device 22. (Spontaneous movement destination node: For example, node N 3 ) is moved (spontaneous movement).

なお、アーカイブ指示装置23は、自ノードのホットストレージに記憶されたデータのうち有用性評価値が最小のデータを、自ノードのコールドストレージに移動させる指示情報を、データ管理装置1に送信する。
そして、アーカイブ実行部134は、上記したように、処理対象であるデータの有効性評価値が、上記した移動可能ノードが保持するすべてのデータの中で最小値であると自発移動先選択装置22が判定した場合に、アーカイブ指示装置23からの指示情報を受け取って、ホットストレージ(有限容量蓄積部100)からコールドストレージ(無限容量蓄積部105)へ移動するアーカイブを、そのデータについて実行する。
The archive instruction device 23 transmits instruction information for moving the data having the smallest usefulness evaluation value among the data stored in the hot storage of the own node to the cold storage of the own node to the data management device 1.
Then, as described above, the archive execution unit 134 voluntarily determines that the validity evaluation value of the data to be processed is the minimum value among all the data held by the movable node described above. When the data is determined, the data is archived by receiving the instruction information from the archive instruction device 23 and moving from the hot storage (finite capacity storage unit 100) to the cold storage (infinite capacity storage unit 105).

図3に戻り、データ蓄積部140は、データを生成(収集)するデバイス(Publisher)Pや他のデータ管理装置1等からネットワークを介して、データ(例えば、ライブデータ)を受信する。そして、データ蓄積部140は、データを受信すると、そのデータの容量を確認する。そして、データ蓄積部140は、自身の有限容量蓄積部100(ホットストレージ)の空き容量があり格納可能であれば、そのデータを有限容量蓄積部100に記憶する。
一方、データ蓄積部140は、自身の有限容量蓄積部100(ホットストレージ)に空き容量がない場合には、状態情報を取得可能な隣接するいずれかのデータ管理装置1の有限容量蓄積部100(ホットストレージ)に、当該データを格納できる空き容量があるか否かを、例えば、状態監視部110が取得した情報に基づき判定し、空き容量があれば、そのデータ管理装置1に当該データを転送する。
そして、データ蓄積部140は、状態情報が取得可能な全てのデータ管理装置1の有限容量蓄積部100(ホットストレージ)に空き容量がなければ、その旨の情報(受信したデータの情報)を強制移動対象データ選択装置31に送信する。
Returning to FIG. 3, the data storage unit 140 receives data (for example, live data) from a device (Publisher) P that generates (collects) data, another data management device 1, or the like via a network. Then, when the data storage unit 140 receives the data, the data storage unit 140 confirms the capacity of the data. Then, if the data storage unit 140 has a free capacity of its own finite capacity storage unit 100 (hot storage) and can be stored, the data storage unit 140 stores the data in the finite capacity storage unit 100.
On the other hand, when the data storage unit 140 has no free space in its own finite capacity storage unit 100 (hot storage), the data storage unit 140 has a finite capacity storage unit 100 (the finite capacity storage unit 100) of any of the adjacent data management devices 1 capable of acquiring state information. Whether or not there is free space in the hot storage) for storing the data is determined based on, for example, the information acquired by the status monitoring unit 110, and if there is free space, the data is transferred to the data management device 1. do.
Then, if there is no free space in the finite capacity storage unit 100 (hot storage) of all the data management devices 1 from which the state information can be acquired, the data storage unit 140 forces information to that effect (information on the received data). It is transmitted to the movement target data selection device 31.

なお、データ蓄積部140は、他のデータ管理システム1000の上記した自発移動先選択装置22により、自身のデータ管理装置1が、最適ノード(自発移動先ノード)として選択され、自発移動処理部130による自発移動の結果、データを受信することもある。この場合、その自発移動されてきたデータについてのデータ蓄積部140の処理は、データ管理装置1それぞれにおいて状態情報が取得可能な隣接するデータ管理装置1が異なるため、上記のデータ蓄積部140による処理が自発移動後のデータ管理装置1において同様に行われる。 The data storage unit 140 has its own data management device 1 selected as the optimum node (spontaneous movement destination node) by the above-mentioned spontaneous movement destination selection device 22 of the other data management system 1000, and the spontaneous movement processing unit 130. Data may be received as a result of spontaneous movement by. In this case, the processing of the data storage unit 140 for the spontaneously moved data is performed by the data storage unit 140 because the adjacent data management devices 1 from which the state information can be acquired are different in each of the data management devices 1. Is similarly performed in the data management device 1 after the spontaneous movement.

強制移動処理部150は、データ(例えば、ライブデータ)を受信し記憶部12に記憶しようとする際において、状態情報が取得可能な(自身を含む)全てのデータ管理装置1の有限容量蓄積部100(ホットストレージ)に空き容量がない場合に、強制移動するかアーカイブするかの処理を決定する。強制移動処理部150は、この決定について、強制移動対象データを、自身の無限容量蓄積部105(コールドストレージ)にアーカイブした際の所定の損失(後記する「アーカイブ評価値」)と、強制移動対象データを、強制移動先ノードに強制移動させた際の損失(後記する「強制移動評価値」)とを比較して行う。
なお、強制移動対象データは、強制移動対象データ選択装置31が、自身のデータ管理装置1の有限容量蓄積部100(ホットストレージ)に記憶されたデータのうちの有用性評価値が最小のデータを強制移動対象データとして選択したデータである。また、強制移動先ノードは、強制移動先選択装置32が、有用性評価値が最小のデータを持つノード(データ管理装置1)を強制移動先ノードとして選択したノードである。
以下、強制移動処理部150の機能と、強制移動に関する装置群の詳細を、図6等を参照して説明する。
When the forced movement processing unit 150 receives data (for example, live data) and tries to store it in the storage unit 12, the finite capacity storage unit of all the data management devices 1 (including itself) from which state information can be acquired When there is no free space in 100 (hot storage), the process of forcibly moving or archiving is determined. Regarding this determination, the forced displacement processing unit 150 has a predetermined loss (“archive evaluation value” described later) when the forced displacement target data is archived in its own infinite capacity storage unit 105 (cold storage), and the forced displacement target. The data is compared with the loss when the data is forcibly moved to the forced movement destination node (“forced movement evaluation value” described later).
As the forced movement target data, the forced movement target data selection device 31 selects the data having the smallest usefulness evaluation value among the data stored in the finite capacity storage unit 100 (hot storage) of its own data management device 1. This is the data selected as the data to be forcibly moved. Further, the forced movement destination node is a node in which the forced movement destination selection device 32 selects the node having the minimum usefulness evaluation value (data management device 1) as the forced movement destination node.
Hereinafter, the function of the forced movement processing unit 150 and the details of the device group related to the forced movement will be described with reference to FIG. 6 and the like.

図6は、本実施形態に係る強制移動処理部150の機能と、強制移動に関する装置群の詳細を説明するための図である。
図6に示すように、強制移動処理部150は、アーカイブ評価部151、強制移動評価部152、処理決定部153、アーカイブ実行部154および強制移動実行部155を含んで構成される。
FIG. 6 is a diagram for explaining the function of the forced movement processing unit 150 according to the present embodiment and the details of the device group related to the forced movement.
As shown in FIG. 6, the forced movement processing unit 150 includes an archive evaluation unit 151, a forced movement evaluation unit 152, a processing decision unit 153, an archive execution unit 154, and a forced movement execution unit 155.

ここで、時刻tにおいて、状態情報が取得可能な全てのデータ管理装置1の有限容量蓄積部100(ホットストレージ)に空き容量がないものとする。また、ノードNiの有用性評価値の最小のデータをデータDi minとする。そして、後記する図7に示すように、ノードN4が新規データDnewを受信したものとして説明する。 Here, it is assumed that there is no free space in the finite capacity storage unit 100 (hot storage) of all the data management devices 1 from which the state information can be acquired at time t. Further, the minimum data of the usefulness evaluation value of the node N i is defined as the data D i min . Then, as shown in FIG. 7 described later, it is assumed that the node N 4 has received the new data D new.

まず、強制移動対象データ選択装置31は、データ蓄積部140から、新規データDnewを受信した旨の情報を取得すると、自身のデータ管理装置1の有限容量蓄積部100(ホットストレージ)に記憶するデータの中で、有用性評価値が最小のデータ(ここでは、データD4 min)を、強制移動対象データとして選択する。
有用性評価値が最小のデータ(ここでは、データD4 min)を、強制移動対象データとして選択するのは、有用性評価値が低いほど、今後のアクセス数が少なく、そのノード(データ管理装置1)から移動させても影響が少ないからである。
なお、強制移動対象データ選択装置31は、自身のデータ管理装置1の有限容量蓄積部100(ホットストレージ)に記憶する各データについて、上記した自発移動処理部130内の有用性評価部131(図4)と同様に、今後(現時点から将来における)アクセス数の予測値が大きいものほど高い値となる評価値として有用性評価値を算出する。
強制移動対象データ選択装置31は、強制移動対象データを選択すると、その強制移動対象データの情報を、強制移動処理部150(アーカイブ評価部151)と強制移動先選択装置32とに送信する。
First, when the forced movement target data selection device 31 acquires information indicating that new data D new has been received from the data storage unit 140, it stores it in the finite capacity storage unit 100 (hot storage) of its own data management device 1. Among the data, the data having the smallest usefulness evaluation value (here, data D 4 min ) is selected as the data to be forcibly moved.
The data with the smallest usefulness evaluation value (here, data D 4 min ) is selected as the data to be forcibly moved. The lower the usefulness evaluation value, the smaller the number of future accesses, and the node (data management device). This is because there is little effect even if it is moved from 1).
The forced movement target data selection device 31 has a usefulness evaluation unit 131 (FIG.) in the spontaneous movement processing unit 130 described above for each data stored in the finite capacity storage unit 100 (hot storage) of its own data management device 1. Similar to 4), the usefulness evaluation value is calculated as an evaluation value in which the larger the predicted value of the number of accesses in the future (from the present time to the future), the higher the value.
When the forced movement target data selection device 31 selects the forced movement target data, the forced movement target data selection device 31 transmits the information of the forced movement target data to the forced movement processing unit 150 (archive evaluation unit 151) and the forced movement destination selection device 32.

アーカイブ評価部151は、強制移動対象データ(ここでは、データD4 min)を他のノードに移動させずに、自身の無限容量蓄積部105(コールドストレージ)にアーカイブさせた場合のアーカイブ評価値を算出する。
このアーカイブ評価値は、アーカイブ後のリアルタイムにデータ取得ができない経済的損失の総量(所定の損失)を示す。ここで、アーカイブされたデータに対するアクセスがあったとき、リアルタイムにデータを取得できない補償として経済的損失CPが発生するものとする。
例えば、アーカイブ評価部151は、強制移動対象データ(データD4 min)をアーカイブする際の有用性評価値がS4 minであるとき、アーカイブ評価値をS4 min×CPとする(図7の符号a)。
The archive evaluation unit 151 sets the archive evaluation value when the data to be forcibly moved (here, data D 4 min ) is archived in its own infinite capacity storage unit 105 (cold storage) without being moved to another node. calculate.
This archive evaluation value indicates the total amount of economic loss (predetermined loss) for which data cannot be acquired in real time after archiving. Here, when there is an access to the archived data, it is assumed that an economic loss CP occurs as compensation for not being able to acquire the data in real time.
For example, the archive evaluation unit 151 sets the archive evaluation value as S 4 min × CP when the usefulness evaluation value when archiving the forced movement target data (data D 4 min ) is S 4 min (FIG. 7). Reference numeral a).

強制移動先選択装置32は、強制移動対象データについての移動可能ノードのうち、有用性評価値が最小のデータを保持するノードを、強制移動先ノードとして選択する。
なお移動可能ノードは、自発移動先選択装置22での説明と同様であり、そのノードが状態情報を取得可能なノード(候補ノード)のうち、当該候補ノードまでのリンク使用量と強制移動対象データ(データD4 min)のサイズに基づき、各リンクの上限使用量で当該データが移動不可となるリンクを使用するノードを除いたノードである。
ここで、ノードN4の強制移動対象データ(データD4 min)についての移動可能ノードがノードN3, N4, N5, N6であるとし、有用性評価値が最小のデータ(min(Si min|3≦i≦6)=S5 minとする。)を保持するノードN5が、強制移動先ノードとして選択される。
強制移動先選択装置32は、強制移動先ノードを選択すると、その強制移動先ノードの情報を、強制移動処理部150(強制移動評価部152)に送信する。
The forced movement destination selection device 32 selects as the forced movement destination node the node that holds the data having the smallest usefulness evaluation value among the movable nodes for the forced movement target data.
The movable node is the same as the description in the spontaneous movement destination selection device 22, and among the nodes (candidate nodes) from which the node can acquire the state information, the link usage amount to the candidate node and the forced movement target data. Based on the size of (data D 4 min ), it is a node excluding the node that uses the link whose data cannot be moved at the upper limit usage of each link.
Here, the node forced movement target data N 4 (data D 4 min) movable node node N 3 for, N 4, N 5, and a N 6, usability evaluation value is minimum data (min ( Node N 5 holding S i min | 3 ≦ i ≦ 6) = S 5 min ) is selected as the forced movement destination node.
When the forced movement destination selection device 32 selects the forced movement destination node, the forced movement destination selection device 32 transmits the information of the forced movement destination node to the forced movement processing unit 150 (forced movement evaluation unit 152).

強制移動評価部152は、「強制移動によるデータ転送エネルギー(通信コスト)」と、「強制移動先ノードでアーカイブされたデータのアーカイブ評価値」との和を、強制移動評価値として算出する。
具体的には、強制移動対象データ(データD4 min)のデータ移動で生じる転送エネルギーをTC(=C×DS4 min×1)とする(図7の符号b)。なお、Cは比例定数である。
また、ノードN5が強制移動対象データ(データD4 min)を受信時に容量溢れが生じ、データD5 minがアーカイブされるとし、そのアーカイブ評価値がS5 min×CPとなる(図7の符号c)。
これにより、強制移動評価部152は、TC+S5 min×CPを、強制移動評価値として算出する。
The forced movement evaluation unit 152 calculates the sum of the "data transfer energy (communication cost) due to the forced movement" and the "archive evaluation value of the data archived at the forced movement destination node" as the forced movement evaluation value.
Specifically, the transfer energy generated by the data movement of the forced movement target data (data D 4 min ) is TC (= C × DS 4 min × 1) (reference numeral b in FIG. 7). C is a constant of proportionality.
Further, assuming that the capacity overflow occurs when the node N 5 receives the data to be forcibly moved (data D 4 min ) and the data D 5 min is archived, the archive evaluation value is S 5 min × CP (FIG. 7). Reference numeral c).
As a result, the forced movement evaluation unit 152 calculates TC + S 5 min × CP as the forced movement evaluation value.

図6に戻り、処理決定部153は、新規データDnewを受信したノードのアーカイブ評価値と、強制移動評価値とを比較し、小さい方を処理の実行対象として選択する。
例えば、処理決定部153は、S4 min×CP < TC+S5 min×CPであれば、データD4 minを、自身の無限容量蓄積部105(コールドストレージ)にアーカイブすると決定する。
一方、処理決定部153は、S4 min×CP > TC+S5 min×CPであれば、データD4 minを、強制移動先ノード(ノードN5)に強制移動すると決定する。
Returning to FIG. 6, the processing determination unit 153 compares the archive evaluation value of the node that has received the new data D new with the forced movement evaluation value, and selects the smaller one as the processing execution target.
For example, if S 4 min × CP <TC + S 5 min × CP, the processing determination unit 153 determines that the data D 4 min is archived in its own infinite capacity storage unit 105 (cold storage).
On the other hand, if S 4 min × CP> TC + S 5 min × CP, the processing determination unit 153 determines that the data D 4 min is forcibly moved to the forced movement destination node (node N 5 ).

アーカイブ実行部154は、処理決定部153が、アーカイブを実行すると決定した場合に、新規データDnewを受信したノード(ノードN4)の有用性評価値が最小のデータ(データD4 min)を、有限容量蓄積部100(ホットストレージ)から無限容量蓄積部105(コールドストレージ)に移動するアーカイブを実行する。 When the processing decision unit 153 decides to execute the archive, the archive execution unit 154 selects the data (data D 4 min ) having the minimum usefulness evaluation value of the node (node N 4 ) that has received the new data D new. , The archive that moves from the finite capacity storage unit 100 (hot storage) to the infinite capacity storage unit 105 (cold storage) is executed.

強制移動実行部155は、処理決定部153が、強制移動すると決定した場合に、新規データDnewを受信したノード(ノードN4)の有用性評価値が最小のデータである強制移動対象データ(データD4 min)を、強制移動先ノード(ノードN5)に移動(強制移動)する。 When the processing decision unit 153 determines that the forced movement is to be performed, the forced movement execution unit 155 is the data for which the usefulness evaluation value of the node (node N 4 ) that has received the new data D new is the minimum. Data D 4 min ) is moved (forced move) to the forced move destination node (node N 5).

図3に戻り、生成間隔調整装置40は、リアルタイム要求度が高いデバイス(Publisher)については、そのデバイスの最新データのAoIを小さく保つために、データ生成間隔を短くするように調整する。また、生成間隔調整装置40は、リアルタイム要求度が低いデバイスについては、ネットワーク負荷を小さくするため、そのデバイスのデータ生成間隔を長くするように調整する。 Returning to FIG. 3, the generation interval adjusting device 40 adjusts the device (Publisher) having a high real-time demand so as to shorten the data generation interval in order to keep the AoI of the latest data of the device small. Further, the generation interval adjusting device 40 adjusts the device having a low real-time requirement so as to lengthen the data generation interval of the device in order to reduce the network load.

ここで、データ管理装置1の状態監視部110は、各データに関し、データ生成後の所定時間内におけるそのデータへのアクセス数の情報を取得し記憶部12に記憶している。そして、生成間隔調整装置40は、記憶部12に記憶されたこのアクセス数の情報を参照し、各データに関し、所定時間内のアクセス数に比例する値をリアルタイム要求度として算出する。
生成間隔調整装置40は、リアルタイム要求度に応じて、データを生成するデバイスについて、データ生成間隔を長短(調整)する指示情報を生成する。そして、生成間隔調整装置40は、そのデータを生成するデバイスに対して、生成した指示情報を送信することにより、データ生成間隔をデバイス単位で調整する。
Here, the condition monitoring unit 110 of the data management device 1 acquires information on the number of accesses to the data within a predetermined time after the data is generated and stores the information in the storage unit 12. Then, the generation interval adjusting device 40 refers to the information of the number of accesses stored in the storage unit 12, and calculates a value proportional to the number of accesses within a predetermined time as the real-time request degree for each data.
The generation interval adjusting device 40 generates instruction information for lengthening (adjusting) the data generation interval for the device that generates data according to the real-time requirement. Then, the generation interval adjusting device 40 adjusts the data generation interval on a device-by-device basis by transmitting the generated instruction information to the device that generates the data.

この生成間隔調整装置40による、データ生成間隔の調整処理は、例えば、データ管理装置1が、有限容量蓄積部100(ホットストレージ)または無限容量蓄積部105(コールドストレージ)に記憶された、あるデータに対するユーザ端末からの取得要求を受信した際に行うようにしてもよい。また、生成間隔調整装置40は、有限容量蓄積部100(ホットストレージ)および無限容量蓄積部105(コールドストレージ)に記憶された各データを生成するデバイスについて、所定の時間間隔で、データ生成間隔の調整を行うようにしてもよい。 In the data generation interval adjustment process by the generation interval adjusting device 40, for example, the data management device 1 stores a certain data in the finite capacity storage unit 100 (hot storage) or the infinite capacity storage unit 105 (cold storage). It may be performed when the acquisition request from the user terminal is received. Further, the generation interval adjusting device 40 sets the data generation interval at a predetermined time interval for the device that generates each data stored in the finite capacity storage unit 100 (hot storage) and the infinite capacity storage unit 105 (cold storage). Adjustments may be made.

<本実施形態の構成についての変形例>
以上説明した本実施形態に係るデータ管理システム1000では、図3に示すように、データ管理装置1が、制御部10内に自発移動処理部130と強制移動処理部150との両方を備えるとともに、自発移動に関する装置群(自発移動条件判定装置21、自発移動先選択装置22、アーカイブ指示装置23)および強制移動に関する装置群(強制移動対象データ選択装置31、強制移動先選択装置32)を備えるものとして説明した。
しかしながら、本発明の実施形態は図3に示すデータ管理システム1000に限定されない。例えば、図8のデータ管理システム1000Aで示すように、図3で示した強制移動に関連する機能(強制移動処理部150および強制移動に関する装置群)を備えない構成にしてもよい。データ管理システム1000Aのデータ管理装置1Aは、有限容量蓄積部100(ホットストレージ)、無限容量蓄積部105(コールドストレージ)、自発移動処理部130、自発移動に関する装置群等を備えることにより、自身の有限容量蓄積部100(ホットストレージ)の記憶容量が不足する場合であっても、データ削除せずに記憶しておくことができる。さらに、自発移動処理部130が、有用性評価値およびアクセス偏在性に基づく所定の自発移動条件を満たすデータ(自発移動対象データ)を、最適ノードに移動しておくことができる。よって、ユーザ端末からアクセスされる可能性の高い有用なデータを、より転送エネルギーの少ない最適なノード(データ管理装置1A)の有限容量蓄積部100(ホットストレージ)に記憶させておくことができる。
<Modified example of the configuration of this embodiment>
In the data management system 1000 according to the present embodiment described above, as shown in FIG. 3, the data management device 1 includes both the spontaneous movement processing unit 130 and the forced movement processing unit 150 in the control unit 10. A group of devices related to spontaneous movement (spontaneous movement condition determination device 21, spontaneous movement destination selection device 22, archive instruction device 23) and a device group related to forced movement (forced movement target data selection device 31, forced movement destination selection device 32). Explained as.
However, the embodiment of the present invention is not limited to the data management system 1000 shown in FIG. For example, as shown in the data management system 1000A of FIG. 8, the configuration may not include the functions related to the forced movement (forced movement processing unit 150 and the device group related to the forced movement) shown in FIG. The data management device 1A of the data management system 1000A includes a finite capacity storage unit 100 (hot storage), an infinite capacity storage unit 105 (cold storage), a spontaneous movement processing unit 130, a group of devices related to spontaneous movement, and the like. Even when the storage capacity of the finite capacity storage unit 100 (hot storage) is insufficient, the data can be stored without being deleted. Further, the spontaneous movement processing unit 130 can move the data (spontaneous movement target data) that satisfies a predetermined spontaneous movement condition based on the usefulness evaluation value and the access uneven distribution to the optimum node. Therefore, useful data that is highly likely to be accessed from the user terminal can be stored in the finite capacity storage unit 100 (hot storage) of the optimum node (data management device 1A) having less transfer energy.

また、図9のデータ管理システム1000Bで示すように、図3で示した自発移動に関連する機能(自発移動処理部130および自発移動に関する装置群)を備えない構成にしてもよい。データ管理システム1000Bのデータ管理装置1Bは、有限容量蓄積部100(ホットストレージ)、無限容量蓄積部105(コールドストレージ)、強制移動処理部150、強制移動に関する装置群等を備えることにより、新たなデータを記憶しようとする際に、自身の有限容量蓄積部100(ホットストレージ)の記憶容量が不足する場合であっても、データ削除せずに記憶しておくことができる。さらに、強制移動処理部150が、各データ管理装置1Bの有限容量蓄積部100(ホットストレージ)に空き容量がない場合であっても、データ管理装置1Bの有限容量蓄積部100(ホットストレージ)に記憶されたデータのうち、有用性評価値が最小のデータ(強制移動対象データ)を、他のデータ管理装置1Bに強制移動させ、新たなデータを自身の有限容量蓄積部100(ホットストレージ)に記憶することができる。 Further, as shown in the data management system 1000B of FIG. 9, the configuration may not include the functions related to the spontaneous movement shown in FIG. 3 (the spontaneous movement processing unit 130 and the device group related to the spontaneous movement). The data management device 1B of the data management system 1000B is newly provided with a finite capacity storage unit 100 (hot storage), an infinite capacity storage unit 105 (cold storage), a forced movement processing unit 150, a group of devices related to forced movement, and the like. When trying to store data, even if the storage capacity of its own finite capacity storage unit 100 (hot storage) is insufficient, the data can be stored without being deleted. Further, even if the forced movement processing unit 150 has no free space in the finite capacity storage unit 100 (hot storage) of each data management device 1B, the forced movement processing unit 150 can be used in the finite capacity storage unit 100 (hot storage) of the data management device 1B. Of the stored data, the data with the smallest usefulness evaluation value (data to be forcibly moved) is forcibly moved to another data management device 1B, and new data is transferred to its own finite capacity storage unit 100 (hot storage). Can be remembered.

また、本実施形態に係るデータ管理システム1000(図3),1000A(図8),1000B(図9)において、生成間隔調整装置40を備えない構成にすることもできる。 Further, the data management systems 1000 (FIG. 3), 1000A (FIG. 8), and 1000B (FIG. 9) according to the present embodiment may be configured not to include the generation interval adjusting device 40.

<データ管理装置の処理>
次にデータ管理システム1000(図3参照)が実行する処理について説明する。ここでは、自発移動、強制移動、生成間隔調整に関する各処理内容について具体的に説明する。
なお、図8で示すデータ管理システム1000A、および、図9で示すデータ管理システム1000Bにおいても同様の処理を行う。
<Processing of data management device>
Next, the processing executed by the data management system 1000 (see FIG. 3) will be described. Here, each processing content related to spontaneous movement, forced movement, and generation interval adjustment will be specifically described.
The same processing is performed in the data management system 1000A shown in FIG. 8 and the data management system 1000B shown in FIG.

≪自発移動によるデータ配置制御≫
まず、データ管理システム1000の自発移動によるデータ配置制御について説明する。
なお、ここでは、データ管理装置1の状態監視部110(図3)が、状態情報を取得可能な隣接する他のデータ管理装置1から、データ毎のアクセス元およびその処理回数(アクセス数)の情報や、各リンク使用量等の状態情報を予め取得しているものとする。
また、自発移動処理部130(および自発移動に関する装置群)は、例えば、取得要求処理部120が、データの取得要求(リクエスト)を受信し、記憶部12内の有限容量蓄積部100(ホットストレージ)に記憶されているデータを送信したことを契機として、そのデータについて、以下に示す自発移動によるデータ配置制御を実行してもよい。また、自発移動処理部130は、記憶部12内の有限容量蓄積部100(ホットストレージ)に記憶されている各データについて、所定の時間間隔で、以下に示す自発移動によるデータ配置処理を実行してもよい。その際、自発移動処理部130は、例えばアクセス数の多いデータから順に、自発移動によるデータ配置処理を実行するようにしてもよい。
≪Data arrangement control by spontaneous movement≫
First, data arrangement control by spontaneous movement of the data management system 1000 will be described.
Here, the status monitoring unit 110 (FIG. 3) of the data management device 1 determines the access source for each data and the number of processes (access count) for each data from another adjacent data management device 1 capable of acquiring the status information. It is assumed that information and status information such as the usage amount of each link have been acquired in advance.
Further, in the spontaneous movement processing unit 130 (and the device group related to the spontaneous movement), for example, the acquisition request processing unit 120 receives a data acquisition request (request), and the finite capacity storage unit 100 (hot storage) in the storage unit 12 is used. ) May be triggered by the transmission of the data stored in), and the data arrangement control by the spontaneous movement shown below may be executed for the data. Further, the spontaneous movement processing unit 130 executes the following data arrangement processing by spontaneous movement for each data stored in the finite capacity storage unit 100 (hot storage) in the storage unit 12 at predetermined time intervals. You may. At that time, the spontaneous movement processing unit 130 may execute the data arrangement processing by the spontaneous movement in order from, for example, the data having the largest number of accesses.

図10は、本実施形態に係るデータ管理システム1000の自発移動によるデータ配置制御の流れを示すフローチャートである。
まず、データ管理装置1(自発移動処理部130)の有用性評価部131(図4参照)は、対象となるデータ(対象データ)の今後のアクセス数の予測に基づく有用性評価値を算出する(ステップS10)。
そして、有用性評価部131は、算出した有用性評価値を、自発移動条件判定装置21に送信する。
FIG. 10 is a flowchart showing a flow of data arrangement control by spontaneous movement of the data management system 1000 according to the present embodiment.
First, the usefulness evaluation unit 131 (see FIG. 4) of the data management device 1 (spontaneous movement processing unit 130) calculates a usefulness evaluation value based on the prediction of the future access number of the target data (target data). (Step S10).
Then, the usefulness evaluation unit 131 transmits the calculated usefulness evaluation value to the spontaneous movement condition determination device 21.

次に、自発移動処理部130のアクセス偏在性算出部132は、アクセス元の隣接ノードに関する偏りを示すアクセス偏在性を算出する(ステップS11)。
アクセス偏在性算出部132は、算出したアクセス偏在性の情報を、自発移動条件判定装置21に送信する。
Next, the access uneven distribution calculation unit 132 of the spontaneous movement processing unit 130 calculates the access uneven distribution indicating the bias regarding the adjacent node of the access source (step S11).
The access uneven distribution calculation unit 132 transmits the calculated access uneven distribution information to the spontaneous movement condition determination device 21.

続いて、自発移動条件判定装置21は、その対象データが、有用性評価値およびアクセス偏在性に関する所定の自発移動条件を満たすか否かを判定する(ステップS12)。
所定の自発移動条件は、例えば、有用性評価値が所定の閾値(所定の第1閾値)以上であり、かつ、アクセス偏在性が所定の確率(所定の第2閾値)以上であること、という条件である。
ここで、所定の自発移動条件を満たさなかった場合は(ステップS12→No)、処理を終了する。一方、所定の自発移動条件を満たす場合には(ステップS12→Yes)、自発移動条件判定装置21が、そのデータを、自発移動の対象となるデータ(自発移動対象データ)であるとし、自発移動先選択装置22にその情報を送信し、次のステップS13に進む。
Subsequently, the spontaneous movement condition determination device 21 determines whether or not the target data satisfies the predetermined spontaneous movement conditions regarding the usefulness evaluation value and the access uneven distribution (step S12).
The predetermined spontaneous movement condition is, for example, that the usefulness evaluation value is equal to or higher than a predetermined threshold value (predetermined first threshold value) and the access uneven distribution is equal to or higher than a predetermined probability (predetermined second threshold value). It is a condition.
Here, if the predetermined spontaneous movement condition is not satisfied (step S12 → No), the process ends. On the other hand, when a predetermined spontaneous movement condition is satisfied (step S12 → Yes), the spontaneous movement condition determination device 21 considers the data to be data to be spontaneously moved (spontaneous movement target data) and spontaneously moves. The information is transmitted to the preselection device 22, and the process proceeds to the next step S13.

ステップS13において、自発移動先選択装置22は、自発移動対象データの移動先となる最適ノード(自発移動先ノード)を選択する。この最適ノード選択処理の詳細は、後記する(図11参照)。そして、自発移動先選択装置22は、選択した最適ノード(自発移動先ノード)の情報を、自発移動処理部130(自発移動実行部133)に送信する。 In step S13, the spontaneous movement destination selection device 22 selects the optimum node (spontaneous movement destination node) as the movement destination of the spontaneous movement target data. Details of this optimum node selection process will be described later (see FIG. 11). Then, the spontaneous movement destination selection device 22 transmits the information of the selected optimum node (spontaneous movement destination node) to the spontaneous movement processing unit 130 (spontaneous movement execution unit 133).

次に、自発移動実行部135は、自発移動対象データを、ステップS13において選択した最適ノード(自発移動先ノード)となるデータ管理装置1に移動(自発移動)させる処理を実行する(ステップS14)。 Next, the spontaneous movement execution unit 135 executes a process of moving (spontaneous movement) the data to be spontaneously moved to the data management device 1 which is the optimum node (spontaneous movement destination node) selected in step S13 (step S14). ..

このようにすることで、データ管理システム1000のデータ管理装置1(自発移動処理部130)は、有用性評価値およびアクセス偏在性に基づく所定の自発移動条件を満たすデータ(自発移動対象データ)を、最適ノードに移動しておくことができる。よって、ユーザ端末からアクセスされる可能性の高い有用なデータを、より転送エネルギーの少ない最適なノード(データ管理装置1)の有限容量蓄積部100(ホットストレージ)に記憶させておくことができる。 By doing so, the data management device 1 (spontaneous movement processing unit 130) of the data management system 1000 can obtain data (spontaneous movement target data) that satisfies a predetermined spontaneous movement condition based on the usefulness evaluation value and access uneven distribution. , Can be moved to the optimal node. Therefore, useful data that is highly likely to be accessed from the user terminal can be stored in the finite capacity storage unit 100 (hot storage) of the optimum node (data management device 1) having less transfer energy.

〔最適ノード選択処理〕
図11は、本実施形態に係るデータ管理システム1000の最適ノード選択処理の流れを示すフローチャートである。
この最適ノード選択処理は、図10で示す自発移動によるデータ配置制御におけるステップS13において、自発移動先選択装置22が実行する処理である。
[Optimal node selection process]
FIG. 11 is a flowchart showing the flow of the optimum node selection process of the data management system 1000 according to the present embodiment.
This optimum node selection process is a process executed by the spontaneous movement destination selection device 22 in step S13 in the data arrangement control by spontaneous movement shown in FIG.

まず、自発移動先選択装置22(図3)は、自発移動対象データを記憶するノード(自身と接続されるデータ管理装置1)における、状態情報を取得可能なノード(候補ノード)を特定する。そして、自発移動先選択装置22は、アクセス偏在性が高い方向以外にあるノードを除く(ステップS131:手順1)。 First, the spontaneous movement destination selection device 22 (FIG. 3) identifies a node (candidate node) from which the state information can be acquired in the node (data management device 1 connected to itself) that stores the spontaneous movement target data. Then, the spontaneous movement destination selection device 22 excludes the nodes other than the direction in which the access uneven distribution is high (step S131: procedure 1).

次に、自発移動先選択装置22は、候補ノードまでのリンク使用状況に基づき、移動可能ノードを選択する(ステップS132:手順2)。 Next, the spontaneous movement destination selection device 22 selects a movable node based on the link usage status up to the candidate node (step S132: procedure 2).

続いて、自発移動先選択装置22は、移動可能ノードそれぞれが保持するデータの有用性評価値の最小値を、データ管理装置1の記憶部12を参照して確認する。そして、自発移動先選択装置22は、その確認した有用性評価値が、自発移動対象データの有用性評価値よりも小さい場合に、その確認した有用性評価値のデータを保持する移動可能ノードを、保持可能ノードとして選択する(ステップS133:手順3)。 Subsequently, the spontaneous movement destination selection device 22 confirms the minimum value of the usefulness evaluation value of the data held by each of the movable nodes with reference to the storage unit 12 of the data management device 1. Then, when the confirmed usefulness evaluation value is smaller than the usefulness evaluation value of the spontaneous movement target data, the spontaneous movement destination selection device 22 provides a movable node that holds the confirmed usefulness evaluation value data. , Select as a retainable node (step S133: step 3).

そして、自発移動先選択装置22は、自発移動対象データを、保持可能ノードまで移動し保持させた際の「移動のための転送エネルギー(通信コスト)」と、ユーザ端末による「データ取得の転送エネルギー(通信コスト)」との和が最小となるノードを、保持可能ノードの中から最適ノードとして選択する(ステップS134:手順4)。
このようにして、自発移動先選択装置22は、自発移動対象データに関する最適ノードを選択することができる。
Then, the spontaneous movement destination selection device 22 moves and holds the spontaneous movement target data to the holdable node, and the "transfer energy (communication cost) for movement" and the "transfer energy for data acquisition" by the user terminal. The node having the smallest sum with "(communication cost)" is selected as the optimum node from the holdable nodes (step S134: step 4).
In this way, the spontaneous movement destination selection device 22 can select the optimum node for the spontaneous movement target data.

≪強制移動によるデータ配置制御≫
次に、データ管理システム1000の強制移動によるデータ配置制御について説明する。
なお、ここでは、データ管理装置1の状態監視部110(図3)が、状態情報を取得可能な隣接する他のデータ管理装置1から、各データ管理装置1間のリンクの使用状況(リンク使用量)、各データ管理装置1の有限容量蓄積部100(ホットストレージ)の空き容量や有用性評価値が最小のデータ等の情報(状態情報)を取得しているものとする。
また、状態情報を取得可能な全てのデータ管理装置1の有限容量蓄積部(ホットストレージ)に空き容量がないものとする。
この強制移動処理部150および強制移動に関する装置群は、データ蓄積部140が新たなデータを受信したことを契機として処理を開始する。
≪Data placement control by forced displacement≫
Next, data arrangement control by forced movement of the data management system 1000 will be described.
Here, the status monitoring unit 110 (FIG. 3) of the data management device 1 is using the link between each data management device 1 from another adjacent data management device 1 capable of acquiring the status information (link use). Amount), it is assumed that information (state information) such as free capacity of the finite capacity storage unit 100 (hot storage) of each data management device 1 and data having the minimum usefulness evaluation value is acquired.
Further, it is assumed that there is no free space in the finite capacity storage unit (hot storage) of all the data management devices 1 capable of acquiring the state information.
The forced movement processing unit 150 and the device group related to the forced movement start processing when the data storage unit 140 receives new data.

図12は、本実施形態に係るデータ管理システム1000の強制移動によるデータ配置制御の流れを示すフローチャートである。
まず、データ管理装置1のデータ蓄積部140は、新たなデータを受信すると、そのデータの容量を確認する。そして、データ蓄積部140は、自身の有限容量蓄積部100(ホットストレージ)に、新たなデータを格納できるだけの空き容量があるか否かを判定する(ステップS20)。
そして、データ蓄積部140は、空き容量があれば(ステップS20→Yes)、その新たなデータを、有限容量蓄積部100(ホットストレージ)に記憶する(ステップS21)。一方、空き容量がなければ(ステップS20→No)、データ蓄積部140は、その新たなデータの情報を、強制移動対象データ選択装置31に送信し、次のステップS22に進む。
FIG. 12 is a flowchart showing a flow of data arrangement control by forced movement of the data management system 1000 according to the present embodiment.
First, when the data storage unit 140 of the data management device 1 receives new data, the data storage unit 140 confirms the capacity of the data. Then, the data storage unit 140 determines whether or not the finite capacity storage unit 100 (hot storage) has enough free space to store new data (step S20).
Then, if there is free space (step S20 → Yes), the data storage unit 140 stores the new data in the finite capacity storage unit 100 (hot storage) (step S21). On the other hand, if there is no free space (step S20 → No), the data storage unit 140 transmits the new data information to the forced movement target data selection device 31, and proceeds to the next step S22.

ステップS22において、強制移動対象データ選択装置31は、自身と接続されるデータ管理装置1の有限容量蓄積部100(ホットストレージ)に記憶する各データについて、有用性評価値を算出し、有用性評価値が最小のデータを、強制移動対象データとして選択する。
強制移動対象データ選択装置31は、強制移動対象データを選択すると、その強制移動対象データの情報を、強制移動処理部150(アーカイブ評価部151)と強制移動先選択装置32とに送信する。
In step S22, the forced movement target data selection device 31 calculates a usefulness evaluation value for each data stored in the finite capacity storage unit 100 (hot storage) of the data management device 1 connected to itself, and evaluates the usefulness. The data with the smallest value is selected as the data to be forcibly moved.
When the forced movement target data selection device 31 selects the forced movement target data, the forced movement target data selection device 31 transmits the information of the forced movement target data to the forced movement processing unit 150 (archive evaluation unit 151) and the forced movement destination selection device 32.

次に、アーカイブ評価部151は、強制移動対象データを、自身の無限容量蓄積部105(コールドストレージ)にアーカイブさせた場合のアーカイブ評価値を算出する(ステップS23)。 Next, the archive evaluation unit 151 calculates an archive evaluation value when the forced movement target data is archived in its own infinite capacity storage unit 105 (cold storage) (step S23).

続いて、強制移動先選択装置32は、強制移動対象データについての移動可能ノードのうち、有用性評価値が最小のデータを保持するノードを、強制移動先ノードとして選択する(ステップS24)。
強制移動先選択装置32は、選択した強制移動先ノードの情報を、強制移動処理部150(強制移動評価部152)に送信する。
Subsequently, the forced movement destination selection device 32 selects the node holding the data having the minimum usefulness evaluation value among the movable nodes for the forced movement target data as the forced movement destination node (step S24).
The forced movement destination selection device 32 transmits the information of the selected forced movement destination node to the forced movement processing unit 150 (forced movement evaluation unit 152).

そして、強制移動評価部152は、強制移動対象データを強制移動先ノードに移動した場合の「強制移動によるデータ転送エネルギー(通信コスト)」と、強制移動先ノードに記憶される有用性評価値が最小のデータがアーカイブされた場合のアーカイブ評価値(「強制移動先ノードでアーカイブされたデータのアーカイブ評価値」)との和を、強制移動評価値として算出する(ステップS25)。 Then, the forced movement evaluation unit 152 determines the "data transfer energy (communication cost) due to forced movement" when the forced movement target data is moved to the forced movement destination node, and the usefulness evaluation value stored in the forced movement destination node. The sum of the archive evaluation value when the minimum data is archived (“the archive evaluation value of the data archived at the forced movement destination node”) is calculated as the forced movement evaluation value (step S25).

次に、処理決定部153は、ステップS23で算出した、新たなデータを受信したノードのアーカイブ評価値と、ステップS25で算出した強制移動評価値とを比較し、小さい方を処理の実行対象として決定する(ステップS26)。
ここで、処理決定部153は、新たなデータを受信したノードのアーカイブ評価値の方が、強制移動評価値より小さければ、アーカイブ処理を実行すると決定する。一方、処理決定部153は、強制移動評価値の方が、新たなデータを受信したノードのアーカイブ評価値より小さければ、強制移動を実行すると決定する。
なお、処理決定部153は、新たなデータを受信したノードのアーカイブ評価値と、強制移動評価値とが同じであれば、予め決めておいた方の処理を実行してもよいし、ランダムにどちらかの処理を決定してもよい。
Next, the processing determination unit 153 compares the archive evaluation value of the node that received the new data calculated in step S23 with the forced displacement evaluation value calculated in step S25, and sets the smaller one as the processing execution target. Determine (step S26).
Here, the processing determination unit 153 determines that the archive processing is executed if the archive evaluation value of the node that has received the new data is smaller than the forced movement evaluation value. On the other hand, the processing determination unit 153 determines that the forced movement is executed if the forced movement evaluation value is smaller than the archive evaluation value of the node that has received the new data.
If the archive evaluation value of the node that has received the new data and the forced movement evaluation value are the same, the process determination unit 153 may execute the predetermined process or randomly. Either process may be determined.

次に、ステップS26において処理決定部153がアーカイブ処理を実行すると決定した場合には、アーカイブ実行部154が、新たなデータを受信したノードの有用性評価値が最小のデータ(強制移動対象データ)を、有限容量蓄積部100(ホットストレージ)から無限容量蓄積部105(コールドストレージ)に移動するアーカイブを実行する(ステップS27)。そして、ステップS20に戻る。 Next, when the process determination unit 153 determines in step S26 to execute the archive process, the archive execution unit 154 determines the data having the minimum usefulness evaluation value of the node that has received the new data (forced movement target data). Is transferred from the finite capacity storage unit 100 (hot storage) to the infinite capacity storage unit 105 (cold storage) (step S27). Then, the process returns to step S20.

一方、ステップS26において処理決定部153が強制移動を実行すると決定した場合には、強制移動実行部155が、新たなデータを受信したノードの有用性評価値が最小のデータ(強制移動対象データ)を、強制移動先ノードに移動(強制移動)する(ステップS28)。そして、ステップS20に戻る。 On the other hand, when the processing determination unit 153 determines in step S26 to execute the forced movement, the forced movement execution unit 155 is the data having the minimum usefulness evaluation value of the node that has received the new data (forced movement target data). Is moved (forced movement) to the forced movement destination node (step S28). Then, the process returns to step S20.

このようにすることで、データ管理システム1000のデータ管理装置1(強制移動処理部150)は、各データ管理装置1の有限容量蓄積部100(ホットストレージ)に空き容量がない場合であっても、各データ管理装置1の有限容量蓄積部100(ホットストレージ)に記憶されたデータのうち、有用性評価値が最小のデータ(強制移動対象データ)を、他のデータ管理装置1に強制移動させ、新たなデータを自身の有限容量蓄積部100(ホットストレージ)に記憶することができる。 By doing so, the data management device 1 (forced movement processing unit 150) of the data management system 1000 can be used even when the finite capacity storage unit 100 (hot storage) of each data management device 1 has no free space. , Of the data stored in the finite capacity storage unit 100 (hot storage) of each data management device 1, the data having the smallest usefulness evaluation value (forced movement target data) is forcibly moved to another data management device 1. , New data can be stored in its own finite capacity storage unit 100 (hot storage).

≪リアルタイム要求に応じたデータ生成間隔調整≫
次に、データ管理システム1000の生成間隔調整装置40(図3)によるリアルタイム要求に応じたデータ生成間隔調整について説明する。
なお、ここで、記憶部12には、各データに対するアクセス数の情報が、状態監視部110を介して記憶されているものとする。
≪Adjustment of data generation interval according to real-time request≫
Next, the data generation interval adjustment according to the real-time request by the generation interval adjusting device 40 (FIG. 3) of the data management system 1000 will be described.
Here, it is assumed that the storage unit 12 stores information on the number of accesses to each data via the state monitoring unit 110.

図13は、本実施形態に係るデータ管理システム1000のデータ生成間隔調整の流れを示すフローチャートである。
まず、データ管理装置1の取得要求処理部120が、自身のデータ管理装置1が収容するユーザ端末(図示省略)や他のデータ管理装置1から、データの取得要求(リクエスト)を受信し、記憶部12内の有限容量蓄積部100(ホットストレージ)または無限容量蓄積部105(コールドストレージ)に記憶されているデータを、応答情報として返信する(ステップS30)。
FIG. 13 is a flowchart showing a flow of adjusting the data generation interval of the data management system 1000 according to the present embodiment.
First, the acquisition request processing unit 120 of the data management device 1 receives and stores a data acquisition request (request) from the user terminal (not shown) or another data management device 1 housed in the data management device 1. The data stored in the finite capacity storage unit 100 (hot storage) or the infinite capacity storage unit 105 (cold storage) in the unit 12 is returned as response information (step S30).

次に、生成間隔調整装置40は、取得要求を受けたデータについて、所定時間内のアクセス数に比例する値をリアルタイム要求度として算出する(ステップS31)。
なお、生成間隔調整装置40は、データ管理装置1の取得要求処理部120を監視し、取得要求を受けたデータの情報を得てもよいし、取得要求処理部120がデータを返信した旨の情報を生成間隔調整装置40に送信するように設定しておくことにより、そのデータに関する情報を取得してもよい。
続いて、生成間隔調整装置40は、リアルタイム要求度が高いほど、データ生成間隔を短く調整する指示情報を生成し、そのデータを生成したデバイス(Publisher)に送信する(ステップS32)。
Next, the generation interval adjusting device 40 calculates a value proportional to the number of accesses within a predetermined time as a real-time request degree for the data for which the acquisition request has been received (step S31).
The generation interval adjusting device 40 may monitor the acquisition request processing unit 120 of the data management device 1 to obtain information on the data for which the acquisition request has been received, or the acquisition request processing unit 120 has returned the data. Information about the data may be acquired by setting the information to be transmitted to the generation interval adjusting device 40.
Subsequently, the generation interval adjusting device 40 generates instruction information for adjusting the data generation interval to be shorter as the real-time requirement is higher, and transmits the data to the generating device (Publisher) (step S32).

このようにすることで、データ管理システム1000の生成間隔調整装置40は、リアルタイム要求度が高いデバイスの最新データは、AoIをより小さく、つまり、データ生成間隔を短くするように調整できる。一方、生成間隔調整装置40は、リアルタイム要求度の低いデバイスの最新データは、AoIをより大きく、つまり、データ生成間隔を長くするように調整できる。よって、そのデータに関する移動のためのネットワーク負荷を低減することが可能となる。 By doing so, the generation interval adjusting device 40 of the data management system 1000 can adjust the latest data of the device having a high real-time requirement so that the AoI is smaller, that is, the data generation interval is shortened. On the other hand, the generation interval adjusting device 40 can adjust the latest data of the device having a low real-time requirement so that the AoI is larger, that is, the data generation interval is lengthened. Therefore, it is possible to reduce the network load for moving the data.

<ハードウェア構成>
本実施形態に係るデータ管理装置1(1A,1B)や各装置(自発移動条件判定装置21、自発移動先選択装置22、アーカイブ指示装置23、強制移動対象データ選択装置31、強制移動先選択装置32、生成間隔調整装置40)は、例えば図14に示すような構成のコンピュータ900によって実現される。
図14は、本実施形態に係るデータ管理装置1(1A,1B)および各装置の機能を実現するコンピュータ900の一例を示すハードウェア構成図である。コンピュータ900は、CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM903、HDD(Hard Disk Drive)904、入出力I/F(Interface)905、通信I/F906およびメディアI/F907を有する。
<Hardware configuration>
Data management device 1 (1A, 1B) and each device (spontaneous movement condition determination device 21, spontaneous movement destination selection device 22, archive instruction device 23, forced movement target data selection device 31, forced movement destination selection device) according to the present embodiment. 32. The generation interval adjusting device 40) is realized by, for example, a computer 900 having a configuration as shown in FIG.
FIG. 14 is a hardware configuration diagram showing an example of the data management devices 1 (1A, 1B) according to the present embodiment and the computer 900 that realizes the functions of each device. The computer 900 includes a CPU (Central Processing Unit) 901, a ROM (Read Only Memory) 902, a RAM 903, an HDD (Hard Disk Drive) 904, an input / output I / F (Interface) 905, a communication I / F 906, and a media I / F 907. Have.

CPU901は、ROM902またはHDD904に記憶されたプログラムに基づき作動し、制御部10(図3,図8,図9等)による制御を行う。ROM902は、コンピュータ900の起動時にCPU901により実行されるブートプログラムや、コンピュータ900のハードウェアに係るプログラム等を記憶する。 The CPU 901 operates based on a program stored in the ROM 902 or the HDD 904, and is controlled by the control unit 10 (FIGS. 3, 8, 9, 9, etc.). The ROM 902 stores a boot program executed by the CPU 901 when the computer 900 is started, a program related to the hardware of the computer 900, and the like.

CPU901は、入出力I/F905を介して、マウスやキーボード等の入力装置910、および、ディスプレイやプリンタ等の出力装置911を制御する。CPU901は、入出力I/F905を介して、入力装置910からデータを取得するともに、生成したデータを出力装置911へ出力する。なお、プロセッサとしてCPU901とともに、GPU(Graphics Processing Unit)等を用いても良い。 The CPU 901 controls an input device 910 such as a mouse and a keyboard and an output device 911 such as a display and a printer via the input / output I / F 905. The CPU 901 acquires data from the input device 910 and outputs the generated data to the output device 911 via the input / output I / F 905. A GPU (Graphics Processing Unit) or the like may be used together with the CPU 901 as the processor.

HDD904は、CPU901により実行されるプログラムおよび当該プログラムによって使用されるデータ等を記憶する。通信I/F906は、通信網(例えば、NW(Network)920)を介して他の装置からデータを受信してCPU901へ出力し、また、CPU901が生成したデータを、通信網を介して他の装置へ送信する。 The HDD 904 stores a program executed by the CPU 901, data used by the program, and the like. The communication I / F906 receives data from another device via a communication network (for example, NW (Network) 920) and outputs the data to the CPU 901, and the data generated by the CPU 901 is transmitted to another device via the communication network. Send to the device.

メディアI/F907(データ読み取り/書き込みモジュール)は、記録媒体912に格納されたプログラムまたはデータを読み取り、RAM903を介してCPU901へ出力する。CPU901は、目的の処理に係るプログラムを、メディアI/F907を介して記録媒体912からRAM903上にロードし、ロードしたプログラムを実行する。記録媒体912は、DVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto Optical disk)等の光磁気記録媒体、磁気記録媒体、半導体メモリ等である。 The media I / F907 (data read / write module) reads the program or data stored in the recording medium 912 and outputs the program or data to the CPU 901 via the RAM 903. The CPU 901 loads the program related to the target processing from the recording medium 912 onto the RAM 903 via the media I / F 907, and executes the loaded program. The recording medium 912 is an optical recording medium such as a DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk), a magneto-optical recording medium such as an MO (Magneto Optical disk), a magnetic recording medium, a semiconductor memory, or the like.

例えば、コンピュータ900が本発明のデータ管理装置1(1A,1B)や上記各装置として機能する場合、コンピュータ900のCPU901は、RAM903上にロードされたプログラムを実行することにより、データ管理装置1(1A,1B)や各装置の機能を実現する。また、HDD904には、RAM903内のデータが記憶される。CPU901は、目的の処理に係るプログラムを記録媒体912から読み取って実行する。この他、CPU901は、他の装置から通信網(NW920)を介して目的の処理に係るプログラムを読み込んでもよい。 For example, when the computer 900 functions as the data management device 1 (1A, 1B) of the present invention or each of the above devices, the CPU 901 of the computer 900 executes the program loaded on the RAM 903 to execute the data management device 1 (1A, 1B). 1A, 1B) and the functions of each device are realized. Further, the data in the RAM 903 is stored in the HDD 904. The CPU 901 reads a program related to the target process from the recording medium 912 and executes it. In addition, the CPU 901 may read a program related to the target processing from another device via the communication network (NW920).

<効果>
以下、本発明に係るデータ管理システム1000(1000A)等の効果について説明する。
本発明に係るデータ管理システムは、ストレージデバイスとして機能するノードが複数で構成されるストレージネットワークにおける、ノードであるデータ管理装置1(1A)を含むデータ管理システム1000(1000A)であって、データ管理システム1000は、データを記憶するためのホットストレージおよびコールドストレージを有するデータ管理装置1、並びに、当該データ管理装置1を自ノードとし接続される、自発移動条件判定装置21、自発移動先選択装置22およびアーカイブ指示装置23を備えており、自発移動条件判定装置21は、ホットストレージに記憶されたデータが、当該データへのアクセスに関する所定の自発移動条件を満たす場合に、当該データを自発移動対象データと判定し、自発移動先選択装置22は、データにアクセスする際のユーザ端末の通信コストが削減される位置にある、自ノード以外の他ノードを、自発移動対象データを保持するノードからの移動先となるノードを示す自発移動先ノードとして選択し、アーカイブ指示装置23は、自ノードのホットストレージに記憶されたデータのうち、将来のアクセス数の予測が大きいほど高い値を示す有用性評価値が最小のデータを、自ノードのコールドストレージに移動させる指示情報を、データ管理装置1に送信し、データ管理装置1は、自発移動対象データを自発移動先ノードに移動し、指示情報を受け取ると、自ノードのホットストレージに記憶された有用性評価値が最小のデータ、自ノードのコールドストレージに移動させることを特徴とする。
<Effect>
Hereinafter, the effects of the data management system 1000 (1000A) and the like according to the present invention will be described.
The data management system according to the present invention is a data management system 1000 (1000A) including a data management device 1 (1A) which is a node in a storage network composed of a plurality of nodes functioning as storage devices, and data management. The system 1000 includes a data management device 1 having hot storage and cold storage for storing data, a spontaneous movement condition determination device 21 and a spontaneous movement destination selection device 22 connected with the data management device 1 as its own node. When the data stored in the hot storage satisfies a predetermined spontaneous movement condition regarding access to the data, the spontaneous movement condition determination device 21 includes the archive instruction device 23, and the spontaneous movement target data. The spontaneous movement destination selection device 22 moves the other nodes other than the own node, which are in a position where the communication cost of the user terminal when accessing the data is reduced, from the node holding the spontaneous movement target data. Selected as the spontaneous movement destination node indicating the destination node, the archive instruction device 23 shows a usefulness evaluation value showing a higher value as the prediction of the number of future accesses is larger among the data stored in the hot storage of the own node. Sends instruction information to move the minimum data to the cold storage of its own node to the data management device 1, and when the data management device 1 moves the spontaneous movement target data to the spontaneous movement destination node and receives the instruction information. The feature is that the data with the minimum usefulness evaluation value stored in the hot storage of the own node is moved to the cold storage of the own node.

このように、データ管理システム1000(1000A)は、データ管理装置1(1A)の記憶部12にホットストレージとともに、コールドストレージを備えることにより、ホットストレージに空き容量がない場合には、コールドストレージにデータを移動し記憶しておくことができる。
また、自発移動条件判定装置21は、アクセスに関する所定の自発移動条件を満たすデータを自発移動対象データとして選択する。自発移動先選択装置22は、ユーザ端末の通信コストが削減される位置にある自発移動先ノードを選択する。そして、データ管理装置1が、自発移動対象データを自発移動先ノードに移動させることができる。
よって、ユーザ端末からアクセスされる可能性の高い有用なデータを、ユーザ端末からの通信コストが少ないノードに移動させておくことができる。
また、データ管理装置1は、アーカイブ指示装置23からの指示情報を受け取り、自ノードのホットストレージに記憶された有用性評価値が最小のデータを、自ノードのコールドストレージに移動させることができる。よって、データ管理システム1000(1000A)によれば、ストレージデバイスの記憶容量が不足する場合であっても、データを削除せずに記憶しておくことができる。
As described above, the data management system 1000 (1000A) is provided with the cold storage together with the hot storage in the storage unit 12 of the data management device 1 (1A), so that the cold storage can be used when there is no free space in the hot storage. Data can be moved and stored.
Further, the spontaneous movement condition determination device 21 selects data that satisfies a predetermined spontaneous movement condition regarding access as the spontaneous movement target data. The spontaneous movement destination selection device 22 selects a spontaneous movement destination node at a position where the communication cost of the user terminal is reduced. Then, the data management device 1 can move the spontaneous movement target data to the spontaneous movement destination node.
Therefore, useful data that is likely to be accessed from the user terminal can be moved to a node that has a low communication cost from the user terminal.
Further, the data management device 1 can receive the instruction information from the archive instruction device 23 and move the data having the minimum usefulness evaluation value stored in the hot storage of the own node to the cold storage of the own node. Therefore, according to the data management system 1000 (1000A), even when the storage capacity of the storage device is insufficient, the data can be stored without being deleted.

また、データ管理システム1000(1000A)において、ホットストレージに記憶されたデータの所定時間内のアクセス数に比例する値をリアルタイム要求度として算出し、リアルタイム要求度が高いほど、データ生成間隔を短く調整する指示情報を生成し、当該データを生成するデバイスに、指示情報を出力する生成間隔調整装置40を、さらに備えることを特徴とする。 Further, in the data management system 1000 (1000A), a value proportional to the number of accesses of the data stored in the hot storage within a predetermined time is calculated as a real-time requirement, and the higher the real-time requirement, the shorter the data generation interval is adjusted. The device for generating the instruction information to be generated and generating the data is further provided with a generation interval adjusting device 40 for outputting the instruction information.

このようにすることで、データ管理システム1000(1000A)の生成間隔調整装置40は、リアルタイム要求度の高いデバイスのデータ生成間隔を短くすることにより、AoIを低減することができる。また、生成間隔調整装置40は、リアルタイム要求度の低いデバイスのデータ生成間隔を長くすることにより、データを移動させる際のネットワーク負荷を低減することができる。 By doing so, the generation interval adjusting device 40 of the data management system 1000 (1000A) can reduce AoI by shortening the data generation interval of the device having a high real-time demand. Further, the generation interval adjusting device 40 can reduce the network load when moving the data by lengthening the data generation interval of the device having a low real-time requirement.

また、データ管理装置は、ストレージデバイスとして機能するノードが複数で構成されるストレージネットワークにおける、ノードであるデータ管理装置1(1A)を含むデータ管理システム1000(1000A)のデータ管理装置1(1A)であって、データ管理システム1000は、データ管理装置1、並びに、当該データ管理装置1を自ノードとし接続される、自発移動条件判定装置21、自発移動先選択装置22およびアーカイブ指示装置23を備えており、データ管理装置1は、データを記憶するためのホットストレージおよびコールドストレージを有し、ホットストレージに記憶されたデータにおいて、当該データへのアクセスに関する所定の自発移動条件を満たすと自発移動条件判定装置21により判定されたデータである自発移動対象データを、データにアクセスする際のユーザ端末の通信コストが削減される位置にあり、自発移動対象データを保持するノードからの移動先のノードとして自発移動先選択装置22により選択された、自ノード以外の他ノードである自発移動先ノードに移動し、自ノードのホットストレージに記憶されたデータのうち、将来のアクセス数の予測が大きいほど高い値を示す有用性評価値が最小のデータを、自ノードのコールドストレージに移動させる指示情報をアーカイブ指示装置23から受け取り、自ノードのホットストレージに記憶された有用性評価値が最小のデータ、自ノードのコールドストレージに移動させることを特徴とする。 Further, the data management device is a data management device 1 (1A) of a data management system 1000 (1000A) including a data management device 1 (1A) which is a node in a storage network composed of a plurality of nodes functioning as storage devices. The data management system 1000 includes a data management device 1, a spontaneous movement condition determination device 21, a spontaneous movement destination selection device 22, and an archive instruction device 23, which are connected with the data management device 1 as its own node. The data management device 1 has a hot storage and a cold storage for storing data, and when the data stored in the hot storage satisfies a predetermined spontaneous movement condition regarding access to the data, a spontaneous movement condition is satisfied. The spontaneous movement target data, which is the data determined by the determination device 21, is in a position where the communication cost of the user terminal when accessing the data is reduced, and is used as a destination node from the node holding the spontaneous movement target data. Of the data stored in the hot storage of the own node after moving to the spontaneous move destination node, which is a node other than the own node, selected by the spontaneous move destination selection device 22, the larger the prediction of the future access number, the higher the value. Receives instruction information from the archive instruction device 23 to move the data with the smallest usefulness evaluation value indicating the value to the cold storage of the own node, and the data with the smallest usefulness evaluation value stored in the hot storage of the own node, own It is characterized by moving it to the cold storage of the node.

このように、データ管理装置1(1A)は、自発移動条件判定装置21が判定した自発移動対象データを、自発移動先選択装置22が選択した自発移動先ノードに移動することができる。よって、ユーザ端末からアクセスされる可能性の高い有用なデータを、ユーザ端末からの通信コストが少ないノードに移動させておくことができる。
また、データ管理装置1は、アーカイブ指示装置23からの指示情報を受け取り、自ノードのホットストレージに記憶された有用性評価値が最小のデータを、自ノードのコールドストレージに移動させることができる。よって、データ管理装置1(1A)は、ストレージデバイスの記憶容量が不足する場合であっても、データを削除せずに記憶しておくことができる。
In this way, the data management device 1 (1A) can move the spontaneous movement target data determined by the spontaneous movement condition determination device 21 to the spontaneous movement destination node selected by the spontaneous movement destination selection device 22. Therefore, useful data that is likely to be accessed from the user terminal can be moved to a node that has a low communication cost from the user terminal.
Further, the data management device 1 can receive the instruction information from the archive instruction device 23 and move the data having the minimum usefulness evaluation value stored in the hot storage of the own node to the cold storage of the own node. Therefore, the data management device 1 (1A) can store the data without deleting it even when the storage capacity of the storage device is insufficient.

また、自発移動条件判定装置は、ストレージデバイスとして機能するノードが複数で構成されるストレージネットワークにおける、ノードであるデータ管理装置1(1A)を含むデータ管理システム1000(1000A)の自発移動条件判定装置21であって、データ管理システム1000は、データを記憶するためのホットストレージおよびコールドストレージを有するデータ管理装置1および自発移動条件判定装置21を備えており、自発移動条件判定装置21は、ホットストレージに記憶されたデータが、当該データへのアクセスに関する所定の自発移動条件を満たす場合に、当該データを自発移動対象データと判定することを特徴とする。 Further, the spontaneous movement condition determination device is a spontaneous movement condition determination device of the data management system 1000 (1000A) including the data management device 1 (1A) which is a node in a storage network composed of a plurality of nodes functioning as storage devices. The data management system 1000 includes a data management device 1 having hot storage and cold storage for storing data and a spontaneous movement condition determination device 21, and the spontaneous movement condition determination device 21 is a hot storage. When the data stored in the data satisfies a predetermined spontaneous movement condition regarding access to the data, the data is determined to be the spontaneous movement target data.

このように、自発移動条件判定装置21は、アクセスに関する所定の自発移動条件を満たすデータを自発移動の対象となるデータを示す自発移動対象データと判定することができる。
自発移動条件判定装置21が判定するアクセスに関する所定の自発移動条件は、例えば、有用性評価値とアクセス偏在性の両方が所定の閾値よりも高い場合に、そのデータを自発移動対象データと判定することである。このような、アクセスに関する所定の自発移動条件によれば、将来アクセスされる可能性が高くて、そのデータを保持するノードが、取得要求を受け付けるノードを示す需要地点ノードである確率の低い場合に、自発移動対象データと判定されるため、ユーザ端末の通信コストの削減効果の高いデータを選択して移動させることができる。
In this way, the spontaneous movement condition determination device 21 can determine that the data satisfying the predetermined spontaneous movement condition regarding access is the spontaneous movement target data indicating the data to be the target of the spontaneous movement.
The predetermined spontaneous movement condition regarding the access determined by the spontaneous movement condition determination device 21 determines, for example, the data as the spontaneous movement target data when both the usefulness evaluation value and the access uneven distribution are higher than the predetermined threshold value. That is. According to such a predetermined spontaneous movement condition regarding access, when there is a high possibility that the data will be accessed in the future and the probability that the node holding the data is a demand point node indicating a node that accepts an acquisition request is low. Since it is determined to be the data to be spontaneously moved, it is possible to select and move the data having a high effect of reducing the communication cost of the user terminal.

また、自発移動先選択装置は、ストレージデバイスとして機能するノードが複数で構成されるストレージネットワークにおける、ノードであるデータ管理装置1(1A)を含むデータ管理システム1000(1000A)の自発移動先選択装置22であって、データ管理システム1000は、データを記憶するためのホットストレージおよびコールドストレージを有するデータ管理装置1、並びに、当該データ管理装置1を自ノードとし接続される、自発移動条件判定装置21および自発移動先選択装置22を備えており、自発移動先選択装置22は、ホットストレージに記憶されたデータにおいて、当該データへのアクセスに関する所定の自発移動条件を満たすと自発移動条件判定装置21により判定されたデータである自発移動対象データについて、当該データにアクセスする際のユーザ端末の通信コストが削減される位置にある、自ノード以外の他ノードを、自発移動対象データを保持するノードからの移動先となるノードを示す自発移動先ノードとして選択することを特徴とする。 Further, the spontaneous movement destination selection device is a spontaneous movement destination selection device of the data management system 1000 (1000A) including the data management device 1 (1A) which is a node in a storage network composed of a plurality of nodes functioning as storage devices. 22; the data management system 1000 is a data management device 1 having hot storage and cold storage for storing data, and a spontaneous movement condition determination device 21 connected with the data management device 1 as its own node. And the spontaneous movement destination selection device 22 is provided, and the spontaneous movement destination selection device 22 is subjected to the spontaneous movement condition determination device 21 when a predetermined spontaneous movement condition regarding access to the data is satisfied in the data stored in the hot storage. Regarding the spontaneous movement target data that is the determined data, the other nodes other than the own node, which are in a position where the communication cost of the user terminal when accessing the data is reduced, are from the node that holds the spontaneous movement target data. It is characterized in that it is selected as a spontaneous movement destination node indicating a movement destination node.

このように、自発移動先選択装置22は、ユーザ端末の通信コストが削減される位置にある他ノードを、自発移動先ノードとして選択することができる。よって、自発移動先選択装置22は、自発移動対象データを移動させた場合に、ユーザ端末からの通信コストを削減させることができる。 In this way, the spontaneous movement destination selection device 22 can select another node at a position where the communication cost of the user terminal is reduced as the spontaneous movement destination node. Therefore, the spontaneous movement destination selection device 22 can reduce the communication cost from the user terminal when the spontaneous movement target data is moved.

また、アーカイブ指示装置は、ストレージデバイスとして機能するノードが複数で構成されるストレージネットワークにおける、ノードであるデータ管理装置1(1A)を含むデータ管理システム1000(1000A)のアーカイブ指示装置23であって、データ管理システム1000は、データを記憶するためのホットストレージおよびコールドストレージを有するデータ管理装置1およびアーカイブ指示装置23を備えており、アーカイブ指示装置23は、データ管理装置1のホットストレージに記憶されたデータのうち、将来のアクセス数の予測が大きいほど高い値を示す有用性評価値が最小のデータを、当該データ管理装置1のコールドストレージに移動させる指示情報を、データ管理装置1に送信することを特徴とする。 Further, the archive instruction device is an archive instruction device 23 of the data management system 1000 (1000A) including the data management device 1 (1A) which is a node in a storage network composed of a plurality of nodes functioning as storage devices. The data management system 1000 includes a data management device 1 and an archive instruction device 23 having hot storage and cold storage for storing data, and the archive instruction device 23 is stored in the hot storage of the data management device 1. Of the data, the data with the smallest usefulness evaluation value, which indicates a higher value as the prediction of the number of future accesses is larger, is transmitted to the data management device 1 with instruction information for moving the data to the cold storage of the data management device 1. It is characterized by that.

このように、アーカイブ指示装置23は、指示情報をデータ管理装置1に送信することにより、ホットストレージに記憶された有用性評価値が最小のデータを、コールドストレージに移動させることができる。よって、アーカイブ指示装置23は、ユーザ端末から将来アクセスされる可能性の低い、つまり、有用性の低いデータを、コールドストレージに移動させることができる。 In this way, the archive instruction device 23 can move the data having the minimum usefulness evaluation value stored in the hot storage to the cold storage by transmitting the instruction information to the data management device 1. Therefore, the archive instruction device 23 can move data that is unlikely to be accessed from the user terminal in the future, that is, data that is less useful, to the cold storage.

なお、本発明は、以上説明した実施形態に限定されるものではなく、多くの変形が本発明の技術的思想内で当分野において通常の知識を有する者により可能である。
例えば、図15のデータ管理装置1Cで示すように、図3で示したデータ管理システム1000における、自発移動に関する装置群(自発移動条件判定装置21、自発移動先選択装置22、アーカイブ指示装置23)、強制移動に関する装置群(強制移動対象データ選択装置31、強制移動先選択装置32)、および、生成間隔調整装置40の各機能を、データ管理装置1Cとして組み込み、1つの筐体の装置としてもよい。この場合、自発移動条件判定装置21、自発移動先選択装置22、アーカイブ指示装置23の各機能を、自発移動処理部130Cとして組み込む。強制移動対象データ選択装置31、強制移動先選択装置32の各機能を、強制移動処理部150Cとして組み込む。また、生成間隔調整装置40の機能を制御部10内に生成間隔調整部160として組み込む。
このようにしても、本実施形態に係るデータ管理システム1000と同様の作用効果を奏することができる。さらに、図15に示すデータ管理装置1Cにおいて、自発移動処理部130C、強制移動処理部150C、生成間隔調整部160のいずれかを備えない構成にすることもできる。
The present invention is not limited to the embodiments described above, and many modifications can be made by a person having ordinary knowledge in the art within the technical idea of the present invention.
For example, as shown in the data management device 1C of FIG. 15, a group of devices related to spontaneous movement in the data management system 1000 shown in FIG. 3 (spontaneous movement condition determination device 21, spontaneous movement destination selection device 22, archive instruction device 23). , Each function of the device group related to forced movement (forced movement target data selection device 31, forced movement destination selection device 32) and the generation interval adjustment device 40 is incorporated as a data management device 1C, and can be used as a device in one housing. good. In this case, each function of the spontaneous movement condition determination device 21, the spontaneous movement destination selection device 22, and the archive instruction device 23 is incorporated as the spontaneous movement processing unit 130C. Each function of the forced movement target data selection device 31 and the forced movement destination selection device 32 is incorporated as the forced movement processing unit 150C. Further, the function of the generation interval adjusting device 40 is incorporated in the control unit 10 as the generation interval adjusting unit 160.
Even in this way, the same effects as those of the data management system 1000 according to the present embodiment can be obtained. Further, the data management device 1C shown in FIG. 15 may be configured not to include any of the spontaneous movement processing unit 130C, the forced movement processing unit 150C, and the generation interval adjusting unit 160.

1,1A,1B データ管理装置
10 制御部
11 入出力部
12 記憶部(記憶手段)
21 自発移動条件判定装置
22 自発移動先選択装置
23 アーカイブ指示装置
31 強制移動対象データ選択装置
32 強制移動先選択装置
40 生成間隔調整装置
100 有限容量蓄積部(ホットストレージ)
105 無限容量蓄積部(コールドストレージ)
110 状態監視部
120 取得要求処理部
130 自発移動処理部
131 有用性評価部
132 アクセス偏在性算出部
133 自発移動実行部
134 アーカイブ実行部
140 データ蓄積部
150 強制移動処理部
151 アーカイブ評価部
152 強制移動評価部
153 処理決定部
154 アーカイブ実行部
155 強制移動実行部
1000,1000A,1000B データ管理システム
1,1A, 1B Data management device 10 Control unit 11 Input / output unit 12 Storage unit (storage means)
21 Spontaneous movement condition judgment device 22 Spontaneous movement destination selection device 23 Archive instruction device 31 Forced movement target data selection device 32 Forced movement destination selection device 40 Generation interval adjustment device 100 Limited capacity storage unit (hot storage)
105 Infinite capacity storage unit (cold storage)
110 Condition monitoring unit 120 Acquisition request processing unit 130 Spontaneous movement processing unit 131 Usefulness evaluation unit 132 Access uneven distribution calculation unit 133 Spontaneous movement execution unit 134 Archive execution unit 140 Data storage unit 150 Forced movement processing unit 151 Archive evaluation unit 152 Forced movement Evaluation unit 153 Processing decision unit 154 Archive execution unit 155 Forced displacement execution unit 1000, 1000A, 1000B Data management system

Claims (11)

ストレージデバイスとして機能するノードが複数で構成されるストレージネットワークにおける、前記ノードであるデータ管理装置を含むデータ管理システムであって、
前記データ管理システムは、データを記憶するためのホットストレージおよびコールドストレージを有する前記データ管理装置、並びに、当該データ管理装置を自ノードとし接続される、自発移動条件判定装置、自発移動先選択装置およびアーカイブ指示装置を備えており、
前記自発移動条件判定装置は、前記ホットストレージに記憶されたデータが、当該データへのアクセスに関する所定の自発移動条件を満たす場合に、当該データを自発移動対象データと判定し、
前記自発移動先選択装置は、前記データにアクセスする際のユーザ端末の通信コストが削減される位置にある、自ノード以外の他ノードを、前記自発移動対象データを保持するノードからの移動先となるノードを示す自発移動先ノードとして選択し、
前記アーカイブ指示装置は、自ノードのホットストレージに記憶されたデータのうち、将来のアクセス数の予測が大きいほど高い値を示す有用性評価値が最小のデータを、自ノードのコールドストレージに移動させる指示情報を、前記データ管理装置に送信し、
前記データ管理装置は、
前記自発移動対象データを前記自発移動先ノードに移動し、
前記指示情報を受け取ると、自ノードのホットストレージに記憶された前記有用性評価値が最小のデータ、自ノードのコールドストレージに移動させること
を特徴とするデータ管理システム。
A data management system including a data management device that is the node in a storage network composed of a plurality of nodes that function as storage devices.
The data management system includes the data management device having hot storage and cold storage for storing data, a spontaneous movement condition determination device, a spontaneous movement destination selection device, and a spontaneous movement destination selection device connected by using the data management device as its own node. Equipped with an archive instruction device
When the data stored in the hot storage satisfies a predetermined spontaneous movement condition regarding access to the data, the spontaneous movement condition determination device determines the data as the spontaneous movement target data.
The spontaneous movement destination selection device sets a node other than the own node at a position where the communication cost of the user terminal when accessing the data is reduced as a movement destination from the node holding the spontaneous movement target data. Select as the spontaneous destination node that indicates the node that becomes
Among the data stored in the hot storage of the own node, the archive instruction device moves the data having the smallest usefulness evaluation value, which shows a higher value as the prediction of the number of future accesses is larger, to the cold storage of the own node. The instruction information is transmitted to the data management device, and the instruction information is transmitted.
The data management device is
The voluntary movement target data is moved to the spontaneous movement destination node, and the data is moved to the spontaneous movement destination node.
A data management system characterized in that when the instruction information is received, the data having the minimum usefulness evaluation value stored in the hot storage of the own node is moved to the cold storage of the own node.
前記ホットストレージに記憶されたデータの所定時間内のアクセス数に比例する値をリアルタイム要求度として算出し、前記リアルタイム要求度が高いほど、データ生成間隔を短く調整する指示情報を生成し、当該データを生成するデバイスに、前記指示情報を出力する生成間隔調整装置を、さらに備えること
を特徴とする請求項1に記載のデータ管理システム。
A value proportional to the number of accesses of the data stored in the hot storage within a predetermined time is calculated as a real-time requirement, and the higher the real-time requirement, the shorter the data generation interval is to generate instruction information, and the data is The data management system according to claim 1, further comprising a generation interval adjusting device for outputting the instruction information in the device for generating the data.
ストレージデバイスとして機能するノードが複数で構成されるストレージネットワークにおける、前記ノードであるデータ管理装置を含むデータ管理システムの前記データ管理装置であって、
前記データ管理システムは、前記データ管理装置、並びに、当該データ管理装置を自ノードとし接続される、自発移動条件判定装置、自発移動先選択装置およびアーカイブ指示装置を備えており、
前記データ管理装置は、
データを記憶するためのホットストレージおよびコールドストレージを有し、
前記ホットストレージに記憶されたデータにおいて、当該データへのアクセスに関する所定の自発移動条件を満たすと前記自発移動条件判定装置により判定されたデータである自発移動対象データを、前記データにアクセスする際のユーザ端末の通信コストが削減される位置にあり、前記自発移動対象データを保持するノードからの移動先のノードとして前記自発移動先選択装置により選択された、自ノード以外の他ノードである自発移動先ノードに移動し、
自ノードのホットストレージに記憶されたデータのうち、将来のアクセス数の予測が大きいほど高い値を示す有用性評価値が最小のデータを、自ノードのコールドストレージに移動させる指示情報を前記アーカイブ指示装置から受け取り、自ノードのホットストレージに記憶された前記有用性評価値が最小のデータ、自ノードのコールドストレージに移動させること
を特徴とするデータ管理装置。
A data management device of a data management system including a data management device that is the node in a storage network composed of a plurality of nodes that function as storage devices.
The data management system includes the data management device, a spontaneous movement condition determination device, a spontaneous movement destination selection device, and an archive instruction device connected by using the data management device as a local node.
The data management device is
Has hot storage and cold storage to store data,
When accessing the data stored in the hot storage, the data to be spontaneously moved, which is the data determined by the spontaneous movement condition determination device when the predetermined spontaneous movement condition for accessing the data is satisfied. It is in a position where the communication cost of the user terminal is reduced, and is a node other than the own node, which is selected by the spontaneous movement destination selection device as the destination node from the node holding the spontaneous movement target data. Go to the destination node and
Of the data stored in the hot storage of the own node, the data with the smallest usefulness evaluation value, which shows a higher value as the prediction of the number of future accesses is larger, is the archive instruction for moving the instruction information to move to the cold storage of the own node. A data management device characterized in that the data received from the device and stored in the hot storage of the own node and stored in the hot storage of the own node is moved to the cold storage of the own node.
ストレージデバイスとして機能するノードが複数で構成されるストレージネットワークにおける、前記ノードであるデータ管理装置を含むデータ管理システムの自発移動条件判定装置であって、
前記データ管理システムは、データを記憶するためのホットストレージおよびコールドストレージを有する前記データ管理装置および自発移動条件判定装置を備えており、
前記自発移動条件判定装置は、
前記ホットストレージに記憶されたデータが、当該データへのアクセスに関する所定の自発移動条件を満たす場合に、当該データを自発移動対象データと判定すること
を特徴とする自発移動条件判定装置。
A device for determining spontaneous movement conditions of a data management system including a data management device that is the node in a storage network composed of a plurality of nodes that function as storage devices.
The data management system includes the data management device and the spontaneous movement condition determination device having hot storage and cold storage for storing data.
The spontaneous movement condition determination device is
A spontaneous movement condition determination device, characterized in that, when the data stored in the hot storage satisfies a predetermined spontaneous movement condition regarding access to the data, the data is determined to be spontaneous movement target data.
ストレージデバイスとして機能するノードが複数で構成されるストレージネットワークにおける、前記ノードであるデータ管理装置を含むデータ管理システムの自発移動先選択装置であって、
前記データ管理システムは、データを記憶するためのホットストレージおよびコールドストレージを有する前記データ管理装置、並びに、当該データ管理装置を自ノードとし接続される、自発移動条件判定装置および自発移動先選択装置を備えており、
前記自発移動先選択装置は、
前記ホットストレージに記憶されたデータにおいて、当該データへのアクセスに関する所定の自発移動条件を満たすと前記自発移動条件判定装置により判定されたデータである自発移動対象データについて、当該データにアクセスする際のユーザ端末の通信コストが削減される位置にある、自ノード以外の他ノードを、前記自発移動対象データを保持するノードからの移動先となるノードを示す自発移動先ノードとして選択すること
を特徴とする自発移動先選択装置。
A voluntary movement destination selection device for a data management system including a data management device that is the node in a storage network composed of a plurality of nodes that function as storage devices.
The data management system includes the data management device having hot storage and cold storage for storing data, and a spontaneous movement condition determination device and a spontaneous movement destination selection device connected with the data management device as its own node. I have
The spontaneous movement destination selection device is
When accessing the data stored in the hot storage, the data to be spontaneously moved, which is the data determined by the spontaneous movement condition determination device when the predetermined spontaneous movement condition for accessing the data is satisfied. The feature is that a node other than the own node, which is in a position where the communication cost of the user terminal is reduced, is selected as the spontaneous movement destination node indicating the node to be moved from the node holding the spontaneous movement target data. Spontaneous movement destination selection device.
ストレージデバイスとして機能するノードが複数で構成されるストレージネットワークにおける、前記ノードであるデータ管理装置を含むデータ管理システムのアーカイブ指示装置であって、
前記データ管理システムは、データを記憶するためのホットストレージおよびコールドストレージを有する前記データ管理装置および前記アーカイブ指示装置を備えており、
前記アーカイブ指示装置は、
前記データ管理装置のホットストレージに記憶されたデータのうち、将来のアクセス数の予測が大きいほど高い値を示す有用性評価値が最小のデータを、当該データ管理装置のコールドストレージに移動させる指示情報を、前記データ管理装置に送信すること
を特徴とするアーカイブ指示装置。
An archive instruction device for a data management system including a data management device that is the node in a storage network composed of a plurality of nodes that function as storage devices.
The data management system includes the data management device and the archive instruction device having hot storage and cold storage for storing data.
The archive instruction device is
Of the data stored in the hot storage of the data management device, the instruction information for moving the data having the smallest usefulness evaluation value, which indicates a higher value as the prediction of the number of future accesses is larger, to the cold storage of the data management device. Is transmitted to the data management device.
ストレージデバイスとして機能するノードが複数で構成されるストレージネットワークにおける、前記ノードであるデータ管理装置を含むデータ管理システムのデータ管理方法であって、
前記データ管理システムは、データを記憶するためのホットストレージおよびコールドストレージを有する前記データ管理装置、並びに、当該データ管理装置を自ノードとし接続される、自発移動条件判定装置、自発移動先選択装置およびアーカイブ指示装置を備えており、
前記自発移動条件判定装置は、前記ホットストレージに記憶されたデータが、当該データへのアクセスに関する所定の自発移動条件を満たす場合に、当該データを自発移動対象データと判定し、
前記自発移動先選択装置は、前記データにアクセスする際のユーザ端末の通信コストが削減される位置にある、自ノード以外の他ノードを、前記自発移動対象データを保持するノードからの移動先となるノードを示す自発移動先ノードとして選択し、
前記アーカイブ指示装置は、自ノードのホットストレージに記憶されたデータのうち、将来のアクセス数の予測が大きいほど高い値を示す有用性評価値が最小のデータを、自ノードのコールドストレージに移動させる指示情報を、前記データ管理装置に送信し、
前記データ管理装置は、
前記自発移動対象データを前記自発移動先ノードに移動し、
前記指示情報を受け取ると、自ノードのホットストレージに記憶された前記有用性評価値が最小のデータ、自ノードのコールドストレージに移動させること
を特徴とするデータ管理方法。
A data management method for a data management system including a data management device that is the node in a storage network composed of a plurality of nodes that function as storage devices.
The data management system includes the data management device having hot storage and cold storage for storing data, a spontaneous movement condition determination device, a spontaneous movement destination selection device, and a spontaneous movement destination selection device connected by using the data management device as its own node. Equipped with an archive instruction device
When the data stored in the hot storage satisfies a predetermined spontaneous movement condition regarding access to the data, the spontaneous movement condition determination device determines the data as the spontaneous movement target data.
The spontaneous movement destination selection device sets a node other than the own node at a position where the communication cost of the user terminal when accessing the data is reduced as a movement destination from the node holding the spontaneous movement target data. Select as the spontaneous destination node that indicates the node that becomes
Among the data stored in the hot storage of the own node, the archive instruction device moves the data having the smallest usefulness evaluation value, which shows a higher value as the prediction of the number of future accesses is larger, to the cold storage of the own node. The instruction information is transmitted to the data management device, and the instruction information is transmitted.
The data management device is
The voluntary movement target data is moved to the spontaneous movement destination node, and the data is moved to the spontaneous movement destination node.
A data management method characterized in that when the instruction information is received, the data having the minimum usefulness evaluation value stored in the hot storage of the own node is moved to the cold storage of the own node.
コンピュータを、請求項3に記載のデータ管理装置として機能させるためのプログラム。 A program for causing a computer to function as the data management device according to claim 3. コンピュータを、請求項4に記載の自発移動条件判定装置として機能させるためのプログラム。 A program for causing a computer to function as the spontaneous movement condition determination device according to claim 4. コンピュータを、請求項5に記載の自発移動先選択装置として機能させるためのプログラム。 A program for causing a computer to function as the spontaneous movement destination selection device according to claim 5. コンピュータを、請求項6に記載のアーカイブ指示装置として機能させるためのプログラム。 A program for operating a computer as the archive instruction device according to claim 6.
JP2020013204A 2020-01-30 2020-01-30 Data management system, data management device, voluntary movement condition determination device, voluntary movement destination selection device, data management method, and program Active JP7376894B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020013204A JP7376894B2 (en) 2020-01-30 2020-01-30 Data management system, data management device, voluntary movement condition determination device, voluntary movement destination selection device, data management method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020013204A JP7376894B2 (en) 2020-01-30 2020-01-30 Data management system, data management device, voluntary movement condition determination device, voluntary movement destination selection device, data management method, and program

Publications (2)

Publication Number Publication Date
JP2021119437A true JP2021119437A (en) 2021-08-12
JP7376894B2 JP7376894B2 (en) 2023-11-09

Family

ID=77195479

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020013204A Active JP7376894B2 (en) 2020-01-30 2020-01-30 Data management system, data management device, voluntary movement condition determination device, voluntary movement destination selection device, data management method, and program

Country Status (1)

Country Link
JP (1) JP7376894B2 (en)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000207370A (en) * 1999-01-20 2000-07-28 Matsushita Electric Ind Co Ltd Distributed file management device and distributed file management system
JP2003271316A (en) * 2002-03-14 2003-09-26 Hitachi Ltd Storage system, its operation program and its operating method, information processing terminal and its operation program and data managing system
JP2005050007A (en) * 2003-07-31 2005-02-24 Hitachi Ltd Storage system and its using method
JP2006252247A (en) * 2005-03-11 2006-09-21 Hitachi Ltd Storage system and data movement method
US8984027B1 (en) * 2011-07-28 2015-03-17 Symantec Corporation Systems and methods for migrating files to tiered storage systems
JP2018005446A (en) * 2016-06-30 2018-01-11 富士通株式会社 Information processing apparatus, storage control program, and storage control method
US20190034445A1 (en) * 2017-07-26 2019-01-31 International Business Machines Corporation Cognitive file and object management for distributed storage environments
CN110139234A (en) * 2019-05-07 2019-08-16 肇庆学院 A kind of wireless sensor network dormancy dispatching method based on node grouping

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000207370A (en) * 1999-01-20 2000-07-28 Matsushita Electric Ind Co Ltd Distributed file management device and distributed file management system
JP2003271316A (en) * 2002-03-14 2003-09-26 Hitachi Ltd Storage system, its operation program and its operating method, information processing terminal and its operation program and data managing system
JP2005050007A (en) * 2003-07-31 2005-02-24 Hitachi Ltd Storage system and its using method
JP2006252247A (en) * 2005-03-11 2006-09-21 Hitachi Ltd Storage system and data movement method
US8984027B1 (en) * 2011-07-28 2015-03-17 Symantec Corporation Systems and methods for migrating files to tiered storage systems
JP2018005446A (en) * 2016-06-30 2018-01-11 富士通株式会社 Information processing apparatus, storage control program, and storage control method
US20190034445A1 (en) * 2017-07-26 2019-01-31 International Business Machines Corporation Cognitive file and object management for distributed storage environments
CN110139234A (en) * 2019-05-07 2019-08-16 肇庆学院 A kind of wireless sensor network dormancy dispatching method based on node grouping

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
IRIE, RYO ET AL.: "A Novel Automated Tiered Storage Architecture for Achieving both Cost Saving and QoE", 2018 IEEE 8TH INTERNATIONAL SYMPOSIUM ON CLOUD AND SERVICE COMPUTING (SC2) [ONLINE], JPN6023000485, 9 December 2018 (2018-12-09), pages 32 - 40, ISSN: 0005086650 *

Also Published As

Publication number Publication date
JP7376894B2 (en) 2023-11-09

Similar Documents

Publication Publication Date Title
Zhong et al. A deep reinforcement learning-based framework for content caching
US9330004B2 (en) Data processing method, cache node, collaboration controller, and system
US8914501B2 (en) Method, apparatus, and system for scheduling distributed buffer resources
US7644230B1 (en) Dynamic load management of network memory
JP2015072682A (en) Method and device for load balancing and dynamic scaling of low delay two-layer distributed cache storage system
CN108377530B (en) Method and system for generating mobile wireless access network content network slice
JP2005031987A (en) Content layout management system and content layout management program for content delivery system
CN105095495B (en) A kind of distributed file system buffer memory management method and system
US20030236885A1 (en) Method for data distribution and data distribution system
US8751750B2 (en) Cache device, data management method, program, and cache system
Khodaparas et al. A multi criteria cooperative caching scheme for internet of things
JP4423104B2 (en) Resource load measuring method, network control device, communication node, and storage medium
JP2021119437A (en) Data management system, data managing device, spontaneous movement condition determination device, spontaneous movement destination selection device, archive instruction device, and data management method, and program
JP2021119438A (en) Data management system, data managing device, forced movement object data selection device, forced movement destination selection device, and data management method, and program
CN110581873B (en) Cross-cluster redirection method and monitoring server
JP2003296153A (en) Storage system and program therefor
CN115051996B (en) Video cache management method based on local video utility value under multi-access edge calculation
JP7174372B2 (en) Data management method, device and program in distributed storage network
WO2017049488A1 (en) Cache management method and apparatus
Tirupathi et al. HybridCache: AI-assisted cloud-RAN caching with reduced in-network content redundancy
Khaneghah et al. A dynamic replication mechanism to reduce response-time of I/O operations in high performance computing clusters
KR101690944B1 (en) Method and apparatus for managing distributed cache in consideration of load distribution in heterogeneous computing environment
KR102541077B1 (en) Method and apparatus for caching content in 5G MEC-based information-centric network
CN112445794A (en) Caching method of big data system
JP7082373B2 (en) Data management device and data management method

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20200207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20200207

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230320

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230821

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231019

R150 Certificate of patent or registration of utility model

Ref document number: 7376894

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150